CN111158884A - 一种数据分析方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，提供一种数据分析方法、装置、电子设备及存储介质，方法包括：获取任务请求，根据所述任务请求构造任务实体对象；根据所述任务实体对象构造业务实体对象，通过所述业务实体对象调度所述任务请求，所述任务请求包括多个子任务请求；根据所述子任务请求构造业务调度实体对象，并将所述业务调度实体对象传输给数据计算节点，通过所述数据计算节点对所述子任务请求进行数据计算，以得到子任务结果；接收所述数据计算节点对所述多个子任务请求分别进行数据计算得到的所有子任务结果，对所述所有子任务结果进行处理得到目标结果。本发明实施例能够降低耦合性且增强系统的鲁棒性。

Description

一种数据分析方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据分析方法、装置、电子设备及存储介质。

背景技术

目前，随着机器视觉的成熟应用，图像大数据类产品已成为机器视觉领域的典型。现有的比较完整的图像大数据分析应用系统通常会包括采集设备/平台接入、图像结构化、目标布控应用三大板块，但是，现在有技术并没有将这三个板块进行整合，基本都是定制化操作，各个模块之间的连接也是通过第三方接口平台实现，板块之间的粘合度低，导致系统的耦合性高，工作效率低。可见，现有技术中，存在耦合性高、工作效率低的问题。

发明内容

本发明实施例提供一种数据分析方法，能够降低耦合性且提高系统的鲁棒性。

第一方面，本发明实施例提供一种数据分析方法，所述方法包括以下步骤：

通过业务处理节点获取任务请求，根据所述任务请求构造任务实体对象；

根据所述任务实体对象构造业务实体对象，通过所述业务实体对象调度所述任务请求，所述任务请求包括多个子任务请求；

根据所述子任务请求构造业务调度实体对象，并将所述业务调度实体对象传输给数据计算节点，通过所述数据计算节点对所述子任务请求进行数据计算，以得到子任务结果；

接收所述数据计算节点对所述多个子任务请求分别进行数据计算得到的所有子任务结果，对所述所有子任务结果进行处理得到目标结果。

第二方面，本发明实施例还提供一种数据分析装置，包括：

第一构造模块，用于通过业务处理节点获取任务请求，根据所述任务请求构造任务实体对象；

第二构造模块，用于根据所述任务实体对象构造业务实体对象，通过所述业务实体对象调度所述任务请求，所述任务请求包括多个子任务请求；

计算模块，用于根据所述子任务请求构造业务调度实体对象，并将所述业务调度实体对象传输给数据计算节点，通过所述数据计算节点对所述子任务请求进行数据计算，以得到子任务结果；

接收模块，用于接收所述数据计算节点对所述多个子任务请求分别进行数据计算得到的所有子任务结果，对所述所有子任务结果进行处理得到目标结果。

第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述实施例提供的数据分析方法中的步骤。

第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述实施例提供的数据分析方法中的步骤。

本发明实施例中，通过业务处理节点与数据计算节点的分层设计理念，将业务处理部分从数据计算部分中进行剥离，在业务处理节点中根据任务请求构造任务实体对象，根据任务实体对象构造业务实体对象，并对子任务请求进行调度，构造对应的业务调度实体对象，通过业务处理节点将其中的业务调度实体对象传输到数据计算节点，对子任务请求进行数据计算，当业务处理节点中的逻辑处理变更时，不会影响计算节点中的数据计算，降低了耦合性的同时，提高系统的鲁棒性，而且业务处理节点与数据计算节点都属于插件化，开发成本得到控制；并且将获取到的任务请求分解成多个子任务请求，针对不同的子任务请求依次执行不同的数据计算，可以处理业务处理过程中子任务请求的数据资源多样性问题，有利于提高数据分析的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据分析系统的系统架构图；

图2是本发明实施例提供的另一种数据分析方法的流程图；

图3是本发明实施例提供的另一种数据分析方法的流程图；

图4是本发明实施例提供的另一种数据分析方法的流程图；

图5是本发明实施例提供的一种数据分析装置的结构示意图；

图6是本发明实施例提供的另一种数据分析装置的结构示意图；

图7是本发明实施例提供的另一种数据分析装置的结构示意图；

图8是本发明实施例提供的另一种数据分析装置的结构示意图；

图9是本发明实施例提供的另一种数据分析装置的结构示意图；

图10是本发明实施例提供的另一种数据分析装置的结构示意图；

图11是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，为本发明实施例提供的一个数据分析系统的系统架构图。该系统架构1000包括资源统筹管理层节点1001、业务处理节点1002、数据计算节点1003。

上述资源统筹管理层节点1001可用于业务处理节点1002及数据计算节点1003的管理和调度，资源统筹管理层节点1001在数据不能互通的业务处理节点1002与数据计算节点100之间搭建数据通道，实现数据传输。

上述业务处理节点1002可以用于接收任务请求，处理多种网络协议封装的各类数据类型结构的数据及本地资源解析、封装、标准化，转换为本数据分析系统各层(包括任务实体层1002a、业务实体层1002b、业务调度实体层1003c、计算单元插件输入层1002d)之间调度的数据结构单元，其次可以对任务请求进行分解，通过构造多个业务实体对象，业务实体对象分别持有不同的子任务请求，并将子任务请求组合为Pipeline(任务路线)，根据预设的调度策略依次将Pipeline中的子任务请求分发给数据计算节点1003完成具体的数据计算。

其中，上述任务实体层1002a可以构造任务实体对象；业务实体层1002b可以通过启动接口接收任务实体对象进一步构造业务实体对象；业务调度实体层1003c可以构造业务调度实体对象；计算单元插件输入层1002d可以根据业务调度实体对象构造计算单元插件输入对象输出到数据计算节点进行数据计算。上述数据计算节点1003可以用于对业务处理节点1002输出的对Pipeline中对应的子任务请求进行数据计算。数据计算节点可以包括计算单元插件输入对象处理层1003a、策略模块1003b、以及多类型数据处理器层1003c。计算单元插件输入对象在计算单元插件输入对象处理层1003a进行数据处理后，根据策略模块1003b分批调度到多类型数据处理器层1003c根据不同数据类型进行数据计算，得到Pipeline中每个子任务请求的子任务结果，并通过业务调度实体对象的回传接口将所有的子任务结果回传到业务处理节点1002，进行整合得到目标结果并输出。

具体的，通过资源统筹管理层节点1001预先搭建业务处理节点1002与数据计算节点1003之间的通信传输，通过业务处理节点1002的接口获取任务请求，根据任务请求构造任务实体对象，然后根据任务实体对象构造业务实体对象，通过任务实体对象对任务请求中的子任务请求进行调度，并根据子任务请求构造业务调度实体对象，同一类型的任务请求中，分解后得到的多个子任务请求可以包括多种数据类型，数据类型不同，构造的业务调度实体对象也不同。业务调度实体对象可以输入到数据计算节点1003中进行具体的数据计算，当完成对Pipeline的全部数据计算后，在业务处理节点1002会接收到所述子任务结果，在业务处理节点1002端对子任务结果进行逻辑处理得到目标结果，进而将目标结果输出给发出任务请求的一方。

需要知道的是，上述的业务处理节点、数据计算节点、资源统筹管理层节点的数目仅仅是示意性的，根据实现需要，可以进行具体的调整。

如图2所示，图2是本发明实施例提供的一种数据分析方法的流程图，该数据分析方法包括以下步骤：

201、通过业务处理节点获取任务请求，根据任务请求构造任务实体对象。

在本实施例中，上述数据分析方法可以运用于图像大数据分析应用系统，且上述数据分析方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取任务请求，当用户通过电子设备发出任务请求后，图像大数据分析应用系统可以对接收到的任务请求进行解析，提取任务请求中包含的多个信息。上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(WorldwideInteroperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

需要说明的是，上述电子设备可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

其中，上述业务处理节点可以是业务逻辑处理调度插件，业务逻辑调度插件中可以包括本地/网络任务请求接口。通过该本地/网络任务请求接口可以接收用户通过电子设备发出的任务请求并对该任务请求进行解析处理，该任务请求中可以包括任务请求的具体请求内容，任务请求的类型、任务请求的具体内容的数据类型以及相关的属性等。

上述任务实体对象位于业务逻辑处理调度插件中，任务实体对象可以表示与任务请求关联的一个实例，实例可以是指计算机内存中处于运行状态的数据库程序，以及为这些程序分配的一些内存空间。实例是位于内存中的，只在数据库处于运行状态时才存在。实例负责实现给用户提供网络连接、读写任务请求中的数据等等各种功能。上述根据任务请求构造任务实体对象可以表示一个任务请求可以构造一个任务实体对象，其任务实体对象中可以包含任务请求中的所有数据。

202、根据任务实体对象构造业务实体对象，通过业务实体对象调度任务请求，任务请求包括多个子任务请求。

其中，业务实体对象位于本地逻辑处理调度插件中，业务实体对象可以是指包括任务实体对象的一个实例，在该实例中包括需要对任务请求执行的所有操作，对于任务请求的所有操作可以通过Pipeline的形式呈现，业务实体对象可以根据Pipeline的顺序进行有序调度。上述实例同样可以是指计算机内存中处于运行状态的数据库程序，以及为这些程序分配的一些内存空间。在业务实体对象中可以包括启动接口、与目标处理结果对应的回传接口等核心功能。通过启动接口可以实现任务实体对象的通信传输，回传接口可以实现微数据计算单元插件进行数据计算之后回传目标结果。上述的多个子任务请求可以是指对任务请求进行分解，形成的具有不同任务的请求，例如：任务请求为采集设备数据接入请求，其子任务请求就可以包括采集设备特性分析、采集设备接入、采集设备数据通知、数据格式转换存储、结果发送等。

203、根据子任务请求构造业务调度实体对象，并将业务调度实体对象传输给数据计算节点，通过数据计算节点对子任务请求进行数据计算，以得到子任务结果。

其中，业务调度实体对象位于本地逻辑处理调度插件中，业务调度实体对象可以是根据子任务请求构造的一个实例。上述数据计算节点可以是微数据计算单元插件，微数据计算单元插件可以用于对Pipeline中不同的节点(子任务请求)进行数据计算，且业务调度实体对象中包括有回传接口，通过业务调度实体对象中的回传接口可以将计算得到的子任务结果回传到业务逻辑处理调度插件。

上述业务调度实体对象包括业务实体对象，而业务实体对象中生成有与任务请求对应的Pipeline。上述一个任务请求触发一条Pipeline，且Pipeline由业务实体对象触发，当上述业务实体对象构造完成时，Pipeline同时生成。在Pipeline中包括多个Pipeline节点，启动Pipeline后，业务调度实体对象可以对多个Pipeline节点分别进行调度，生成与Pipeline的多个节点对应的实例分别传输到微数据计算单元插件进行数据计算得到子任务结果。其中，子任务结果可以是指在微数据计算单元插件中对每个Pipeline节点进行数据计算得到的结果，例如：某个Pipeline节点需要采集图片，则进行数据计算后会以输出图片为目的输出子任务结果。并且业务调度实体对象可以是有序调度Pipeline节点传输到微数据计算单元插件中对Pipeline节点进行计算，并依次返回与每个Pipeline节点对应的子任务结果，当所有的Pipeline节点都完成数据计算，则所有的Pipeline节点都将回传到业务逻辑处理调度插件。

204、接收数据计算节点对多个子任务请求分别进行数据计算得到的所有子任务结果，对所有子任务结果进行处理得到目标结果。

其中，当Pipeline中的每个节点(子任务请求)都输出到微数据计算单元插件进行数据计算之后，会有序返回与每个节点对应的子任务结果到业务逻辑处理调度插件中，因Pipeline是对任务请求进行分解后生成的，所以完成对所有Pipeline节点的数据计算也即是任务请求完成计算，因此，业务逻辑处理调度插件可以对所有的子任务结果进行有序融合后得到目标结果，并将目标结果进行输出，作为任务请求的响应。

本发明实施例中，通过业务处理节点与数据计算节点的分层设计理念，将业务处理部分从数据计算部分中进行剥离，在业务处理节点中根据任务请求构造任务实体对象，根据任务实体对象构造业务实体对象，并对子任务请求进行调度，构造对应的业务调度实体对象，通过业务处理节点将其中的业务调度实体对象传输到数据计算节点，对子任务请求进行数据计算，当业务处理节点中的逻辑处理变更时，不会影响计算节点中的数据计算，降低了耦合性的同时，提高系统的鲁棒性，而且业务处理节点与数据计算节点都属于插件化，开发成本得到控制；并且将获取到的任务请求分解成多个子任务请求，针对不同的子任务请求依次执行不同的数据计算，可以处理业务处理过程中子任务请求的数据资源多样性问题，有利于提高数据分析的效率。

如图3所示，图3是本发明实施例提供的另一种方法流程图，包括以下步骤：

301、通过资源统筹管理节点将业务处理节点与数据计算节点进行初始化，初始化包括获取业务处理节点与数据计算节点的入口地址信息以及申请内存空间。

其中，资源统筹管理节点可以指资源统筹管理层，资源统筹管理层可以包括业务处理节点管理(业务逻辑处理调度插件管理)以及数据计算节点调度管理(微数据计算单元插件调度管理)，可用于对业务逻辑处理调度插件及微数据计算单元插件进行管理(包括系统初始化、数据加载、数据卸载、数据更新等)和调度(即在数据不能互通的插件之间搭建数据通道桥梁)。上述进行初始化可以指在业务逻辑处理调度插件及微数据计算单元插件加载起来之后，提前对系统进行预热，提供良好的运行环境。

上述初始化可以包括获取到业务逻辑处理调度插件及微数据计算单元插件各自的入口地址信息，以及申请内存空间。其中，入口地址信息可以作为找到业务逻辑处理调度插件及微数据计算单元插件的定位信息，通过该入口地址信息可以确定是哪一个业务逻辑处理调度插件或者是哪一个微数据计算单元插件需要进行数据操作，例如：http://www.baidu.com/index.php？tn＝sitehao123，https://www.zhihu.com/signup？next＝％2F等等。

上述的申请内存空间可以是指提前申请一定的内存空间用于存储后续需要获取的任务请求。而后续构造的任务实体对象、业务实体对象、业务调度实体对象都是在内存中的，所以需要申请内存空间以对获取到的任务请求进行存储。当把任务请求分解成多个子任务请求后，还可以将子任务请求分别进行存储。当然，申请到的内存空间还可以分成多个小的存储空间，以实现对任务请求的分类存储。

302、若资源统筹管理节点分别接收到业务处理节点及数据计算节点返回的确认信息，则确认初始化完成。

其中，可以通过主动获取的方式获取资源统筹管理层获取到业务逻辑处理调度插件及微数据计算单元插件的入口地址信息，当业务逻辑处理调度插件及微数据计算单元插件分别检测到资源统筹管理层发出的入口地址信息获取消息之后，便可以主动将其入口地址信息回传给资源统筹管理层，资源统筹管理层可以对获取到的入口资源信息进行存储，便于后续对数据进行传输。并且业务逻辑处理调度插件在接收到申请内存空间的信息后，会根据申请内存空间的大小，在业务逻辑处理调度插件预留相同大小的内存空间。内存空间申请成功以及入口地址信息获取成功，业务逻辑处理调度插件及微数据计算单元插件会发出确认信息，此时初始化过程完成。

303、通过业务处理节点获取任务请求，根据任务请求构造任务实体对象。

304、根据任务实体对象构造业务实体对象，通过业务实体对象调度任务请求，任务请求包括多个子任务请求。

305、根据子任务请求构造业务调度实体对象，并将业务调度实体对象传输给数据计算节点，通过数据计算节点对子任务请求进行数据计算，以得到子任务结果。

306、接收数据计算节点对多个子任务请求分别进行数据计算得到的所有子任务结果，对所有子任务结果进行处理得到目标结果。

可选的，上述步骤303包括：

通过业务处理节点中预设的本地/网络任务请求接口获取任务请求，对任务请求标注任务类型标识，并将任务请求存储到内存空间。

其中，在业务逻辑处理调度插件中配置有本地/网络任务请求接口，该接口可以用接收本地发出的任务请求，或者通过与执行数据分析方法的电子设备进行网络连接发出的任务请求。任务请求可以具有多种任务类型，不同的任务类型执行的操作不同，获取到任务请求后可以对任务请求进行任务类型标注，例如：任务请求的任务类型标识可以是图片/视频大数据类组件、结构化类组件以及布控/搜索类组件等。可以预先针对不同的任务类型匹配不同的任务类型标识，以便于后续可以对任务请求进行逻辑处理以及数据计算的整个运行过程进行监控。进行标识后，可以将已经标注任务类型标识的任务请求存储在预先申请的内存空间中。其存储方式可以是根据任务请求的任务类型标识的不同进行分类存储，将相同任务类型标识的任务请求存储在同一个小的内存空间中，实现对任务请求的有序存储管理。

对任务请求进行解析，通过业务实体层中任务实体实现层根据解析得到的任务数据信息构造任务实体对象，任务实体对象中包括任务请求的任务类型标识。

其中，对任务请求进行解析后，任务请求中可以解析出多个任务数据信息(特征信息、数据类型、任务类型标识等)，例如：任务请求中为图片，则可以解析出图片的长、宽、高、属于的类型、像素点大小等等信息。

上述的业务实体层可以是指根据任务请求构造对应的任务实体对象的一层，也即是创建与任务请求对应的实例。其中，业务实体层包括业务实体抽象层以及业务实体实现层。任务实体抽象层可以针对具有不同任务数据类型的任务请求封装共同的特性，业务实体实现层可以针对任务请求的特性部分进行具体实现，且任务实体实现层继承任务实体抽象层。

根据任务请求的任务数据类型不同，得到的任务实体对象也不同，例如：对于图片/视频大数据类组件，可以接收摄像头接入请求/第三方平台接入请求并以输出标准化图片数据为目标结果；结构化类组件可以接收图片/视频资源进行多类目标结构化分析并以输出目标特征信息、数据类型、关系关联信息等为目标结果；布控/搜索类组件可以接收结构化类组件输出的结构化数据信息进行目标布控、搜索业务，并以输出情报化信息为目标结果，以上不同组件均具有独立任务部分，针对独立任务部分可以通过任务实体实现层实现；但各个独立任务部分中又包含共同的任务特性(任务状态，任务类型标识等)，针对共同的任务特性可以通过任务实体抽象层进行封装。

在本发明实施例中，通过资源统筹管理层获取业务逻辑处理调度插件及微数据计算单元插件各自的入口地址信息，通过入口地址信息建立两者之间的信息传输桥梁，并预先申请内存空间用于存储任务请求。当业务逻辑处理调度插件构造好业务调度实体对象后，便可以通过微数据计算单元插件的入口地址信息将业务调度实体对象传输到微数据计算单元插件进行数据计算，这样，便于实现业务逻辑处理调度插件及微数据计算单元插件之间的数据传输；在任务实体实现层完成对任务请求的独立特性部分具体实现，在任务实体抽象层中对任务请求的共同特性封装，针对不同特征分别进行实现，灵活性更强，且对任务请求匹配任务类型标识，业务实体对象的封装思想具备兼容任意一种业务请求，可以根据业务类型标识的不同进行灵活处理。在业务逻辑处理调度插件进行数据逻辑处理，在微数据计算单元插件进行数据计算，将数据计算部分从业务处理部分中进行剥离，降低了耦合性，将获取到的任务请求分解成多个子任务请求，呈现子任务请求的业务流模式，解决了业务处理过程中子任务请求的数据资源多样性问题，提高了数据分析的效率。

如图4所示，图4为本发明实施提供的另一种数据分析方法的流程图，具体包括以下步骤：

401、通过业务处理节点获取任务请求，根据任务请求构造任务实体对象。

402、对任务请求进行分解，以得到多个子任务请求。

其中，接收到任务请求后，可以根据任务请求的任务类型标识进行分解，形成多个子任务请求，例如：任务请求是对图片进行分析，则分解后的子任务请求为图片采集，多目标检测，多目标特征信息提取，多目标属性分析等等。将任务请求分解成多个子任务请求，当多个子任务请求具有不同的数据计算内容时，可以进行分别实现，将分解任务请求与对任务请求的数据处理剥离后分别实现，在业务逻辑处理调度插件上实现任务请求分解，在微数据计算单元插件实现对子任务请求的数据计算，降低数据分析系统的耦合性。

403、根据多个子任务请求生成任务路线。

其中，任务路线(Pipeline)相当于流水线，在Pipeline的每个节点上都对应一个子任务请求，且每个节点所需要处理的子任务请求是不同的，每个任务请求会触发一条Pipeline。Pipeline上可以是根据子任务请求的先后顺序进行排列，例如：任务请求为采集设备数据接入请求，则可以触发一个采集设备接入Pipeline，该Pipeline依次包括采集设备特性解析→采集设备接入→采集设备数据通知→数据格式转换存储→结果发送；任务请求为对图片资源进行多种目标结构化分析的请求，则可以触发一个图片结构化Pipeline，该Pipeline依次包括图片采集→多目标检测→多目标特征信息提取→多目标属性分析→多目标质量策略分析→关键数据分布式存储→结构化信息数据输出。

404、通过业务实体对象的启动接口接收任务实体对象，在业务实体实现层根据任务实体对象构造业务实体对象，并通过业务实体对象对任务路线中的子任务请求进行有序调度。

其中，上述Pipeline生成后，可以通过业务实体对象对Pipeline中的各个节点进行依次调度。上述业务实体对象由业务实体实现层根据上述的任务实体对象构造而成，上述业务实体实现层可以是指用于创建业务实体对象的一层，业务实体实现层继承业务实体抽象层，该业务实体抽象层可以负责业务实体对象中多元化业务的共性实现，例如：持有任务对象资源(包含任务实体对象的数据类型、任务状态、任务类型标识等)、共同的调度逻辑等。业务实体实现层则负责不同的业务特性的实现，例如：Pipeline结束的结果输出，调度过程中的特性逻辑处理。

405、根据子任务请求构造业务调度实体对象，并将业务调度实体对象传输给数据计算节点，通过数据计算节点对子任务请求进行数据计算，以得到子任务结果。

406、接收数据计算节点对多个子任务请求分别进行数据计算得到的所有子任务结果，对所有子任务结果进行处理得到目标结果。

可选的，上述步骤405包括：

根据子任务请求，在业务调度实体实现层构造业务调度实体对象，业务调度实体对象包括业务实体对象。

其中，业务调度实体对象可以是指对子任务请求进行依次调度输出到微数据计算单元插件进行计算的实例。业务调度实体对象由业务调度实体实现层构造而成，业务调度实体实现层继承业务调度实体抽象层，其中，业务调度实体抽象层负责实现不同类型业务调度实体对象的共性部分，业务调度实体实现层负责处理不同类型业务调度实体对象的特异性部分。业务调度实体对象持有业务实体对象，由于该业务调度实体对象贯穿整个Pipeline流程中，因此，当微数据计算单元插件输出子任务结果时，可以通过该业务调度实体对象中的业务实体对象的回传接口输出子任务结果至业务逻辑处理调度插件。

根据数据计算节点的入口地址信息，将业务调度实体对象发送给数据计算节点，以生成数据计算节点的输入对象。

上述数据计算节点的入口信息即微数据计算单元插件的入口地址信息。一个业务调度实体对象针对一个子任务请求，当业务调度实体对象传输到微数据计算单元插件时，对即变成微数据计算单元插件的输入对象，可以在计算单元插件输入抽象层完成输入对象共性实现，计算单元插件输入实现层继承计算单元插件输入抽象层，可以在计算单元插件输入实现层完成输入对象的特性实现。该输入对象不仅持有业务调度实体对象，并且链接业务逻辑处理调度插件和微数据计算单元插件。由于微数据计算单元插件调度管理记录着微数据计算单元插件的入口地址信息，所以，由资源统筹管理层的微数据计算单元插件调度管理负责将上述输入对象调度给微数据计算单元插件。

对输入对象进行数据计算，以得到子任务结果，并将子任务结果回传至业务处理节点。

其中，微数据计算单元插件接收到输入对象后，便可以开始对输入对象进行计算，计算完一个输入对象便会得到一个子任务结果，且得到一个子任务结果便回传至业务逻辑处理调度插件，然后通过业务调度实体对象继续调度Pipeline中的下一个子任务请求，将与该下一个任务请求赌赢的业务调度实体对象发送到计算单元插件输入实现层转换为输入对象输入到微数据计算单元插件中进行计算，直到Pipeline中所有节点完成数据计算。

可选的，上述步骤对输入对象进行数据计算，以得到子任务结果，并将子任务结果回传至业务处理节点可以包括：

将输入对象添加至数据计算节点的分批队列中，并获取输入对象的数据类型，输入对象包括多种数据类型。

其中，分批队列可以是Batch队列，上述输入对象的数据类型继承任务请求中的信息，可以包括任务请求的数据格式，例如：输入对象为图片采集，则数据类型可以是指请求中携带的二进制、URL地址信息、本地文件路径、编码图像数据等等。

根据输入对象的数据类型，对输入对象进行分批调度，并分发给数据计算节点中的多类型数据处理器层进行数据计算，以得到子任务结果。

其中，可以是在预设的Batch策略基础上对输入对象进行分批调度(Batch调度)，其中Batch策略可以是预先设置好的一种数据调度方法、算法等，例如：一次调度多少个输入对象，输入对象分发到哪一个多类型数据处理器层抽象层等。上述分发给多类型数据处理器层进行数据计算可以是进行异步计算，以便保证高并发的数据计算高性能，避免同步计算导致计算速度慢。

在计算过程中，由于Pipeline中的每个节点(子任务请求)中可能包含有多种数据类型的数据计算，但实现的逻辑又相似，因此，在微数据计算单元插件中设计多数据类型处理器思想，通过多数据类型处理器抽象层实现子任务请求的数据计算的共性部分，多数据处理器实现层继承多数据处理器抽象层，通过多数据处理器实现层实现子任务请求的数据计算的特异性部分，上述多数据处理器实现层从属于多数据处理器抽象层。这样一来，多类型数据处理器层即可完成同一种任务类型下的多种数据类型的数据计算，例如：Pipeline中的图片采集节点，对应的子任务请求均为图片采集，则可以设计微数据计算单元插件为图片类组件，但是，图片数据可能为文件、二进制数据等数据类型，则可以通过多类型数据处理器层完成同一种任务类型下的多种数据类型的数据计算，因为无论是二进制还是文件、对应的抽象层都是一个抽象接口，在对任务请求进行初始化时便已经标注了任务类型标识，因此可以直接跳转到多数据处理器实现层，通过多数据处理器实现层对文件、二进制等异性部分进行处理。

将子任务结果通过业务实体对象的回传接口将子任务结果回传至业务处理节点。

当多类型数据处理器层完成对子任务请求的具体数据计算时，可通过业务调度实体对象中的回传接口主动将子任务结果通知给业务逻辑处理调度插件，然后根据业务实体对象中的Pipeline流程继续完成下一个节点调度，并依次返回与每个子任务请求对应的子任务结果。以此类推，直至最后一个Pipeline节点调度结束，最终通过业务逻辑处理调度插件将所有的子任务进行逻辑整合(排序、衔接等)，形成一个完成的目标结果进行输出。

在本发明实施例中，通过将任务请求进行分解，形成多个子任务请求，将所有的子任务请求形成划分为一条Pipeline，一条Pipeline中有多个Pipeline节点，当Pipeline节点的数据类型不同时，可以通过多类型数据处理器层完成对同一种任务类型下的多种数据类型计算，实现了资源多样化处理；且每个Pipeline节点又通过插件化在业务逻辑处理调度插件与微数据计算单元插件之间实现数据传输，降低了数据分析方式变动的耦合性的同时增强了系统的鲁棒性；各插件之间灵活组合与分离，增强了数据分析系统的灵活扩展性。还将业务逻辑处理过程中的数据计算部分剥离开来，通过一个微数据计算单元插件方式进行单独的数据计算，当业务逻辑处理调度插件中的逻辑处理变更时，不会影响微数据计算单元插件中的数据计算，降低了耦合性。

如图5所示，图5是本发明实施例提供的一种数据分析装置的结构示意图，数据分析装置500包括：

第一构造模块501，用于通过业务处理节点获取任务请求，根据任务请求构造任务实体对象；

第二构造模块502，用于根据任务实体对象构造业务实体对象，通过业务实体对象调度任务请求，任务请求包括多个子任务请求；

计算模块503，用于根据子任务请求构造业务调度实体对象，并将业务调度实体对象传输给数据计算节点，通过数据计算节点对子任务请求进行数据计算，以得到子任务结果；

接收模块504，用于接收数据计算节点对多个子任务请求分别进行数据计算得到的所有子任务结果，对所有子任务结果进行处理得到目标结果。

可选的，如图6所示，图6是本发明实施例提供的另一种数据分析装置的结构示意图，装置500还包括：

获取模块505，用于通过资源统筹管理节点将业务处理节点与数据计算节点进行初始化，初始化包括获取业务处理节点与数据计算节点的入口地址信息以及申请内存空间；

确认模块506，用于若资源统筹管理节点分别接收到业务处理节点及数据计算节点返回的确认信息，则确认初始化完成。

可选的，如图7所示，图7是本发明实施例提供的另一种数据分析装置的结构示意图，第一构造模块501包括：

获取单元5011，用于通过业务处理节点预设的本地/网络任务请求接口获取任务请求，对任务请求标注任务数据类型，并将任务请求存储到内存空间；

第一构造单元5012，用于对任务请求进行解析，通过业务实体层中任务实体实现层根据解析得到的任务数据信息构造任务实体对象，任务实体对象中包括任务请求的任务数据类型。

可选的，如图8所示，图8是本发明实施例提供的另一种数据分析装置的结构示意图，第二构造模块502包括：

分解单元5021，用于对任务请求进行分解，以得到多个子任务请求；

生成单元5022，用于根据多个子任务请求生成任务路线；

接收单元5023，用于通过业务实体对象的启动接口接收任务实体对象，在业务实体实现层根据任务实体对象构造业务实体对象，并通过业务实体对象对任务路线中的子任务请求进行有序调度。

可选的，如图9所示，图9是本发明实施例提供的另一种数据分析装置的结构示意图，计算模块503包括：

第二构造单元5031，用于根据子任务请求，在业务调度实体实现层构造业务调度实体对象，业务调度实体对象包括业务实体对象；

发送单元5032，用于根据数据计算节点的入口地址信息，将业务调度实体对象发送给数据计算节点，以生成数据计算节点的输入对象；

计算单元5033，用于对输入对象进行数据计算，以得到子任务结果，并将子任务结果回传至业务处理节点。

可选的，如图10所示，图10是本发明实施例提供的另一种数据分析装置的结构示意图，计算单元5033包括：

添加子单元50331，用于将输入对象添加至数据计算节点的分批队列中，并获取输入对象的数据类型；

分发子单元50332，用于根据输入对象的数据类型，对输入对象进行分批调度，并分发给数据计算节点中的多类型数据处理器层进行数据计算，以得到子任务结果；

回传子单元50333，用于将子任务结果通过业务实体对象的回传接口将子任务结果回传至业务处理节点。

本发明实施例提供的数据分析装置能够实现上述方法实施例中数据分析方法实现的各个过程且可以达到相同的有益效果，为避免重复，这里不再赘述。

如图11所示，图11是本发明实施例提供的一种电子设备的结构示意图，该电子设备1100包括：存储器1102、处理器1101、网络接口1103及存储在存储器1102上并可在处理器1101上运行的计算机程序，处理器1101执行计算机程序时实现实施例提供的数据分析方法中的步骤。

具体的，处理器1101用于执行以下步骤：

通过业务处理节点获取任务请求，根据任务请求构造任务实体对象；

根据任务实体对象构造业务实体对象，通过业务实体对象调度任务请求，任务请求包括多个子任务请求；

根据子任务请求构造业务调度实体对象，并将业务调度实体对象传输给数据计算节点，通过数据计算节点对子任务请求进行数据计算，以得到子任务结果；

接收数据计算节点对多个子任务请求分别进行数据计算得到的所有子任务结果，对所有子任务结果进行处理得到目标结果。

可选的，处理器1101还用于执行：

通过资源统筹管理节点将业务处理节点与数据计算节点进行初始化，初始化包括获取业务处理节点与数据计算节点的入口地址信息以及申请内存空间；

若资源统筹管理节点分别接收到业务处理节点及数据计算节点返回的确认信息，则确认初始化完成。

可选的，处理器1101执行的通过业务处理节点获取任务请求，根据任务请求构造任务实体对象的步骤包括：

通过业务处理节点预设的本地/网络任务请求接口获取任务请求，对任务请求标注任务数据类型，并将任务请求存储到内存空间；

对任务请求进行解析，通过业务实体层中任务实体实现层根据解析得到的任务数据信息构造任务实体对象，任务实体对象中包括任务请求的任务数据类型。

可选的，处理器1101执行的根据任务实体对象构造业务实体对象，通过业务实体对象调度任务请求的步骤包括：

对任务请求进行分解，以得到多个子任务请求；

根据多个子任务请求生成任务路线；

通过业务实体对象的启动接口接收任务实体对象，在业务实体实现层根据任务实体对象构造业务实体对象，并通过业务实体对象对任务路线中的子任务请求进行有序调度。

可选的，处理器1101执行的根据子任务请求构造业务调度实体对象，并将业务调度实体对象传输给数据计算节点，通过数据计算节点对子任务请求进行数据计算的步骤包括：

根据子任务请求，在业务调度实体实现层构造业务调度实体对象，业务调度实体对象包括业务实体对象；

根据数据计算节点的入口地址信息，将业务调度实体对象发送给数据计算节点，以生成数据计算节点的输入对象；

对输入对象进行数据计算，以得到子任务结果，并将子任务结果回传至业务处理节点。

可选的，处理器1101执行的对输入对象进行数据计算，以得到子任务结果，并将子任务结果回传至业务处理节点的步骤包括：

将输入对象添加至数据计算节点的分批队列中，并获取输入对象的数据类型；

根据输入对象的数据类型，对输入对象进行分批调度，并分发给数据计算节点中的多类型数据处理器层进行数据计算，以得到子任务结果；

将子任务结果通过业务实体对象的回传接口将子任务结果回传至业务处理节点。

本发明实施例提供的一种电子设备1100能够实现数据分析方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

需要指出的是，图中仅示出了具有组件的1101-1103，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备1100是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备1100可以是桌上型计算机、笔记本及掌上电脑等计算设备。电子设备1100可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

存储器1102至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1102可以是电子设备1100的内部存储单元，例如该电子设备1100的硬盘或内存。在另一些实施例中，存储器1102也可以是电子设备1100的外部存储设备，例如该电子设备1100上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器1102还可以既包括电子设备1100的内部存储单元也包括其外部存储设备。本实施例中，存储器1102通常用于存储安装于电子设备1100的操作系统和各类应用软件，例如数据分析方法的程序代码等。此外，存储器1102还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器1101在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1101通常用于控制电子设备1100的总体操作。本实施例中，处理器1101用于运行存储器1102中存储的程序代码或者处理数据，例如运行数据分析方法的程序代码。

网络接口1103可包括无线网络接口或有线网络接口，该网络接口1103通常用于在电子设备1100与其他电子设备之间建立通信连接。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器1101执行时实现实施例提供的数据分析方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器1102(Random Access Memory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据分析方法，其特征在于，包括以下步骤：

通过业务处理节点获取任务请求，根据所述任务请求构造任务实体对象；

根据所述任务实体对象构造业务实体对象，通过所述业务实体对象调度所述任务请求，所述任务请求包括多个子任务请求；

根据所述子任务请求构造业务调度实体对象，并将所述业务调度实体对象传输给数据计算节点，通过所述数据计算节点对所述子任务请求进行数据计算，以得到子任务结果；

接收所述数据计算节点对所述多个子任务请求分别进行数据计算得到的所有子任务结果，对所述所有子任务结果进行处理得到目标结果。

2.如权利要求1所述的数据分析方法，其特征在于，所述方法还包括步骤：

通过资源统筹管理节点将所述业务处理节点与所述数据计算节点进行初始化，所述初始化包括获取所述业务处理节点与所述数据计算节点的入口地址信息以及申请内存空间；

若所述资源统筹管理节点分别接收到所述业务处理节点及所述数据计算节点返回的确认信息，则确认所述初始化完成。

3.如权利要求2所述的数据分析方法，其特征在于，所述通过业务处理节点获取任务请求，根据所述任务请求构造任务实体对象的步骤包括：

通过所述业务处理节点中预设的本地/网络任务请求接口获取所述任务请求，对所述任务请求标注任务类型标识，并将所述任务请求存储到所述内存空间；

对所述任务请求进行解析，通过业务实体层中任务实体实现层根据解析得到的任务数据信息构造所述任务实体对象，所述任务实体对象中包括所述任务请求的任务类型标识。

4.如权利要求1所述的数据分析方法，其特征在于，所述根据所述任务实体对象构造业务实体对象，通过所述业务实体对象调度所述任务请求的步骤包括：

对所述任务请求进行分解，以得到所述多个子任务请求；

根据所述多个子任务请求生成任务路线；

通过所述业务实体对象的启动接口接收所述任务实体对象，在业务实体实现层根据所述任务实体对象构造所述业务实体对象，并通过所述业务实体对象对所述任务路线中的子任务请求进行有序调度。

5.如权利要求2所述的数据分析方法，其特征在于，所述根据所述子任务请求构造业务调度实体对象，并将所述业务调度实体对象传输给数据计算节点，通过所述数据计算节点对所述子任务请求进行数据计算的步骤包括：

根据所述子任务请求，在业务调度实体实现层构造业务调度实体对象，所述业务调度实体对象包括所述业务实体对象；

根据所述数据计算节点的入口地址信息，将所述业务调度实体对象发送给所述数据计算节点，以生成所述数据计算节点的输入对象；

对所述输入对象进行数据计算，以得到所述子任务结果，并将所述子任务结果回传至所述业务处理节点。

6.如权利要求5所述的数据分析方法，其特征在于，所述对所述输入对象进行数据计算，以得到子任务结果，并将所述子任务结果回传至所述业务处理节点的步骤包括：

将所述输入对象添加至所述数据计算节点的分批队列中，并获取所述输入对象的数据类型；

根据所述输入对象的数据类型，对所述输入对象进行分批调度，并分发给所述数据计算节点中的多类型数据处理器层进行数据计算，以得到所述子任务结果；

将所述子任务结果通过所述业务实体对象的回传接口将子任务结果回传至所述业务处理节点。

7.一种数据分析装置，其特征在于，包括：

第一构造模块，用于通过业务处理节点获取任务请求，根据所述任务请求构造任务实体对象；

第二构造模块，用于根据所述任务实体对象构造业务实体对象，通过所述业务实体对象调度所述任务请求，所述任务请求包括多个子任务请求；

计算模块，用于根据所述子任务请求构造业务调度实体对象，并将所述业务调度实体对象传输给数据计算节点，通过所述数据计算节点对所述子任务请求进行数据计算，以得到子任务结果；

接收模块，用于接收所述数据计算节点对所述多个子任务请求分别进行数据计算得到的所有子任务结果，对所述所有子任务结果进行处理得到目标结果。

8.如权利要求7所述的数据分析装置，其特征在于，所述装置还包括：

获取模块，用于通过所述资源统筹管理节点将所述业务处理节点与所述数据计算节点进行初始化，所述初始化包括获取所述业务处理节点与所述数据计算节点的入口地址信息以及申请内存空间；

确认模块，用于若所述资源统筹管理节点分别接收到所述业务处理节点及所述数据计算节点返回的确认信息，则确认所述初始化完成。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的数据分析方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据分析方法中的步骤。

Images