CN113849503A

CN113849503A - 一种开放式大数据处理系统、方法及介质

Info

Publication number: CN113849503A
Application number: CN202111062984.2A
Authority: CN
Inventors: 麻志毅; 龚小龙; 郑聪; 陈曦
Original assignee: Advanced Institute of Information Technology AIIT of Peking University; Hangzhou Weiming Information Technology Co Ltd
Current assignee: Advanced Institute of Information Technology AIIT of Peking University; Hangzhou Weiming Information Technology Co Ltd
Priority date: 2021-09-10
Filing date: 2021-09-10
Publication date: 2021-12-28
Anticipated expiration: 2041-09-10
Also published as: CN113849503B

Abstract

本申请涉及一种开放式大数据处理系统、方法及介质。所述系统包括：资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，全局数据空间包括各处理对象相关的物理数据；内核公共服务层，与资源虚拟层连接，用于对开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；软件开发工具包层，与内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。本申请可以高效管理各类处理对象，有效帮助社会单位快速形成核心数据资产，支持数据应用服务，提供智能软件研发框架，大大提升了数据处理的效率。

Description

一种开放式大数据处理系统、方法及介质

技术领域

本申请涉及数据处理技术领域，更为具体来说，本申请涉及一种开放式大数据处理系统、方法及介质。

背景技术

随着数字化产业的推进，建设数字强国已被列入国家的规划纲要中。但在数字化实施进程中面临诸多的问题，由于各类社会单位对信息化的规划不够清晰，导致烟囱式信息系统普遍存在，使得海量异构软硬件资源无法得到有效管理。行业企业缺少统一数据基础设施建设，企业内的各个信息系统，以及行业中不同企业或组织间的系统，无法互联互通，形成了大量的信息孤岛。

总之出现大量的问题，例如数据搬家多，数据找不到，数据读不懂，数据获取难，数据不敢信，等等，这些问题也成了各类社会单位难以形成自身核心数据资产的痛点。

发明内容

基于上述技术问题，本发明旨在使数据处理打破数据孤岛，使数据处理支撑数字化软件研发，并使数据处理实现数据随需共享应用。本发明提供了一种大数据处理系统及方法，可以看做是一款面向数据互联场景的“泛在操作系统”，在辅助社会单位数字化进程中能起到向下管理海量异构软件资源，向上凝练各类业务应用的共性并为上层应用提供开发和运行支撑的作用。

本申请实施例提供了开放式大数据处理系统、方法、计算机可读存储介质及计算机程序产品。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明第一方面提供了一种开放式大数据处理系统，包括：

资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各处理对象相关的物理数据；

内核公共服务层，与所述资源虚拟层连接，用于对所述开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；

软件开发工具包层，与所述内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

具体地，所述软件开发工具包层包括主题数据资产构建与运维管理平台或开放式应用研发服务管理平台。

优选地，所述主题数据资产构建与运维管理平台还包括数据业务服务资源平台，所述数据业务服务资源平台包括数据服务构建工具集、业务服务构建共性组件和资源库。

进一步地，所述资源虚拟层在用于关联全局数据空间中的物理数据时，具体包括：

当要关联全局数据空间中的第一物理数据时，在所述资源虚拟层建立逻辑表，其中，所述逻辑表存储关联到所述第一物理数据的路径；

当要关联全局数据空间中的第二物理数据时，所述资源虚拟层通过人工智能算法自动辅助解析所述第二物理数据的语义结构且关联所述第二物理数据。

进一步地，所述内核公共服务层在用于对所述开放式大数据处理系统的任务管理时，具体包括：

监控用户提交的任务申请；

对所述任务申请通过调度算法进行调度。

其中，所述对处理形成接口的管理包括所述内核公共服务层与所述资源虚拟层连接产生的数据接口管理和所述内核公共服务层与所述软件开发工具包层连接产生的应用程序编程接口管理。

进一步优选地，所述开放式应用研发服务管理平台具体用于：

监测用户提交的应用程序编程接口修改请求；

确定所述应用程序编程接口修改请求合法时允许修改。

本发明第二方面提供了一种开放式大数据处理方法，所述方法包括：

关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据；

管理处理任务、管理处理形成接口及管理用户权限；

构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：

管理处理任务、管理处理形成接口及管理用户权限；

本发明第四方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行如下步骤：

管理处理任务、管理处理形成接口及管理用户权限；

本申请的有益效果为：本申请的所述大数据处理系统及方法通过资源虚拟层、内核公共服务层和软件开发工具包层三层架构，实现了开放的、敏捷的大数据处理任务，关联和管理全局数据空间中的物理数据，构建主题数据资产或管理应用研发服务，既能管理海量异构软件资源，又能向上凝练各类业务应用的共性并为上层应用提供开发和运行支撑作用，因此该系统和方法既开放又敏捷，大大提升了数据处理效率。本申请可以高效管理社会单位内外各类信息系统，有效帮助社会单位快速形成核心数据资产，整体开放的系统架构支持数据应用服务，提供智能软件研发框架，支撑社会单位数字化及转型升级，进而达到数字化赋能的最终目标。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1示出了本申请一示例性实施例的系统结构示意图；

图2示出了本申请一示例性实施例的一系统架构示意图；

图3示出了本申请一示例性实施例系统架构图中与硬件相关部分的示意图；

图4示出了本申请一示例性实施例中传统操作系统的架构示意图；

图5示出了本申请一示例性实施例中另一系统架构示意图；

图6示出了本申请一示例性实施例的方法中关于全局数据空间和主题数据资产示意图；

图7示出了本申请一示例性实施例所提供的一种电子设备的结构示意图；

图8示出了本申请一示例性实施例所提供的一种存储介质的示意图。

具体实施方式

近年来，基于中台理念的企业IT系统建设在国内日益流行，但目前国内大部分单位选择数据中台作为主要实施方案，其过程主要沿用以数据仓库或数据湖为核心的系统架构。这里给出几个相关概念的描述：

前台：一线业务，更敏捷更快速适应市场，是对接用户的，所以系统需要快速响应前端用户的需求，快速创新、快速迭代、快速建设、不能耗费太大成本。

后台：支撑前台越来越多的业务，后台系统不断地建设并庞大起来，所以后台系统需要扎实稳定，建成之后往往不能随意改动，是系统的基础软硬件设施。

数据中台：中台实际上是相对前台和后台而言的，是基于云计算、大数据、人工智能等新一代技术打造的企业级业务能力和数据共享服务平台。它的核心是企业基础服务能力，目标是支持前台小成本地快速创新迭代，运用后台技术手段，提供可以供前台复用的公用能力。数据中台需要数据服务统一、数据标准与统一、业务实体统一。

数据仓库：是一种用于报告和数据分析的系统，被认为是商业智能的核心组件。数据仓库是来自一个或多个不同源的集成数据的中央存储库。数据仓库将当前和历史数据存储在一起，用于创建分析报告。

数据湖：相比于数据仓库只能针对结构化数据，数据湖是一个存储企业的各种各样类型的原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。

数据中台可以建立在数据仓库、数据湖或数据库之上，是加速企业从数据到业务价值的过程的中间层。上述的数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表；数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；数据仓库具有历史性，其中存储的数据大多是结构化数据，这些数据并非企业全量数据，而是根据需求针对性抽取的。数据湖是指使用大型二进制对象或文件这样的自然格式储存数据的系统。它通常把所有的企业数据统一存储，既包括源系统中的原始副本，也包括转换后的数据，比如那些用于报表,可视化,数据分析和机器学习的数据；数据湖可以包括关系数据库的结构化数据(行与列)、半结构化的数据(CSV，日志，XML,JSON)，非结构化数据(电子邮件、文件、PDF)和二进制数据(图像、音频、视频)。所以说数据仓库和数据湖，是大数据架构的两种设计取向，在从数据抽取到全面价值化的整个流程方面功能有限。

虽然数据中台在一定程度上丰富了据仓库和数据湖的缺欠，但它有如下突出问题：一是打破数据孤岛能力问题。各产业中不同单位信息化带来的数据孤岛现象五花八门，需要更多的数据采集和数据集成技术能力，先要有数据才能进行下一步的汇聚。二是存储成本问题，数据中台中使用数据仓库或数据湖架构需要存储业务原始数据，额外增加了单位的存储成本。三是设备成本和运维成本，无论是自购服务器还是使用云，成本都是巨大的，而且后期随着业务的不断变化，各类运维成本还会不断增加，进而带来更多人力成本的投入。比如后台中大量设备的购买费用、折旧维护费用、电力耗费等诸多运维成本。四是人力成本问题，不同行业的业务逻辑跨度巨大，数据中台的构建需要大量的人力投入以此实施、维护业务逻辑及相关业务模型、标签体系等。五是跨行业复用能力问题，各类单位信息化发展水平参差不齐，很难统一适用数据中台服务构建模式，如信息化能力严重不足的部分传统中小型制造业企业不适合构建中台，投入产出较难控制，同时主流数据中台中的数据仓库只能对结构化数据进行处理，难以适用海量多源异构数据的社会场景，再加上很多单位(如制造业企业)对生产数据的敏感性，很难将数据上传到公有云。

以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

下面结合说明书附图1-8给出几个实施例来描述根据本申请示例性实施方式。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

实施例1：

本实施例提供了一种开放式大数据处理系统，如图1所示，包括：

监控用户提交的任务申请；

对所述任务申请通过调度算法进行调度。

监测用户提交的应用程序编程接口修改请求；

确定所述应用程序编程接口修改请求合法时允许修改。

本申请的所述大数据处理系统及方法通过资源虚拟层、内核公共服务层和软件开发工具包层三层架构，实现了开放的、敏捷的大数据处理任务，关联和管理全局数据空间中的物理数据，构建主题数据资产或管理应用研发服务，既能管理海量异构软件资源，又能向上凝练各类业务应用的共性并为上层应用提供开发和运行支撑作用，因此该系统和方法既开放又敏捷，大大提升了数据处理效率。本申请可以高效管理社会单位内外各类信息系统，有效帮助社会单位快速形成核心数据资产，整体开放的系统架构支持数据应用服务，提供智能软件研发框架，支撑社会单位数字化及转型升级，进而达到数字化赋能的最终目标。

实施例2：

本实施例提供了一种开放式大数据处理系统，如图2所示，包括：资源虚拟层、内核公共服务层和软件开发工具包层三层，内核公共服务层和资源虚拟层连接，内核公共服务层和软件开发工具包层连接。

资源虚拟层用于关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各处理对象相关的物理数据。

内核公共服务层用于对所述开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理。

软件开发工具包层用于构建主题数据资产，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

其中，图2中与硬件相关部分示意图如图3所示，与硬件相关部分包括计算资源、存储资源和通信资源。其中计算资源为CPU、GPU等，存储资源如内存、RAM等，通信资源如网卡等。

具体地，全局数据空间包括社会单位所有的内部已存在的业务信息系统(如CRM、ERP、OA和文件系统等)、企业已经在单个信息系统基础上构建好的数据系统(如数据仓库、数据湖、各形式的数据中心等)、新信息系统(如企业从各方采集得到的信息资源需要额外的存储到新建的数据库中)、企业数字化过程中形成的核心数据资产这四方面原生物理数据源，即所有的原生物理数据都属于全局数据空间管理范畴。在本申请所述开放式大数据处理系统中，不论是企业所有的原生物理数据资产，还是后续构建的核心物理数据资产(主题数据库)，其数据源管理都存放在全局数据空间，供所述开放式大数据处理系统管理和使用。

在全局数据空间中，企业内部已存在的业务信息系统(原生业务系统)。各行业中的信息系统，在不同时期由不同厂商开发或者自主研发，有的数据库权限并没有开放给社会单位本身，所以需要通过数据虚拟化技术来解决数据库权限不开放的问题。很多中小型社会单位由于信息化水平相对发展较慢，主要的业务还停留在Excel表格、Word文档、PDF文档或PEG图片等形式上。从数据类型角度来看该数据源可以分成：a.结构化/半结构化数据：存放在信息系统的关系型数据库中(如DB，Oracle，Mysql等)；b.非结构化数据：存放在非关系型数据库(如MongoDB等)或文件系统中的多模态数据(如Pdf，JPEG，Excel等)；由于工业企业数字化进程有快有慢，部分企业结合自身信息化水平前期已经基于数据仓库、数据湖、分布式数据中心等模式打造的自身数据资产。

在全局数据空间中，新信息系统的存在也是有原因的。企业现有的内部信息系统并不能完整地支撑业务应用开发，缺乏外部信息的支撑。比如在营销业务上，企业决策层想了解企业竞争对手的详细情况，而企业内部的信息系统是无法获取这类数据的，需要从互联网上公开资源去获取；其次制造业企业很多的生产设备是来自国外，其设备的运转数据对我国施行技术封锁，企业无法获取设备数据进而没法完成决策部署。基于上述两点需要大数据处理系统具备多元化的数据采集能力，同时能将采集到的数据形成服务API。

在全局数据空间中，还有企业数字化过程中形成的核心数据资产。由于企业数字化过程中会进行主题数据资产的构建，而这过程中会产生大量的中间结果或最终形成业务需要直接调用的主题数据库，这些物理数据都会统一存放到全局数据空间中并通过虚拟化技术关联至大数据处理系统，并同时形成服务API。

综上，全局数据空间基本覆盖了企业底层的海量多源异构数据资源，为上层大数据处理系统架构奠定了数据基础，也给出了企业数字化的原生物理数据范式。

如图2所示，所述资源虚拟层会关联全局数据空间中的数据，而这些数据有开放数据库权限的和不开放数据权限的，那么在用于关联全局数据空间中的物理数据时，具体包括：当要关联全局数据空间中的第一物理数据时，在所述资源虚拟层建立逻辑表，其中，所述逻辑表存储关联到所述第一物理数据的路径；当要关联全局数据空间中的第二物理数据时，所述资源虚拟层通过人工智能算法自动辅助解析所述第二物理数据的语义结构且关联所述第二物理数据。例如，关系型数据库(如Mysql、Oracle等)就可以作为第一物理数据，第二物理数据可以是非结构化的原生业务应用中的数据。关联上的物理数据还包括非关系型数据库(如MongoDB等)、文件系统(共享文件夹、HDFS等)，对关联上的数据有实时探测感知的能力，如数据源的表有“增删改”的情况会及时被探测到并自动修改对应的资源虚拟层的逻辑表，及时让用户按需掌握最新的数据源情况。同时提供查询优化功能，可以让用户直接查询检索到想要的数据。该层给出一种统一的数据源接入规范，用户只需按照接入规范要求填写必要信息即可快速管理底层数据源。所述资源虚拟层突破传统“白盒”互操作技术思路，提出颠覆式的数据互操作技术途径——“黑盒”思路，通过揭示信息系统内部基于云-端融合特性的计算反射机理，通过系统客户端外部监测与控制实现业务数据和功能高效互操作的整套技术及平台，消除了系统源码、数据库表、后台权限、原开发团队等“白盒”依赖，该功能为打破数据孤岛技术之一。除此之外，所述资源虚拟层实现了基于屏显分析的智能数采技术。针对行业企业中普遍存在数据拿不到，只能通过人工手抄脑记的现象，本申请所述资源虚拟层给出了一种更加便捷的数据采集技术，将人工肉眼可见的数据解析出来并自动入库形成服务API，该功能也是为打破数据孤岛技术之一。

再如图2所示，内核公共服务层介于本申请大数据处理系统的中间，起到承上启下的内核功能。类似于传统的操作系统进程管理、任务调度、用户权限、文件系统、内存管理等。图4示出了传统操作系统的架构示意图，如图4所示，传统操作系统的架构也包括三层，但这三层是资源管理层、软件开发组件层及应用层，传统操作系统如MAC、Windows、Linux等。资源管理层管理硬件资源，如计算资源、存储资源、数据资源和通信资源等，其中计算资源如CPU等，存储资源如磁盘和内存等；软件开发组件层包括编程模型、开放工具集、应用程序编程接口及各种库；至于应用层是传统操作系统的最外层，包括各式各样的应用程序。而本申请的内核公共服务层通过资源管理层对其资源虚拟化，借助虚拟化技术，用户能以单个物理硬件系统为基础创建多个模拟环境或专用资源，例如一台计算机可以运行多个操作系统。而本申请的开放式大数据处理系统的内核公共服务层在使用过程中能高效处理用户发出的所有指令，并最大限度地按照任务需求优化底层硬件资源的使用，从而达到提升整体处理系统性能的目标。所述内核公共服务层在用于对所述开放式大数据处理系统的任务管理时，具体包括：监控用户提交的任务申请；对所述任务申请通过调度算法进行调度。其中，所述对处理形成接口的管理包括所述内核公共服务层与所述资源虚拟层连接产生的数据接口管理和所述内核公共服务层与所述软件开发工具包层连接产生的应用程序编程接口管理。

再具体地，内核公共服务层所有数据资源的处理都通过共性工具来完成，每个共性工具中都有任务处理流程，也就是将用户的每个应用处理都转变成任务处理的模式，从创建任务到执行任务到输出结果。将所有用户提交的应用任务状态进行监控(如任务状态、任务预计时间、所需资源)，并通过调度算法来执行所有的请求任务，合理调度资源，及时响应用户需求。内核公共服务层还对接口进行管理，因为所有的数据资源调度使用通过接口来完成，资源虚拟层是链接所有数据的通道，无论是原生业务系统的API(应用程序编程接口)，还是关联融合后的API，或是构成主题数据资产后形成的API等，都应汇聚在资源虚拟层中的API自动生成与管理层中。内核公共服务层构建了一套完整的API生成管理工具，对在使用大数据处理系统过程中所产生的不同种类、不同形式、不同权限的API进行统一管理，并统一生成规范。另外和所有传统的操作系统功能一样，都会对过期任务或者无效结果进行处理，进行内存释放并支持用户卸载不常用的工具，并对用户权限下所能使用的软硬件资源进行管理。最后，内核公共服务层还管理用户权限：在企业使用过程中，由于数据资源的权限限制，同样需要用户也有相应的权限才能读写相关数据，结合业务层面的不同情况和企业内部组织结构等设计构造和管理用户权限体系。

软件开发工具包层用于构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

因为有了上述的两层即资源虚拟层和内核公共服务层，其余的就是如何提供可扩展的软件开发环境以及如何支撑企业用户快速构建核心数据资产，也就是软件开发工具包层。这里要分两步构建：第一步是面向主题的核心数据资产的构建；第二步是应用开发框架和运行时管理。考虑到让同行业内能快速复用，同时尽可能地需要跨行业复用，软件开发工具包层根据业务情况沉淀凝练足够多的共性资源(工具、库、业务组等)，打造了一个完整的大数据处理系统的开放生态。

优选地，面向主题的核心数据资产构建(主题数据库)：社会单位数字化过程中根据业务需要构建核心数据资产，这些数据资产经过清洗转换及预加工处理，再通过AI算法得到直接支撑业务应用数据结果。且根据业务粒度的不同，需要将核心数据资产按照业务主题来进行划分。构建面向主题的核心数据资产需要两个开放平台的支撑：主题数据资产构建与运维管理平台、数据(业务)服务资源平台(即权利要求中的数据业务服务资源平台)：主题数据资产构建与运维管理平台：主要沉淀是面向主题的数据资产构建和管理的工具集合。数据(业务)服务资源平台主要沉淀的是各类面向数据(业务)服务的共性工具集合和一些整个大数据处理系统使用过程中涉及的共性资源库。该平台主要有三个模块构成：数据服务构建工具集、业务服务构建共性组件和资源库。

本申请所述开放式大数据系统能带来诸多有益效果：不影响原有数据系统的自运行及使用，又打破了数据孤岛且智能融合多源异构数据。具有数据驱动下的智能化分析处理能力，能多元化数据采集能力，采集的数据可按需动、静态加载。系统具备整体开放性、敏捷性，其关键功能模块工具化，能够按需配置。其中采集方法包括：Web采集、智能采集和物联操作系统采集。针对公开的互联网信息，将爬虫技术进行低代码封装成Web采集工具，降低技术采集的使用门槛，让更多的业务小白也可以通过Web采集工具将互联网上的公开信息资源进行自动采集而后按需存入企业自建的数据库中。智能数采针对行业中大量设备数据接口完全不开放的情况，通过AI技术将大量的手抄脑记的过程进行全面数字化，并根据业务流程实时写入新建数据库并形成服务API。物联操作系统采集可以针对企业设备数据接口开放但未能有效采集的场景，通过外接各类传感器、终端等采集数据(如环境，电表等)，存入相应数据库。

实施例3：

本实施例提供了一种开放式大数据处理系统，如图5所示，包括：资源虚拟层、内核公共服务层和软件开发工具包层三层，内核公共服务层和资源虚拟层连接，内核公共服务层和软件开发工具包层连接。

软件开发工具包层用于管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

具体地，软件开发工具包层用于开发框架与运行时管理，由于大数据处理系统整体设计是开放的，上述所有的共性工具和资源都需要支持用户的二次开发，并兼容外部其他合适的工具。软件开发工具包层同时提供了一套应用程序运行时管理机制，以此来逐步完善大数据处理系统的生态。因而构建应用开发框架就需要包含开放的软件应用研发服务接口，允许用户按需按权限增删相关API。软件开发工具包层包括开放式应用研发服务管理平台(即图5中的开放的应用研发服务接口平台)监测用户提交的应用程序编程接口修改请求；确定所述应用程序编程接口修改请求合法时允许修改。本专利提供了一种基于大数据处理系统的行业解决方案，可以整体运行在异构资源的原生操作系统和应用层之间，可以跨行业支撑各类企业、机构、单位等职能部门的数字化需求，行业包括工业、城市大脑、政务、医疗等等。可见，本申请是敏捷的大数据处理系统，整体开放的系统架构支持数据应用服务，提供智能软件研发框架，支撑社会单位数字化及转型升级，进而达到数字化赋能的最终目标。

实施例4：

本实施例提供了一种开放式大数据处理方法，所述方法包括：关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据；管理处理任务、管理处理形成接口及管理用户权限；构建主题数据资产，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

具体地，所述方法中关于全局数据空间和主题数据资产示意如图6所示，其中全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据。如图6所示，通过对全局数据空间感知关联为统一规范，达到与大量分散的数据源连接的目的，当要关联全局数据空间中的第一物理数据时，建立逻辑表，其中，所述逻辑表存储关联到所述第一物理数据的路径；当要关联全局数据空间中的第二物理数据时，通过人工智能算法自动辅助解析所述第二物理数据的语义结构且关联所述第二物理数据。这里，第一物理数据可以看做是结构化的数据。再如图6所示，在底层关联到了全局数据空间，接下来就可以利用全局数据空间数据来构建主题数据资产，在关联全局数据空间数据和构建主题数据资产时形成的接口(包括数据接口和应用程序编程接口)都需要被管理。管理处理任务具体包括：监控用户提交的任务申请；对所述任务申请通过调度算法进行调度。

下面请参考图7，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图7所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的开放式大数据处理方法，所述电子设备可以是具有触敏显示器的电子设备。

其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述开放式大数据处理方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的开放式大数据处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的开放式大数据处理方法对应的计算机可读存储介质，请参考图8，图8示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的开放式大数据处理方法。另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现开放式大数据处理方法的步骤，所述方法的步骤包括：关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据；管理处理任务、管理处理形成接口及管理用户权限；构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。

需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种开放式大数据处理系统，其特征在于，包括：

2.根据权利要求1所述的开放式大数据处理系统，其特征在于，所述软件开发工具包层包括主题数据资产构建与运维管理平台或开放式应用研发服务管理平台。

3.根据权利要求2所述的开放式大数据处理系统，其特征在于，所述主题数据资产构建与运维管理平台还包括数据业务服务资源平台，所述数据业务服务资源平台包括数据服务构建工具集、业务服务构建共性组件和资源库。

4.根据权利要求1所述的开放式大数据处理系统，其特征在于，所述资源虚拟层在用于关联全局数据空间中的物理数据时，具体包括：

5.根据权利要求1所述的开放式大数据处理系统，其特征在于，所述内核公共服务层在用于对所述开放式大数据处理系统的任务管理时，具体包括：

监控用户提交的任务申请；

对所述任务申请通过调度算法进行调度。

6.根据权利要求2所述的开放式大数据处理系统，其特征在于，所述对处理形成接口的管理包括所述内核公共服务层与所述资源虚拟层连接产生的数据接口管理和所述内核公共服务层与所述软件开发工具包层连接产生的应用程序编程接口管理。

7.根据权利要求6所述的开放式大数据处理系统，其特征在于，所述开放式应用研发服务管理平台具体用于：

监测用户提交的应用程序编程接口修改请求；

确定所述应用程序编程接口修改请求合法时允许修改。

8.一种开放式大数据处理方法，其特征在于，所述方法包括：

管理处理任务、管理处理形成接口及管理用户权限；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求8所述方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求8所述方法的步骤。