CN110798465B - 一种大数据处理平台、数据处理方法、设备和存储介质 - Google Patents

一种大数据处理平台、数据处理方法、设备和存储介质 Download PDF

Info

Publication number
CN110798465B
CN110798465B CN201911032861.7A CN201911032861A CN110798465B CN 110798465 B CN110798465 B CN 110798465B CN 201911032861 A CN201911032861 A CN 201911032861A CN 110798465 B CN110798465 B CN 110798465B
Authority
CN
China
Prior art keywords
data
component
calling party
client
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911032861.7A
Other languages
English (en)
Other versions
CN110798465A (zh
Inventor
杨凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201911032861.7A priority Critical patent/CN110798465B/zh
Publication of CN110798465A publication Critical patent/CN110798465A/zh
Application granted granted Critical
Publication of CN110798465B publication Critical patent/CN110798465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种大数据处理平台，包括大数据交互平台和数据存储平台；大数据交互平台，包括数据交互API和至少一个组件数据接口，其中，数据交互API接收调用方的注册请求，并根据调用方的注册请求，通知数据存储平台为调用方配置至少一个组件客户端；数据交互API将接收到的调用方的数据请求发送至为调用方配置的每一个组件客户端对应的组件数据接口；组件数据接口将调用方的数据请求发送至对应的组件客户端，并将接收到的组件客户端发送的结果数据通过数据交互API发送至调用方。本发明减少了大数据的不同技术组件所造成的技术壁垒，实现了大数据技术的平台化。本发明还涉及一种数据处理方法、设备和存储介质。

Description

一种大数据处理平台、数据处理方法、设备和存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据处理平台、数据处理方法、设备和存储介质。
背景技术
大数据平台是为了计算现今社会所产生的越来越大的数据量，大数据平台可以对巨大的数据量进行存储，运算和展示。在实际应用中，大数据平台存在各种不同的技术，基于各自的技术所创建的数据模型又有所不同，每个技术的技术规范和调用方式也各不相同。在开发使用过程中，面对不同的技术，都需要各自开发一套相应的封装方法。针对上述问题，还未提出有效的解决方案。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种大数据处理平台、数据处理方法、设备和存储介质。
第一方面，本发明提供一种大数据处理平台，该大数据处理平台包括大数据交互平台和数据存储平台；
所述大数据交互平台，包括数据交互API和至少一个组件数据接口，其中，所述数据交互API，用于接收调用方的注册请求，并根据所述调用方的注册请求，通知所述数据存储平台为所述调用方配置至少一个组件客户端；
所述数据交互API，还用于将接收到的所述调用方的数据请求发送至为所述调用方配置的每一个所述组件客户端对应的所述组件数据接口；
所述组件数据接口，用于将所述调用方的数据请求发送至对应的所述组件客户端，并将接收到的所述组件客户端发送的结果数据通过所述数据交互API发送至所述调用方；
所述数据存储平台，包括多个所述组件客户端，其中，所述组件客户端，用于接收并处理所述组件数据接口发送的数据请求，并将得到的所述结果数据发送至所述组件数据接口。
本发明的有益效果是：大数据处理平台包括大数据交互平台和数据存储平台，大数据交互平台为调用方分配组件客户端，调用方通过组件数据接口向所对应的组件客户端申请数据，组件客户端将得到的调用方的结果数据通过所对应的组件数据接口发送至调用方，调用方无需关注大数据技术中各个组件本身的数据结构和调用方式，减少了大数据中不同技术组件所造成的技术壁垒，实现了大数据技术的平台化。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，所述大数据交互平台还包括密钥服务器；
所述密钥服务器，用于在所述数据交互API接收到调用方的注册请求时，为所述调用方申请应用ID及密钥；
在所述数据交互API接收到调用方的数据请求时，根据所述调用方的应用ID及秘钥进行安全认证。
采用上述进一步方案的有益效果是：通过密钥服务器，对调用方接入大数据处理平台之间实现密钥认证，加强了大数据处理平台的安全性。
进一步地，所述组件客户端与所述组件数据接口一一对应。
进一步地，所述组件客户端包括Hbase客户端、Hive客户端、Hdfs客户端和ES客户端。
采用上述进一步方案的有益效果是：通过组件客户端与组件数据接口之间一一对应，且组件客户端可以为多个调用方服务，支持多个调用方使用同一组件客户端，实现了多租户使用同一大数据组件的场景，而大数据组件则不需要关心具体使用的租户。
第二方面，本发明提供一种数据处理方法，所述方法应用于大数据处理平台，所述大数据处理平台包括大数据交互平台和数据存储平台：
所述大数据交互平台中的数据交互API接收调用方的注册请求，并根据所述调用方的注册请求，通知所述数据存储平台为所述调用方配置至少一个组件客户端，其中，所述大数据交互平台，包括数据交互API和至少一个组件数据接口；
所述数据交互API将接收到的所述调用方的数据请求发送至所述调用方对应的所述大数据交换平台中的组件数据接口；
所述组件数据接口将所述调用方的数据请求发送至对应的所述组件客户端，并将接收到的所述组件客户端发送的结果数据通过所述数据交互API发送至所述调用方；
所述大数据交互平台的数据存储平台接收并处理所述组件数据接口发送的数据请求，并将得到的所述结果数据发送至所述组件数据接口。
进一步地，所述方法还包括：
通过大数据平台中的密钥服务器在所述数据交互API接收到调用方的注册请求时，为所述调用方申请应用ID及密钥；
并在所述数据交互API接收到调用方的数据请求时，根据所述调用方的应用ID及秘钥进行安全认证。
本发明的有益效果是：提供一种数据处理方法，大数据交互平台为调用方分配组件客户端，调用方通过组件数据接口向所对应的组件客户端申请数据，组件客户端将得到的调用方的结果数据通过所对应的组件数据接口发送至调用方，调用方无需关注大数据技术中各个组件本身的数据结构和调用方式，减少了大数据中不同技术组件所造成的技术壁垒，实现了大数据技术的平台化。进一步地，所述方法还包括：所述组件客户端与所述组件数据接口一一对应。
进一步地，所述组件客户端包括Hbase客户端、Hive客户端、Hdfs客户端和ES客户端。
第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述第二方面中描述的方法。
第四方面，本发明还提供一种计算机可读存储介质，存储有指令，当计算机读取指令时，使计算机执行上述第二方面中所描述的方法。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种大数据处理平台的示意性模块图；
图2为本发明另一实施例提供的一种大数据处理平台的示意性模块图；
图3为本发明另一实施例提供的一种数据处理方法的示意性流程图；
图4为本发明另一实施例提供的一种数据处理方法的示意性流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如图1为本发明实施例提供的一种大数据处理平台的示意性模块图所示，大数据处理平台包括大数据交互平台和数据存储平台。
大数据交互平台，包括数据交互API和至少一个组件数据接口，其中，数据交互API接收调用方的注册请求，并根据调用方的注册请求，通知数据存储平台为调用方配置至少一个组件客户端。
数据交互API将接收到的调用方的数据请求发送至为调用方配置的每一个组件客户端对应的组件数据接口。
组件数据接口将调用方的数据请求发送至对应的组件客户端，并将接收到的组件客户端发送的结果数据通过数据交互API发送至调用方。
数据存储平台包括多个组件客户端，其中，组件客户端，用于接收并处理组件数据接口发送的数据请求，并将得到的结果数据发送至组件数据接口。
应理解，在本实施例中对注册请求和数据请求的格式不做限制，并且，本实施例中对注册请求和数据请求中所包括的具体数据类型及数据格式不做限制。
本实施例中，大数据处理平台包括大数据交互平台和数据存储平台，通过大数据交互平台为调用方分配组件客户端，调用方通过组件数据接口向所对应的组件客户端申请数据，组件客户端将得到的调用方的结果数据通过所对应的组件数据接口发送至调用方，调用方无需关注大数据技术中各个组件本身的数据结构和调用方式，减少了大数据的不同技术组件所造成的技术壁垒，实现了大数据技术的平台化。
进一步地，组件客户端与组件数据接口一一对应。
进一步地，组件客户端包括Hbase客户端、Hive客户端、Hdfs客户端和ES客户端。
应理解，本实施例中组件客户端不仅仅是列出的上述客户端，还可以包括其他一些组件的客户端，本实施例中对此不做限制。
上述实施例中通过组件客户端与组件数据接口一一对应，且组件客户端为多个调用方服务，支持多个调用方使用同一组件客户端，实现了多租户可以使用同一大数据组件的场景，而大数据组件不需要关心具体使用的租户。
图2为本发明另一实施例提供的一种大数据处理平台的示意性模块图所示，大数据交互平台还包括密钥服务器，密钥服务器为调用方申请应用ID及密钥。
当数据交互API接收到调用方的注册请求时，向密钥服务器申请调用方的应用ID和密钥。
密钥服务器为调用方分配应用ID和密钥，通过数据交互API将应用ID和密钥发送至调用方。
当数据交互API接收到调用方的数据请求时，将调用方的应用ID及密钥发送至密钥服务器验证。
若认证成功，数据交换API处理调用方的数据请求。
本实施例中具体的密钥服务器是软件模块形式还是单独的密钥服务器不做限制，对认证的方式也不做限制，可以根据实际需要确定。
本实施例中通过调用方与大数据处理平台之间的密钥认证，增强了大数据处理平台的安全性。
如图3为本发明另一实施例提供的一种数据处理方法的示意性流程图所述，步骤包括：
110、大数据交互平台中的数据交互API接收调用方的注册请求，根据调用方的注册请求，转发至数据存储平台。
本实施例中，可以根据调用方的需求，为调用方配置多个组件客户端。
120、数据交互API接收调用方的数据请求，并将调用方的数据请求发送至调用方对应的大数据交换平台中的组件数据接口。
其中，每一个组件客户端的数据接口与为调用方所配置的每一个组件客户端相对应。
130、大数据交换平台中的组件数据接口将调用方的数据请求发送至数据存储平台中对应的组件客户端，并将接收到的组件客户端发送的结果数据通过数据交互API发送至调用方。
应理解，在本实施例中，对作为调用方的应用系统的版本类型不做限制，可以是PC版、PAD版或是移动终端版。
本实施例中，通过为调用方分配组件客户端，调用方通过组件数据接口向所对应的组件客户端申请数据，组件客户端将得到的调用方的结果数据通过所对应的组件数据接口发送至调用方，调用方无需关注大数据技术中各个组件本身的数据结构和调用方式，减少了大数据的不同技术组件所造成的技术壁垒，实现了大数据技术的平台化。
基于上述实施例，进一步地，组件客户端与组件数据接口一一对应。
进一步地，组件客户端包括Hbase客户端、Hive客户端、Hdfs客户端和ES客户端。如图4为本发明另一实施例提供的一种数据处理方法的示意性流程图所述，步骤包括：
210、大数据存储平台为调用方配置至少一个组件客户端。
本实施例中，可以根据调用方的需求，为调用方配置多个组件客户端。
220、组件客户端接收并处理大数据交换平台中的至少一个组件数据接口发送的数据请求，并将得到的结果数据发送至组件数据接口。
基于上述所有实施例，进一步地，数据交互API从调用方的注册请求中获取调用方所需配置的组件信息，根据获取的调用方所需配置的组件信息，为调用方配置组件客户端。
其中，本发明实施例中对组件客户端类型不做限制，还可包括其他的一些组件客户端。
例如：当应用系统A作为调用方A时，调用方A需要读写Hbase数据库和Hdfs文件系统，大数据交互平台接受调用方A的注册申请，大数据处理平台中的密钥服务器为调用方A申请应用ID和密钥，大数据交互平台根据调用方A的需求，为调用方A配置了Hbase客户端和Hdfs客户端。
当调用方A需要申请数据时，向大数据交互平台发送数据请求，密钥服务器认证调用方A的应用ID和密钥，认证成功后，数据交互API将调用方A的数据请求分别发送至Hbase数据接口和Hdfs数据接口，Hbase数据接口和Hdfs数据接口分别向Hbase客户端和Hdfs客户端申请数据，Hbase客户端和Hdfs客户端接收数据申请，根据数据申请获取结果数据，并分别发送至Hbase数据接口和Hdfs数据接口，数据交互API接收到结果数据，并将结果数据发送至调用方A。
特别的，本发明实施例中还提供了一种存储介质，存储有指令，当计算机读取指令时，使计算机执行上述实施例中的数据处理方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的数据处理方法的步骤。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种大数据处理平台，其特征在于，包括大数据交互平台和数据存储平台；
所述大数据交互平台，包括数据交互API和至少一个组件数据接口，其中，所述数据交互API，用于接收调用方的注册请求，并根据所述调用方的注册请求，通知所述数据存储平台为所述调用方配置至少一个组件客户端；
所述数据交互API，还用于将接收到的所述调用方的数据请求发送至为所述调用方配置的每一个所述组件客户端对应的所述组件数据接口；
所述组件数据接口，用于将所述调用方的数据请求发送至对应的所述组件客户端，并将接收到的所述组件客户端发送的结果数据通过所述数据交互API发送至所述调用方；
所述数据存储平台，包括多个所述组件客户端，其中，所述组件客户端，用于接收并处理所述组件数据接口发送的数据请求，并将得到的所述结果数据发送至所述组件数据接口。
2.如权利要求1所述的大数据处理平台，其特征在于，所述大数据交互平台还包括密钥服务器；
所述密钥服务器，用于在所述数据交互API接收到调用方的注册请求时，为所述调用方申请应用ID及密钥；
在所述数据交互API接收到调用方的数据请求时，根据所述调用方的应用ID及密钥进行安全认证。
3.如权利要求1或2所述的大数据处理平台，其特征在于，所述组件客户端与所述组件数据接口一一对应。
4.如权利要求3所述的大数据处理平台，其特征在于，
所述组件客户端包括Hbase客户端、Hive客户端、Hdfs客户端和ES客户端。
5.一种数据处理方法，其特征在于，所述方法应用于大数据处理平台，所述大数据处理平台包括大数据交互平台和数据存储平台：
所述大数据交互平台中的数据交互API接收调用方的注册请求，并根据所述调用方的注册请求，通知所述数据存储平台为所述调用方配置至少一个组件客户端，其中，所述大数据交互平台，包括数据交互API和至少一个组件数据接口；
所述数据交互API将接收到的所述调用方的数据请求发送至所述调用方对应的所述大数据交换平台中的组件数据接口；
所述组件数据接口将所述调用方的数据请求发送至对应的所述组件客户端，并将接收到的所述组件客户端发送的结果数据通过所述数据交互API发送至所述调用方；
所述数据存储平台接收并处理所述组件数据接口发送的数据请求，并将得到的所述结果数据发送至所述组件数据接口。
6.根据权利要求5所述的数据处理方法，其特征在于，所述方法还包括：
通过大数据交互平台中的密钥服务器在所述数据交互API接收到调用方的注册请求时，为所述调用方申请应用ID及密钥；
并在所述数据交互API接收到调用方的数据请求时，根据所述调用方的应用ID及密钥进行安全认证。
7.根据权利要求5或6所述的数据处理方法，其特征在于，所述方法还包括：所述组件客户端与所述组件数据接口一一对应。
8.根据权利要求7所述的数据处理方法，其特征在于，所述组件客户端包括Hbase客户端、Hive客户端、Hdfs客户端和ES客户端。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5-8中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求5-8中任一项所述的数据处理方法的步骤。
CN201911032861.7A 2019-10-28 2019-10-28 一种大数据处理平台、数据处理方法、设备和存储介质 Active CN110798465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911032861.7A CN110798465B (zh) 2019-10-28 2019-10-28 一种大数据处理平台、数据处理方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911032861.7A CN110798465B (zh) 2019-10-28 2019-10-28 一种大数据处理平台、数据处理方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110798465A CN110798465A (zh) 2020-02-14
CN110798465B true CN110798465B (zh) 2021-07-20

Family

ID=69441588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911032861.7A Active CN110798465B (zh) 2019-10-28 2019-10-28 一种大数据处理平台、数据处理方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110798465B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504014A (zh) * 2014-12-10 2015-04-08 无锡城市云计算中心有限公司 基于大数据平台的数据处理方法和装置
CN105635051A (zh) * 2014-10-29 2016-06-01 腾讯科技（深圳）有限公司 数据交互方法及装置、系统
CN107172078A (zh) * 2017-06-27 2017-09-15 武汉蓝星软件技术有限公司 一种基于应用服务的核心框架平台的安全管控方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791901B1 (ko) * 2016-03-30 2017-10-31 재단법인차세대융합기술연구원 빅데이터의 효율적인 저장·실시간 분석형 스마트 스토리지 플랫폼장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635051A (zh) * 2014-10-29 2016-06-01 腾讯科技（深圳）有限公司 数据交互方法及装置、系统
CN104504014A (zh) * 2014-12-10 2015-04-08 无锡城市云计算中心有限公司 基于大数据平台的数据处理方法和装置
CN107172078A (zh) * 2017-06-27 2017-09-15 武汉蓝星软件技术有限公司 一种基于应用服务的核心框架平台的安全管控方法和系统

Also Published As

Publication number Publication date
CN110798465A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN111461723B (zh) 基于区块链的数据处理系统及方法、装置
CN107124431B (zh) 鉴权方法、装置、计算机可读存储介质和鉴权系统
CN110351363B (zh) 数据备份方法、设备及计算机可读存储介质
CN102932459B (zh) 一种虚拟机的安全控制方法
CN108537046A (zh) 一种基于区块链技术的在线合同签署系统及方法
US20170324570A1 (en) Group management method, apparatus, and system
CN112200575B (zh) 在联盟链网络中创建节点组、基于节点组的交易方法
JPWO2012081404A1 (ja) 認証システム、認証サーバ、サービス提供サーバ、認証方法、及びプログラム
CN107733882B (zh) Ssl证书自动化部署方法及设备
CN108733453A (zh) 可信云平台虚拟可信根实例的操作方法及系统
CN111431920A (zh) 一种基于动态令牌的安全控制方法及系统
CN109657492A (zh) 数据库管理方法、介质及电子设备
CN109150800A (zh) 一种登录访问方法、系统和存储介质
CN111311254A (zh) 一种基于区块链的业务处理方法、装置和系统
CN112953908A (zh) 网络隔离配置方法、装置及系统
CN111901321A (zh) 一种认证鉴权方法、装置、电子设备和可读存储介质
CN110351364B (zh) 数据存储方法、设备及计算机可读存储介质
CN116991936A (zh) 基于区块链的权益凭证管理方法、装置、电子设备和介质
CN110032834B (zh) 系统授权控制方法、终端设备及存储介质
CN105357239A (zh) 提供服务的方法和装置、获取服务的方法及装置
CN114266680A (zh) 基于区块链的电子合同签约方法、装置及系统
CN110798465B (zh) 一种大数据处理平台、数据处理方法、设备和存储介质
CN113271364B (zh) 服务编排数据的共享系统、方法、计算机设备及存储介质
CN109815687A (zh) 账户管理方法及装置
CN111292082B (zh) 一种块链式账本中的公钥管理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant