CN106407833A - 用于服务提供者、服务使用者的项目空间设备及其封装方法 - Google Patents

用于服务提供者、服务使用者的项目空间设备及其封装方法 Download PDF

Info

Publication number
CN106407833A
CN106407833A CN201510481145.2A CN201510481145A CN106407833A CN 106407833 A CN106407833 A CN 106407833A CN 201510481145 A CN201510481145 A CN 201510481145A CN 106407833 A CN106407833 A CN 106407833A
Authority
CN
China
Prior art keywords
data
tables
service
project
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510481145.2A
Other languages
English (en)
Inventor
陈逸斌
金山
王海峰
陈廷梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510481145.2A priority Critical patent/CN106407833A/zh
Priority to PCT/CN2016/090818 priority patent/WO2017020717A1/zh
Publication of CN106407833A publication Critical patent/CN106407833A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2145—Inheriting rights or properties, e.g., propagation of permissions or restrictions within a hierarchy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请的目的是提供用于服务提供者、服务使用者的项目空间设备及其封装方法，其中在服务提供者项目空间的封装方法包括：同步第一项目空间设备发送的第一数据表；根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；同步所述第二数据表至所述第一项目空间设备。与现有技术相比，本申请通过项目空间计算集群的隔离方案，将不同服务提供者的资源(数据、模型、算法)分离，保证其大数据服务能力的安全性和独立性，而且便于大数据开发的交换。

Description

用于服务提供者、服务使用者的项目空间设备及其封装方法
技术领域
本申请涉及计算机领域，尤其涉及用于服务提供者、服务使用者的项目空间设备及其封装方法。
背景技术
在目前的大数据时代，一直都在围绕大数据探索其相关的应用方式。与传统的出售数据不同，大数据时代对于数据的使用和分享更具有多样性。大数据时代如何将数据、算法、业务模型这些封装成现成的服务，更好的服务需要数据的人，降低他们的使用成本，保障自己的数据信息安全，这些都是新的课题。
现有大数据开放平台技术的开发成本较高，往往需要维护一个专业的团队来进行算法、模型、数据相关的开发；同时难以从技术上对算法、模型、数据拥有者的数据信息做到比较好的保护。其主要问题在于，现有的大数据开放平台一方面难以做到让数据服务使用方以较小的成本获取专业的数据服务，另一方面难以做到尽可能保护数据服务提供方的核心资源安全，例如与大数据服务相关的数据信息、算法、模型等。
发明内容
本申请的一个目的是提供用于服务提供者、服务使用者的项目空间设备及其封装方法，以解决现有的大数据服务难以做到在保证服务提供方核心资源安全性的前提下，使服务使用方以较低成本开销获取专业大数据服务的问题。
根据本申请的一个方面，提供了一种在服务提供者项目空间的封装方法，其中，所述方法包括：
同步第一项目空间设备发送的第一数据表；
根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；
同步所述第二数据表至所述第一项目空间设备。
根据本申请的另一个方面，提供了一种在服务使用者项目空间的封装方法，其中，所述方法包括：
同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表；
同步所述第二项目空间设备返回的所述第二数据表。
根据本申请的又一个方面，提供了一种用于服务提供者的项目空间设备，其中，所述设备包括：
第一同步接收装置，用于同步第一项目空间设备发送的第一数据表；
计算服务装置，用于根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；
第一同步发送装置，用于同步所述第二数据表至所述第一项目空间设备。
根据本申请的再一个方面，提供了一种用于服务使用者的项目空间设备，其中，所述设备包括：
第二同步发送装置，用于同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表；
第二同步接收装置，用于同步所述第二项目空间设备返回的所述第二数据表。
与现有技术相比，本申请设置了服务提供者与服务使用者两个项目空间，服务提供者在自己的项目空间内封装数据服务逻辑，服务使用者通过自己的项目空间向服务提供者项目空间发送输入数据表，服务提供者项目空间结合本地封装好的数据服务逻辑进行计算，并向服务使用者项目空间返回计算结果，由此实现了将现有的数据服务能力(数据、算法、模型等)封装成大数据服务，使其能够给服务使用者带来便利，而且保证了在不影响大数据开发工作的前提下最大限度的保护服务提供者的算法、模型、数据等核心资源。通过项目空间计算集群的隔离方案，将不同服务提供者的资源(数据、模型、算法)分离，保证其大数据服务能力的安全性和独立性，而且便于大数据开发的交换。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的在服务提供者项目空间的封装方法的流程示意图；
图2示出根据本申请另一个方面的在服务提供者项目空间的封装方法的流程示意图；
图3示出根据本申请一个方面的在服务使用者项目空间的封装方法的流程示意图；
图4示出根据本申请另一个方面的在服务使用者项目空间的封装方法的流程示意图；
图5示出根据本申请的服务封装方法的流程示意图；
图6示出根据本申请一个方面的用于服务提供者的项目空间设备的结构示意图；
图7示出根据本申请另一个方面的用于服务提供者的项目空间设备的结构示意图；
图8示出根据本申请一个方面的用于服务使用者的项目空间设备的结构示意图；
图9示出根据本申请另一个方面的用于服务使用者的项目空间设备的结构示意图；
图10示出根据本申请的服务封装系统的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
图1示出根据本申请一个方面的在服务提供者项目空间的封装方法的流程示意图。如图1所示，该在服务提供者项目空间的封装方法包括：
步骤S101，同步第一项目空间设备发送的第一数据表。
步骤S102，根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表。
步骤S103，同步所述第二数据表至所述第一项目空间设备。
在此，第一项目空间设备指服务使用者项目空间设备，服务使用者项目空间设备和服务提供者项目空间设备是采取相互隔离部署的大数据平台集群，服务提供者项目空间设备部署数据服务逻辑，数据服务逻辑包括大数据服务所需的数据、算法和模型的黑盒封装实现。第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。服务使用者一般指独立软件开发商(ISV，Independent Software Vendors)，即第三方的开发者合作伙伴。服务提供者一般指数据服务的开发者(DP，Data provider)，通常是拥有核心数据服务能力的服务提供方。项目空间一般指ISV成员或者DP成员在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。服务提供者在其自己的项目空间封装数据服务逻辑并将该数据服务在数据市场平台发布上架，以供他人使用。服务使用者在数据市场平台订购服务提供者的数据服务后，服务使用者在其自己的项目空间输入参数变量，然后服务使用者项目空间将输入数据以数据表的形式同步至服务提供者项目空间。在服务提供者项目空间内根据输入数据表以及部署于本地的数据服务逻辑自动计算出输出数据，然后服务提供者项目空间将输出数据以数据表的形式同步返回至服务使用者项目空间。从而在服务提供者与服务使用者的项目空间相分离的情况下，实现了大数据平台数据服务，而且保证了服务提供者的数据资源的安全性和独立性。
图2示出根据本申请另一个方面的在服务提供者项目空间的封装方法的流程示意图。如图2所示，该在服务提供者项目空间的封装方法包括：
步骤S201，以应用程序编程接口封装本地的数据服务逻辑。
步骤S202，根据所述应用程序编程接口生成集成开发环境插件。
步骤S203，向所述第一项目空间设备提供所述集成开发环境插件。
在此，第一项目空间设备指服务使用者项目空间设备，项目空间一般指服务使用者或者服务提供者在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。服务提供者在本地的服务提供者项目空间内对其提供的数据服务逻辑进行封装。数据服务逻辑封装指将数据服务节点、数据服务发布上架、数据服务Meta数据管理等相关逻辑通过应用程序编程接口(API，Application Program Interface)进行封装，并配置存放数据服务的元数据信息，例如数据服务名称、参数定义、调用路由等信息。此后，根据数据服务封装后的API接口的参数和配置，生成集成开发环境插件，即IDE插件(IDE，Integrated Development Environment)，以供数据使用者利用该IDE插件输入数据以使用数据服务。利用IDE插件可以进一步降低数据使用者的数据服务使用成本。
步骤S204，通过调度引擎同步第一项目空间设备发送的第一数据表。
步骤S205，各个所述业务逻辑节点从数据库调用数据以进行所述数据服务逻辑的计算。
在此，数据服务逻辑需要使用大数据平台中的数据，因此各个业务逻辑节点设为从大数据平台的数据库获取数据。而服务使用者项目空间则不具有直接从大数据平台的数据库获取数据的权限，从而保护数据方的独立性和安全性。
步骤S206，根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表。
步骤S207，同步所述第二数据表至所述第一项目空间设备。
在此，第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。
具体地，步骤S201所述以应用程序编程接口封装本地的数据服务逻辑包括：
步骤S2011，以数据服务节点树实现所述数据服务逻辑。
步骤S2012，在所述数据服务节点树的各个业务逻辑节点对参数进行应用程序编程接口的封装。
在此，数据服务节点树包含多个业务逻辑节点，每个业务逻辑节点实现具体的业务逻辑、算法模型，并且还封装对大数据平台中数据库的使用方式。此外，每个业务逻辑节点设为支持参数传入方式，然后将该参数变量封装为API参数。
图3示出根据本申请一个方面的在服务使用者项目空间的封装方法的流程示意图。如图3所示，该在服务使用者项目空间的封装方法包括：
步骤S301，同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表。
步骤S302，同步所述第二项目空间设备返回的所述第二数据表。
在此，第二项目空间设备指服务提供者项目空间设备，服务使用者项目空间设备和服务提供者项目空间设备是采取相互隔离部署的大数据平台集群，服务提供者项目空间设备部署数据服务逻辑，数据服务逻辑包括大数据服务所需的数据、算法和模型的黑盒封装实现。第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。服务使用者一般指独立软件开发商ISV。服务提供者一般指数据服务的开发者DP。项目空间一般指ISV成员或者DP成员在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。服务提供者在其自己的项目空间封装数据服务逻辑并将该数据服务在数据市场平台发布上架，以供他人使用。服务使用者在数据市场平台订购服务提供者的数据服务后，服务使用者在其自己的项目空间输入服务参数变量，然后服务使用者项目空间将输入数据以数据表的形式同步至服务提供者项目空间。在服务提供者项目空间内根据输入数据表以及部署于本地的数据服务逻辑自动计算出输出数据，然后服务提供者项目空间将输出数据以数据表的形式同步返回至服务使用者项目空间。从而在服务提供者与服务使用者的项目空间相分离的情况下，实现了大数据平台数据服务，而且保证了服务提供者的数据资源的安全性和独立性。
图4示出根据本申请另一个方面的在服务使用者项目空间的封装方法的流程示意图。如图4所示，该在服务使用者项目空间的封装方法包括：
步骤S401，加载所述第二项目空间设备提供的集成开发环境插件。
步骤S402，根据输入至所述集成开发环境插件的输入数据生成所述第一数据表。
在此，第二项目空间设备指服务提供者项目空间设备，项目空间一般指服务使用者或者服务提供者在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。服务提供者在服务提供者项目空间内对其提供的数据服务逻辑进行封装。数据服务逻辑封装指将数据服务节点、数据服务发布上架、数据服务Meta数据管理等相关逻辑通过API接口进行封装，并配置存放数据服务的元数据信息，例如数据服务名称、参数定义、调用路由等信息。此后，根据数据服务封装后的API接口的参数和配置，生成IDE插件。服务使用者加载服务提供者项目空间提供的动态IED插件，并解析成为用户可便捷使用的前台界面，数据服务使用者在该前台界面设置API参数，例如业务参数、路由信息、执行策略数据等。利用IDE插件可以进一步降低数据使用者的数据服务使用成本。
步骤S403，通过调度引擎同步所述第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表。
步骤S404，同步所述第二项目空间设备返回的所述第二数据表。
在此，第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。
图5示出根据本申请的服务封装方法的流程示意图。如图5所示，该服务封装方法包括：
步骤a，服务提供者项目空间以数据服务节点树实现所述数据服务逻辑。
服务提供者一般指数据服务的开发者DP，DP用户将自身的业务逻辑、模型、算法封装成SQL，XLIB或者MapReduce程序并且进行安装部署调试。例如，某气象分析服务逻辑如下：接收入参数据，执行安全风控以确定调用合法性，执行数据服务逻辑。例如该天气分析服务逻辑中的一个逻辑是得到在过去三个月内，PM2.5高于指定某个值的城市列表。
步骤b，服务提供者项目空间在所述数据服务节点树的各个业务逻辑节点对参数进行应用程序编程接口的封装。
步骤c，服务提供者项目空间根据所述应用程序编程接口生成集成开发环境插件。
步骤d，服务提供者项目空间向所述服务使用者项目空间提供所述集成开发环境插件。
服务使用者一般指独立软件开发商ISV。应用程序编程接口即API接口，集成开发环境插件即IDE插件，数据使用者利用该IDE插件输入数据以使用数据服务进行计算。
步骤e，服务使用者项目空间加载服务提供者项目空间提供的集成开发环境插件。
ISV用户需要调用该天气分析服务得到PM 2.5大于150的城市列表，并且取到该城市列表以对某电商的空气过滤器的线下库存仓进行优化。ISV开发者订购了该天气分析服务并加载该天气分析服务的IDE插件。
步骤f，服务使用者项目空间根据输入至所述集成开发环境插件的输入数据生成输入数据表。
ISV用户通过IDE插件直接选择PM 2.5服务，并设定好任务调用参数以及调度策略，例如每日调度一次。
步骤g，服务使用者项目空间通过调度引擎同步所述输入数据表至服务提供者项目空间。
步骤h，服务提供者项目空间的各个所述业务逻辑节点从数据库调用数据以进行所述数据服务逻辑的计算。
步骤i，服务提供者项目空间根据所述输入数据表和本地的数据服务逻辑计算得出输出数据表。
根据使用者在IDE插件输入的PM2.5值等各项参数，并从数据库调取各个城市的PM2.5值，最终计算得到PM 2.5大于150的城市列表。然后，执行安全风控，对输出数据进行合法性检查，并对必要数据进行脱敏，例如对ID进行混淆化处理。
步骤j，服务使用者项目空间同步所述服务提供者项目空间返回的输出数据表。
服务提供者项目空间将输出数据表同步到服务使用者项目空间，调用完成。此后，ISV用户获取到PM2.5城市列表，再进行动态库存预分配，结合每日库存和季度销售计划调整，结合各地仓储物流成本调整，计算得出每日最优库存计划并输出计划数据给报表工具。
图6示出根据本申请一个方面的用于服务提供者的项目空间设备的结构示意图。如图6所示，该用于服务提供者的项目空间设备1包括：第一同步接收装置11、计算服务装置13和第一同步发送装置15。
其中，第一同步接收装置11用于同步第一项目空间设备发送的第一数据表；计算服务装置13用于根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；第一同步发送装置15用于同步所述第二数据表至所述第一项目空间设备。
在此，第一项目空间设备指服务使用者项目空间设备，服务使用者项目空间设备和服务提供者项目空间设备是采取相互隔离部署的大数据平台集群，服务提供者项目空间设备部署数据服务逻辑，数据服务逻辑包括大数据服务所需的数据、算法和模型的黑盒封装实现。第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。服务使用者一般指独立软件开发商(ISV，Independent Software Vendors)，即第三方的开发者合作伙伴。服务提供者一般指数据服务的开发者(DP，Data provider)，通常是拥有核心数据服务能力的服务提供方。项目空间一般指ISV成员或者DP成员在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。服务提供者在其自己的项目空间封装数据服务逻辑并将该数据服务在数据市场平台发布上架，以供他人使用。服务使用者在数据市场平台订购服务提供者的数据服务后，服务使用者在其自己的项目空间输入参数变量，然后服务使用者项目空间将输入数据以数据表的形式同步至服务提供者项目空间。在服务提供者项目空间内根据输入数据表以及部署于本地的数据服务逻辑自动计算出输出数据，然后服务提供者项目空间将输出数据表同步返回至服务使用者项目空间。从而在服务提供者与服务使用者的项目空间相分离的情况下，实现了大数据平台数据服务，而且保证了服务提供者的数据资源的安全性和独立性。
图7示出根据本申请另一个方面的用于服务提供者的项目空间设备的结构示意图。如图7所示，该用于服务提供者的项目空间设备1包括：第一同步接收装置11、计算服务装置13、第一同步发送装置15、服务封装装置17、插件生成装置19、第一插件加载装置111和数据调用装置113。
其中，第一同步接收装置11用于同步第一项目空间设备发送的第一数据表；计算服务装置13用于根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；第一同步发送装置15用于同步所述第二数据表至所述第一项目空间设备。
在此，第一项目空间设备指服务使用者项目空间设备，项目空间一般指服务使用者或者服务提供者在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。服务使用者一般指独立软件开发商ISV，服务提供者一般指数据服务开发者DP。本申请的大数据平台的底层可以基于hadoop或者spark等数据处理平台。
其中，服务封装装置17用于以应用程序编程接口封装本地的数据服务逻辑；插件生成装置19用于根据所述应用程序编程接口生成集成开发环境插件；第一插件加载装置111用于向所述第一项目空间设备提供所述集成开发环境插件。
在此，服务提供者在本地的服务提供者项目空间内对其提供的数据服务逻辑进行封装。数据服务逻辑封装指将数据服务节点、数据服务发布上架、数据服务Meta数据管理等相关逻辑通过应用程序编程接口(API，Application Program Interface)进行封装，并配置存放数据服务的元数据信息，例如数据服务名称、参数定义、调用路由等信息。此后，根据数据服务封装后的API接口的参数和配置，生成集成开发环境插件，即IDE插件(IDE，Integrated Development Environment)，以供数据服务使用者利用该IDE插件输入数据以使用数据服务。利用IDE插件可以降低数据使用者的数据服务使用成本。
具体地，所述服务封装装置17具体用于：
以数据服务节点树实现所述数据服务逻辑；
在所述数据服务节点树的各个业务逻辑节点对参数进行应用程序编程接口的封装。
在此，数据服务节点树包含多个业务逻辑节点，各个业务逻辑节点实现具体的业务逻辑、算法模型，并且还封装对大数据平台中数据库的使用方式。此外，每个业务逻辑节点设为支持参数传入方式，然后将该参数变量封装为API参数。
其中，数据调用装置113用于各个所述业务逻辑节点从数据库调用数据以进行所述数据服务逻辑的计算。
在此，数据服务逻辑需要使用大数据平台中的数据，因此各个业务逻辑节点设为从大数据平台的数据库获取数据。而服务使用者项目空间则不具有直接从大数据平台的数据库获取数据的权限，从而保护数据方的独立性和安全性。
可选地，第一同步接收装置11还用于：通过调度引擎同步所述第一项目空间设备发送的所述第一数据表。
在此，调度引擎是指离线大数据平台级数据引擎产品，支持海量大数据存储和计算，是大数据平台相关的底层数据引擎存储和处理核心。本申请中，调度引擎用于在数据服务子节点运行过程中，数据服务调用的路由转发，以此实现输入数据的同步。
图8示出根据本申请一个方面的用于服务使用者的项目空间设备的结构示意图。如图8所示，该用于服务使用者的项目空间设备2包括：第二同步发送装置22和第二同步接收装置24。
其中，第二同步发送装置22用于同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表；第二同步接收装置24用于同步所述第二项目空间设备返回的所述第二数据表。
在此，第二项目空间设备指服务提供者项目空间设备，服务使用者项目空间设备和服务提供者项目空间设备是采取相互隔离部署的大数据平台集群，服务提供者项目空间设备部署数据服务逻辑，数据服务逻辑包括大数据服务所需的数据、算法和模型的黑盒封装实现。第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。服务使用者一般指独立软件开发商ISV，即第三方的开发者合作伙伴。服务提供者一般指数据服务的开发者DP，通常是拥有核心数据服务能力的服务提供方。项目空间一般指ISV成员或者DP成员在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。服务提供者在其自己的项目空间封装数据服务逻辑并将该数据服务在数据市场平台发布上架，以供他人使用。服务使用者在数据市场平台订购服务提供者的数据服务后，服务使用者在其自己的项目空间输入服务参数变量，然后服务使用者项目空间将输入数据以数据表的形式同步至服务提供者项目空间。在服务提供者项目空间内根据输入数据表以及部署于本地的数据服务逻辑自动计算出输出数据，然后服务提供者项目空间将输出数据表同步返回至服务使用者项目空间。从而在服务提供者与服务使用者的项目空间相分离的情况下，实现了大数据平台数据服务，而且保证了服务提供者的数据资源的安全性和独立性。
图9示出根据本申请另一个方面的用于服务使用者的项目空间设备的结构示意图。如图9所示，该用于服务使用者的项目空间设备2包括：第二同步发送装置22、第二同步接收装置24、第二插件加载装置26和数据输入装置28。
其中，第二同步发送装置22用于同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表；第二同步接收装置24用于同步所述第二项目空间设备返回的所述第二数据表。
在此，第二项目空间设备指服务提供者项目空间设备，项目空间一般指服务使用者或者服务提供者在大数据平台中有独一无二的项目空间，项目空间对应物理存储、CPU、SQL等云计算资源，不同项目空间之间相互隔离。第一数据表指服务使用者的输入数据，第二数据表指服务提供者项目空间返回的输出数据。服务使用者一般指独立软件开发商ISV，服务提供者一般指数据服务开发者DP。本申请的大数据平台的底层可以基于hadoop或者spark等数据处理平台。
其中，第二插件加载装置26用于加载所述第二项目空间设备提供的集成开发环境插件；数据输入装置28用于根据输入至所述集成开发环境插件的输入数据生成所述第一数据表。
在此，服务提供者在服务提供者项目空间内对其提供的数据服务逻辑进行封装。数据服务逻辑封装指将数据服务节点、数据服务发布上架、数据服务Meta数据管理等相关逻辑通过API接口进行封装，并配置存放数据服务的元数据信息，例如数据服务名称、参数定义、调用路由等信息。此后，根据数据服务封装后的API接口的参数和配置，生成IDE插件。服务使用者加载服务提供者项目空间提供的动态IED插件，并解析成为用户可便捷使用的前台界面，数据服务使用者在该前台界面设置API参数，例如业务参数、路由信息、执行策略数据等。利用IDE插件可以降低数据使用者的数据服务使用成本。
可选地，第二同步发送装置22还用于：通过调度引擎同步所述第一数据表至第二项目空间设备。
在此，第二同步发送装置22将输入数据表提交调度引擎，调度引擎直接将数据服务使用者的输入数据表从数据服务使用者的项目空间同步至数据服务提供者的项目空间，数据服务提供者的项目空间执行对应的算法、模型、业务程序、数据处理逻辑，进而得到输出数据。
图10示出根据本申请的服务封装系统的结构示意图。如图10所示，该服务封装系统包括：图7所示的用于服务提供者的项目空间设备1和图9所示的用于服务使用者的项目空间设备2。
用于服务提供者的项目空间设备1包括：第一同步接收装置11、计算服务装置13、第一同步发送装置15、服务封装装置17、插件生成装置19、第一插件加载装置111和数据调用装置113。用于服务使用者的项目空间设备2包括：第二同步发送装置22、第二同步接收装置24、第二插件加载装置26和数据输入装置28。
服务封装装置17以API接口封装本地的数据服务逻辑；插件生成装置19根据该API接口生成IDE插件；第一插件加载装置111向第二插件加载装置26提供该IDE插件。第二插件加载装置26加载IDE插件；数据输入装置28根据输入至IDE插件的输入数据生成输入数据表；第二同步发送装置22通过调度引擎同步输入数据表至第一同步接收装置11。数据调用装置113从数据库3调用数据以进行数据服务逻辑的计算。计算服务装置13根据所述输入数据表和本地的数据服务逻辑计算得出输出数据表；第一同步发送装置15同步所述输出数据表至第二同步接收装置24。
其中，所述服务封装装置17具体用于：以数据服务节点树实现所述数据服务逻辑；在所述数据服务节点树的各个业务逻辑节点对参数进行API接口的封装。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (16)

1.一种在服务提供者项目空间的封装方法，其中，所述方法包括：
同步第一项目空间设备发送的第一数据表；
根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；
同步所述第二数据表至所述第一项目空间设备。
2.根据权利要求1所述的方法，其中，所述方法还包括：
以应用程序编程接口封装本地的数据服务逻辑；
根据所述应用程序编程接口生成集成开发环境插件；
向所述第一项目空间设备提供所述集成开发环境插件。
3.根据权利要求2所述的方法，其中，所述以应用程序编程接口封装本地的数据服务逻辑包括：
以数据服务节点树实现所述数据服务逻辑；
在所述数据服务节点树的各个业务逻辑节点对参数进行应用程序编程接口的封装。
4.根据权利要求3所述的方法，其中，所述方法还包括：
各个所述业务逻辑节点从数据库调用数据以进行所述数据服务逻辑的计算。
5.根据权利要求1至4中任一项所述的方法，其中，所述同步第一项目空间设备发送的第一数据表包括：
通过调度引擎同步所述第一项目空间设备发送的所述第一数据表。
6.一种在服务使用者项目空间的封装方法，其中，所述方法包括：
同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表；
同步所述第二项目空间设备返回的所述第二数据表。
7.根据权利要求6所述的方法，其中，所述方法还包括：
加载所述第二项目空间设备提供的集成开发环境插件；
根据输入至所述集成开发环境插件的输入数据生成所述第一数据表。
8.根据权利要求6或7所述的方法，其中，所述同步所述第一数据表至第二项目空间设备包括：
通过调度引擎同步所述第一数据表至第二项目空间设备。
9.一种用于服务提供者的项目空间设备，其中，所述设备包括：
第一同步接收装置，用于同步第一项目空间设备发送的第一数据表；
计算服务装置，用于根据所述第一数据表和本地的数据服务逻辑计算得出第二数据表；
第一同步发送装置，用于同步所述第二数据表至所述第一项目空间设备。
10.根据权利要求9所述的设备，其中，所述设备还包括：
服务封装装置，用于以应用程序编程接口封装本地的数据服务逻辑；
插件生成装置，用于根据所述应用程序编程接口生成集成开发环境插件；
第一插件加载装置，用于向所述第一项目空间设备提供所述集成开发环境插件。
11.根据权利要求10所述的设备，其中，所述封装装置还用于：
以数据服务节点树实现所述数据服务逻辑；
在所述数据服务节点树的各个业务逻辑节点对参数进行应用程序编程接口的封装。
12.根据权利要求11所述的设备，其中，所述设备还包括：
数据调用装置，用于各个所述业务逻辑节点从数据库调用数据以进行所述数据服务逻辑的计算。
13.根据权利要求9至12中任一项所述的设备，其中，所述第一同步接收装置还用于：
通过调度引擎同步所述第一项目空间设备发送的所述第一数据表。
14.一种用于服务使用者的项目空间设备，其中，所述设备包括：
第二同步发送装置，用于同步第一数据表至第二项目空间设备，以便于所述第二项目空间设备根据所述第一数据表和所述第二项目空间设备本地的数据服务逻辑计算得出第二数据表；
第二同步接收装置，用于同步所述第二项目空间设备返回的所述第二数据表。
15.根据权利要求14所述的设备，其中，所述设备还包括：
第二插件加载装置，用于加载所述第二项目空间设备提供的集成开发环境插件；
数据输入装置，用于根据输入至所述集成开发环境插件的输入数据生成所述第一数据表。
16.根据权利要求14或15所述的设备，其中，所述第二同步发送装置还用于：
通过调度引擎同步所述第一数据表至第二项目空间设备。
CN201510481145.2A 2015-08-03 2015-08-03 用于服务提供者、服务使用者的项目空间设备及其封装方法 Pending CN106407833A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510481145.2A CN106407833A (zh) 2015-08-03 2015-08-03 用于服务提供者、服务使用者的项目空间设备及其封装方法
PCT/CN2016/090818 WO2017020717A1 (zh) 2015-08-03 2016-07-21 用于服务提供者、服务使用者的项目空间设备及其封装方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510481145.2A CN106407833A (zh) 2015-08-03 2015-08-03 用于服务提供者、服务使用者的项目空间设备及其封装方法

Publications (1)

Publication Number Publication Date
CN106407833A true CN106407833A (zh) 2017-02-15

Family

ID=57943812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510481145.2A Pending CN106407833A (zh) 2015-08-03 2015-08-03 用于服务提供者、服务使用者的项目空间设备及其封装方法

Country Status (2)

Country Link
CN (1) CN106407833A (zh)
WO (1) WO2017020717A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613892A (zh) * 2020-12-25 2021-04-06 北京知因智慧科技有限公司 基于业务系统的数据处理方法、装置以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398915A (zh) * 2007-09-24 2009-04-01 广州市百成科技有限公司 一种基于互联网的电子印章平台系统
CN101969475A (zh) * 2010-11-15 2011-02-09 张军 基于云计算的商业数据可控分发与融合应用系统
CN103699425A (zh) * 2013-09-26 2014-04-02 武汉中地数码科技有限公司 一种基于云计算的软件t/c/v架构及其云计算方法
CN103927173A (zh) * 2014-04-16 2014-07-16 深圳市腾邦国际商业服务股份有限公司 基于综合销售运营的数据处理方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329706B (zh) * 2008-07-18 2012-02-22 广州盈正信息技术有限公司 一种集约型网络游戏平台系统及其运行多个游戏应用程序的方法
CN104378266A (zh) * 2013-08-16 2015-02-25 中兴通讯股份有限公司 一种家庭网络的通信方法及系统、plc设备
CN104010025A (zh) * 2014-03-06 2014-08-27 西安邮电大学 一种信息化公共平台实施架构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398915A (zh) * 2007-09-24 2009-04-01 广州市百成科技有限公司 一种基于互联网的电子印章平台系统
CN101969475A (zh) * 2010-11-15 2011-02-09 张军 基于云计算的商业数据可控分发与融合应用系统
CN103699425A (zh) * 2013-09-26 2014-04-02 武汉中地数码科技有限公司 一种基于云计算的软件t/c/v架构及其云计算方法
CN103927173A (zh) * 2014-04-16 2014-07-16 深圳市腾邦国际商业服务股份有限公司 基于综合销售运营的数据处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613892A (zh) * 2020-12-25 2021-04-06 北京知因智慧科技有限公司 基于业务系统的数据处理方法、装置以及电子设备
CN112613892B (zh) * 2020-12-25 2024-03-15 北京知因智慧科技有限公司 基于业务系统的数据处理方法、装置以及电子设备

Also Published As

Publication number Publication date
WO2017020717A1 (zh) 2017-02-09

Similar Documents

Publication Publication Date Title
CN107438050B (zh) 识别网站的潜在恶意用户的方法和装置
Yang et al. Design and implementation of cloud platform for intelligent logistics in the trend of intellectualization
CN102799430B (zh) 一种面向移动互联网的离线可视化业务开发生成器
CN109918478A (zh) 基于知识图谱获取地理产品数据的方法和装置
CN107665228A (zh) 一种关联信息查询方法、终端及设备
CN102541541A (zh) 界面生成方法和装置
CN109145025A (zh) 一种多数据源集成的数据查询方法、装置及业务服务器
CN106708917A (zh) 一种数据处理方法、装置以及olap系统
CN105488366A (zh) 一种数据权限的控制方法和系统
US20130332897A1 (en) Creating a user model using component based approach
CN106980547A (zh) 在具有公用平台的监视系统中的可扩展资产类
CN104572062A (zh) 地理空间信息工作流服务功能流程模板的构建方法
CN103259872A (zh) 基于开放式网格体系的多源异构地理信息服务平台
CN103152370B (zh) 一种物联网业务网关系统及应用方法
CN109710613A (zh) 字段的管理方法、装置、服务器和存储介质
CN108520471A (zh) 重叠社区发现方法、装置、设备及存储介质
CN111752723A (zh) 一种可视化的多源服务管理系统及其实现方法
CN103475730A (zh) 一种云环境下用户确定度引导的web服务选择方法
TW201826178A (zh) 資源處理方法及設備
CN103399844A (zh) 报表的生成方法和生成装置
CN105740293B (zh) 数据导出方法和装置
CN104407783A (zh) 一种界面信息组件化显示方法及系统
US20150020044A1 (en) Productized Approach For Developing Multi Instance Single Code Base Product/Application With Centralized Management
CN106407833A (zh) 用于服务提供者、服务使用者的项目空间设备及其封装方法
CN102375859B (zh) 一种信息处理的方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215

RJ01 Rejection of invention patent application after publication