CN104639558A - 一种数据抽取方法和系统以及云平台 - Google Patents

一种数据抽取方法和系统以及云平台 Download PDF

Info

Publication number
CN104639558A
CN104639558A CN201510086831.XA CN201510086831A CN104639558A CN 104639558 A CN104639558 A CN 104639558A CN 201510086831 A CN201510086831 A CN 201510086831A CN 104639558 A CN104639558 A CN 104639558A
Authority
CN
China
Prior art keywords
user
kerberos
authentication
cloud platform
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510086831.XA
Other languages
English (en)
Other versions
CN104639558B (zh
Inventor
徐正礼
魏金雷
臧勇真
赵明超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201510086831.XA priority Critical patent/CN104639558B/zh
Publication of CN104639558A publication Critical patent/CN104639558A/zh
Application granted granted Critical
Publication of CN104639558B publication Critical patent/CN104639558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0892—Network architectures or network communication protocols for network security for authentication of entities by using authentication-authorization-accounting [AAA] servers or protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种数据抽取方法和系统及云平台。该方法包括：接收用户发来的申请使用kettle工具的请求；在hbase表中记录用户对应的kettle连接权限；为用户创建kerberos认证的配置文件；将所述kerberos认证的配置文件打包在kettle工具中发送给用户；接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求；认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。本方案能够提高数据抽取的安全性。

Description

一种数据抽取方法和系统以及云平台
技术领域
本发明涉及网络通信技术领域，特别涉及一种数据抽取方法和系统以及云平台。
背景技术
随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。通常，需要用户将本地系统中的数据抽取到云平台中的数据库中进行保存，比如，传统的业务系统大多构建在关系型数据库之上，可以将用户本地的关系型数据库中的数据转移到云数据库中。此后，则可以实现基于云平台的各种服务，比如，用户共享云平台的数据库中的数据等。
在将数据从用户本地数据库抽取到云平台的过程中，如何保证数据抽取过程的安全，以便避免各种安全问题，则成为了有待解决的问题。
发明内容
本发明提供一种数据抽取方法和系统以及云平台，能够提高数据从用户本地抽取到云平台的安全性。
为实现上述目的，本发明的技术方案是这样实现的：
一种数据抽取方法，包括：
接收用户发来的申请使用kettle工具的请求；
在hbase表中记录用户对应的kettle连接权限；
形成kerberos认证的配置文件；
将所述kerberos认证的配置文件打包在kettle工具中发送给用户；
接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求；
认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
其中，所述用户对应的kettle连接权限包括：用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
在所述接收用户通过kettle工具从本地系统抽取到云平台的数据之前，进一步包括：
根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
其中，所述kerberos认证的配置文件中包括：krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息；
所述用户基于所述kerberos认证的配置文件发起kerberos认证请求包括：所述用户根据保存的krb文件路径向相应的认证地址和认证方式发送kerberos认证请求，并利用用户票据文件路径和用户principal串进行认证。
优选地，所述kerberos认证的配置文件中进一步包括：表示是否开启支持kerberos认证的kerberos.service.state；
该方法进一步包括：所述用户通过设置存储在本地的所述kerberos.service.state的状态为开启on或者关闭off，来打开或者关闭kerberos认证。
可选地，该方法进一步包括：在所述用户本地，当用户使用kettle工具中的hbase组件时，kettle根据所述kerberos认证的配置文件读取用户信息，创建访问hbase表的connection。
优选地，该方法进一步包括：
在所述抽取的数据达到预定数量时，所述kettle工具在云平台的云数据库中写入日志，通过日志记录用户名、访问的表名、抽取时间、数据量信息中的任意一个或多个；并且，当所述用户的数据抽取结束时，kettle工具在云平台的云数据库中写入相应日志。
一种云平台，包括：
交互单元，用于接收用户发来的申请使用kettle工具的请求；
kettle权限设置单元，用于在hbase表中记录用户对应的kettle连接权限；
kettle工具下发单元，用于将形成的kerberos认证的配置文件打包在kettle工具中发送给用户；
kerberos认证单元，用于接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求，并进行kerberos认证；
数据抽取处理单元，用于在所述kerberos认证单元的认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
其中，所述kettle权限设置单元用于设置用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
所述数据抽取处理单元进一步根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
其中，
所述kerberos认证的配置文件中包括：krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息；
所述kerberos认证单元，接收所述用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送的kerberos认证请求，并根据所述用户票据文件路径和用户principal串对用户进行kerberos认证。
一种数据抽取的系统，包括：用户本地系统以及上述的任意一种云平台；
所述用户本地系统，用于向所述云平台发送申请使用kettle工具的请求，下载并保存包含有所述kerberos认证的配置文件的kettle工具包；通过kettle工具并基于所述kerberos认证的配置文件，向所述云平台发起kerberos认证请求；在认证通过后，通过kettle工具将本地系统的数据抽取到所述云平台。
本发明实施例提供了一种数据抽取的方法和系统以及云平台，能够使得用户利用kettle工具将本地系统数据抽取到云平台侧，并且在该过程中，将kettle工具与kerberos认证相结合，在数据抽取到云平台时，进行kerberos认证，从而大大提高了数据从用户本地抽取到云平台的安全性。
另外，在本发明的实施例中，能够在云平台侧而不是用户系统侧记录数据抽取到云平台的日志，因此，便于后续在云平台侧利用该日志进行数据的维护和管理。
在本发明的实施例中，在云平台侧能够进行双重安全保证，一是利用kerberos认证配置文件进行的kerberos认证，二是利用hbase表中记录的用户对应的kettle连接权限限制用户只能够访问有访问权限的表及表项，进一步提高了数据抽取过程的安全性。
在本发明的实施例中，将Kettle与kerberos安全认证相结合，并且加入日志记录，可以为用户提供一个安全、高效的数据转移、处理服务工具，解决了多用户向云平台转移数据的问题，具有很好的推广使用价值。
附图说明
图1是本发明一个实施例中进行数据抽取的方法的流程图。
图2是本发明另一个实施例中进行数据抽取的方法的流程图。
图3是本发明一个实施例中云平台的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一个实施例提出了一种数据抽取的方法，参见图1，包括：
步骤101：接收用户发来的申请使用kettle工具的请求；
步骤102：在hbase表中记录用户对应的kettle连接权限；
步骤103：形成kerberos认证的配置文件；
步骤104：将所述kerberos认证的配置文件打包在kettle工具中发送给用户；
步骤105：接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求；
步骤106：认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
可见，本发明实施例提供的数据抽取的方法，能够使得用户利用kettle工具将本地系统数据抽取到云平台侧，并且在该过程中，将kettle工具与kerberos认证相结合，在数据抽取到云平台时，进行kerberos认证，从而大大提高了数据从用户本地抽取到云平台的安全性。
在本发明的一个实施例中，可以通过hbase表中记录的用户对应的kettle连接权限，来控制用户本地系统能够访问的云平台侧的数据库表单，以及表单中的表项。
在本发明一个实施例中，能够在kerberos认证的配置文件中包括：krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息，从而使得用户本地系统在利用kettle工具进行数据抽取时，能够进行kerberos认证。
在本发明的一个实施例中，还可以在所述抽取的数据达到预定数量或者数据抽取结束时，由kettle工具在云平台的云数据库中写入日志，以便后续维护和管理。
参见图2，在本发明的一个实施例中，数据抽取的过程可以包括如下步骤：
步骤201：云平台接收用户发来的申请使用kettle工具的请求。
这里，在用户本地系统需要将数据抽取即上传到云平台侧时，用户可以登录相应云平台网址。由于后续使用kettle工具进行数据的抽取，因此，用户登录后，可以发送相应请求，下载kettle工具。
步骤202：云平台向相关部门请求，对用户进行相应审核。
这里，相关部门比如可以是公安部等需要控制云平台数据操作的部门。
步骤203：云平台确定用户审核通过后，在hbase表中记录用户对应的kettle连接权限。
这里，在记录了用户对应的kettle连接权限后，用户就可以使用kettle工具连接云平台的云数据库了。
在本发明的一个实施例中，在hbase表中记录的用户对应的kettle连接权限可以包括：用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系。通过该对应关系，可以限制用户在云平台侧的具体访问权限。
在本发明的其他实施例中，也可以设置其他形式的kettle连接权限。比如，只包括用户标识与hbase数据库表单的对应关系，即只限制用户可访问的表单，而不限制用户可访问的表单中的表项。
步骤204：云平台针对该用户创建kerberos认证的配置文件，并将该配置文件打包在kettle工具中。
这里，为了后续用户本地系统能够利用kettle工具将本地数据抽取到云平台，并在该过程中结合使用kerberos认证，可以通过本步骤的处理，将认证需要用的配置文件打包在kettle工具中。
在本发明的一个实施例中，kerberos认证的配置文件可以包括：kerberos.service.state；krb文件路径；用户票据文件路径；用户principal串；其中，
kerberos.service.state表示是否开启支持kerberos认证，其包括开启on状态或者关闭off状态，两种值；如果该参数值为on，表示用户本地打开了kerberos认证开关，后续可以在利用kettle工具进行数据抽取过程中进行kerberos认证，如果该参数值为off，表示用户本地关闭了在利用kettle工具进行数据抽取过程中进行kerberos认证的功能。当然，在本发明的一个实施例中，kerberos认证的配置文件也可以不包括kerberos.service.state，也就是说，用户本地不能设置是否开启kerberos认证。
krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息，以便后续用户本地能够发起kerberos认证。
用户票据文件路径和用户principal串都是后续对用户本地进行kerberos认证时需要使用的key。
步骤205：云平台将包括有kerberos认证配置文件的kettle工具下发给用户。
步骤206：用户接收到kettle工具后保存，并将其中的kerberos认证配置文件进行保存。
步骤207：在用户本地系统侧，用户通过设置存储在本地的kerberos.service.state的状态为开启on或者关闭off，来打开或者关闭kerberos认证。
步骤208：在用户需要将本地系统的数据抽取到云平台时，将kerberos.service.state的状态设置为开启on。
步骤209：用户本地系统使用kettle工具中的hbase组件，该kettle工具根据kerberos认证的配置文件读取用户信息，创建访问云平台侧hbase表的连接。
步骤210：用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送kerberos认证请求。该kerberos认证请求中包括用户票据文件路径和用户principal串。
步骤211：云平台接收所述用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送的kerberos认证请求，并利用用户票据文件路径和用户principal串进行认证。
步骤212：在认证通过后，用户本地系统发起将本地数据抽取到云平台的过程。
步骤213：云平台根据步骤203中设置的权限，比如用户标识，数据库表单及表单中项目三者的对应关系，判断所述用户是否有权限访问当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项，如果是，则执行步骤214，否则，拒绝用户的访问请求，结束当前流程。
步骤214：云平台接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
至此，则完成了数据抽取过程。
需要说明的是，为了能够在云平台侧而不是用户本地侧对数据抽取过程进行记录、管理和维护，在上述图2所示过程中，可以在所述抽取的数据达到预定数量比如5万条时，由kettle工具在云平台的云数据库中写入日志，通过日志记录用户名、访问的表名、抽取时间、数据量信息中的任意一个或多个；并且，当用户的数据抽取结束时，kettle工具也可以在云平台的云数据库中写入相应日志，从而避免用户恶意灌入数据。
本发明一个实施例还提出了一种云平台，参见图3，包括：
交互单元301，用于接收用户发来的申请使用kettle工具的请求，将包含有kerberos认证的配置文件的kettle工具发送给用户；
kettle权限设置单元302，用于在所述交互单元301接收到所述请求之后，在hbase表中记录用户对应的kettle连接权限；
kettle工具下发单元303，用于将形成的kerberos认证的配置文件打包在kettle工具中，发送给交互单元301；
kerberos认证单元304，用于接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求，并进行kerberos认证；
数据抽取处理单元305，用于在所述kerberos认证单元304的认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
在本发明一个实施例中，所述kettle权限设置单元302用于设置用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
所述数据抽取处理单元305进一步根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
在本发明一个实施例中，所述kerberos认证的配置文件中包括：krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息；
所述kerberos认证单元304，接收所述用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送的kerberos认证请求，并根据所述用户票据文件路径和用户principal串对用户进行kerberos认证。
本发明一个实施例还提出了一种数据抽取的系统，包括：用户本地系统以及本发明任意一种实施例提出的云平台；
所述用户本地系统，用于向所述云平台发送申请使用kettle工具的请求，下载并保存包含有所述kerberos认证的配置文件的kettle工具包；通过kettle工具并基于所述kerberos认证的配置文件，向所述云平台发起kerberos认证请求；在认证通过后，通过kettle工具将本地系统的数据抽取到所述云平台。
在本发明实施例中，用户本地系统的数据可以是关系型数据库中的数据，也就是说，可以将关系型数据库中的数据抽取到云平台。
在本发明各个实施例中，数据抽取的过程可以是将数据从来源端即用户本地系统侧经过萃取(extract)、转置(transform)、加载(load)至目的端即云平台侧的过程。
本发明实施例至少具有如下的有益效果：
1、能够使得用户利用kettle工具将本地系统数据抽取到云平台侧，并且在该过程中，将kettle工具与kerberos认证相结合，在数据抽取到云平台时，进行kerberos认证，从而大大提高了数据从用户本地抽取到云平台的安全性。
2、能够在云平台侧而不是用户系统侧记录数据抽取到云平台的日志，因此，便于后续在云平台侧利用该日志进行数据的维护和管理。
3、在云平台侧能够进行双重安全保证，一是利用kerberos认证配置文件进行的kerberos认证，二是利用hbase表中记录的用户对应的kettle连接权限限制用户只能够访问有访问权限的表及表项，进一步提高了数据抽取过程的安全性。
4、将Kettle与kerberos安全认证相结合，并且加入日志记录，可以为用户提供一个安全、高效的数据转移、处理服务工具，解决了多用户向云平台转移数据的问题，具有很好的推广使用价值。
5、可以使用Kettle工具进行数据抽取。由于kettle工具对数据进行抽取、处理的过程采用可视化编程的方式，非常方便，且功能强大，通过对kettle的改造，实现了在window环境及linux环境下的kerberos安全认证支持以及对用户向云数据库写操作的日志记录，同时对工具实行授权机制，只有被授权的用户才能够实用本工具进行数据抽取及数据处理。
6、本发明实施例利用kettle工具进行数据抽取。由于kettle工具能够按照用户希望的格式输出，因此进一步提升了数据抽取过程的效率。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种数据抽取方法，其特征在于，包括：
接收用户发来的申请使用kettle工具的请求；
在hbase表中记录用户对应的kettle连接权限；
为用户创建kerberos认证的配置文件；
将所述kerberos认证的配置文件打包在kettle工具中发送给用户；
接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求；
认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
2.根据权利要求1所述的方法，其特征在于，所述用户对应的kettle连接权限包括：用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
在所述接收用户通过kettle工具从本地系统抽取到云平台的数据之前，进一步包括：
根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
3.根据权利要求1所述的方法，其特征在于，所述kerberos认证的配置文件中包括：krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息；
在所述用户基于所述kerberos认证的配置文件发起kerberos认证请求后，进一步包括：接收所述用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送的kerberos认证请求，并利用用户票据文件路径和用户principal串进行认证。
4.根据权利要求3所述的方法，其特征在于，所述kerberos认证的配置文件中进一步包括：表示是否开启支持kerberos认证的kerberos.service.state；
该方法进一步包括：所述用户通过设置存储在本地的所述kerberos.service.state的状态为开启on或者关闭off，来打开或者关闭kerberos认证。
5.根据权利要求1至4中任一所述的方法，其特征在于，该方法进一步包括：在所述用户本地，当用户使用kettle工具中的hbase组件时，kettle根据所述kerberos认证的配置文件读取用户信息，创建访问hbase表的connection。
6.根据权利要求1至4中任一所述的方法，其特征在于，该方法进一步包括：
在所述抽取的数据达到预定数量时，所述kettle工具在云平台的云数据库中写入日志，通过日志记录用户名、访问的表名、抽取时间、数据量信息中的任意一个或多个；并且，当所述用户的数据抽取结束时，kettle工具在云平台的云数据库中写入相应日志。
7.一种云平台，其特征在于，包括：
交互单元，用于接收用户发来的申请使用kettle工具的请求；
kettle权限设置单元，用于在hbase表中记录用户对应的kettle连接权限；
kettle工具下发单元，用于将形成的kerberos认证的配置文件打包在kettle工具中发送给用户；
kerberos认证单元，用于接收用户通过kettle工具并基于所述kerberos认证的配置文件，发起的kerberos认证请求，并进行kerberos认证；
数据抽取处理单元，用于在所述kerberos认证单元的认证通过后，根据所述hbase表中记录的kettle连接权限，接收用户通过kettle工具从本地系统抽取到云平台的数据。
8.根据权利要求7所述的装置，其特征在于，所述kettle权限设置单元用于设置用户标识，用户可访问的hbase数据库表单以及用户可访问的hbase数据库表单中的表项三者的对应关系；
所述数据抽取处理单元进一步根据所述对应关系，判断所述用户、当前需要访问的hbase数据库表单以及当前需要访问的hbase数据库表单中的表项是否满足所述对应关系，如果是，则继续执行所述的接收用户通过kettle工具从本地系统抽取到云平台的数据，然后存储该数据。
9.根据权利要求7所述的云平台，其特征在于，
所述kerberos认证的配置文件中包括：krb文件路径、用户票据文件路径和用户principal串；其中，krb文件路径中包括进行kerberos认证的认证地址和认证方式的信息；
所述kerberos认证单元，接收所述用户根据保存的krb文件路径向相应的认证地址以相应的认证方式发送的kerberos认证请求，并根据所述用户票据文件路径和用户principal串对用户进行kerberos认证。
10.一种数据抽取的系统，其特征在于，包括：用户本地系统以及如权利要求7至9中任一所述的云平台；
所述用户本地系统，用于向所述云平台发送申请使用kettle工具的请求，下载并保存包含有所述kerberos认证的配置文件的kettle工具包；通过kettle工具并基于所述kerberos认证的配置文件，向所述云平台发起kerberos认证请求；在认证通过后，通过kettle工具将本地系统的数据抽取到所述云平台。
CN201510086831.XA 2015-02-25 2015-02-25 一种数据抽取方法和系统以及云平台 Active CN104639558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510086831.XA CN104639558B (zh) 2015-02-25 2015-02-25 一种数据抽取方法和系统以及云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510086831.XA CN104639558B (zh) 2015-02-25 2015-02-25 一种数据抽取方法和系统以及云平台

Publications (2)

Publication Number Publication Date
CN104639558A true CN104639558A (zh) 2015-05-20
CN104639558B CN104639558B (zh) 2017-10-13

Family

ID=53217872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510086831.XA Active CN104639558B (zh) 2015-02-25 2015-02-25 一种数据抽取方法和系统以及云平台

Country Status (1)

Country Link
CN (1) CN104639558B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446144A (zh) * 2016-09-21 2017-02-22 郑州云海信息技术有限公司 一种基于kettle的大数据平台数据抽取和统计方法
CN107368478A (zh) * 2016-05-11 2017-11-21 北京京东尚科信息技术有限公司 一种在服务器处理web应用请求的方法和装置
CN107679251A (zh) * 2017-11-02 2018-02-09 成都信息工程大学 大数据环境下基于Spoon的通用数据库抽取方法
CN110266822A (zh) * 2019-07-23 2019-09-20 浪潮云信息技术有限公司 一种基于nginx的共享式负载均衡实现方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955502A (zh) * 2014-04-24 2014-07-30 科技谷（厦门）信息技术有限公司 一种可视化olap的应用实现方法及系统
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955502A (zh) * 2014-04-24 2014-07-30 科技谷（厦门）信息技术有限公司 一种可视化olap的应用实现方法及系统
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张德阳: "一种安全性的海量数据处理平台设计与实现", 《电信工程技术与标准化》 *
朱博: "基于ETL的数据交换技术的研究与实现", 《硕士学位论文》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368478A (zh) * 2016-05-11 2017-11-21 北京京东尚科信息技术有限公司 一种在服务器处理web应用请求的方法和装置
CN106446144A (zh) * 2016-09-21 2017-02-22 郑州云海信息技术有限公司 一种基于kettle的大数据平台数据抽取和统计方法
CN107679251A (zh) * 2017-11-02 2018-02-09 成都信息工程大学 大数据环境下基于Spoon的通用数据库抽取方法
CN110266822A (zh) * 2019-07-23 2019-09-20 浪潮云信息技术有限公司 一种基于nginx的共享式负载均衡实现方法
CN110266822B (zh) * 2019-07-23 2022-02-25 浪潮云信息技术股份公司 一种基于nginx的共享式负载均衡实现方法

Also Published As

Publication number Publication date
CN104639558B (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
US8990565B2 (en) Method and system for automatically logging in a client
CN110166451B (zh) 一种轻量级电子文档传递控制系统及方法
CN104639558B (zh) 一种数据抽取方法和系统以及云平台
CN110365670A (zh) 黑名单共享方法、装置、计算机设备和存储介质
US20150095642A1 (en) Client computer for querying a database stored on a server via a network
CN103095720B (zh) 一种基于会话管理服务器的云存储系统的安全管理方法
CN108632241B (zh) 一种多应用系统统一登录方法和装置
CN101272242A (zh) 基于网络的移动存储系统和方法
CN106575342A (zh) 包括关系数据库的内核程序、以及用于执行所述程序的方法和装置
CN104702575B (zh) 一种账号管理方法、管理平台及系统
US10754929B2 (en) Sharing contents between applications
US20210328974A1 (en) System and method of utilizing remote information handling systems to securely store files
US11316663B2 (en) One-time password with unpredictable moving factor
CN106296917A (zh) 一种开锁系统、方法以及云管理平台
CN101986598A (zh) 认证方法、服务器及系统
WO2016070611A1 (zh) 一种数据处理方法、服务器及终端
CN110175439A (zh) 用户管理方法、装置、设备及计算机可读存储介质
CN106209569B (zh) 一种企业即时通讯的鉴权方法及装置
CN105373723B (zh) 设备自动授权方法和装置
CN106911744A (zh) 一种镜像文件的管理方法和管理装置
CN107995227A (zh) 移动存储设备的认证方法及装置
CN108600259B (zh) 设备的认证和绑定方法及计算机存储介质、服务器
JP2018055582A (ja) 通信管理プログラム、通信管理方法および通信管理装置
CN106529216B (zh) 一种基于公共存储平台的软件授权系统及软件授权方法
CN106933605A (zh) 一种智能的进程识别控制方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180806

Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Patentee after: Shandong wave cloud Mdt InfoTech Ltd

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: Inspur Group Co., Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Patentee after: Inspur cloud Information Technology Co., Ltd

Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06

Patentee before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address