CN106355107A - 支持快速预判权限的集群数据加载工具及方法 - Google Patents

支持快速预判权限的集群数据加载工具及方法 Download PDF

Info

Publication number
CN106355107A
CN106355107A CN201610777884.0A CN201610777884A CN106355107A CN 106355107 A CN106355107 A CN 106355107A CN 201610777884 A CN201610777884 A CN 201610777884A CN 106355107 A CN106355107 A CN 106355107A
Authority
CN
China
Prior art keywords
loading
data
authority
module
anticipation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610777884.0A
Other languages
English (en)
Inventor
赵伟
武新
杨丽莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Original Assignee
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd filed Critical TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority to CN201610777884.0A priority Critical patent/CN106355107A/zh
Publication of CN106355107A publication Critical patent/CN106355107A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种支持快速预判权限的集权数据加载工具及方法。其目的是为了提供一种使用效率高、灵活性强的支持预判权限的集权数据加载工具及方法。本发明包括加载工具使用接口、加载任务管理模块和加载任务执行模块。加载工具使用接口的信号输出端与加载任务管理模块的信号接收端连接，加载任务管理模块的信号输出端与加载任务执行模块的信号接收端连接，加载任务执行模块内部又包括权限预判模块，权限预判模块的信号输出端分别与文件列表和权限信息列表连接。加载工具使用接口用于启动加载任务；加载任务管理模块用于保存、维护和调度所有接收到的加载任务；加载任务执行模块用于负责具体加载任务的执行；权限预判模块用于对数据文件进行权限预判。

Description

支持快速预判权限的集群数据加载工具及方法
技术领域
本发明涉及集群数据库领域，特别是涉及一种支持快速预判权限的集权数据加载工具及方法。
背景技术
集群数据库是使用多台普通服务器协同提供高性能的数据库服务，适用于海量数据的保存、查询和分析。因为其适用于大数据场合，需要配合高性能的数据加载工具，负责从各种数据源读取数据，加载到集群数据库之中。在现实的应用中，出于信息安全方面的考虑，数据源往往带有权限检查机制。加载工具如果对要加载的数据文件没有足够权限，就无法读取要加载的数据，并且报错，甚至异常退出。如果要加载若干个数据文件，就有可能在加载中途由于权限不足的原因导致加载工具报错退出，白白浪费了宝贵的加载时间，用户不得不调整权限，然后重新开始进行加载。例如，HDFS数据源的文件支持三种不同的权限：所有者权限(Owner)、组权限(Group)和其他用户权限(Other)。判断权限的过程对于访问者(如加载工具)而言是一个黑盒过程，访问者无法获取全部的权限判别依据，如系统权限开关、组信息、缺省用户信息等重要信息。访问者只能获取部分权限信息，如文件的所有者、各种用户(所有者、同组用户、其他用户)的配置权限等。
现阶段使用的加载工具，无法预先判断加载工具是否具备全部待加载数据文件的权限，常常造成在读取数据时由于缺少权限而异常退出，这种加载失败的情况会浪费大量时间。另一方面，在待加载的数据文件中，可能存在某些文件具备相同的权限信息，如果能够对其中一个文件的权限进行预判，就可以知道所有这些文件的权限判断结果，但现阶段并无法实现这种操作。
发明内容
本发明要解决的技术问题是提供一种使用效率高、灵活性强的支持快速预判权限的集权数据加载工具及方法。
本发明支持快速预判权限的集权数据加载工具，其中，包括加载工具使用接口、加载任务管理模块和加载任务执行模块，加载工具使用接口的信号输出端与加载任务管理模块的信号接收端连接，加载任务管理模块的信号输出端与加载任务执行模块的信号接收端连接，加载任务执行模块内部又包括权限预判模块，权限预判模块的信号输出端分别与文件列表和权限信息列表连接，
加载工具使用接口用于启动加载任务，并将各个任务的参数传递给加载任务管理模块；
加载任务管理模块用于保存、维护和调度所有接收到的加载任务；
加载任务执行模块用于负责具体加载任务的执行；
权限预判模块用于对数据文件进行权限预判。
本发明支持快速预判权限的集权数据加载工具，其中所述支持快速预判权限的集权数据加载工具还包括读数据模块、数据源访问模块、写数据模块和数据库访问模块，读数据模块的数据输出端与加载任务执行模块的数据接收端连接，读数据模块的数据接收端与数据源访问模块的数据输出端连接，写数据模块的数据接收端与加载任务执行模块的数据输出端连接，写数据模块的数据输出端与数据库访问模块的数据接收端连接，读数据模块用于提供统一的读取数据接口；数据源访问模块用于从具体的数据源上读取数据；写数据模块用于提供统一的写数据接口；数据库访问模块用于将接收到的数据加载进集群数据库。
本发明采用的支持快速预判权限的集权数据加载方法，其中，包括如下步骤：
步骤S1，将加载参数通过加载工具使用接口输入，并输出给加载任务管理模块；
步骤S2，加载任务管理模块根据接收到的参数，创建加载任务列表；
步骤S3，将待加载任务输出给加载任务执行模块，权限预判模块对待加载任务进行预判，将全部待加载数据文件名生成文件列表，将已经进行过预判的文件生成权限信息列表；
步骤S4，加载任务执行模块分别读取文件列表和权限信息列表，如果文件列表中没有还未进行权限预判的文件，结束预判，开始加载数据；如果从文件列表中找出还未进行权限预判的文件；
步骤S5，检查是否存在同权限的文件，如果权限信息列表中已经包含与此文件的权限信息相同的权限信息，就直接将其中保存的预判结果作为对此文件的预判结果，转向步骤S4，如果权限信息列表中不存在包含与此文件的权限信息相同的权限信息，访问此文件的一小部分，根据访问结果判断权限是否足够，并将此文件的权限信息和预判结果保存到权限信息列表中；
步骤S6，如果权限不足，提示用户后转向步骤S4。
本发明支持快速预判权限的集权数据加载工具及方法与现有技术不同之处在于：本发明设置有加载任务执行模块，在正式开始加载数据之前,从数据源获取所有待加载文件的权限信息，并依次访问每一个待加载文件的一小段数据,确定是否具有对该文件的访问权限；在访问过程中如果某个待加载文件与另一个待加载文件的权限信息相同,而另一个文件已经被确定其访问权限,则这个文件无需再判断权限；如果加载任务执行模块对某个文件不具备访问权限，提示用户存在权限不足的情况，所有权限信息均判断完毕，再正式开始加载数据。由于采用上述技术方案，能够从带有权限检查的数据源上读取数据，并且在加载数据之前就可以快速预判权限信息，避免了加载到中途的异常退出，极大增强了集群数据库加载工具对用户的友好性，极大提高了集群数据库加载工具在用户场景中的使用效率，极大提高了集群数据库加载工具功能的实用性和灵活性。
下面结合附图对本发明支持快速预判权限的集权数据加载工具及方法作进一步说明。
附图说明
图1为本发明支持快速预判权限的集权数据加载工具的结构示意图；
图2为本发明支持快速预判权限的集权数据加载方法的流程图。
具体实施方式
如图1所示，为本发明支持快速预判权限的集权数据加载工具的结构示意图，包括加载工具使用接口1、加载任务管理模块2和加载任务执行模块3。加载工具使用接口1的信号输出端与加载任务管理模块2的信号接收端连接，加载工具使用接口1用于启动加载任务，并将各个任务的参数传递给加载任务管理模块2，加载任务管理模块2用于保存、维护和调度所有接收到的加载任务。加载任务管理模块2的信号输出端与加载任务执行模块3的信号接收端连接，加载任务执行模块3内部又包括权限预判模块8，权限预判模块8用于数据文件的权限预判，权限预判模块8的信号输出端分别与文件列表和权限信息列表连接，文件列表中输入有全部待加载数据文件的文件名，权限信息列表中输入有已经进行过预判的文件的权限预判结果。加载任务执行模块3的数据接收端与读数据模块4的数据输出端连接，读数据模块4的数据接收端与数据源访问模块6的数据输出端连接，加载任务执行模块3的数据输出端与写数据模块5的数据接收端连接，写数据模块5的数据输出端与数据库访问模块7的数据接收端连接，读数据模块4用于提供统一的读取数据接口；数据源访问模块6用于从具体的数据源上读取数据；写数据模块5用于提供统一的写数据接口；数据库访问模块7用于将接收到的数据加载进集群数据库。
如图2所示，为本发明支持快速预判权限的集权数据加载方法的流程图，包括如下步骤：
步骤S1，将加载参数通过加载工具使用接口1输入，并输出给加载任务管理模块2；
步骤S2，加载任务管理模块2根据接收到的参数，创建加载任务列表；
步骤S3，加载任务管理模块2将待加载任务输出给加载任务执行模块3，加载任务执行模块3中的权限预判模块8对待加载任务进行预判，将全部待加载数据文件名生成文件列表，将已经进行过预判的文件生成权限信息列表；
步骤S4，加载任务执行模块2分别读取文件列表和权限信息列表，如果文件列表中没有还未进行权限预判的文件，结束预判，开始加载数据；如果从文件列表中找出还未进行权限预判的文件；
步骤S5，检查是否存在同权限的文件，如果权限信息列表中已经包含与此文件的权限信息相同的权限信息，就直接将其中保存的预判结果作为对此文件的预判结果，转向步骤S4，如果权限信息列表中不存在包含与此文件的权限信息相同的权限信息，访问此文件的一小部分，根据访问结果判断权限是否足够，并将此文件的权限信息和预判结果保存到权限信息列表中；
步骤S6，如果权限不足，提示用户后转向步骤S4。
实施例：本发明的一个实施例是包括四个待加载数据文件的带有权限检查的数据加载过程：待加载文件一、file1，所有者是lee，组是admin，权限配置是700；待加载文件二、file2，所有者是zxm，组是manager，权限配置是660；待加载文件三、file3，所有者是lee，组是admin，权限配置是700；待加载文件四、file1，所有者是zxm，组是admin，权限配置是700。加载运行过程如下：
1.启动加载工具。
2.获取待加载的数据文件列表(file1、file2、file3、file4)。
3.预判file1的权限，访问数据源，结果为有权限。
4.预判file2的权限，访问数据源，结果为有权限。
5.预判file3的权限，因为与file1权限信息相同，结果为有权限。
6.预判file4的权限，访问数据源，结果为无权限，提示用户。
7.用户确认后，开始进行加载；
8.加载完成，加载工具退出。
本发明支持快速预判权限的集权数据加载工具及方法，设置有加载任务执行模块3，在正式开始加载数据之前,从数据源获取所有待加载文件的权限信息，并依次访问每一个待加载文件的一小段数据,确定是否具有对该文件的访问权限；在访问过程中如果某个待加载文件与另一个待加载文件的权限信息相同,而另一个文件已经被确定其访问权限,则这个文件无需再判断权限；如果加载任务执行模块3对某个文件不具备访问权限，提示用户存在权限不足的情况，所有权限信息均判断完毕，再正式开始加载数据。由于采用上述技术方案，能够从带有权限检查的数据源上读取数据，并且在加载数据之前就可以快速预判权限信息，避免了加载到中途的异常退出，极大增强了集群数据库加载工具对用户的友好性，极大提高了集群数据库加载工具在用户场景中的使用效率，极大提高了集群数据库加载工具功能的实用性和灵活性，与现有技术相比具有明显的优点。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.一种支持快速预判权限的集权数据加载工具，其特征在于：包括加载工具使用接口(1)、加载任务管理模块(2)和加载任务执行模块(3)，加载工具使用接口(1)的信号输出端与加载任务管理模块(2)的信号接收端连接，加载任务管理模块(2)的信号输出端与加载任务执行模块(3)的信号接收端连接，加载任务执行模块(3)内部又包括权限预判模块(8)，权限预判模块(8)的信号输出端分别与文件列表和权限信息列表连接，
加载工具使用接口(1)用于启动加载任务，并将各个任务的参数传递给加载任务管理模块(2)；
加载任务管理模块(2)用于保存、维护和调度所有接收到的加载任务；
加载任务执行模块(3)用于负责具体加载任务的执行；
权限预判模块(8)用于对数据文件进行权限预判。
2.根据权利要求1所述的支持快速预判权限的集权数据加载工具，其特征在于：所述支持快速预判权限的集权数据加载工具还包括读数据模块(4)、数据源访问模块(6)、写数据模块(5)和数据库访问模块(7)，读数据模块(4)的数据输出端与加载任务执行模块(3)的数据接收端连接，读数据模块(4)的数据接收端与数据源访问模块(6)的数据输出端连接，写数据模块(5)的数据接收端与加载任务执行模块(3)的数据输出端连接，写数据模块(5)的数据输出端与数据库访问模块(7)的数据接收端连接，读数据模块(4)用于提供统一的读取数据接口；数据源访问模块(6)用于从具体的数据源上读取数据；写数据模块(5)用于提供统一的写数据接口；数据库访问模块(7)用于将接收到的数据加载进集群数据库。
3.一种权利要求1中所采用的支持快速预判权限的集权数据加载方法，其特征在于：包括如下步骤：
步骤S1，将加载参数通过加载工具使用接口(1)输入，并输出给加载任务管理模块(2)；
步骤S2，加载任务管理模块(2)根据接收到的参数，创建加载任务列表；
步骤S3，将待加载任务输出给加载任务执行模块(3)，权限预判模块(8)对待加载任务进行预判，将全部待加载数据文件名生成文件列表，将已经进行过预判的文件生成权限信息列表；
步骤S4，加载任务执行模块(2)分别读取文件列表和权限信息列表，如果文件列表中没有还未进行权限预判的文件，结束预判，开始加载数据；如果从文件列表中找出还未进行权限预判的文件；
步骤S5，检查是否存在同权限的文件，如果权限信息列表中已经包含与此文件的权限信息相同的权限信息，就直接将其中保存的预判结果作为对此文件的预判结果，转向步骤S4，如果权限信息列表中不存在包含与此文件的权限信息相同的权限信息，访问此文件的一小部分，根据访问结果判断权限是否足够，并将此文件的权限信息和预判结果保存到权限信息列表中；
步骤S6，如果权限不足，提示用户后转向步骤S4。
CN201610777884.0A 2016-08-31 2016-08-31 支持快速预判权限的集群数据加载工具及方法 Pending CN106355107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610777884.0A CN106355107A (zh) 2016-08-31 2016-08-31 支持快速预判权限的集群数据加载工具及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610777884.0A CN106355107A (zh) 2016-08-31 2016-08-31 支持快速预判权限的集群数据加载工具及方法

Publications (1)

Publication Number Publication Date
CN106355107A true CN106355107A (zh) 2017-01-25

Family

ID=57856672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610777884.0A Pending CN106355107A (zh) 2016-08-31 2016-08-31 支持快速预判权限的集群数据加载工具及方法

Country Status (1)

Country Link
CN (1) CN106355107A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452487A (zh) * 2008-12-31 2009-06-10 中国建设银行股份有限公司 一种数据加载的方法、系统及数据加载装置
CN102236750A (zh) * 2010-04-29 2011-11-09 国际商业机器公司 在云存储系统中进行权限控制的方法和装置
CN102938001A (zh) * 2012-12-10 2013-02-20 曙光信息产业(北京)有限公司 数据加载装置和数据加载方法
CN103620616A (zh) * 2013-03-28 2014-03-05 华为技术有限公司 一种访问控制权限管理方法和装置
US8886564B2 (en) * 2008-09-16 2014-11-11 Ca, Inc. Program for resource security in a database management system
CN105512168A (zh) * 2015-11-16 2016-04-20 天津南大通用数据技术股份有限公司 一种集群数据库复合加载数据的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886564B2 (en) * 2008-09-16 2014-11-11 Ca, Inc. Program for resource security in a database management system
CN101452487A (zh) * 2008-12-31 2009-06-10 中国建设银行股份有限公司 一种数据加载的方法、系统及数据加载装置
CN102236750A (zh) * 2010-04-29 2011-11-09 国际商业机器公司 在云存储系统中进行权限控制的方法和装置
CN102938001A (zh) * 2012-12-10 2013-02-20 曙光信息产业(北京)有限公司 数据加载装置和数据加载方法
CN103620616A (zh) * 2013-03-28 2014-03-05 华为技术有限公司 一种访问控制权限管理方法和装置
CN105512168A (zh) * 2015-11-16 2016-04-20 天津南大通用数据技术股份有限公司 一种集群数据库复合加载数据的方法及装置

Similar Documents

Publication Publication Date Title
US20200387481A1 (en) Systems and methods for in-place records management and content lifecycle management
CN102741803B (zh) 用于促进数据发现的系统和方法
US7685152B2 (en) Method and apparatus for loading data from a spreadsheet to a relational database table
CN104572122A (zh) 一种软件应用数据的生成装置及方法
CN106202452A (zh) 大数据平台的统一数据资源管理系统与方法
US8782096B2 (en) Virtual repository management
CN103368765B (zh) 一种管理系统权限添加方法和装置
CN101894149B (zh) 跟踪查询单据的方法和装置
US20150033327A1 (en) Systems and methodologies for managing document access permissions
WO2006022739A2 (en) Method and system for processing grammar-based legality expressions
CN104915262B (zh) 一种基于excel数据结构的校验系统及其方法
CN1933647A (zh) 外部存储器管理装置和外部存储器管理方法
CN104008441A (zh) 一种自动提交版本库归档的任务管理系统及方法
CN112287011A (zh) 一种基于中间文件的可配置多源异构数据共享系统及方法
CN105573274B (zh) 基于plm系统的ts16949关联对象控制方法
CN107566375A (zh) 访问控制方法和装置
EP2225638B1 (en) Electronic technical logbook
CN104639599A (zh) 一种实现文件批量下载的系统及方法
CN104573053A (zh) 一种基于xml的配置项模板动态定制方法
WO2023226461A1 (zh) 一种多域数据融合的方法、装置和存储介质
CN102436444A (zh) 一种图纸查看方法及系统
CN106355107A (zh) 支持快速预判权限的集群数据加载工具及方法
CN101571858B (zh) 多个对象的安全性设定及检查的方法和装置
CN111400269B (zh) 一种ipfs文件处理方法、节点、介质和设备
US8478802B2 (en) Organization system for distributed items

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170125