CN103092841A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法及装置，用于支持来源于多个系统或数据库的数据授权，降低系统维护成本，实时体现数据更新，加快数据处理速度。本发明实施例方法包括：通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据，根据预先确定的数据维度，将维度实体数据生成权限维度数据，并存入权限维度数据集合中，将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，根据用户登录时输入的特征信息，在权限维度数据集合中读取与所述特征信息对应的权限维度数据，读取与所读取的权限维度数据对应的维度实体数据。

Description

一种数据处理方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种数据处理方法及装置。

背景技术

在信息技术领域，用于数据分析的数据来源比较多，可能来自支持SQLServer关系数据库管理系统的企业资源计划(ERP，Enterprise ResourcePlanning)系统，也可能是人工维护的Excel表，又或集团、公司支持Oracle数据库的ERP系统的不同数据类型，而且基础资料信息不统一。

在资讯系统数据授权体系中，如果要支持系统外的数据参与系统本身的数据授权，必须先将系统外数据转化成系统内部数据，才能进行数据授权。目前将系统外部数据转化成系统内部数据的方案，是系统提供导入导出接口，数据导出其它系统后，用固定的模板导入到一个统一的处理系统。

当上述技术方案中，须先将系统外部数据，转化成系统内部数据，才能进行数据授权，当系统外部数据更新时，须重新导入系统内进行授权，整个导入及授权过程需要固定人员花费固定时间进行维护，成本比较高，同时数据的更新情况不能实时体现。

发明内容

本发明实施例提供了一种数据处理方法及装置，用以提供不同数据来源接口，系统外部数据不需经转换即可进入系统内部进行授权，支持来源于多个系统或数据库的数据授权，降低系统维护成本，实时体现数据更新，加快数据处理速度。

本发明实施例提供的数据处理方法，包括：通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据；根据预先确定的数据维度，将所述维度实体数据生成权限维度数据，并存入权限维度数据集合中；将用户的特征信息转换成字符串格式，与所述权限维度数据集合中的权限维度数据进行对应；根据用户登录时输入的特征信息，在所述权限维度数据集合中读取与所述特征信息对应的权限维度数据；读取与所读取的权限维度数据对应的维度实体数据。

本发明实施例提供的数据处理装置，包括：接收单元，用于通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据；生成单元，用于根据预先确定的数据维度，将所述维度实体数据生成权限维度数据；保存单元，用于将生成单元生成的权限维度数据存入权限维度数据集合中；对应单元，用于将用户的特征信息转换成字符串格式，与所述权限维度数据集合中的权限维度数据进行对应；读取单元，用于根据用户登录时输入的特征信息，在所述权限维度数据集合中读取与所述特征信息对应的权限维度数据；读取与所读取的权限维度数据对应的维度实体数据。

从以上技术方案可以看出，本发明实施例具有以下优点：通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据，根据预先确定的数据维度，将维度实体数据生成权限维度数据，并存入权限维度数据集合中，而后将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，根据用户登录时输入的特征信息，在权限维度数据集合中读取与特征信息对应的权限维度数据，读取与所读取的权限维度数据对应的维度实体数据，预设的各数据源的数据库接口支持多种数据来源，系统外部数据不需经转换即可进入系统内部进行授权，支持来源于多个系统或数据库的数据授权，降低维护成本，将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，根据用户登录时输入的特征信息读取对应的权限维度数据，进而读取来自各数据库的维度实体数据，可实时更新处理数据，同时，处理的数据是与维度实体数据具有对应关系的权限维度数据，因此处理的数据量小，处理速度更快。

附图说明

图1为本发明实施例提供的数据处理方法的一个实施例示意图；

图2为本发明实施例提供的数据处理方法的另一个实施例示意图；

图3为本发明实施例提供的数据处理装置的一个实施例示意图；

图4为本发明实施例提供的数据处理装置的另一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据处理方法及装置，用于支持多种数据来源接口，系统外部数据不需经转换即可进入系统内部进行授权，降低维护成本，且实时更新数据来源，提高分析数据的效率。

101、通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据；

通过预先设置的各数据源的数据库接口，接收各数据库的维度实体数据，该维度实体数据包括来自各数据库的所有数据。

102、根据预先确定的数据维度，将维度实体数据生成权限维度数据，并存入权限维度数据集合中；

根据预先确定的数据维度，将维度实体数据生成权限维度数据，存入权限维度数据集合中，权限维度数据是与数据授权权限密切相关的数据，是从前述维度实体数据中提取的与数据授权权限相关的属性字段。

权限维度数据集合是权限维度数据表的集合，由于数据维度可以有多种，因此，对应的，权限维度数据集合中存在多种权限维度数据表。

例如，甲公司由3个部门A、B、C组成，每个部门均有200人，每个人的维度实体数据可以包括：姓名、性别、年龄、职位、工位号、座位号、分机号码在内的全部资料数据。而数据授权维度就可以为以上所有数据维度，当数据授权维度为“职位”时，将维度实体数据生成与职位代码相关的数据，存入权限维度数据集合中，即，将维度实体数据与权限维度数据之间建立索引。

103、将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应；

将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应。

将用户的特征信息分别用字符串表示，部门以“A”“B”“C”表示即可，姓名可按照拼音缩写分别在英文字母中的顺序用数字“01-26”表示，如，张三的拼音缩写“ZS”，则表示为字符串“2619”；性别按照男女分别表示为“01”或“02”；出生日期按照8位数字表示；职位可以按照由高到底的顺序用2位数字表示，如，主任用“01”表示，副主任用“02”表示，组长用“03”表示，副组长用“04”表示，一般职员均用“05”表示；其他诸如工号、座位号等可用数字表示的数据信息，直接使用数字表示。“”为字符串表示，例如，张三的资料为：部门A，张三，女，组长，出生日期为1986年4月5日，工号为888，座位号为016，则张三的特征信息用字符串表示为：A2619020319860405888016，将该字符串与权限维度数据相对应。

104、根据用户登录时输入的特征信息，在数据集合表中读取与特征信息对应的权限维度数据；

根据用户登录时输入的特征信息，在数据集合表中读取与特征信息对应的权限维度数据。

当用户登录时，根据用户登录时输入的特征信息，如姓名、工号，在数据集合表中读取与特征信息对应的权限维度数据。

105、读取与所读取的权限维度数据对应的维度实体数据。

读取与用户对应的权限维度数据后，根据权限维度数据与维度实体数据之间建立的索引，读取与所读取的权限维度数据对应的维度实体数据。

本发明实施例中，通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据，根据预先确定的数据维度，将维度实体数据生成权限维度数据，并存入权限维度数据集合中，而后将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，根据用户登录时输入的特征信息，在权限维度数据集合中读取与特征信息对应的权限维度数据，读取与所读取的权限维度数据对应的维度实体数据，预设的各数据源的数据库接口支持多种数据来源，系统外部数据不需经转换即可进入系统内部进行授权，从而支持来源于多个系统或数据库的数据授权，降低维护成本，将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，根据用户登录时输入的特征信息读取对应的权限维度数据，进而读取来自各数据库的维度实体数据，可实时更新处理数据，同时，处理的数据是与维度实体数据具有对应关系的权限维度数据，因此处理的数据量小，处理速度更快。

为便于理解，下面以另一实施例对本发明实施例中的数据处理方法进行详细说明，请参阅图2，本发明实施例中的数据处理方法的另一个实施例包括：

201、创建多个数据源的数据库接口；

为直接处理系统外部数据，创建多个数据源的数据库接口，多个数据源包括：结构化查询语言数据库服务器SQL Server(Structured Query LanguageServer)、Oracle数据库、DB2数据库、开放数据库互连ODBC(Open DatabaseConnectivity)、EXCEL表格、文本标记语言Html(Hypertext Markup Language)、Visio，提高了系统兼容性。

202、通过各数据源的数据库接口，接收各数据库中的维度实体数据；

通过预先设置的各数据源的数据库接口，接收各数据库的维度实体数据，该维度实体数据包括来自各数据库的所有数据。

203、建立数据授权策略，确定数据授权维度；

在系统中建立数据授权策略，根据建立的数据授权策略确定数据授权维度。一般的，数据授权策略有多种，公司中可以职位或者性别，或者兴趣小组分别制定授权策略，例如，某部分数据只能是副主任以上级别的用户能够看到，此时数据授权维度就为“职位”。

需要说明的是，数据授权对应的是数据过滤，得到授权的用户具有访问授权数据的权限，而未得到授权的用户无法访问授权数据，该授权数据对于未得到授权的用户而言，是被过滤的数据，无法访问。

204、根据所确定的数据授权维度，建立权限维度数据集合；

根据所确定的数据授权维度，建立权限维度数据集合，由于存在多种数据授权维度，因此建立的权限维度数据集合中存在多个权限维度数据表，用于存放权限维度数据。

205、根据确定的数据维度，将维度实体数据生成权限维度数据，并存入权限维度数据集合中；

根据预先确定的数据维度，将维度实体数据生成权限维度数据，存入权限维度数据集合中，权限维度数据是与数据授权权限密切相关的数据，是从前述维度实体数据中提取的与数据授权权限相关的属性字段。

权限维度数据集合是权限维度数据表的集合，由于数据维度可以有多种，因此，对应的，权限维度数据集合中存在多种权限维度数据表。

例如，甲公司由3个部门A、B、C组成，每个部门均有200人，每个人的维度实体数据可以包括：姓名、性别、年龄、职位、工位号、座位号、分机号码在内的全部资料数据。而数据授权维度就可以为以上所有数据维度，当数据授权维度为“职位”时，将维度实体数据生成与职位代码相关的数据，存入权限维度数据集合中，即，将维度实体数据与权限维度数据之间建立索引。

206～208、本实施例中，步骤206～208的内容请参见前述图1所示实施例中的步骤103～105中所描述的内容，此处不再赘述。

本发明实施例中，为直接处理系统外部数据，首先创建多个数据源的数据库接口，多个数据源包括SQL Server、Oracle数据库、DB2数据库、ODBC、EXCEL表格、Html、Visio，支持多种数据源来源，一方面实现了数据的统一来源，另外一方面提高了系统性能，降低系统维护成本，根据建立的数据授权策略确定数据授权维度，进而建立权限维度数据集合，作为提高用户对授权数据的处理速度的基础。

以上是描述本发明实施例中的数据处理方法，下面介绍本发明实施例中的数据处理装置，请参阅图3，本发明实施例中的数据处理装置包括：

接收单元301，用于通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据(参见步骤101)；

生成单元302，用于根据预先确定的数据维度，将维度实体数据生成权限维度数据(参见步骤102)；

保存单元303，用于将生成单元302生成的权限维度数据存入权限维度数据集合中(参见步骤102)；

对应单元304，用于将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应(参见步骤103)；

读取单元305，用于根据用户登录时输入的特征信息，在权限维度数据集合中读取与特征信息对应的权限维度数据；读取与所读取的权限维度数据对应的维度实体数据(参见步骤104、105)。

本实施例中，数据处理装置中的各单元实现功能的详细过程，请参见前述图1所示实施例中对应的各步骤的相关内容，此处不再赘述。

本发明实施例中，接收单元301通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据，生成单元302根据预先确定的数据维度，将接收单元301接收的维度实体数据生成权限维度数据，保存单元303将生成单元302生成的权限维度数据存入权限维度数据集合中，对应单元304将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，读取单元305根据用户登录时输入的特征信息，在权限维度数据集合中读取与特征信息对应的权限维度数据，继而读取与所读取的权限维度数据对应的维度实体数据，预设的各数据源的数据库接口支持多种数据来源，系统外部数据不需经转换即可进入系统内部进行授权，从而支持来源于多个系统或数据库的数据授权，降低维护成本，将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，根据用户登录时输入的特征信息读取对应的权限维度数据，进而读取来自各数据库的维度实体数据，可实时更新处理数据，同时，处理的数据是与维度实体数据具有对应关系的权限维度数据，因此处理的数据量小，处理速度更快。

为便于理解，下面详细介绍本发明实施例中的数据处理装置，请参阅图4，本发明实施例中的数据处理装置的另一个实施例包括：

接收单元401，用于通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据(参见步骤101、202)；

生成单元402，用于根据预先确定的数据维度，将维度实体数据生成权限维度数据(参见步骤102、205)；

保存单元403，用于将生成单元302生成的权限维度数据存入权限维度数据集合中(参见步骤102、205)；

对应单元404，用于将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应(参见步骤103、206)；

读取单元405，用于根据用户登录时输入的特征信息，在权限维度数据集合中读取与特征信息对应的权限维度数据；读取与所读取的权限维度数据对应的维度实体数据(参见步骤104、105、207、208)。

需要说明的是，本发明实施例中的数据处理装置还可以进一步包括：

创建单元406，用于创建多个数据源的数据库接口，多个数据源包括：结构化查询语言数据库服务器、Oracle数据库、DB2数据库、开放数据库互连、EXCEL表格、文本标记语言、Visio数据库(参见步骤201)；

建立单元407，用于建立数据授权策略，还用于根据确定单元408所确定的数据授权维度，建立权限维度数据集合(参见步骤203、204)；

确定单元408，用于根据建立的数据授权策略，确定数据授权维度(参见步骤203)。

本实施例中，数据处理装置中的各单元实现功能的详细过程，请参见前述图1、图2所示实施例中对应的各步骤的相关内容，此处不再赘述。

本发明实施例中，创建单元406创建多个数据源的数据库接口，多个数据源包括结构化查询语言数据库服务器、Oracle数据库、DB2数据库、开放数据库互连、EXCEL表格、文本标记语言、Visio数据库，接收单元401通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据，建立单元407建立数据授权策略，确定单元408根据建立的数据授权策略，确定数据授权维度，建立单元407根据确定单元408所确定的数据授权维度，建立权限维度数据集合，生成单元402根据预先确定的数据维度，将维度实体数据生成权限维度数据，保存单元403将生成单元302生成的权限维度数据存入权限维度数据集合中，对应单元404将用户的特征信息转换成字符串格式，与权限维度数据集合中的权限维度数据进行对应，读取单元405根据用户登录时输入的特征信息，在权限维度数据集合中读取与特征信息对应的权限维度数据，进而读取与所读取的权限维度数据对应的维度实体数据，为系统可以直接处理系统的外部数据，首先创建多个数据源的数据库接口，多个数据源包括SQL Server、Oracle数据库、DB2数据库、ODBC、EXCEL表格、Html、Visio，支持多种数据源来源，一方面实现了数据的统一来源，另外一方面提高了系统性能，降低系统维护成本，根据建立的数据授权策略确定数据授权维度，进而建立权限维度数据集合，作为提高用户对授权数据的处理速度的基础。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种数据处理方法及装置进行了详细介绍，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据；

根据预先确定的数据维度，将所述维度实体数据生成权限维度数据，并存入权限维度数据集合中；

将用户的特征信息转换成字符串格式，与所述权限维度数据集合中的权限维度数据进行对应；

根据用户登录时输入的特征信息，在所述权限维度数据集合中读取与所述特征信息对应的权限维度数据；

读取与所读取的权限维度数据对应的维度实体数据。

2.根据权利要求1所述的方法，其特征在于，所述通过预设的各关系数据库接口，接收各关系数据库中的维度实体数据之前包括：

创建多个数据源的数据库接口，所述多个数据源包括：结构化查询语言数据库服务器、Oracle数据库、DB2数据库、开放数据库互连、EXCEL表格、文本标记语言、Visio数据库。

3.根据权利要求1或2所述的方法，其特征在于，所述通过预设的各关系数据库接口，接收各关系数据库中的维度实体数据之后包括：

建立数据授权策略，确定数据授权维度。

4.根据要求3所述的方法，其特征在于，所述建立数据授权策略，确定数据授权维度之后包括：

根据所确定的数据授权维度，建立权限维度数据集合。

5.一种处理装置，包括：

接收单元，用于通过预设的各数据源的数据库接口，接收各数据库中的维度实体数据；

生成单元，用于根据预先确定的数据维度，将所述维度实体数据生成权限维度数据；

保存单元，用于将生成单元生成的权限维度数据存入权限维度数据集合中；

对应单元，用于将用户的特征信息转换成字符串格式，与所述权限维度数据集合中的权限维度数据进行对应；

读取单元，用于根据用户登录时输入的特征信息，在所述权限维度数据集合中读取与所述特征信息对应的权限维度数据；读取与所读取的权限维度数据对应的维度实体数据。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

创建单元，用于创建多个数据源的数据库接口，所述多个数据源包括：结构化查询语言数据库服务器、Oracle数据库、DB2数据库、开放数据库互连、EXCEL表格、文本标记语言、Visio数据库。

7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

建立单元，用于建立数据授权策略；

确定单元，用于确定数据授权维度。

8.根据权利要求7所述的装置，其特征在于，

所述建立单元，用于根据所确定的数据授权维度，建立权限维度数据集合。

Images