CN109446180A - 一种用于配置云数据平台的方法和装置 - Google Patents

Abstract

本申请公开了用于配置云数据平台的方法和装置。该方法包括：读取各个私有数据处理平台的日志文件，并且将日志文件以元数据的形式存储；分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据；将配置数据导入到云数据处理平台的用户配置模块中，或者采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据。通过上述方式，可以将配置文件用于配置迁移到云数据处理平台上的私有数据处理平台原有的数据，从而使得用户可以依然以使用私有数据处理平台时的操作习惯以及配置方式来管理和应用数据，使得将私有数据处理平台的数据迁移到云数据处理平台的过程更加顺利，优化了云数据处理平台的可用性。

Description

一种用于配置云数据平台的方法和装置

技术领域

本申请涉及云计算领域，尤指一种用于配置云数据平台的方法和装置。

背景技术

大数据时代，用户将数据迁移到“云”(云数据处理平台)以便于获得更好的数据处理能力以及数据存储能力，成为了一种趋势。然而，很多用户经年累月使用了不只一个的独立的数据处理平台(在本文中其被称为“私有数据处理平台”)，并且在多个私有数据处理平台上往往存储了大量的数据，而且用户在使用各个不同的私有数据处理平台的时候有可能操作习惯不同、数据的组织形式不同。因此，用户的上述现实情况使得在多个私有数据处理平台上的数据往往难以迁移到云数据处理平台，即使将数据迁移到云数据处理平台，用户在使用已迁移的数据时，操作方式也有可能与以往不同，这造成了迁移数据的过程并不顺利，并且云数据处理平台的可用性不高。

发明内容

为了解决上述技术问题，本申请提供了一种用于配置云数据处理平台的方法和装置，其能够使得将私有数据处理平台的数据迁移到云数据处理平台的过程更加顺利。

为了达到本发明目的，本发明实施例提供了用于配置云数据处理平台的方法，该方法包括下列步骤：

读取各个私有数据处理平台的日志文件，并且将日志文件以元数据的形式存储；

分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据；

将配置数据导入到云数据处理平台的用户配置模块中，或者采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据。

进一步地，在一个可选的实施例中，在读取各个私有数据处理平台的日志文件的步骤之前，该方法还包括：在接收到迁移数据处理平台的命令的时候，将各个私有数据处理平台的数据迁移到云数据处理平台。

进一步地，在一个可选的实施例中，采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据的步骤包括：

将配置数据转换为可扩展标记语言的数据；

将转换成的配置数据导入到用户配置模块中；

在用户配置模块读取转换成的配置数据的时候，配置从各个数据处理平台迁移到云数据处理平台的数据。

进一步地，在一个可选的实施例中，分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据的步骤包括：

用支持向量机SVM方法从多维度去分析各个私有数据处理平台的日志文件，以从中获得特征值；

对比每项特征值的重要性和可行性，对每项特征值加以量化并进行优先级排序，以获得高可用的配置数据。

进一步地，在一个可选的实施例中，分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据的步骤包括：

采用用户行为分析工具分析元数据形式的日志文件，以获取各个私有数据处理平台的配置数据。

另一方面，本发明实施例提供了一种用于配置云数据处理平台的装置，该装置包括读取与存储模块、分析模块以及配置数据处理模块；其中，

读取与存储模块用于：读取各个私有数据处理平台的日志文件，并且将日志文件以元数据的形式存储；

分析模块用于：分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据；

配置数据处理模块用于：将配置数据导入到云数据处理平台的用户配置模块中，或者采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据。

进一步地，在一个可选的实施例中，该装置还包括数据迁移模块；

数据迁移模块用于：在读取与存储模块读取各个私有数据处理平台的日志文件的步骤之前，在接收到迁移数据处理平台的命令的时候，将各个私有数据处理平台的数据迁移到云数据处理平台。

进一步地，在一个可选的实施例中，配置数据处理模块用于：

将配置数据转换为可扩展标记语言的数据；

将转换成的配置数据导入到用户配置模块中；

在用户配置模块读取转换成的配置数据的时候，配置从各个数据处理平台迁移到云数据处理平台的数据。

进一步地，在一个可选的实施例中，分析模块用于：

用支持向量机SVM方法从多维度去分析各个私有数据处理平台的日志文件，以从中获得特征值；

对比每项特征值的重要性和可行性，对每项特征值加以量化并进行优先级排序，以获得高可用的配置数据。

进一步地，在一个可选的实施例中，分析模块用于：

采用用户行为分析工具分析元数据形式的日志文件，以获取各个私有数据处理平台的配置数据。

本发明实施例的有益效果在于，本方案首先获取私有数据处理平台的日志文件并且存储为元数据，以便用于在分析元数据形式的日志文件的时候从中获取的各个私有数据处理平台的配置文件，当获取到各个私有数据处理平台的配置文件以后，可以将配置文件用于配置迁移到云数据处理平台上的私有数据处理平台原有的数据，从而使得用户可以依然以使用私有数据处理平台时的操作习惯以及配置方式来管理和应用数据，使得将私有数据处理平台的数据迁移到云数据处理平台的过程更加顺利，优化了云数据处理平台的可用性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的用于配置云数据平台的方法的流程图；

图2为本发明实施例提供的用于配置云数据平台的装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

一方面，本发明实施例提供了一种用于配置云数据平台的方法，如图1所示，该方法包括步骤S101-S105。

步骤S101，读取各个私有数据处理平台的日志文件，并且将日志文件以元数据的形式存储。

其中，各个私有数据处理平台均是用户以往使用的独立的数据处理平台，由于用户往往使用不止一个的私有的数据处理平台，因此，这里将各个私有的数据处理平台的数据存储到一个云数据处理平台中。为了将各个数据处理平台的数据迁移到云数据处理平台，并且能够在将数据迁移到云数据处理平台之后仍然按照用户一直以来处理数据的方式来处理迁移到云数据处理平台的数据。在步骤S101中，读取各个私有数据处理平台的日志文件。日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在此，日志文件可以是各个私有的数据处理平台的文件名为User Setting XML的文件或者文件名为User Log的文件。本方法读取各个私有数据处理平台的日志文件，并且将日志文件以元数据(MetaData)的形式进行存储，以便在后续步骤中采用各种方式来分析日志文件。

步骤S103，分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据。

为了分析日志文件，在步骤S101中，以元数据的形式存储日志文件。其目的是为了在步骤S103中能够采用各种手段和方式来分析元数据。

在一个可选的实施例中，在步骤S103中，可以用支持向量机(Support VectorMachine，简称SVM)的方法从多维度去解析各个私有数据处理平台的日志文件，从而从日志文件中获知用户在使用私有数据处理平台的时候的操作习惯、管理资源的模式等，对比从元数据中解析出的每项特征值的重要性和可行性，对特征值加以量化并进行优先级排序，最终可获得高可用的配置数据。这里的配置数据也就是用户在配置各个私有数据处理平台时的配置策略，也可以认为是用户在配置各个私有数据处理平台时的配置策略的默认值或者最优值，并且可以作为用户在将数据迁移到云数据处理平台之后在对数据进行配置和管理时所采用的配置策略的默认值或者说是最优值。

在一个可选的实施例中，步骤S103包括：采用用户行为分析工具分析元数据形式的日志文件，以获取各个私有数据处理平台的配置数据。

在此，可以采用用户行为分析工具(例如，GrowingIO)分析各个私有数据处理平台的日志文件，并且将从中获取的各个私有数据处理平台的配置数据作为在将私有数据处理平台的数据迁移到云数据处理平台的时候配置相应的数据的依据。

步骤S105，将配置数据导入到云数据处理平台的用户配置模块中，或者采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据。

在步骤S105中，对待上述步骤中得到的配置数据，可以采取两种方式进行处理：

1、将上述的配置文件导入到云数据处理平台的用户配置模块，并且将上述的配置文件设置成为用户优先配置的默认选择，以便于后续配置云数据处理平台的数据的过程中配置从私有数据处理平台迁移到云数据处理平台的数据的时候再使用；

2、采用上述配置数据直接配置从私有数据处理平台迁移到云数据处理平台的数据的时候再使用。

本发明实施例的有益效果在于，本方案首先获取私有数据处理平台的日志文件并且存储为元数据，以便用于在分析元数据形式的日志文件的时候从中获取的各个私有数据处理平台的配置文件，当获取到各个私有数据处理平台的配置文件以后，可以将配置文件用于配置迁移到云数据处理平台上的私有数据处理平台原有的数据，从而使得用户可以依然以使用私有数据处理平台时的操作习惯以及配置方式来管理和应用数据，使得将私有数据处理平台的数据迁移到云数据处理平台的过程更加顺利，优化了云数据处理平台的可用性。

进一步地，在一个可选的实施例中，在步骤S101之前，该方法还包括：在接收到迁移数据处理平台的命令的时候，将各个私有数据处理平台的数据迁移到云数据处理平台。

进一步地，在一个可选的实施例中，在步骤S105中，采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据的方法包括如下几个步骤：

将配置数据转换为可扩展标记语言的数据；

将转换成的配置数据导入到用户配置模块中；

在用户配置模块读取转换成的配置数据的时候，配置从各个数据处理平台迁移到云数据处理平台的数据。其中，可扩展标记语言(Extensible MarkupLanguage，缩写为XML)是一种常见的数据存储格式，标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种的信息比如文章等。它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。它非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。是互联网环境中跨平台的、依赖于内容的技术，也是当今处理分布式结构信息的有效工具。当将配置数据转换成可扩展标记语言的数据的时候，配置文件可以在更多操作系统类型的云数据处理平台上运行。云数据处理平台在接收到导入到用户配置模块的配置文件以后，采用该配置文件来配置从各个数据处理平台迁移到云数据处理平台的数据。

另一方面，本发明实施例提供了一种用于配置云数据处理平台的装置，如图2所示，该装置包括读取与存储模块201、分析模块203以及配置数据处理模块205。

读取与存储模块201用于：读取各个私有数据处理平台的日志文件，并且将日志文件以元数据的形式存储。

分析模块203用于：分析元数据的形式的日志文件，获取各个私有数据处理平台的配置数据。

配置数据处理模块205用于：将配置数据导入到云数据处理平台的用户配置模块中，或者采用配置数据来配置从各个数据处理平台迁移到云数据处理平台的数据。

本发明实施例的有益效果在于，本方案首先获取私有数据处理平台的日志文件并且存储为元数据，以便用于在分析元数据形式的日志文件的时候从中获取的各个私有数据处理平台的配置文件，当获取到各个私有数据处理平台的配置文件以后，可以将配置文件用于配置迁移到云数据处理平台上的私有数据处理平台原有的数据，从而使得用户可以依然以使用私有数据处理平台时的操作习惯以及配置方式来管理和应用数据，使得将私有数据处理平台的数据迁移到云数据处理平台的过程更加顺利，优化了云数据处理平台的可用性。

进一步地，在一个可选的实施例中，该装置还包括数据迁移模块。

数据迁移模块用于：在读取与存储模块201读取各个私有数据处理平台的日志文件的步骤之前，在接收到迁移数据处理平台的命令的时候，将各个私有数据处理平台的数据迁移到云数据处理平台。

进一步地，在一个可选的实施例中，配置数据处理模块205用于：

将配置数据转换为可扩展标记语言的数据；

将转换成的配置数据导入到用户配置模块中；

在用户配置模块读取转换成的配置数据的时候，配置从各个数据处理平台迁移到云数据处理平台的数据。

进一步地，在一个可选的实施例中，分析模块203用于：

用支持向量机SVM方法从多维度去分析各个私有数据处理平台的日志文件，以从中获得特征值；

对比每项特征值的重要性和可行性，对每项特征值加以量化并进行优先级排序，以获得高可用的配置数据。

进一步地，在一个可选的实施例中，分析模块203用于：

采用用户行为分析工具分析元数据形式的日志文件，以获取各个私有数据处理平台的配置数据。

虽然本发明所揭露的实施方式如上，但上述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于配置云数据处理平台的方法，其特征在于，所述方法包括下列步骤：

读取各个私有数据处理平台的日志文件，并且将所述日志文件以元数据的形式存储；

分析所述元数据的形式的日志文件，获取各个私有数据处理平台的配置数据；

将所述配置数据导入到云数据处理平台的用户配置模块中，或者采用所述配置数据来配置从所述各个数据处理平台迁移到云数据处理平台的数据。

2.根据权利要求1所述的方法，其特征在于，在所述读取各个私有数据处理平台的日志文件的步骤之前，所述方法还包括：在接收到迁移数据处理平台的命令的时候，将所述各个私有数据处理平台的数据迁移到所述云数据处理平台。

3.根据权利要求1所述的方法，其中，所述采用所述配置数据来配置从所述各个数据处理平台迁移到云数据处理平台的数据的步骤包括：

将所述配置数据转换为可扩展标记语言的数据；

将转换成的配置数据导入到所述用户配置模块中；

在所述用户配置模块读取所述转换成的配置数据的时候，配置从所述各个数据处理平台迁移到云数据处理平台的数据。

4.根据权利要求1所述的方法，其中，所述分析所述元数据的形式的日志文件，获取各个私有数据处理平台的配置数据的步骤包括：

用支持向量机SVM方法从多维度去分析所述各个私有数据处理平台的日志文件，以从中获得特征值；

对比每项特征值的重要性和可行性，对每项特征值加以量化并进行优先级排序，以获得高可用的配置数据。

5.根据权利要求1所述的方法，其中，所述分析所述元数据的形式的日志文件，获取各个私有数据处理平台的配置数据的步骤包括：

采用用户行为分析工具分析所述元数据形式的日志文件，以获取各个私有数据处理平台的配置数据。

6.一种用于配置云数据处理平台的装置，其特征在于，所述装置包括读取与存储模块、分析模块以及配置数据处理模块；其中，

所述读取与存储模块用于：读取各个私有数据处理平台的日志文件，并且将所述日志文件以元数据的形式存储；

所述分析模块用于：分析所述元数据的形式的日志文件，获取各个私有数据处理平台的配置数据；

所述配置数据处理模块用于：将所述配置数据导入到云数据处理平台的用户配置模块中，或者采用所述配置数据来配置从所述各个数据处理平台迁移到云数据处理平台的数据。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括数据迁移模块；

所述数据迁移模块用于：在所述读取与存储模块读取各个私有数据处理平台的日志文件的步骤之前，在接收到迁移数据处理平台的命令的时候，将所述各个私有数据处理平台的数据迁移到所述云数据处理平台。

8.根据权利要求6所述的装置，其中，所述配置数据处理模块用于：

将所述配置数据转换为可扩展标记语言的数据；

将转换成的配置数据导入到所述用户配置模块中；

在所述用户配置模块读取所述转换成的配置数据的时候，配置从所述各个数据处理平台迁移到云数据处理平台的数据。

9.根据权利要求6所述的装置，其中，所述分析模块用于：

用支持向量机SVM方法从多维度去分析所述各个私有数据处理平台的日志文件，以从中获得特征值；

对比每项特征值的重要性和可行性，对每项特征值加以量化并进行优先级排序，以获得高可用的配置数据。

10.根据权利要求6所述的装置，其中，所述分析模块用于：

采用用户行为分析工具分析所述元数据形式的日志文件，以获取各个私有数据处理平台的配置数据。