CN109542896B - 一种用于教育操作系统的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种用于教育操作系统的数据处理方法及装置，方法包括：获取HIVE待重命名的原始表数据；解析原始表数据的类型；根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。本发明实施例可以有效管理大量的数据表，而且有规律可选，大大提高了开发效率；同时在同步最终结果数据给业务系统时，可以避免同步不必要的数据表，提高了HIVE离线计算的效率。

Description

一种用于教育操作系统的数据处理方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种用于教育操作系统的数据处理方法及装置。

背景技术

教育操作系统是一种在线学习的教育系统，有大量的用户登录，产生大量数据。现有技术中经常采用HIVE离线计算对数据进行计算，HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

但现有的Hive计算过程中都涉及到表操作，譬如源数据表，过程数据表，计算结果数据表等等。数据库的各种表命名规范杂乱无章，数据表与数据表之间的重名或重复的问题也很常见，而且也给开发带来巨大的难度。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种用于教育操作系统的数据处理方法及装置，旨在解决现有技术中的HIVE离线计算过程中的数据库表的表命名不规范，开发难度大的问题。

本发明的技术方案如下：

一种用于教育操作系统的数据处理方法，所述方法包括：

获取HIVE待重命名的原始表数据；

解析原始表数据的类型；

根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；

将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。

可选地，所述获取HIVE待重命名的原始表数据前，包括：

预先对原始表数据的类型与新的名称的映射关系进行设置。

可选地，所述解析原始表数据的类型，包括：

对原始表数据归属的数据层进行解析；

对原始表数据的结果类型进行解析。

可选地，所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：

根据原始表数据归属的数据层生成前缀标识；

根据原始表数据的结果类型生成结果类型标识；

根据前缀标识和结果类型标识生成新的名称；

将原始表数据的名称修改为新的名称，得到新的表数据。

可选地，所述解析原始表数据的类型还包括：

对原始表数据的业务类型进行解析。

可选地，所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：

根据原始表数据归属的数据层生成前缀标识；

根据原始表数据的结果类型生成结果类型标识；

根据原始表数据的业务类型生成业务标识；

根据前缀标识、结果类型标识和业务标识生成新的名称；

将原始表数据的名称修改为新的名称，得到新的表数据。

可选地，所述数据层包括：源数据接入层、明细模型层、聚合模型层、临时数据层和最终结果数据层。

本发明又一实施例还提供了一种用于教育操作系统的数据处理装置，所述装置包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的用于教育操作系统的数据处理方法。

本发明的另一实施例还提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的用于教育操作系统的数据处理方法。

本发明的另一种实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时，使所述处理器执行上述的用于教育操作系统的数据处理方法。

有益效果：本发明公开了一种用于教育操作系统的数据处理方法及装置，本发明实施例可以有效管理大量的数据表，而且有规律可选，大大提高了开发效率。同时在同步最终结果数据给业务系统时，可以避免同步不必要的数据表。。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种用于教育操作系统的数据处理方法较佳实施例的流程图；

图2为本发明一种用于教育操作系统的数据处理装置较佳实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。

请参阅图1，图1为本发明一种用于教育操作系统的数据处理方法较佳实施例的流程图。如图1所示，其包括步骤：

步骤S100、获取HIVE待重命名的原始表数据；

步骤S200、解析原始表数据的类型；

步骤S300、根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；

步骤S400、将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。

具体实施时，Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。

Hive构建在基于静态批处理的Hadoop之上，Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不能够在大规模数据集上实现低延迟快速的查询，例如，Hive在几百MB的数据集上执行查询一般有分钟级的时间延迟。HIVE中没有统一的命名规范。

为了提高离线效率，对原始表数据的命名进行统一处理，获取HIVE中待重命名的原始表数据，并对原始表数据的类型进行解析，根据解析后的类型对原始表数据的名称进行修改，得到新的表数据。在新的表数据中，添加原始表数据的映射，得到与新的表数据对应的表数据。

进一步地，获取HIVE待重命名的原始表数据前，包括：

预先对原始表数据的类型与新的名称的映射关系进行设置。

具体实施时，为了区分表数据，可预先获取HIVE中所有的原始表数据的类型，并对每一类型的原始表的类型与新的名称的映射关系进行设置。从而使同一类的原始表数据的命名也具有相同的部分。。

进一步地，解析原始表数据的类型，包括：

对原始表数据归属的数据层进行解析；

对原始表数据的结果类型进行解析。

具体实施时，对原始表数据进行解析，原始表数据的类型包括但不限于原始表数据归属的数据层，以及结果类型。其中数据层包括但不限于源数据接入层、明细模型层、聚合模型层、临时数据层和最终结果数据层。结果类型包括但不限于基础类源数据表、计算结果类数据表和临时结果类数据表。

进一步地，根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：

根据原始表数据归属的数据层生成前缀标识；

根据原始表数据的结果类型生成结果类型标识；

根据前缀标识和结果类型标识生成新的名称；

将原始表数据的名称修改为新的名称，得到新的表数据。

具体实施时，先获取原始表数据归属的数据层生成前缀标识，然后根据原始表数据的结果类型生成结果类型标识，前缀标识在前、结果类型标识在后，生成了新的名称，将原始表数据的名称修改为新的，得到新的表数据。

例如，预先定义的规则为源数据接入层用sss做前缀标识，明细模型层用ddd做前缀标识，聚合模型层用ggg做前缀标识，临时数据层用ttt做前缀标识，最终结果数据用rrr做前缀标识。基础类源数据表用x做结果标识；计算结果类数据表用y做结果类型标识，临时结果类数据表，用z做结果类型标识，表重命名的规则为：前缀标识_结果类型标识，则新的表名称为如sss_x，将原始表数据的名称修改为sss_x，得到新的表数据。

进一步地，解析原始表数据的类型还包括：

对原始表数据的业务类型进行解析。

具体实施时，原始表数据的类型还包括业务类型，业务类型是原始表的具体业务。因此对原始表数据的类型进行解析时，还应对原始表数据的业务进行解析。

进一步地，根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：

根据原始表数据归属的数据层生成前缀标识；

根据原始表数据的结果类型生成结果类型标识；

根据原始表数据的业务类型生成业务标识；

根据前缀标识、结果类型标识和业务标识生成新的名称；

将原始表数据的名称修改为新的名称，得到新的表数据。

具体实施时，例如，预先定义的规则为源数据接入层用sss做前缀标识，明细模型层用ddd做前缀标识，聚合模型层用ggg做前缀标识，临时数据层用ttt做前缀标识，最终结果数据用rrr做前缀标识。基础类源数据表用x做结果标识；计算结果类数据表用y做结果类型标识，临时结果类数据表，用z做结果类型标识，表重命名的规则为：前缀标识_结果类型标识_其他自定义标识，如sss_x_dc,其中自定义标识dc为与具体业务有关的业务标识。将原始表数据的名称修改为sss_x_dc，得到新的表数据。

本发明提供一种用于教育操作系统的数据处理方法，获取HIVE待重命名的原始表数据；解析原始表数据的类型；根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据。本发明实施例可以有效管理大量的数据表，而且有规律可选，大大提高了开发效率；同时在同步最终结果数据给业务系统时，可以避免同步不必要的数据表，提高了HIVE离线计算的效率。

本发明另一实施例提供一种用于教育操作系统的数据处理装置，如图2所示，装置10包括：

一个或多个处理器110以及存储器120，图2中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图2中以通过总线连接为例。

处理器110用于完成装置10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的用于教育操作系统的数据处理方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行装置10的各种功能应用以及数据处理，即实现上述方法实施例中的用于教育操作系统的数据处理方法。

存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据装置10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至装置10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的用于教育操作系统的数据处理方法，例如，执行以上描述的图1中的方法步骤S100至步骤S400。

本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S400。

作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明丽非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。

本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行上述方法实施例的用于教育操作系统的数据处理方法。例如，执行以上描述的图1中的方法步骤S100至步骤S400。

以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行各个实施例或者实施例的某些部分的方法。

除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地不旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有学生输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。

已经在本文中在本说明书和附图中描述的内容包括能够提供智能柜定制方法及装置的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。

Claims (3)

1.一种用于教育操作系统的数据处理方法,其特征在于,所述方法包括：

获取HIVE待重命名的原始表数据；

解析原始表数据的类型；

根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据；

将新的表数据中，添加原始表数据的映射，得到与新的表数据对应的数据；

所述获取HIVE待重命名的原始表数据前，包括：

预先对原始表数据的类型与新的名称的映射关系进行设置；

所述解析原始表数据的类型，包括：

对原始表数据归属的数据层进行解析；

对原始表数据的结果类型进行解析；

所述数据层包括：源数据接入层、明细模型层、聚合模型层、临时数据层和最终结果数据层；

结果类型包括基础类源数据表、计算结果类数据表和临时结果类数据表；

所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：

根据原始表数据归属的数据层生成前缀标识；

根据原始表数据的结果类型生成结果类型标识；

根据前缀标识和结果类型标识生成新的名称；

将原始表数据的名称修改为新的名称，得到新的表数据；

所述解析原始表数据的类型还包括：

对原始表数据的业务类型进行解析；

所述根据原始表数据的类型将原始表数据的名称修改为新的名称，得到新的表数据，包括：

根据原始表数据归属的数据层生成前缀标识；

根据原始表数据的结果类型生成结果类型标识；

根据原始表数据的业务类型生成业务标识；

根据前缀标识、结果类型标识和业务标识生成新的名称；

将原始表数据的名称修改为新的名称，得到新的表数据；

预先定义的规则为源数据接入层用sss做前缀标识，明细模型层用ddd做前缀标识，聚合模型层用ggg做前缀标识，临时数据层用ttt做前缀标识，最终结果数据用rrr做前缀标识；基础类源数据表用x做结果标识；计算结果类数据表用y做结果类型标识，临时结果类数据表，用z做结果类型标识，表重命名的规则为：前缀标识_结果类型标识，则新的表名称为如sss_x，将原始表数据的名称修改为sss_x，得到新的表数据。

2.一种用于教育操作系统的数据处理装置，其特征在于，所述装置包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1所述的用于教育操作系统的数据处理方法。

3.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1所述的用于教育操作系统的数据处理方法。

Images