CN109492057A - 一种教育系统的用于Hive离线计算方法及电子设备 - Google Patents
一种教育系统的用于Hive离线计算方法及电子设备 Download PDFInfo
- Publication number
- CN109492057A CN109492057A CN201811260901.9A CN201811260901A CN109492057A CN 109492057 A CN109492057 A CN 109492057A CN 201811260901 A CN201811260901 A CN 201811260901A CN 109492057 A CN109492057 A CN 109492057A
- Authority
- CN
- China
- Prior art keywords
- database
- hive
- configuration information
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种教育系统的用于Hive离线计算方法及电子设备，其中，所述方法包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息，本发明所述方案能够实现数据库配置的自动建表和分区，可以大大节省开发成本，降低运行出错概率。
Description
技术领域
本发明涉及数据算法领域，尤其涉及一种教育系统的用于Hive离线计算方法及电子设备。
背景技术
在大数据离线计算场景中，通常需要用到Hive计算框架，Hive的优点在于面向开发人员的时SQL语句，而SQL底层会被转化为MapReduce执行。在Hive计算过程中需要大量创建源数据表，并对数据表插入分区，在传统的做法中一般是手动编写所有建表和插入分区的SQL语句，这种做法浪费了大量的时间和人力成本，冗余代码很多，代码运行出错概率大，不易排查。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种教育系统的用于Hive离线计算方法及电子设备，旨在解决快速建表和分区的问题。
本发明的技术方案如下：
一种教育系统的用于Hive离线计算方法，其中，包括步骤：
A.读取数据库中的配置信息；
B.对未创建的数据表按照模板生成SQL执行。
所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。
所述的用于Hive离线计算方法，其中，所述步骤A之前还包括：
接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。
所述的用于Hive离线计算方法，其中，所述步骤B包括：
判断数据表是否已创建，当已创建时，跳过配置信息；
当数据表未创建时，读取模板信息；
将建表和分区字段信息插入模板中生成SQL执行。
所述的用于Hive离线计算方法，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。
一种电子设备，其中，包括：
包括处理器，适于实现各指令，以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
读取数据库中的配置信息；
对未创建的数据表按照模板生成SQL执行。
所述的电子设备，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。
所述的电子设备，其中，所述处理器还用于加载并执行：
接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。
所述的电子设备，其中，所述处理器还用于加载并执行：
判断数据表是否已创建，当已创建时，跳过配置信息；
当数据表未创建时，读取模板信息；
将建表和分区字段信息插入模板中生成SQL执行。
所述的电子设备，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。
有益效果：本发明公开了一种教育系统的用于Hive离线计算方法及电子设备，其中，所述方法包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息，本发明所述方案能够实现数据库配置的自动建表和分区，可以大大节省开发成本，降低运行出错概率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明所述教育系统的用于Hive离线计算方法的步骤流程图。
图2为本发明所述电子设备的结构示意图。
具体实施方式
本发明提供一种教育系统的用于Hive离线计算方法及电子设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，为本发明所述教育系统的用于Hive离线计算方法的步骤流程图，本发明公开了一种教育系统的用于Hive离线计算方法，其中，包括步骤：
S1.读取数据库中的配置信息；
S2.对未创建的数据表按照模板生成SQL执行。
进一步的，所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。
进一步的，所述的用于Hive离线计算方法，其中，所述步骤S1之前还包括：
接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。
进一步的，所述的用于Hive离线计算方法，其中，所述步骤S2包括：
判断数据表是否已创建，当已创建时，跳过配置信息；
当数据表未创建时，读取模板信息；
将建表和分区字段信息插入模板中生成SQL执行。
所述的用于Hive离线计算方法，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。
本发明所述用于Hive离线计算方法，具体实施时，Hive程序启动，读取数据库建表和分区配置信息，其中数据库中的建表和分区配置信息由之前录入，即UI页面填写有关建表和分区字段信息的表单，请求后台接口，生成配置录入数据库中，判断数据表是否已创建，若数据表已经创建，则跳过配置信息，执行下一条的配置，当数据表未创建时，读取数据库中的模板信息，将建表和分区字段信息插入到模板中，生成SQL执行，实现建表和分区，其中，模板的样式已经在数据中存储，用户只需要根据模板，插入相应的字段信息即可完成配置，实现建表和分区。
本发明所述用于Hive离线计算方法，解决效果：
通过该方案可以有效减少冗余的代码，节省开发成本，降低程序运行时错误。通过UI页面生成配置信息，也减少了人工干预数据库配置而发生配置错误的概率。
进一步的，本发明还公开了一种电子设备10，如图2所示，为所述电子设备的结构示意图，其中，包括：
包括处理器110，适于实现各指令，以及
存储设备120，适于存储多条指令，所述指令适于由处理器110加载并执行：
读取数据库中的配置信息；
对未创建的数据表按照模板生成SQL执行。
所述处理器110可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器还可以是任何传统处理器、微处理器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、任何其它这种配置。
存储设备120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的教育互动方法对应的程序指令。处理器通过运行存储在存储设备中的非易失性软件程序、指令以及单元，从而执行教育互动方法的各种功能应用以及数据处理，即实现上述方法实施例。
本发明所述用于电子设备，具体实施时，Hive程序启动，读取数据库建表和分区配置信息，其中数据库中的建表和分区配置信息由之前录入，即UI页面填写有关建表和分区字段信息的表单，请求后台接口，生成配置录入数据库中，判断数据表是否已创建，若数据表已经创建，则跳过配置信息，执行下一条的配置，当数据表未创建时，读取数据库中的模板信息，将建表和分区字段信息插入到模板中，生成SQL执行，实现建表和分区，其中，模板的样式已经在数据中存储，用户只需要根据模板，插入相应的字段信息即可完成配置，实现建表和分区。
本发明所述用于电子设备，解决效果：
通过该方案可以有效减少冗余的代码，节省开发成本，降低程序运行时错误。通过UI页面生成配置信息，也减少了人工干预数据库配置而发生配置错误的概率。
进一步的，所述的电子设备，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息。
进一步的，所述的电子设备，其中，所述处理器110还用于加载并执行：
接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。
进一步的，所述的电子设备，其中，所述处理器110还用于加载并执行：
判断数据表是否已创建，当已创建时，跳过配置信息；
当数据表未创建时，读取模板信息；
将建表和分区字段信息插入模板中生成SQL执行。
进一步的，所述的电子设备，其中，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。
综上所述，本发明公开了一种教育系统的用于Hive离线计算方法及电子设备，其中，所述方法包括步骤：A.读取数据库中的配置信息；B.对未创建的数据表按照模板生成SQL执行。所述的用于Hive离线计算方法，其中，所述数据库中的配置信息包括数据库的建表和分区配置信息，本发明所述方案能够实现数据库配置的自动建表和分区，可以大大节省开发成本，降低运行出错概率。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种教育系统的用于Hive离线计算方法，其特征在于，包括步骤：
A.读取数据库中的配置信息；
B.对未创建的数据表按照模板生成SQL执行。
2.根据权利要求1所述的用于Hive离线计算方法，其特征在于，所述数据库中的配置信息包括数据库的建表和分区配置信息。
3.根据权利要求2所述的用于Hive离线计算方法，其特征在于，所述步骤A之前还包括：
接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。
4.根据权利要求3所述的用于Hive离线计算方法，其特征在于，所述步骤B包括：
判断数据表是否已创建，当已创建时，跳过配置信息；
当数据表未创建时，读取模板信息；
将建表和分区字段信息插入模板中生成SQL执行。
5.根据权利要求4所述的用于Hive离线计算方法，其特征在于，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。
6.一种电子设备，其特征在于，包括：
包括处理器，适于实现各指令，以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
读取数据库中的配置信息；
对未创建的数据表按照模板生成SQL执行。
7.根据权利要求6所述的电子设备，其特征在于，所述数据库中的配置信息包括数据库的建表和分区配置信息。
8.根据权利要求7所述的电子设备，其特征在于，所述处理器还用于加载并执行：
接收用户在UI页面输入的建表和分区字段信息的表单，生成配置插入数据库中。
9.根据权利要求8所述的电子设备，其特征在于，所述处理器还用于加载并执行：
判断数据表是否已创建，当已创建时，跳过配置信息；
当数据表未创建时，读取模板信息；
将建表和分区字段信息插入模板中生成SQL执行。
10.根据权利要求9所述的电子设备，其特征在于，所述将建表和分区字段信息插入模板中生成SQL执行的步骤中，对建表和分区字段信息进行校验，判断所述建表和分区字段信息是否违规，当违规时进行报错。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811260901.9A CN109492057A (zh) | 2018-10-26 | 2018-10-26 | 一种教育系统的用于Hive离线计算方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811260901.9A CN109492057A (zh) | 2018-10-26 | 2018-10-26 | 一种教育系统的用于Hive离线计算方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109492057A true CN109492057A (zh) | 2019-03-19 |
Family
ID=65691577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811260901.9A Pending CN109492057A (zh) | 2018-10-26 | 2018-10-26 | 一种教育系统的用于Hive离线计算方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492057A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222123A (zh) * | 2019-04-24 | 2019-09-10 | 深圳点猫科技有限公司 | 用于教育平台的Hive动态分区加载的方法及电子设备 |
| CN111159162A (zh) * | 2019-12-31 | 2020-05-15 | 中国联合网络通信集团有限公司 | 数据库配置方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2723204A1 (en) * | 2008-07-02 | 2010-01-07 | Lexisnexis Risk & Information Analytics Group, Inc. | Statistical measure and calibration of search criteria where one or both of the search criteria and database is incomplete |
| CN101673287A (zh) * | 2009-10-16 | 2010-03-17 | 金蝶软件（中国）有限公司 | 一种sql语句生成方法及系统 |
| CN105243167A (zh) * | 2015-11-10 | 2016-01-13 | 中国建设银行股份有限公司 | 一种数据处理方法及装置 |
| CN107247812A (zh) * | 2017-07-25 | 2017-10-13 | 郑州云海信息技术有限公司 | 一种数据库的生成方法及生成装置 |
| CN107545044A (zh) * | 2017-08-15 | 2018-01-05 | 北京微影时代科技有限公司 | 一种数据表建立方法、电子设备及存储介质 |
-
2018
- 2018-10-26 CN CN201811260901.9A patent/CN109492057A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2723204A1 (en) * | 2008-07-02 | 2010-01-07 | Lexisnexis Risk & Information Analytics Group, Inc. | Statistical measure and calibration of search criteria where one or both of the search criteria and database is incomplete |
| CN101673287A (zh) * | 2009-10-16 | 2010-03-17 | 金蝶软件（中国）有限公司 | 一种sql语句生成方法及系统 |
| CN105243167A (zh) * | 2015-11-10 | 2016-01-13 | 中国建设银行股份有限公司 | 一种数据处理方法及装置 |
| CN107247812A (zh) * | 2017-07-25 | 2017-10-13 | 郑州云海信息技术有限公司 | 一种数据库的生成方法及生成装置 |
| CN107545044A (zh) * | 2017-08-15 | 2018-01-05 | 北京微影时代科技有限公司 | 一种数据表建立方法、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222123A (zh) * | 2019-04-24 | 2019-09-10 | 深圳点猫科技有限公司 | 用于教育平台的Hive动态分区加载的方法及电子设备 |
| CN111159162A (zh) * | 2019-12-31 | 2020-05-15 | 中国联合网络通信集团有限公司 | 数据库配置方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111198868B (zh) | 一种智能分库实时数据迁移方法和装置 | |
| US9213707B2 (en) | Ordered access of interrelated data files | |
| CN109491989B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN108920496B (zh) | 一种渲染方法及装置 | |
| US9009175B2 (en) | System and method for database migration and validation | |
| CN110990019A (zh) | 一种Java类分析方法、装置、存储介质及电子设备 | |
| CN109828759B (zh) | 代码编译方法、装置、计算机装置及存储介质 | |
| US20230351145A1 (en) | Pipelining and parallelizing graph execution method for neural network model computation and apparatus thereof | |
| CN109657177A (zh) | 升级后页面的生成方法、装置、存储介质及计算机设备 | |
| CN107330014B (zh) | 一种数据表的创建方法与设备 | |
| CN109492057A (zh) | 一种教育系统的用于Hive离线计算方法及电子设备 | |
| CN112800730A (zh) | 报表填报方法及装置 | |
| CN109614492A (zh) | 基于人工智能的文本数据增强方法、装置、设备及存储介质 | |
| CN107391539A (zh) | 事务处理方法、服务器和存储介质 | |
| CN112130849B (zh) | 代码自动生成方法及装置 | |
| CN113886590A (zh) | 数据汇总方法、装置、计算机设备及存储介质 | |
| CN101876969A (zh) | 报表开发方法及装置 | |
| CN110764745A (zh) | 变量的传输和收集方法、装置及计算机可读存储介质 | |
| CN109331469A (zh) | 一种基于编程语言录入关卡信息的方法以及电子设备 | |
| CN110222123A (zh) | 用于教育平台的Hive动态分区加载的方法及电子设备 | |
| CN109582318A (zh) | Portobuf本地化的处理方法、装置、终端及存储介质 | |
| CN109857390B (zh) | 一种Git仓库文件注解系统的注解传递方法 | |
| CN113468258A (zh) | 一种异构数据的转换方法、装置及存储介质 | |
| CN110221821A (zh) | 一种基于编程教育的项目函数解耦方法及电子设备 | |
| CN112988145A (zh) | 生成航空发动机软件架构的方法及航空发动机控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190319 |
|
| RJ01 | Rejection of invention patent application after publication |