CN106020944B - 一种基于后台数据库配置进行数据下载的方法和系统 - Google Patents

一种基于后台数据库配置进行数据下载的方法和系统 Download PDF

Info

Publication number
CN106020944B
CN106020944B CN201610290787.9A CN201610290787A CN106020944B CN 106020944 B CN106020944 B CN 106020944B CN 201610290787 A CN201610290787 A CN 201610290787A CN 106020944 B CN106020944 B CN 106020944B
Authority
CN
China
Prior art keywords
downloading
allocation list
mission script
script
executable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610290787.9A
Other languages
English (en)
Other versions
CN106020944A (zh
Inventor
王会国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201610290787.9A priority Critical patent/CN106020944B/zh
Publication of CN106020944A publication Critical patent/CN106020944A/zh
Application granted granted Critical
Publication of CN106020944B publication Critical patent/CN106020944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及网络技术领域，特别涉及一种基于后台数据库配置进行数据下载的方法和系统。方法包括以下步骤：根据业务需求设计配置表模板；根据后台数据库的数据模型，填写配置表模板，形成配置表；将预设的下载任务参数配置到配置表中，并形成对应的可执行任务脚本；采用可执行任务脚本对数据库的数据进行提取，生成下载文件。本发明的方法基于后台数据库配置生成SQL、存储过程、SHELL等任务脚本，并指定启动时间和启动频率，不需要采用Crontab配置定时任务就可以定期执行任务脚本生成需要下载的目标文件或表，不仅提高了维护效率、减轻了维护人员的工作量、降低了风险，而且配置过程简单灵活，可以针对不同业务进行多类型配置，可维护性好。

Description

一种基于后台数据库配置进行数据下载的方法和系统
技术领域
本发明涉及网络技术领域，特别涉及一种基于后台数据库配置进行数据下载的方法和系统。
背景技术
在数据库的维护工作中，按照要求提取数据和生成目标文件或表是每天都要重复的工作，有时同一个数据需要提取多次，现有技术通常采用人工的方式进行逐项提取，不仅容易出错，而且效率低下，大幅增加了数据库管理员的工作量。
发明内容
本发明提供一种基于后台数据库配置进行数据下载的方法和系统，解决了现有技术采用人工方式对数据库进行维护时，容易出错且效率低下的技术问题。本发明解决上述技术问题的技术方案如下：一种基于后台数据库配置进行数据下载的方法，包括以下步骤：
步骤1，根据业务需求设计配置表模板；
步骤2，根据后台数据库的数据模型，填写所述配置表模板，形成配置表；
步骤3，将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本；
步骤4，采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件。
本发明的有益效果是：本发明的方法基于后台数据库配置生成SQL、存储过程、SHELL等任务脚本，并指定启动时间和启动频率，不需要采用Crontab配置定时任务就可以定期执行任务脚本生成需要下载的目标文件或表，不仅提高了维护效率、减轻了维护人员的工作量、降低了风险，而且配置过程简单灵活，可以针对不同业务进行多类型配置，可维护性好。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，步骤1中，所述配置表模板包括稽核配置表、调度配置表和/或文件属性表。
采用上述进一步方案的有益效果是：本进一步技术方案设置包括稽核配置表、调度配置表、文件属性表等在内的配置表模板，结合数据库的数据模型，可以实现符合业务需求的稽核配置，生成有效的、符合用户需求的下载文件。
进一步，步骤3中，所述可执行任务脚本的类型包括SQL、存储过程和/或shell。
采用上述进一步方案的有益效果是：本进一步技术方案根据稽核配置以及下载文件类型的不同，选择对应的可执行任务脚本的类型，可以针对不同业务进行多类型配置，可维护性好。
进一步，步骤4中，所生成的下载文件类型包括txt、csv、xlsx、xls或tar.gz。
采用上述进一步方案的有益效果是：本进一步技术方案可以下载多种类型的下载文件，且配置过程简单灵活，适用性高。
进一步，步骤3具体为：
S301创建要执行的任务序号；
S302根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的任务脚本类型；
S303将所述下载任务参数自动配置到所述配置表中，并形成对应的可执行任务脚本。
采用上述进一步方案的有益效果是：本进一步技术方案采用jave语言编写可执行任务脚本，不仅可以实现稽核执行逻辑，比如执行时间、执行间隔、执行流程等等，而且开发简单、执行效率高、程序可移植性好。
进一步，步骤4具体为：
S401运行java程序，根据可执行任务脚本对应的配置表，抽取符合条件的可执行任务脚本；
S402根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；
S403采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日志；
S404全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
一种基于后台数据库配置进行数据下载的系统，包括配置表模板存储模块、配置表生成模块、脚本生成模块和下载模块，
所述配置表模板存储模块用于存储根据业务需求设计的配置表模板；
所述配置表生成模块用于根据后台数据库的数据模型，填写所述配置表模板，形成配置表；
所述脚本生成模块用于将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本；
所述下载模块用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件。
进一步，所述脚本生成模块包括任务创建单元、下载任务参数设定单元和任务脚本生成单元，
所述任务创建单元用于创建任务序号；
所述下载任务参数设定单元用于根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的任务脚本类型；
所述任务脚本生成单元用于将所述下载任务参数自动配置到配置表中，并形成对应的可执行任务脚本。
进一步，所述下载模块包括选择单元、设定单元、下载单元和计算单元，
所述选择单元用于运行java程序，抽取符合条件的可执行任务脚本；
所述设定单元用于根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；
所述下载单元用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日志；
所述计算单元用于在全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
进一步，所下载的文件类型包括txt、csv、xlsx、xls或tar.gz。
附图说明
图1为本发明一种基于后台数据库配置进行数据下载的方法的流程示意图；
图2为本发明一种基于后台数据库配置进行数据下载的系统的结构示意图；
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明一种基于后台数据库配置进行数据下载的方法的流程示意图，包括以下步骤：
步骤1，根据业务需求设计配置表模板，所述配置表模板包括稽核配置表、调度配置表和/或文件属性表。
步骤2，根据后台数据库的数据模型，填写所述配置表模板，形成配置表。下表1为一个实施例的稽核配置表，表2为一个实施例的文件属性表，表3为一个实施例的调度配置表。
表1 稽核配置表
表2 文件属性表
表3 调度配置表
步骤3，将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本，所述可执行任务脚本的类型包括SQL、存储过程和/或shell。
步骤4，采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件，所生成的下载文件类型包括txt、csv、xlsx、xls或tar.gz。当下载文件是表时，需要对表信息和表字段进行配置，如表4、表5所示。
表4 表信息配置表
逻辑字段名 物理字段名 数据类型 空否 说明
表编码 TABLEID NUMBER(38) NOT NULL
表名 TABLENAME VARchar2(50BYTE) NOT NULL
表描述 TABLECOMMENT VARchar2(50BYTE) NOT NULL
TABLEPARENT TABLEPARENT VARchar2(20BYTE) NOT NULL
ISCONFIG ISCONFIG char(1BYTE) NOT NULL
ISHELP ISHELP char(1BYTE) NOT NULL
DATASOURCE DATASOURCE VARchar2(20BYTE) NULL
表5 表字段配置表
在优选实施例中，所述步骤3具体为：
S301创建要执行的任务序号；
S302根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的任务脚本类型；
S303将所述下载任务参数自动配置到所述配置表中，并形成对应的可执行任务脚本。
在另一优选实施例中，步骤4具体为：
S401运行java程序，根据可执行任务脚本对应的配置表，抽取符合条件的可执行任务脚本；
S402根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；
S403采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日志，执行日志如下表6所示；
S404全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
表6 执行日志表
如图2所示，为本发明一种基于后台数据库配置进行数据下载的系统的结构示意图，包括配置表模板存储模块、配置表生成模块、脚本生成模块和下载模块，所述配置表模板存储模块用于存储根据业务需求设计的配置表模板；所述配置表生成模块用于根据后台数据库的数据模型，填写所述配置表模板，形成配置表；所述脚本生成模块用于将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本；所述下载模块用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件。
优选实施例中，所述脚本生成模块包括任务创建单元、下载任务参数设定单元和任务脚本生成单元，所述任务创建单元用于创建任务序号；所述下载任务参数设定单元用于根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的任务脚本类型；所述任务脚本生成单元用于将所述下载任务参数自动配置到配置表中，并形成对应的可执行任务脚本。
在另一优选实施例中，所述下载模块包括选择单元、设定单元、下载单元和计算单元，所述选择单元用于运行java程序，抽取符合条件的可执行任务脚本；所述设定单元用于根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；所述下载单元用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件；所述计算单元用于在全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表，生成执行日志。
本发明的方法基于后台数据库配置生成SQL、存储过程、SHELL等任务脚本，并指定启动时间和启动频率，不需要采用Crontab配置定时任务就可以定期执行任务脚本生成需要下载的目标文件或表，不仅提高了维护效率、减轻了维护人员的工作量、降低了风险，而且配置过程简单灵活，可以针对不同业务进行多类型配置，可维护性好。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于后台数据库配置进行数据下载的方法，其特征在于，包括以下步骤：
步骤1，根据业务需求设计配置表模板；
步骤2，根据后台数据库的数据模型，填写所述配置表模板，形成配置表；
步骤3，将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本；
步骤4，采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件；
其中，步骤4具体包括：
S401运行java程序，根据可执行任务脚本对应的配置表，抽取符合条件的可执行任务脚本；
S402根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；
S403采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日志。
2.根据权利要求1所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤1中，所述配置表模板包括稽核配置表、调度配置表和/或文件属性表。
3.根据权利要求1所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤3中，所述可执行任务脚本的类型包括SQL、存储过程和/或shell。
4.根据权利要求1所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤4中，所生成的下载文件类型包括txt、csv、xlsx、xls或tar.gz。
5.根据权利要求1～4任一所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤3具体为：
S301创建要执行的任务序号；
S302根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的任务脚本类型；
S303将所述下载任务参数自动配置到所述配置表中，并形成对应的可执行任务脚本。
6.根据权利要求5所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤4还包括：
S404全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
7.一种基于后台数据库配置进行数据下载的系统，其特征在于，包括配置表模板存储模块、配置表生成模块、脚本生成模块和下载模块，
所述配置表模板存储模块用于存储根据业务需求设计的配置表模板；
所述配置表生成模块用于根据后台数据库的数据模型，填写所述配置表模板，形成配置表；
所述脚本生成模块用于将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本；
所述下载模块用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件；
其中，所述下载模块包括选择单元、设定单元和下载单元，所述选择单元用于运行java程序，抽取符合条件的可执行任务脚本；所述设定单元用于根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；所述下载单元用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件。
8.根据权利要求7所述的基于后台数据库配置进行数据下载的系统，其特征在于，所述脚本生成模块包括任务创建单元、下载任务参数设定单元和任务脚本生成单元，
所述任务创建单元用于创建任务序号；
所述下载任务参数设定单元用于根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的任务脚本类型；
所述任务脚本生成单元用于将所述下载任务参数自动配置到配置表中，并形成对应的可执行任务脚本。
9.根据权利要求7所述的基于后台数据库配置进行数据下载的系统，其特征在于，所述下载模块还包括计算单元，
所述计算单元用于在全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
10.根据权利要求7～9任一所述的基于后台数据库配置进行数据下载的系统，其特征在于，所下载的文件类型包括txt、csv、xlsx、xls或tar.gz。
CN201610290787.9A 2016-05-04 2016-05-04 一种基于后台数据库配置进行数据下载的方法和系统 Active CN106020944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610290787.9A CN106020944B (zh) 2016-05-04 2016-05-04 一种基于后台数据库配置进行数据下载的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610290787.9A CN106020944B (zh) 2016-05-04 2016-05-04 一种基于后台数据库配置进行数据下载的方法和系统

Publications (2)

Publication Number Publication Date
CN106020944A CN106020944A (zh) 2016-10-12
CN106020944B true CN106020944B (zh) 2019-05-24

Family

ID=57082191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610290787.9A Active CN106020944B (zh) 2016-05-04 2016-05-04 一种基于后台数据库配置进行数据下载的方法和系统

Country Status (1)

Country Link
CN (1) CN106020944B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710489A (zh) * 2018-05-23 2018-10-26 中国平安人寿保险股份有限公司 自动化导数脚本生成方法、装置、计算机设备
CN110188100A (zh) * 2019-05-17 2019-08-30 中国银行股份有限公司 数据处理方法、装置及计算机存储介质
CN111061756B (zh) * 2019-10-16 2021-01-19 智慧足迹数据科技有限公司 数据平台、数据处理方法及电子设备
CN111343269B (zh) * 2020-02-25 2023-09-08 江苏苏宁物流有限公司 一种数据下载方法、装置、计算机设备和存储介质
CN111666745B (zh) * 2020-06-03 2023-07-25 中国建设银行股份有限公司 一种文件下载方法、装置、服务器及介质
CN113064704A (zh) * 2021-03-18 2021-07-02 北京沃东天骏信息技术有限公司 任务处理方法、装置、电子设备和计算机可读介质
CN114513503B (zh) * 2022-02-16 2024-04-02 中银金融科技有限公司 文件的下载方法、装置、电子设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178449B1 (en) * 1997-11-26 2001-01-23 International Business Machines Corporation Apparatus and method for measuring transaction time in a computer system
CN102236707A (zh) * 2011-06-28 2011-11-09 贵阳朗玛信息技术股份有限公司 获取数据库更新数据的方法、装置及系统
CN103092993A (zh) * 2013-02-18 2013-05-08 五八同城信息技术有限公司 数据导出方法及装置
CN105138501A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种可配置的动态报表生成方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280375A1 (en) * 2013-03-15 2014-09-18 Ryan Rawson Systems and methods for implementing distributed databases using many-core processors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178449B1 (en) * 1997-11-26 2001-01-23 International Business Machines Corporation Apparatus and method for measuring transaction time in a computer system
CN102236707A (zh) * 2011-06-28 2011-11-09 贵阳朗玛信息技术股份有限公司 获取数据库更新数据的方法、装置及系统
CN103092993A (zh) * 2013-02-18 2013-05-08 五八同城信息技术有限公司 数据导出方法及装置
CN105138501A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种可配置的动态报表生成方法及系统

Also Published As

Publication number Publication date
CN106020944A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106020944B (zh) 一种基于后台数据库配置进行数据下载的方法和系统
CN104484169B (zh) 一种Android软件用户界面生成方法、系统及应用系统
CN104615466B (zh) 一种云平台部署方法和系统
CN103226493B (zh) 多操作系统业务的部署方法和系统
CN108958892A (zh) 一种创建用于深度学习作业的容器的方法和装置
CN109492753A (zh) 一种去中心化的随机梯度下降的方法
CN106446019B (zh) 一种软件功能处理方法和装置
CN104202416A (zh) 一种云操作系统下的服务编排系统及方法
CN106021422B (zh) 一种基于关系型数据库形成Hive数据仓库的方法及系统
CN103793242B (zh) 一种基于虚拟计算环境的信息系统快速部署方法
CN106528070A (zh) 一种数据表生成方法及设备
CN105677465B (zh) 应用于银行跑批处理的数据处理方法及装置
CN104063468B (zh) 一种数据报表自动生成及提取方法及装置
US9430219B2 (en) Revision safe upgrade in a hybrid cloud landscape
CN107480041A (zh) 一种大数据的任务自动化测试方法和系统
CN108984549A (zh) 一种基于动态配置数据库的分库分表数据抽取方法和装置
CN104391703B (zh) 快速完成页面布局的装置和方法
CN110389766A (zh) HBase容器集群部署方法、系统、设备及计算机可读存储介质
CN107291515A (zh) 一种基于状态反馈的客户端智能升级方法及系统
CN105607952A (zh) 一种虚拟化资源的调度方法及装置
CN106484452B (zh) 一种软件平台的统一配置管理方法和装置
CN105553732A (zh) 一种分布式网络模拟方法及系统
CN104113580A (zh) 基于虚拟机模版的hadoop集群自动化部署技术
CN102436501A (zh) 一种基于web的并行文件管理系统
CN109634736A (zh) 深度学习系统中数据训练方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant