CN111460772A - 自动化报表处理方法及系统 - Google Patents

自动化报表处理方法及系统 Download PDF

Info

Publication number
CN111460772A
CN111460772A CN202010130051.1A CN202010130051A CN111460772A CN 111460772 A CN111460772 A CN 111460772A CN 202010130051 A CN202010130051 A CN 202010130051A CN 111460772 A CN111460772 A CN 111460772A
Authority
CN
China
Prior art keywords
report
data
automated
module
job
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010130051.1A
Other languages
English (en)
Inventor
金家芳
李宁
何花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Credit Financial Technology Co ltd
Original Assignee
Vision Credit Financial Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Credit Financial Technology Co ltd filed Critical Vision Credit Financial Technology Co ltd
Priority to CN202010130051.1A priority Critical patent/CN111460772A/zh
Publication of CN111460772A publication Critical patent/CN111460772A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种自动化报表处理方法及系统，其中，方法包括如下步骤：S1用于根据用户需求进行数据分析的步骤；S2用于将数据处理过程进行自动化报表生成的步骤；S3用于对报表的状态进行监控并输出报表结果的步骤；S4用于将报表结果返回客户端的步骤。本发明所提供的自动化报表处理方法及系统，运用的技术门槛更低、可操作性更好，能快速响应业务数据提取功能的应用场景，实现了以数据中心为核心的数据交互体系，为三方系统及业务部门提供数据服务，实现了各业务条线的决策数据、业务报表需求，并建设了后台的任务调度管理平台、以及业务报表管理平台等功能，形成了公司级的数据基础平台和服务平台。

Description

自动化报表处理方法及系统
技术领域
本发明涉及计算机软件领域，尤其涉及一种自动化报表处理方法及系统。
背景技术
报表就是用表格、图表等格式来动态显示数据。在企业级的数据应用系统中，日常涉及很多报表需求：日报、周报、季报或月报等。在企业的信息化过程中，根据企业的各自情况不同，具体使用的信息化系统也不尽相同，可以是手工制作的excel表格，可以是OA系统、可以是ERP系统、可以是MES系统，可以是报表系统，自动化报表处理平台可以说既独立于这些系统又相互联系，自动化报表处理平台负责将企业各业务系统，数据仓库等系统的数据按照一定的业务逻辑进行数据处理后生成固定结构的excel数据并通过邮箱的形式发送给用户。它和报表系统一起满足企业各部门运营统计分析的需求。
现有的BI报表系统功能比较全面,可以实现表格、图形化的报表开发，但是，在用户业务需求逐渐增多的情况下，由于较高的开发门槛和较长的开发周期以及若干功能细节的局限等原因，使得报表系统开发的难度高，无法及时应对频繁的需求变更；报表系统的服务费高，耗能存大，经常需要人工干预，容易造成需求方满意度下降等负面情况，不利于为第三方系统提供数据服务的体验度。
发明内容
本发明的目的是提供一种自动化报表处理方法及系统。
本发明所提供的自动化报表处理方法，包括如下步骤：S1用于根据用户需求进行数据分析的步骤；S2用于将数据处理过程进行自动化报表生成的步骤；S3用于对报表的状态进行监控并输出报表结果的步骤；S4用于将报表结果返回客户端的步骤。
所述S1用于根据用户需求进行数据分析的步骤包括：S11用于用户通过移动终端输入外部指令的步骤；S12用于移动终端根据所述外部指令获取对应数据源的步骤；S13用于将对应数据源进行统计并保存的步骤。所述S2用于将数据处理过程进行自动化报表生成的步骤包括：S21用于作业开发的步骤；和/或，S22用于作业调度的步骤；和/或，S23用于日常运营的步骤；和/或，S24用于数据治理的步骤。所述S21用于作业开发的步骤包括：S211用于数据抽取转换加载的步骤；S212用于通过电子表格模板配置的步骤；S213用于邮件发送配置的步骤。所述S23用于日常运营的步骤包括：S231用于监控系统进行故障报警的步骤；S232用于通过爬虫技术减少报表报错率的步骤；S233用于搭建FTP服务器控制用户权限进行FTP账号管理的步骤；S224用于作业变更的步骤。所述S24用于数据治理的步骤包括：S241用于编写发布文档进行作业发布管理的步骤；S242用于将数据存放目录进行资源目录管理的步骤；S243用于元数据采集至数据库的步骤。所述S3用于对报表的状态进行监控并输出报表结果的步骤包括：S31用于监控报表作业的完成情况并进行分析的步骤；S32用于对监控到的报表作业进行管理和优化的步骤。所述S2用于将数据处理过程进行自动化报表生成的步骤还包括：S25用于通过电子表格自动发送数据的步骤；S26用于通过定时任务调度报表作业的步骤。所述S25用于电子表格自动发送数据的步骤包括：S251用于ETL逻辑封装的步骤；S252用于通过电子表格输写数据封装的步骤；S253用于邮件发送封装的步骤。所述S251用于ETL逻辑封装的步骤包括：S2511用于根据需求调研的步骤；S2512用于配置数据源参数连接的步骤；S2513用于录入作业调度的存储过程信息进行元数据配置的步骤；S2514用于ETL数据处理并生成日志表的步骤。所述S252通过电子表格输出数据封装的步骤包括：S2521用于将数据输入电子表格的步骤；S2522用于输入电子表格存放位置的步骤；S2523用于电子表格的生成并保存于日志表的步骤。所述S253用于邮件发送封装的步骤包括：S2531用于配置元数据，录入用户邮箱信息的步骤；S2532用于调用自定义邮箱封装类进行邮件发送的步骤。所述S26用于通过定时任务调度报表作业的步骤包括：S261用于根据业务数据获取频率设置定时任务的调度时间的步骤；S262用于逐一调度报表作业的步骤。
本发明所提供的自动化报表处理系统，包括：用于根据用户需求进行数据分析的模块；用于将数据处理过程进行自动化报表生成的模块；用于对报表的状态进行监控并输出报表结果的模块；用于将报表结果返回客户端的模块。
所述用于根据用户需求进行数据分析的模块包括：用于用户通过移动终端输入外部指令的子模块；用于移动终端根据所述外部指令获取对应数据源的子模块；用于将对应数据源进行统计并保存的子模块。所述用于将数据处理过程进行自动化报表生成的模块包括：用于作业开发的子模块；和/或，用于作业调度的子模块；和/或，用于日常运营的子模块；和/或，用于数据治理的子模块。所述用于作业开发的子模块包括：用于数据抽取转换加载的单元；用于通过电子表格模板配置的单元；用于邮件发送配置的单元。所述用于日常运营的子模块包括：用于监控系统进行故障报警的单元；用于通过爬虫技术减少报表报错率的单元；用于搭建FTP服务器控制用户权限进行FTP账号管理的单元；用于作业变更的单元。所述用于数据治理的子模块包括：用于编写发布文档进行作业发布管理的单元；用于将数据存放目录进行资源目录管理的单元；用于元数据采集至数据库的单元。所述用于对报表的状态进行监控并输出报表结果的模块包括：用于监控报表作业的完成情况并进行分析的子模块；用于对监控到的报表作业进行管理和优化的子模块。所述用于将数据处理过程进行自动化报表生成的模块还包括：用于通过电子表格自动发送数据的子模块；用于通过定时任务调度报表作业的子模块。所述用于电子表格自动发送数据的子模块包括：用于ETL逻辑封装的单元；用于通过电子表格输写数据封装的单元；用于邮件发送封装的单元。所述用于ETL逻辑封装的单元包括：用于根据需求调研的子单元；用于配置数据源参数连接的子单元；用于录入作业调度的存储过程信息进行元数据配置的子单元；用于ETL数据处理并生成日志表的子单元。所述通过电子表格输出数据封装的单元包括：用于将数据输入电子表格的子单元；用于输入电子表格存放位置的子单元；用于电子表格的生成并保存于日志表的子单元。所述用于邮件发送封装的单元包括：用于配置元数据，录入用户邮箱信息的子单元；用于调用自定义邮箱封装类进行邮件发送的子单元。所述用于通过定时任务调度报表作业的子模块包括：用于根据业务数据获取频率设置定时任务的调度时间的单元；用于逐一调度报表作业的单元。
本发明所提供的自动化报表处理方法及系统，运用的技术门槛更低、可操作性更好，能快速响应业务数据提取功能的应用场景，实现了以数据中心为核心的数据交互体系，为三方系统及业务部门提供数据服务。在应用上，实现了各业务条线的决策数据、业务报表需求，并建设了后台的任务调度管理平台、以及业务报表管理平台等功能，形成了公司级的数据基础平台和服务平台。
本发明开发的这套自动化报表处理方法及系统，各个模块实现了封装，不需要开发人员写很多代码，只要开发人员专注在业务逻辑的处理上，大大降低了开发的强度以及大大缩短了开发的周期，可以快速地响应用户的需求，IT部门开发人员也可以将更多的时间关注数据背后的业务发展及逻辑的分析上，更好的对数据进行深度挖掘。
附图说明
图1、2为本发明实施例一所述的自动化报表处理方法的流程示意图；
图3为本发明实施例一所述S1用于根据用户需求进行数据分析的步骤示意图；
图4为本发明实施例一所述S21用于作业开发的步骤示意图；
图5为本发明实施例一所述S23用于日常运营的步骤示意图；
图6为本发明实施例一所述S24用于数据治理的步骤示意图；
图7为本发明实施例一所述S3用于对报表的状态进行监控并输出报表结果的步骤示意图；
图8、9为本发明实施例一所述S2用于将数据处理过程进行自动化报表生成的步骤示意图；
图10为本发明实施例一所述S25用于电子表格自动发送数据的步骤示意图；
图11为本发明实施例一所述S251用于ETL逻辑封装的步骤示意图；
图12为本发明实施例一所述S252通过电子表格输出数据封装的步骤示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1、2所示，本实施例提供一种自动化报表处理方法，包括如下步骤：
S1用于根据用户需求进行数据分析的步骤；
S2用于将数据处理过程进行自动化报表生成的步骤；
S3用于对报表的状态进行监控并输出报表结果的步骤；
S4用于将报表结果返回客户端的步骤。
本领域技术人员可以理解，本实施例提供的报表处理方法运用的技术门槛更低、可操作性更好，能快速响应业务数据提取功能的应用场景，在经过不断尝试下，综合工具的成本，功能、成熟度、服务支持、集成性等方面，实现了以数据中心为核心的数据交互体系，为三方系统及业务部门提供数据服务。在应用上，实现了各业务条线的决策数据、业务报表需求，并建设了后台的任务调度管理平台、以及业务报表管理平台等功能，形成了公司级的数据基础平台和服务平台。如果说数据是各信息化系统血液，而自动化发数平台则是把各地数据联系起来的脉络，由此可见其重要性。
本实施例开发的这套自动化报表处理系统，各个模块都已经实现了封装，不需要开发人员写很多代码，只要开发人员专注在业务逻辑的处理上，大大降低了开发的强度以及大大缩短了开发的周期。可以快速地响应用户的需求，IT部门开发人员也可以将更多的时间关注数据背后的业务发展及逻辑的分析上，更好的对数据进行深度挖掘。
如图3所示，所述S1用于根据用户需求进行数据分析的步骤包括：
S11用于用户通过移动终端输入外部指令的步骤；
S12用于移动终端根据所述外部指令获取对应数据源的步骤；
S13用于将对应数据源进行统计并保存的步骤。
本领域技术人员可以理解，现有的数据源包括数据仓库、业务系统库如mysql、oracle、sql server等数据源库。根据业务数据需求的不同，来确定到底使用哪种数据源。常用的是生产VBS从库，该数据库可以实时查看贷前，贷中，贷后数据，数据库类型是SQLServer，常用来统计一些财务类的需求。数据仓库是另外常用于统计的一种数据源，主要用于统计一些需要深度加工的需求，数据仓库类型是Oracle rac。
进一步，所述S2用于将数据处理过程进行自动化报表生成的步骤包括：
S21用于作业开发的步骤；
和/或，S22用于作业调度的步骤；
和/或，S23用于日常运营的步骤；
和/或，S24用于数据治理的步骤。
本领域技术人员可以理解，自动报表平台负责作业开发、作业调度、监控预警、用户管理和数据治理功能。
如图4所示，所述S21用于作业开发的步骤包括：
S211用于数据抽取转换加载的步骤；
S212用于通过电子表格模板配置的步骤；
S213用于邮件发送配置的步骤。
本领域技术人员可以理解，作业开发主要负责数据抽取转换加载，电子表格模块配置，邮件发送配置。数据抽取转换加载可实现数据的清洗，电子表格模块配置采用的是excel工具实现，作业调度主要实现作业的批量调度，采用定时的调度方法，分时分批调度平台作业，实现作业的并发调度。数据应用层主要是将数据以邮件的形式给到用户，用户收到数据后，用于监管填报、运营管理、科学决策等用途。
如图5所示，所述S23用于日常运营的步骤包括：
S231用于监控系统进行故障报警的步骤；
S232用于通过爬虫技术减少报表报错率的步骤；
S233用于搭建FTP服务器控制用户权限进行FTP账号管理的步骤；
S224用于作业变更的步骤。
本领域技术人员可以理解，FTP即文件传输协议，用于Internet上的控制文件的双向传输。日常运营包括故障报警，邮箱爬取，FTP账户管理，作业变更。故障报警可以用来监控平台报错。系统将会在每日上午10时，13时，16时发送作业的运行情况到值班人员手机微信上，实现报错的快速响应。邮箱爬取主要利用爬虫的技术，每日16时自动爬取公司人员邮箱，与元数据中管理的用户发送数据邮箱进行匹配找出离职人员邮箱信息，提前预警，减少报表发送数据的报错率。由于数据是通过邮箱发送，当数据文件达到20M的时候，数据将无法发送。为了解决这个问题，联系运维，搭建了FTPServer，可以通过该工具实现用户权限的控制，可以设置FTP账户和通过账户访问的具体磁盘目录。作业变更是由于业务的快速发展，需求也是在不断的变化，日常会处理很多作业变更的事情。
如图6所示，所述S24用于数据治理的步骤包括：
S241用于编写发布文档进行作业发布管理的步骤；
S242用于将数据存放目录进行资源目录管理的步骤；
S243用于元数据采集至数据库的步骤。
本领域技术人员可以理解，数据治理主要包括作业发布管理，资源目录管理，元数据采集。发布管理是编写统一的发布文档，规范化发布流程。资源目录管理是将数据存放目录设计，周报，日报，月报，年报调度作业分开存放。元数据采集是将上线过程中任务信息包括作业调度信息，开发中涉及到作业的元数据采集到数据库存放，实现作业的总的管理。
如图7所示，所述S3用于对报表的状态进行监控并输出报表结果的步骤包括：
S31用于监控报表作业的完成情况并进行分析的步骤；
S32用于对监控到的报表作业进行管理和优化的步骤。
本领域技术人员可以理解，数据运营平台主要负责自动化报表平台作业状态的监控，用于监控当日作业的完成情况，历史作业的耗时分析，自动发数平台内存和cpu资源的监控。实现自动发数平台日常运营，监控的管理。历史作业耗时的分析，也将为作业优化提供依据。
如图8、9所示，所述S2用于将数据处理过程进行自动化报表生成的步骤还包括：
S25用于通过电子表格自动发送数据的步骤；
S26用于通过定时任务调度报表作业的步骤。
本领域技术人员可以理解，本实施例电子表格采用excel工具，自动化报表处理中，最核心的就是要解决业务逻辑ETL的封装，Excel写数据的封装，邮件发送模块的封装，作业调度以及作业监控功能的实现。在早期使用阶段主要采用SAS EG来实现数据处理，excel写数据，邮件发送功能的实现，但是工具的维护费使用比较高昂，之后也尝试过使用kettle，在使用过程中，kettle调度作业需要很大的内存资源，作业批量调度容易导致部分作业调度不成功的现象出现。基于此，综合工具的成本，功能、成熟度、服务支持、集成性等方面，采用了python实现数据处理，excel写数据，邮件发送功能采用windows自带的定时任务调度python报表作业，实现报表的分时分批调度，使用tableau开发监控dashboard。在本实施例中，部署平台为windows，使用工具为python，数据库，windows定时任务，excel。
如图10所示，所述S25用于电子表格自动发送数据的步骤包括：
S251用于ETL逻辑封装的步骤；
S252用于通过电子表格输写数据封装的步骤；
S253用于邮件发送封装的步骤。
本领域技术人员可以理解，本实施例采用Excel工具，ETL主要包含抽取、清洗、规范化、提交四个步骤，封装是指一种将抽象性函式接口的实现细节部分包装、隐藏起来的方法。ETL逻辑封装、通过电子表格输写数据封装及邮件发送封装只需传入所需参数，就能使电子表格自动发送数据。
如图11所示，所述S251用于ETL逻辑封装的步骤包括：
S2511用于根据需求调研的步骤；
S2512用于配置数据源参数连接的步骤；
S2513用于录入作业调度的存储过程信息进行元数据配置的步骤；
S2514用于ETL数据处理并生成日志表的步骤。
本领域技术人员可以理解，需求调研，编写业务处理逻辑，将代码以存过的方式存储在后台；配置数据源参数连接Server_link.py，规范化数据源连接参数，不用在使用的时候写死参数，有利于上游数据源迁库，快速修改连接参数；配置元数据，录入作业调度的存储过程信息；编写作业py主程序，使用数据连接文件，调用自定义sch_proc封装类，传入存储过程名，执行存过实现ETL的数据处理过程，并加入日志程序处理，将执行的结果信息写入后台日志记录表。
如图12所示，所述S252通过电子表格输出数据封装的步骤包括：
S2521用于将数据输入电子表格的步骤；
S2522用于输入电子表格存放位置的步骤；
S2523用于电子表格的生成并保存于日志表的步骤。
本领域技术人员可以理解，本实施例电子表格采用的是Excel工具，上述数据包括日常报表所需数据。在程序运行时，执行sql语句生成excel文件，将生成的文件存入日志表，如果出现报错，则程序停止。在作业主程序py中在sqllist中写入excel列的SQL查询语句；在作业主程序py中在filelist写入excel文件存放的位置；在作业主程序py中调用自定义sch_excel2封装类，实现EXCEL的生成，并加入日志程序处理，将执行的结果信息写入后台日志记录表。
进一步，所述S253用于邮件发送封装的步骤包括：
S2531用于配置元数据，录入用户邮箱信息的步骤；
S2532用于调用自定义邮箱封装类进行邮件发送的步骤。
本领域技术人员可以理解，配置元数据，录入用户邮箱信息，在后台以每个用户为一条记录存储，能够快速下线离职用户信息。在作业主程序py中调用自定义邮箱封装类，并加入日志程序处理，将执行的结果信息写入后台日志记录表，有利于实现邮件的自动发送。
进一步，所述S26用于通过定时任务调度报表作业的步骤包括：
S261用于根据业务数据获取频率设置定时任务的调度时间的步骤；
S262用于逐一调度报表作业的步骤。
本领域技术人员可以理解，任务调度采用windows自带定时任务程序实现作业任务的分时分批次调度，很好的实现了程序的并发性以及数据获取的时效性。批次调度频率有日调度，周调度，月调度，根据业务数据获取频率设置定时任务调度的时间。调度程序调度的原理是对每个调度频次设置多个批次，比如1时，9时，11时调度的批次，每个批次调度的是一个主py程序，在主py程序中在逐一调度作业程序，这些作业程序的关系是串行调度。
实施例二
本实施例提供一种自动化报表处理系统，包括：
用于根据用户需求进行数据分析的模块；
用于将数据处理过程进行自动化报表生成的模块；
用于对报表的状态进行监控并输出报表结果的模块；
用于将报表结果返回客户端的模块。
本领域技术人员可以理解，本实施例提供的报表处理系统运用的技术门槛更低、可操作性更好，能快速响应业务数据提取功能的应用场景，在经过不断尝试下，综合工具的成本，功能、成熟度、服务支持、集成性等方面，实现了以数据中心为核心的数据交互体系，为三方系统及业务部门提供数据服务。在应用上，实现了各业务条线的决策数据、业务报表需求，并建设了后台的任务调度管理平台、以及业务报表管理平台等功能，形成了公司级的数据基础平台和服务平台。如果说数据是各信息化系统血液，而自动化发数平台则是把各地数据联系起来的脉络，由此可见其重要性。
本实施例开发的这套自动化报表处理系统，各个模块都已经实现了封装，不需要开发人员写很多代码，只要开发人员专注在业务逻辑的处理上，大大降低了开发的强度以及大大缩短了开发的周期。可以快速地响应用户的需求，IT部门开发人员也可以将更多的时间关注数据背后的业务发展及逻辑的分析上，更好的对数据进行深度挖掘。
进一步，所述用于根据用户需求进行数据分析的模块包括：
用于用户通过移动终端输入外部指令的子模块；
用于移动终端根据所述外部指令获取对应数据源的子模块；
用于将对应数据源进行统计并保存的子模块。
本领域技术人员可以理解，现有的数据源包括数据仓库、业务系统库如mysql、oracle、sql server等库。根据业务数据需求的不同，来确定到底使用哪种数据源。常用的是生产VBS从库，该数据库可以实时查看贷前，贷中，贷后数据，数据库类型是sql server，常用来统计一些财务类的需求。数据仓库是另外常用于统计的一种数据源，主要用于统计一些需要深度加工的需求，数据仓库类型是oracle rac。
进一步，所述用于将数据处理过程进行自动化报表生成的模块包括：
用于作业开发的子模块；
和/或，用于作业调度的子模块；
和/或，用于日常运营的子模块；
和/或，用于数据治理的子模块。
本领域技术人员可以理解，自动报表平台负责作业开发、作业调度、监控预警、用户管理和数据治理功能。
进一步，所述用于作业开发的子模块包括：
用于数据抽取转换加载的单元；
用于通过电子表格模板配置的单元；
用于邮件发送配置的单元。
本领域技术人员可以理解，作业开发主要负责数据抽取转换加载，电子表格模块配置，邮件发送配置。数据抽取转换加载可实现数据的清洗，电子表格模块配置采用的是excel工具实现，作业调度主要实现作业的批量调度，采用定时的调度方法，分时分批调度平台作业，实现作业的并发调度。数据应用层主要是将数据以邮件的形式给到用户，用户收到数据后，用于监管填报、运营管理、科学决策等用途。
进一步，所述用于日常运营的子模块包括：
用于监控系统进行故障报警的单元；
用于通过爬虫技术减少报表报错率的单元；
用于搭建FTP服务器控制用户权限进行FTP账号管理的单元；
用于作业变更的单元。
本领域技术人员可以理解，FTP即文件传输协议，用于Internet上的控制文件的双向传输。日常运营包括故障报警，邮箱爬取，FTP账户管理，作业变更。故障报警可以用来监控平台报错。系统将会在每日上午10时，13时，16时发送作业的运行情况到值班人员手机微信上，实现报错的快速响应。邮箱爬取主要利用爬虫的技术，每日16时自动爬取公司人员邮箱，与元数据中管理的用户发送数据邮箱进行匹配找出离职人员邮箱信息，提前预警，减少报表发送数据的报错率并且可以帮助快速识别报表的实现，减少发送数据系统的冗余。由于数据是通过邮箱发送，当数据文件达到20M的时候，数据将无法发送。为了解决这个问题，联系运维，搭建了FTPServer，可以通过该工具实现用户权限的控制，可以设置FTP账户和通过账户访问的具体磁盘目录。作业变更是由于业务的快速发展，需求也是在不断的变化，日常会处理很多作业变更的事情。
进一步，所述用于数据治理的子模块包括：
用于编写发布文档进行作业发布管理的单元；
用于将数据存放目录进行资源目录管理的单元；
用于元数据采集至数据库的单元。
本领域技术人员可以理解，数据治理主要包括作业发布管理，资源目录管理，元数据采集。发布管理是编写统一的发布文档，规范化发布流程。资源目录管理是将数据存放目录设计，周报，日报，月报，年报调度作业分开存放。元数据采集是将上线过程中任务信息包括作业调度信息，开发中涉及到作业的元数据采集到数据库存放，实现作业的总的管理。
进一步，所述用于将数据处理过程进行自动化报表生成的模块还包括：
用于通过电子表格自动发送数据的子模块；
用于通过定时任务调度报表作业的子模块。
本领域技术人员可以理解，本实施例电子表格采用excel工具，自动化报表处理中，最核心的就是要解决业务逻辑ETL的封装，Excel写数据的封装，邮件发送模块的封装，作业调度以及作业监控功能的实现。在早期使用阶段主要采用SAS EG来实现数据处理，excel写数据，邮件发送功能的实现，但是工具的维护费使用比较高昂，之后也尝试过使用kettle，在使用过程中，kettle调度作业需要很大的内存资源，作业批量调度容易导致部分作业调度不成功的现象出现。基于此，综合工具的成本，功能、成熟度、服务支持、集成性等方面，采用了python实现数据处理，excel写数据，邮件发送功能采用windows自带的定时任务调度python报表作业，实现报表的分时分批调度，使用tableau开发监控dashboard。在本实施例中，部署平台为windows，使用工具为python，数据库，windows定时任务，excel。
进一步，所述用于电子表格自动发送数据的子模块包括：
用于ETL逻辑封装的单元；
用于通过电子表格输写数据封装的单元；
用于邮件发送封装的单元。
本领域技术人员可以理解，本实施例采用Excel工具，ETL主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。封装是指一种将抽象性函式接口的实现细节部分包装、隐藏起来的方法。ETL逻辑封装、通过电子表格输写数据封装及邮件发送封装只需传入所需参数，就能使电子表格自动发送数据。
进一步，所述用于ETL逻辑封装的单元包括：
用于根据需求调研的子单元；
用于配置数据源参数连接的子单元；
用于录入作业调度的存储过程信息进行元数据配置的子单元；
用于ETL数据处理并生成日志表的子单元。
本领域技术人员可以理解，需求调研，编写业务处理逻辑，将代码以存过的方式存储在后台；配置数据源参数连接Server_link.py，规范化数据源连接参数，不用在使用的时候写死参数，有利于上游数据源迁库，快速修改连接参数；配置元数据，录入作业调度的存储过程信息；编写作业py主程序，使用数据连接文件，调用自定义sch_proc封装类，传入存储过程名，执行存过实现ETL的数据处理过程，并加入日志程序处理，将执行的结果信息写入后台日志记录表。
进一步，所述通过电子表格输出数据封装的单元包括：
用于将数据输入电子表格的子单元；
用于输入电子表格存放位置的子单元；
用于电子表格的生成并保存于日志表的子单元。
本领域技术人员可以理解，本实施例电子表格采用的是excel工具，上述数据包括日常报表所需数据。在程序运行时，执行sql语句生成excel文件，将生成的文件存入日志表，如果出现报错，则程序停止。在作业主程序py中在sqllist中写入excel列的SQL查询语句；在作业主程序py中在filelist写入excel文件存放的位置；在作业主程序py中调用自定义sch_excel2封装类，实现EXCEL的生成，并加入日志程序处理，将执行的结果信息写入后台日志记录表。
进一步，所述用于邮件发送封装的单元包括：
用于配置元数据，录入用户邮箱信息的子单元；
用于调用自定义邮箱封装类进行邮件发送的子单元。
本领域技术人员可以理解，配置元数据，录入用户邮箱信息，在后台以每个用户为一条记录存储，能够快速下线离职用户信息。在作业主程序py中调用自定义邮箱封装类，并加入日志程序处理，将执行的结果信息写入后台日志记录表，有利于实现邮件的自动发送。
进一步，所述用于通过定时任务调度报表作业的子模块包括：
用于根据业务数据获取频率设置定时任务的调度时间的单元；
用于逐一调度报表作业的单元。
本领域技术人员可以理解，任务调度采用windows自带定时任务程序实现作业任务的分时分批次调度，很好的实现了程序的并发性以及数据获取的时效性。批次调度频率有日调度，周调度，月调度，根据业务数据获取频率设置定时任务调度的时间。调度程序调度的原理是对每个调度频次设置多个批次，比如1时，9时，11时调度的批次，每个批次调度的是一个主py程序，在主py程序中在逐一调度作业程序，这些作业程序的关系是串行调度。
进一步，所述用于对报表的状态进行监控并输出报表结果的模块包括：
用于监控报表作业的完成情况并进行分析的子模块；
用于对监控到的报表作业进行管理和优化的子模块。
本领域技术人员可以理解，数据运营平台主要负责自动化报表平台作业状态的监控，用于监控当日作业的完成情况，历史作业的耗时分析，自动发数平台内存和cpu资源的监控。实现自动发数平台日常运营，监控的管理。历史作业耗时的分析，也将为作业优化提供依据。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (26)

1.一种自动化报表处理方法，其特征在于，包括如下步骤：S1用于根据用户需求进行数据分析的步骤；S2用于将数据处理过程进行自动化报表生成的步骤；S3用于对报表的状态进行监控并输出报表结果的步骤；S4用于将报表结果返回客户端的步骤。
2.如权利要求1所述的自动化报表处理方法，其特征在于，所述S1用于根据用户需求进行数据分析的步骤包括：用于用户通过移动终端输入外部指令的步骤；S12用于移动终端根据所述外部指令获取对应数据源的步骤；S13用于将对应数据源进行统计并保存的步骤。
3.如权利要求2所述的自动化报表处理方法，其特征在于，所述S2用于将数据处理过程进行自动化报表生成的步骤包括：S21用于作业开发的步骤；和/或，S22用于作业调度的步骤；和/或，S23用于日常运营的步骤；和/或，S24用于数据治理的步骤。
4.如权利要求3所述的自动化报表处理方法，其特征在于，所述S21用于作业开发的步骤包括：S211用于数据抽取转换加载的步骤；S212用于通过电子表格模板配置的步骤；S213用于邮件发送配置的步骤。
5.如权利要求4所述的自动化报表处理方法，其特征在于，所述S23用于日常运营的步骤包括：S231用于监控系统进行故障报警的步骤；S232用于通过爬虫技术减少报表报错率的步骤；S233用于搭建FTP服务器控制用户权限进行FTP账号管理的步骤；S224用于作业变更的步骤。
6.如权利要求5所述的自动化报表处理方法，其特征在于，所述S24用于数据治理的步骤包括：S241用于编写发布文档进行作业发布管理的步骤；S242用于将数据存放目录进行资源目录管理的步骤；S243用于元数据采集至数据库的步骤。
7.如权利要求6所述的自动化报表处理方法，其特征在于，所述S3用于对报表的状态进行监控并输出报表结果的步骤包括：S31用于监控报表作业的完成情况并进行分析的步骤；S32用于对监控到的报表作业进行管理和优化的步骤。
8.如权利要求1至7中任一项所述的自动化报表处理方法，其特征在于，所述S2用于将数据处理过程进行自动化报表生成的步骤还包括：S25用于通过电子表格自动发送数据的步骤；S26用于通过定时任务调度报表作业的步骤。
9.如权利要求8所述的自动化报表处理方法，其特征在于，所述S25用于电子表格自动发送数据的步骤包括：S251用于ETL逻辑封装的步骤；S252用于通过电子表格输写数据封装的步骤；S253用于邮件发送封装的步骤。
10.如权利要求9所述的自动化报表处理方法，其特征在于，所述S251用于ETL逻辑封装的步骤包括：S2511用于根据需求调研的步骤；S2512用于配置数据源参数连接的步骤；S2513用于录入作业调度的存储过程信息进行元数据配置的步骤；S2514用于ETL数据处理并生成日志表的步骤。
11.如权利要求10所述的自动化报表处理方法，其特征在于，所述S252通过电子表格输出数据封装的步骤包括：S2521用于将数据输入电子表格的步骤；S2522用于输入电子表格存放位置的步骤；S2523用于电子表格的生成并保存于日志表的步骤。
12.如权利要求11所述的自动化报表处理方法，其特征在于，所述S253用于邮件发送封装的步骤包括：S2531用于配置元数据，录入用户邮箱信息的步骤；S2532用于调用自定义邮箱封装类进行邮件发送的步骤。
13.如权利要求12所述的自动化报表处理方法，其特征在于，所述S26用于通过定时任务调度报表作业的步骤包括：S261用于根据业务数据获取频率设置定时任务的调度时间的步骤；S262用于逐一调度报表作业的步骤。
14.一种自动化报表处理系统，其特征在于，包括：用于根据用户需求进行数据分析的模块；用于将数据处理过程进行自动化报表生成的模块；用于对报表的状态进行监控并输出报表结果的模块；用于将报表结果返回客户端的模块。
15.如权利要求14所述的自动化报表处理系统，其特征在于，所述用于根据用户需求进行数据分析的模块包括：用于用户通过移动终端输入外部指令的子模块；用于移动终端根据所述外部指令获取对应数据源的子模块；用于将对应数据源进行统计并保存的子模块。
16.如权利要求15所述的自动化报表处理系统，其特征在于，所述用于将数据处理过程进行自动化报表生成的模块包括：用于作业开发的子模块；和/或，用于作业调度的子模块；和/或，用于日常运营的子模块；和/或，用于数据治理的子模块。
17.如权利要求16所述的自动化报表处理系统，其特征在于，所述用于作业开发的子模块包括：用于数据抽取转换加载的单元；用于通过电子表格模板配置的单元；用于邮件发送配置的单元。
18.如权利要求17所述的自动化报表处理系统，其特征在于，所述用于日常运营的子模块包括：用于监控系统进行故障报警的单元；用于通过爬虫技术减少报表报错率的单元；用于搭建FTP服务器控制用户权限进行FTP账号管理的单元；用于作业变更的单元。
19.如权利要求14所述的自动化报表处理系统，其特征在于，所述用于数据治理的子模块包括：用于编写发布文档进行作业发布管理的单元；用于将数据存放目录进行资源目录管理的单元；用于元数据采集至数据库的单元。
20.如权利要求19所述的自动化报表处理系统，其特征在于，所述用于对报表的状态进行监控并输出报表结果的模块包括：用于监控报表作业的完成情况并进行分析的子模块；用于对监控到的报表作业进行管理和优化的子模块。
21.如权利要求14至20中任一项所述的自动化报表处理系统，其特征在于，所述用于将数据处理过程进行自动化报表生成的模块还包括：用于通过电子表格自动发送数据的子模块；用于通过定时任务调度报表作业的子模块。
22.如权利要求21所述的自动化报表处理系统，其特征在于，所述用于电子表格自动发送数据的子模块包括：用于ETL逻辑封装的单元；用于通过电子表格输写数据封装的单元；用于邮件发送封装的单元。
23.如权利要求22所述的自动化报表处理系统，其特征在于，所述用于ETL逻辑封装的单元包括：用于根据需求调研的子单元；用于配置数据源参数连接的子单元；用于录入作业调度的存储过程信息进行元数据配置的子单元；用于ETL数据处理并生成日志表的子单元。
24.如权利要求23所述的自动化报表处理系统，其特征在于，所述通过电子表格输出数据封装的单元包括：用于将数据输入电子表格的子单元；用于输入电子表格存放位置的子单元；用于电子表格的生成并保存于日志表的子单元。
25.如权利要求24所述的自动化报表处理系统，其特征在于，所述用于邮件发送封装的单元包括：用于配置元数据，录入用户邮箱信息的子单元；用于调用自定义邮箱封装类进行邮件发送的子单元。
26.如权利要求25所述的自动化报表处理系统，其特征在于，所述用于通过定时任务调度报表作业的子模块包括：用于根据业务数据获取频率设置定时任务的调度时间的单元；用于逐一调度报表作业的单元。
CN202010130051.1A 2020-02-28 2020-02-28 自动化报表处理方法及系统 Withdrawn CN111460772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130051.1A CN111460772A (zh) 2020-02-28 2020-02-28 自动化报表处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130051.1A CN111460772A (zh) 2020-02-28 2020-02-28 自动化报表处理方法及系统

Publications (1)

Publication Number Publication Date
CN111460772A true CN111460772A (zh) 2020-07-28

Family

ID=71684182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130051.1A Withdrawn CN111460772A (zh) 2020-02-28 2020-02-28 自动化报表处理方法及系统

Country Status (1)

Country Link
CN (1) CN111460772A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537895A (zh) * 2021-07-20 2021-10-22 芜湖达成储运有限公司 一种物流运营报表系统
CN116016032A (zh) * 2023-01-06 2023-04-25 广西电子口岸有限公司 一种海关业务复杂报文封装方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888287A (zh) * 2013-12-18 2014-06-25 北京首都国际机场股份有限公司 信息系统一体化运维监控服务预警平台及其实现方法
CN104361419A (zh) * 2014-09-10 2015-02-18 国家电网公司 基于调控合一的输变电设备状态监控缺陷管理系统及方法
CN107819824A (zh) * 2017-10-09 2018-03-20 中国电子科技集团公司第二十八研究所 一种城市数据开放与信息服务系统及服务方法
CN107886429A (zh) * 2017-11-20 2018-04-06 上海维信荟智金融科技有限公司 信贷服务管理方法及系统
CN108762900A (zh) * 2018-05-21 2018-11-06 平安科技（深圳）有限公司 高频任务调度方法、系统、计算机设备和存储介质
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888287A (zh) * 2013-12-18 2014-06-25 北京首都国际机场股份有限公司 信息系统一体化运维监控服务预警平台及其实现方法
CN104361419A (zh) * 2014-09-10 2015-02-18 国家电网公司 基于调控合一的输变电设备状态监控缺陷管理系统及方法
CN107819824A (zh) * 2017-10-09 2018-03-20 中国电子科技集团公司第二十八研究所 一种城市数据开放与信息服务系统及服务方法
CN107886429A (zh) * 2017-11-20 2018-04-06 上海维信荟智金融科技有限公司 信贷服务管理方法及系统
CN108762900A (zh) * 2018-05-21 2018-11-06 平安科技（深圳）有限公司 高频任务调度方法、系统、计算机设备和存储介质
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537895A (zh) * 2021-07-20 2021-10-22 芜湖达成储运有限公司 一种物流运营报表系统
CN116016032A (zh) * 2023-01-06 2023-04-25 广西电子口岸有限公司 一种海关业务复杂报文封装方法
CN116016032B (zh) * 2023-01-06 2023-08-11 广西电子口岸有限公司 一种海关业务报文封装方法

Similar Documents

Publication Publication Date Title
CN112235416B (zh) AIOT设备接入PaaS和SaaS多级联动管理平台
US8340995B2 (en) Method and system of using artifacts to identify elements of a component business model
US20070152047A1 (en) Product managing system and method using rfid technology
CN102375731A (zh) 一种免编码集成应用软件平台系统
CN107103064B (zh) 数据统计方法及装置
CN109754227A (zh) 智能化精密锻造生产运行管理系统
CN112527774A (zh) 数据中台搭建方法、系统及存储介质
CN110457371A (zh) 数据管理方法、装置、存储介质及系统
CN112396397A (zh) 运维事务归集和管理系统
CN111460772A (zh) 自动化报表处理方法及系统
CN111724046B (zh) 一种购电管理系统
CN112990886B (zh) 基于手机终端的航空行业数据管理显示系统
CN114066217A (zh) 构建面向业务的企业it运营与服务体系方法、系统及设备
CN112819372A (zh) 统一监管报送平台系统以及设备
CN112633850A (zh) 通过管理调用及监控rpa机器人实现业务流程自动化的方法
CN115719207A (zh) 超自动化平台系统
US10552455B2 (en) Analytics enablement for engineering records
CN115082039A (zh) 数据中心的管理方法、装置、电子设备及存储介质
US20140149186A1 (en) Method and system of using artifacts to identify elements of a component business model
KR20080069409A (ko) 다양한 이기종의 ｒｆｉｄ 애플리케이션 지원을 위한 ｒｆｉｄ 비즈니스 이벤트 프레임워크를 갖는 시스템
CN112364071A (zh) 货值数据分析方法及系统
CN111435466A (zh) 一种一体化机房运维管理系统
CN110244672A (zh) 一种基于mes的生产制造执行系统
CN112633621B (zh) 一种基于paas平台的电网企业管理决策系统和方法
Sun et al. Design of an enterprise financial risk management system based on big data mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200728

WW01 Invention patent application withdrawn after publication