CN104063468B - 一种数据报表自动生成及提取方法及装置 - Google Patents

一种数据报表自动生成及提取方法及装置 Download PDF

Info

Publication number
CN104063468B
CN104063468B CN201410301758.9A CN201410301758A CN104063468B CN 104063468 B CN104063468 B CN 104063468B CN 201410301758 A CN201410301758 A CN 201410301758A CN 104063468 B CN104063468 B CN 104063468B
Authority
CN
China
Prior art keywords
data
report
reservation information
source module
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410301758.9A
Other languages
English (en)
Other versions
CN104063468A (zh
Inventor
徐文宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201410301758.9A priority Critical patent/CN104063468B/zh
Publication of CN104063468A publication Critical patent/CN104063468A/zh
Application granted granted Critical
Publication of CN104063468B publication Critical patent/CN104063468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种数据报表自动生成及提取方法及装置，包括以下步骤：生产数据库根据客户端的人机交互结果，确定报表的预约信息；生产数据库按报表的预约信息将生产数据、用于生成报表的应用和配置文件同步到报表数据源模块中；报表生成存储单元在报表数据源模块中获取报表的预约信息，获取报表数据源模块中的生产数据及用于生成报表的应用和配置文件、并根据生产数据和报表的预约信息定时生成数据报表，存储数据报表；报表生成存储单元根据客户端的下载请求将数据报表发送给客户端。本发明实现了数据报表的预约生成，并通过报表数据源模块的运行，将最消耗资源的统计操作挪出了在线生产系统，降低生产系统负荷，减少操作人员简单重复操作。

Description

一种数据报表自动生成及提取方法及装置
技术领域
本发明涉及一种报表统计系统，特别涉及一种报表自动生成及提取方法及装置。
背景技术
在目前的电信行业客户管理系统中，营业员和管理员每天，每周，每旬，每月的报表都是在系统中手工提取，实时统计得出。当系统繁忙时，大数据量、大请求量的报表统计不仅速度慢，也影响系统的正常运行和受理。
同时，由于运营商的业务类别开展越来越多，各种稽核统计数据也越来越繁杂。报表统计人员可能会花大量的时间在单纯的报表选择、参数设置和等待报表生成上，使得数据真正分析的时间越来越少。同时由于是人工操作，还常常出现报表漏提，错误提取的情况，降低了劳动效率。
因此，设计并运行一个后台自动提取报表的系统是大势所趋。
发明内容
本发明所要解决的技术问题是提供一种能够自动定时生成及提取数据报表的数据报表自动生成及提取方法及系统。
本发明解决上述技术问题的技术方案如下：一种数据报表自动生成及提取方法，包括以下步骤：
步骤1：生产数据库根据客户端的人机交互结果，确定报表的预约信息；
步骤2：生产数据库按预约信息将生产数据同步到报表数据源模块中；
步骤3：生产数据库按预约信息将用于生成报表的应用和配置文件同步到报表数据源模块中；
步骤4：报表生成存储单元在报表数据源模块中获取报表的预约信息，获取报表数据源模块中的生产数据及用于生成报表的应用和配置文件，利用用于生成报表的应用和配置文件，根据生产数据和报表的预约信息定时生成数据报表，并存储数据报表；
步骤5：报表生成存储单元根据客户端的下载请求将数据报表发送给客户端。
本发明的有益效果是：本发明实现了统计数据的预约生成，并通过副本库的运行，将最消耗资源的统计操作挪出了在线生产系统，降低生产系统负荷，减少操作人员简单重复操作。
本发明生产数据库因为报表统计操作而导致的处理器、内存浪涌式异常高负载次数得到了明显降低；操作员报表提取时间由原来的5分钟到30分钟降低到一分钟以内；操作员因为报表参数误填而重打报表的次数降低到几乎没有；往日数据报表留存从没有到现在已经存储在服务器，随时可以提取。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述预约信息包含关于生产数据中待同步的范围和报表的预约时间。
进一步，生产数据库在生产负荷轻的时段将生产数据同步到报表数据源模块中。
进一步，所述生产数据库通过物化视图定时增量刷新的方式，将生产数据同步到报表数据源模块中。
进一步，报表生成存储单元通过socket转接方式将数据报表发送给客户端。
进一步，一种数据报表自动生成及提取装置，包括生产数据库，报表数据源模块，报表生成存储单元和客户端；
进一步，所述生产数据库，用于根据客户端的人机交互结果，确定报表的预约信息，按预约信息将生产数据同步到报表数据源模块中，按预约信息将用于生成报表的应用和配置文件同步到报表数据源模块中；
所述报表数据源模块，用于存储预约信息和用于生成报表的应用和配置文件；
所述报表生成存储单元，用于在报表数据源模块中获取报表的预约信息，获取报表数据源模块中的生产数据及用于生成报表的应用和配置文件，利用用于生成报表的应用和配置文件，根据生产数据和报表的预约信息定时生成数据报表，并存储数据报表；报表生成存储单元根据客户端的下载请求将数据报表发送给客户端；
所述客户端，用于人机交互输入预约信息，并向报表生成存储单元发送下载请求。
进一步，所述预约信息包含关于生产数据中待同步的范围和报表的预约时间。
进一步，生产数据库在生产负荷轻的时段将生产数据同步到报表数据源模块中。
进一步，所述生产数据库通过物化视图定时增量刷新的方式，将生产数据同步到报表数据源模块中。
进一步，报表生成存储单元通过socket转接方式将数据报表发送给客户端。
附图说明
图1为本发明方法步骤流程图；
图2为本发明装置结构图。
附图中，各标号所代表的部件列表如下：
1、生产数据库，2、报表数据源模块，3、报表生成存储单元，4、客户端。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明方法步骤流程图；图2为本发明装置结构图。
实施例1
一种数据报表自动生成及提取方法，包括以下步骤：
步骤1：生产数据库根据客户端的人机交互结果，确定报表的预约信息；
步骤2：生产数据库按预约信息将生产数据同步到报表数据源模块中；
步骤3：生产数据库按预约信息将用于生成报表的应用和配置文件同步到报表数据源模块中；
步骤4：报表生成存储单元在报表数据源模块中获取报表的预约信息，获取报表数据源模块中的生产数据及用于生成报表的应用和配置文件，利用用于生成报表的应用和配置文件，根据生产数据和报表的预约信息定时生成数据报表，并存储数据报表；
步骤5：报表生成存储单元根据客户端的下载请求将数据报表发送给客户端。
所述预约信息包含关于生产数据中待同步的范围和报表的预约时间。
生产数据库在生产负荷轻的时段将生产数据同步到报表数据源模块中。
所述生产数据库通过物化视图定时增量刷新的方式，将生产数据同步到报表数据源模块中。
报表生成存储单元通过socket转接方式将数据报表发送给客户端。
一种数据报表自动生成及提取装置，包括生产数据库1，报表数据源模块2，报表生成存储单元3和客户端4；
所述生产数据库1，用于根据客户端4的人机交互结果，确定报表的预约信息，按预约信息将生产数据同步到报表数据源模块中，按预约信息将用于生成报表的应用和配置文件同步到报表数据源模块中；
所述报表数据源模块2，用于存储预约信息和用于生成报表的应用和配置文件；
所述报表生成存储单元3，用于在报表数据源模块2中获取报表的预约信息，获取报表数据源模块2中的生产数据及用于生成报表的应用和配置文件，利用用于生成报表的应用和配置文件，根据生产数据和报表的预约信息定时生成数据报表，并存储数据报表；报表生成存储单元根据客户端的下载请求将数据报表发送给客户端。
所述客户端4，用于人机交互输入预约信息，并向报表生成存储单元3发送下载请求；
所述预约信息包含关于生产数据中待同步的范围和报表的预约时间。
生产数据库1在生产负荷轻的时段将生产数据同步到报表数据源模块2中。
所述生产数据库1通过物化视图定时增量刷新的方式，将生产数据同步到报表数据源模块2中。
报表生成存储单元3通过socket转接方式将数据报表发送给客户端4。
本方法和系统在四川某CRM/BOSS系统中作为一个子系统实现，具体实施方案如下：
1、搭建报表数据库，使用IBM主机，AIX操作系统，oracle9i。
2、搭建报表提取主机，使用IBM主机，AIX操作系统，挂载200G存储作为报表文件存储。
3、在CRM/BOSS系统中集成报表预约和报表提取功能模块，实现报表预约和报表提取的功能。
4、报表数据库通过物化视图定时增量刷新的方式，同步需要统计的生产数据到报表库。
5、报表后台进程定时启动，通过预约记录生成报表统计计划，并按计划生成相关报表，并将执行结果记录。
6、报表提取模块查询执行记录并展示，报表员可以成功统计报表的文件通过socket转接方式从报表主机提取文件。
在使用系统时，报表数据源模块(2)为服务器A，报表生成存储系统为服务器B，系统流程可以分为数据同步流程，报表预约流程、报表生成流程、报表提取流程。
1、数据同步流程；
1)管理员预先配置服务器A的数据同步方式和同步范围。
2)服务器A定时发起同步请求，将生产数据同步到本地。
2、报表预约流程；
1)报表员进入报表预约系统；
2)选择需要预约的报表，并设置是单次提取，每日提取，每周提取等相关时间要求；
3)填写预约报表的其他非时间参数；
4)提交到系统；
3、报表生成流程；
1)管理员预先配置服务器B的相关运行参数；
2)系统定时启动，导入预约数据，并根据预约数据到服务器A提取报表，提取口径已经在服务器A中存在，相关参数值在预约时已经由报表员填写完成；
3)服务器A提取出报表，并将数据导入到报表文件中，记录报表生成情况；
4、报表提取流程；
1)报表员进入报表预约系统；
2)打开报表提取页面，按时间查询；
3)系统展示报表生成情况，可以下载的报表提供下载链接；
4)报表员提取下载报表数据。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据报表自动生成及提取方法，其特征在于，包括以下步骤：
步骤1：生产数据库根据客户端的人机交互结果，确定报表的预约信息；
步骤2：生产数据库按报表的预约信息将生产数据同步到报表数据源模块中；
步骤3：生产数据库按报表的预约信息将用于生成报表的应用和配置文件同步到报表数据源模块中；
步骤4：报表生成存储单元在报表数据源模块中获取报表的预约信息，获取报表数据源模块中的生产数据及用于生成报表的应用和配置文件，报表生成存储单元利用用于生成报表的应用和配置文件、并根据生产数据和报表的预约信息定时生成数据报表，报表生成存储单元将生成的数据报表进行存储；
步骤5：报表生成存储单元根据客户端的下载请求将数据报表发送给客户端。
2.根据权利要求1所述的数据报表自动生成及提取方法，其特征在于：所述预约信息包含关于生产数据中待同步的范围和报表的预约时间。
3.根据权利要求1所述的数据报表自动生成及提取方法，其特征在于：生产数据库在生产负荷轻的时段将生产数据同步到报表数据源模块中。
4.根据权利要求3所述的数据报表自动生成及提取方法，其特征在于：所述生产数据库通过物化视图定时增量刷新的方式，将生产数据同步到报表数据源模块中。
5.根据权利要求1所述的数据报表自动生成及提取方法，其特征在于：报表生成存储单元通过socket转接方式将数据报表发送给客户端。
6.一种数据报表自动生成及提取装置，其特征在于：包括生产数据库(1)，报表数据源模块(2)，报表生成存储单元(3)和客户端(4)；
所述生产数据库(1)，用于根据客户端(4)的人机交互结果，确定报表的预约信息，按报表的预约信息将生产数据同步到报表数据源模块中，按报表的预约信息将用于生成报表的应用和配置文件同步到报表数据源模块中；
所述报表数据源模块(2)，用于存储预约信息和用于生成报表的应用和配置文件；
所述报表生成存储单元(3)，用于在报表数据源模块(2)中获取报表的预约信息，获取报表数据源模块(2)中的生产数据及用于生成报表的应用和配置文件，利用用于生成报表的应用和配置文件、并根据生产数据和报表的预约信息定时生成数据报表，存储数据报表；报表生成存储单元根据客户端的下载请求将数据报表发送给客户端；
所述客户端(4)，用于人机交互输入预约信息，并向报表生成存储单元(3)发送下载请求。
7.根据权利要求6所述的数据报表自动生成及提取装置，其特征在于：所述预约信息包含关于生产数据中待同步的范围和报表的预约时间。
8.根据权利要求6所述的数据报表自动生成及提取装置，其特征在于：生产数据库(1)在生产负荷轻的时段将生产数据同步到报表数据源模块(2)中。
9.根据权利要求8所述的数据报表自动生成及提取装置，其特征在于：所述生产数据库(1)通过物化视图定时增量刷新的方式，将生产数据同步到报表数据源模块(2)中。
10.根据权利要求6所述的数据报表自动生成及提取装置，其特征在于：报表生成存储单元(3)通过socket转接方式将数据报表发送给客户端(4)。
CN201410301758.9A 2014-06-27 2014-06-27 一种数据报表自动生成及提取方法及装置 Active CN104063468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410301758.9A CN104063468B (zh) 2014-06-27 2014-06-27 一种数据报表自动生成及提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410301758.9A CN104063468B (zh) 2014-06-27 2014-06-27 一种数据报表自动生成及提取方法及装置

Publications (2)

Publication Number Publication Date
CN104063468A CN104063468A (zh) 2014-09-24
CN104063468B true CN104063468B (zh) 2017-11-10

Family

ID=51551182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410301758.9A Active CN104063468B (zh) 2014-06-27 2014-06-27 一种数据报表自动生成及提取方法及装置

Country Status (1)

Country Link
CN (1) CN104063468B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317943A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种考核系统的图形化报表展示方法及系统
CN105068978A (zh) * 2015-08-07 2015-11-18 北京思特奇信息技术股份有限公司 一种基于数据库的日月报自动化稽核方法和系统
CN106228333A (zh) * 2016-07-12 2016-12-14 北京交通大学 基于港口企业生产业务系统的港口报表系统
CN108009227A (zh) * 2017-11-27 2018-05-08 胶州市企业发展服务中心 一种企业服务经理人网络共享系统
CN111090635B (zh) * 2019-11-29 2023-11-07 北京明略软件系统有限公司 一种预警方案的配置方法、装置及计算机可读存储介质
CN111783411A (zh) * 2020-07-28 2020-10-16 国网河南省电力公司漯河供电公司 一种基于调度同期线损的报表自动生成系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360290A (zh) * 2011-09-29 2012-02-22 用友软件股份有限公司 表单生成装置和表单生成方法
CN102722533A (zh) * 2012-05-09 2012-10-10 浙江图讯科技有限公司 一种报表展现与填报的方法及系统
CN103092890A (zh) * 2011-11-08 2013-05-08 苏州中茵泰格科技有限公司 报表自动生成及发送的系统及方法
CN103605779A (zh) * 2013-11-28 2014-02-26 北京国双科技有限公司 报表生成方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1722307A1 (fr) * 2005-05-09 2006-11-15 Amadeus s.a.s Méthode dynamique de génération de documents XML à partir d'une base de données

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360290A (zh) * 2011-09-29 2012-02-22 用友软件股份有限公司 表单生成装置和表单生成方法
CN103092890A (zh) * 2011-11-08 2013-05-08 苏州中茵泰格科技有限公司 报表自动生成及发送的系统及方法
CN102722533A (zh) * 2012-05-09 2012-10-10 浙江图讯科技有限公司 一种报表展现与填报的方法及系统
CN103605779A (zh) * 2013-11-28 2014-02-26 北京国双科技有限公司 报表生成方法和装置

Also Published As

Publication number Publication date
CN104063468A (zh) 2014-09-24

Similar Documents

Publication Publication Date Title
CN104063468B (zh) 一种数据报表自动生成及提取方法及装置
CN103699638B (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN104516989B (zh) 增量数据推送系统和方法
CN101661460B (zh) 管理系统报表生成方法和装置
CN102508908B (zh) 一种下级财政业务数据的采集方法和系统
CN108763387A (zh) 异构平台的大数据融合方法、电子设备、存储介质及系统
CN103581332B (zh) HDFS架构及HDFS架构中NameNode节点的压力分解方法
CN104426896B (zh) 一种专题页面制作方法和装置
CN104935660B (zh) 一种云程序开发运行系统、方法及装置
CN106021422B (zh) 一种基于关系型数据库形成Hive数据仓库的方法及系统
CN103309904A (zh) 一种生成数据仓库etl 代码的方法及装置
CN107786355A (zh) 一种智慧城市信息共享的方法和装置
CN108228755A (zh) 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN106020944A (zh) 一种基于后台数据库配置进行数据下载的方法和系统
CN110222117A (zh) 一种异构数据库的数据转换同步方法、设备及存储介质
CN108664657A (zh) 一种大数据任务调度方法、电子设备、存储介质及平台
CN106724061A (zh) 动态调整柜体的快递柜及柜体调整方法
CN108132969A (zh) 数据质量大数据治理实现方法、电子设备及存储介质
CN104346378B (zh) 一种实现复杂数据处理的方法、装置及系统
CN106780157A (zh) 基于Ceph的电网多时态模型存储与管理系统及方法
CN102222109B (zh) 数据处理装置和数据处理方法
CN105786945B (zh) 一种基于数据通道的用电信息数据高效处理方法
CN109671475A (zh) HL7v3数据持久化方法、存储介质、电子设备及系统
CN107786661A (zh) 信息同步方法
CN106933622A (zh) 云环境中模型驱动的Hadoop部署方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant