CN109446246A - 一种实时数据化报表系统及生成方法 - Google Patents
一种实时数据化报表系统及生成方法 Download PDFInfo
- Publication number
- CN109446246A CN109446246A CN201810995820.7A CN201810995820A CN109446246A CN 109446246 A CN109446246 A CN 109446246A CN 201810995820 A CN201810995820 A CN 201810995820A CN 109446246 A CN109446246 A CN 109446246A
- Authority
- CN
- China
- Prior art keywords
- data
- time data
- real
- real time
- report
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种实时数据化报表系统及生成方法,所述系统通过监听程序,实时监听业务数据库中数据的变化,抽取数据并将复杂的业务逻辑构成,拆分成最小单位,自定义成指标库中的指标,通过配置公式解析进行计算,最终生成报表,从而达到实时、高效的目的。
Description
技术领域
本发明涉及汽车销售、售后、库存、备件等业务系统的报表支持技术领域,具体涉及一种实时数据化报表系统及生成方法。
背景技术
报表是企业管理的基本措施和途径,是企业的基本业务要求,也是实施BI战略的基础,报表可以通过不同维度对业务数据汇总分析,为业务人员、决策者制定计划和总结都提供了可靠的数据依据。
随着IT技术的快速发展,很多企业推出了各种快速配置报表产品,这些产品可以配置数据源,动态设置表头,快速生成报表。然而对一些业务逻辑较为复杂,数据实时性比较高的需求,支持却不是很好,且不同报表中相同的元数据不能重复使用,造成数据库压力过大,甚至内存溢出。
在传统报表系统中,大多通过缓存机制,只能查询截止到昨日、上周、上个月的数据,无法满足数据实时性,且在多张不同报表中,会展示一个取数业务逻辑相同的数据项,当取数逻辑发生变化时,多个业务报表的取数逻辑均需要修改。
发明内容
有鉴于此,本发明提供一种实时数据化报表系统及生成方法,通过监听程序,实时监听业务数据库中数据的变化,抽取数据并将复杂的业务逻辑构成,拆分成最小单位,自定义成指标库中的指标,通过配置公式解析进行计算,最终生成报表,从而达到实时、高效的目的。
为实现上述目的,本发明公开所述系统包括实时数据同步模块、定义指标库模块、合成报表模块:
实时数据同步模块,用于监听业务数据表中数据的变化,并将监测到的数据信息解析封装成固定格式的实时数据对象,推送至消息队列中,并在消息队列中对实时数据解析处理,并将实时数据持久化;
定义指标库模块,用于通过使用任务队列管理所有指标的数据抽取,根据任务类型不同分为截存任务和汇总任务,所述截存任务是定时任务查询业务数据库截存历史数据,所述执行汇总任务,按年月日汇总各指标项数据,并生成报表;
合成报表模块,通过指标库能任意组合各种指标合成报表,并在行列交叉的单元格内配置计算公式,通过解析动态配置的数据模板,用算法解析公式的优先级进行数值计算,最终生成报表。
在上述技术方案中,所述实时数据同步模块中,所述业务数据库中数据变化包括增加、修改、删除操作。
在上述技术方案中,所述实时数据同步模块还包括监听表和字段的配置。
在上述技术方案中,所述实时数据同步模块中实时数据通过监听实时同步数量、金额相关的数据,根据业务类型区分持久化到指标库中,用于在报表汇总中使用;
监听明细记录持久化到非关系型数据库中存储,用于在报表明细中使用。
在上述技术方案中,所述合成报表模块中运用指标库生成相关的仪表图、柱状图、饼图,折线图,以及显示同比环比的数据。
本发明还公开一种实时数据化报表生成方法,所述方法包括以下步骤:
S1、监听数据数据表日志变化并读取解析日志,实时监听业务数据表中的数据变化,并将监测到的数据信息解析封装成固定格式的数据对象,推送至消息队列中;
S2、封装的实时数据发送至消息队列后,读取并解所述实时数据;
S3、实时数据通过监听实时同步数据后,根据业务类型将数据持久化到指标库中,将明细数据持久化到非关系型数据中,生成明细报表;
S4、定时任务查询业务数据库截存历史数据;
S5、执行汇总任务,按年月日汇总各指标项数据,将汇总数据封装为指定格式,持久化到缓存中,生成报表。
本发明一种实时数据化报表系统及生成方法,具有以下有益效果:所述系统有效的解决了业务报表数据实时化的问题,保证了数据展示的及时性和准确性,同时实现了相同业务指标的复用,便于后期业务变更产生的大量维护工作,减小了对业务数据库的压力。
附图说明
图1为本发明一种实时数据化报表系统模块图;
图2为本发明一种实时数据化报表生成方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细描述,本发明提供一种实时数据化报表系统,所述系统包括实时数据同步模块、定义指标库模块、合成报表模块:
实时数据同步模块,用于监听业务数据表中数据的变化,并将监测到的数据信息解析封装成固定格式的实时数据对象,推送至消息队列中,并在消息队列中对实时数据解析处理,并将实时数据持久化;
其中,所述持久化是指将得到的数据进行预计算,并将预计算的结果先缓存,提高访问数据的高效性。
其中,所述实时数据同步模块中,所述业务数据库中数据变化包括增加、修改、删除操作。
其中,所述实时数据同步模块还包括监听表和字段的配置。监听程序要监听数据表、数据字段,监听操作类型,均通过配置文件动态配置。程序加载并解析这些配置文件,根据相关配置指令对业务表进行监听或忽略。
其中,由于业务系统操作数据频繁,监听到的数据变化信息量过大,运用消息队列,进出栈的方式存储实时数据,使用多线程调度分发机制,快速的处理消息队列中的数据,并进行持久化。
其中,所述实时数据同步模块中实时数据通过监听实时同步数量、金额相关的数据,根据业务类型区分持久化到指标库中,用于在报表汇总中使用;
监听明细记录持久化到非关系型数据库中存储,用于在报表明细中使用。
定义指标库模块,用于通过使用任务队列管理所有指标的数据抽取,根据任务类型不同分为截存任务和汇总任务,所述截存任务是定时任务查询业务数据库截存历史数据,所述执行汇总任务,按年月日汇总各指标项数据,并生成报表;
其中,所述指标库是把复杂的业务逻辑构成,拆分成最小单位、最单一的业务指标集合。
所述截存任务每天凌晨定时查询业务数据库,将该指标前一天的数据存入指标库中。
所述汇总任务是间隔几分钟就执行依次,将指标库中的数据按日、月、年汇总,并将汇总数据封装成指定格式,持久化到缓存中。
合成报表模块,通过指标库能任意组合各种指标合成报表,并在行列交叉的单元格内配置计算公式,通过解析动态配置的数据模板,用算法解析公式的优先级进行数值计算,最终生成报表。
其中,所述合成报表模块中运用指标库生成相关的仪表图、柱状图、饼图,折线图,以及显示同比环比的数据。
本发明还提供一种实时数据化报表生成方法,所述方法包括以下步骤:
S1、监听数据数据表日志变化并读取解析日志,实时监听业务数据表中的数据变化,并将监测到的数据信息解析封装成固定格式的数据对象,推送至消息队列中;
S2、封装的实时数据发送至消息队列后,读取并解所述实时数据;
S3、实时数据通过监听实时同步数据后,根据业务类型将数据持久化到指标库中,将明细数据持久化到非关系型数据中,生成明细报表;
S4、定时任务查询业务数据库截存历史数据;
S5、执行汇总任务,按年月日汇总各指标项数据,将汇总数据封装为指定格式,持久化到缓存中,生成报表。
以上方法实施例与系统实施例是一一对应的,方法实施例简略之处,参见系统实施例即可。
说明书中未阐述的部分均为现有技术或公知常识。本实施方式仅用于说明该发明,而不用于限制本发明的范围,本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
Claims (6)
1.一种实时数据化报表系统,其特征在于,所述系统包括实时数据同步模块、定义指标库模块、合成报表模块:
实时数据同步模块,用于监听业务数据表中数据的变化,并将监测到的数据信息解析封装成固定格式的实时数据对象,推送至消息队列中,并在消息队列中对实时数据解析处理,并将实时数据持久化;
定义指标库模块,用于通过使用任务队列管理所有指标的数据抽取,根据任务类型不同分为截存任务和汇总任务,所述截存任务是定时任务查询业务数据库截存历史数据,所述执行汇总任务,按年月日汇总各指标项数据,并生成报表;
合成报表模块,通过指标库能任意组合各种指标合成报表,并在行列交叉的单元格内配置计算公式,通过解析动态配置的数据模板,用算法解析公式的优先级进行数值计算,最终生成报表。
2.根据权利要求1所述一种实时数据化报表系统,其特征在于,所述实时数据同步模块中,所述业务数据库中数据变化包括增加、修改、删除操作。
3.根据权利要求1所述一种实时数据化报表系统,其特征在于,所述实时数据同步模块还包括监听表和字段的配置。
4.根据权利要求1所述一种实时数据化报表系统,其特征在于,所述实时数据同步模块中实时数据通过监听实时同步数量、金额相关的数据,根据业务类型区分持久化到指标库中,用于在报表汇总中使用;
监听明细记录持久化到非关系型数据库中存储,用于在报表明细中使用。
5.根据权利要求1所述一种实时数据化报表系统,其特征在于,所述合成报表模块中运用指标库生成相关的仪表图、柱状图、饼图,折线图,以及显示同比环比的数据。
6.一种实时数据化报表生成方法,其特征在于,所述方法包括以下步骤:
S1、监听数据数据表日志变化并读取解析日志,实时监听业务数据表中的数据变化,并将监测到的数据信息解析封装成固定格式的数据对象,推送至消息队列中;
S2、封装的实时数据发送至消息队列后,读取并解所述实时数据;
S3、实时数据通过监听实时同步数据后,根据业务类型将数据持久化到指标库中,将明细数据持久化到非关系型数据中,生成明细报表;
S4、定时任务查询业务数据库截存历史数据;
S5、执行汇总任务,按年月日汇总各指标项数据,将汇总数据封装为指定格式,持久化到缓存中,生成报表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810995820.7A CN109446246A (zh) | 2018-08-29 | 2018-08-29 | 一种实时数据化报表系统及生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810995820.7A CN109446246A (zh) | 2018-08-29 | 2018-08-29 | 一种实时数据化报表系统及生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109446246A true CN109446246A (zh) | 2019-03-08 |
Family
ID=65530149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810995820.7A Pending CN109446246A (zh) | 2018-08-29 | 2018-08-29 | 一种实时数据化报表系统及生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109446246A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175156A (zh) * | 2019-04-10 | 2019-08-27 | 阿里巴巴集团控股有限公司 | 报表的生成方法及装置 |
CN110515990A (zh) * | 2019-07-23 | 2019-11-29 | 华信永道(北京)科技股份有限公司 | 数据查询展示方法及查询展示系统 |
CN110795440A (zh) * | 2019-09-05 | 2020-02-14 | 连连银通电子支付有限公司 | 一种更新指标的方法及装置 |
CN111159157A (zh) * | 2019-12-31 | 2020-05-15 | 远光软件股份有限公司 | 一种企业报表数据的指标化处理方法及装置 |
CN111274300A (zh) * | 2020-01-19 | 2020-06-12 | 上海申昆混凝土集团有限公司 | 生产、检测数据对接方法、系统和计算机可读存储介质 |
CN112069218A (zh) * | 2020-11-16 | 2020-12-11 | 浙江岩华文化科技有限公司 | 大数据实时处理方法、装置、电子装置和存储介质 |
CN112905593A (zh) * | 2021-03-04 | 2021-06-04 | 天九共享网络科技集团有限公司 | 报表生成方法、装置、介质及电子设备 |
CN113282443A (zh) * | 2020-02-19 | 2021-08-20 | 北京京东尚科信息技术有限公司 | 监测实时数据的方法和装置 |
CN113778959A (zh) * | 2020-11-23 | 2021-12-10 | 北京京东振世信息技术有限公司 | 数据处理的方法、装置、设备和计算机可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599067A (zh) * | 2009-06-02 | 2009-12-09 | 广东金宇恒科技有限公司 | 一种用户自定制报表的方法 |
CN101815261A (zh) * | 2010-02-23 | 2010-08-25 | 深圳市五巨科技有限公司 | 一种移动终端报表生成的方法和装置 |
CN104317957A (zh) * | 2014-11-11 | 2015-01-28 | 中国建设银行股份有限公司 | 一种报表处理的开放平台、系统及报表处理方法 |
CN107169070A (zh) * | 2017-05-08 | 2017-09-15 | 山大地纬软件股份有限公司 | 一种基于大数据的社保指标仓库的构建系统及其方法 |
CN107783975A (zh) * | 2016-08-24 | 2018-03-09 | 北京京东尚科信息技术有限公司 | 分布式数据库同步处理的方法和装置 |
-
2018
- 2018-08-29 CN CN201810995820.7A patent/CN109446246A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599067A (zh) * | 2009-06-02 | 2009-12-09 | 广东金宇恒科技有限公司 | 一种用户自定制报表的方法 |
CN101815261A (zh) * | 2010-02-23 | 2010-08-25 | 深圳市五巨科技有限公司 | 一种移动终端报表生成的方法和装置 |
CN104317957A (zh) * | 2014-11-11 | 2015-01-28 | 中国建设银行股份有限公司 | 一种报表处理的开放平台、系统及报表处理方法 |
CN107783975A (zh) * | 2016-08-24 | 2018-03-09 | 北京京东尚科信息技术有限公司 | 分布式数据库同步处理的方法和装置 |
CN107169070A (zh) * | 2017-05-08 | 2017-09-15 | 山大地纬软件股份有限公司 | 一种基于大数据的社保指标仓库的构建系统及其方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175156A (zh) * | 2019-04-10 | 2019-08-27 | 阿里巴巴集团控股有限公司 | 报表的生成方法及装置 |
CN110515990A (zh) * | 2019-07-23 | 2019-11-29 | 华信永道(北京)科技股份有限公司 | 数据查询展示方法及查询展示系统 |
CN110795440A (zh) * | 2019-09-05 | 2020-02-14 | 连连银通电子支付有限公司 | 一种更新指标的方法及装置 |
CN111159157A (zh) * | 2019-12-31 | 2020-05-15 | 远光软件股份有限公司 | 一种企业报表数据的指标化处理方法及装置 |
CN111159157B (zh) * | 2019-12-31 | 2023-10-03 | 远光软件股份有限公司 | 一种企业报表数据的指标化处理方法及装置 |
CN111274300A (zh) * | 2020-01-19 | 2020-06-12 | 上海申昆混凝土集团有限公司 | 生产、检测数据对接方法、系统和计算机可读存储介质 |
CN113282443A (zh) * | 2020-02-19 | 2021-08-20 | 北京京东尚科信息技术有限公司 | 监测实时数据的方法和装置 |
CN112069218A (zh) * | 2020-11-16 | 2020-12-11 | 浙江岩华文化科技有限公司 | 大数据实时处理方法、装置、电子装置和存储介质 |
CN113778959A (zh) * | 2020-11-23 | 2021-12-10 | 北京京东振世信息技术有限公司 | 数据处理的方法、装置、设备和计算机可读介质 |
CN113778959B (zh) * | 2020-11-23 | 2023-09-05 | 北京京东振世信息技术有限公司 | 数据处理的方法、装置、设备和计算机可读介质 |
CN112905593A (zh) * | 2021-03-04 | 2021-06-04 | 天九共享网络科技集团有限公司 | 报表生成方法、装置、介质及电子设备 |
CN112905593B (zh) * | 2021-03-04 | 2024-02-02 | 天九共享网络科技集团有限公司 | 报表生成方法、装置、介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109446246A (zh) | 一种实时数据化报表系统及生成方法 | |
US10572296B2 (en) | System and method for a data processing architecture | |
CN111159157B (zh) | 一种企业报表数据的指标化处理方法及装置 | |
CN111104394A (zh) | 一种能源数据仓库系统构建方法及装置 | |
CN106844682B (zh) | 数据交换方法、装置及系统 | |
CN106156115B (zh) | 一种资源调度方法及装置 | |
CN109597842A (zh) | 数据实时计算方法、装置、设备及计算机可读存储介质 | |
CN106503276A (zh) | 一种用于实时监控系统的时间序列数据库的方法与装置 | |
CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
CN110688399A (zh) | 一种流式计算实时报表系统及方法 | |
CN105279143A (zh) | 一种周期性报表系统 | |
CN105205185B (zh) | 监控系统与管理信息系统间数据交互及数据建模的方法 | |
US20040128185A1 (en) | System and method for analyzing sales performances | |
CN111427964B (zh) | 一种面向运行时间戳的工业云数据存储模型 | |
CN111737325A (zh) | 一种基于大数据技术的电力数据分析方法和装置 | |
CN114036206A (zh) | 一种基于时序数据库的多能种能源信息管理系统 | |
CN103020280B (zh) | 一种通过多维度kpi函数对sql查询语句进行扩充的方法 | |
CN104462255A (zh) | 一种格式和数据分离的全面预算设计和编制系统 | |
CN108875087A (zh) | 一种描述事物空间属性并基于所述描述进行查找的方法 | |
US7912809B2 (en) | Data management system for manufacturing enterprise and related methods | |
CN107357919A (zh) | 行为日志查询系统及方法 | |
CN103345485B (zh) | 一种大型主机平台动态报表自动生成方法及系统 | |
CN115794804A (zh) | 基于大数据技术的工程内控数据可视化处理系统及方法 | |
US20080027966A1 (en) | Dynamic creation of star-schema database structures and cubes | |
CN108170718A (zh) | 一种指标数据的处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |
|
RJ01 | Rejection of invention patent application after publication |