CN112835881A - 一种报表生成方法、系统、设备以及介质 - Google Patents

一种报表生成方法、系统、设备以及介质 Download PDF

Info

Publication number
CN112835881A
CN112835881A CN202110121776.9A CN202110121776A CN112835881A CN 112835881 A CN112835881 A CN 112835881A CN 202110121776 A CN202110121776 A CN 202110121776A CN 112835881 A CN112835881 A CN 112835881A
Authority
CN
China
Prior art keywords
data
reports
initial
report
topics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110121776.9A
Other languages
English (en)
Inventor
胡美彪
韩伟民
翟超
李尚友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Genersoft Information Technology Co Ltd
Original Assignee
Shandong Inspur Genersoft Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Genersoft Information Technology Co Ltd filed Critical Shandong Inspur Genersoft Information Technology Co Ltd
Priority to CN202110121776.9A priority Critical patent/CN112835881A/zh
Publication of CN112835881A publication Critical patent/CN112835881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种报表生成方法,包括以下步骤:获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;对所述多个初始整合报表进行再次整合以得到多个最终所需报表。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够在大数据量的情况下,简化业务复杂度。提高查询性能,满足管理用户对于分析报表的统计需求。

Description

一种报表生成方法、系统、设备以及介质
技术领域
本发明涉及报表领域,具体涉及一种报表生成方法、系统、设备以及存储介质。
背景技术
目前在多数据库实例,大数据量的情况下,由于数据传输问题和单表数据量大,导致业务复杂度高,因此在进行数据同步或查询时会出现不准确或者查询性能慢的问题,也即无法满足管理用户对于分析报表的统计需求。
发明内容
有鉴于此,为了克服上述问题的至少一个方面,本发明实施例提出一种报表生成方法,包括以下步骤:
获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;
从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;
对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;
对所述多个初始整合报表进行再次整合以得到多个最终所需报表。
在一些实施例中,获取多个数据库中的初始数据,进一步包括:
创建与目标库的表结构相同的临时表;
根据同步参数将所述多个数据库中的数据同步到所述临时表中;
响应于所述临时表中的数据的数量达到阈值,将所述临时表中的数据同步到所述目标库中。
在一些实施例中,还包括:
根据预设规则对所述目标库中的数据进行清洗。
在一些实施例中,根据预设规则对所述目标库中的数据进行清洗,进一步包括:
将所述目标库中的字段相同而时间戳不同的多条数据只保留最新的一条数据。
在一些实施例中,对所述多个明细报表中的数据进行初步整合得到多个初始整合报表,进一步包括:
根据预设字段对所述多个明细报表中的数据进行初步整合。
在一些实施例中,还包括:
创建多个索引并与对应的每一个最终所需报表映射。
在一些实施例中,还包括:
响应于接收到报表展示的请求,根据请求确定待展示的所述最终所需报表对应的索引;
根据所述对应的索引获取并图形化展示所述待展示的最终所需报表。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种报表生成系统,包括:
获取模块,所述获取模块配置为获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;
关联模块,所述关联模块配置为从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;
第一整合模块,所述第一整合模块配置为对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;
第二整合模块,所述第二整合模块配置为对所述多个初始整合报表进行再次整合以得到多个最终所需报表。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行如上所述的任一种报表生成方法的步骤。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时执行如上所述的任一种报表生成方法的步骤。
本发明具有以下有益技术效果之一:本发明提出的方案能够在大数据量的情况下,简化业务复杂度。提高查询性能,满足管理用户对于分析报表的统计需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的报表生成方法的流程示意图;
图2为本发明的实施例提供的各个主题以及对应的子主题的结构示意图;
图3为本发明的实施例提供的经过初步整合后得到的报表;
图4为本发明的实施例提供的经过再次整合后得到的报表;
图5为本发明的实施例提供的报表生成系统的结构示意图;
图6为本发明的实施例提供的计算机设备的结构示意图;
图7为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
根据本发明的一个方面,本发明的实施例提出一种报表生成方法,如图1所示,其可以包括步骤:
S1,获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;
S2,从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;
S3,对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;
S4,对所述多个初始整合报表进行再次整合以得到多个最终所需报表。
本发明提出的方案能够在大数据量的情况下,简化业务复杂度。提高查询性能,满足管理用户对于分析报表的统计需求。
在一些实施例中,步骤S1,获取多个数据库中的初始数据,进一步包括:
创建与目标库的表结构相同的临时表;
根据同步参数将所述多个数据库中的数据同步到所述临时表中;
响应于所述临时表中的数据的数量达到阈值,将所述临时表中的数据同步到所述目标库中。
具体的,可以从各数据库实例向数据处理库同步原始数据,并且考虑到原始数据有各种各样的场景,所以可以根据数据的使用频率,将所需要同步的表分成了以下几类:数据量少且变化频率低的数据,每一周全量同步一次;数据量少且变化频率高的数据,每天全量同步一次;数据量大且变化频率低的数据,每周增量同步一次;数据量大且变化频率高的数据,每天增量同步一次;关键业务数据每半小时增量同步一次,并多线程处理。
在一些实施例中,对于增量同步的场景,出于同步性能的考虑,可以利用临时表批量更新。首先根据目标库的表,创建相同表结构的临时表。然后将各数据库实例中的每五百条数据插入临时表后,利用merge方法批量更新到分析库,这样同步性能会大大提升。在进行数据同步前,可以预先配置同步表、主键字段、同步字段、同步条件、同步频率,同步策略(全量还是增量),多线程同步等等参数。
在一些实施例中,还包括:
根据预设规则对所述目标库中的数据进行清洗。
在一些实施例中,根据预设规则对所述目标库中的数据进行清洗,进一步包括:
将所述目标库中的字段相同而时间戳不同的多条数据只保留最新的一条数据。
具体的,数据清洗就是对于已经同步到数据处理库的原始数据中的垃圾数据或无用数据进行删除,分析垃圾数据采用了从后到前的方法,即根据目前或将要建设的分析报表,向前推算出所有需要的数据,把不需要的数据清除。为防止清洗出现数据问题,增加了数据备份机制。即在删除数据前,将要删除的数据备份到备份表,如果发现删除错了,可以快速的恢复。
在一些实施例中,数据清洗可以具体实现分为三种情况:第一种情况:分析表与表之间的关联关系,把不符合关联关系的数据清除。第二种情况:按关键字段分组,把关键字段相同时间戳不相同的多条数据只保留最新的一条,清楚其余数据。第三种情况:根据业务灵活判断,对于三年以前或者一年以前不再使用的数据清除。
因为有些业务表的数据不必要全量同步,通过上述三种情况的数据清洗,能清除掉5%-10%的数据,这样对于一些数据分析用不着的数据,从数据清洗阶段提前至数据同步阶段,减少了数据同步的数量,从而提高了同步效率。
在一些实施例中,步骤S2,从所述初始数据中分别提取与所述主题和与所述主题相关联的所述子主题相对应的数据以得到多个明细报表,具体的,可以确定多个主题,并分别确定所有和它有关联的子主题,并提取主要信息,以形成主题域。例如如图2所示,人员组织信息,账户基本信息,交易相关信息等均为主题。其中,以账户基本信息为例,其下的账户表,账户科目明细,账户印章明细等都是账户基本信息的子主题。每一个表上均包括多个字段。
在一些实施例中,对所述多个明细报表中的数据进行初步整合得到多个初始整合报表,进一步包括:
根据预设字段对所述多个明细报表中的数据进行初步整合。
具体的,可以将图2中每一个主题下的多个明细报表,根据具体字段省、单位、年、月、银行等各种组合进行分组汇总,或者分析多张报表之间的相同点,结合具体业务,提取分组字段,得出能满足各种需要的初始整合报表。以图3所示的交易维度(即图2中的交易相关信息主题)为例,可以根据省、单位、年、月、银行等各种组合进行分组汇总得到多个初始整合报表。
在一些实施例中,可以分别创建字典表和各个业务表,其中业务表中相应的字段均由字典表定义,即字典表中保存有字段和对应的标识,业务表中用标识代表字段。
在一些实施例中,还包括:
创建多个索引并与对应的每一个最终所需报表映射。
在一些实施例中,还包括:
响应于接收到报表展示的请求,根据请求确定待展示的所述最终所需报表对应的索引;
根据所述对应的索引获取并图形化展示所述待展示的最终所需报表。
具体的,步骤S4中的数据再次整合就是根据展示的报表为模型,汇总出所属的数据来。如图4所示,再次整合的数据是基于初始整合报表而来,根据实际需求逐个分析建设的报表,达到每个报表的数据查询都是单表查询,再加上合适的索引,从而实现快速高效。这样,当接收到报表展示的请求,即可根据索引实现快速查询并利用如ECharts或GSPWeb3.0对最终所需报表进行展示。
本发明提出的方案能够在大数据量的情况下,简化业务复杂度。提高查询性能,满足管理用户对于分析报表的统计需求。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种报表生成系统400,如图5所示,包括:
获取模块401,所述获取模块401配置为获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;
关联模块402,所述关联模块402配置为从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;
第一整合模块403,所述第一整合模块403配置为对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;
第二整合模块404,所述第二整合模块404配置为对所述多个初始整合报表进行再次整合以得到多个最终所需报表。
基于同一发明构思,根据本发明的另一个方面,如图6所示,本发明的实施例还提供了一种计算机设备501,包括:
至少一个处理器520;以及
存储器510,存储器510存储有可在处理器上运行的计算机程序511,处理器520执行程序时执行如上的任一种报表生成方法的步骤。
基于同一发明构思,根据本发明的另一个方面,如图7所示,本发明的实施例还提供了一种计算机可读存储介质601,计算机可读存储介质601存储有计算机程序指令610,计算机程序指令610被处理器执行时执行如上的任一种报表生成方法的步骤。
最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。
此外,应该明白的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种报表生成方法,其特征在于,包括以下步骤:
获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;
从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;
对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;
对所述多个初始整合报表进行再次整合以得到多个最终所需报表。
2.如权利要求1所述的方法,其特征在于,获取多个数据库中的初始数据,进一步包括:
创建与目标库的表结构相同的临时表;
根据同步参数将所述多个数据库中的数据同步到所述临时表中;
响应于所述临时表中的数据的数量达到阈值,将所述临时表中的数据同步到所述目标库中。
3.如权利要求2所述的方法,其特征在于,还包括:
根据预设规则对所述目标库中的数据进行清洗。
4.如权利要求3所述的方法,其特征在于,根据预设规则对所述目标库中的数据进行清洗,进一步包括:
将所述目标库中的字段相同而时间戳不同的多条数据只保留最新的一条数据。
5.如权利要求1所述的方法,其特征在于,对所述多个明细报表中的数据进行初步整合得到多个初始整合报表,进一步包括:
根据预设字段对所述多个明细报表中的数据进行初步整合。
6.如权利要求1所述的方法,其特征在于,还包括:
创建多个索引并与对应的每一个最终所需报表映射。
7.如权利要求6所述的方法,其特征在于,还包括:
响应于接收到报表展示的请求,根据请求确定待展示的所述最终所需报表对应的索引;
根据所述对应的索引获取并图形化展示所述待展示的最终所需报表。
8.一种报表生成系统,其特征在于,包括:
获取模块,所述获取模块配置为获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题;
关联模块,所述关联模块配置为从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表;
第一整合模块,所述第一整合模块配置为对所述多个明细报表中的数据进行初步整合得到多个初始整合报表;
第二整合模块,所述第二整合模块配置为对所述多个初始整合报表进行再次整合以得到多个最终所需报表。
9.一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
CN202110121776.9A 2021-01-28 2021-01-28 一种报表生成方法、系统、设备以及介质 Pending CN112835881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110121776.9A CN112835881A (zh) 2021-01-28 2021-01-28 一种报表生成方法、系统、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110121776.9A CN112835881A (zh) 2021-01-28 2021-01-28 一种报表生成方法、系统、设备以及介质

Publications (1)

Publication Number Publication Date
CN112835881A true CN112835881A (zh) 2021-05-25

Family

ID=75932302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110121776.9A Pending CN112835881A (zh) 2021-01-28 2021-01-28 一种报表生成方法、系统、设备以及介质

Country Status (1)

Country Link
CN (1) CN112835881A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080275866A1 (en) * 2006-10-30 2008-11-06 Pragada Sreenivasa R Domain independent system and method of automating data aggregation and presentation
CN109471890A (zh) * 2018-10-16 2019-03-15 深圳壹账通智能科技有限公司 报表文件的生成方法、终端设备及介质
CN109669934A (zh) * 2018-12-11 2019-04-23 江苏瑞中数据股份有限公司 一种切合电力客服业务的数据仓库系统及其构建方法
CN109766338A (zh) * 2018-11-28 2019-05-17 杭州云为科技有限公司 自定义报表设计方法、电子设备、存储介质及系统
CN111158795A (zh) * 2019-12-24 2020-05-15 深圳壹账通智能科技有限公司 报表生成方法、装置、介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080275866A1 (en) * 2006-10-30 2008-11-06 Pragada Sreenivasa R Domain independent system and method of automating data aggregation and presentation
CN109471890A (zh) * 2018-10-16 2019-03-15 深圳壹账通智能科技有限公司 报表文件的生成方法、终端设备及介质
CN109766338A (zh) * 2018-11-28 2019-05-17 杭州云为科技有限公司 自定义报表设计方法、电子设备、存储介质及系统
CN109669934A (zh) * 2018-12-11 2019-04-23 江苏瑞中数据股份有限公司 一种切合电力客服业务的数据仓库系统及其构建方法
CN111158795A (zh) * 2019-12-24 2020-05-15 深圳壹账通智能科技有限公司 报表生成方法、装置、介质及电子设备

Similar Documents

Publication Publication Date Title
CN107402963B (zh) 搜索数据的构建方法、增量数据的推送方法及装置和设备
KR102005831B1 (ko) 범위-기반 검색을 위한 데이터 저장 관리
US8150888B2 (en) Automatic elimination of functional dependencies between columns
CN108959400B (zh) 银行系统历史数据清理方法及装置
US7552130B2 (en) Optimal data storage and access for clustered data in a relational database
CN107657049B (zh) 一种基于数据仓库的数据处理方法
CN103678494A (zh) 客户端同步服务端数据的方法及装置
CN106339274A (zh) 一种数据快照获取的方法及系统
CN107835983A (zh) 使用一致的数据库快照在分布式数据库中进行备份和还原
US10437853B2 (en) Tracking data replication and discrepancies in incremental data audits
WO2017151194A1 (en) Atomic updating of graph database index structures
CN111651519B (zh) 数据同步方法、数据同步装置、电子设备及存储介质
CN105808653A (zh) 一种基于用户标签系统的数据处理方法及装置
JPWO2008044542A1 (ja) 情報検索システムと情報検索方法ならびにプログラム
CN102722584B (zh) 数据存储系统及方法
CN105787058A (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
CN115858513A (zh) 数据治理方法、装置、计算机设备和存储介质
CN112527801A (zh) 关系型数据库与大数据系统间的数据同步方法及系统
CN109344226A (zh) 一种索引数据更新方法及装置
CN114925073A (zh) 支持灵活动态分片的分布式数据库架构及其实现方法
CN113094442A (zh) 全量数据同步方法、装置、设备和介质
CN103809915B (zh) 一种磁盘文件的读写方法和装置
CN112416944A (zh) 一种同步业务数据的方法和设备
CN112835881A (zh) 一种报表生成方法、系统、设备以及介质
CN102855288A (zh) 差异数据的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210525

RJ01 Rejection of invention patent application after publication