CN103345484B - 基于动态域的报表处理系统及方法 - Google Patents
基于动态域的报表处理系统及方法 Download PDFInfo
- Publication number
- CN103345484B CN103345484B CN201310248637.8A CN201310248637A CN103345484B CN 103345484 B CN103345484 B CN 103345484B CN 201310248637 A CN201310248637 A CN 201310248637A CN 103345484 B CN103345484 B CN 103345484B
- Authority
- CN
- China
- Prior art keywords
- data
- field
- file
- data source
- source file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于动态域的报表处理系统及其使用方法:数据存储装置,用于存储报表的数据源文件及报表配置文件;数据处理装置,用于从数据存储装置获得数据源文件及报表配置文件,对数据源文件进行字段重组;数据生成装置,用于从数据处理装置获得报表配置文件及数据源文件,对数据源文件进行特殊字段处理及数据拆分;数据管理装置,用于从数据生成装置获得报表配置文件及数据源文件;输入输出装置,用于接收用户的报表查询指令并传送至报表生成装置,接收报表生成装置返回的带数表样并展现给用户;报表生成装置,用于根据报表查询指令从数据管理装置获得数据源文件和报表配置文件,生成带数表样并传送至输入输出装置。可以提高报表展示效率。
Description
技术领域
本发明涉及报表数据处理技术领域,尤其涉及基于动态域的报表处理系统及方法。
背景技术
随着信息技术的不断发展,信息系统在企业生产经营中的重要性越来越高,反映企业经营的各类报表也越来越多,报表的逻辑与页面展示也越来越复杂,而业务人员对报表查询的效率要求也在不断提高。原来的报表多以单数据源为主,而今,特别是对于集团企业、跨国公司等大型企业单位,一张报表的数据域往往基于多个数据源(即将多个具有不同数据字段的数据文件作为数据源,按照各数据源的不同结构动态在一个报表内展现对应的不同表格样式)。由于每个数据源的数据量巨大,目前报表处理系统在进行多个数据源的报表处理中已经越来越不能满足效率要求,如何提高该类报表处理的效率成为各企业在不断深入研究的问题。
目前基于多个动态数据源的报表展现主要是通过报表工具中的子报表功能实现:每个子报表嵌套在一个报表(父报表)中,每个子报表使用一个含有明细数据的文件作为数据源,以达到每个子报表展现一个动态数据域,整个报表展现时则要需要进行多个数据源的关联。通过测试,该方法存在严重效率问题。
发明内容
本发明实施例提供一种基于动态域的报表处理系统,用以提高报表展示效率,该系统包括:
数据存储装置、数据处理装置、数据生成装置、数据管理装置、输入输出装置和报表生成装置;其中:
数据存储装置,与数据处理装置连接,用于存储报表的数据源文件及报表配置文件;
数据处理装置,与数据存储装置、数据生成装置连接,用于从数据存储装置获得数据源文件及报表配置文件,对数据源文件进行字段重组处理;
数据生成装置,与数据处理装置、数据管理装置连接,用于从数据处理装置获得报表配置文件及处理后的数据源文件,对数据源文件中的特殊字段进行处理,并按一定维度拆分数据源文件中的数据;
数据管理装置,与数据生成装置、报表生成装置连接,用于从数据生成装置获得报表展示所需的报表配置文件及数据源文件;
输入输出装置,与报表生成装置连接,用于接收用户的报表查询指令,将报表查询指令传送至报表生成装置,接收报表生成装置返回的带数表样,将带数表样展现给用户;
报表生成装置,与数据管理装置、输入输出装置连接,用于接收输入输出装置传送的报表查询指令,并根据报表查询指令从数据管理装置获得对应报表的数据源文件和报表配置文件,生成带数表样,将带数表样传送至输入输出装置。
一个实施例中,数据存储装置包括数据文件存储单元和参数文件存储单元,其中:
数据文件存储单元,与数据处理装置连接,用于存储报表的数据源文件,向数据处理装置提供存储的数据源文件;
参数文件存储单元,与数据处理装置连接,用于存储报表的报表配置文件,向数据处理装置提供存储的报表配置文件,报表配置文件中包括报表数据源配置项和报表字段配置项。
一个实施例中,数据处理装置包括参数读取单元、数据读取单元和模块样式处理单元,其中:
参数读取单元,与数据存储装置、数据读取单元和数据生成装置连接,用于从数据存储装置获得报表的报表配置文件,从报表配置文件中读取报表数据源配置项和报表字段配置项,从报表数据源配置项中获得报表所需的各个数据源文件属性,从报表字段配置项中获得报表多个动态域的各字段属性,向数据生成装置提供报表配置文件;
数据读取单元,与参数读取单元、数据存储装置和模块样式处理单元连接,用于从参数读取单元获得报表所需的各个数据源文件属性和报表多个动态域的各字段属性,根据报表所需的各个数据源文件属性和报表多个动态域的各字段属性从数据存储装置存储的对应数据源文件中读取报表各动态域字段数据;
模块样式处理单元,与数据读取单元和数据生成装置连接,用于从数据读取单元获得报表各动态域字段数据,对报表各动态域字段数据根据个性字段的属性值模块编号和样式编号对字段进行分类重组,向数据生成装置提供处理后的数据源文件。
一个实施例中,数据生成装置包括特殊字段判断单元、特殊字段处理单元、数据生成单元;其中:
特殊字段判断单元,与数据处理装置、特殊字段处理单元、数据生成单元和数据管理装置连接,用于从数据处理装置获得报表配置文件及处理后的数据源文件,判断报表配置文件中是否有需处理的特殊字段,若有,将数据源文件传送至特殊字段处理单元,并指明特殊字段对应数据及属性值;否则将数据源文件传送至数据生成单元;将报表配置文件输出至数据管理装置;
特殊字段处理单元,与特殊字段判断单元和数据生成单元连接,用于从特殊字段判断单元获得数据源文件,根据特殊字段对应属性值对特殊字段对应数据进行处理,将处理后的数据源文件传送至数据生成单元;
数据生成单元,与特殊字段判断单元、特殊字段处理单元和数据管理装置连接,用于按一定维度拆分数据源文件中的数据,生成文本文件格式的数据源文件,并输出至数据管理装置。
一个实施例中,数据管理装置包括报表表样存储单元和报表数据存储单元,其中:
报表表样存储单元,与数据生成装置、报表生成装置连接,用于从数据生成装置获得报表展示所需的报表配置文件,存储报表配置文件,向报表生成装置提供存储的报表配置文件;
报表数据存储单元,与数据生成装置、报表生成装置连接,用于从数据生成装置获得报表展示所需的数据源文件,存储数据源文件,向报表生成装置提供存储的数据源文件。
本发明实施例还提供一种上述基于动态域的报表处理系统的使用方法,用以提高报表展示效率,该方法包括:
数据处理装置从数据存储装置获得报表的数据源文件及报表配置文件,对数据源文件进行字段重组处理;
数据生成装置从数据处理装置获得报表配置文件及处理后的数据源文件,对数据源文件中的特殊字段进行处理,并按一定维度拆分数据源文件中的数据;
数据管理装置从数据生成装置获得报表展示所需的报表配置文件及数据源文件;
输入输出装置接收用户的报表查询指令,将报表查询指令传送至报表生成装置;
报表生成装置接收输入输出装置传送的报表查询指令,并根据报表查询指令从数据管理装置获得对应报表的数据源文件和报表配置文件,生成带数表样,将带数表样传送至输入输出装置;
输入输出装置接收报表生成装置返回的带数表样,将带数表样展现给用户。
一个实施例中,数据存储装置的数据文件存储单元存储报表的数据源文件;数据存储装置的参数文件存储单元存储报表的报表配置文件,报表配置文件中包括报表数据源配置项和报表字段配置项。
一个实施例中,数据处理装置从数据存储装置获得报表的数据源文件及报表配置文件,对数据源文件进行字段重组处理,包括:
数据处理装置的参数读取单元从数据存储装置获得报表的报表配置文件,从报表配置文件中读取报表数据源配置项和报表字段配置项,从报表数据源配置项中获得报表所需的各个数据源文件属性,从报表字段配置项中获得报表多个动态域的各字段属性;
数据处理装置的数据读取单元从参数读取单元获得报表所需的各个数据源文件属性和报表多个动态域的各字段属性,根据报表所需的各个数据源文件属性和报表多个动态域的各字段属性从数据存储装置存储的对应数据源文件中读取报表各动态域字段数据;
数据处理装置的模块样式处理单元从数据读取单元获得报表各动态域字段数据,对报表各动态域字段数据根据个性字段的属性值模块编号和样式编号对字段进行分类重组。
一个实施例中,数据生成装置从数据处理装置获得报表配置文件及处理后的数据源文件,对数据源文件中的特殊字段进行处理,并按一定维度拆分数据源文件中的数据,包括:
数据生成装置的特殊字段判断单元从数据处理装置获得报表配置文件及处理后的数据源文件,判断报表配置文件中是否有需处理的特殊字段,若有,将数据源文件传送至数据生成装置的特殊字段处理单元,并指明特殊字段对应数据及属性值;否则将数据源文件传送至数据生成装置的数据生成单元;
特殊字段处理单元从特殊字段判断单元获得数据源文件,根据特殊字段对应属性值对特殊字段对应数据进行处理,将处理后的数据源文件传送至数据生成单元;
数据生成单元按一定维度拆分数据源文件中的数据,生成文本文件格式的数据源文件。
一个实施例中,数据管理装置从数据生成装置获得报表展示所需的报表配置文件及数据源文件,包括:
数据管理装置的报表表样存储单元从数据生成装置获得报表展示所需的报表配置文件,存储报表配置文件;
数据管理装置的报表数据存储单元从数据生成装置获得报表展示所需的数据源文件,存储数据源文件。
本发明实施例中,通过报表模块化处理、数据字段重组等技术处理手段实现了报表多个数据域组合成一个数据域,既屏蔽了各个数据源文件的数据结构异构问题,又提高了报表展示效率,与现有的技术相比,其效果和优点体现在以下几个方面:
1、本发明实施例将报表各个数据字段进行了逻辑组合后进行数据处理,屏蔽了各个数据源文件的数据结构的异构问题,避免报表重复读取多个数据源,减少数据源连接时间。
2、本发明实施例的增加报表模块编号和样式编号充分利用了报表中的各个模块之间的数据共享性,使得报表各个模块的数据源能存储在一个文件中,降低了报表读取数据源的次数,大大的提高了报表展示效率。
3、本发明实施例实现了报表数据的格式化存储,有效减少数据冗余。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中基于动态域的报表处理系统的示意图;
图2为本发明实施例中基于动态域的报表处理系统的数据存储装置的具体实例的示意图;
图3为本发明实施例中基于动态域的报表处理系统的数据处理装置的具体实例的示意图;
图4为本发明实施例中基于动态域的报表处理系统的数据生成装置的具体实例示意图;
图5为本发明实施例中基于动态域的报表处理系统的数据管理装置的具体实例的示意图;
图6为本发明实施例中基于动态域的报表处理系统的使用方法流程图;
图7为本发明实施例中基于动态域的报表处理系统的使用方法的具体实例流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
图1为本发明实施例中基于动态域的报表处理系统的示意图。如图1所示,本发明实施例中基于动态域的报表处理系统可以包括:
数据存储装置1、数据处理装置2、数据生成装置3、数据管理装置4、输入输出装置5和报表生成装置6;其中:
数据存储装置1与数据处理装置2连接。数据存储装置1主要用于存储报表的数据源文件及报表配置文件。
数据处理装置2与数据存储装置1、数据生成装置3连接。数据处理装置2主要用于从数据存储装置1获得数据源文件及报表配置文件,对数据源文件进行字段重组处理。例如,数据处理装置2可以每日定时从数据存储装置1获取数据源文件和报表配置文件,并对报表的数据源文件进行字段重组处理,例如可以对报表的各个数据源文件提取共享字段与个性字段,然后对共享字段与个性字段进行重组,处理完成之后,传给数据生成装置3。
数据生成装置3与数据处理装置2、数据管理装置4连接。数据生成装置3用于从数据处理装置2获得报表配置文件及处理后的数据源文件,对数据源文件中的特殊字段进行处理,并按一定维度拆分数据源文件中的数据。数据生成装置3从数据处理装置2获取报表配置文件及处理后的数据源文件后,首先负责处理报表数据源文件中的特殊字段(例如:账号、金额字段),其次按一定的维度(例如:机构)拆分数据源文件中的数据,并将处理后的报表数据源文件(例如csv文本文件)和报表配置文件存储到数据管理装置4。
数据管理装置4与数据生成装置3、报表生成装置6连接。数据管理装置4从数据生成装置3获得报表展示所需的报表配置文件及数据源文件,存储报表展示所需的报表配置文件及数据源文件。
输入输出装置5与报表生成装置6连接。负责接收用户的报表查询指令,并将其传递给报表生成装置6,接收报表生成装置6返回的报表数据即带数表样,将其展现给用户。
报表生成装置6与数据管理装置4、输入输出装置5连接。负责接收输入输出装置5传递的报表查询指令,并根据报表查询指令从数据管理装置4获取该报表所需的数据源文件和报表配置文件,生成带数表样,将带数表样传给输入输出装置5。
实施时数据存储装置1、数据处理装置2和数据生成装置3可设于服务器中;数据管理装置4、输入输出装置5和报表生成装置6可设于客户端中。实施时,数据存储装置1、数据处理装置2、数据生成装置3、数据管理装置4、输入输出装置5或报表生成装置6可由能够完成其功能的设备实现,例如该设备可以是一个独立的实体;又如为了提高处理速度,该设备也可以是由如DSP(DigitalSignalProcessing,数字信号处理)芯片组等的实体组合实现,其中采用DSP实现时,可采用专用的DSP或通用的DSP实现,为了通用性好、节约成本,可以在通用DSP上利用软件实现专用DSP的功能。例如,数据存储装置1可由能够完成其功能的存储器实现,输入输出装置5可由能够完成其功能的输入输出设备实现。
图2为本发明实施例中基于动态域的报表处理系统的数据存储装置1的具体实例的示意图。如图2所示,在一具体实例中,数据存储装置1可以包括:数据文件存储单元101和参数文件存储单元102。
数据文件存储单元101与数据处理装置1连接,主要存储报表的数据源文件(例如:账户信息文件、提示信息文件、交易明细文件、积分信息文件等),向数据处理装置1提供存储的数据源文件;实施时数据文件存储单元101还可以存储字典表、币种表、机构参数表等。
参数文件存储单元102与数据处理装置1连接,主要存储报表的报表配置文件,向数据处理装置1提供存储的报表配置文件。报表配置文件中可以包括报表数据源配置项和报表字段配置项。其中,报表数据源配置项主要包含以下属性:报表数据源文件名称、数量、各文件总长度、文件格式;报表字段配置项主要包含以下属性:报表字段名称、长度、类型、类别(共享/个性)、所属数据文件名称、是否字符串、是否需要特殊处理、模块编号、样式编号、字段顺序号等。
类似的,数据文件存储单元101或参数文件存储单元102也可由能够完成其功能的设备实现,该设备也可以是一个独立的实体或由如DSP芯片组等的实体组合。
图3为本发明实施例中基于动态域的报表处理系统的数据处理装置2的具体实例的示意图。如图3所示,在一具体实例中,数据处理装置2可以包括:参数读取单元201、数据读取单元202及模块样式处理单元203。类似的,参数读取单元201、数据读取单元202或模块样式处理单元203也可由能够完成其功能的设备实现,该设备也可以是一个独立的实体或由如DSP芯片组等的实体组合。
参数读取单元201与数据存储装置1、数据读取单元202和数据生成装置3连接,用于从数据存储装置1获得报表的报表配置文件,从报表配置文件中读取报表数据源配置项和报表字段配置项,从报表数据源配置项中获得报表所需的各个数据源文件属性,从报表字段配置项中获得报表多个动态域的各字段属性,向数据生成装置3提供报表配置文件。例如,参数读取单元201每日定时启动,主要读取参数文件存储单元102中的报表数据源配置项和报表字段配置项,从报表数据源配置项中获取该报表所需的各个数据源文件属性;并从报表字段配置项中获取报表多个动态域的各字段属性,然后将这些属性值传给数据读取单元202。如:以某银行对账单为例,报表的动态域可以分为账户信息域、需还款明细域、交易汇总域、交易明细域、积分信息域和温馨提示域,共6个动态域。各动态域的共享、个性字段如下:
数据读取单元202与参数读取单元201、数据存储装置1和模块样式处理单元203连接,用于从参数读取单元201获得报表所需的各个数据源文件属性和报表多个动态域的各字段属性,根据报表所需的各个数据源文件属性和报表多个动态域的各字段属性从数据存储装置1存储的对应数据源文件中读取报表各动态域字段数据。数据读取单元202主要负责接收参数读取单元201传递的各属性值,根据各属性值中字段的名称、长度、类型、所属数据文件名称等信息,从数据文件存储单元101的对应数据源文件中读取各字段的数据,并将这些数据传给模块样式处理单元203。
模块样式处理单元203与数据读取单元202和数据生成装置3连接,负责接收数据读取单元202传递的报表各动态域字段数据,对报表各动态域字段数据根据个性字段的属性值模块编号和样式编号对字段进行分类重组,向数据生成装置3提供处理后的数据源文件。具体的,根据个性字段的属性值(模块编号+样式编号)对字段进行分类重组,即将属性值中的模块编号、样式编号相同的字段进行合并,结合原字段的长度、类型、字段顺序号生成一个新的字段,以避免各个数据文件字段的异构性。个性字段重组后展现成如下形式:
例如,某银行对账单的数据源文件有账户信息文件、提示信息文件、交易明细文件、积分信息文件,账户信息文件、交易明细文件和积分信息文件处理前后的数据举例如下:
账户信息文件原始数据:
处理后的数据:
在这个例子中,一个数据文件中的一条数据被拆分成同一个模块编号、不同样式编号的多条数据。
交易明细文件原始数据:
处理后的数据:
在这个例子中,一个数据文件中一条数据被转换成另一条数据,所不同的是,原来的多个字段由于模块编号和样式编号相同,被合并为一个大字段DATA。
账户信息文件原始数据:
积分信息文件原始数据:
处理后的数据:
在这个例子中,多个数据文件中一条数据被转换成多条数据,不同文件中相同模块编号和样式编号的字段会合并成一个大字段DATA。
图4为本发明实施例中基于动态域的报表处理系统的数据生成装置3的具体实例示意图。如图4所示,在一个具体实例中,数据生成装置3可以包括:特殊字段判断单元301、特殊字段处理单元302以及数据生成单元303。类似的,特殊字段判断单元301、特殊字段处理单元302或数据生成单元303也可由能够完成其功能的设备实现,该设备也可以是一个独立的实体或由如DSP芯片组等的实体组合。
特殊字段判断单元301与数据处理装置2、特殊字段处理单元302、数据生成单元303和数据管理装置4连接,主要用于从数据处理装置2获得报表配置文件及处理后的数据源文件,判断报表配置文件中是否有需处理的特殊字段,若有,将数据源文件传送至特殊字段处理单元302,并指明特殊字段对应数据及属性值;否则将数据源文件传送至数据生成单元303;将报表配置文件输出至数据管理装置4;
特殊字段处理单元302与特殊字段判断单元301和数据生成单元303连接,负责接收特殊字段判断单元301传递的数据源文件,根据特殊字段对应属性值对特殊字段对应数据进行处理,例如根据属性值中不同的字典代码,对对应字段的数据进行相应的格式处理;特殊字段处理单元302将处理后的数据源文件传入数据生成单元303。是否需要特殊处理属性项字典值及其处理方法举例如下:
上例中,交易明细文件数据经特殊字段处理后展现如下:
账户信息文件、积分信息文件经特殊字段处理后展现如下:
数据生成单元303与特殊字段判断单元301、特殊字段处理单元302和数据管理装置4连接,从特殊字段判断单元301和特殊字段处理单元302接收数据源文件,按一定维度拆分数据源文件中的数据,生成文本文件格式的数据源文件,例如根据机构参数表,将重组后的个性字段、共享字段、模块编号值、样式编号值按机构粒度拆分,生成文本文件,并输出到数据管理装置4中。
图5为本发明实施例中基于动态域的报表处理系统的数据管理装置4的具体实例的示意图。如图5所示,在一个具体实例中,数据管理装置4可以包括:报表表样存储单元401和报表数据存储单元402。类似的,报表表样存储单元401或报表数据存储单元402也可由能够完成其功能的设备实现,该设备也可以是一个独立的实体或由如DSP芯片组等的实体组合。
报表表样存储单元401与数据生成装置3、报表生成装置6连接,用于从数据生成装置3获得报表展示所需的报表配置文件,存储报表配置文件,向报表生成装置6提供存储的报表配置文件。报表配置文件中报表字段配置项可包括报表展示的样式,例如可以是RPT文件(水晶报表文件)。
报表数据存储单元402与数据生成装置3、报表生成装置6连接,用于从数据生成装置3获得报表展示所需的数据源文件,存储数据源文件,向报表生成装置6提供存储的数据源文件。数据源文件中主要是存储报表展示所需的数据,可以是CSV文件。报表的RPT文件读取数据源(CSV文件)即可展示报表。
由上述实施例可以得知,本发明实施例为克服目前基于多个动态数据域的报表需多次链接数据源获取数据的问题,提出的基于动态域的报表处理系统,通过重组字段,屏蔽了各个数据源文件的数据结构异构问题;报表仅需要连接一个文件作为数据源,避免了使用子报表每生成一页账单时都需要重新连接多个数据文件而产生的效率问题;具体实例中可以为每一行对账单数据增加报表模块编号和样式编号,各文件的处理结果全部存储在同一个CSV文件中;具体实例中在报表打印和预览时,根据每行数据对应的报表模块编号和样式编号选择打印格式,满足业务要求的多个数据域根据客户的信用卡使用情况进行组合,并且不同的数据域内的行格式根据实际数据对应的要求进行展现。具体的,根据报表数据域的逻辑定义,提取各个数据域的数据字段进行重组,生成报表数据文件的新结构,以满足报表展示。数据处理装置读取配置项,获得各字段属性,解析后从数据存储装置读取数据,并由数据生成装置对报表的模块与样式结构进行重新生成,将处理后的数据源文件存储在数据管理装置中,用户通过输入输出装置给出报表查询指令,报表生成装置接受指令后,将数据源文件结合报表配置文件,最终把生成的带数表样返回给输入输出装置,供用户浏览。
图6为本发明实施例中基于动态域的报表处理系统的使用方法流程图。如图6所示,本发明实施例中基于动态域的报表处理系统的使用方法可以包括:
步骤601、数据处理装置从数据存储装置获得报表的数据源文件及报表配置文件,对数据源文件进行字段重组处理;具体可以包括:
数据处理装置的参数读取单元从数据存储装置获得报表的报表配置文件,从报表配置文件中读取报表数据源配置项和报表字段配置项,从报表数据源配置项中获得报表所需的各个数据源文件属性,从报表字段配置项中获得报表多个动态域的各字段属性;
数据处理装置的数据读取单元从参数读取单元获得报表所需的各个数据源文件属性和报表多个动态域的各字段属性,根据报表所需的各个数据源文件属性和报表多个动态域的各字段属性从数据存储装置存储的对应数据源文件中读取报表各动态域字段数据;
数据处理装置的模块样式处理单元从数据读取单元获得报表各动态域字段数据,对报表各动态域字段数据根据个性字段的属性值模块编号和样式编号对字段进行分类重组。
具体的,数据存储装置的数据文件存储单元存储报表的数据源文件;数据存储装置的参数文件存储单元存储报表的报表配置文件,报表配置文件中包括报表数据源配置项和报表字段配置项。
步骤602、数据生成装置从数据处理装置获得报表配置文件及处理后的数据源文件,对数据源文件中的特殊字段进行处理,并按一定维度拆分数据源文件中的数据;具体可以包括:
数据生成装置的特殊字段判断单元从数据处理装置获得报表配置文件及处理后的数据源文件,判断报表配置文件中是否有需处理的特殊字段,若有,将数据源文件传送至数据生成装置的特殊字段处理单元,并指明特殊字段对应数据及属性值;否则将数据源文件传送至数据生成装置的数据生成单元;
特殊字段处理单元从特殊字段判断单元获得数据源文件,根据特殊字段对应属性值对特殊字段对应数据进行处理,将处理后的数据源文件传送至数据生成单元;
数据生成单元按一定维度拆分数据源文件中的数据,生成文本文件格式的数据源文件。
步骤603、数据管理装置从数据生成装置获得报表展示所需的报表配置文件及数据源文件;具体可以包括:
数据管理装置的报表表样存储单元从数据生成装置获得报表展示所需的报表配置文件,存储报表配置文件;
数据管理装置的报表数据存储单元从数据生成装置获得报表展示所需的数据源文件,存储数据源文件。
步骤604、输入输出装置接收用户的报表查询指令,将报表查询指令传送至报表生成装置。
步骤605、报表生成装置接收输入输出装置传送的报表查询指令,并根据报表查询指令从数据管理装置获得对应报表的数据源文件和报表配置文件,生成带数表样,将带数表样传送至输入输出装置。
步骤606、输入输出装置接收报表生成装置返回的带数表样,将带数表样展现给用户。
图7为本发明实施例中基于动态域的报表处理系统的使用方法的具体实例流程图。如图7所示,本例方法可以包括:
步骤700、数据处理装置每日定时接受数据处理指令。
步骤701、数据处理装置的参数读取单元读取数据存储装置的参数文件存储单元中的报表配置文件的数据源配置项和报表字段配置项,获取数据源文件属性和报表字段属性,并将这些属性值传给数据处理装置的数据读取单元,向数据生成装置提供报表配置文件。
步骤702、数据处理装置的数据读取单元接收数据处理装置的参数读取单元传递的各属性值,从数据存储装置的数据文件存储单元的对应数据源文件中读取各字段的数据,并将这些数据传给数据处理装置的模块样式处理单元。
步骤703、数据处理装置的模块样式处理单元将模块编号、样式编号相同的字段进行重组,生成一个新的字段,并将该字段数据和模块编号值、样式编号值、及共享字段数据传给数据生成装置。
步骤704、数据生成装置的特殊字段判断单元接受接收数据处理装置传递的数据及报表配置文件后,将报表配置文件输出至数据管理装置;判断报表配置文件中是否有需处理的特殊字段,如无,将数据源文件传给数据生成装置的数据生成单元,跳转至步骤705;如有,将数据源文件传送至数据生成装置的特殊字段处理单元,并指明特殊字段对应数据及属性值,跳转至步骤706。
步骤705、数据生成装置的特殊字段处理单元接收特殊字段判断单元传递的数据和属性值,对该字段的数据进行特殊处理,并将处理后的数据传入数据生成单元。
步骤706,数据生成单元从特殊字段判断单元和特殊字段处理单元接收数据,根据机构参数表数据进行拆分,以文本文件的形式保存至数据管理装置。
步骤707、用户通过输入输出装置发起报表查询指令。
步骤708、报表生成装置接收报表查询指令后,读取报表表样存储单元中的报表配置文件和报表数据存储单元中处理后的数据源文件,生成带数表样并传给输入输出装置。
步骤709、输入输出装置接收报表生成装置提供的带数表样后展现给用户。
以下是一个实例:
以某银行牡丹个人卡统一对账单为例,该报表涉及的数据源文件包括:
1、账户信息文件
2、交易明细文件
3、提示信息文件
4、贷记卡交易明细文件
5、准贷记卡交易明细文件
该报表生成的流程如下:
步骤1、数据处理装置获取数据存储装置中报表数据源配置项和报表字段配置项属性(包括共享字段与个性字段),共享字段有发卡机构、客户编号、账号、卡号、账单年月,个性字段进行重组拼接。
步骤2、数据生成装置将特殊字段(实例中为日期、币种、账号、各交易金额字段)处理后,获取数据并按机构拆分生成CSV文件,存储至数据管理装置。
步骤3、各数据域取数逻辑:
比如:
1)账户信息域:取模块为A的数据:
3(邮编)
4(寄送地址)
5(客户姓名)
其中,客户姓名取样式为1的数据字段;寄送地址取样式为2的数据字段;邮编取样式为3的数据字段。
2)需还款明细域:取模块为B的数据
其中,明细行取样式为1的数据字段;合计行取样式为2的数据字段;备注行取样式为3的数据字段;
3)交易汇总域:取模块为C的数据
其中人民币明细行取样式为1的数据字段;人民币合计行取样式为2的数据字段;外币明细行取样式为3的数据字段;
4)交易明细域、积分信息域、温馨提示域等其他模块类似。
步骤4、业务人员可以通过输入输出装置查看报表。
综上所述,本发明实施例提供的基于动态域的报表处理系统及其使用方法,通过报表模块化处理、数据字段重组等技术处理手段实现了报表多个数据域组合成一个数据域,既屏蔽了各个数据源文件的数据结构异构问题,又提高了报表展示效率,与现有的技术相比,其效果和优点体现在以下几个方面:
1、本发明实施例将报表各个数据字段进行了逻辑组合后进行数据处理,屏蔽了各个数据源文件的数据结构的异构问题,避免报表重复读取多个数据源,减少数据源连接时间。
2、本发明实施例的增加报表模块编号和样式编号充分利用了报表中的各个模块之间的数据共享性,使得报表各个模块的数据源能存储在一个文件中,降低了报表读取数据源的次数,大大的提高了报表展示效率。
3、本发明实施例实现了报表数据的格式化存储,有效减少数据冗余。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于动态域的报表处理系统,其特征在于,包括:
数据存储装置、数据处理装置、数据生成装置、数据管理装置、输入输出装置和报表生成装置;其中:
数据存储装置,与数据处理装置连接,用于存储报表的数据源文件及报表配置文件;
数据处理装置,与数据存储装置、数据生成装置连接,用于从数据存储装置获得数据源文件及报表配置文件,对数据源文件进行字段重组处理;
数据生成装置,与数据处理装置、数据管理装置连接,用于从数据处理装置获得报表配置文件及字段重组后的数据源文件,对字段重组后的数据源文件中的特殊字段进行处理,并按一定维度拆分经字段重组及特殊字段处理后的数据源文件中的数据;
数据管理装置,与数据生成装置、报表生成装置连接,用于从数据生成装置获得报表展示所需的报表配置文件及经字段重组、特殊字段处理及维度拆分后的数据源文件;
输入输出装置,与报表生成装置连接,用于接收用户的报表查询指令,将报表查询指令传送至报表生成装置,接收报表生成装置返回的带数表样,将带数表样展现给用户;
报表生成装置,与数据管理装置、输入输出装置连接,用于接收输入输出装置传送的报表查询指令,并根据报表查询指令从数据管理装置获得对应报表的经字段重组、特殊字段处理及维度拆分后的数据源文件和报表配置文件,生成带数表样,将带数表样传送至输入输出装置。
2.如权利要求1所述的基于动态域的报表处理系统,其特征在于,数据存储装置包括数据文件存储单元和参数文件存储单元,其中:
数据文件存储单元,与数据处理装置连接,用于存储报表的数据源文件,向数据处理装置提供存储的数据源文件;
参数文件存储单元,与数据处理装置连接,用于存储报表的报表配置文件,向数据处理装置提供存储的报表配置文件,报表配置文件中包括报表数据源配置项和报表字段配置项。
3.如权利要求1所述的基于动态域的报表处理系统,其特征在于,数据处理装置包括参数读取单元、数据读取单元和模块样式处理单元,其中:
参数读取单元,与数据存储装置、数据读取单元和数据生成装置连接,用于从数据存储装置获得报表的报表配置文件,从报表配置文件中读取报表数据源配置项和报表字段配置项,从报表数据源配置项中获得报表所需的各个数据源文件属性,从报表字段配置项中获得报表多个动态域的各字段属性,向数据生成装置提供报表配置文件;
数据读取单元,与参数读取单元、数据存储装置和模块样式处理单元连接,用于从参数读取单元获得报表所需的各个数据源文件属性和报表多个动态域的各字段属性,根据报表所需的各个数据源文件属性和报表多个动态域的各字段属性从数据存储装置存储的对应数据源文件中读取报表各动态域字段数据;
模块样式处理单元,与数据读取单元和数据生成装置连接,用于从数据读取单元获得报表各动态域字段数据,根据个性字段的属性值模块编号和样式编号对报表各动态域字段数据进行分类重组,向数据生成装置提供字段重组后的数据源文件。
4.如权利要求1所述的基于动态域的报表处理系统,其特征在于,数据生成装置包括特殊字段判断单元、特殊字段处理单元、数据生成单元;其中:
特殊字段判断单元,与数据处理装置、特殊字段处理单元、数据生成单元和数据管理装置连接,用于从数据处理装置获得报表配置文件及字段重组后的数据源文件,判断报表配置文件中是否有需处理的特殊字段,若有,将字段重组后的数据源文件传送至特殊字段处理单元,并指明特殊字段对应数据及属性值;否则将字段重组后的数据源文件传送至数据生成单元;将报表配置文件输出至数据管理装置;
特殊字段处理单元,与特殊字段判断单元和数据生成单元连接,用于从特殊字段判断单元获得字段重组后的数据源文件,根据特殊字段对应属性值对特殊字段对应数据进行处理,将经字段重组及特殊字段处理后的的数据源文件传送至数据生成单元;
数据生成单元,与特殊字段判断单元、特殊字段处理单元和数据管理装置连接,用于按一定维度拆分经字段重组及特殊字段处理后的数据源文件中的数据,生成文本文件格式的数据源文件,并输出至数据管理装置。
5.如权利要求1所述的基于动态域的报表处理系统,其特征在于,数据管理装置包括报表表样存储单元和报表数据存储单元,其中:
报表表样存储单元,与数据生成装置、报表生成装置连接,用于从数据生成装置获得报表展示所需的报表配置文件,存储报表配置文件,向报表生成装置提供存储的报表配置文件;
报表数据存储单元,与数据生成装置、报表生成装置连接,用于从数据生成装置获得报表展示所需的经过字段重组、特殊字段处理及维度拆分后的数据源文件,存储经过字段重组、特殊字段处理及维度拆分后的数据源文件,向报表生成装置提供存储的经过字段重组、特殊字段处理及维度拆分后的数据源文件。
6.一种权利要求1至5任一项所述基于动态域的报表处理系统的使用方法,其特征在于,包括:
数据处理装置从数据存储装置获得报表的数据源文件及报表配置文件,对数据源文件进行字段重组处理;
数据生成装置从数据处理装置获得报表配置文件及字段重组后的数据源文件,对字段重组后的数据源文件中的特殊字段进行处理,并按一定维度拆分经字段重组及特殊字段处理后的数据源文件中的数据;
数据管理装置从数据生成装置获得报表展示所需的报表配置文件和经过字段重组、特殊字段处理及维度拆分后的数据源文件;
输入输出装置接收用户的报表查询指令,将报表查询指令传送至报表生成装置;
报表生成装置接收输入输出装置传送的报表查询指令,并根据报表查询指令从数据管理装置获得对应报表的经过字段重组、特殊字段处理及维度拆分后的数据源文件和报表配置文件,生成带数表样,将带数表样传送至输入输出装置;
输入输出装置接收报表生成装置返回的带数表样,将带数表样展现给用户。
7.如权利要求6所述的方法,其特征在于,数据存储装置的数据文件存储单元存储报表的数据源文件;数据存储装置的参数文件存储单元存储报表的报表配置文件,报表配置文件中包括报表数据源配置项和报表字段配置项。
8.如权利要求6所述的方法,其特征在于,数据处理装置从数据存储装置获得报表的数据源文件及报表配置文件,对数据源文件进行字段重组处理,包括:
数据处理装置的参数读取单元从数据存储装置获得报表的报表配置文件,从报表配置文件中读取报表数据源配置项和报表字段配置项,从报表数据源配置项中获得报表所需的各个数据源文件属性,从报表字段配置项中获得报表多个动态域的各字段属性;
数据处理装置的数据读取单元从参数读取单元获得报表所需的各个数据源文件属性和报表多个动态域的各字段属性,根据报表所需的各个数据源文件属性和报表多个动态域的各字段属性从数据存储装置存储的对应数据源文件中读取报表各动态域字段数据;
数据处理装置的模块样式处理单元从数据读取单元获得报表各动态域字段数据,根据个性字段的属性值模块编号和样式编号对报表各动态域字段数据进行分类重组。
9.如权利要求6所述的方法,其特征在于,数据生成装置从数据处理装置获得报表配置文件及字段重组后的数据源文件,对字段重组后的数据源文件中的特殊字段进行处理,并按一定维度拆分经字段重组及特殊字段处理后的数据源文件中的数据,包括:
数据生成装置的特殊字段判断单元从数据处理装置获得报表配置文件及字段重组后的数据源文件,判断报表配置文件中是否有需处理的特殊字段,若有,将字段重组后的数据源文件传送至数据生成装置的特殊字段处理单元,并指明特殊字段对应数据及属性值;否则将字段重组后的数据源文件传送至数据生成装置的数据生成单元;
特殊字段处理单元从特殊字段判断单元获得字段重组后的数据源文件,根据特殊字段对应属性值对特殊字段对应数据进行处理,将经字段重组及特殊字段处理后的数据源文件传送至数据生成单元;
数据生成单元按一定维度拆分经字段重组及特殊字段处理后的数据源文件中的数据,生成文本文件格式的数据源文件。
10.如权利要求6所述的方法,其特征在于,数据管理装置从数据生成装置获得报表展示所需的报表配置文件和经过字段重组、特殊字段处理及维度拆分后的数据源文件,包括:
数据管理装置的报表表样存储单元从数据生成装置获得报表展示所需的报表配置文件,存储报表配置文件;
数据管理装置的报表数据存储单元从数据生成装置获得报表展示所需的经过字段重组、特殊字段处理及维度拆分后的数据源文件,存储经过字段重组、特殊字段处理及维度拆分后的数据源文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310248637.8A CN103345484B (zh) | 2013-06-21 | 2013-06-21 | 基于动态域的报表处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310248637.8A CN103345484B (zh) | 2013-06-21 | 2013-06-21 | 基于动态域的报表处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103345484A CN103345484A (zh) | 2013-10-09 |
CN103345484B true CN103345484B (zh) | 2016-06-22 |
Family
ID=49280279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310248637.8A Active CN103345484B (zh) | 2013-06-21 | 2013-06-21 | 基于动态域的报表处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103345484B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104750714A (zh) * | 2013-12-30 | 2015-07-01 | 中国银联股份有限公司 | 文件生成系统及方法 |
CN103853830B (zh) * | 2014-03-10 | 2018-05-18 | 浪潮通用软件有限公司 | 一种支持多成本对象类型的成本资料开放数据源的设计方法 |
CN104866589B (zh) * | 2015-05-28 | 2018-06-15 | 北京京东尚科信息技术有限公司 | 数据报表的生成方法和装置 |
CN105930325B (zh) * | 2015-11-19 | 2019-05-24 | 中国银联股份有限公司 | 一种文件报表比对差异的逆向分析方法及装置 |
CN105761139A (zh) * | 2016-02-04 | 2016-07-13 | 上海携程商务有限公司 | 对账系统及方法 |
CN105893634A (zh) * | 2016-06-17 | 2016-08-24 | 中国银行股份有限公司 | 一种报表生成方法及装置 |
CN106777398A (zh) * | 2017-03-02 | 2017-05-31 | 北京微影时代科技有限公司 | 一种csv文件的生成方法及装置 |
CN106934021B (zh) * | 2017-03-10 | 2020-06-23 | 深圳市科脉技术股份有限公司 | 模块化封装报表的处理方法和系统 |
CN107679096B (zh) * | 2017-09-08 | 2020-06-05 | 北京京东尚科信息技术有限公司 | 数据集市间指标共享的方法和装置 |
CN108427663B (zh) * | 2017-09-30 | 2020-08-04 | 平安科技(深圳)有限公司 | 电子装置、页面表格数据的处理方法及存储介质 |
CN107895034A (zh) * | 2017-11-27 | 2018-04-10 | 安徽思帕德信息技术有限公司 | 一种数据单元输入与综合输出方法 |
CN108415994B (zh) * | 2018-02-13 | 2021-03-02 | 北京天元创新科技有限公司 | 一种网络管理系统报表生成方法、装置和设备 |
CN108595681B (zh) * | 2018-05-02 | 2020-12-18 | 恒生电子股份有限公司 | 用于表单展示的方法、装置及系统 |
CN108763386B (zh) * | 2018-05-19 | 2022-02-18 | 国云科技股份有限公司 | 基于nosql的多类型报表数据共享装置及其实现方法 |
CN108984499B (zh) * | 2018-06-01 | 2022-05-31 | 北京五八信息技术有限公司 | 报表数据处理方法和装置、电子设备和可读存储介质 |
CN109739914A (zh) * | 2018-12-25 | 2019-05-10 | 斑马网络技术有限公司 | 多数据源的处理方法、装置、设备及计算机可读存储介质 |
CN113239125B (zh) * | 2021-04-14 | 2024-02-09 | 深圳市数商时代科技有限公司 | 数据展示方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101071416A (zh) * | 2007-07-02 | 2007-11-14 | 华为技术有限公司 | 报表模板生成系统、开发工具、开发方法和报表客户端 |
CN101308490A (zh) * | 2008-04-28 | 2008-11-19 | 北京航空航天大学 | 一种动态报表生成方法及平台 |
CN101620591A (zh) * | 2009-08-12 | 2010-01-06 | 国网电力科学研究院 | 一种基于单元格方式的组件化报表布局设计方法 |
CN101876970A (zh) * | 2009-12-22 | 2010-11-03 | 金蝶软件(中国)有限公司 | 一种合并报表方法和装置 |
-
2013
- 2013-06-21 CN CN201310248637.8A patent/CN103345484B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101071416A (zh) * | 2007-07-02 | 2007-11-14 | 华为技术有限公司 | 报表模板生成系统、开发工具、开发方法和报表客户端 |
CN101308490A (zh) * | 2008-04-28 | 2008-11-19 | 北京航空航天大学 | 一种动态报表生成方法及平台 |
CN101620591A (zh) * | 2009-08-12 | 2010-01-06 | 国网电力科学研究院 | 一种基于单元格方式的组件化报表布局设计方法 |
CN101876970A (zh) * | 2009-12-22 | 2010-11-03 | 金蝶软件(中国)有限公司 | 一种合并报表方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103345484A (zh) | 2013-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103345484B (zh) | 基于动态域的报表处理系统及方法 | |
US10534843B2 (en) | Document architecture with efficient storage | |
CN110321113B (zh) | 以项目批次为标准的一体化流水线系统及其工作方法 | |
US20130297557A1 (en) | Column based data transfer in extract, transform and load (etl) systems | |
CN102799690A (zh) | 一种利用数据库技术校验网页输入的方法 | |
CN110471949A (zh) | 数据血缘分析方法、装置、系统、服务器及存储介质 | |
CN102810057A (zh) | 一种记录日志的方法 | |
CN111400387B (zh) | 导入导出数据的转换方法、装置、终端设备及存储介质 | |
US20090259664A1 (en) | Infrastructure and Architecture for Development and Execution of Predictive Models | |
US11170022B1 (en) | Method and device for processing multi-source heterogeneous data | |
CN106446184A (zh) | 业务系统数据处理方法及装置 | |
CN109981322A (zh) | 基于标签的云资源管理的方法和装置 | |
CN110737630A (zh) | 电子归档文件的处理方法、装置、计算机设备及存储介质 | |
CN106648569A (zh) | 目标序列化实现方法和装置 | |
CN103077192A (zh) | 一种数据处理方法及其系统 | |
CN103326930A (zh) | 开放平台接口自动巡检方法和系统 | |
US8229946B1 (en) | Business rules application parallel processing system | |
CN116993523A (zh) | 配置化对账方法、装置、设备及存储介质 | |
CN109740130B (zh) | 用于生成文件的方法和装置 | |
CN115391343A (zh) | 账单数据处理方法、装置、电子设备和存储介质 | |
CN114357967A (zh) | 一种票据文件的解析方法和装置 | |
CN114186958A (zh) | 将列表数据导出为电子表格的方法、计算设备及存储介质 | |
CN112181817A (zh) | 用于soa架构平台的测试方法及测试装置 | |
CN105389295A (zh) | 一种卡片个人化的数据处理方法及系统 | |
CN101866334A (zh) | Qfii业务中ca信息报文的生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |