CN103699618A - 数据报表的生成方法和系统 - Google Patents

数据报表的生成方法和系统 Download PDF

Info

Publication number
CN103699618A
CN103699618A CN201310695996.8A CN201310695996A CN103699618A CN 103699618 A CN103699618 A CN 103699618A CN 201310695996 A CN201310695996 A CN 201310695996A CN 103699618 A CN103699618 A CN 103699618A
Authority
CN
China
Prior art keywords
data
distributed
report
subtask
form subtask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310695996.8A
Other languages
English (en)
Other versions
CN103699618B (zh
Inventor
向玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtron Group Co Ltd
Original Assignee
Vtron Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtron Technologies Ltd filed Critical Vtron Technologies Ltd
Priority to CN201310695996.8A priority Critical patent/CN103699618B/zh
Publication of CN103699618A publication Critical patent/CN103699618A/zh
Application granted granted Critical
Publication of CN103699618B publication Critical patent/CN103699618B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries

Abstract

本发明公开了一种数据报表的生成方法和系统,所述方法包括:将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据;通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表;将各个所述子报表合并为与所述报表生成任务对应的报表。实施本发明的方法和系统,可同时提高海量数据生成报表时的数据读取速率和报表生成速率。

Description

数据报表的生成方法和系统
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据报表的生成方法和系统。
背景技术
随着社会及经济的发展,银行业务不断的增加及扩展。而随之出现的就是银行数据的海量增加。目前将海量的银行数据存储在数据库,生成报表时,报表系统从数据库中获取所有银行数据后再生成对应的报表。
但是,数据库存储海量数据后,数据库表的性能效率非常底,致使海量银行业务数据的存储不安全,同时在生成报表时,海量银行数据的获取会耗费大量时间,效率极低,无法满足业务要求。
发明内容
基于此,有必要针对现有数据报表的生成技术,获取海量数据耗时,报表生成效率低的问题,提供一种数据报表的生成方法和系统。
一种数据报表的生成方法,包括以下步骤:
将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据;
通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表;
将各个所述子报表合并为与所述报表生成任务对应的报表。
一种数据报表的生成系统,包括:
转换模块,用于将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据;
子报表模块,用于通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表;
报表模块,用于将各个所述子报表合并为与所述报表生成任务对应的报表。
以上所述的数据报表的生成方法和系统,通过将报表生成任务转换为两组以上的报表子任务,使不同的分布式服务器各自从所述分布式数据库中获取对应的数据,通过分布式系统的分布式服务器的索引机制可从分布式数据库中快速获取对应的数据,不同的分布式服务器对各自获取的数据,可进一步加快对获取的数据的处理速度,最后将各个所述子报表合并为与所述报表生成任务对应的报表。可同时提高海量数据生成报表时的数据读取速率和报表生成速率。
附图说明
图1是本发明数据报表的生成方法第一实施方式的流程示意图;
图2是本发明数据报表的生成方法第二实施方式的流程示意图;
图3是本发明数据报表的生成系统第一实施方式的结构示意图。
具体实施方式
请参阅图1,图1是本发明数据报表的生成方法第一实施方式的流程示意图。
本实施方式的所述数据报表的生成方法包括以下步骤:
步骤101,将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据。
步骤102,通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表。
步骤103,将各个所述子报表合并为与所述报表生成任务对应的报表。
本实施方式的数据报表的生成方法,通过将报表生成任务转换为两组以上的报表子任务,使不同的分布式服务器各自从所述分布式数据库中获取对应的数据,通过分布式系统的分布式服务器的索引机制可从分布式数据库中快速获取对应的数据,不同的分布式服务器对各自获取的数据,可进一步加快对获取的数据的处理速度,最后将各个所述子报表合并为与所述报表生成任务对应的报表。可同时提高海量数据生成报表时的数据读取速率和报表生成速率。
其中,对于步骤101,所述分布式系统用于通过其内的分布式数据库分布存储所述报表数据,所述报表数据优选地为生成报表所需的数据,所述报表生成任务包括用于将所述报表数据生成所述报表的任务指令。不同报表子任务优选地可对应所述报表数据的不同部分,合并所有报表子任务即为所述报表生成任务。每组报表子任务所对应的数据量可不同,如:所述报表数据为1至12月的天气预报数据,可将所述报表生成任务分为三组报表子任务,第一组报表子任务对应1-4月的天气预报数据,第二组报表子任务对应5-7月的天气预报数据,第三组报表子任务对应8-12月的天气预报数据。
优选地,对所述报表生成任务执行转换操作的可以是所述分布式系统的主服务器。在转换所述报表生成任务时,可根据所述报表数据的数据量确定处理所述报表数据所需的分布式服务器的数目,将报表生成任务转换为所确定的组数的报表子任务。
进一步地,还可以根据所述报表数据在所述分布式系统中的存储地址(分布式数据库地址),确定所述报表子任务的组数和各组报表子任务所对应的报表数据量。一组报表子任务所对应的报表数据,优选地可对应一个分布式数据库或分布式服务器。
在其他实施方式中,也可以使多组报表子任务所对应的报表数据,对应一个分布式数据库。还可以采取本领域技术人员惯用的其他技术手段将所述报表生成任务转换为多组所述报表子任务。
在一个实施例中,在所述将报表生成任务转换为两组以上的报表子任务的步骤之前包括以下步骤:
获取与所述报表数据对应的各业务系统生成的数据,并根据与所述报表数据的数据特性对应的存储顺序,将获取的数据存储到所述分布式系统内的至少两个所述分布式数据库内。
其中,所述业务系统优选地为银行业务系统,所述业务系统生成海量数据,所述分布式系统通过分布式存储模式对获取的数据进行存储。
优选地,所述分布式系统可具体为Hadoop平台,所述分布式数据库为HBase,所述对获取的数据做分布式数据库存储,即实现HBase集群数据库。
进一步地,Hadoop平台对银行业务系统生成的海量数据的分布式存储过程具体如下:
银行业务系统将生成的海量数据传输到应用服务器,应用服务器对海量数据进行格式处理后,传送到Hadoop平台,HBase主节点机将海量数据按ROWKEY顺序和/或预设顺序,均衡的分配到各个HBase节点机中,实现HBase数据库集群。
优选地,所述预设的顺序根据海量数据的数据特性设定,主要用于将海量数据均衡的存储到多个分布式数据库中,所述HBase实际存储数据是采用HDFS存储。通过HDFS存储,根据平台备份机制,可提高海量数据的安全性。
在另一个实施例中,所述将报表生成任务转换为两组以上的报表子任务的步骤包括以下步骤:
客户端发送报表生成请求到应用服务器。
应用服务器判断所述报表生成请求格式是否正确,若不是,则判定所述报表生成请求为无效或错误请求,直接返回错误信息并结束。
若是则把与所述报表生成请求对应的报表生成数据包以任务格式(报表生成任务)发送到Hadoop平台。
Hadoop平台的主节点机(NameNode)在接收到任务格式的数据包后,把任务数据包解析并根据报表任务的存储地址,把任务格式的数据包划分成多组报表子任务,并且通过Hadoop平台下MapReduce的分配任务机制,找出存储有与每组报表子任务对应的报表数据的数据库对应的本地节点机,并把子任务分别发送给各节点机。
优选地,一组报表子任务对应一个存储地址内存储的报表数据,当存储所有报表数据的数据库的数量较少时,也可分配多组报表子任务,使接收其中一些报表子任务分配到本地数据库未存储所述报表数据的节点机。
对于步骤102,优选地,可根据预先设定的对应关系,查找与各组报表子任务对应的分布式服务器,还可以根据各报表子任务所携带的特征标识,查找与该特征标识匹配的分布式服务器,所述特征标识优选地可以是与所述报表子任务对应的报表数据的存储信息或所述对应的报表数据的特征标识。
在一个实施例中,当上述应用服务器将所述报表生成任务转换为多组所述报表子任务时,在所述将报表生成任务转换为两组以上的报表子任务的步骤之后,还包括以下步骤:
所述应用服务器将各组报表子任务发送到所述分布式系统。
所述分布式系统解析各组报表子任务,根据各组报表子任务对应的报表数据的存储地址,将各组报表子任务分配给至少两个分布式服务器。
在另一个实施例中,当上述分布式系统将所述报表生成任务转换为多组所述报表子任务时,在所述将报表生成任务转换为两组以上的报表子任务的步骤之后,还包括以下步骤:
所述分布式系统的主服务器根据各组报表子任务对应的报表数据的存储地址,向对应的分布式服务器发送对应指令,收到对应指令后,各分布式服务器从所述主服务器中获取对应的报表子任务。
对于步骤103,在各分布式服务器完成对应的报表子任务时,可发送对应的完成指令至分布式系统的主服务器,主服务器获取各子报表,将各子报表合并为所述报表。
优选地,在合并时,可根据所述报表生成任务进行合并,也可以根据预设的合并顺序进行合并,还可以各报表的报表顺序进行合并。
在一个实施例中,在所述将各个所述子报表合并为与所述报表生成任务对应的报表的步骤之前,还包括以下步骤:
当各个所述分布式服务器中任意一个处于预警状态时,从所述分布式系统的剩余分布式服务器中选取一个分布式服务器。
将处于预警状态的分布式服务器接收的报表子任务,传送到选取的分布式服务器。
其中,所述预警状态包括服务器发生故障、服务器运行速度低于阈值或服务器运行处于满负荷等工作状态。
在另一个实施例中,所述将各个所述子报表合并为与所述报表生成任务对应的报表的步骤包括以下步骤:
完成各组报表子任务的节点机发送完成指令到Hadoop平台主节点服务器上(NameNode),主节点服务器则把各子报表通过网络拷贝到Reduce任务节点机。
Reduce任务节点机将各子报表进行合并成所述报表、输出所述报表。
请参阅图2,图2是本发明数据报表的生成方法第二实施方式的流程示意图。
本实施方式的数据报表的生成方法与第一实施方式的区别在于:所述将报表生成任务转换为两组以上的报表子任务的步骤包括以下步骤:
步骤201,查找存有所述报表数据的分布式数据库。
步骤202,在查找到的分布式数据库的库数目超过阈值时,将所述报表生成任务转换为与所述库数目相等组数的报表子任务,其中,一组报表子任务对应一个分布式数据库所存储的报表数据。
本实施方式的数据报表的生成方法,一组报表子任务对应一个分布式数据库所存储的报表数据,可优先将各组报表子任务分配置以所述查找到的分布式数据库为本地数据库的分布式服务器,使其从本地数据更快获取数据,进一步提高报表生成速率。
在一个实施例中,在所述将报表生成任务转换为两组以上的报表子任务的步骤之后,还包括以下步骤:
将各组所述报表子任务传送到,以所述查找到的分布式数据库为本地数据库的分布式服务器,其中,一个所述分布式服务器接收一组所述报表子任务。
进一步地,所述使所述分布式系统的至少两个分布式服务器,各自从所述分布式数据库中获取对应的数据,并各自将各自获取的数据生成子报表的步骤包括以下步骤:
使各个所述分布式服务器各自解析接收的报表子任务,获取与接收的报表子任务对应的查询指令。
使各个所述分布式服务器根据所述查询指令,从各自的本地数据库中查找与所述接收的报表子任务对应的数据。
使各个所述分布式服务器将各自查找到的数据生成与所述接收的子任务对应的所述子报表。
请参阅图3,图3是本发明数据报表的生成系统第一实施方式的结构示意图。
本实施方式的所述数据报表的生成系统包括转换模块100、子报表模块200和报表模块300,其中,
转换模块100,用于将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据。
子报表模块200,用于通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表。
报表模块300,用于将各个所述子报表合并为与所述报表生成任务对应的报表。
本实施方式的数据报表的生成系统,通过将报表生成任务转换为两组以上的报表子任务,使不同的分布式服务器各自从所述分布式数据库中获取对应的数据,通过分布式系统的分布式服务器的索引机制可从分布式数据库中快速获取对应的数据,不同的分布式服务器对各自获取的数据,可进一步加快对获取的数据的处理速度,最后将各个所述子报表合并为与所述报表生成任务对应的报表。可同时提高海量数据生成报表时的数据读取速率和报表生成速率。
其中,对于转换模块100,所述报表数据优选地为生成报表所需的数据,所述报表生成任务包括用于将所述报表数据生成所述报表的任务指令。不同报表子任务优选地可对应所述报表数据的不同部分,合并所有报表子任务即为所述报表生成任务。每组报表子任务所对应的数据量可不同,如:所述报表数据为1至12月的天气预报数据,可将所述报表生成任务分为三组报表子任务,第一组报表子任务对应1-4月的天气预报数据,第二组报表子任务对应5-7月的天气预报数据,第三组报表子任务对应8-12月的天气预报数据。
优选地,对所述报表生成任务执行转换操作的转换模块100可以是所述分布式系统的主服务器(或主节点服务器)。在转换所述报表生成任务时,可根据所述报表数据的数据量确定处理所述报表数据所需的分布式服务器的数目,将报表生成任务转换为所确定的组数的报表子任务。
进一步地,转换模块100还可以根据所述报表数据在所述分布式系统中的存储地址(分布式数据库地址),确定所述报表子任务的组数和各组报表子任务所对应的报表数据量。一组报表子任务所对应的报表数据,优选地可对应一个分布式数据库或分布式服务器。
在其他实施方式中,转换模块100也可以使多组报表子任务所对应的报表数据,对应一个分布式数据库。还可以采取本领域技术人员惯用的其他技术手段将所述报表生成任务转换为多组所述报表子任务。
在一个实施例中,还可包括存储模块,用于获取与所述报表数据对应的各业务系统生成的数据,并根据与所述报表数据的数据特性对应的存储顺序,将获取的数据存储到所述分布式系统内的至少两个所述分布式数据库内。
其中,所述业务系统优选地为银行业务系统,所述业务系统生成海量数据,所述分布式系统通过分布式存储模式对获取的数据进行存储。
优选地,所述分布式系统可具体为Hadoop平台,所述分布式数据库为HBase,所述对获取的数据做分布式数据库存储,即实现HBase集群数据库。
进一步地,Hadoop平台对银行业务系统生成的海量数据的分布式存储过程具体如下:
银行业务系统将生成的海量数据传输到应用服务器,应用服务器对海量数据进行格式处理后,传送到Hadoop平台,HBase主节点机将海量数据按ROWKEY顺序和/或预设顺序,均衡的分配到各个HBase节点机中,实现HBase数据库集群。
优选地,所述预设的顺序根据海量数据的数据特性设定,主要用于将海量数据均衡的存储到多个分布式数据库中,所述HBase实际存储数据是采用HDFS存储。通过HDFS存储,根据平台备份机制,可提高海量数据的安全性。
在另一个实施例中,将报表生成任务转换为两组以上的报表子任务的操作为:
客户端发送报表生成请求到应用服务器。
应用服务器判断所述报表生成请求格式是否正确,若不是,则判定所述报表生成请求为无效或错误请求,直接返回错误信息并结束。
若是则把与所述报表生成请求对应的报表生成数据包以任务格式(报表生成任务)发送到Hadoop平台。
Hadoop平台的主节点机(NameNode)在接收到任务格式的数据包后,把任务数据包解析并根据报表任务的存储地址,把任务格式的数据包划分成多组报表子任务,并且通过Hadoop平台下MapReduce的分配任务机制,找出存储有与每组报表子任务对应的报表数据的数据库对应的本地节点机,并把子任务分别发送给各节点机。
优选地,一组报表子任务对应一个存储地址内存储的报表数据,当存储所有报表数据的数据库的数量较少时,也可分配多组报表子任务,使接收其中一些报表子任务分配到本地数据库未存储所述报表数据的节点机。
对于子报表模块,优选地,可根据预先设定的对应关系,查找与各组报表子任务对应的分布式服务器,还可以根据各报表子任务所携带的特征标识,查找与该特征标识匹配的分布式服务器,所述特征标识优选地可以是与所述报表子任务对应的报表数据的存储信息或所述对应的报表数据的特征标识。
在一个实施例中,当上述应用服务器将所述报表生成任务转换为多组所述报表子任务时:
所述应用服务器将各组报表子任务发送到所述分布式系统。
所述分布式系统解析各组报表子任务,根据各组报表子任务对应的报表数据的存储地址,将各组报表子任务分配至至少两个分布式服务器。
在另一个实施例中,当上述分布式系统将所述报表生成任务转换为多组所述报表子任务时:
所述分布式系统的主服务器根据各组报表子任务对应的报表数据的存储地址,向对应的分布式服务器发送对应指令,收到对应指令后,各分布式服务器从所述主服务器中获取对应的报表子任务。
对于报表模块300,在各分布式服务器完成对应的报表子任务时,可发送对应的完成指令至分布式系统的主服务器,主服务器获取各子报表,将各子报表合并为所述报表。
优选地,在合并时,可根据所述报表生成任务进行合并,也可以根据预设的合并顺序进行合并,还可以各报表的报表顺序进行合并。
在一个实施例中,还可包括预警模块,用于当各个所述分布式服务器中任意一个处于预警状态时,从所述分布式系统的剩余分布式服务器中选取一个分布式服务器,将处于预警状态的分布式服务器接收的报表子任务,传送到选取的分布式服务器。
在另一个实施例中,在Hadoop平台的各节点机完成各组报表子任务时:
各节点机发送完成指令到Hadoop平台主节点服务器上(NameNode),主节点服务器则把各子报表通过网络拷贝到Reduce任务节点机。
Reduce任务节点机将各子报表进行合并成所述报表、输出所述报表。
以下所述本发明数据报表的生成系统第二实施方式。
本实施方式的数据报表的生成系统与第一实施方式的区别在于:转换模块100还可用于:
查找存有所述报表数据的分布式数据库。
在查找到的分布式数据库的库数目超过阈值时,将所述报表生成任务转换为与所述库数目相等组数的报表子任务,其中,一组报表子任务对应一个分布式数据库所存储的报表数据。
本实施方式的数据报表的生成系统,一组报表子任务对应一个分布式数据库所存储的报表数据,可优先将各组报表子任务分配置以所述查找到的分布式数据库为本地数据库的分布式服务器,使其从本地数据更快获取数据,进一步提高报表生成速率。
在一个实施例中,还包括传送模块,用于将各组所述报表子任务传送到,以所述查找到的分布式数据库为本地数据库的分布式服务器,其中,一个所述分布式服务器接收一组所述报表子任务。
进一步地,子报表模块200还可用于:
使各个所述分布式服务器各自解析接收的报表子任务,获取与接收的报表子任务对应的查询指令。
使各个所述分布式服务器根据所述查询指令,从各自的本地数据库中查找与所述接收的报表子任务对应的数据。
使各个所述分布式服务器将各自查找到的数据生成与所述接收的子任务对应的所述子报表。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据报表的生成方法,其特征在于,包括以下步骤:
将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据;
通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表;
将各个所述子报表合并为与所述报表生成任务对应的报表。
2.根据权利要求1所述的数据报表的生成方法,其特征在于,在所述将报表生成任务转换为两组以上的报表子任务的步骤之前包括以下步骤:
获取与所述报表数据对应的各业务系统生成的数据,并根据与所述报表数据的数据特性对应的存储顺序,将获取的数据存储到所述分布式系统内的至少两个所述分布式数据库内。
3.根据权利要求1所述的数据报表的生成方法,其特征在于,所述将报表生成任务转换为两组以上的报表子任务的步骤包括以下步骤:
查找存有所述报表数据的分布式数据库;
在查找到的分布式数据库的库数目超过阈值时,将所述报表生成任务转换为与所述库数目相等组数的报表子任务,其中,一组报表子任务对应一个分布式数据库所存有的报表数据。
4.根据权利要求3所述的数据报表的生成方法,其特征在于,在所述将报表生成任务转换为两组以上的报表子任务的步骤之后,还包括以下步骤:
将各组所述报表子任务传送到,以所述查找到的分布式数据库为本地数据库的分布式服务器,其中,一个所述分布式服务器接收一组所述报表子任务。
5.根据权利要求4所述的数据报表的生成方法,其特征在于,所述通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表的步骤包括以下步骤:
使各个所述分布式服务器各自解析接收的报表子任务,获取与接收的报表子任务对应的查询指令;
使各个所述分布式服务器根据所述查询指令,从各自的本地数据库中查找与所述接收的报表子任务对应的数据;
使各个所述分布式服务器将各自查找到的数据生成与所述接收的子任务对应的所述子报表。
6.根据权利要求1至5中任意一项所述的数据报表的生成方法,其特征在于,在所述将各个所述子报表合并为与所述报表生成任务对应的报表的步骤之前,还包括以下步骤:
当各个所述分布式服务器中任意一个处于预警状态时,从所述分布式系统的剩余分布式服务器中选取一个分布式服务器;
将处于预警状态的分布式服务器接收的报表子任务,传送到选取的分布式服务器。
7.一种数据报表的生成系统,其特征在于,包括:
转换模块,用于将报表生成任务转换为两组以上的报表子任务,其中,每组所述报表子任务对应报表数据的部分数据;
子报表模块,用于通过分布式系统的至少两个分布式服务器一一对应地执行所述报表子任务,分别从所述分布式系统的分布式数据库中获取与所述报表子任务对应的报表数据,并分别将各自获取的报表数据生成子报表;
报表模块,用于将各个所述子报表合并为与所述报表生成任务对应的报表。
8.根据权利要求7所述的数据报表的生成系统,其特征在于,还包括存储模块,用于获取与所述报表数据对应的各业务系统生成的数据,并根据与所述报表数据的数据特性对应的存储顺序,将获取的数据存储到所述分布式系统内的至少两个所述分布式数据库内。
9.根据权利要求7所述的数据报表的生成系统,其特征在于,所述转换模块还用于:
查找存有所述报表数据的分布式数据库;
在查找到的分布式数据库的库数目超过阈值时,将所述报表生成任务转换为与所述库数目相等组数的报表子任务,其中,一组报表子任务对应一个分布式数据库所存有的报表数据。
10.根据权利要求7至9中任意一项所述的数据报表的生成系统,其特征在于,所述分布式系统为Hadoop平台,所述分布式数据库为HBase库,所述分布式服务器为所述Hadoop平台的节点机。
CN201310695996.8A 2013-12-16 2013-12-16 数据报表的生成方法和系统 Expired - Fee Related CN103699618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310695996.8A CN103699618B (zh) 2013-12-16 2013-12-16 数据报表的生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310695996.8A CN103699618B (zh) 2013-12-16 2013-12-16 数据报表的生成方法和系统

Publications (2)

Publication Number Publication Date
CN103699618A true CN103699618A (zh) 2014-04-02
CN103699618B CN103699618B (zh) 2017-12-08

Family

ID=50361146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310695996.8A Expired - Fee Related CN103699618B (zh) 2013-12-16 2013-12-16 数据报表的生成方法和系统

Country Status (1)

Country Link
CN (1) CN103699618B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408068A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种报表数据处理方法及相关设备
CN105302785A (zh) * 2015-09-24 2016-02-03 金蝶软件(中国)有限公司 数据收集方法和系统
CN105488188A (zh) * 2015-12-01 2016-04-13 中国建设银行股份有限公司 一种银行的流水过滤方法和系统
CN106407170A (zh) * 2016-09-30 2017-02-15 上海冰穹网络科技有限公司 数据报表快速生成方法及系统
CN109145051A (zh) * 2018-07-03 2019-01-04 阿里巴巴集团控股有限公司 分布式数据库的数据汇总方法及装置和电子设备
CN110209714A (zh) * 2019-04-19 2019-09-06 平安科技(深圳)有限公司 报表生成方法、装置、计算机设备及计算机可读存储介质
CN110502522A (zh) * 2019-08-30 2019-11-26 携程计算机技术(上海)有限公司 报表处理系统及方法
CN110991154A (zh) * 2019-12-20 2020-04-10 深圳前海环融联易信息科技服务有限公司 报表生成方法、系统、计算机设备及计算机可读存储介质
CN111125146A (zh) * 2019-11-27 2020-05-08 中国联合网络通信集团有限公司 报表生成方法、装置与存储介质
CN112527848A (zh) * 2020-12-22 2021-03-19 苏州科达科技股份有限公司 基于多数据源的报表数据查询方法、装置、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902777B (zh) * 2012-09-28 2016-07-06 用友网络科技股份有限公司 跨数据源查询装置和跨数据源查询方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408068A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种报表数据处理方法及相关设备
CN105302785A (zh) * 2015-09-24 2016-02-03 金蝶软件(中国)有限公司 数据收集方法和系统
CN105488188A (zh) * 2015-12-01 2016-04-13 中国建设银行股份有限公司 一种银行的流水过滤方法和系统
CN106407170A (zh) * 2016-09-30 2017-02-15 上海冰穹网络科技有限公司 数据报表快速生成方法及系统
CN109145051A (zh) * 2018-07-03 2019-01-04 阿里巴巴集团控股有限公司 分布式数据库的数据汇总方法及装置和电子设备
CN110209714A (zh) * 2019-04-19 2019-09-06 平安科技(深圳)有限公司 报表生成方法、装置、计算机设备及计算机可读存储介质
CN110502522A (zh) * 2019-08-30 2019-11-26 携程计算机技术(上海)有限公司 报表处理系统及方法
CN110502522B (zh) * 2019-08-30 2022-11-29 携程计算机技术(上海)有限公司 报表处理系统及方法
CN111125146A (zh) * 2019-11-27 2020-05-08 中国联合网络通信集团有限公司 报表生成方法、装置与存储介质
CN111125146B (zh) * 2019-11-27 2023-07-04 中国联合网络通信集团有限公司 报表生成方法、装置与存储介质
CN110991154A (zh) * 2019-12-20 2020-04-10 深圳前海环融联易信息科技服务有限公司 报表生成方法、系统、计算机设备及计算机可读存储介质
CN112527848A (zh) * 2020-12-22 2021-03-19 苏州科达科技股份有限公司 基于多数据源的报表数据查询方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN103699618B (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN103699618A (zh) 数据报表的生成方法和系统
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
CN102857414B (zh) 一种转发表写入、报文转发方法及装置
CN107515878B (zh) 一种数据索引的管理方法及装置
CN105701096A (zh) 索引生成方法、数据查询方法、装置及系统
CN104731896B (zh) 一种数据处理方法及系统
CN103703467A (zh) 存储数据的方法和装置
CN104572727A (zh) 一种数据查询方法及装置
CN102932415A (zh) 一种镜像文件存储方法及装置
JP2019523952A (ja) ストリーミングデータ分散処理方法及び装置
CN105843933B (zh) 分布式内存列式数据库的索引建立方法
CN102725753A (zh) 优化数据访问的方法及装置、优化数据存储的方法及装置
CN104346135A (zh) 数据流并行处理的方法、设备及系统
CN102542367A (zh) 基于领域模型的云计算网络工作流处理方法、装置和系统
CN111343241B (zh) 一种图数据更新方法、装置及系统
CN107133231B (zh) 一种数据获取方法和装置
US10761869B2 (en) Cloud platform construction method and cloud platform storing image files in storage backend cluster according to image file type
US9934325B2 (en) Method and apparatus for distributing graph data in distributed computing environment
CN109271449A (zh) 一种基于文件的分布式存储查询系统及查询方法
WO2014062183A1 (en) Communicating tuples in a message
CN103294799B (zh) 一种数据并行批量导入只读查询系统的方法及系统
CN103326925A (zh) 一种消息推送方法及装置
CN102724290B (zh) 一种获取目标客户群的方法、设备及系统
CN109788013B (zh) 分布式系统中作业资源分配方法、装置及设备
CN103490923B (zh) 日志文件的读写方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Kezhu road high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 233 510670

Patentee after: VTRON GROUP Co.,Ltd.

Address before: 510663 Guangzhou province high tech Industrial Development Zone, Guangdong, Cai road, No. 6, No.

Patentee before: VTRON TECHNOLOGIES Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171208

Termination date: 20211216