CN103500188A

CN103500188A - 一种数据表生成的方法和系统

Info

Publication number: CN103500188A
Application number: CN201310419182.1A
Authority: CN
Inventors: 柴昱; 李连港
Original assignee: Beijing Qihoo Technology Co Ltd; Qizhi Software Beijing Co Ltd
Current assignee: Beijing Qihoo Technology Co Ltd; Qizhi Software Beijing Co Ltd
Priority date: 2013-09-13
Filing date: 2013-09-13
Publication date: 2014-01-08

Abstract

本发明公开了一种数据表生成的方法和系统，其中所述方法包括：接收数据表生成请求，所述数据表生成请求包括指定查询维度；从数据库中获取与所述指定查询维度对应的数据记录存入内存；依据所述内存中的数据记录生成数据表。本发明可以最大限度地减少对数据库查询的循环调用，减少了数据库的开销和资源占用，提高查询效率和数据表生成的效率。

Description

一种数据表生成的方法和系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据表生成的方法，以及一种数据表生成的系统。

背景技术

报表是企业应用软件系统不可或缺的一部分，通过计算机自动或辅助生产各种业务报表，可以实现业务的规范化管理，极大提高了工作效率，加速了各行业信息化进程。

例如，在线支付系统每月初为系统中平台级用户按不同维度，根据支付系统中上月的交易数据，生成交易报表提供给财务，财务根据此报表完成与用户间的财务核对和资金划拨。在线支付系统生成报表的伪代码表示如下：

select查询数据库中所有渠道组成报文头

select查询出数据收集表中上个月所有商户账号、商户名称、单价信息

for循环所有商户

{

for循环所有渠道

{

select数据收集表统计出每个商户在各个渠道上的总笔数、总金额

}

select数据收集表统计出每个商户账号+单价发生的总笔数、总金额作为行合计

}

for循环所有渠道

{

select数据收集表统计出每个渠道上的总笔数、总金额

}

累加每个渠道的总金额、总笔数及行合计生成列合计

然而，发明人在使用上述伪代码生成报表的过程中发现了如下不足：

1、对数据收集表的查询嵌套的外层循环太多，查询和统计的结果过于单一，造成对多维度的统计需要对数据收集表多次查询和统计，对数据库带来的开销太大；

2、过于依赖数据库查询，大量占用数据库资源，降低了数据库的交易吞吐量，造成一段时间内在线支付系统性能降低；

3、大量对数据库中数据收集表的查询造成统计程序执行时间的大大增加，每日统计完成平均用时需2小时以上，无法及时生成报表。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据表生成的方法和和相应的一种数据表生成的系统。

依据本发明的一个方面，提供了一种数据表生成的方法，所述的方法包括：

接收数据表生成请求，所述数据表生成请求包括指定查询维度；

从数据库中获取与所述指定查询维度对应的数据记录存入内存；

依据所述内存中的数据记录生成数据表。

可选地，所述从数据库中获取与所述指定查询维度对应的数据记录存入内存的步骤包括：

依据所述指定查询维度生成数据库查询请求；

在数据库中获取与所述数据库查询请求对应的数据记录；

将所述数据记录存储至内存。

可选地，所述依据所述内存中的数据记录生成数据表的步骤包括：

从所述内存中读取所述数据记录；

依据所述数据记录以及预设的数据表模板生成数据表。

可选地，所述依据所述数据记录以及预设的数据表模板生成数据表的子步骤包括：

将数据记录填入预设的数据表模板的行记录或列记录中；

统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。

可选地，所述指定查询维度的个数至少为2个。

根据本发明的另一方面，提供了一种数据表生成的系统，所述的系统包括：

数据表生成请求接收模块，适于接收数据表生成请求，所述数据表生成请求包括指定查询维度；

数据记录获取模块，适于从数据库中获取与所述指定查询维度对应的数据记录存入内存；

数据表生成模块，适于依据所述内存中的数据记录生成数据表。

可选地，所述数据记录获取模块还适于依据所述指定查询维度生成数据库查询请求；在数据库中获取与所述数据库查询请求对应的数据记录；将所述数据记录存储至内存。

可选地，所述数据表生成模块包括：

数据记录读取子模块，适于从所述内存中读取所述数据记录；

数据表生成子模块，适于依据所述数据记录以及预设的数据表模板生成数据表。

可选地，所述数据表生成子模块还适于将数据记录填入预设的数据表模板的行记录或列记录中；统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。

可选地，所述指定查询维度的个数至少为2个。

根据本发明的一种数据表生成的方法和系统，可以按指定查询维度对数据库进行查询和统计，并将查询结果存入内存，从内存中解析获得数据记录生成数据表，由此解决了背景技术中对数据收集表的查询嵌套的外层循环太多，查询和统计的结果过于单一，造成对多维度的统计需要对数据收集表多次查询和统计，对数据库带来的开销太大，生成数据表不及时等问题，取得了最大限度地减少对数据库查询的循环调用，减少了数据库的开销和资源占用，提高查询效率和数据表生成的效率的有益效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明的一种数据表生成的方法实施例一的步骤流程图；

图2示出了本发明的一种数据表生成的方法实施例二的步骤流程图；

图3示出了本发明的一种数据表生成的系统实施例的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1，示出了本发明的一种数据表生成的方法实施例一的步骤流程图，所述的方法可以包括如下步骤：

步骤S110，接收数据表生成请求，所述数据表生成请求包括指定查询维度；

步骤S120，从数据库中获取与所述指定查询维度对应的数据记录存入内存；

步骤S130，依据所述内存中的数据记录生成数据表。

在本发明实施例中，按指定查询维度对数据库进行查询和统计，并将查询结果存入内存，从内存中解析获取数据记录生成数据表，可以最大限度地减少对数据库查询的循环调用，减少了数据库的开销和资源占用，提高数据库查询效率和数据表生成的效率。

参照图2，示出了本发明的一种数据表生成的方法实施例二的步骤流程图，所述的方法可以包括如下步骤：

步骤S210，接收数据表生成请求，所述数据表生成请求包括指定查询维度；

具体而言，用户在发出数据表生成请求时，可以指定查询维度，维度是分析数据的角度，其主要依据“字段”作为标准，例如有一个数据库保存着商户的数据收集表信息，字段分别为：商户账号、商户名称、单价信息、渠道信息、商品总额等，那么除了商品总额外，其他的字段都算是维度。在本发明实施例中，指定查询维度的个数至少为2个，如指定查询维度为商户账号+单价信息，则按照这个查询维度进行数据库查询，从而可以尽可能一次多维度地从数据库中取出全部需要的数据，节省数据查询的时间。

步骤S220，依据所述指定查询维度生成数据库查询请求；

在具体实现中，数据库查询请求为按照指定查询维度生成的数据库查询语句，例如SELECT语句，SELECT语句是数据库操作中最基本、最重要的语句之一，其功能是从一个或多个表或视图中查找满足条件的数据。SELECT语句可以包括SELECT子句（SELECT<目标列名表>）、FROM子句（FROM<数据源表>），可选的WHERE子句（WHERE<查询条件>）、GROUP BY子句（GROUP BY<分组列>）、HAVING子句（HAVING<组选择条件>）和ORDER BY子句（ORDER BY<排序列>）。

本发明实施例中的指定查询维度可以放在GROUP BY子句中，将数据按所述查询维度进行查询和统计，可以尽可能一次多维度地从数据库中取出全部需要的数据，避免多次单一的查询和统计，从而减少对数据库查询的依赖，提高查询效率。

步骤S230，在数据库中获取与所述数据库查询请求对应的数据记录；

在实际应用中，与数据库查询请求对应的数据记录可以为目标列名对应的数据记录，该目标列名可以为指定查询维度对应的列名，也可以为统计函数。具体而言，本发明实施例可以先将指定查询维度对应的数据记录提取出来，作为维度（多维度），然后根据维度按照统计函数得到统计结果。

步骤S240，将所述数据记录存储至内存；

在本发明实施例中，设置有指定查询维度，尽可能的一次多维度从数据库中取出全部需要数据记录，并将数据记录存入内存数组中，使得对数据记录的解析和获得在内存中进行，减少了数据库的开销和资源占用。

步骤S250，从所述内存中读取所述数据记录；

步骤S260，依据所述数据记录以及预设的数据表模板生成数据表。

在本发明的一种优选实施例中，所述步骤S260可以包括如下子步骤：

子步骤S21，将数据记录填入预设的数据表模板的行记录或列记录中；

子步骤S22，统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。

具体而言，本发明实施例可以从内存数组中找到与数据表模板相应的数据记录填入数据表模板的行记录或列记录中，然后在内存中计算每行的总和以及每列的总和，生成数据表文件。

在本发明实施例中，统计程序只需要从内存数组中获得多维度的数据记录，对其进行解析和统计，相比于在数据库中解析和统计数据记录，本发明实施例极大地提高了统计程序的性能，大大缩短了统计程序运行时间（例如可以由原来的2小时缩短到1分钟左右），从而可以及时地生成数据表，也方便对数据表生成系统的调试和跟踪。

为了使本领域技术人员能更好地理解本发明，下面通过一个具体实例对本发明进行详细说明，需要说明的是，为了方便对比和理解，本实例与背景技术中在线支付系统生成报表的伪代码相对应，本实例的伪代码表示如下：

select查询数据库中所有渠道组成报文头；

按照商户账号+单价为维度，select查询出数据收集表中上个月所有商户账号、商户名称、单价信息到内存数组；

for循环所有渠道

{

for循环所有商户

{

按照商户账号+单价为维度，select数据收集表统计出上个月每个渠道在所有商户中的交易总笔数、总金额到内存数组

}

for按照商户账号+单价为维度的总条数

{

按照账号、单价、各个渠道、合计为顺序，从数组中找到相应的值组成一行数据

}

累加每个渠道的总金额、总笔数及行合计生成列合计

生成报表文件。

从上述本实例的伪代码与背景技术中的伪代码对比可知，本实例具有如下优势：

本实例按照多维度数据库查询，从数据库中获取对应的查询结果（或数据记录）存入内存数组中，对查询结果的解析和统计在内存中进行，从而生成报表。本实例的关键点是对海量数据多层次统计的数据来源思维的转变，由每次需要时就从数据库查询数据记录变为尽可能的一次多维度取出全部需要数据记录，数据记录的获得由每次从数据库查询变为从多维度的内存中解析，从而最大限度的减少对数据库查询的依赖，减少了数据库的开销和资源占用，保证了在线支付系统性能的不受影响。进一步地提高了统计程序的性能，大大缩短了程序运行时间，能及时的生成报表，也方便对在线支付系统的调试和跟踪。

需要说明的是，上述生成商户数据表的过程仅仅是本发明的一种示例，本领域技术人员依据本发明原理生成其他数据表均是可以的。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参照图3，示出了本发明的一种数据表生成的系统实施例的结构框图，所述的系统可以包括如下模块：

数据表生成请求接收模块310，适于接收数据表生成请求，所述数据表生成请求包括指定查询维度；

其中，所述指定查询维度的个数至少为2个。

数据记录获取模块320，适于从数据库中获取与所述指定查询维度对应的数据记录存入内存；

数据表生成模块330，适于依据所述内存中的数据记录生成数据表。

在本发明的一种优选实施例中，所述数据记录获取模块320还适于依据所述指定查询维度生成数据库查询请求；在数据库中获取与所述数据库查询请求对应的数据记录；将所述数据记录存储至内存。

在本发明的一种优选实施例中，所述数据表生成模块330可以包括如下子模块：

在本发明的一种优选实施例中，所述数据表生成子模块还适于将数据记录填入预设的数据表模板的行记录或列记录中；统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。

对于图3的系统实施例而言，由于其与上述方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的数据表生成设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明的实施例公开了A1、一种数据表生成的方法，所述的方法包括:接收数据表生成请求，所述数据表生成请求包括指定查询维度；从数据库中获取与所述指定查询维度对应的数据记录存入内存；依据所述内存中的数据记录生成数据表。A2、如权利要求A1所述的方法，所述从数据库中获取与所述指定查询维度对应的数据记录存入内存的步骤包括：依据所述指定查询维度生成数据库查询请求；在数据库中获取与所述数据库查询请求对应的数据记录；将所述数据记录存储至内存。A3、如权利要求A1所述的方法，所述依据所述内存中的数据记录生成数据表的步骤包括：从所述内存中读取所述数据记录；依据所述数据记录以及预设的数据表模板生成数据表。A4、如权利要求A3所述的方法，所述依据所述数据记录以及预设的数据表模板生成数据表的子步骤包括：将数据记录填入预设的数据表模板的行记录或列记录中；统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。A5、如权利要求A1至A4任一权利要求所述的方法，所述指定查询维度的个数至少为2个。

本发明的实施例还公开了B6、一种数据表生成的系统，所述的系统包括：数据表生成请求接收模块，适于接收数据表生成请求，所述数据表生成请求包括指定查询维度；数据记录获取模块，适于从数据库中获取与所述指定查询维度对应的数据记录存入内存；数据表生成模块，适于依据所述内存中的数据记录生成数据表。B7、如权利要求B6所述的系统，所述数据记录获取模块还适于依据所述指定查询维度生成数据库查询请求；在数据库中获取与所述数据库查询请求对应的数据记录；将所述数据记录存储至内存。B8、如权利要求B6所述的系统，所述数据表生成模块包括：数据记录读取子模块，适于从所述内存中读取所述数据记录；数据表生成子模块，适于依据所述数据记录以及预设的数据表模板生成数据表。B9、如权利要求B8所述的系统，所述数据表生成子模块还适于将数据记录填入预设的数据表模板的行记录或列记录中；统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。B10、如权利要求B6至B9任一权利要求所述的系统，所述指定查询维度的个数至少为2个。

Claims

1.一种数据表生成的方法，所述的方法包括：

依据所述内存中的数据记录生成数据表。

2.如权利要求1所述的方法，所述从数据库中获取与所述指定查询维度对应的数据记录存入内存的步骤包括：

依据所述指定查询维度生成数据库查询请求；

在数据库中获取与所述数据库查询请求对应的数据记录；

将所述数据记录存储至内存。

3.如权利要求1所述的方法，所述依据所述内存中的数据记录生成数据表的步骤包括：

从所述内存中读取所述数据记录；

依据所述数据记录以及预设的数据表模板生成数据表。

4.如权利要求3所述的方法，所述依据所述数据记录以及预设的数据表模板生成数据表的子步骤包括：

将数据记录填入预设的数据表模板的行记录或列记录中；

5.如权利要求1至4任一权利要求所述的方法，所述指定查询维度的个数至少为2个。

6.一种数据表生成的系统，所述的系统包括：

7.如权利要求6所述的系统，所述数据记录获取模块还适于依据所述指定查询维度生成数据库查询请求；在数据库中获取与所述数据库查询请求对应的数据记录；将所述数据记录存储至内存。

8.如权利要求6所述的系统，所述数据表生成模块包括：

9.如权利要求8所述的系统，所述数据表生成子模块还适于将数据记录填入预设的数据表模板的行记录或列记录中；统计所述数据表模板中每行的总和以及每列的总和，填入所述数据表模板的相应位置，生成数据表。

10.如权利要求6至9任一权利要求所述的系统，所述指定查询维度的个数至少为2个。