CN107871274A - 一种用于对发票数据进行分布式分析的系统和方法 - Google Patents

Abstract

本发明提供一种用于对发票数据进行分布式分析的系统和方法，所述系统包括：客户机，其用于接收来自客户的分析指令；分布式资源管理单元，其用于根据所述发票数据处理请求进行资源协调；分布式计算单元，其用于根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果；数据存储单元，其用于存储分布式计算单元所生成的各个维度的发票数据；分布式批处理单元，其用于生成进行分析计算的计算命令集合；分布式协作单元，其用于根据分布式批处理单元生成的计算命令集合进行计算，并返还计算结果；分布式文件存储单元，其用于临时存储分布式协作单元的计算结果。

Description

一种用于对发票数据进行分布式分析的系统和方法

技术领域

本发明涉及数据分析领域，并且更具体地，涉及一种用于对发票数据进行分布式分析的系统和方法。

背景技术

现有的发票数据分析方法主要是从硬件配置合理化方面出发，着重描述如何提高发票明细数据的分析计算效率，但对于如何根据发票数据涉及的不同关系人的需求出发，构建发票数据的维度，通过为原始发票数据进行分类，从而提高发票数据分析的效率却没有研究。

发明内容

为了解决背景技术存在的如何从发票数据涉及的不同关系人的需求出发构建发票数据维度来进行发票数据的分布式分析的技术问题，本发明提供一种用于对发票数据进行分布式分析的系统，所述系统包括：

客户机，其用于接收来自客户的分析指令，对分析指令进行预处理，将数据分为数据范围指令和数据处理指令，并向分布式资源管理单元提交发票数据处理请求；

分布式资源管理单元，其用于根据所述发票数据处理请求进行资源协调，生成任务调试清单，将数据范围命令发送至数据存储单元，将数据处理命令发送至分布式批处理单元；

分布式计算单元，其用于根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果；

数据存储单元，其用于存储分布式计算单元所生成的各个维度的发票数据；

分布式批处理单元，其用于根据客户的数据处理请求生成数据存储单元对应维度的发票数据进行分析计算的计算命令集合；

分布式协作单元，其用于根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算，并返还计算结果至分布式文件存储单元和分布式资源管理单元，以及请求分布式资源管理单元注销任务，其中，所述计算结果是根据客户输入的分析指令而生成的发票数据分析结果；

分布式文件存储单元，其用于临时存储分布式协作单元的计算结果。

优选地，分布式计算单元形成的各个维度的发票数据结果从纳税人、税务机关和商品三个方面构建，其中：

从纳税人角度，所述维度包括：

纳税人差异维度：纳税人地域、行业、天气、进项商品、销项商品；

纳税人维度：购方、销方、交易商品、交易时间、销售的渠道；

纳税人税率维度：销方纳税人、销方税务机关、发票类别、税率、金额、税额、发票份数；

从商品角度，所述维度包括：

商品维度：交易商品、商品分类、交易单位、数量、交易时间、商品价格、交易金额、交易地点、行业；

来源地户数维度：省内市外金额、省内市外税额、购方税务机关、发票类别、行业代码、省内金额、省内税额、省外金额、省外税额、发票份数、销方户数、购方户数；

流向地行业维度：流向地发生的金额、税额、购方数量、销方数量、行业；

来源地行业维度：来源地发生的金额、税额、购方数量、销方数量、行业。

从税务机关角度，所述维度：

税务机关行业维度：各级别的税务机关涉及的行业；

税务局维度：统计购方纳税人、购方税务机关、销方税务机关、发票类别、销方户数、金额、税额、发票份数、销方纳税人名称；

税务机关户数维度：税务机关、金额、税额、发票份数、发票类别、购方户数、门类代码、纳税人资格代码。

优选地，分布式协作单元根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算而生成的计算结果包括：

从发票数据中的购方角度，所述计算结果包括：

从商品维度分析同类商品别人在什么地方买的计算结果；

从商品维度分析同类商品别人买什么的计算结果；

从商品维度、纳税人维度分析商品推荐的计算结果；

从发票数据中的税务机关角度，所述计算结果包括：

从纳税人维度、商品维度、纳税人差异维度分析企业和商品物流监控的计算结果；

从商品维度、税务局维度、按流向地行业维度、来源地户数维度分析发票信息的疑点监控的计算结果；

从商品维度、税务局维度、按流向地行业维度、来源地户数维度、按流向地行业维度、纳税人差异维度分析发票自定义疑点监控的计算结果；

从税务局维度、税务机关户数维度分析纳税人某段时间内发票开具情况的计算结果；

从税务局维度、税务机关户数维度、税务机关行业维度分析疑点行业的“虚开高危行业风险库”的计算结果；

从发票数据中的销售方角度，所述计算结果包括：

从纳税人维度、商品维度和纳税人差异维度分析热销商品的计算结果；

从流向地行业维度和纳税人差异维度分析购方行为的计算结果；

从商品维度、来源地户数维度、纳税人维度、来源地行业维度对开票地进行商品分析销量趋势分析的计算结果；

优选地，所述数据存储单元存储的发票数据包括结构化数据和版式文件非结构化数据。

根据本发明的另一方面，本发明还提供一种用于对发票数据进行分布式分析的方法，所述方法包括：

构建对发票数据进行分布式分析的工作集群，所述工作集群包括客户机、分布式资源管理单元、分布式计算单元、数据存储单元、分布式批处理单元、分布式协作单元和分布式文件存储单元；

分布式计算单元根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果，其中所述维度从商品、纳税人和税务机关三个方面进行构建，并将所述各个维度的发票数据存储至数据存储单元；

客户根据自己的分析需求在客户机上输入分析指令，客户机对分析指令进行预处理，将数据分为数据范围指令和数据处理指令，并向分布式资源管理单元提交发票数据处理请求；

分布式资源管理单元根据客户机提交的所述发票数据处理请求进行资源协调，生成任务调试清单，将数据范围命令发送至数据存储单元，将数据处理命令发送至分布式批处理单元；

分布式批处理单元根据客户的数据处理请求生成数据存储单元对应维度的发票数据进行分析计算的计算命令集合；

分布式协作单元根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算，并返还计算结果至分布式文件存储单元和分布式资源管理单元，以及请求分布式资源管理单元注销任务，其中，所述计算结果是根据客户输入的分析指令而生成的发票数据分析结果；

分布式文件存储单元临时存储分布式协作单元的计算结果，分布式资源管理单元将计算结果反馈至客户机。

通过本发明所提供的技术方案中搭建的发票数据维度，不仅能够在海量数据中进行快速的数据分析计算，而且可以充分满足不同人群对发票分析结果的需求。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1是本发明具体实施方式的用于对发票数据进行分布式分析的系统的结构图；

图2是本发明具体实施方式的用于对发票数据进行分布式分析的方法的流程图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1是本发明具体实施方式的用于对发票数据进行分布式分析的系统的结构图。如图1所示，本发明所述用于对发票数据进行分布式分析的系统100包括：

客户机101，其用于接收来自客户的分析指令，对分析指令进行预处理，将数据分为数据范围指令和数据处理指令，并向分布式资源管理单元提交发票数据处理请求；

分布式资源管理单元102，其用于根据所述发票数据处理请求进行资源协调，生成任务调试清单，将数据范围命令发送至数据存储单元，将数据处理命令发送至分布式批处理单元；

分布式计算单元103，其用于根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果；

数据存储单元104，其用于存储分布式计算单元所生成的各个维度的发票数据；

分布式批处理单元105，其用于根据客户的数据处理请求生成数据存储单元对应维度的发票数据进行分析计算的计算命令集合；

分布式协作单元106，其用于根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算，并返还计算结果至分布式文件存储单元和分布式资源管理单元，以及请求分布式资源管理单元注销任务，其中，所述计算结果是根据客户输入的分析指令而生成的发票数据分析结果；

分布式文件存储单元107，其用于临时存储分布式协作单元的计算结果。

优选地，分布式计算单元103形成的各个维度的发票数据结果从纳税人、税务机关和商品三个方面构建，其中：

从纳税人角度，所述维度包括：

纳税人差异维度：纳税人地域、行业、天气、进项商品、销项商品；

纳税人维度：购方、销方、交易商品、交易时间、销售的渠道；

纳税人税率维度：销方纳税人、销方税务机关、发票类别、税率、金额、税额、发票份数；

从商品角度，所述维度包括：

商品维度：交易商品、商品分类、交易单位、数量、交易时间、商品价格、交易金额、交易地点、行业；

来源地户数维度：省内市外金额、省内市外税额、购方税务机关、发票类别、行业代码、省内金额、省内税额、省外金额、省外税额、发票份数、销方户数、购方户数；

流向地行业维度：流向地发生的金额、税额、购方数量、销方数量、行业；

来源地行业维度：来源地发生的金额、税额、购方数量、销方数量、行业。

从税务机关角度，所述维度：

税务机关行业维度：各级别的税务机关涉及的行业；

税务局维度：统计购方纳税人、购方税务机关、销方税务机关、发票类别、销方户数、金额、税额、发票份数、销方纳税人名称；

税务机关户数维度：税务机关、金额、税额、发票份数、发票类别、购方户数、门类代码、纳税人资格代码。

优选地，分布式协作单元106根据分布式批处理单元105生成的计算命令集合，调用数据存储单元104对应维度的发票数据进行计算而生成的计算结果包括：

从发票数据中的购方角度，所述计算结果包括：

从商品维度分析同类商品别人在什么地方买的计算结果；

从商品维度分析同类商品别人买什么的计算结果；

从商品维度、纳税人维度分析商品推荐的计算结果；

从发票数据中的税务机关角度，所述计算结果包括：

从纳税人维度、商品维度、纳税人差异维度分析企业和商品物流监控的计算结果；

从商品维度、税务局维度、按流向地行业维度、来源地户数维度分析发票信息的疑点监控的计算结果；

从商品维度、税务局维度、按流向地行业维度、来源地户数维度、按流向地行业维度、纳税人差异维度分析发票自定义疑点监控的计算结果；

从税务局维度、税务机关户数维度分析纳税人某段时间内发票开具情况的计算结果；

从税务局维度、税务机关户数维度、税务机关行业维度分析疑点行业的“虚开高危行业风险库”的计算结果；

从发票数据中的销售方角度，所述计算结果包括：

从纳税人维度、商品维度和纳税人差异维度分析热销商品的计算结果；

从流向地行业维度和纳税人差异维度分析购方行为的计算结果；

从商品维度、来源地户数维度、纳税人维度、来源地行业维度对开票地进行商品分析销量趋势分析的计算结果；

优选地，所述数据存储单元104存储的发票数据包括结构化数据和版式文件非结构化数据。

图2是本发明具体实施方式的用于对发票数据进行分布式分析的方法的流程图。如图2所示，本发明所述的用于对发票数据进行分布式分析的方法200从步骤201开始。

在步骤201，构建对发票数据进行分布式分析的工作集群，所述工作集群包括客户机、分布式资源管理单元、分布式计算单元、数据存储单元、分布式批处理单元、分布式协作单元和分布式文件存储单元；

在步骤202，分布式计算单元根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果，其中所述维度从商品、纳税人和税务机关三个方面进行构建，并将所述各个维度的发票数据存储至数据存储单元；

在步骤203，客户根据自己的分析需求在客户机上输入分析指令，客户机对分析指令进行预处理，将数据分为数据范围指令和数据处理指令，并向分布式资源管理单元提交发票数据处理请求；

在步骤204，分布式资源管理单元根据客户机提交的所述发票数据处理请求进行资源协调，生成任务调试清单，将数据范围命令发送至数据存储单元，将数据处理命令发送至分布式批处理单元；

在步骤205，分布式批处理单元根据客户的数据处理请求生成数据存储单元对应维度的发票数据进行分析计算的计算命令集合；

在步骤206，分布式协作单元根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算，并返还计算结果至分布式文件存储单元和分布式资源管理单元，以及请求分布式资源管理单元注销任务，其中，所述计算结果是根据客户输入的分析指令而生成的发票数据分析结果；

在步骤207，分布式文件存储单元临时存储分布式协作单元的计算结果，分布式资源管理单元将计算结果反馈至客户机。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该【装置、组件等】”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (5)

1.一种用于对发票数据进行分布式分析的系统，其特征在于，所述系统包括：

客户机，其用于接收来自客户的分析指令，对分析指令进行预处理，将数据分为数据范围指令和数据处理指令，并向分布式资源管理单元提交发票数据处理请求；

分布式资源管理单元，其用于根据所述发票数据处理请求进行资源协调，生成任务调试清单，将数据范围命令发送至数据存储单元，将数据处理命令发送至分布式批处理单元；

分布式计算单元，其用于根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果；

数据存储单元，其用于存储分布式计算单元所生成的各个维度的发票数据；

分布式批处理单元，其用于根据客户的数据处理请求生成数据存储单元对应维度的发票数据进行分析计算的计算命令集合；

分布式协作单元，其用于根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算，并返还计算结果至分布式文件存储单元和分布式资源管理单元，以及请求分布式资源管理单元注销任务，其中，所述计算结果是根据客户输入的分析指令而生成的发票数据分析结果；

分布式文件存储单元，其用于临时存储分布式协作单元的计算结果。

2.根据权利要求1所述的系统，其特征在于，分布式计算单元形成的各个维度的发票数据结果从纳税人、税务机关和商品三个方面构建，其中：

从纳税人角度，所述维度包括：

纳税人差异维度：纳税人地域、行业、天气、进项商品、销项商品；

纳税人维度：购方、销方、交易商品、交易时间、销售的渠道；

纳税人税率维度：销方纳税人、销方税务机关、发票类别、税率、金额、税额、发票份数；

从商品角度，所述维度包括：

商品维度：交易商品、商品分类、交易单位、数量、交易时间、商品价格、交易金额、交易地点、行业；

来源地户数维度：省内市外金额、省内市外税额、购方税务机关、发票类别、行业代码、省内金额、省内税额、省外金额、省外税额、发票份数、销方户数、购方户数；

流向地行业维度：流向地发生的金额、税额、购方数量、销方数量、行业；

来源地行业维度：来源地发生的金额、税额、购方数量、销方数量、行业；

从税务机关角度，所述维度：

税务机关行业维度：各级别的税务机关涉及的行业；

税务局维度：统计购方纳税人、购方税务机关、销方税务机关、发票类别、销方户数、金额、税额、发票份数、销方纳税人名称；

税务机关户数维度：税务机关、金额、税额、发票份数、发票类别、购方户数、门类代码、纳税人资格代码。

3.根据权利要求2所述的系统，其特征在于，分布式协作单元根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算而生成的计算结果包括：

从发票数据中的购方角度，所述计算结果包括：

从商品维度分析同类商品别人在什么地方买的计算结果；

从商品维度分析同类商品别人买什么的计算结果；

从商品维度、纳税人维度分析商品推荐的计算结果；

从发票数据中的税务机关角度，所述计算结果包括：

从纳税人维度、商品维度、纳税人差异维度分析企业和商品物流监控的计算结果；

从商品维度、税务局维度、按流向地行业维度、来源地户数维度分析发票信息的疑点监控的计算结果；

从商品维度、税务局维度、按流向地行业维度、来源地户数维度、按流向地行业维度、纳税人差异维度分析发票自定义疑点监控的计算结果；

从税务局维度、税务机关户数维度分析纳税人某段时间内发票开具情况的计算结果；

从税务局维度、税务机关户数维度、税务机关行业维度分析疑点行业的“虚开高危行业风险库”的计算结果；

从发票数据中的销售方角度，所述计算结果包括：

从纳税人维度、商品维度和纳税人差异维度分析热销商品的计算结果；

从流向地行业维度和纳税人差异维度分析购方行为的计算结果；

从商品维度、来源地户数维度、纳税人维度、来源地行业维度对开票地进行商品分析销量趋势分析的计算结果。

4.根据权利要求1所述的系统，其特征在于，所述数据存储单元存储的发票数据包括结构化数据和版式文件非结构化数据。

5.一种用于对发票数据进行分布式分析的方法，其特征在于，所述方法包括：

构建对发票数据进行分布式分析的工作集群，所述工作集群包括客户机、分布式资源管理单元、分布式计算单元、数据存储单元、分布式批处理单元、分布式协作单元和分布式文件存储单元；

分布式计算单元根据与发票数据相关的多个维度进行所有发票数据的预处理，形成各个维度的发票数据结果，其中所述维度从商品、纳税人和税务机关三个方面进行构建，并将所述各个维度的发票数据存储至数据存储单元；

客户根据自己的分析需求在客户机上输入分析指令，客户机对分析指令进行预处理，将数据分为数据范围指令和数据处理指令，并向分布式资源管理单元提交发票数据处理请求；

分布式资源管理单元根据客户机提交的所述发票数据处理请求进行资源协调，生成任务调试清单，将数据范围命令发送至数据存储单元，将数据处理命令发送至分布式批处理单元；

分布式批处理单元根据客户的数据处理请求生成数据存储单元对应维度的发票数据进行分析计算的计算命令集合；

分布式协作单元根据分布式批处理单元生成的计算命令集合，调用数据存储单元对应维度的发票数据进行计算，并返还计算结果至分布式文件存储单元和分布式资源管理单元，以及请求分布式资源管理单元注销任务，其中，所述计算结果是根据客户输入的分析指令而生成的发票数据分析结果；

分布式文件存储单元临时存储分布式协作单元的计算结果，分布式资源管理单元将计算结果反馈至客户机。