CN116010399A - 宏观数据生产和评估的方法和装置 - Google Patents

Abstract

本发明提供了一种宏观数据生产和评估的方法和装置，该方法包括：S1：根据预设的数据生产规则，对获取到的多源数据进行处理以生产和统计表相对应的第一数据；S2：根据预设的数据评估规则，对所述第一数据进行评估和转换以获取第二数据；S3：对所述第一数据和第二数据进行质量检测以获取第三数据，所述第三数据为最终的指标数据。本发明的方案制定的数据生产和评估办法，能够提供电子化的数据生产评估流程，通过主要统计指标全流程的在线生产和评估，保证数据的可信、可追溯；通过数据质量自动化检测，准确把握数据之间的相关性、匹配性和逻辑性，整体缩短数据生产评估时间，提高统计数据的时效性。

Description

宏观数据生产和评估的方法和装置

技术领域

本发明属于大数据技术领域，具体涉及宏观数据生产和评估的方法和装置。

背景技术

宏观数据是指一系列的宏观经济学统计指标经过一定公式计算得到一个综合指标，科学、准确的宏观数据统计分析对我国国民经济统计的发展具有重要的意义。

现阶段宏观数据的生产无法做到全面统计，通常通过典型调查的方法，对采集的数据进行推算、汇总，并通过层层上报的方式进行核算。在此过程中，统计的遗漏、推算的差别都会造成最终数据的偏差，无法保证数据质量，且上级单位无法对最终数据进行溯源。

因此，现有技术需要一种能够生产宏观数据的方案，并需要一种对生产的宏观数据进行有效的评估的解决方案。

上述在背景部分公开的信息仅用于对本发明的背景做进一步的理解，因此它可以包含对于本领域普通技术人员已知的不构成现有技术的信息。

发明内容

本发明涉及一种宏观数据生产和评估的方法和装置。本发明的方案能够对生产的宏观数据进行有效评估，并能够对生产和评估生产的每个过程进行质量监控和溯源。

本发明的第一方面提供了一种宏观数据生产和评估的方法，其特征在于，所述方法包括：S1：根据预设的数据生产规则，对获取到的多源数据进行处理以生产和统计表相对应的第一数据；S2：根据预设的数据评估规则，对所述第一数据进行评估和转换以获取第二数据；S3：对所述第一数据和第二数据进行质量检测以获取第三数据，所述第三数据为最终的指标数据。

根据本发明的一个实施例，在所述步骤S1中，通过对统计指标和统计维度进行组合来确定所述多源数据在统计表中的相应的数据区域，通过所述数据区域中的数据进行可视化来设置所述预设的数据生产规则和所述预设的数据评估规则。

根据本发明的一个实施例，所述第一数据为经所述步骤S1生产的在统计表第一阶段中所述数据区域中的数据；所述第二数据为经过所述步骤S2评估的在统计表第二阶段中所述数据区域中的数据；所述第三数据为经过所述步骤S3质量检测的在统计表第三阶段中的所述数据区域中的数据；其中所述统计表的第一阶段、第二阶段和第三阶段基于相同的统计指标和统计维度来确定所述数据区域。

根据本发明的一个实施例，其中为所述统计表的第一阶段、统计表的第二阶段和统计表第三阶段分配唯一标识，并根据所述步骤S1、S2和S3将统计表的第一阶段、统计表的第二阶段和统计表第三阶段中的相关参数进行关联。

根据本发明的一个实施例，其中，所述预设的数据生产规则和所述预设的数据评估规则包括所述多源数据、数据指标、计算规则和特定系数四个部分，通过该四个部分进行组合来对所述第一数据和第二数据设置满足需求的数据生产和数据评估方式。

根据本发明的一个实施例，其中，通过预先建立的模板来设置预设的数据生产规则和预设的数据评估规则。

根据本发明的一个实施例，其中，所述步骤S3包括：通过设置质量检测模型来对所述第一数据和第二数据进行数据质量检测，其中，所述质量检测模型包括通用质量检测模板和特定质量检测模板，所述通用质量检测模板适用于任意的统计表，所述特定指令检测模板仅仅适用于特定应统计表。

根据本发明的一个实施例，其中，所述通用质量检测模板通过通用指标的表达式来设置检测规则；所述特定质量检测模板通过特定的统计表来设置检测规则。

根据本发明的一个实施例，其中所述第一数据、第二数据、第三数据和统计表中的数据采用MongoDB数据库。

本发明的第二方面提供了一种宏观数据生产和评估的装置，包括：存储器和处理器；所述存储器，用于存储计算机程序；其中，当所述处理器执行所述计算机程序时，实现根据上述的宏观数据生产和评估的方法。

本发明的宏观数据生产和评估的方案针对各级统计部门，针对综合数据的真实性、准确性、协调性，制定数据生产和评估办法，提供电子化的数据生产评估流程。通过主要统计指标全流程的在线生产和评估，保证数据的可信、可追溯；通过数据质量自动化检测，准确把握数据之间的相关性、匹配性和逻辑性，整体缩短数据生产评估时间，提高统计数据的时效性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图进行简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明的示例性实施例的宏观数据生产和评估的方法流程图。

图2是根据本发明示例性实施例的经济社会发展统计月报统计表数据的示意图。

图3是根据本发明示例性实施例的数据生产和评估规则中的批发零售、住宿餐饮业商品销售及经营情况统计表。

图4示出了根据本发明示例性实施例的统计报表关联的代码示意图。

图5示出了根据本发明示例性实施例的宏观数据生产和评估系统可视化界面图。

图6示出了根据本发明示例性实施例的宏观数据生产和评估过程中指标生产过程计算项存储结构代码示意图。

图7示出了根据本发明示例性实施例的宏观数据生产和评估过程中数据质量检测的可视化界面图。

图8示出了根据本发明示例性实施例的宏观数据生产和评估过程中批发零售、住宿餐饮业商品销售及经营情况统计表的数据质量检测的可视化界面图。

图9示出了根据本发明示例性实施例的宏观数据生产和评估的装置的示意图。

图10示出了根据本发明示例性实施例的宏观数据生产和评估的设备的示意图。

具体实施例

如在本文中所使用的，词语“第一”、“第二”等可以用于描述本发明的示例性实施例中的元件。这些词语只用于区分一个元件与另一元件，并且对应元件的固有特征或顺序等不受该词语的限制。除非另有定义，本文中使用的所有术语(包括技术或科学术语)具有与本发明所属技术领域的普通技术人员通常理解的含意相同的含意。如在常用词典中定义的那些术语被解释为具有与相关技术领域中的上下文含意相同的含意，而不被解释为具有理想或过于正式的含意，除非在本发明中被明确定义为具有这样的含意。

本领域的技术人员将理解的是，本文中描述的且在附图中说明的本发明的装置和方法是非限制性的示例性实施例，并且本发明的范围仅由权利要求书限定。结合一个示例性实施例所说明或描述的特征可与其他实施例的特征组合。这种修改和变化包括在本发明的范围内。

下文中，将参考附图详细描述本发明的示例性实施例。在附图中，省略相关已知功能或配置的详细描述，以避免不必要地遮蔽本发明的技术要点。另外，通篇描述中，相同的附图标记始终指代相同的电路、模块或单元，并且为了简洁，省略对相同电路、模块或单元的重复描述。

此外，应当理解一个或多个以下方法或其方面可以通过至少一个控制单元或控制器执行。术语“控制单元”，“控制器”,“控制模块”或者“主控模块”可以指代包括存储器和处理器的硬件设备。存储器或者计算机可读存储介质配置成存储程序指令，而处理器具体配置成执行程序指令以执行将在以下进一步描述的一个或更多进程。而且，应当理解，正如本领域普通技术人员将意识到的，以下方法可以通过包括处理器并结合一个或多个其他部件来执行。

数据生产和评估是指对由不同用户、不同来源渠道生产的多种格式的数据，按照一定的规则设置公式，形成生产过程数据，通过对生产过程数据的评估、转换形成最终的指标数据。本发明的方案旨在提供一种数据生产和评估的方案，能够形成高质量、可溯源的规整数据，并且数据生产和评估的全过程可全程留痕、支持数据钻取。

图1是根据本发明的示例性实施例的宏观数据生产和评估的方法流程图。

如图1所示，在步骤S1进行数据获取和数据生产，即：根据预设的数据生产规则，对获取到的多源数据进行处理以生产和统计表相对应的第一数据；

在步骤S2对数据进行评估，即：根据预设的数据评估规则，对所述第一数据进行评估和转换以获取第二数据；

在步骤S3对数据进行质量检测，即：对第一数据和第二数据进行质量检测以获取第三数据，所述第三数据为最终的指标数据。

其中，所述第一数据为经所述步骤S1生产的在统计表第一阶段中数据区域中的数据；所述第二数据为经过步骤S2评估的在统计表第二阶段中数据区域中的数据；所述第三数据为经过步骤S3质量检测的在统计表第三阶段中的数据区域中的数据；其中统计表的第一阶段、第二阶段和第三阶段基于相同的统计指标和统计维度来确定数据区域。

根据本发明的一个或多个实施例，能够对数据生产评估过程可视化，基于统计表，拆分统计指标和统计维度，通过统计指标和维度的组合唯一确定数据区域，对统计报表中的所有数据区域可视化，并根据数据区域来设置数据生产评估规则。

图2是根据本发明示例性实施例的经济社会发展统计月报统计表数据的示意图。

如图2所示，以《经济社会发展统计月报》为例，统计指标可拆分成：全市生产总值(亿元)、第一产业、第二产业、工业、建筑业、第三产业等；统计维度可拆分成：1-季度、统计±％、比重(％)、贡献率(内部)、拉动力(内部)、当季增速(内部)等，通过统计指标与统计维度的组合，比如全市生产总值(亿元)_1-季度，确定统计报表的数据区域。

根据本发明的一个或多个实施例，其中数据生产评估规则包括四个部分：①数据源；②数据指标；③计算规则；④特定系数。通过以上四个部分的任意组合，可以对数据区域设置满足各种规则的计算公式。

以图2《经济社会发展统计月报》中数据区域“批发额_1-季度”的生产过程为例，图3是根据本发明示例性实施例的数据生产和评估规则中的批发零售、住宿餐饮业商品销售及经营情况统计表。

其中数据源①包括：1-3月份《批发零售、住宿餐饮业商品销售及经营情况》统计报表。

其中数据指标②包括：(1)批发业销售额_1月_零售额(亿元)；(2)零售业销售额_1月_零售额(亿元)；(3)批发业销售额_2月_零售额(亿元)；(4)零售业销售额_2月_零售额(亿元)；(5)批发业销售额_3月_零售额(亿元)；(6)零售业销售额_3月_零售额(亿元)。

其中计算规则③为：“批发额_1-季度＝批发业销售额_1月_零售额(亿元)+零售业销售额_1月_零售额(亿元)+批发业销售额_2月_零售额(亿元)+零售业销售额_2月_零售额(亿元)+批发业销售额_3月_零售额(亿元)+零售业销售额_3月_零售额(亿元)”，得到该数据区域的生产过程结果。

如果在计算过程中涉及特定系数④，可直接选择系数作为计算规则项。

根据本发明的一个或多个实施例，通过设置数据区域的生产计算规则，获得统计表(或统计报表)的生产过程数据结果。同理，针对生产过程数据结果，可按照同样的流程，完成数据评估的过程，生产最终的指标数据。

根据本发明的一个或多个实施例，针对统计表或统计报表中的任一数据区域，全程留痕，包括涉及的数据源、数据指标、计算规则以及各类特定系数的全程跟踪和获取，支持数据区域中数据的钻取，以便更好的对数据生产过程进行分析、溯源。

根据本发明的一个或多个实施例，为统计表或统计报表在数据获取、数据生产、数据评估和数据质量检测等各个阶段分配唯一的表示，并对各个阶段中数据生产和评估规则中的参数进行管理。如果进行数据质量检测后，还需要对数据根据预设的生产和评估规则进行再评估，为数据再评估阶段的统计表设置唯一标识，并和之前数据处理阶段的中的参数进行关联。

图4示出了根据本发明示例性实施例的统计报表关联的代码示意图。

如图4所示，根据本发明的一个或多个实施例，通过统计报表关联分析指标，统计报表整个生产过程(包括生产和评估)均会进行记录，记录结果存放在生产过程任务表中，比如一张统计报表经历了数据生产过程、数据评估过程、数据审核过程、数据再评估过程，那么在生产过程任务表中会有四条记录，分别对应这四个过程，由taskId(任务ID)进行唯一标识，以此达到全程留痕的效果。

根据本发明的一个或多个实施例，为每一个生产过程通过bi zId(设备或群组ID)关联统计报表，通过统计报表关联分析指标，形成一个完整的关系链。

图5示出了根据本发明示例性实施例的宏观数据生产和评估系统可视化界面图。

如图5所示，左侧数据生产过程即展现了统计报表的数据生产过程(即图3的统计报表)，选择任一过程，都可以查看该过程对应的报表数据结果，以此对每个统计指标的数据生产过程进行溯源。针对每一张统计报表，会将所有分析指标列出，并记录每个分析指标引用的数据集、设置的生产公式、设置的评估规则等，每个指标都统一通过这些链接向下进行钻取，查看该指标从零到一的全过程。

图6示出了根据本发明示例性实施例的宏观数据生产和评估过程中指标生产过程计算项存储结构代码示意图。

如图6所示，在数据存储过程中，采用文本型数据库MongoDB，以图3中统计报表的“批发额_1-季度”为例，指标生产过程计算项存储结构图6方框中示出的计算项及计算公式、计算指标和计算结果所示。通过存储计算指标、计算项、计算公式以及计算结果，对统计报表中的所有指标生产计算过程进行存储。同样，评估过程及结果也按照同样的方式进行存储。

根据本发明的一个或多个实施例，在数据生产和评估过程中，可以通过模板化来进行实现各种生产规则和评估规则的配置，例如，在生产评估过程设置的各类计算规则，均可存储为与当前报表关联的计算模板，在相同报表、不同报告期的应用场景中，可直接引用对应的模板，包括数据源、数据指标、计算规则、各类系数等，减少统计人员重复计算的工作量。其中模板存储包括该模板的相关信息，以及模板对应的报表信息、报表指标信息和计算过程信息。

根据本发明的一个或多个实施例，在所述步骤S3中，通过设置质量检测模型来对第一数据和第二数据进行数据质量检测，其中，质量检测模型包括通用质量检测模板和特定质量检测模板，通用质量检测模板适用于任意的统计表，所述特定指令检测模板仅仅适用于特定应统计表。其中，通用质量检测模板通过通用指标的表达式来设置检测规则；特定质量检测模板通过特定的统计表来设置检测规则。

根据本发明的一个或多个实施例，在数据生产和评估过程中，可以对过程数据进行质量检测。质量检测过程包括：①设置质量检测模型；②统计报表应用质量模型进行数据质量检测。在设置质量检测模型过程中，包括两种方式，第一种类型是针对通用指标进行设置，例如设置报告期不能为空、企业组织结构代码的规则等，此种质量模型任何报表均适用。在报表填报过程中，选择此种质量模板，可对统计报表中相关指标数据进行检测。第二种类型的质量模型是针对特定的报表，在模型设置前，需要先选择报表，针对报表中的指标进行设置。此种质量模型后期只适用于本报表，对本报表的指标数据质量进行检测。

根据本发明的一个或多个实施例，每个质量检测模板中包含若干个与分析指标关联的检测规则，规则的检测级别分为三类:警告级别、严重警告级别和强制级别。在执行质量检测模板时，会依次执行每个检测规则，满足规则的即为合格，不满足规则的即为不合格，如果不满足规则的检测级别为警告级别，可自行检查数据正确性后不做处理，如果不满足规则的检测级别为严重警告级别，再自行检查数据正确性后必须给出情况说明，如果不满足规则的检测级别为强制级别，则必须修改数据使其符合检测规则。

根据本发明的一个或多个实施例，在通用质量检测模板中，在设置通用检测模板的检测规则时，会在设置界面列出所有的指标、属性及累计，选择指标及属性后通过表达式设置检测规则。比如设置规则表达式为：(批发业零售额_本月-批发业零售额_上期)/批发业零售额_上期*100％<50％，则表明批发业零售额同比增长不能超过50％，如果超过，就会触发该检测规则。

图7示出了根据本发明示例性实施例的宏观数据生产和评估过程中数据质量检测的可视化界面图。

如图7所示，在界面中，包括了检测级别、提示信息、常用函数、运算符等菜单，在主界面中还包括了指标、属性和累计三个分析指标参数。

图8示出了根据本发明示例性实施例的宏观数据生产和评估过程中批发零售、住宿餐饮业商品销售及经营情况统计表的数据质量检测的可视化界面图。

如图8所示，根据本发明的一个或多个实施例，针对特定报表的质量检测模型，则是依托于报表来设置检测规则。例如，依据《批发零售、住宿餐饮业商品销售及经营情况》报表进行设计，设置检测规则：批发业销售额_零售额>＝批发业零售额_限额以上_零售额，则表明批发业销售额零售额需大于等于限额以上零售额，如果小于，则会触发该检测规则。

根据本发明的一个或多个实施例，针对生产过程的统计报表，需先选择质量检测模型，选择后执行质量检测，会根据质量检测模型中的检测规则一一比对统计报表中的数据，并在质量检测结果处列出所有不符合检测规则的数据。需要注意的是，通用质量检测模型可适用于任意报表，针对特定报表设置的质量检测模型只适用于对应的报表。

图9示出了根据本发明示例性实施例的宏观数据生产和评估的装置的示意图。

如图9所示，宏观数据生产和评估的装置，包括：存储器和处理器；所述存储器，用于存储计算机程序，其中，当处理器执行所述计算机程序时，实现根据上述的宏观数据生产和评估的方法。

图10示出了根据本发明示例性实施例的宏观数据生产和评估的设备的示意图。

如图10所示，宏观数据生产和评估的系统(或设备)包括了数据获取单元、数据生产单元、数据评估单元、数据质量检测单元。这些数据单元分别实现如本发明图1所示的步骤S1、S2和S3的功能。另外，图10所示的宏观数据生产和评估设备还包括数据再评估单元，用于根据预设的评估规则对数据质量检测输出的数据进行再评估。

在本申请所提供的实施例中，应该理解到，所揭露系统、设备、装置或方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

根据本发明的一个或多个实施例，本发明中的方法可以使用存储在非暂时性计算机和/或机器可读介质(例如硬盘驱动器、闪存、只读存储器、光盘、数字多功能磁盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储磁盘)上的编码的指令(例如，计算机和/或机器可读指令)来实现如本发明以上系统中的流程的处理，在非暂时性计算机和/或机器可读介质中存储任何时间期间(例如，延长的时间段、永久的、短暂的实例、临时缓存和/或信息高速缓存)的信息。如本文所使用的，术语“非暂时性计算机可读介质”被明确定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。

作为本发明示例的上文涉及的附图和本发明的详细描述，用于解释本发明，但不限制权利要求中描述的本发明的含义或范围。因此，本领域技术人员可以很容易地从上面的描述中实现修改。此外，本领域技术人员可以删除一些本文描述的组成元件而不使性能劣化，或者可以添加其它的组成元件以提高性能。此外，本领域技术人员可以根据工艺或设备的环境来改变本文描述的方法的步骤的顺序。因此，本发明的范围不应该由上文描述的实施例来确定，而是由权利要求及其等同形式来确定。

尽管本发明结合目前被认为是可实现的实施例已经进行了描述，但是应当理解本发明并不限于所公开的实施例，而相反的，意在覆盖包括在所附权利要求的精神和范围内的各种修改和等同配置。

Claims (10)

1.一种宏观数据生产和评估的方法，其特征在于，所述方法包括：

S1：根据预设的数据生产规则，对获取到的多源数据进行处理以生产和统计表相对应的第一数据；

S2：根据预设的数据评估规则，对所述第一数据进行评估和转换以获取第二数据；

S3：对所述第一数据和第二数据进行质量检测以获取第三数据，所述第三数据为最终的指标数据。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S1中，

通过对统计指标和统计维度进行组合来确定所述多源数据在统计表中的相应的数据区域，通过所述数据区域中的数据进行可视化来设置所述预设的数据生产规则和所述预设的数据评估规则。

3.根据权利要求2所述的方法，其特征在于，

所述第一数据为经所述步骤S1生产的在统计表第一阶段中所述数据区域中的数据；

所述第二数据为经过所述步骤S2评估的在统计表第二阶段中所述数据区域中的数据；

所述第三数据为经过所述步骤S3质量检测的在统计表第三阶段中的所述数据区域中的数据；

其中所述统计表的第一阶段、第二阶段和第三阶段基于相同的统计指标和统计维度来确定所述数据区域。

4.根据权利要求3所述的方法，其中为所述统计表的第一阶段、统计表的第二阶段和统计表第三阶段分配唯一标识，并根据所述步骤S1、S2和S3将统计表的第一阶段、统计表的第二阶段和统计表第三阶段中的相关参数进行关联。

5.根据权利要求1所述的方法，其中，所述预设的数据生产规则和所述预设的数据评估规则包括所述多源数据、数据指标、计算规则和特定系数四个部分，通过该四个部分进行组合来对所述第一数据和第二数据设置满足需求的数据生产和数据评估方式。

6.根据权利要求1所述的方法，其中，通过预先建立的模板来设置预设的数据生产规则和预设的数据评估规则。

7.根据权利要求1所述的方法，其中，所述步骤S3包括：通过设置质量检测模型来对所述第一数据和第二数据进行数据质量检测，

其中，所述质量检测模型包括通用质量检测模板和特定质量检测模板，所述通用质量检测模板适用于任意的统计表，所述特定质量检测模板仅仅适用于特定的统计表。

8.根据权利要求7所述的方法，其中，所述通用质量检测模板通过通用指标的表达式来设置检测规则；

所述特定质量检测模板通过特定的统计表来设置检测规则。

9.根据权利要求1所述的方法，其中所述第一数据、第二数据、第三数据和统计表中的数据采用MongoDB数据库。

10.一种宏观数据生产和评估的装置，包括：存储器和处理器；所述存储器，用于存储计算机程序，其中，当所述处理器执行所述计算机程序时，实现根据权利要求1至9任一项所述的宏观数据生产和评估的方法。

Images