CN112016287B - 数据管理方法、平台、存储介质及电子设备 - Google Patents

Abstract

本申请提供一种数据管理方法、平台、存储介质及电子设备。本申请实施例提供的数据管理方法，通过业务处理层从数据输入层中获取输入数据，而输入数据中包括多项指标参数，然后，业务处理层根据输入数据对预设指标项进行填充，以生成指标项数据，其中，指标项数据包括指标项以及指标项对应的指标参数，最后，业务处理层将指标项数据输出至结果输出层，以在结果输出层的数据库中进行存储，从而适应不同数据源采集以及适配后续数据查询的灵活性以及可扩展性。

Description

数据管理方法、平台、存储介质及电子设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据管理方法、平台、存储介质及电子设备。

背景技术

随着信息化技术的发展，数据分析应用需求的快速增长，对于统计数据存储的要求日渐提高，对于数据的采集形式，日渐往技术代替人工操作层面进行发展。

目前，统计机构由原始采集方式(例如：QQ、电话、文件传输协议等)转变为数据填报以及数据导入形式。历史数据存储的方式也通过纸质版本存放于档案室、文稿形式存放于个人电脑，转变为通过信息化手段将数据存储于数据采集平台，为历史数据安全存放提供保障，并通过一系列应用提高对历史数据的有效使用率。

但是，现有在进行数据采集之后，通常是直接对采集的报表进行存储，造成后续对数据管理缺乏灵活性和可扩展性。

发明内容

本申请实施例提供一种数据管理方法、平台、存储介质及电子设备，以提高对数据管理缺乏灵活性和可扩展性。

第一方面，本申请实施例提供一种数据管理方法，应用于数据管理平台，所述数据管理平台包括数据输入层、业务处理层以及结果输出层，所述方法包括：

所述业务处理层从所述数据输入层中获取输入数据，所述输入数据中包括多项指标参数；

所述业务处理层根据所述输入数据对预设指标项进行填充，以生成指标项数据，所述指标项数据包括指标项以及所述指标项对应的指标参数；

所述业务处理层将所述指标项数据输出至所述结果输出层，以在所述结果输出层的数据库中进行存储。

在一种可能的设计中，所述业务处理层从所述数据输入层中获取输入数据，包括：

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象对所述填报任务中所述预设指标项的输入参数，所述输入数据包括所述输入参数；或者，

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象输入的第一预设格式文件，所述预设格式文件中包括所述预设指标项以及所述预设指标项对应的输入参数，所述输入数据包括所述输入参数；或者，

获取所述目标对象输入的第二预设格式文件；

获取所述第二预设格式文件中的列表头部信息，所述列表头部信息中包括至少一项待定指标项；

获取关联指令，所述关联指令用于将所述待定指标项与所述预设指标项建立关联关系；

获取所述待定指标项中的参数作为所述预设指标项的输入参数，所述输入数据包括所述输入参数。

在一种可能的设计中，在所述创建填报任务之前，还包括：

获取报表定义指令，所述报表定义指令用于按照预设标识进行报表绘制以及报表属性定义，所述报表属性包括多项指标项；

在所述创建填报任务之后，还包括：

确定所述填报任务处于预设填报期限内。

在一种可能的设计中，在所述业务处理层从所述数据输入层中获取输入数据之后，还包括：

判断所述预设指标项的所述输入参数与所述数据库中已存的所述预设指标项的原始数据是否满足预设重复性规则；

若未满足所述预设重复性规则，则根据所述输入数据对所述预设指标项进行填充；

若满足所述预设重复性规则，则输出重复数据提醒信息，所述重复数据提醒信息包括所述原始数据的填报信息，以及所述原始数据与所述输入数据的对比信息。

在一种可能的设计中，所述预设重复性规则用于确定数据属性的唯一性，所述数据属性包括：指标属性、分组属性、地区属性、对比项属性、计量单位属性、频度属性以及期别属性。

在一种可能的设计中，所述输入数据为基层数据，以二维表形式存储于所述数据库，综合数据通过关联数据属性进行存储，所述综合数据与所述基层数据通过所述数据属性进行关联，所述综合数据用于生成展示报表。

在一种可能的设计中，在所述获取所述第二预设格式文件中的列表头部信息之后，还包括：

确定所述待定指标项是否为新指标项；

若所述待定指标项为新指标项，则新增所述待定指标项，并输出所述待定指标项，以提示输入所述关联指令；

若所述待定指标项为非新指标项，则根据所述待定指标项与所述预设指标项的预设关联关系，将所述待定指标项中的参数作为所述预设指标项的输入参数。

第二方面，本申请实施例提供一种数据管理平台，包括：

数据采集模块，用于获取输入数据，所述输入数据中包括多项指标参数；

数据处理模块，用于根据所述输入数据对预设指标项进行填充，以生成指标项数据，所述指标项数据包括指标项以及所述指标项对应的指标参数；

数据存储模块，用于所述指标项数据输出至数据库中进行存储。

在一种可能的设计中，所述数据处理模块，具体用于：

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象对所述填报任务中所述预设指标项的输入参数，所述输入数据包括所述输入参数；或者，

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象输入的第一预设格式文件，所述预设格式文件中包括所述预设指标项以及所述预设指标项对应的输入参数，所述输入数据包括所述输入参数；或者，

获取所述目标对象输入的第二预设格式文件；

获取所述第二预设格式文件中的列表头部信息，所述列表头部信息中包括至少一项待定指标项；

获取关联指令，所述关联指令用于将所述待定指标项与所述预设指标项建立关联关系；

获取所述待定指标项中的参数作为所述预设指标项的输入参数，所述输入数据包括所述输入参数。

在一种可能的设计中，所述数据采集模块，还用于获取报表定义指令，所述报表定义指令用于按照预设标识进行报表绘制以及报表属性定义，所述报表属性包括多项指标项；

所述数据处理模块，还用于确定所述填报任务处于预设填报期限内。

在一种可能的设计中，所述数据处理模块，还用于：

判断所述预设指标项的所述输入参数与所述数据库中已存的所述预设指标项的原始数据是否满足预设重复性规则；

若未满足所述预设重复性规则，则根据所述输入数据对所述预设指标项进行填充；

若满足所述预设重复性规则，则输出重复数据提醒信息，所述重复数据提醒信息包括所述原始数据的填报信息，以及所述原始数据与所述输入数据的对比信息。

在一种可能的设计中，所述预设重复性规则用于确定数据属性的唯一性，所述数据属性包括：指标属性、分组属性、地区属性、对比项属性、计量单位属性、频度属性以及期别属性。

在一种可能的设计中，所述输入数据为基层数据，以二维表形式存储于所述数据库，综合数据通过关联数据属性进行存储，所述综合数据与所述基层数据通过所述数据属性进行关联，所述综合数据用于生成展示报表。

在一种可能的设计中，所述数据处理模块，还用于：

确定所述待定指标项是否为新指标项；

若所述待定指标项为新指标项，则新增所述待定指标项，并输出所述待定指标项，以提示输入所述关联指令；

若所述待定指标项为非新指标项，则根据所述待定指标项与所述预设指标项的预设关联关系，将所述待定指标项中的参数作为所述预设指标项的输入参数。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的计算机程序；

其中，所述处理器配置为经由执行所述计算机程序来实现第一方面中任意一种可能的数据管理方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种可能的数据管理方法。

本申请实施例提供的一种数据管理方法、平台、存储介质及电子设备，通过业务处理层从数据输入层中获取输入数据，而输入数据中包括多项指标参数，然后，业务处理层根据输入数据对预设指标项进行填充，以生成指标项数据，其中，指标项数据包括指标项以及指标项对应的指标参数，最后，业务处理层将指标项数据输出至结果输出层，以在结果输出层的数据库中进行存储，从而适应不同数据源采集以及适配后续数据查询的灵活性以及可扩展性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请根据一示例实施例示出的数据管理方法的应用业务流程示意图；

图2是本申请根据一示例实施例示出的数据管理方法的流程示意图；

图3是本申请根据一示例实施例示出的数据管理平台的结构示意图；

图4是本申请根据一示例实施例示出的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着信息化技术的发展，数据分析应用需求的快速增长，对于统计数据存储的要求日渐提高，对于数据的采集形式，日渐往技术代替人工操作层面进行发展。目前，统计机构由原始采集方式(例如：QQ、电话、文件传输协议等)转变为数据填报以及数据导入形式。历史数据存储的方式也通过纸质版本存放于档案室、文稿形式存放于个人电脑，转变为通过信息化手段将数据存储于数据采集平台，为历史数据安全存放提供保障，并通过一系列应用提高对历史数据的有效使用率。但是，现有在进行数据采集之后，通常是直接对采集的报表进行存储，造成后续对数据管理缺乏灵活性和可扩展性。

针对上述存在的各个问题，本申请实施例提供一种数据管理方法、平台、存储介质及电子设备，在该数据管理方法中，对统计局各专业处、各委办局及基层调查对象的统计数据按照一定标准进行数据的抽取、清洗、转化等操作，最终按照标准规范写入数据库中，从而实现统计数据的标准化。

其中，主要以报表制度形式对统计专业数据、部门统计数据按照统一的标准要求进行抽取、清洗、转化、入库，具有常用的面向基层调查对象的采集功能。根据综合统计数据的调度要求，定期进行更新、加载，数据加载过程中要对数据进行审核，同一指标多次导入数据要进行比对和纠错。从而可以支持不同数据粒度的集中、支持不同数据来源的数据集中、支持不同局办和不同区县的数据集中以及支持不同手段的数据集中。

在本实施例中，通过数据管理平台采集部分的底层存储的设计，为之后大量数据分析应用奠定了基础。数据从时序分析、行业分析、地区比较、可视化图表分析、多指标对比等多个纬度进行分析应用，用传统整表的方式进行数据分析查询效率偏慢，所以从设计层面上，数据存储方式采用指标化形式，从指标、分组、地区、对比项、计量单位、频度、期别几个属性进行数据关联。

图1是本申请根据一示例实施例示出的数据管理方法的应用业务流程示意图。如图1所示，本实施例提供数据管理方法，应用于数据管理平台，数据管理平台包括数据输入层、业务处理层以及结果输出层。其中，业务处理层从数据输入层中获取输入数据，输入数据中包括多项指标参数，而输入数据可以是来自于各类数据来源，例如：通过填报方式采集、文件传输方式采集以及数据导入方式采集。

具体的，对于填报方式采集，可以是：

步骤一：按照具体表式内容进行报表绘制以及报表定义，将报表归属至填报单位；

步骤二：创建填报任务，进行报表任务下发；

步骤三：系统判断任务是否在填报期内，如果是，展示在待填报列表中；如果否，待填报列表中不展示；

步骤四：按照报表、期别、频度属性对报表进行数据填报；

步骤五：按照定义的指标、分组、地区、对比项、计量单位、频度、期别属性进行唯一性判断，数据重复的情况，进行重复提醒；数据不存在重复的情况，数据上报成功。

对于文件传输方式采集，可以是：

步骤一：按照具体表式内容进行报表绘制以及报表定义，将报表归属至填报单位；

步骤二：创建填报任务，进行报表任务下发；

步骤三：系统判断任务是否在填报期内，如果是，展示在待填报列表中；如果否，待填报列表中不展示；

步骤四：按照报表、期别、频度属性判断报表，通过Excel文件形式将数据导入至报表；

步骤五：按照定义的指标、分组、地区、对比项、计量单位、频度、期别属性进行唯一性判断，数据重复的情况，进行重复提醒；数据不存在重复的情况，数据存储成功。

对于数据导入方式采集，可以是：

步骤一：按照报表模版进行模版记录创建；

步骤二：将csv、excel文件进行新增导入；

步骤三：对文件列表头部进行解析；并将解析后的各项指标结果展示在界面中；

步骤四：对指标单位以及指标类型进行设置，对特殊指标项(单位名称、组织机构代码)进行默认关联设置，进行保存；

步骤五：系统判断相同指标名称是否存在，如果相同指标名称已经存在，则不重复进行指标创建，如果指标名称不存在，则进行指标新增；

步骤六：将数据按照识别指标进行匹配导入，形成指标数据进行存储。

在业务处理层从数据输入层中获取输入数据之后，业务处理层根据输入数据对预设指标项进行填充，以生成指标项数据，指标项数据包括指标项以及指标项对应的指标参数，然后，业务处理层将指标项数据输出至结果输出层，以在结果输出层的数据库中进行存储。

图2是本申请根据一示例实施例示出的数据管理方法的流程示意图。如图2所示，本实施例提供的数据管理方法，包括：

步骤101、业务处理层从数据输入层中获取输入数据。

在本步骤中，可以是通过填报方式采集、文件传输方式采集以及数据导入方式采集从数据输入层中获取输入数据，其中，输入数据中包括多项指标参数。

可选的，对于填报方式采集，可以是先创建填报任务，并将填报任务下发至目标对象，填报任务包括预设指标项，然后，获取目标对象对填报任务中预设指标项的输入参数，输入数据包括输入参数。

可选的，对于文件传输方式采集，可以是创建填报任务，并将填报任务下发至目标对象，填报任务包括预设指标项，然后，获取目标对象输入的第一预设格式文件，预设格式文件中包括预设指标项以及预设指标项对应的输入参数，输入数据包括输入参数。

此外，在另一种采集方式中，即数据导入方式采集，则可以是获取目标对象输入的第二预设格式文件，然后，获取第二预设格式文件中的列表头部信息，列表头部信息中包括至少一项待定指标项，再获取关联指令，关联指令用于将待定指标项与预设指标项建立关联关系，最后，获取待定指标项中的参数作为预设指标项的输入参数，输入数据包括输入参数。

在数据导入方式中，可以确定待定指标项是否为新指标项，若待定指标项为新指标项，则新增待定指标项，并输出待定指标项，以提示输入关联指令，若待定指标项为非新指标项，则根据待定指标项与预设指标项的预设关联关系，将待定指标项中的参数作为预设指标项的输入参数。

可选的，在上述采集方式中，在创建填报任务之前，还可以获取报表定义指令，报表定义指令用于按照预设标识进行报表绘制以及报表属性定义，报表属性包括多项指标项。以及，在创建填报任务之后，先确定填报任务处于预设填报期限内，再进行数据采集。

并且，在该步骤中，数据管理平台还具备数据采集管理功能，可以是支持复杂的中国式报表表样设计。通过设定报表元素来实现报表各部分内容的生成，通过表头表尾设置、设定行列属性、文字编辑排版、表格线型编辑、表外观制作、公式定义、属性设置等功能实现对复杂报表的支持。

此外，数据管理平台还具备表样制度管理，可以支持对制度名称、版本、制度文号、批准文号、有效期、制定机关等制度属性的管理和版本管理。以及支持制度的每个版所包含的报表对应关系管理。并且，还可以支持制度和版本的时间轴展现。以及支持按报表名称查询并配置、移除制度，一张报表模版只能对应一个制度。

可选的，数据管理平台还具备内容管理功能，可以支持对表样基本属性进行管理：即模版名称(报表名称)、表号、上报部门、频度、是否审核、制表单位、是否不定长、是否跨期别、计量单位、备注等。其中，对表样频度进行管理：包括月度、季度、半年度、年度。不定长报表管理：系统支持不定长报表的入库，通过自动扩充报表工具的形式进行整表入库。跨期别报表管理：系统支持年鉴报表，月份报表等模板的设置，可快速导入历年数据，快速进行年鉴表制作。

可选的，数据管理平台还可以进行表样设计，包括表样格式设置、单元格设置、格式查看、搜索、元数据定义、计算公式、审核关系、验收公式等。具体设计如下：表样格式设置：支持按报表的表样设置表格线属性(包括边框线粗细、合并单元格、开口设置)、行列属性(行宽、平铺等)、皮肤设置、固定表头等。此外，还可以进行单元格设置：支持设置单元格属性(包括对齐关系、字体设置、小数位数，只读模式等)。另外，还可以进行只读模式设置，格式查看：表样设计好后，支持查看、编辑特定单元格及表内所有格式(包括对齐关系、小数位数，只读模式、计算公式及审核关系等)。对于内容较多表，支持通过在搜索栏输入单元格内容或数据的方式，定位到所需指标名称或数据，便于进行快速操作。而且，还可以元数据定义：支持通过报表工具指标分组功能对单元格的元数据进行关联设置(包括指标、分组、地区、对比项、计量单位)。对于计算公式，可以在设计报表制度时，对相关单元格加入计算公式，而对于审核关系，则可以支持报表工具设置审核公式。此外，还可以支持报表工具设置验收公式，支持验收不通过的表及时反馈给部门。然后，还可以支持报表保存功能，绘制好的报表将保存至数据库中，保存后的报表将在报表列表中显示。并且，还支持在绘制报表的过程中随时预览表样式功能，以及支持将外部报表文件加载至系统中,加载后可修改、预览、保存，加载报表时须验证报表的文件格式。

可选的，数据管理平台还可以进行表样管理，主要包括表样的新增、删除、编辑、共享、复制、历史、属性、期别、刷新表样、替换表样、启用、停用等功能。其中，对于新增表样，是根据报表制度新建报表，针对每一个单元格进行指标、分组、地区、对比项等属性的定义，支持对表样进行保存、打印、下载。值得说明的，在进行删除表样时，支持对未报数据的重复表样进行删除操作，已有数据的表样不可删除。在进行表样共享时，支持选择系统内的角色用户进行资源共享。在进行新增表样时，可通过复制类似格式表样快速建立新表样，提高业务人员办公效率。此外，还可以支持查看所选报表表样的历史版本，各版本以时间先后顺序进行呈现，最新版本的表样排在最前；支持以任意历史版本替换成最新表样，便于对历史表样的维护。

在新建表样完成后，支持新建期别，期别内容包括上报年份、频度、上报开始时间、上报结束时间。期别建立后呈现同一期别不同历史时段表样的状态，即未报或逾期未报，该状态会自动同步在个人报表中。并且，可以支持对表样进行编辑修改时，若指标映射关系没有变化，则直接刷新；若新建版本为更新模版，则需要为相关期别刷新模版。除此之外，还可以对表样进行启用或停用，支持对同一期别不同历史时段的表样进行停用、启用处理，新建表样自动启用，可对已停用表样再次启用。

步骤102、业务处理层根据输入数据对预设指标项进行填充。

在业务处理层从数据输入层中获取输入数据业务之后，处理层根据输入数据对预设指标项进行填充，以生成指标项数据，指标项数据包括指标项以及指标项对应的指标参数。

可选的，数据管理平台还可以进行数据上报管理，其中，设置有个人中心，支持为登录用户展现各专业、部门报表的当前状态，登录用户可通过搜索功能对相应报表进行填报处理或查看，统计局与部门的相关对口专业可对部门报表进行二级审核。还可以查看待处理报表，其中，待处理报表功能包括：待填报、重复数据提醒、待验收、验收不通过、对口部门未报报表。待填报：待填报的报表状态分为两种：当前日期处于上报开始时间与上报结束时间范围之内，状态可以显示为蓝色“未报”；当前日期超过上报结束时间，状态显示可以为红色“逾期未报”。用户可点击“未报”或“逾期未报”进行上报数据。

并且，待填报报表可以支持以下功能：自动取数，数据校对，错误定位，单位负责人信息继承，自动计算，数据审核，重复数据提醒，批量操作数据，重复数据详细信息查询。具体的：

自动取数：数据填报时，系统实现对已有指标数据的自动填充，供填报人员参考。

数据上报时，实现对报表中各指标的当前上报值与原有值进行自动比对，并进行差异处理；

错误定位：系统支持错误定位功能,用户填写数据出现审核错误时可根据错误信息定位并以单元格快速链接显示表内错误指标,便于用户快速定位、修改数据。

单位负责人信息继承：部门上报数据时需要填写的单位负责人、填表人、联系电话等信息，只需在系统中填写一次，后续数据上报时此类信息将会从上一期报表中继承，减轻业务人员数据填报工作量。

重复数据提醒：支持上报数据与系统中已入库数据做比对，当两者不一致时，自动在报表上增加重复数据提醒，并支持取消提醒，以方便上报人员了解指标数据变化,避免因小数位数、单位不一致等情况引起的数据不一致或上报出错现象发生。

对于重复数据提醒，可以是判断预设指标项的输入参数与数据库中已存的预设指标项的原始数据是否满足预设重复性规则，若未满足预设重复性规则，则根据输入数据对预设指标项进行填充，若满足预设重复性规则，则输出重复数据提醒信息，重复数据提醒信息包括原始数据的填报信息，以及原始数据与输入数据的对比信息。上述预设重复性规则用于确定数据属性的唯一性，数据属性包括：指标属性、分组属性、地区属性、对比项属性、计量单位属性、频度属性以及期别属性

批量操作数据：当上报数据与系统值不一致时，可直接使用系统值覆盖现在上报数据。反之，若上报数据为正确数据，那么可直接使用现在上报数据上报，替换掉系统中的错误数据。

重复数据详细信息查询：重复数据提示框中显示具体重复的数据项，以及该数据涉及的报表，上报数据、时间。可通过该功能记录数据上报情况，查找重复数据问题，排除数据冲突。

待验收：专业对部门上报的数据进行审核。

验收不通过：专业对未通过验收的部门报表填写意见，支持修改报表数据。

对口部门未报报表：对部门未报报表进行排列展示。

数据上报管理中还可以包括展示已处理报表，已处理报表包括：已上报、对口部门已上报、正在处理的报表。其中，对于已上报，可以是显示用户已上报入库的报表列表。对于上报数据查看，可以是支持对填报期内的数据进行修改；支持修改重复数据提醒和快捷操作。而对于数据血缘追踪，可以是已上报的数据可以查看单个指标数据的详细信息以及按时间的走势图。而对于历史数据记录，则可以是支持在“历史”中查看该期上报过的所有历史版本数据。对于对口部门已报，则是显示专业所对口的部门已上报的报表列表。对于正在处理报表，则是显示专业正在审核对口部门的报表列表。

而在进行统计专业数据采集时，可以是对专业内部的报表制度进行整理和初始化，完成统计局内部专业处室的数据采集、指标化及数据入库工作。并且，可以进行专业样表定制，对专业内部的报表制度进行整理和初始化，将专业上报的表样进行设置，并确立指标与报表的对应关系，实现专业表样的定制。该功能可以实现上报模板的定义、修改、期别管理、发布控制等功能。并且，专业表样定制的功能满足：

1、实现表的新增：可以根据业务的需要，随时在系统中增加上报模板；

2、实现报表的修改：当用户的上报数据表发生改变时，可以根据需要对上报模板进行修改，模板的修改包括模板名称、所属部门等属性的修改、以及行列的添加和删除、以及行列单元格内容的修改。

可选的，还可以对表样及时更改，具体的，表样及时变更功能通过历史版本功能记录表样不同时期的历史版本，用户可以通过历史版本管理，展现历史表样。通过报表的修改生成不同的版本，对报表的版本进行管理，不同时期可以使用模板的不同版本，以及模板的管理可以实现模板所属用户的管理，不同的用户可以拥有不同模板的使用权限。

而对于数据填报，则是是报表填报单位对报表管理员所授权的报表进行填写，填表人选择所须填报的报表进行数据填写。实现报表数据录入功能，网页数据手工录入和Excel数据复制上传。

并且，还可以支持各报表填报期限设置的功能，各级填报人员只能在期限内填写该报表。填报期设置功能，通过新建期别，实现报表填报的期别生成，根据业务需求，如需调整期别，也可调整数据填报期别。具有期别生成功能，实现报表的期别生成。期别生成需要设置上报年份、频度、第一期开始时间和第一期结束时间。以及还具有期别调整功能，实现填报期别的变化，如原本为每月填报数据，可以调整为季度或者年度报表。

除了支持各报表填报期限设置的功能之外，还可以通过“停用”和“启用”功能，将特定期别的报表设置为免填报状态。

为了对数据进行修改，平台还可以支持数据修改功能，用户可在预设的报表修改期限内对相应的报表进行修改，超出数据修改期限则不允许修改。具体的，可以是上报暂存数据修改，只需打开需要修改期别的数据，调整相应数据，点击上报后生成正式数据。对于已经上报的数据，需要先调整已报数据期别，打开该期报表。再对数据进行调整。

步骤103、业务处理层将指标项数据输出至结果输出层。

业务处理层将指标项数据输出至结果输出层，以在结果输出层的数据库中进行存储。

可选的，输入数据为基层数据，以二维表形式存储于数据库，综合数据通过关联数据属性进行存储，综合数据与基层数据通过数据属性进行关联，综合数据用于生成展示报表。

对已经上报的数据支持按照上报模板的样式进行报表查询，并支持查询结果的Excel导出。具体的，可以是支持部门、频度、期别及表名的模糊查询功能、可查看特定期别的上报数据、以及可查看特定期别的历史上报数据，即初始版本的数据上报情况，以及数据上报的时间。

由于各委办局数据的采集，需要通过统一的平台，进行制度化管理，整理部门填报的报表制度，确定报表与指标的对应关系，规范统计口径和范围，确认指标来源及相关属性，实现部门数据的填报入库。

为了实现报表制度定制，需要确定数据填报部门及填报报表，期别及联系人等信息。以及对收集到的部门报表制度进行初始化入库，定制报表上报的表样、上报期别、上报频度、负责单位、责任人等信息。可以根据业务的需要，随时在系统中增加上报模板。平台还支持各报表填报期限设置的功能，各级填报人员只能在期限内填写该报表。填表人选择所须填报的报表进行数据填写，系统记录数据上报的时间。系统支持数据修改功能，用户可在预设的报表修改期限内对相应的报表进行修改，超出数据修改期限则不允许修改。

平台还支持报表下发回收功能，不同报表所对应的填报对象有差异，并非所有单位都须填写报表；通过报表的下发或者回收来管理各报表填报的对象，以防止单位上报不该上报的报表。对部门用户进行初始化设置，并设定专业与部门的对口关系，为部门一套表上报过程中的数据催报和数据审核提供依据。对于部门报表制度中上报的数据，需要专业人员对部门上报的报表数据进行人工比对审核，以确保数据不会出现问题。对部门上报的数据支持按照上报模板的样式进行源表查询，并支持查询结果的Excel导出。设置预警条件，如距离上报结束时间的天数，按照设置的预警条件显示预警信息。系统支持对上报情况的统计查询功能。按照上报模板、上报状态(已报/预期未报)、时间等条件对数据上报的情况进行查询，查询的结果包括所属部门、模板、期别、状态、空缺数量等信息，查询结果以报表的形式进行展现，并支持结果报表的excel导出。在进行上报工作管理时，还可以显示报表数量、指标总数、单位数量、用户数量，并通过不同的警示灯标示出在报表报送期和截止期各部门数据报送情况，达到对部门数据报送情况监督的目的。

目前联网直报一套表数据存储在企业一套表平台的生产数据库中，该平台主要是实现企业数据采集上报及审核处理流程，对于数据的共享与分析方面没有提供丰富的功能支撑，且数据仍然是分专业按表为单位进行管理的，跨专业查询使用很不方便。本期项目中需要建设与企业一套表的数据同步机制，实现一套表数据定期回流至本市的综合统计数据库中，为我市的应用提供数据支撑。

而对于数据装载，可以是通过数据仓库技术(Extract-Transform-Load，ETL)过程对从一套表数据库中格式各异、口径和含义等多方面存在分歧的数据，根据统一的标准进行整理、转化，然后装载到数据仓库中。

并且，还可以根据预定义的数据清洗和转换规则，将数据仓库中的业务数据进行清洗和转换后，根据元数据库中定义的各种业务模型和应用规则，形成指标体系数据和不同粒度的综合数据，并导入到基础数据库中。在此过程中，需要根据元数据库中定义的审核、校验规则对数据进行审核校验，以保证数据的准确性、有效性。

数据回流过程中，两次ETL过程都需要根据元数据库中的调度规则进行数据更新。

对于普查资料数据采集，普查数据主要以报表的方式存放，其格式与规范无法与当前平台的数据规范兼容，因此需要将普查系统中的数据通过映射、转换等方式，加载到普查共享库中。

对于指标映射管理，可以是提供普查系统中的指标与本系统数据目录规范体系中的指标的映射关系配置。管理员针对不同年份的报表制度，只需要通过指标映射管理配置，即可实现普查指标与数据整合系统指标体系的关联对应。

对于普查数据加载，可以是通过与外部接口，实现普查系统中报表数据的采集。普查数据的加载可以通过定期抽取的方式实现数据的同步。

对于数据转换处理，通过对普查系统中数据结构的研究，按照数据目录标准规范体系，并与普查系统数据的元数据管理进行映射，将普查系统数据按照普查资料开发系统的元数据要求进行数据转换。实现指标数据独立于统计制度和统计报表；实现指标数据能够还原为统计报表，或者根据应用需求，按报表方式进行组合；在普查系统数据处理环节，要同时满足先有元数据后有数据和元数据与数据同时处理两种机制。

对于调查对象字典库管理，可以是调查对象字典库主要用于存储所有的基层调查对象。支持对基层调查对象的基本属性管理和所属行政区划管理。支持对字典的添加、修改等编辑功能；支持导入导出功能，导入导出支持CSV、EXCEL格式。

对于数据采集管理，可以是通过在线报表定制工具，实现对填报报表的模板绘制，实现按照标准指标体系的方式进行报表定义。实现对填报任务的管理，支持不同填报对象、不同填报级别的管理，支持定义周期任务(年、季度、月)，支持添加附件。支持填报任务监管。支持通过excel文件上传、网页填报、复制黏贴功能实现数据加载。支持任务的下发回收管理。

此外，平台还可以支持根据填报需求，建立不同的工作群组。支持对群组的成员管理，支持过滤删选和批量导入方式实现成员的增删改查。支持对调查对象建立企业标签，支持对标签进行权限设置。支持为群内成员发放任务，实现任务监管。

对于数据填报管理，数据填报是基层填报对象对报表管理员所授权的报表进行填写，填表人选择所须填报的报表进行数据填写。支持数据审核、强制审核通过、错误定位和数据临时保存功能。

对于数据质量评价监测，可以是实现从源数据到目标数据的数据质量全链条评价监测，以便能够及时发现异常数据、快速定位问题数据，并提供整个流程直观可视的数据展示，便于问题数据的追溯。

对于数据指标化存储，则可以是提供数据采集平台中的数据项与元数据库中的指标映射关系配置。管理员针对不同来源的业务数据，只需要通过指标映射管理配置，即可实现采集数据与统计资源数据库中指标体系的关联对应。值得说明的，采集得到的数据是没有经过加工的数据，不能直接应用于统计资源数据库中。首先，所有采集的数据必须转换为数据库可以使用的数据。其次，采集得到的数据其质量可能还达不到统计资源数据库的要求，所以必须在数据入库之前提高数据的质量，执行各种类型的数据转换。数据转换的基本功能包括：格式修正、字段解码、度量单位的转化、日期/时间转化、汇总、键的重构等等。然后，进行数据审核处理，必须保证在所有的数据整合到一起之后，数据的来源、组合及数据重复性不能违反“一数一源”的规则。需要考虑统计资源数据库中需要的数据结构和数据元素，结合源数据格式、数据取值和质量要求可以知道如何综合采用多种类型的转换工作来符合统计资源数据库和元数据管理的要求。

在本实施例中，通过业务处理层从数据输入层中获取输入数据，而输入数据中包括多项指标参数，然后，业务处理层根据输入数据对预设指标项进行填充，以生成指标项数据，其中，指标项数据包括指标项以及指标项对应的指标参数，最后，业务处理层将指标项数据输出至结果输出层，以在结果输出层的数据库中进行存储，从而适应不同数据源采集以及适配后续数据查询的灵活性以及可扩展性。

为了对上述实施例的效果进行详细说明，可以结合以下四个场景进行具体说明：

场景1：现有数据存储方式，是通过指标、分组、期别、频度的形式进行数据存储，该形式存储对数据查询展示存在局限性，如分地区和分行业应用是两个纬度数据，随着采集数据的地域扩展，从市级用户面向区县用户的采集，针对分行业的数据查询需求就会变成分地区查看不同行业的指标数据；所以将地区作为单独属性。针对累计、累计增长百分比数据，需要通过柱状和折线区分进行展示，所以将本期、本期增长百分比、累计、累计增长百分比等属性剥离成对比项属性；从而将指标、分组、期别、频度4个属性变为指标、分组、期别、频度、地区、对比项6个属性。

场景2：针对不同来源数据，存储方式不同，所以需要通过不同形式进行采集，原有方式面向综合数据存储以及查询比较灵活，但是对基层明细数据的存储按照相同形式进行存储后数据量剧增，汇总以及查询功能不便利，通过条件进行实时查询性能达不到要求；从而通过分层的形式进行设计，将基层数据进行剥离，作为最底层数据进行存储。实现方式变为综合数据通过数据关联各项属性进行存储，基层数据通过二维表的形式进行存储，从而适应不同数据源采集以及适配后续数据查询的灵活性以及可扩展性。

场景3：基层数据回流方式，一开始采用的方式是将第三方现有元数据导入系统，该形式对第三方系统的依赖过大，考虑到产品后续对接的第三方系统各不相同，后续元数据将不好维护，于是通过第二钟方式实现：通过定制模版，并定义指标，以及需要对模版进行分类，如经普数据、投资数据等等，通过该方式实现确实可以解决元数据依赖性问题以及维护性问题，但是存在以下三方面问题：

1、定义复杂，需要人为创建指标；

2、历年指标的关联性需要人工维护。

3、针对数据查询应用方面不便利，指标名称命名和第三方系统无法保持一致；

考虑到需要满足不同第三方数据源对接，于是通过产品指定规范格式进行对接，通过文件形式导入系统，再对数据进行解析。产品中对需要导入的数据配置记录即可，再将数据导入对应的记录中，系统自动进行指标识别、判断、关联，保障指标唯一性，保障历年数据关联性，并支持对导入生成的指标进行基本信息维护，为用户数据采集提供了统一采集标准，以及便利的操作形式。

场景4：对于重复数据比对，原有重复数据比对是按照系统规则进行识别，最新上报的数据为最新数据，但是该情况存在数据覆盖现象，如填报数据差异过大时，用户只能通过人工进行识别，针对已经填报覆盖的形式，只能通过再次填报覆盖的形式恢复，在用户体验以及数据质量的把控上存在缺陷，现产品通过数据填报端进行重复数据提醒，通过界面提醒用户哪些数据重复，原数据是什么，并告知是哪个人员填报的，这样填报用户可以比对差异以及查看是不是自己填报的数据出错了，支持在填报界面即可处理数据；从填报端把控了数据的准确性以及提升了用户的易操作性。

图3是本申请根据一示例实施例示出的数据管理平台的结构示意图。如图3所示，本实施例提供的数据管理平台200，包括：

数据采集模块201，用于获取输入数据，所述输入数据中包括多项指标参数；

数据处理模块202，用于根据所述输入数据对预设指标项进行填充，以生成指标项数据，所述指标项数据包括指标项以及所述指标项对应的指标参数；

数据存储模块203，用于所述指标项数据输出至数据库中进行存储。

在一种可能的设计中，所述数据处理模块202，具体用于：

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象对所述填报任务中所述预设指标项的输入参数，所述输入数据包括所述输入参数；或者，

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象输入的第一预设格式文件，所述预设格式文件中包括所述预设指标项以及所述预设指标项对应的输入参数，所述输入数据包括所述输入参数；或者，

获取所述目标对象输入的第二预设格式文件；

获取所述第二预设格式文件中的列表头部信息，所述列表头部信息中包括至少一项待定指标项；

获取关联指令，所述关联指令用于将所述待定指标项与所述预设指标项建立关联关系；

获取所述待定指标项中的参数作为所述预设指标项的输入参数，所述输入数据包括所述输入参数。

在一种可能的设计中，所述数据采集模块201，还用于获取报表定义指令，所述报表定义指令用于按照预设标识进行报表绘制以及报表属性定义，所述报表属性包括多项指标项；

所述数据处理模块202，还用于确定所述填报任务处于预设填报期限内。

在一种可能的设计中，所述数据处理模块202，还用于：

判断所述预设指标项的所述输入参数与所述数据库中已存的所述预设指标项的原始数据是否满足预设重复性规则；

若未满足所述预设重复性规则，则根据所述输入数据对所述预设指标项进行填充；

若满足所述预设重复性规则，则输出重复数据提醒信息，所述重复数据提醒信息包括所述原始数据的填报信息，以及所述原始数据与所述输入数据的对比信息。

在一种可能的设计中，所述预设重复性规则用于确定数据属性的唯一性，所述数据属性包括：指标属性、分组属性、地区属性、对比项属性、计量单位属性、频度属性以及期别属性。

在一种可能的设计中，所述输入数据为基层数据，以二维表形式存储于所述数据库，综合数据通过关联数据属性进行存储，所述综合数据与所述基层数据通过所述数据属性进行关联，所述综合数据用于生成展示报表。

在一种可能的设计中，所述数据处理模块202，还用于：

确定所述待定指标项是否为新指标项；

若所述待定指标项为新指标项，则新增所述待定指标项，并输出所述待定指标项，以提示输入所述关联指令；

若所述待定指标项为非新指标项，则根据所述待定指标项与所述预设指标项的预设关联关系，将所述待定指标项中的参数作为所述预设指标项的输入参数。

值得说明地，图3所示实施例提供的数据管理平台，可用于执行上述任一实施例所提供的数据管理方法，具体实现方式和技术效果类似，这里不再赘述。

图4是本申请根据一示例实施例示出的电子设备的结构示意图。如图4所示，本实施例提供的一种电子设备300，包括：

处理器301；以及

存储器302，用于存储所述处理器的计算机程序，该存储器还可以是flash(闪存)；

其中，所述处理器301配置为经由执行所述可计算机程序来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

可选地，存储器302既可以是独立的，也可以跟处理器301集成在一起。

当所述存储器302是独立于处理器301之外的器件时，所述前端设备300，还可以包括：

总线303，用于连接所述处理器301以及所述存储器302。

本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的数据管理方法。

本实施例还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的数据管理方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种数据管理方法，其特征在于，应用于数据管理平台，所述数据管理平台包括数据输入层、业务处理层以及结果输出层，所述方法包括：

所述业务处理层从所述数据输入层中获取输入数据，所述输入数据中包括多项指标参数；

所述业务处理层根据所述输入数据对预设指标项进行填充，以生成指标项数据，所述指标项数据包括指标项以及所述指标项对应的指标参数；

所述业务处理层将所述指标项数据输出至所述结果输出层，以在所述结果输出层的数据库中进行存储；

所述业务处理层从所述数据输入层中获取输入数据，包括：

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象对所述填报任务中所述预设指标项的输入参数，所述输入数据包括所述输入参数；或者，

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象输入的第一预设格式文件，所述预设格式文件中包括所述预设指标项以及所述预设指标项对应的输入参数，所述输入数据包括所述输入参数；或者，

获取所述目标对象输入的第二预设格式文件；

获取所述第二预设格式文件中的列表头部信息，所述列表头部信息中包括至少一项待定指标项；

获取关联指令，所述关联指令用于将所述待定指标项与所述预设指标项建立关联关系；

获取所述待定指标项中的参数作为所述预设指标项的输入参数，所述输入数据包括所述输入参数。

2.根据权利要求1所述的数据管理方法，其特征在于，在所述创建填报任务之前，还包括：

获取报表定义指令，所述报表定义指令用于按照预设标识进行报表绘制以及报表属性定义，所述报表属性包括多项指标项；

在所述创建填报任务之后，还包括：

确定所述填报任务处于预设填报期限内。

3.根据权利要求1或2所述的数据管理方法，其特征在于，在所述业务处理层从所述数据输入层中获取输入数据之后，还包括：

判断所述预设指标项的所述输入参数与所述数据库中已存的所述预设指标项的原始数据是否满足预设重复性规则；

若未满足所述预设重复性规则，则根据所述输入数据对所述预设指标项进行填充；

若满足所述预设重复性规则，则输出重复数据提醒信息，所述重复数据提醒信息包括所述原始数据的填报信息，以及所述原始数据与所述输入数据的对比信息。

4.根据权利要求3所述的数据管理方法，其特征在于，所述预设重复性规则用于确定数据属性的唯一性，所述数据属性包括：指标属性、分组属性、地区属性、对比项属性、计量单位属性、频度属性以及期别属性。

5.根据权利要求4所述的数据管理方法，其特征在于，所述输入数据为基层数据，以二维表形式存储于所述数据库，综合数据通过关联数据属性进行存储，所述综合数据与所述基层数据通过所述数据属性进行关联，所述综合数据用于生成展示报表。

6.根据权利要求1或2所述的数据管理方法，其特征在于，在所述获取所述第二预设格式文件中的列表头部信息之后，还包括：

确定所述待定指标项是否为新指标项；

若所述待定指标项为新指标项，则新增所述待定指标项，并输出所述待定指标项，以提示输入所述关联指令；

若所述待定指标项为非新指标项，则根据所述待定指标项与所述预设指标项的预设关联关系，将所述待定指标项中的参数作为所述预设指标项的输入参数。

7.一种数据管理平台，其特征在于，包括：

数据采集模块，用于获取输入数据，所述输入数据中包括多项指标参数；

数据处理模块，用于根据所述输入数据对预设指标项进行填充，以生成指标项数据，所述指标项数据包括指标项以及所述指标项对应的指标参数；

数据存储模块，用于所述指标项数据输出至数据库中进行存储；

所述数据采集模块，具体用于：

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象对所述填报任务中所述预设指标项的输入参数，所述输入数据包括所述输入参数；或者，

创建填报任务，并将所述填报任务下发至目标对象，所述填报任务包括所述预设指标项；

获取所述目标对象输入的第一预设格式文件，所述预设格式文件中包括所述预设指标项以及所述预设指标项对应的输入参数，所述输入数据包括所述输入参数；或者，

获取所述目标对象输入的第二预设格式文件；

获取所述第二预设格式文件中的列表头部信息，所述列表头部信息中包括至少一项待定指标项；

获取关联指令，所述关联指令用于将所述待定指标项与所述预设指标项建立关联关系；

获取所述待定指标项中的参数作为所述预设指标项的输入参数，所述输入数据包括所述输入参数。

8.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的计算机程序；

其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1至6任一项所述的数据管理方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的数据管理方法。