CN114049089A - 一种构建政务大数据平台的方法及系统 - Google Patents

Abstract

本发明提出了一种构建政务大数据平台的方法及系统，涉及数据处理领域。一种构建政务大数据平台的方法包括：获取政务大数据，并对政务大数据进行预处理；对预处理后的大数据进行身份标识，并确定至少一个属性标签；对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；根据信息目录及信息目录中每一个元数据，构建政务大数据平台。其能够将政务数据进行数据预处理、数据存储与管理、计算处理、数据挖掘与分析及数据应用。此外本发明还提出了一种构建政务大数据平台的系统，包括：获取模块、标识模块、加密关联模块及构建模块。

Description

一种构建政务大数据平台的方法及系统

技术领域

本发明涉及数据处理领域，具体而言，涉及一种构建政务大数据平台的方法及系统。

背景技术

政务指与政府相关的事务性工作，当某项政务商议完成，需要对该政务进行发布，使人民群众和政府办事人员获知。随着互联网技术的发展，政务的发布已由最初的纸质文件发布扩展到了网络发布。政府部门经过长期发展，记录了大量相关部门的政务数据，这些都是政府部门进行管理的重要依据。政务数据涉及的数据量大、数据类型多、来源广泛、数据格式复杂，随着大数据和互联网的发展，政府、社会对挖掘各部门领域的政务数据价值的需求越来越大。

目前，政务活动产生的数据主要存储在本部门内的单一数据库中，利用大数据技术对政务数据进行深度挖掘分析，首先应该将这些不同数据库的数据导入到一个集中的大型分布式数据库，或者分布式存储集群。从不同数据库抽取出的数据存在各种缺陷不利于后期的挖掘分析，比如数据源格式不同、数据叠加了噪声、数据有冗余和重复、数据有错误等，低质量的数据处理后得不到高质量的结果。所以我们应该在导入的基础上做一些清洗和预处理工作。在数据导入和预处理的过程中最大的特点和挑战主要是导入的数据量大，每秒钟的导入经常会达到百兆甚至千兆级别。因此，基于政务数据种类多样、数据量大、处理速度要求高的特点，需要一种方法能够协调各种预处理操作以保证快速高效处理大批量数据可以应用到统一的政务大数据平台上。满足规划的合理性与统筹性的需求，进一步辅助相关决策者为政务项目的规划提供有效的分析参考依据。通过信息化手段的规范管理，为信息服务系统建设做好铺垫，在持续推进信息化基础建设中提升保障服务能力，为全面推进信息化建设提供平台支撑和信息资源的实时性、完整性做好铺垫。改变人们的生活，推动着工业生产、城市建设以及国防工业的发展，达到真正的电子信息与地理信息技术相互融合，从而实现智慧城市概念的推广与应用。

发明内容

本发明的目的在于提供一种构建政务大数据平台的方法，其能够将政务数据进行数据预处理、数据存储与管理、计算处理、数据挖掘与分析、数据应用等步骤，能够协调各种预处理操作以保证快速高效处理大批量数据可以应用到统一的政务大数据平台上。

本发明的另一目的在于提供一种构建政务大数据平台的系统，其能够运行一种构建政务大数据平台的方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种构建政务大数据平台的方法，其包括获取政务大数据，并对政务大数据进行预处理；对预处理后的大数据进行身份标识，并确定至少一个属性标签；对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；根据信息目录及信息目录中每一个元数据，构建政务大数据平台。

在本发明的一些实施例中，上述获取政务大数据，并对政务大数据进行预处理包括：对获取的政务大数据进行初始化处理，并创建系统公共参数以及全局公钥。

在本发明的一些实施例中，上述还包括：根据预设规则对政务大数据进行在线解析，然后基于预设过滤条件对解析数据进行过滤处理。

在本发明的一些实施例中，上述对预处理后的大数据进行身份标识，并确定至少一个属性标签包括：从政务服务数据库获取政务服务事项办理大数据，并确定当前事项办理数据所对应的至少两个关联属性标签，其中关联属性标签包括前置标签和后置标签。

在本发明的一些实施例中，上述还包括：利用预处理后的大数据的身份标识，对每一个属性标签及当前属性标签所对应的元数据，构建政务大数据平台的数据模型。

在本发明的一些实施例中，上述对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录包括：确定属性标签的加密函数，通过加密函数创建各政务节点允许访问的属性集。

在本发明的一些实施例中，上述还包括：使用密钥解密加密的属性集，得到数据明文，通过加密函数校验数据明文的完整性，完成数据关联性分析。

第二方面，本申请实施例提供一种构建政务大数据平台的系统，其包括获取模块，用于获取政务大数据，并对政务大数据进行预处理；

标识模块，用于对预处理后的大数据进行身份标识，并确定至少一个属性标签；

加密关联模块，用于对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；

构建模块，用于根据信息目录及信息目录中每一个元数据，构建政务大数据平台。

在本发明的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，上述至少一个处理器使上述系统执行：获取模块、标识模块、加密关联模块及构建模块。

第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如一种构建政务大数据平台的方法中任一项的方法。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

能够将政务数据进行数据预处理、数据存储与管理、计算处理、数据挖掘与分析、数据应用等步骤，能够协调各种预处理操作以保证快速高效处理大批量数据可以应用到统一的政务大数据平台上。满足规划的合理性与统筹性的需求，进一步辅助相关决策者为政务项目的规划提供有效的分析参考依据。还可以通过建立数据隐私化模型，构建模型训练集，利用模型训练集对数据隐私化模型进行训练，利用训练好的数据隐私化模型对分类后的政务数据进行隐私化处理，能够对政务数据中的隐私数据进行有效识别并进行隐私化处理，防止出现隐私数据泄露的情况。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种构建政务大数据平台的方法步骤示意图；

图2为本发明实施例提供的一种构建政务大数据平台的方法详细步骤示意图；

图3为本发明实施例提供的一种构建政务大数据平台的系统模块示意图；

图4为本发明实施例提供的一种电子设备。

图标：10-获取模块；20-标识模块；30-加密关联模块；40-构建模块；101-存储器；102-处理器；103-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1，图1为本发明实施例提供的一种构建政务大数据平台的方法步骤示意图，其如下所示：

步骤S100，获取政务大数据，并对政务大数据进行预处理；

在一些实施方式中，将位于不同部门、不同信息系统的业务信息数据向政务大数据的公共资源清洗池进行传输。因为业务信息数据位于不同部门的不同信息系统内，所有数据存储的方式、结构各不相同。为解决这一难题，需要将业务信息数据先转换成加密的标准数据块，通过私有的VPN网络传输到政务大数据的公共资源清洗池。公共资源清洗池根据特定秘钥解密业务信息数据，并暂时存储下来。

步骤S110，对预处理后的大数据进行身份标识，并确定至少一个属性标签；

在一些实施方式中，确定出属性标签“身份证号”对应的元数据为“B”、属性标签“姓名”对应的元数据为“y”、属性标签“企业代码”对应的元数据为“x”、属性标签“手机号码”对应的元数据为“z”。此时，由于注册信息和身份信息中，属性标签“姓名”所分别对应的元数据包括y和m，为了确保属性标签“姓名”所对应的元数据具有准确性和唯一性，可预先设置注册信息和身份信息之间的优先级，当注册信息的优先级高于身份信息的优先级时，则可清洗掉注册信息中的元数据“y”，以确定出属性标签所对应的元数据为“m”；反之，当设置注册信息的优先级低于身份信息的优先级时，则可清洗掉身份信息中的元数据“m”，以确定出属性标签所对应的元数据为“y”。

步骤S120，对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；

在一些实施方式中，将各个管理部门的信息资源进行目录登记和信息资源赋码，对信息资源目录进行人工检查后去除错误信息，将检查合格的信息资源目录再提交至上一级处理系统进行验收，对政务信息与政务事项进行关联性分析，构建信息目录。将政务大数据中的信息资源进行筛选过滤并填充到对应的应用模型中。应用模型的构建，是通过数学模型算法和业务知识来实现的，会根据业务的关注点不同而不断变化。一个成熟的应用模型是通过不断的业务积累和算法改进来实现的。

步骤S130，根据信息目录及信息目录中每一个元数据，构建政务大数据平台。

在一些实施方式中，将应用模型放置在海量信息资源中进行快速匹配，提取出有价值的信息。信息资源的挖掘会消耗大量的计算资源，这些计算资源一般是从云平台上的按需获取。

实施例2

请参阅图2，图2为本发明实施例提供的一种构建政务大数据平台的方法详细步骤示意图，其如下所示：

步骤S200，对获取的政务大数据进行初始化处理，并创建系统公共参数以及全局公钥。

步骤S210，根据预设规则对政务大数据进行在线解析，然后基于预设过滤条件对解析数据进行过滤处理。

步骤S220，从政务服务数据库获取政务服务事项办理大数据，并确定当前事项办理数据所对应的至少两个关联属性标签，其中关联属性标签包括前置标签和后置标签。

步骤S230，利用预处理后的大数据的身份标识，对每一个属性标签及当前属性标签所对应的元数据，构建政务大数据平台的数据模型。

步骤S240，确定属性标签的加密函数，通过加密函数创建各政务节点允许访问的属性集。

步骤S250，使用密钥解密加密的属性集，得到数据明文，通过加密函数校验数据明文的完整性，完成数据关联性分析。

在一些实施方式中，建立数据隐私化模型，构建模型训练集，利用模型训练集对数据隐私化模型进行训练，采集各类解析数据，并由人工对解析数据进行隐私化处理，形成模型训练集；将一部分解析数据以及人工隐私化处理结果作为训练数据，另一部分解析数据以及人工隐私化处理结果作为校验数据，利用训练数据对数据隐私化模型进行训练。根据训练结果不断调整数据隐私化模型，将校验数据中的解析数据输入训练后的数据隐私化模型，并对经过数据隐私化模型处理后的解析数据与人工隐私化处理结果进行对比，当经过数据隐私化模型处理后的解析数据与人工隐私化处理结果之间的匹配度大于匹配度阈值时，表明该数据隐私化模型训练完毕，否则需要对该数据隐私化模型中的参数进行调整。

实施例3

请参阅图3，图3为本发明实施例提供的一种构建政务大数据平台的系统模块示意图，其如下所示：

获取模块10，用于获取政务大数据，并对政务大数据进行预处理；

标识模块20，用于对预处理后的大数据进行身份标识，并确定至少一个属性标签；

加密关联模块30，用于对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；

构建模块40，用于根据信息目录及信息目录中每一个元数据，构建政务大数据平台。

如图4所示，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。

还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器101(Read Only Memory，ROM)，可编程只读存储器101(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器101(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器101(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102(Central Processing Unit，CPU)、网络处理器102(Network Processor，NP)等；还可以是数字信号处理器102(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的方法及系统和方法，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

另一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器101(ROM，Read-Only Memory)、随机存取存储器101(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种构建政务大数据平台的方法及系统，能够将政务数据进行数据预处理、数据存储与管理、计算处理、数据挖掘与分析、数据应用等步骤，能够协调各种预处理操作以保证快速高效处理大批量数据可以应用到统一的政务大数据平台上。满足规划的合理性与统筹性的需求，进一步辅助相关决策者为政务项目的规划提供有效的分析参考依据。还可以通过建立数据隐私化模型，构建模型训练集，利用模型训练集对数据隐私化模型进行训练，利用训练好的数据隐私化模型对分类后的政务数据进行隐私化处理，能够对政务数据中的隐私数据进行有效识别并进行隐私化处理，防止出现隐私数据泄露的情况。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种构建政务大数据平台的方法，其特征在于，包括：

获取政务大数据，并对政务大数据进行预处理；

对预处理后的大数据进行身份标识，并确定至少一个属性标签；

对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；

根据信息目录及信息目录中每一个元数据，构建政务大数据平台。

2.如权利要求1所述的一种构建政务大数据平台的方法，其特征在于，所述获取政务大数据，并对政务大数据进行预处理包括：

对获取的政务大数据进行初始化处理，并创建系统公共参数以及全局公钥。

3.如权利要求2所述的一种构建政务大数据平台的方法，其特征在于，还包括：

根据预设规则对政务大数据进行在线解析，然后基于预设过滤条件对解析数据进行过滤处理。

4.如权利要求1所述的一种构建政务大数据平台的方法，其特征在于，所述对预处理后的大数据进行身份标识，并确定至少一个属性标签包括：

从政务服务数据库获取政务服务事项办理大数据，并确定当前事项办理数据所对应的至少两个关联属性标签，其中关联属性标签包括前置标签和后置标签。

5.如权利要求4所述的一种构建政务大数据平台的方法，其特征在于，还包括：

利用预处理后的大数据的身份标识，对每一个属性标签及当前属性标签所对应的元数据，构建政务大数据平台的数据模型。

6.如权利要求1所述的一种构建政务大数据平台的方法，其特征在于，所述对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录包括：

确定属性标签的加密函数，通过加密函数创建各政务节点允许访问的属性集。

7.如权利要求6所述的一种构建政务大数据平台的方法，其特征在于，还包括：

使用密钥解密加密的属性集，得到数据明文，通过加密函数校验数据明文的完整性，完成数据关联性分析。

8.一种构建政务大数据平台的系统，其特征在于，包括：

获取模块，用于获取政务大数据，并对政务大数据进行预处理；

标识模块，用于对预处理后的大数据进行身份标识，并确定至少一个属性标签；

加密关联模块，用于对标签后的信息进行梳理并进行数据加密，对政务信息与政务事项进行关联性分析，构建信息目录；

构建模块，用于根据信息目录及信息目录中每一个元数据，构建政务大数据平台。

9.如权利要求8所述的一种构建政务大数据平台的系统，其特征在于，包括：

用于存储计算机指令的至少一个存储器；

与所述存储器通讯的至少一个处理器，其中当所述至少一个处理器执行所述计算机指令时，所述至少一个处理器使所述系统执行：获取模块、标识模块、加密关联模块及构建模块。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images