CN115878592A - 一种政务数据治理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种政务数据治理方法、装置、存储介质及电子设备，获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集；基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于数据仓库建立数据接入模型；基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集；对所述政务数据集进行处理，得到目标政务数据集；基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集；基于所述目标政务数据集完成政务数据治理操作。对获取到的政务数据集进行处理提高数据质量；提供完整的政务数据规范治理体系，高效地从接入数据到共享数据全过程生命周期的管理，达到了政务数据治理的效果。

Description

一种政务数据治理方法、装置、存储介质及电子设备

技术领域

本发明涉及数据治理技术领域，具体涉及一种政务数据治理方法、装置、存储介质及电子设备。

背景技术

随着大数据时代的到来，全球数据规模呈现爆发式增长。目前，政务数据治理相关工作主要通过搭建大数据平台、数据仓库、数据治理平台、数据监控平台等开展，对数据从创建到消亡的全过程进行监控和治理，实现数据的统一管理，但是这种管理方法数据质量较低、治理效果较差。

发明内容

有鉴于此，本发明实施例提供了涉及一种政务数据治理方法、装置、存储介质及电子设备，以解决现有技术中数据质量较低、治理效果较差的技术问题。

本发明提出的技术方案如下：

第一方面，本发明实施例提供一种政务数据治理方法，该政务数据治理方法包括：获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集；基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于所述数据仓库建立数据接入模型；基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集；对所述政务数据集进行处理，得到目标政务数据集；基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集；基于所述目标政务数据集完成政务数据治理操作。

结合第一方面，在第一方面的一种可能的实现方式中，基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集之后，所述方法还包括：基于所述政务数据治理需求，经过预设数据同步方法，更新所述政务数据集。

结合第一方面，在第一方面的另一种可能的实现方式中，对所述政务数据集进行处理，得到目标政务数据集，包括：基于所述政务数据集，经过预设条件判断，确定所述政务数据集存在的问题；基于所述问题确定数据处理方法；基于所述数据处理方法，对所述政务数据集进行处理，得到所述目标政务数据集。

结合第一方面，在第一方面的又一种可能的实现方式中，基于所述政务数据集中政务数据的类型建立数据仓库，以及基于所述数据仓库建立数据接入模型之后，所述方法还包括：基于预设元数据管理平台，对所述政务数据集对应的元数据进行同步处理并将处理结果存储在所述数据仓库。

结合第一方面，在第一方面的又一种可能的实现方式中，基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集之前，所述方法还包括：判断所述政务数据集是否包含敏感数据；当所述政务数据集包含所述敏感数据，对所述敏感数据进行加密，得到加密政务数据，并将所述加密政务数据存储至所述政务数据集。

结合第一方面，在第一方面的又一种可能的实现方式中，基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集，包括：判断是否存在共享条件；当存在所述共享条件，判断所述目标政务数据集是否包含所述加密政务数据；根据判断结果，基于预设数据处理方法，得到所述目标政务数据集；利用视图推送方式，输出所述目标政务数据集。

结合第一方面，在第一方面的又一种可能的实现方式中，根据判断结果，基于预设数据处理方法，得到所述目标政务数据集，包括：当包含所述加密政务数据，利用数据解密方法对所述加密政务数据进行解密处理，得到解密政务数据；基于所述解密政务数据，经过数据脱敏处理方法，得到第一政务数据；当不包含所述加密政务数据，判断所述目标政务数据集是否包含敏感政务数据；当包含敏感政务数据，利用所述数据脱敏处理方法对所述敏感政务数据进行脱敏处理，得到第二政务数据；基于所述第一政务数据和所述第二政务数据，构建所述目标政务数据集。

第二方面，本发明实施例提供一种政务数据治理装置，该政务数据治理装置包括：获取模块，用于获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集；建立模块，用于基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于所述数据仓库建立数据接入模型；接入模块，用于基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集；处理模块，用于对所述政务数据集进行处理，得到目标政务数据集；共享模块，用于基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集；完成模块，用于基于所述目标政务数据集完成政务数据治理操作。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的政务数据治理方法。

第四方面，本发明实施例提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的政务数据治理方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的政务数据治理方法，对获取到的政务数据集进行处理提高数据质量；提供完整的政务数据规范治理体系，高效地从接入数据到共享数据全过程生命周期的管理，达到了政务数据治理的效果。因此，通过本发明，提高了政务数据的质量以及治理效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种政务数据治理方法的一流程图；

图2是根据本发明实施例提供的政务数据治理标准及问题示意图；

图3是根据本发明实施例提供的人口底座项目建设过程流程图；

图4是根据本发明实施例提供的政务数据加密流程图；

图5是根据本发明实施例提供的政务数据共享流程图；

图6是根据本发明实施例提供的一种政务数据治理方法的另一流程图；

图7是根据本发明实施例提供的数据接入流程图；

图8是根据本发明实施例提供的数据处理流程图；

图9是根据本发明实施例提供的一种政务数据治理装置的结构框图；

图10是根据本发明实施例提供的计算机可读存储介质的结构示意图；

图11是根据本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种政务数据治理方法，如图1所示，该方法包括如下步骤：

步骤101：获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集。

首先，判断获取的政务数据治理需求是否清晰；

若清晰，则记录该政务数据治理需求的来源以及类型，可以包括：市区委办局、智慧治理中心和街道办事处。具体地，借力智慧治理中心为数据杠杆，构建市区委办局与街道办事处上下互通渠道，打通数据循环通路。

进一步，根据该政务数据治理需求的来源以及类型获取对应的政务数据集。

步骤102：基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于所述数据仓库建立数据接入模型。

首先，基于政务数据来源的多样性，按照以下四步对政务数据集中的数据进行分类：

1.根据数据类型进行初分类，主要分为文件型数据、数据库型数据、接口型数据、消息队列型数据以及网络爬取型数据；

2.根据数据来源进行进一步细分，将所属同一个承办单位(委办局)进行聚合；

3.根据数据的普及范围，可分为省、市、区、街道级数据；

4.根据数据的迭代速度，将数据分为分钟、小时、日、月、季度、半年、年更新数据。

其次，创建数据仓库。

具体地，根据政务数据的特点，选取大规模并行处理架构(Massively ParallelProcessor，MPP)建立数据仓库。

其中，MPP架构系统是由许多松耦合的处理单元组成的(而不是处理器)。每个处理单元内的CPU都有自己私有的资源，如总线，内存，硬盘等，且都有操作系统和管理数据库的实例复本。

该MPP架构系统最大的特点在于不共享资源，利用MPP架构搭建的数据仓库，兼顾易用性，安全性与扩展能力，更适合于政务大数据。

最后，基于建立的数据仓库建立数据接入模型。

具体地，数据接入模型的定义是将业务系统中各种类型的数据库表结构，转换为基于MPP架构的统一的表结构。对表和字段的命名与注释制定严格的建表规范，通过一表一编码，实现数据可追溯。

1.结构规范：所有表均严格包含两个特定字段，一为主键(id)字段且位于表首列；二为插入时间(insert_time)字段且位于表尾列。

2.命名规范：

a.数据库对象命名全部小写；

b.数据库对象命名长度建议不超过30个字符，但最长不能超过50个字符；

c.数据库对象命名中分隔符统一为英文字符"_"；

d.数据库表命名包含7位，依次为库名、数据来源、数据类型、承办单位(委办局)、唯一编码、数据范围与数据迭代时间，并制定名称编码对应表。

模型定义完成后，根据业务属性确定字段类型以及特定要求创建对应的数据接入模型。

步骤103：基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集。

其中，根据步骤101中描述的不同类型的政务数据，对应的数据接入方法也不同。

具体地，可以包括以下三种数据接入方法：

1.对于文件类和库表类型数据，采用数据库直接接入。

2.对于接口型和消息队列型数据，采用Java工程接入。

3.对于网络爬取类数据，采用Python程序接入。

步骤104：对所述政务数据集进行处理，得到目标政务数据集。

具体地，随着数据行业的发展，政务数据治理的内涵也逐步泛化，涵盖了更多的方面和层次，比如政务数据发现可用，政务数据及时稳定产出，政务数据质量保障，政务数据安全合规，政务数据生产的经济性等。对于业务的不同发展阶段，政务数据治理的需求也存在着差异。

因此，通过对政务数据集进行处理，提高目标政务数据集中政务数据的质量。

步骤105：基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集。

其中，数据共享完整流程主要包括数据申请、对数据申请单进行解析、数据治理，数据推送，数据确认，申请单归档等步骤。

具体地，将目标政务数据集通过数据共享方法输出至对应的用户端或平台。

步骤106：基于所述目标政务数据集完成政务数据治理操作。

具体地，用户端根据输出的目标政务数据集完成数据治理并交付。

本发明实施例提供的政务数据治理方法，对获取到的政务数据集进行处理提高数据质量；提供完整的政务数据规范治理体系，高效地从接入数据到共享数据全过程生命周期的管理，达到了政务数据治理的效果。因此，通过本发明，提高了政务数据的质量以及治理效果。

作为本发明实施例一种可选的实施方式，步骤103之后，所述方法还包括：基于所述政务数据治理需求，经过预设数据同步方法，更新所述政务数据集。

在大数据的时代，数据每天都在成倍地增加，数据更新的时效性显得极其重要，即需要经常更新该政务数据集，可以包括：

1.定时增量数据：对于有固定新增频率的政务数据，按照插入时间字段定时插入增量政务数据。

2.定时更新数据：对于有固定更新频率的政务数据，按照主键定时进行插入或更新政务数据。

3.不定时更新数据：对于不确定时间的政务数据配置定时制定定时调度，按照主键字段作为识别字段进行插入或更新。

作为本发明实施例一种可选的实施方式，步骤104，包括：基于所述政务数据集，经过预设条件判断，确定所述政务数据集存在的问题；基于所述问题确定数据处理方法；基于所述数据处理方法，对所述政务数据集进行处理，得到所述目标政务数据集。

具体地，政务数据治理的需求中数据质量尤为突出，从数据自身属性和特点的角度，来衡量数据可靠的一些标准，包含了完整性、准确性、一致性和及时性等，如图2所示：

1.完整性：数据的记录和信息是否完整，是否存在缺失情况；

2.准确性：数据汇总记录的信息和数据是否准确，是否存在异常或者错误；

3.一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致；

4.及时性：数据能及时产出和预警。

针对上述4个不同的标准产生的不同问题，可以采用对应的数据处理方法进行处理，比如，数据缺失情况可以采用均值填充、直接删除、拉格朗日差值法、中位数填充法等处理方法进行缺失值填充。

进一步，还可以建设人口底座项目，将存量数据按照一人一档标准规划实施，因市、委办局、街道等数据参差不齐，为保证数据准确性和一致性，新数据进来之后需要识别哪些是同一个人，可以根据姓名、证件号码、出生日期、联系方式和联系地址加权匹配。具体的实施过程如图3所示。

首先，将人口底座宽表和增量人口数据进行规则匹配；若得分大于等于50，则判断增量人口数据为同一个人，并利用该增量人口数据更新该人口底座宽表；若得分小于40，则在该人口底座宽表中新增该增量人口数据；若得分大于等于40且小于50，则需要进行人工判断，若为同一个人，则利用该增量人口数据更新该人口底座宽表；若不是同一个人，则在该人口底座宽表中新增该增量人口数据。

通过这种处理，可以根据规则实现自动匹配，加上较少的人工复核完成数据流转，减少繁琐的手工分析和验证，规避人员变动导致工作重复实施，将有限精力投入到抽取公共规则、制定标准、完善权重阈值，争取达到类自动化入库鲜活数据。

作为本发明实施例一种可选的实施方式，步骤102之后，所述方法还包括：基于预设元数据管理平台，对所述政务数据集对应的元数据进行同步处理并将处理结果存储在所述数据仓库。

具体地，政务数据来源比较多样化，大体分为file文件类、kafka(一种高吞吐量的分布式发布订阅消息系统)、api(应用程序界面，Application Program Interface)实时数据类、db(data base)数据库类和网络爬取类，元数据同步操作可在数据接入之前或者在输入接入后进行，数仓中各层级元数据应有统一模块进行管理，在元数据管理平台进行元数据同步后将元数据存储在数仓的mysql(关系型数据库管理系统)中，调取数据库元数据相关信息即可在平台呈现。生态或者厂商申请获得查询权限后可申请数据访问权限，如图4所示。其中，元数据管理平台采用定时同步机制及时更新元数据的信息，元数据管理平台展示表名、表注释、表的分类分级、字段名、字段注释、是否主外键、字段类型、是否业务时间字段、元数据最新同步时间等等、可以全面地描述元数据相关信息。

进一步，元数据同步时算法匹配自动标注业务时间且获取最新业务时间，结合数据监控操作可以判断政务数据接入是否及时。

作为本发明实施例一种可选的实施方式，步骤103之前，所述方法还包括：判断所述政务数据集是否包含敏感数据；当所述政务数据集包含所述敏感数据，对所述敏感数据进行加密，得到加密政务数据，并将所述加密政务数据存储至所述政务数据集。

为保证数据安全，根据数据分类分级管理办法，当政务数据集中包含的敏感数据接入到ods时需要进行加密。

具体地，file文件类的数据录入到数据库中用加密函数进行加密，kafka、api源、db源、爬虫源在数据写入到数据库的程序里进行加密。ods到dwd及dwd到dwv、dws、dwt都需要进行加密存储，对外服务时也需要加密传输。数据可分为绝密数据、极敏感数据、较敏感数据及非敏感数据，加密方式采用sm4、sm2、aes等加密方式，定期更换秘钥，秘钥由专人管理。

作为本发明实施例一种可选的实施方式，步骤105，包括：判断是否存在共享条件；当存在所述共享条件，判断所述目标政务数据集是否包含所述加密政务数据；根据判断结果，基于预设数据处理方法，得到所述目标政务数据集；利用视图推送方式，输出所述目标政务数据集。

其中，预设数据处理方法可以包括数据解密方法和数据脱敏处理方法。

具体地，在进行数据共享时，首先需要判断是有条件共享还是无条件共享；若为无条件共享，则可以直接利用视图推送方式，共享该目标政务数据集；若为有条件共享，则需要进一步判断该目标政务数据集中是否包含加密政务数据，并根据判断结果，结合数据解密方法和/或数据脱敏处理方法进行处理，可以得到将要输出的目标政务数据集，并利用视图推送方式，共享该目标政务数据集。

进一步，根据判断结果，基于预设数据处理方法，得到所述目标政务数据集，包括：当包含所述加密政务数据，利用数据解密方法对所述加密政务数据进行解密处理，得到解密政务数据；基于所述解密政务数据，经过数据脱敏处理方法，得到第一政务数据；当不包含所述加密政务数据，判断所述目标政务数据集是否包含敏感政务数据；当包含敏感政务数据，利用所述数据脱敏处理方法对所述敏感政务数据进行脱敏处理，得到第二政务数据；基于所述第一政务数据和所述第二政务数据，构建所述目标政务数据集。

具体地，当目标政务数据集中包含加密政务数据，即包含敏感数据时，首先利用数据解密方法对该加密政务数据进行解密处理，并利用数据脱敏处理方法对解密得到的解密政务数据进行脱敏处理后利用视图推送方式进行共享；

当目标政务数据集中不包含加密政务数据时，还需要进一步判断是否包含敏感数据，若包含，则直接继续脱敏处理，得到第二政务数据，并利用视图推送方式进行共享；若不包含，则直接利用视图推送方式，共享该目标政务数据集。

进一步，数据共享后还可以进行数据确认及归档。

其中，视图只有删除，修改，插入的时候才刷新，可以简化用户对数据的理解，且视图推送数据可以实现在无实时技术体系下数据的时效性更高，运维复杂度略微降低。

本发明实施例利用推送视图方式共享数据，可以使应用程序和数据库表在一定程度上独立。数据申请流程也保证了数据共享的安全性和数据共享的流程完整性。

在一实施例中，政务数据共享流程如图5所示，主要包括数据申请、对数据申请单进行解析、数据治理，数据推送，数据确认，申请单归档等步骤。

1.数据对外服务需要数据申请单，由数据申请方提供标准的数据申请单，并详细标注对申请数据的要求，如：字段、数据范围、数据级别等。在申请通过后可向其提供数据服务。

2.数据共享方式主要包括有条件共享和无条件共享。本发明实施例中的数据共享方式主要包括有条件且采用推送视图的方式实现数据共享。视图可以无实时技术体系下提高数据的时效性，降低运维复杂度，并且可以实现读写分离。

3.数据加密和数据脱敏是数据安全领域落地场景中的较为成熟和最常用的技术手段。在原库表中对于涉及敏感的数据进行加密处理，更好地做到数据安全管理。数据共享时根据需求方要求，对数据进行处理并推送。

4.数据脱敏时，根据数据申请单对申请数据的要求进行解析，为数据更好地展示，对于加密数据，需对数据进行解密，并利用相应的脱敏算法进行脱敏处理后再推送视图。对于未加密且含有敏感信息的数据，推送视图前需对数据进行脱敏处理。

5.数据视图推送成功后，由双方对数据进行确认，并完成数据申请单归档。

在一实例中，提供一种政务数据治理方法，如图6所示。

1.基于精准的“王”字架构(上游，中游，下游，中间一条线连通)，打通数据循环工作通路。借力政务中心为数据杠杆，构建市区委办局与街道办事处上下互通渠道，通过数据不断接入、治理、共享等操作，实现数据多向循环流转

2.依托创新性科学完备的需求管理方案，形成数据治理工作闭环。首先对获取的需求进行调研分析评估，明确需求来源—“王”字架构，划分需求类别—数据接入、数据治理、数据共享、数据可视化、数据安全，其中接入数据需求类型包含file文件类、kafka、api实时数据类、db数据库类和网络爬取类等，治理数据需求类型包含把政务数据资源划分为原始库、标准库、专题库、共享库等，数据需求类型包含智慧城市建设、政府数字化建设、公共数据开放平台建设等；其次需求接收方确认任务类别，任务承接人评估需求清晰度；最终需求接收方对交付情况采取广泛反馈信息搜集方式，确认需求周期结束或返回新需求接收阶段。

其中，数据接入过程如图7所示；数据处理过程如图8所示。

本发明实施例还提供一种政务数据治理装置，如图9所示，该装置包括：

获取模块201，用于获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集；详细内容参见上述方法实施例中步骤101的相关描述。

建立模块202，用于基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于所述数据仓库建立数据接入模型；详细内容参见上述方法实施例中步骤102的相关描述。

接入模块203，用于基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集；详细内容参见上述方法实施例中步骤103的相关描述。

处理模块204，用于对所述政务数据集进行处理，得到目标政务数据集；详细内容参见上述方法实施例中步骤104的相关描述。

共享模块205，用于基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集；详细内容参见上述方法实施例中步骤105的相关描述。

完成模块206，用于基于所述目标政务数据集完成政务数据治理操作；详细内容参见上述方法实施例中步骤106的相关描述。

本发明实施例提供的政务数据治理装置，对获取到的政务数据集进行处理提高数据质量；提供完整的政务数据规范治理体系，高效地从接入数据到共享数据全过程生命周期的管理，达到了政务数据治理的效果。因此，通过本发明，提高了政务数据的质量以及治理效果。

作为本发明实施例一种可选的实施方式，所述装置还包括：更新模块，用于基于所述政务数据治理需求，经过预设数据同步方法，更新所述政务数据集。

作为本发明实施例一种可选的实施方式，所述处理模块，包括：第一确定子模块，用于基于所述政务数据集，经过预设条件判断，确定所述政务数据集存在的问题；第二确定子模块，用于基于所述问题确定数据处理方法；第一处理子模块，用于基于所述数据处理方法，对所述政务数据集进行处理，得到所述目标政务数据集。

作为本发明实施例一种可选的实施方式，所述装置还包括：第一处理模块，用于基于预设元数据管理平台，对所述政务数据集对应的元数据进行同步处理并将处理结果存储在所述数据仓库。

作为本发明实施例一种可选的实施方式，所述装置还包括：判断模块，用于判断所述政务数据集是否包含敏感数据；加密模块，用于当所述政务数据集包含所述敏感数据，对所述敏感数据进行加密，得到加密政务数据，并将所述加密政务数据存储至所述政务数据集。

作为本发明实施例一种可选的实施方式，所述共享模块，包括：第一判断子模块，用于判断是否存在共享条件；第二判断子模块，用于当存在所述共享条件，判断所述目标政务数据集是否包含所述加密政务数据；第二处理子模块，用于根据判断结果，基于预设数据处理方法，得到所述目标政务数据集；输出子模块，用于利用视图推送方式，输出所述目标政务数据集。

作为本发明实施例一种可选的实施方式，所述第二处理子模块，包括：解密处理子模块，用于当包含所述加密政务数据，利用数据解密方法对所述加密政务数据进行解密处理，得到解密政务数据；第一脱敏处理子模块，用于基于所述解密政务数据，经过数据脱敏处理方法，得到第一政务数据；第三判断子模块，用于当不包含所述加密政务数据，判断所述目标政务数据集是否包含敏感政务数据；第二脱敏处理子模块，用于当包含敏感政务数据，利用所述数据脱敏处理方法对所述敏感政务数据进行脱敏处理，得到第二政务数据；构建子模块，用于基于所述第一政务数据和所述第二政务数据，构建所述目标政务数据集。

本发明实施例提供的政务数据治理装置的功能描述详细参见上述实施例中政务数据治理方法描述。

本发明实施例还提供一种存储介质，如图10所示，其上存储有计算机程序301，该指令被处理器执行时实现上述实施例中政务数据治理方法的步骤。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例还提供了一种电子设备，如图11所示，该电子设备可以包括处理器41和存储器42，其中处理器41和存储器42可以通过总线或者其他方式连接，图11中以通过总线连接为例。

处理器41可以为中央处理器(Central Processing Unit，CPU)。处理器41还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的政务数据治理方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器41所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器42中，当被所述处理器41执行时，执行如图1-8所示实施例中的政务数据治理方法。

上述电子设备具体细节可以对应参阅图1至图8所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种政务数据治理方法，其特征在于，所述方法包括：

获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集；

基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于所述数据仓库建立数据接入模型；

基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集；

对所述政务数据集进行处理，得到目标政务数据集；

基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集；

基于所述目标政务数据集完成政务数据治理操作。

2.根据权利要求1所述的方法，其特征在于，基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集之后，所述方法还包括：

基于所述政务数据治理需求，经过预设数据同步方法，更新所述政务数据集。

3.根据权利要求1所述的方法，其特征在于，对所述政务数据集进行处理，得到目标政务数据集，包括：

基于所述政务数据集，经过预设条件判断，确定所述政务数据集存在的问题；

基于所述问题确定数据处理方法；

基于所述数据处理方法，对所述政务数据集进行处理，得到所述目标政务数据集。

4.根据权利要求1所述的方法，其特征在于，基于所述政务数据集中政务数据的类型建立数据仓库，以及基于所述数据仓库建立数据接入模型之后，所述方法还包括：

基于预设元数据管理平台，对所述政务数据集对应的元数据进行同步处理并将处理结果存储在所述数据仓库。

5.根据权利要求1所述的方法，其特征在于，基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集之前，所述方法还包括：

判断所述政务数据集是否包含敏感数据；

当所述政务数据集包含所述敏感数据，对所述敏感数据进行加密，得到加密政务数据，并将所述加密政务数据存储至所述政务数据集。

6.根据权利要求5所述的方法，其特征在于，基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集，包括：

判断是否存在共享条件；

当存在所述共享条件，判断所述目标政务数据集是否包含所述加密政务数据；

根据判断结果，基于预设数据处理方法，得到所述目标政务数据集；

利用视图推送方式，输出所述目标政务数据集。

7.根据权利要求6所述的方法，其特征在于，根据判断结果，基于预设数据处理方法，得到所述目标政务数据集，包括：

当包含所述加密政务数据，利用数据解密方法对所述加密政务数据进行解密处理，得到解密政务数据；

基于所述解密政务数据，经过数据脱敏处理方法，得到第一政务数据；

当不包含所述加密政务数据，判断所述目标政务数据集是否包含敏感政务数据；

当包含敏感政务数据，利用所述数据脱敏处理方法对所述敏感政务数据进行脱敏处理，得到第二政务数据；

基于所述第一政务数据和所述第二政务数据，构建所述目标政务数据集。

8.一种政务数据治理装置，其特征在于，所述装置包括：

获取模块，用于获取政务数据治理需求，以及根据政务数据治理需求获取政务数据集；

建立模块，用于基于所述政务数据集中政务数据的主题，经过大规模并行处理架构，建立数据仓库，以及基于所述数据仓库建立数据接入模型；

接入模块，用于基于所述数据接入模型，经过预设数据接入方法，接入所述政务数据集；

处理模块，用于对所述政务数据集进行处理，得到目标政务数据集；

共享模块，用于基于所述目标政务数据集，经过数据共享方法，输出所述目标政务数据集；

完成模块，用于基于所述目标政务数据集完成政务数据治理操作。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1至7任一项所述的政务数据治理方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1至7任一项所述的政务数据治理方法。

Images