CN107967313A - 一种基于字段数据和坐标共性合并不同行业数据的方法 - Google Patents

Abstract

本发明公开了一种基于字段数据和坐标共性合并不同行业数据的方法，涉及环境污染源普查技术领域。该方法，基于一定业务规则，从多部门多行业提供的数据库中筛选出与环境污染相关的企业名单，并赋予空间属性，通过地址码补全与校验、自动匹配、智能筛选、人工筛选等步骤，合并不同行业企业数据，从而解决不同行业多种数据源的融合匹配问题。为第二次污染源普查提供精准的普查数据库，同时也为多来源的不同行业企业数据融合和匹配提供典型示范案例，为环境管理提供更精准的污染源清单，以实现更精准的环境管理决策。

Description

一种基于字段数据和坐标共性合并不同行业数据的方法

技术领域

本发明涉及环境污染源普查技术领域，尤其涉及不同领域的多源污染源数 据的匹配与整合、清洗的方法，具体涉及一种基于字段数据和坐标共性合并不 同行业数据的方法。

背景技术

目前，《关于开展第二次全国污染源普查的通知》要求基于国家统计局、国 家工商总局、国家质检总局、住建部、国家电网等部门数据，结合测绘局的基 础地理数据，开展第二次全国污染源普查基本单位名录库(PSLD)建设。

但是，多部门同一污染源数据匹配过程中经常出现同一指标多个不同值的 情况，多样化的污染源属性值给第二次全国污染源普查基本单位名录库建设工 作带来繁重的数据筛选和审核工作量。针对不同领域不同行业企业多源数据融 合的问题，最需要的就是找到一种不同行业多种数据源进行融合、自动匹配的 方法，实现不同数据源之间的互补和统一。

发明内容

本发明的目的在于提供一种基于字段数据和坐标共性合并不同行业数据的 方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于字段数据和坐标共性合并不同行业数据的方法，包括如下步骤：

S1，接入国家统计局数据以及其他行业的污染源企业数据；

S2，以补全地址编码的国家统计局数据作为基础数据，以污染源企业的基 本属性为指标，对其他行业的污染源企业数据进行自动匹配，如果匹配成功， 则确定为同一污染源企业数据，并录入到污染源企业名录库中，否则，执行S3；

S3，采用智能化筛选模块中的语义包含工具进行对比筛选，如果不同数据 库的字段值在一定范围内相互匹配，则确定为同一污染源企业数据，并录入到 污染源企业名录库中，否则，执行S4；

S4，确认剩余数据项各字段的完整性和合理性，并通过所提供的字段信息 进行人工查询和筛选匹配，如果匹配成功，则确定为同一污染源企业数据，并 录入到污染源企业名录库中，否则，人工剔除。

优选地，所述其他行业的污染源企业数据包括工商总局数据、国家电网数 据、质检总局以及税务总局数据、农业普查数据和/或住建部市政排污口数据。

优选地，所述污染源企业的基本属性指标包括：统一社会信用代码、单位 名称、单位地址及区划代码、联系方式、主要业务活动及行业代码、登记注册 类型、机构类型、营业状态、和/或法人单位与其下属产业活动单位的关系。

优选地，S2中，所述自动匹配，具体为：针对统一社会信用代码、企业名 称、企业地址信息进行精确匹配，对未能精确匹配上的数据在统一社会信用代 码精确匹配的前提下，进行企业名称、企业地址信息的模糊匹配；精确匹配以 及模糊匹配成功的数据录入到污染源企业名录库中，对于未匹配成功的数据则 继续执行S3。

优选地，S1和S2之间还包括步骤，获取补全地址编码的国家统计局数据， 采用如下方法进行实施：利用地址编码补全机制中的时空大数据技术，对没有 地理信息的污染源企业数据，自动补全地理信息，对已有地址编码的污染源企 业数据进行坐标转换，并进行时空效验。

优选地，S2和S3之间还包括步骤，为模糊数据字段的值设定一个语义空间， 使得每个模糊数据的取值为该语义空间的子集。

本发明的有益效果是：本发明实施例提供的基于字段数据和坐标共性合并 不同行业数据的方法，基于一定业务规则，从多部门多行业提供的数据库中筛 选出与环境污染相关的企业名单，并赋予空间属性，通过地址码补全与校验、 自动匹配、智能筛选、人工筛选等步骤，合并不同行业企业数据，从而解决不 同行业多种数据源的融合匹配问题。为第二次污染源普查提供精准的普查数据 库，同时也为多来源的不同行业企业数据融合和匹配提供典型示范案例，为环 境管理提供更精准的污染源清单，以实现更精准的环境管理决策。

附图说明

图1是本发明实施例提供的方法流程示意图；

图2是工商数据自动匹配流程示意图；

图3是质检数据自动匹配流程示意图；

图4是税务数据自动匹配流程示意图；

图5是电力数据自动匹配流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本 发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解 释本发明，并不用于限定本发明。

如图1-5所示，本发明实施例提供了一种基于字段数据和坐标共性合并不同 行业数据的方法，包括如下步骤：

S1，接入国家统计局数据以及其他行业的污染源企业数据；

S2，以补全地址编码的国家统计局数据作为基础数据，以污染源企业的基 本属性为指标，对其他行业的污染源企业数据进行自动匹配，如果匹配成功， 则确定为同一污染源企业数据，并录入到污染源企业名录库中，否则，执行S3；

S3，采用智能化筛选模块中的语义包含工具进行对比筛选，如果不同数据 库的字段值在一定范围内相互匹配，则确定为同一污染源企业数据，并录入到 污染源企业名录库中，否则，执行S4；

S4，确认剩余数据项各字段的完整性和合理性，并通过所提供的字段信息 进行人工查询和筛选匹配，如果匹配成功，则确定为同一污染源企业数据，并 录入到污染源企业名录库中，否则，人工剔除。

上述方法的具体实施过程，可以为：

接入国家统计局、工商总局、质检总局、农业普查数据、住建部市政排污 口数据、国家电网数据，筛选出与环境污染有关的企业。对于没有地理信息的 污染源，利用时空大数据技术，实现自动对其进行地理信息补全(如坐标补全、 名称补全、地址编码补全等)。

以补全地址编码的国家统计局数据作为基础数据进行数据的自动匹配，自 动匹配过程具体为：通过污染源企业统一社会信用代码、企业名称、企业地址 以及企业坐标等字段进行关联匹配，对于以上字段与国家统计局数据完全相同 的确定为同一污染源企业数据；对于不能按照上述方式精确匹配的数据，可以 在组织机构代码精确匹配的前提下，针对企业名称、企业地址以及企业坐标数 据进行模糊匹配，匹配成功的数据(例如企业名称：“北京XX公司”与“北京市 XX公司”则被视为模糊匹配成功的数据)也将视作同一污染源企业数据。

针对在自动匹配过程中无法匹配成功的数据，进行智能筛选，在智能筛选 的过程中，只要不同来源的两个数据库污染源指标字段值在一定范围内相互匹 配，就可以将两个数据库中的条目取并集，即视作是同一企业名录下的相关数 据，从而录入企业名录库。

利用智能筛选仍未匹配成功的数据，将进行人工筛选。在人工筛选过程中， 首先确认剩余数据项各字段的完整性和合理性，然后通过所提供的字段信息进 行人工查询，包括工商注册信息、企业地址、网址、电话等公开的第三方信息 来佐证未匹配企业存在的真实性。一旦筛选人员获得相关反馈，则证明企业数 据项的合理性，从而录入到企业名录库中。相反，如果无法通过第三方等任何 信息佐证企业存在，或者该企业有任何经营变动，如倒闭、搬迁、兼并等，则 说明原有数据库数据是无效数据，应予以剔除。经过人工筛选后就形成了多源 数据融合校正后的污染源基本单位名录。

可见，本发明实施例提供的方法，基于一定业务规则，从多部门多行业提 供的数据库中筛选出与环境污染相关的企业名单，并赋予空间属性，通过地址 码补全与校验、自动匹配、智能筛选、人工筛选等步骤，合并不同行业企业数 据，从而解决不同行业多种数据源的融合匹配问题。为第二次污染源普查提供 精准的普查数据库，同时也为多来源的不同行业企业数据融合和匹配提供典型 示范案例，为环境管理提供更精准的污染源清单，以实现更精准的环境管理决 策。

本实施例中，所述其他行业的污染源企业数据包括工商总局数据、国家电 网数据、质检总局以及税务总局数据、农业普查数据和/或住建部市政排污口数 据。

如本领域技术人员可以理解的，上述涉及到的行业数据，可以为一个，也 可以为多个，可以根据实际需要进行选择和接入，如果选择了多个行业的数据 库，则需要分别对其按照规则进行自动匹配、智能筛选和人工筛选。

本实施例中，所述污染源企业的基本属性指标包括：统一社会信用代码、 单位名称、单位地址及区划代码、联系方式、主要业务活动及行业代码、登记 注册类型、机构类型、营业状态、和/或法人单位与其下属产业活动单位的关系。

如本领域技术人员可以理解的，上述基本属性指标可以为一个，也可以为 多个，可以根据实际需要进行选择，对于不同的数据库，选择的基本属性可能 不同。

本实施例中，S2中，所述自动匹配，具体可以为：针对统一社会信用代码、 企业名称、企业地址信息进行精确匹配，对未能精确匹配上的数据在统一社会 信用代码精确匹配的前提下，进行企业名称、企业地址信息的模糊匹配；精确 匹配以及模糊匹配成功的数据录入到污染源企业名录库中，对于未匹配成功的 数据则继续执行S3。

如图2所示

工商总局数据自动匹配：将工商总局数据与基础名录库数据进行自动匹配， 首先针对统一社会信用代码、企业名称、企业地址信息进行精确匹配，对未能 精确匹配上的工商总局数据在统一社会信用代码精确匹配的前提下，进行企业 名称、企业地址信息的模糊匹配。对于符合精确匹配以及模糊匹配的工商总局 数据可以直接进入污染源基础名录库中，对于不符合匹配条件的数据则继续进 行智能筛选的工作。

如图3所示

质检总局数据自动匹配：将质检总局数据与基础名录库数据进行自动匹配， 首先针对统一社会信用代码、企业名称、企业地址信息进行精确匹配，对未能 精确匹配上的质检总局数据在统一社会信用代码精确匹配的前提下，进行企业 名称、企业地址信息的模糊匹配。对于符合精确匹配以及模糊匹配的质检总局 数据可以直接进入污染源基础名录库中，对于不符合匹配条件的数据则继续进 行智能筛选的工作。

如图4所示

税务总局数据自动匹配：将税务总局数据与基础名录库数据进行自动匹配， 首先针对统一社会信用代码、企业名称、企业地址信息进行精确匹配，对未能 精确匹配上的税务总局数据在统一社会信用代码精确匹配的前提下，进行企业 名称、企业地址信息的模糊匹配。对于符合精确匹配以及模糊匹配的税务总局 数据可以直接进入污染源基础名录库中，对于不符合匹配条件的数据则继续进 行智能筛选的工作。

本实施例中，S2中，所述自动匹配，具体可以为：针对企业名称、企业地 址信息进行精确匹配，对未能精确匹配上的数据进行企业名称、企业地址信息 的模糊匹配；精确匹配以及模糊匹配成功的数据录入到污染源企业名录库中， 未匹配成功的数据则继续执行S3。

如图5所示

国家电网数据自动匹配：将国家电网数据与基础名录库数据进行自动匹配， 首先针对企业名称、企业地址信息进行精确匹配，对未能精确匹配上的国家电 网数据进行企业名称、企业地址信息的模糊匹配。对于符合精确匹配以及模糊 匹配的国家电网数据可以直接进入污染源基础名录库中，对于不符合匹配条件 的数据则继续进行智能筛选的工作。

本实施例中，S1和S2之间还可以包括步骤，获取补全地址编码的国家统计 局数据，采用如下方法进行实施：利用地址编码补全机制中的时空大数据技术， 对没有地理信息的污染源企业数据，自动补全地理信息，对已有地址编码的污 染源企业数据进行坐标转换，并进行时空效验。

本实施例中，S2和S3之间还可以包括步骤，为模糊数据字段的值设定一个语 义空间，使得每个模糊数据的取值为该语义空间的子集。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明实施 例提供的基于字段数据和坐标共性合并不同行业数据的方法，基于一定业务规 则，从多部门多行业提供的数据库中筛选出与环境污染相关的企业名单，并赋 予空间属性，通过地址码补全与校验、自动匹配、智能筛选、人工筛选等步骤， 合并不同行业企业数据，从而解决不同行业多种数据源的融合匹配问题。为第 二次污染源普查提供精准的普查数据库，同时也为多来源的不同行业企业数据 融合和匹配提供典型示范案例，为环境管理提供更精准的污染源清单，以实现 更精准的环境管理决策。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这 些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种基于字段数据和坐标共性合并不同行业数据的方法，其特征在于，包括如下步骤：

S1，接入国家统计局数据以及其他行业的污染源企业数据；

S2，以补全地址编码的国家统计局数据作为基础数据，以污染源企业的基本属性为指标，对其他行业的污染源企业数据进行自动匹配，如果匹配成功，则确定为同一污染源企业数据，并录入到污染源企业名录库中，否则，执行S3；

S3，采用智能化筛选模块中的语义包含工具进行对比筛选，如果不同数据库的字段值在一定范围内相互匹配，则确定为同一污染源企业数据，并录入到污染源企业名录库中，否则，执行S4；

S4，确认剩余数据项各字段的完整性和合理性，并通过所提供的字段信息进行人工查询和筛选匹配，如果匹配成功，则确定为同一污染源企业数据，并录入到污染源企业名录库中，否则，人工剔除。

2.根据权利要求1所述的基于字段数据和坐标共性合并不同行业数据的方法，其特征在于，所述其他行业的污染源企业数据包括工商总局数据、国家电网数据、质检总局以及税务总局数据、农业普查数据和/或住建部市政排污口数据。

3.根据权利要求1所述的基于字段数据和坐标共性合并不同行业数据的方法，其特征在于，所述污染源企业的基本属性指标包括：统一社会信用代码、单位名称、单位地址及区划代码、联系方式、主要业务活动及行业代码、登记注册类型、机构类型、营业状态、和/或法人单位与其下属产业活动单位的关系。

4.根据权利要求3所述的基于字段数据和坐标共性合并不同行业数据的方法，其特征在于，S2中，所述自动匹配，具体为：针对统一社会信用代码、企业名称、企业地址信息进行精确匹配，对未能精确匹配上的数据在统一社会信用代码精确匹配的前提下，进行企业名称、企业地址信息的模糊匹配；精确匹配以及模糊匹配成功的数据录入到污染源企业名录库中，对于未匹配成功的数据则继续执行S3。

5.根据权利要求1所述的基于字段数据和坐标共性合并不同行业数据的方法，其特征在于，S1和S2之间还包括步骤，获取补全地址编码的国家统计局数据，采用如下方法进行实施：利用地址编码补全机制中的时空大数据技术，对没有地理信息的污染源企业数据，自动补全地理信息，对已有地址编码的污染源企业数据进行坐标转换，并进行时空效验。

6.根据权利要求1所述的基于字段数据和坐标共性合并不同行业数据的方法，其特征在于，S2和S3之间还包括步骤，为模糊数据字段的值设定一个语义空间，使得每个模糊数据的取值为该语义空间的子集。