CN107743153B - 一种ip地址数据库生成方法和装置 - Google Patents

Abstract

本发明提供了一种IP地址数据库生成方法和装置。涉及计算机网络领域；解决了现有IP地址数据库精确度差、效率低下的问题。该方法包括：将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库。本发明提供的技术方案适用于IP地址定位，实现了标准化、高精度、可更新的IP地址数据库。

Description

一种IP地址数据库生成方法和装置

技术领域

本发明涉及计算机网络领域，尤其涉及一种IP地址数据库生成方法和装置。

背景技术

随着互联网的发展，IP库在智能调度、数据分析等方面的地位越来越重要，因而整理获取IP地址定位精准的IP库成为了价值产出非常高的工作。

现有IP库版本繁多，如IPIP、纯真、IP138、IP2location、maxmind等，每个IP库对于相同IP段都有一套独立的描述体系，具有不同的定位特性和精准度(例如省级地域精准、教育网精准、区县级行政区精准)。不同的IP库之间无论是涵盖的IP段范围还是对具体IP的描述均存在差异。在业务系统需要使用IP库时，如采用单一IP库，则很难确定该IP库与当前业务需求是否匹配，且仅单一IP库导致信息来源亦是单一，精确度较差；而采用多IP库对比使用的策略时，又需要面对多个IP库之间的差异，在IP库之间频繁切换对比，效率低下。

发明内容

本发明旨在解决上面描述的问题。

根据本发明的第一方面，提供了一种IP地址数据库生成方法，包括：

将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；

根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库。

优选的，所述将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库的步骤包括：

匹配所述原始IP地址数据库的定位描述字段和预设的IP库字典的原始库描述字段，将所述原始IP地址库转移为中间库，所述中间库的地址描述至少包含任一或任意多个如下字段：

起始IP，终止IP，国家，ISP，省，市，区县，街道，经纬度，附加字段，原始库名称，

其中，“起始IP”与“终止IP”分别为所述中间库对应的原始IP地址数据库覆盖IP地址段的起始IP地址与终止IP地址，“原始库名称”为所述中间库对应的原始IP地址数据库的名称；

为所述中间库的地址描述中涉及定位描述的各个字段分配权重，得到初级标准库。

优选的，该方法还包括：

在所述涉及定位描述的字段中，地理范围较小的字段权重大于地址范围较大的字段权重时，重置所述地址范围较小的字段的权重为小于等于所述地址范围较大的字段的权重。

优选的，所述根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库的步骤包括：

从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库；

根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据；

将所述修正数据与所述第一发布库合并，得到所述定制发布库。

优选的，所述预置条件包含提取精度和/或提取权重，指示对提取精度指向的字段的权重达到所述提取权重的IP地址段进行提取，

所述从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库的步骤包括：

将全IP段划分为N个最小IP段，所述最小IP段在抓取的任一原始IP地址数据库对应的初级标准库中都能匹配到相应的定位描述信息；

提取所述最小IP段在各个原始IP地址数据库对应的初级标准库中的定位描述及权重信息；

对所述最小IP段在各个原始IP地址数据库中的定位描述进行权重合并，并将相同字段对应的权重叠加，得到所述字段的合并权重，由所述字段与所述合并权重构成所述最小IP段的第一定位描述；

根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段；

使用提取得到的最小IP段及其相应的第一定位描述，形成第一发布库。

优选的，根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段的步骤还包括：

对所述最小IP段的第一定位描述进行逻辑校验，对比标准区域列表，在所述第一定位描述中存在与所述标准区域列表不匹配的字段时，将相应的字段清空。

优选的，所述根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据的步骤包括：

根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的人工智能(Artificial Intelligence，AI)处理权重，对于同一字段来说，所述AI处理权重小于等于所述提取权重；

对第一定位描述中提取精度指向的字段的权重大于等于所述AI处理权重且小于所述提取权重的最小IP段，进行路由跟踪处理，得到本最小IP段的上一跳路由IP地址；

在所述上一跳路由IP地址落入的最小IP段的第一定位描述中提取精度指向的全部字段的权重均大于相应的提取权重时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，形成修正数据。

优选的，根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的AI处理权重具体为：

在工作于AI关闭状态时，设置所述AI处理权重等于所述提取权重；

在工作于AI部分开启状态时，设置所述AI处理权重小于所述提取权重，且大于0；

在工作于AI开启状态时，设置所述AI处理权重为0。

优选的，所述根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据的步骤还包括：

对于第一定位描述中存在包含两个以上结果的字段的最小IP段，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，加入所述修正数据。

根据本发明的另一方面，还提供了一种IP地址数据库生成装置，包括：

结构化模块，用于将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；

定制发布模块，用于根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库。

优选的，所述结构化模块包括：

字段匹配单元，用于匹配所述原始IP地址数据库的定位描述字段和预设的IP库字典的原始库描述字段，将所述原始IP地址库转移为中间库，所述中间库的地址描述至少包含任一或任意多个如下字段：

起始IP，终止IP，国家，ISP，省，市，区县，街道，经纬度，附加字段，原始库名称，

其中，“起始IP”与“终止IP”分别为所述中间库对应的原始IP地址数据库覆盖IP地址段的起始IP地址与终止IP地址，“原始库名称”为所述中间库对应的原始IP地址数据库的名称；

权重分配单元，用于为所述中间库的地址描述中涉及定位描述的各个字段分配权重，得到初级标准库。

优选的，所述定制发布模块包括：

第一发布库生成单元，用于从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库；

修正数据生成单元，用于根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据；

AI单元，用于将所述修正数据与所述第一发布库合并，得到所述定制发布库。

优选的，所述预置条件包含提取精度和/或提取权重，指示对提取精度指向的字段的权重达到所述提取权重的IP地址段进行提取，

所述第一发布库生成单元包括：

最小IP段划分子单元，用于将全IP段划分为N个最小IP段，所述最小IP段在抓取的任一原始IP地址数据库对应的初级标准库中都能匹配到相应的定位描述信息；

信息提取子单元，用于提取所述最小IP段在各个原始IP地址数据库对应的初级标准库中的定位描述及权重信息；

权重合并子单元，用于对所述最小IP段在各个原始IP地址数据库中的定位描述进行权重合并，并将相同字段对应的权重叠加，得到所述字段的合并权重，由所述字段与所述合并权重构成所述最小IP段的第一定位描述；

第一IP筛选子单元，用于根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段；

第一发布库构建子单元，用于使用提取得到的最小IP段及其相应的第一定位描述，形成第一发布库。

优选的，所述第一发布库生成单元还包括：

校验子单元，用于对所述最小IP段的第一定位描述进行逻辑校验，对比标准区域列表，在所述第一定位描述中存在与所述标准区域列表不匹配的字段时，将相应的字段清空。

优选的，所述修正数据生成单元包括：

AI处理权重设置子单元，用于根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的AI处理权重，对于同一字段来说，所述AI处理权重小于等于所述提取权重；

路由跟踪子单元，用于对第一定位描述中提取精度指向的字段的权重大于等于所述AI处理权重且小于所述提取权重的最小IP段，进行路由跟踪处理，得到所述最小IP段的上一跳路由IP地址；

修正数据提取子单元，用于在所述上一跳路由IP地址落入的最小IP段的第一定位描述中提取精度指向的全部字段的权重均大于相应的提取权重时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，形成修正数据。

优选的，所述AI处理权重设置子单元，具体用于：

在工作于AI关闭状态时，设置所述AI处理权重等于所述提取权重，

在工作于AI部分开启状态时，设置所述AI处理权重小于所述提取权重，且大于0，

在工作于AI开启状态时，设置所述AI处理权重为0。

优选的，

所述修正数据提取子单元，还用于对第一定位描述中存在包含两个以上结果的字段的最小IP段，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，加入所述修正数据。

本发明提供了一种IP地址数据库生成方法和装置，将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库，根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库。通过标准化将所有原始库的IP定位描述标准化，并赋予根据原始库的特征，赋予原始库数据指定权重。通过评分计算模块将大于提取分数的IP定位数据提取出来形成业务系统IP库，并可以通过AI模块，对定位结果有冲突的IP段，进行智能判定，整个过程自动化完成，解决了工作量和效率问题。并通过大数据运算根据各个库的定位特征和准确度，调整原始库的权重值，不断提升系统产出数据的精准度。解决了现有IP地址数据库精确度差、效率低下的问题，实现了标准化、高精度、可更新的IP地址数据库。

参照附图来阅读对于示例性实施例的以下描述，本发明的其他特性特征和优点将变得清晰。

附图说明

并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

图1示例性的示出了本发明的实施例一提供的一种IP地址数据库生成装置的结构；

图2示例性的示出了本发明的实施例二提供的一种IP地址数据库生成方法的流程；

图3示例性的示出了本发明的实施例二中生成定制发布库的流程；

图4示例性的示出了本发明的实施例二中形成第一发布库的流程；

图5示例性的示出了本发明的实施例二中提取修正数据的流程；

图6示例性的救出了本发明的实施例三提供的一种IP地址数据库生成装置的结构；

图7示例性的救出了图6中结构化模块601的结构；

图8示例性的救出了图6中定制发布模块602的结构。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

现有IP库版本繁多，如IPIP、纯真、IP138、IP2location、maxmind等，每个IP库对于相同IP段都有一套独立的描述体系，不同的IP库之间无论是涵盖的IP段范围还是对具体IP的描述均存在差异。在业务系统需要使用IP库时，如采用单一IP库，则很难确定该IP库与当前业务需求匹配，且仅单一IP库导致信息来源亦是单一，精确度较差；而采用多IP库对比使用的策略时，又需要面对多个IP库之间的差异，在IP库之间频繁切换对比，效率低下。

为了解决上述问题，本发明的实施例提供了一种IP地址数据库生成方法和装置。对不同的IP地址数据库进行标准化，再对标准化后的初级标准库进行分析融合，获取符合当前业务需求的定制发布库，在确保信息全面完整的情况下，能够与现实的业务需求很好的结合，优化业务系统。

首先结合附图，对本发明的实施例一进行说明。

本发明实施例提供了一种IP地址数据库生成装置，其结构如图1所示，包括：

本方案包括配置管理模块、抓取模块、标准化模块、计算模块、AI模块、IP库生成模块。

1、配置管理模块：

1)配置管理模块下发基础配置给所有的模块，包括每个模块程序和IP库整理任务的执行周期。

2)配置管理模块下发各原始IP数据库库名称和抓取链接、抓取方式给抓取模块。

3)配置管理模块下发IP库字典和权重映射表，权重映射表包括原始IP地址数据库名称、标准库字段名称、权重。对于不同的原始IP地址数据库，其对应的初级标准库中各字段的权重配置可能不同。因为不同的原始IP地址数据库在不同区域或者字段的精准度不同，例如CNNIC的地址库对国家字段描述的准确度非常高，而在教育网-省级的字段准确度则较差。相反，纯真库在教育网-省级字段很准确，但是国家级字段不精准。考虑到不同原始IP地址数据库的特征不同，在配置权重映射包时对不同原始IP地址数据库可作区别。

IP库字典格式如下：

“原始库描述|国家ISP省市区县街道经纬度附加字段原始库名称”

标准库定位描述包含如下字段：

“国家ISP省市区县街道经纬度附加字段”

无具体描述的字段描述，认为内容为空，可用减号标识“-”。

权重：具体数值范围可根据系统运算情况配置，例如，可将权重范围设置为0-100的正整数。

4)配置管理模块下发预置条件给计算模块，预置条件包含提取精度和/或提取权重，提取精度配置为初级标准库中的字段名称和阈值，提取权重为0-100的一正整数。一般情况下，提取精度指向连续的多个字段，以最高字段(如“国家”字段)作为起始位置。

以下是提取精度配置的举例说明：

“国家＝1省＝1”阈值为1，提取此字段所有描述，未配置字段默认为0；

或，

“国家＝中国省＝北京”阈值为具体名称，则提取指向字段的内容为指定名称的描述。

5)配置管理模块发送AI模式配置给AI模块，AI模式为“开启、关闭、部分开启”三种模式，部分开启模式下需要配置AI处理权重和AI权重。优选的，也可以在开启模式下将AI处理权重配置为最小值(如0)，在关闭模式下将AI处理权重配置为与提取权重相同。

在实际使用过程中，不同的业务对IP库的要求不同，也就产生了对提取权重的不同需求。因此也同时产生了对于是否进行AI模块处理及对AI模块分析结果如何进行采纳的需求。

对权重大于AI处理权重小于提取权重的目标执行AI模块处理。

AI模块处理后的字段描述权重，赋予AI权重。

6)发送IP库格式版本给IP库生成模块。

2、抓取模块

用于抓取至少一个原始IP地址数据库。优选的，可遵循IP库整理周期执行原始库抓取程序，抓取方式为HTTP下载、FTP下载等。抓取后的原始库以原始库名称+抓取时间作为文件名保存。也可响应抓取指令，如接收到定制IP地址数据库的请求或系统下达的生成命令时，启动IP地址数据库生成流程，开始抓取。

抓取程序校验新抓取原始IP地址数据库的数据可靠性，与上次抓取结果相对比，库内IP地址个数减少、IP地址精确度降低则将新获取的原始IP地址数据库删除，重新下载。还可设立告警机制，如连续三次验证有问题，刚判定任务失败，退出IP地址数据库生成流程，发出告警信息。

3、标准化模块

标准化模块获取各版本原始IP数据库及IP库字典、权重映射表，将各版本原始IP数据库转换成初级标准库。

标准化模块匹配原始IP地址数据库定位描述字段和IP库字典的原始库描述字段，将原始IP地址数据库转换为中间库(中间库是原始IP地址数据库的标准化描述形态，每个标准化描述的字段没有权重)。

如下是一种中间库格式的举例：

“起始IP终止IP国家ISP省市区县街道经纬度附加字段原始库名称”。

标准化模块将中间库结合原始IP地址数据库的权重映射表，匹配原始库名称、标准字段名称，将权重赋予各原始库的标准字段名称，形成初级标准库。权重映射表中没有的原始库标准字段权重，记为0。

如下是一种初级标准库的结构举例：

“起始IP终止IP国家权重ISP权重省权重市权重区县权重街道权重经纬度权重附加字段权重原始库名称”。

优选的，在生成初级标准数据库时，也对地理位置关系链的逻辑进行校验。例如，对国家、省、市、区县、街道五个字段的权重进行比较，前一字段的权重值应大于等于后一字段，如果出现后一字段的权重值大于前一字段的权重配置，则重置后一字段的权重值为小于等于前一字段的权重值。优选的，自动将后一字段的权重替换为前一字段的权重，并发出错误提示。

4、计算模块

计算模块按照配置管理模块下发的预置条件，参考各版本原始IP地址数据库数据，对各原始IP地址库对应的初级标准库进行合并，提取符合预置条件的IP地址与相应的定位描述，形成第一发布库。处理过程如下：

1)计算模块将全IP段(0.0.0.0-255.255.255.255)根据各库IP段描述的分割成N个最小IP段，最小IP段在每个中间库中，都能分别匹配一条IP定位描述。

2)提取最小IP段在中间库中各个原始IP地址数据库的IP定位描述。

3)分别对每个最小IP段的各标准字段进行权重计算，相同描述的字段权重分值相加，将整合IP库中的各IP段在各原始IP库中所计算出的置信度最高的地域信息作为整合IP库中该IP段的最终地域信息。如果权重和大于100则按照100计数，然后将得分高的权重字段和字段权重保留。特殊的，如果同一字段多个不同的描述权重一致，则保留两个结果，用’|’隔开。

4)计算模块对保留的字段进行地域逻辑校验，匹配所有最小字段的描述信息，对比标准区域列表(静态列表)，确认国家-省-市-区县-街道信息是否满足逻辑，如果与标准区域列表不匹配，则取最高匹配结果保留，其余描述结果置为空，可用减号“-”表示。

上述标准区域列表，明确了各字段之间的逻辑关系，修正与标准区域列表不一致的逻辑错误。

5)计算模块提取符合IP提取精度和大于提取权重的最小IP段字段描述，没有精准定位的字段定位描述内容置为空，可标为减号“-”，形成第一发布库。特殊的如果同字段有两个及以上不同的定位描述结果，则将该字段内容置为空，可以减号“-”表示。

5、AI模块

如果AI模块处于关闭状态，直接将第一发布库变更为定制发布库，转发给IP库生成模块。

如果AI模块处于开启状态，AI模块对字段描述的权重低于提取权重和保留多个定位描述结果的字段描述进行智能处理，通过跟踪(trace)路由路径的方式，获取最小IP段IP的上一跳路由IP地址，如果上一跳路由的IP地址落入的最小IP段有大于提取权重阈值的精准描述，则继承上一跳路由的字段描述和权重。合并至第一发布库，形成定制发布库。

如果AI模块处于部分开启状态，AI模块对字段描述的权重低于提取权重阈值同时高于AI处理权重的字段或保留多个定位描述结果的字段描述进行智能处理，通过trace路由路径的方式，获取最小IP段IP的上一跳路由IP，如果上一跳路由的IP有大于提取权重阈值的精准描述，则继承上一跳路由的字段描述和权重。合并至第一发布库，形成定制发布库。

AI模块计算各原始库在定制发布库里被采用的概率和百分比，动态计算各库字段名称的权重，反馈给配置管理模块。

根据IP库格式版本，将定制发布库的标准格式，转变为业务所需要的发布格式，并保持到制定目录下。

本发明实施例提供了一种IP地址数据库生成装置，多原始库比对加上AI模块二次校验，提高IP库定位精准度，解决单一库不准确问题；多原始库比对加上AI模块二次校验，结合多库特征，解决单一库特征单一，维度单一问题；将各原始库自动转换成格式、描述统一的标准库，解决多库描述不统一，标准化工作量大的问题；整个IP库比对计算过程自动化完成，答复降低工作量和成本；每次计算结果会决定后续原始库字段的权重，系统不断自学习自由化。

下面结合附图，对本发明的实施例二进行说明。

本发明实施例提供了一种IP地址数据库生成方法，使用该方法生成符合业务需求的IP地址数据库的流程如图2所示，包括：

步骤201、将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；

本发明实施例中，首先抓取多个原始IP地址数据库，以期将多个原始IP地址数据库的结果进行对比整合，生成更完整准确的IP地址数据。在抓取得到原始IP地址数据库后，还可以进行校验，例如对IP地址个数、IP地址精确度进行审查，在新抓取的原始IP地址数据库较旧版本原始IP地址数据库出现库内IP地址个数减少、IP地址精确度降低等问题时，将新抓取的该原始IP地址数据库删除，重新抓取。

本发明实施例设置了一个标准化结构，将不同原始IP地址数据库的IP地址描述信息统一标准化，以便于后续处理。

具体的，本步骤中，首先匹配所述原始IP地址数据库的定位描述字段和预设的IP库字典的原始库描述字段，将所述原始IP地址库转移为中间库，所述中间库的地址描述至少包含任一或任意多个如下字段：

起始IP，终止IP，国家，ISP，省，市，区县，街道，经纬度，附加字段，原始库名称，

其中，“起始IP”与“终止IP”分别为所述中间库对应的原始IP地址数据库覆盖IP地址段的起始IP地址与终止IP地址，“原始库名称”为所述中间库对应的原始IP地址数据库的名称。“国家，ISP，省，市，区县，街道，经纬度”等字段为定位描述。

然后，为所述中间库涉及定位描述的各个字段分配权重，得到初级标准库。

具体的，可结合预置的权重映射表对各个字段分配权重。权重映射表包括原始IP地址数据库名称、标准库字段名称、权重。对于不同的原始IP地址数据库，其对应的初级标准库中各字段的权重配置可能不同。因为不同的原始IP地址数据库在不同区域或者字段的精准度不同，例如CNNIC的地址库对国家字段描述的准确度非常高，而在教育网-省级的字段准确度则较差。相反，纯真库在教育网-省级字段很准确，但是国家级字段不精准。考虑到不同原始IP地址数据库的特征不同，在配置权重映射包时对不同原始IP地址数据库可作区别。

在所述涉及定位描述的字段中，地理范围较小的字段权重大于地址范围较大的字段权重时，重置所述地址范围较小的字段的权重为小于等于所述地址范围较大的字段的权重。

步骤202、根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库；

本步骤具体如图3所示，包括：

301、从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库。

所述预置条件包含提取精度和/或提取权重，指示对提取精度指向的字段的权重达到所述提取权重的IP地址段进行提取，

所述从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库的步骤如图4所示，包括：

步骤401、将全IP段划分为N个最小IP段，所述最小IP段在抓取的任一原始IP地址数据库对应的初级标准库中都能匹配到相应的定位描述信息。

步骤402、提取所述最小IP段在各个原始IP地址数据库对应的初级标准库中的定位描述及权重信息。

步骤403、对所述最小IP段在各个原始IP地址数据库中的定位描述进行权重合并，并将相同字段对应的权重叠加，得到所述字段的合并权重，由所述字段与所述合并权重构成所述最小IP段的第一定位描述。

步骤404、根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段。

步骤405、使用提取得到的最小IP段及其相应的第一定位描述，形成第一发布库。

可选的，在步骤405后，可对所述最小IP段的第一定位描述进行逻辑校验，对比标准区域列表，在所述第一定位描述中存在与所述标准区域列表不匹配的字段时，将相应的字段清空。

步骤302、根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据。

一般情况下，会将提取权重设置为一个较高的值，以保证第一标准库中数据的精确度。根据实际业务需求，可能需要覆盖范围更广或更准确的定位，此时就可以通过AI处理，设置提取精度指向字段的AI处理权重，将字段的权重处于AI处理权重与提取权重之间的最小IP段筛选出来，进行路由跟踪，将符合预置条件的上一跳路由IP地址落入的最小IP段的第一定位描述作为修正数据，补充第一标准库的结果，得到更符合当前业务需求的定制发布库。

本步骤具体如图5所示，包括：

步骤501、根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的AI处理权重，对于同一字段来说，所述AI处理权重小于等于所述提取权重。

具体的，在工作于AI关闭状态时，设置所述AI处理权重等于所述提取权重。即，依据该AI处理权重进行筛选时，得不到任何新的结果，以第一发布库作为定制发布库。

在工作于AI部分开启状态时，设置所述AI处理权重小于所述提取权重，且大于0。即，依据该AI处理权重进行筛选时，会得到一部分新的最小IP段。具体的AI处理权重设置可根据业务需求及系统处理能力决定，不同的AI处理权重值获取的筛选结果数量不同。

在工作于AI开启状态时，设置所述AI处理权重为0。即，依据该AI处理权重进行筛选时，会得到定位描述字段权重小于提取权重的所有最小IP段，并对其进行路由跟踪，得到最全面丰富的修正数据。

可通过控制AI处理的状态为“关闭”、“开启”或“部分开启”来切换不同的AI处理权重配置。

步骤502、对第一定位描述中提取精度指向的字段的权重大于等于所述AI处理权重且小于所述提取权重的最小IP段，进行路由跟踪处理，得到本最小IP段的上一跳路由IP地址。

步骤503、在所述上一跳路由IP地址落入的最小IP段的第一定位描述中提取精度指向的全部字段的权重均大于相应的提取权重时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，形成修正数据。

本步骤中，本最小IP段在上一跳路由IP地址落入的最小IP段满足预置条件时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，即继承上一跳路由IP落入的最小IP段的第一定位描述，形成新的本最小IP段的第一发布库数据，将其加入修正数据。

优选的，对于第一定位描述中存在包含两个以上结果的字段的本最小IP段，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，加入所述修正数据。

步骤303、将所述修正数据与所述第一发布库合并，得到所述定制发布库。

至此，定制发布库生成，IP地址数据库完成。生成的定制发布库可通过API接口等形式发布给其他平台。

下面结合附图，对本发明的实施例二进行说明。

本发明实施例提供了一种IP地址数据库生成装置，其结构如图6所示，包括：

结构化模块601，用于将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；

定制发布模块602，用于根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库。

优选的，所述结构化模块601的结构如图7所示，包括：

字段匹配单元701，用于匹配所述原始IP地址数据库的定位描述字段和预设的IP库字典的原始库描述字段，将所述原始IP地址库转移为中间库，所述中间库的地址描述至少包含任一或任意多个如下字段：

起始IP，终止IP，国家，ISP，省，市，区县，街道，经纬度，附加字段，原始库名称，

其中，“起始IP”与“终止IP”分别为所述中间库对应的原始IP地址数据库覆盖IP地址段的起始IP地址与终止IP地址，“原始库名称”为所述中间库对应的原始IP地址数据库的名称；

权重分配单元702，用于为所述中间库的地址描述中涉及定位描述的各个字段分配权重，得到初级标准库。

优选的，所述定制发布模块602的结构如图8所示，包括：

第一发布库生成单元801，用于从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库；

修正数据生成单元802，用于根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据；

AI单元803，用于将所述修正数据与所述第一发布库合并，得到所述定制发布库。

优选的，所述预置条件包含提取精度和/或提取权重，指示对提取精度指向的字段的权重达到所述提取权重的IP地址段进行提取，

所述第一发布库生成单元801包括：

最小IP段划分子单元8011，用于将全IP段划分为N个最小IP段，所述最小IP段在抓取的任一原始IP地址数据库对应的初级标准库中都能匹配到相应的定位描述信息；

信息提取子单元8012，用于提取所述最小IP段在各个原始IP地址数据库对应的初级标准库中的定位描述及权重信息；

权重合并子单元8013，用于对所述最小IP段在各个原始IP地址数据库中的定位描述进行权重合并，并将相同字段对应的权重叠加，得到所述字段的合并权重，由所述字段与所述合并权重构成所述最小IP段的第一定位描述；

第一IP筛选子单元8014，用于根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段；

第一发布库构建子单元8015，用于使用提取得到的最小IP段及其相应的第一定位描述，形成第一发布库。

优选的，所述第一发布库生成单元801还包括：

校验子单元8016，用于对所述最小IP段的第一定位描述进行逻辑校验，对比标准区域列表，在所述第一定位描述中存在与所述标准区域列表不匹配的字段时，将相应的字段清空。

优选的，所述修正数据生成单元802包括：

AI处理权重设置子单元8021，用于根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的AI处理权重，对于同一字段来说，所述AI处理权重小于等于所述提取权重；

路由跟踪子单元8022，用于对第一定位描述中提取精度指向的字段的权重大于等于所述AI处理权重且小于所述提取权重的最小IP段，进行路由跟踪处理，得到所述最小IP段的上一跳路由IP地址；

修正数据提取子单元8023，用于在所述上一跳路由IP地址落入的最小IP段的第一定位描述中提取精度指向的全部字段的权重均大于相应的提取权重时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，形成修正数据。

优选的，所述AI处理权重设置子单元8021，具体用于：

在工作于AI关闭状态时，设置所述AI处理权重等于所述提取权重，

在工作于AI部分开启状态时，设置所述AI处理权重小于所述提取权重，且大于0，

在工作于AI开启状态时，设置所述AI处理权重为0。

优选的，所述修正数据提取子单元8023，还用于对第一定位描述中存在包含两个以上结果的字段的最小IP段，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，加入所述修正数据。

下面结合附图，对本发明的实施例四进行说明。

本发明实施例提供了一种IP地址数据库生成方法，使用该方法完成定制发布库生成的流程如下：

1、原始IP地址数据库：

1)A库：

192.168.0.0/24清华大学教育网

10.0.0.0/24中国北京朝阳区酒仙桥电信

2)B库：

192.168.0.0/24 中国北京海淀区学院路教育网

10.0.0.0/24 中国

3)IP库字典：

清华大学教育网|中国 教育网 北京 北京 海淀区 学院路--A库

中国北京朝阳区酒仙桥电信|中国 电信 北京 北京 朝阳区 酒仙桥--A库

中国北京海淀区学院路教育网|中国 教育网 北京 北京 海淀区 学院路--B库

中国|中国-------B库

4)权重映射表

A库 全部字段 50

B库 全部字段 50

2、初级标准库：

192.168.0.0 192.168.0.255 中国 50 教育网 50 北京 50 北京 50 海淀区 50学院路 50-50-50A库

10.0.0.0 10.0.0.255 中国 50 电信 50 北京 50 北京 50 朝阳区 50 酒仙桥50–50–50A库

192.168.0.0 192.168.0.255 中国 50 教育网 50 北京 50 北京 50 海淀区 50学院路 50–50-50B库

10.0.0.0 10.0.0.255 中国 50–50–50–50-50–50–50–50B库

3、第一发布库：提取权重为100的发布库，精度为省

1)中间运算：

192.168.0.0 192.168.0.255 中国 100 教育网 100 北京 100 北京 100 海淀区 100 学院路 100-100–100

10.0.0.0 10.0.0.255中国 100 电信|-50 北京|-50 北京|-50 朝阳区|-50 酒仙桥|-50–100–100

2)第一发布库：提取权重为100的最小IP段。

192.168.0.0 192.168.0.255 中国 教育网 北京

10.0.0.0 10.0.0.255 中国--

4、定制发布库：

假设处于AI开启状态，且10.0.0.0/24上一跳路由定位与A库一致

则修正：

10.0.0.0 10.0.0.255 中国 电信 北京

最终得到定制发布库：

192.168.0.0 192.168.0.255 中国 教育网 北京

10.0.0.0 10.0.0.255 中国 电信 北京

业务系统IP库：发布英文简写版本

192.168.0.0/24cn-cer-bj

10.0.0.0/24cn-chn-bj

本发明的实施例提供了一种IP地址数据库生成方法和装置，将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库，根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库。通过标准化将所有原始库的IP定位描述标准化，并赋予根据原始库的特征，赋予原始库数据指定权重。通过评分计算模块将大于提取分数的IP定位数据提取出来形成业务系统IP库，并可以通过AI模块，对定位结果有冲突的IP段，进行智能判定，整个过程自动化完成，解决了工作量和效率问题。并通过大数据运算根据各个库的定位特征和准确度，调整原始库的权重值，不断提升系统产出数据的精准度。解决了现有IP地址数据库精确度差、效率低下的问题，实现了标准化、高精度、可更新的IP地址数据库。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种IP地址数据库生成方法，其特征在于，包括：

将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；

根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库；

其中，所述将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库的步骤包括：

匹配所述原始IP地址数据库的定位描述字段和预设的IP库字典的原始库描述字段，将所述原始IP地址数据库转移为中间库，所述中间库的地址描述至少包含如下字段：

起始IP，终止IP，国家，ISP，省，市，区县，街道，经纬度，附加字段，原始库名称，

其中，“起始IP”与“终止IP”分别为所述中间库对应的原始IP地址数据库覆盖IP地址段的起始IP地址与终止IP地址，“原始库名称”为所述中间库对应的原始IP地址数据库的名称；

为所述中间库的地址描述中涉及定位描述的各个字段分配权重，得到初级标准库；

并且其中，所述根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库的步骤包括：

从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库；

根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据；

将所述修正数据与所述第一发布库合并，得到所述定制发布库；

其中，所述预置条件包含提取精度和提取权重，指示对提取精度指向的字段的权重达到所述提取权重的IP地址段进行提取，

并且，所述从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库的步骤包括：

将全IP段划分为N个最小IP段，所述最小IP段在抓取的任一原始IP地址数据库对应的初级标准库中都能匹配到相应的定位描述信息；

提取所述最小IP段在各个原始IP地址数据库对应的初级标准库中的定位描述及权重信息；

对所述最小IP段在各个原始IP地址数据库中的定位描述进行权重合并，并将相同字段对应的权重叠加，得到所述字段的合并权重，由所述字段与所述合并权重构成所述最小IP段的第一定位描述；

根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段；

使用提取得到的最小IP段及其相应的第一定位描述，形成第一发布库。

2.根据权利要求1所述的IP地址数据库生成方法，其特征在于，该方法还包括：

在所述涉及定位描述的字段中，地址范围较小的字段权重大于地址范围较大的字段权重时，重置所述地址范围较小的字段的权重为小于等于所述地址范围较大的字段的权重。

3.根据权利要求1所述的IP地址数据库生成方法，其特征在于，根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段的步骤还包括：

对所述最小IP段的第一定位描述进行逻辑校验，对比标准区域列表，在所述第一定位描述中存在与所述标准区域列表不匹配的字段时，将相应的字段清空。

4.根据权利要求1所述的IP地址数据库生成方法，其特征在于，所述根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据的步骤包括：

根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的人工智能AI处理权重，对于同一字段来说，所述AI处理权重小于等于所述提取权重；

对第一定位描述中提取精度指向的字段的权重大于等于所述AI处理权重且小于所述提取权重的最小IP段，进行路由跟踪处理，得到本最小IP段的上一跳路由IP地址；

在所述上一跳路由IP地址落入的最小IP段的第一定位描述中提取精度指向的全部字段的权重均大于相应的提取权重时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，形成修正数据。

5.根据权利要求4所述的IP地址数据库生成方法，其特征在于，根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的AI处理权重具体为：

在工作于AI关闭状态时，设置所述AI处理权重等于所述提取权重；

在工作于AI部分开启状态时，设置所述AI处理权重小于所述提取权重，且大于0；

在工作于AI开启状态时，设置所述AI处理权重为0。

6.根据权利要求4所述的IP地址数据库生成方法，其特征在于，所述根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据的步骤还包括：

对于第一定位描述中存在包含两个以上结果的字段的最小IP段，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，加入所述修正数据。

7.一种IP地址数据库生成装置，其特征在于，包括：

结构化模块，用于将抓取的至少一个原始IP地址数据库转化为标准化结构的初级标准库；

定制发布模块，用于根据当前业务类型，对所述初级标准库的精度进行修正，生成定制发布库；

其中，所述结构化模块包括：

字段匹配单元，用于匹配所述原始IP地址数据库的定位描述字段和预设的IP库字典的原始库描述字段，将所述原始IP地址数据库转移为中间库，所述中间库的地址描述至少包含如下字段：

起始IP，终止IP，国家，ISP，省，市，区县，街道，经纬度，附加字段，原始库名称，

其中，“起始IP”与“终止IP”分别为所述中间库对应的原始IP地址数据库覆盖IP地址段的起始IP地址与终止IP地址，“原始库名称”为所述中间库对应的原始IP地址数据库的名称；

权重分配单元，用于为所述中间库的地址描述中涉及定位描述的各个字段分配权重，得到初级标准库；

所述定制发布模块包括：

第一发布库生成单元，用于从所述初级标准库中提取符合预置条件的标准字段描述，形成第一发布库；

修正数据生成单元，用于根据当前业务类型，对所述初级标准库进行二次筛选，得到修正数据；

AI单元，用于将所述修正数据与所述第一发布库合并，得到所述定制发布库；

其中，所述预置条件包含提取精度和提取权重，指示对提取精度指向的字段的权重达到所述提取权重的IP地址段进行提取，

并且，所述第一发布库生成单元包括：

最小IP段划分子单元，用于将全IP段划分为N个最小IP段，所述最小IP段在抓取的任一原始IP地址数据库对应的初级标准库中都能匹配到相应的定位描述信息；

信息提取子单元，用于提取所述最小IP段在各个原始IP地址数据库对应的初级标准库中的定位描述及权重信息；

权重合并子单元，用于对所述最小IP段在各个原始IP地址数据库中的定位描述进行权重合并，并将相同字段对应的权重叠加，得到所述字段的合并权重，由所述字段与所述合并权重构成所述最小IP段的第一定位描述；

第一IP筛选子单元，用于根据所述预置条件，提取所述第一定位描述中提取精度指向的字段的合并权重达到所述提取权重的最小IP段；

第一发布库构建子单元，用于使用提取得到的最小IP段及其相应的第一定位描述，形成第一发布库。

8.根据权利要求7所述的IP地址数据库生成装置，其特征在于，所述第一发布库生成单元还包括：

校验子单元，用于对所述最小IP段的第一定位描述进行逻辑校验，对比标准区域列表，在所述第一定位描述中存在与所述标准区域列表不匹配的字段时，将相应的字段清空。

9.根据权利要求7所述的IP地址数据库生成装置，其特征在于，所述修正数据生成单元包括：

AI处理权重设置子单元，用于根据当前业务类型，设置所述第一定位描述中提取精度指向的字段的AI处理权重，对于同一字段来说，所述AI处理权重小于等于所述提取权重；

路由跟踪子单元，用于对第一定位描述中提取精度指向的字段的权重大于等于所述AI处理权重且小于所述提取权重的最小IP段，进行路由跟踪处理，得到本最小IP段的上一跳路由IP地址；

修正数据提取子单元，用于在所述上一跳路由IP地址落入的最小IP段的第一定位描述中提取精度指向的全部字段的权重均大于相应的提取权重时，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，形成修正数据。

10.根据权利要求9所述的IP地址数据库生成装置，其特征在于，所述AI处理权重设置子单元，具体用于：

在工作于AI关闭状态时，设置所述AI处理权重等于所述提取权重，

在工作于AI部分开启状态时，设置所述AI处理权重小于所述提取权重，且大于0，

在工作于AI开启状态时，设置所述AI处理权重为0。

11.根据权利要求9所述的IP地址数据库生成装置，其特征在于，

所述修正数据提取子单元，还用于对第一定位描述中存在包含两个以上结果的字段的最小IP段，提取所述上一跳路由IP地址落入的最小IP段的第一定位描述替换本最小IP段的第一定位描述，加入所述修正数据。