CN105824906B - 一种ip库质量评估及入库方法和系统 - Google Patents

一种ip库质量评估及入库方法和系统 Download PDF

Info

Publication number
CN105824906B
CN105824906B CN201610146729.9A CN201610146729A CN105824906B CN 105824906 B CN105824906 B CN 105824906B CN 201610146729 A CN201610146729 A CN 201610146729A CN 105824906 B CN105824906 B CN 105824906B
Authority
CN
China
Prior art keywords
library
city
province
country
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610146729.9A
Other languages
English (en)
Other versions
CN105824906A (zh
Inventor
张燕
房鹏展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focus Technology Co Ltd
Original Assignee
Focus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focus Technology Co Ltd filed Critical Focus Technology Co Ltd
Priority to CN201610146729.9A priority Critical patent/CN105824906B/zh
Publication of CN105824906A publication Critical patent/CN105824906A/zh
Application granted granted Critical
Publication of CN105824906B publication Critical patent/CN105824906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种IP库质量评估及入库方法与系统，考虑到IP库数据的更新，它通过IP库质量评估，IP库选择，IP库获取，IP库数据量检测，IP库中地域名称检测，处理检测异常模块等流程为实际的IP地址数据库数据分析提供一个可靠的IP维表。

Description

一种IP库质量评估及入库方法和系统
技术领域
本发明涉及数据评估及清洗入库领域，特别是一种IP库质量评估及入库方法和系统。
背景技术
IP库(IP地址数据库)，是由专业技术人员经过长时间通过多种技术手段收集而来的，并且长期有专业人员进行更新、补充。将其获取并进行入库处理，即成为分析数据中常用的IP维表，该维表是数据分析中最基础、最重要的维表之一。因此IP库的覆盖面和精准度情况对应分析结果有着重大影响，覆盖面即广度，是指包含IP的个数。精准度是指IP库中的IP地域信息的精确度(精确到大洲、国家、省份还是城市)。目前，提供IP库的公司很多，他们提供的IP库的精准度、覆盖面都各有不同，因此选择一个好的IP库至关重要。选择一个高质量的IP库是一个重要的开始，最终目的还是要结合实际分析项目使用。在实际的使用过程中，会发现IP库中的提供的国家、省份及城市名称，与实际数据仓库中存储的国家和城市维表中的名称不统一，这会对涉及到IP维表的分析结果产生极大的影响，因此，需要在IP库进行地区名称统一化处理后，将IP库导入数据仓库即下面所说的IP库入库。IP选择和处理入库是IP维表建立的核心过程，我们还有考虑到IP库数据的更新，要定期下载更新后的IP库，在下载过程中会出现网络问题导致下载不完全，这样会导致导入到数据仓库的IP地址维表不完整，从而对涉及到IP地址维表的分析产生严重错误。
本发明针上述问题，对IP库选择和入库提供了一种IP库质量评估及入库方法和系统。
发明内容
本发明目的是，提出一种IP库质量评估及入库方法与系统，它通过IP库质量评估，IP库选择，IP库获取，IP库数据量检测，IP库中地域名称检测，处理检测异常模块等流程为实际的IP地址数据库数据分析提供一个可靠的IP维表。
本发明技术方案是，一种IP库质量评估及入库方法，包括如下步骤：
S1：IP库质量评估，将包含国内外且每天访问量在千万级的真实测试日志中的IP地址与待评估的IP库中的IP地址进行关联匹配，得到新的日志信息中包含IP库中的国家、省份和城市日志信息，然后从IP地址覆盖率、IP地址国家、省份和城市匹配情况对匹配出的新日志进行评估。
S11：IP库覆盖率评估，从总体评估整个IP库与测试日志的匹配情况，主要计算日志中未匹配的IP地址个数与总IP地址个数的占比情况(下称ntotal)。
S12：IP库国家匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况(下称ncountry)。
S13：IP库省份匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况(下称nprovince)。
S14：IP库城市匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况(下称ncity)。
S2：IP库选择，依据IP库质量评估的结果，结合实际应用，选择一个合适的IP库。具体选择方案是：首先选择覆盖率高的即ntotal值相对小的IP库，在ntotal值相当的情况下，结合实际业务需要，若主要分析维度是国家，那么选择ncountry较小的IP库，若主要分析维度是省份，那么选择nprovince较小的IP库，若主要分析维度是城市，那么选择ncity较小的IP库。本实例中，是选择ntotal值相对小的IP库，在ntotal值相当的情况下选择ncountry较小的IP库。
S3：IP库入库，将选择的IP库进行处理导入到本公司的数据仓库中处理，最终生成数据仓库中的IP维表。IP库入库包含IP库获取、IP库数据量检测、国家名称异常检测、省份和城市名称异常检测、处理检测异常和IP维表生成六个步骤。
S31：IP库获取，配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中。
S32：IP库数据量检测，将下载后的IP地址文本，进行初步入库，存入临时表中，将临时表的数据量与当前数据仓库中IP地址维表的数据量进行对比，若数据量差值很大，转到S35进行异常处理，否则进行下一步S33国家名称异常检测。注：该步骤主要针对数据更新中存在的数据下载不完整情况，不针对首次入库。
S33：国家名称异常检测，该步骤首次要建立一个IP库的国家名称与实际数据仓库中的国家维表中(下称dim_country)国家名称对应关系表(下称dim_country_combine)，每次IP库通过关联国家关系对应表得到dim_country中的国家名称，若关联不上，到S35进行异常处理，否则进行下一步省份&城市名称异常检测。
S34：省份&城市名称异常检测，该步骤首次要建立一个IP库的省份&城市名称与实际数据仓库中的国家维表中(下称dim_city)省份&城市名称对应关系表(下称dim_city_combine)，每次IP库通过关联省份&城市名称对应关系表得到dim_city中的省份和城市名称，若关联不上，到S35进行异常处理，否则进行下一步IP维表生成。
S35：处理检测异常模块，首先判断异常种类，不同的异常进行不同的处理。数据量检测异常，首先清空临时表，等待一段时间再下载，执行S32，若重复三遍此操作数据量检测仍然异常，就邮件通知运维人员，让其核实，若核实下载无误手动将临时表的数据导入到一个表中(下称ods_ip)进行下一步处理；国家名称检测异常：将未匹配上的国家名称邮件给运维人员，让其找出dim_country中的对应国家名称，并手动添加到dim_country_combine表中；省份&城市名称检测异常：将未匹配上的省份&城市名称邮件给运维人员，让其找出dim_city中的对应省份&城市名称，并手动添加到省份&城市名称对应关系表中。异常处理好后执行S3。
S36：IP维表生成模块，将初步入库的表ods_ip关联dim_country_combine表得到dim_country表中的国家名称，关联dim_city_combine表得到dim_city表中的省份&城市名称，从而生成国家、省份和城市统一化的ip维表。
S4：IP库数据更新检查，每天定时下载IP库，比对之前下载的数据，如若不同，表示数据有更新，重复S3。
本发明公开一种IP库质量评估及入库系统，包括：IP库评估单元、IP库选择模块、IP地址入库单元和IP库数据更新检查单元。
所述IP库评估单元，利用包含国内外且每天访问量在千万级的真实测试日志，对IP库的覆盖率和精准度进行评估。包含IP地址覆盖率评估、IP地址国家匹配情况评估、IP地址省份匹配情况评估和IP地址城市匹配情况评估四个模块。所述IP库覆盖率评估，从总体评估整个IP库与测试日志的匹配情况，主要计算未匹配上IP地址的日志数与总日志数、日志中未匹配的IP地址个数与总IP地址个数的占比情况。所述IP库国家匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算未匹配上国家的日志数与总日志数、日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况。所述IP库省份匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算未匹配上省份的日志数与总日志数、日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况。所述IP库城市匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算未匹配上城市的日志数与总日志数、日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况。
所述IP库选择单元，依据IP库质量评估的结果，选择一个合适的IP库。
所述IP地址入库单元，将IP库选择模块所选的IP进行入库处理，生成数据仓库中的IP维表。包含IP库获取、IP库检测、处理检测异常和IP维表生成四个模块。所述IP库获取模块，根据配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中。所述IP库检测模块，是对IP库的数据量、国家、省份和城市名称进行检测。所述处理检测异常模块，针对IP库检测模块检测的不同异常，进行不同的处理。所述IP维表生成模块，通过关联异常处理中维护的国家名称和省份&城市名称维表，生成国家、省份和城市统一化的ip维表。
所述IP库数据更新检查单元，每天定时下载IP库，比对之前下载的数据，如若不同，提示系统更新IP库数据。
有益效果：在现有技术基础上，提出一种IP库质量评估及入库方法与系统，考虑到IP库数据的更新，它通过IP库质量评估，IP库选择，IP库获取，IP库数据量检测，IP库中地域名称检测，处理检测异常模块等流程为实际的IP地址数据库数据分析提供一个可靠的IP维表。
附图说明
图1是本发明实施例中的IP库质量评估及入库方法的流程示意图。
图2是本发明实施例中的IP库质量评估及入库系统的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方案作进一步详细描述，很显然，所描述的实施例仅为本发明的一部分实施例，而不是全部实施例。基于本申请的实施例，以及本发明权利要求的技术实质所做的改变或等同变化，仍落入本申请保护的范围。
参阅图1所示，本发明实施例的数据处理流程，具体步骤为：
步骤S1：IP库质量评估，主要评估方法是将包含国内外且每天访问量在千万级的真实测试日志中的IP地址与待评估的IP库中的IP地址进行关联匹配，得到新的日志信息中包含IP库中的国家、省份和城市日志信息，具体如下表所示，匹配结果有未匹配上的如IP5；匹配上了，但是IP库里只存在该IP地址是哪个洲的没有明显定位入IP4，匹配上但只定位到国家如IP3；匹配上但只定位到省份如IP2；匹配到国家、省份和城市如IP1。然后根据匹配结果从IP覆盖率、IP国家、省份和城市匹配情况四个方面对IP库进行评估。
步骤S11：IP库覆盖率评估，从总体评估整个IP库与测试日志的匹配情况，主要计算日志中未匹配的IP地址个数与总IP地址个数的占比情况(下称ntotal)。
步骤S12：IP库国家匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况(下称ncountry)。
步骤S13：IP库省份匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况(下称nprovince)。
步骤S14：IP库城市匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况(下称ncity)。
步骤S2：IP库选择，依据IP库质量评估的结果，结合实际应用，选择一个合适的IP库。具体选择方案是：首先选择覆盖率高的即ntotal值相对小的IP库，在ntotal值相当的情况下，结合实际业务需要，若主要分析维度是国家，那么选择ncountry较小的IP库，若主要分析维度是省份，那么选择nprovince较小的IP库，若主要分析维度是城市，那么选择ncity较小的IP库。本实例中，是选择ntotal值相对小的IP库，在ntotal值相当的情况下选择ncountry较小的IP库。
步骤S3：IP库入库，将选择的IP库进行处理导入到本公司的数据仓库中，最终生成数据仓库中的IP维表下称dim_ip。IP库入库包含IP库获取、IP库数据量检测、国家名称异常检测、省份和城市名称异常检测、处理检测异常和IP维表生成六个步骤。
步骤S31：IP库获取，配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中。
步骤S32：IP库数据量检测，将下载后的IP文本，进行初步入库，存入临时表下称tmp_ods_ip中，将tmp_ods_ip的数据量与当前数据仓库中dim_ip表的数据量进行对比，计算绝对差值n，若n>2000，到步骤S35，否则进行下一步国家名称异常检测。注：该步骤主要针对数据更新中存在的数据下载不完整情况，不针对首次入库。
步骤S33：国家名称异常检测，在执行该步骤之前，若该IP库是首次入库需要建立IP库的国家名称与实际数据仓库中的国家维表dim_country中国家名称对应关系表dim_country_combine，其具体如下表所示。每次IP库通过关联国家关系对应表得到dim_country中的国家名称，若关联不上，表示IP库中出现新的国家，到步骤S35，否则进行下一步省份&城市名称异常检测。
IP库中国家名称 dim_country表中的国家名称
USA United States
China China
Britain United Kingdom
步骤S34：省份&城市名称异常检测，在执行该步骤之前，若该IP库是首次入库需要建立IP库的省份&城市名称与实际数据仓库中的国家维表dim_city中省份&城市名称对应关系表dim_city_combine，其具体如下表所示，每次IP库通过关联省份&城市名称对应关系表得到dim_city中的省份和城市名称，若关联不上，表示IP库中出现新的省份或城市，到步骤S35，否则进行下一步S36进行IP维表生成。
步骤S35：处理检测异常模块，首先判断异常种类，不同的异常进行不同的处理。数据量检测异常，首先清空临时表tmp_ods_ip，等待一段时间再下载，执行S32，若重复三遍此操作数据量检测仍然异常，就邮件通知运维人员，让其人工核实，若核实下载无误手动将临时表tmp_ods_ip的数据导入到一个表ods_ip中进行下一步处理；国家名称检测异常：将未匹配上的国家名称邮件给运维人员，让其人工找出dim_country中的对应国家名称，并手动添加到dim_country_combine表中；省份&城市名称检测异常：将未匹配上的省份&城市名称邮件给运维人员，让其人工找出dim_city中的对应省份&城市名称，并手动添加到省份&城市名称对应关系表中。异常处理好后执行步骤S3。
步骤S36：IP维表生成模块，将初步入库的表ods_ip关联dim_country_combine表得到dim_country表中的国家名称，关联dim_city_combine表得到dim_city表中的省份&城市名称，从而生成国家、省份和城市统一化的ip维表dim_ip。
步骤S4：IP库数据更新检查，每天定时下载IP库，比对之前下载的数据，如若不同，表示数据有更新，重复步骤S3。
参阅图2所示，本发明实施例的系统结构，包括：IP库评估单元M1、IP库选择单元M2、IP地址入库单元M3和IP库数据更新检查单元M4。
IP库评估单元M1，利用包含国内外且每天访问量在千万级的真实测试日志，对IP库的覆盖率和精准度进行评估。包含IP覆盖率评估模块M11、IP国家匹配情况评估模块M12、IP省份匹配情况评估模块M13和IP城市匹配情况评估模块M14。
IP库覆盖率评估模块M11，从总体评估整个IP库与测试日志的匹配情况，主要计算未匹配上IP的日志数与总日志数、日志中未匹配的IP地址个数与总IP地址个数的占比情况。
IP库国家匹配情况评估模块M12，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况。
IP库省份匹配情况评估模块M13，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况。
IP库城市匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况。
IP库选择单元M2，依据IP库质量评估的结果，选择一个合适的IP库。
IP地址入库单元M3，将IP库选择模块所选的IP进行入库处理，生成数据仓库中的IP维表。包含IP库获取模块M31、IP库检测模块M32、处理检测异常模块M33和IP维表生成模块M34。
IP库获取模块M31，根据配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中。
IP库检测模块M32，是对IP库的数据量、国家、省份和城市名称进行检测。所述处理检测异常模块，针对IP库检测模块检测的不同异常，进行不同的处理。
IP维表生成模块M33，通过关联异常处理中维护的国家名称和省份&城市名称维表，生成国家、省份和城市统一化的ip维表。
IP库数据更新检查单元M4，每天定时下载IP库，比对之前下载的数据，如若不同，提示系统更新IP库数据。

Claims (2)

1.一种IP库质量评估及入库方法，其特征是，包括如下步骤：
S1：IP库质量评估，将包含国内外且每天访问量在千万级的真实测试日志中的IP地址与待评估的IP库中的IP地址进行关联匹配，得到新的日志信息中包含IP库中的国家、省份和城市日志信息，然后从IP地址覆盖率、IP地址国家、省份和城市匹配情况对匹配出的新日志进行评估；
S11：IP库覆盖率评估，从总体评估整个IP库与测试日志的匹配情况，主要计算日志中未匹配的IP地址个数与总IP地址个数的占比情况，以下称ntotal；
S12：IP库国家匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况，以下称ncountry；
S13：IP库省份匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况，以下称nprovince；
S14：IP库城市匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况，以下称ncity；
S2：IP库选择，依据IP库质量评估的结果，结合实际应用，选择一个合适的IP库；首先选择覆盖率高的即ntotal值相对小的IP库，在ntotal值相当的情况下，结合实际业务需要，若主要分析维度是国家，那么选择ncountry较小的IP库，若主要分析维度是省份，那么选择nprovince较小的IP库，若主要分析维度是城市，那么选择ncity较小的IP库；在选择ntotal值相对小的IP库时，在ntotal值相当的情况下选择ncountry较小的IP库；
S3：IP库入库，将选择的IP库进行处理导入到本公司的数据仓库中处理，最终生成数据仓库中的IP维表；IP库入库包含IP库获取、IP库数据量检测、国家名称异常检测、省份和城市名称异常检测、处理检测异常和IP维表生成六个步骤；
S31：IP库获取，配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中；
S32：IP库数据量检测，将下载后的IP地址文本，进行初步入库，存入临时表中，将临时表的数据量与当前数据仓库中IP地址维表的数据量进行对比，若数据量差值很大，转到S35进行异常处理，否则进行下一步S33国家名称异常检测；S32步骤针对数据更新中存在的数据下载不完整情况，不针对首次入库；
S33：国家名称异常检测，该步骤首次要建立一个IP库的国家名称与实际数据仓库中的国家维表、下称dim_country中国家名称对应关系表称dim_country_combine，每次IP库通过关联国家关系对应表得到dim_country中的国家名称，若关联不上，到S35进行异常处理，否则进行下一步省份&城市名称异常检测；
S34：省份&城市名称异常检测，该步骤首次要建立一个IP库的省份&城市名称与实际数据仓库中的国家维表、下称dim_city中省份&城市名称对应关系表、下称dim_city_combine，每次IP库通过关联省份&城市名称对应关系表得到dim_city中的省份和城市名称，若关联不上，到S35进行异常处理，否则进行下一步IP维表生成；
S35：处理检测异常模块，首先判断异常种类，不同的异常进行不同的处理；数据量检测异常，首先清空临时表，等待一段时间再下载，执行S32，若重复三遍此操作数据量检测仍然异常，就邮件通知运维人员，让其核实，若核实下载无误手动将临时表的数据导入到一个表、下称ods_ip中进行下一步处理；国家名称检测异常：将未匹配上的国家名称邮件给运维人员，让其找出dim_country中的对应国家名称，并手动添加到dim_country_combine表中；省份&城市名称检测异常：将未匹配上的省份&城市名称邮件给运维人员，让其找出dim_city中的对应省份&城市名称，并手动添加到省份&城市名称对应关系表中；异常处理好后执行S3；
S36：IP维表生成模块，将初步入库的表ods_ip关联dim_country_combine表得到dim_country表中的国家名称，关联dim_city_combine表得到dim_city表中的省份&城市名称，从而生成国家、省份和城市统一化的ip维表；
S4：IP库数据更新检查，每天定时下载IP库，比对之前下载的数据，如若不同，表示数据有更新，重复S3。
2.一种IP库质量评估及入库系统，其特征是包括：IP库评估单元、IP库选择模块、IP地址入库单元和IP库数据更新检查单元；
所述IP库评估单元，利用包含国内外且每天访问量在千万级的真实测试日志，对IP库的覆盖率和精准度进行评估；包含IP地址覆盖率评估、IP地址国家匹配情况评估、IP地址省份匹配情况评估和IP地址城市匹配情况评估四个模块；所述IP库覆盖率评估，从总体评估整个IP库与测试日志的匹配情况，主要计算未匹配上IP地址的日志数与总日志数、日志中未匹配的IP地址个数与总IP地址个数的占比情况；所述IP库国家匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算未匹配上国家的日志数与总日志数、日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况；所述IP库省份匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算未匹配上省份的日志数与总日志数、日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况；所述IP库城市匹配情况评估模块，主要评估对象是匹配上IP库的新日志，计算未匹配上城市的日志数与总日志数、日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况；
所述IP库选择单元，依据IP库质量评估的结果，选择一个合适的IP库；
所述IP地址入库单元，将IP库选择模块所选的IP进行入库处理，生成数据仓库中的IP维表；包含IP库获取、IP库检测、处理检测异常和IP维表生成四个模块；所述IP库获取模块，根据配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中；所述IP库检测模块，是对IP库的数据量、国家、省份和城市名称进行检测；所述处理检测异常模块，针对IP库检测模块检测的不同异常，进行不同的处理；所述IP维表生成模块，通过关联异常处理中维护的国家名称和省份&城市名称维表，生成国家、省份和城市统一化的ip维表；
所述IP库数据更新检查单元，每天定时下载IP库，比对之前下载的数据，如若不同，提示系统更新IP库数据。
CN201610146729.9A 2016-03-15 2016-03-15 一种ip库质量评估及入库方法和系统 Active CN105824906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610146729.9A CN105824906B (zh) 2016-03-15 2016-03-15 一种ip库质量评估及入库方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610146729.9A CN105824906B (zh) 2016-03-15 2016-03-15 一种ip库质量评估及入库方法和系统

Publications (2)

Publication Number Publication Date
CN105824906A CN105824906A (zh) 2016-08-03
CN105824906B true CN105824906B (zh) 2019-02-05

Family

ID=56987190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610146729.9A Active CN105824906B (zh) 2016-03-15 2016-03-15 一种ip库质量评估及入库方法和系统

Country Status (1)

Country Link
CN (1) CN105824906B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050251B2 (en) * 2009-04-10 2011-11-01 Barracuda Networks, Inc. VPN optimization by defragmentation and deduplication apparatus and method
CN103281293A (zh) * 2013-03-22 2013-09-04 南京江宁台湾农民创业园发展有限公司 一种基于多维分层相对熵的网络流量异常检测方法
CN103888304A (zh) * 2012-12-19 2014-06-25 华为技术有限公司 一种多节点应用的异常检测方法及相关装置
CN104579823A (zh) * 2014-12-12 2015-04-29 国家电网公司 一种基于大数据流的网络流量异常检测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050251B2 (en) * 2009-04-10 2011-11-01 Barracuda Networks, Inc. VPN optimization by defragmentation and deduplication apparatus and method
CN103888304A (zh) * 2012-12-19 2014-06-25 华为技术有限公司 一种多节点应用的异常检测方法及相关装置
CN103281293A (zh) * 2013-03-22 2013-09-04 南京江宁台湾农民创业园发展有限公司 一种基于多维分层相对熵的网络流量异常检测方法
CN104579823A (zh) * 2014-12-12 2015-04-29 国家电网公司 一种基于大数据流的网络流量异常检测系统及方法

Also Published As

Publication number Publication date
CN105824906A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN107545361B (zh) 室间比对系统及方法
Schulze et al. Selection effects in the black hole-bulge relation and its evolution
CN107908548A (zh) 一种生成测试用例的方法和装置
CN103261883B (zh) 自动控制用于定量样本分析的分离和检测过程的多个设备的控制系统
CN114519498B (zh) 一种基于bim模型的质量验评方法和系统
CN109408381A (zh) 一种基于数据校验模板的产品数据自动校验平台及方法
CN108509344B (zh) 日切跑批测试方法、设备及可读存储介质
CN103488562B (zh) 自动化测试方法和装置
CN105824906B (zh) 一种ip库质量评估及入库方法和系统
CN107870858A (zh) 版本对比测试方法及系统
CN104898040B (zh) 印刷电路板的自动化测试方法及系统
Hladik et al. Evaluating the reliability of environmental concentration data to characterize exposure in environmental risk assessments
CN110008072A (zh) 一种测试硬盘性能并自动统计结果的方法及装置
Witte The descriptive capacity of ecological plant species groups
US20080215638A1 (en) Operational qualification by independent reanalysis of data reduction patch
CN107992417B (zh) 基于存储过程的测试方法、装置及设备、可读存储介质
Alqodri et al. Helpdesk ticket support system based on fuzzy Tahani algorithm
Cao Bias in estimates of the classic and incidence-based Jaccard similarity indices: insights from assemblage simulation
Cordeiro et al. IMEP-26: Determination of brominated flame retardants in plastic
JP2017187460A (ja) 検査情報データの提供方法および判定基準値の適否判定方法
Centrich et al. Practical Quality Control: the Experiences of a Public Health Laboratory
CN108235324A (zh) 一种短信模板的测试方法及服务器
Granke Methods for database quality assessment
US7584083B1 (en) Modeling and simulation of workcenter processes
Nijssen-Wester Results of Proficiency Test Toluene February 2019

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant