CN107197058B - 一种高覆盖度且准确的域名ip对应关系获取方法及装置 - Google Patents
一种高覆盖度且准确的域名ip对应关系获取方法及装置 Download PDFInfo
- Publication number
- CN107197058B CN107197058B CN201710599183.7A CN201710599183A CN107197058B CN 107197058 B CN107197058 B CN 107197058B CN 201710599183 A CN201710599183 A CN 201710599183A CN 107197058 B CN107197058 B CN 107197058B
- Authority
- CN
- China
- Prior art keywords
- domain name
- corresponding relationship
- obtains
- domains
- always
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种高覆盖度且准确的域名IP对应关系获取方法及装置，属于数据处理领域。所述方法包括：从各数据源中获取第一域名集合，通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；融合第一域名集合、第二域名集合和第三域名集合得到域名总集，获取域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；融合第一域名IP对应关系集合、第二域名IP对应关系集合和第三域名IP对应关系集合得到域名IP对应关系总集；对域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。本发明中，获取到的域名IP对应关系准确且全面。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种高覆盖度且准确的域名IP对应关系获取方法及装置。
背景技术
目前，通过统合多个数据源以及使用多种降噪技术，能够获得全面准确的域名和IP。在获得全面且准确的域名和IP后，研究各域名的接入IP，即域名和IP的对应关系将成为下一步的关注点。目前，获取域名和IP的对应关系的方式主要有两种，其一是使用DNS(Domain Name System，域名系统)探针获取域名和IP的对应关系，即在机房内部署DNS探针服务器，通过数据流量获取镜像数据，采集UDP(User Datagram Protocol，用户数据报协议)协议的响应包，并从数据中提取DNS六元组(CNname，源IP、目的IP、解析IP、域名，访问时间)信息，解析六元组信息获得域名IP对应关系。但是由于DNS数据量极大，导致采集的数据存在一个域名对应大量IP，一个IP对应大量域名的情况；因此该方式中，数据源的准确性得不到保障，需要经过处理才能使用。由此，DNS探针采集的域名IP对应关系存在着准确性问题。其二，使用EU (Execution Unit，执行单元)设备获取域名和IP的对应关系，即在运营商企业处部署EU采集设备，EU设备将采集通过该运营商的全部http get请求和https get请求，将请求的域名和IP的对应关系以及域名的存活状态记录；通过这部分数据可以获取域名和IP的对应关系，并对域名的存活状态进行划分；然而， EU设备采集到的数据仅为拨测过的域名和IP数据，导致其全面性得不到保障，需要其他数据源进行补充。由此，EU设备采集的域名IP对应关系存在着全面性问题。可见，现有的域名和IP对应关系的获取方式均存在弊端，不能获取到全面的、准确的域名和IP的对应关系。因此，希望有一种能够获取最准确且最全面的域名IP对应关系的方法，从而能够有效的进行行业监管。
发明内容
为克服现有技术的缺陷，本发明提供一种高效的域名IP对应关系获取方法及装置。
一方面，本发明提供一种高覆盖度且准确的域名IP对应关系获取方法，包括：
步骤S1：从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；
步骤S2：对所述第一域名集合、所述第二域名集合和所述第三域名集合进行域名融合，得到域名总集，并获取所述域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；
步骤S3：对所述第一域名IP对应关系集合、所述第二域名IP对应关系集合和所述第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；
步骤S4：对所述域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。
可选地，所述步骤S1，具体包括：
从备案数据、上报数据中获取第一域名集合；
通过域名系统探针设备获取镜像数据，在所述镜像数据中提取六元组信息，对所述六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取所述六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；
通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，对所述活跃数据中含有的各域名进行降噪去重处理得到第三域名集合，并提取所述活跃数据中含有的各域名IP对应关系得到第二域名IP对应关系集合。
可选地，所述步骤S1中，获取所述第一域名集合、所述第二域名集合和所述第三域名集合过程中，还包括：对各域名进行降噪去重处理；
可选地，所述步骤S2中，所述对所述第一域名集合、所述第二域名集合和所述第三域名集合进行域名融合，得到域名总集的过程中，还包括：对各域名进行降噪去重处理；
可选地，所述步骤S3中，所述对所述第一域名IP对应关系集合、所述第二域名IP对应关系集合和所述第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集的过程中，还包括：对各域名IP对应关系进行降噪去重处理。
可选地，所述步骤S2中，所述获取所述域名总集中各域名的IP对应关系得到第三域名IP对应关系集合，具体为：使用第一指令拨测所述域名总集中各域名对应的IP得到第三域名IP对应关系集合。
可选地，所述步骤S4，具体包括：
步骤a1：依次使用第二指令对所述域名IP对应关系总集中各域名IP对应关系进行拨测，判断是否存在未存活的域名IP对应关系，是则执行步骤a2；否则，将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；
步骤a2：使用第三指令对未存活的域名IP对应关系进行拨测，判断是否存活，是则将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；否则将其移除，并将保留的各域名IP对应关系作为存活域名IP对应关系总集并保存。
另一方面，本发明提供一种高覆盖度且准确的域名IP对应关系获取装置，包括：
第一获取模块，用于从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；
第一融合模块，用于对所述第一获取模块获取的第一域名集合、第二域名集合和第三域名集合进行域名融合，得到域名总集；
第二获取模块，用于获取所述第一融合模块得到的域名总集中各域名的IP 对应关系得到第三域名IP对应关系集合；
第二融合模块，用于对所述第一获取模块获取的第一域名IP对应关系集合、第二域名IP对应关系集合和所述第二获取模块获取的第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；
存活判断模块，用于对所述第二融合模块得到的域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。
可选地，所述第一获取模块，具体用于：
从备案数据、上报数据中获取第一域名集合；
通过域名系统探针设备获取镜像数据，在所述镜像数据中提取六元组信息，对所述六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取所述六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；
通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，对所述活跃数据中含有的各域名进行降噪去重处理得到第三域名集合，并提取所述活跃数据中含有的各域名IP对应关系得到第二域名IP对应关系集合。
可选地，所述第一获取模块，包括：第一降噪单元，用于对各域名进行降噪去重处理；
可选地，所述第一融合模块，包括：第二降噪单元，用于对各域名进行降噪去重处理；
可选地，所述第二融合模块，包括：第三降噪单元，用于对各域名IP对应关系进行降噪去重处理。
可选地，所述第二获取模块，具体用于：使用第一指令拨测所述域名总集中各域名对应的IP得到第三域名IP对应关系集合。
可选地，所述存活判断模块，包括：第一判断单元、第二判断单元、保存单元、移除单元；
所述第一判断单元，用于依次使用第二指令对所述域名IP对应关系总集中各域名IP对应关系进行拨测，判断是否存在未存活的域名IP对应关系；
所述保存单元，用于当所述第一判断单元判断出不存在未存活的域名IP对应关系时，将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；
所述第二判断单元，用于当所述第一判断单元判断出存在未存活的域名IP 对应关系时，使用第三指令对未存活的域名IP对应关系进行拨测，判断是否存活；
所述移除单元，用于当所述第二判断单元判断出未存活时，将未存活的域名IP对应关系移除；
所述保存单元，还用于当第二判断单元判断出存活时，将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；还用于在所述移除单元将未存活的域名IP对应关系移除之后，将保留的各域名IP对应关系作为存活域名IP 对应关系总集并保存。
本发明的优点在于：
本发明中，通过采集多方的域名及域名IP对应关系，并对域名及域名IP 关系进行融合，保证了域名IP对应关系的全面性；同时对获取到的所有域名IP 对应关系进行存活判断，保证了保留下来的域名IP对应关系的准确性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为本发明提供的一种高覆盖度且准确的域名IP对应关系获取方法框架图；
附图2为本发明实施例一提供的一种高覆盖度且准确的域名IP对应关系获取方法流程图；
附图3为本发明实施例二提供的一种高覆盖度且准确的域名IP对应关系获取装置框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在现有技术的基础上，本发明作出改进，如图1所示的框架图，本发明中使用DNS探针设备和EU采集设备分别采集域名并降噪去重，同时提取域名IP 对应关系，以及采集其他数据源(备案数据、上报数据等)中的域名并降噪去重，对上述降噪去重后的域名进行融合并再次降噪去重后，进行拨测得到域名 IP对应关系，将得到的域名IP对应关系与DNS探针设备和EU采集设备提取的域名IP对应关系融合并降噪去重处理得到全面的域名IP对应关系，随后使用http get和https get进行存活判断，剔除不存活的域名IP对应关系，最终得到准确且全面的域名IP对应关系。
本发明中的域名IP对应关系，具体为域名和该域名的接入IP的对应关系。
实施例一
根据本发明的实施方式，提供一种高覆盖度且准确的域名IP对应关系获取方法，如图2所示，包括：
步骤101：从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；
步骤102：对第一域名集合、第二域名集合和第三域名集合进行域名融合，得到域名总集，并获取域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；
步骤103：对第一域名IP对应关系集合、第二域名IP对应关系集合和第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；
步骤104：对域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。
根据本发明的实施方式，步骤101，具体包括：
从备案数据、上报数据中获取第一域名集合；
通过域名系统探针设备获取镜像数据，在镜像数据中提取六元组信息，对六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；
通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，对活跃数据中含有的各域名进行降噪去重处理得到第三域名集合，并提取活跃数据中含有的各域名IP对应关系得到第二域名IP对应关系集合。
其中，在镜像数据中提取六元组信息，具体为：在镜像数据中采集UDP(英文全称：User Datagram Protocol；中文全称：用户数据报协议)协议的响应包，从响应包中提取DNS(英文全称：Domain Name System；中文全称：域名系统) 六元组集合(CNname、源IP、目的IP、解析IP、域名、访问时间)；
其中，通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，具体为：在运营商企业部署采集设备，采集设备采集通过该运营商的全部 http get请求，将请求的域名及域名IP对应关系记录得到活跃数据。
优选地，在本实施例中，第一域名IP对应关系集合具体为第一域名IP对应关系表，第二域名IP对应关系集合具体为第二域名IP对应关系表；域名系统探针设备具体为DNS探针设备；采集设备具体为EU采集设备。
根据本发明的实施方式，步骤101中，获取第一域名集合、第二域名集合和第三域名集合的过程中，还包括：对各域名进行降噪去重处理；
根据本发明的实施方式，步骤102中，对第一域名集合、第二域名集合和第三域名集合进行域名融合，得到域名总集的过程中，还包括：对各域名进行降噪去重处理；
根据本发明的实施方式，步骤103中，对第一域名IP对应关系集合、第二域名IP对应关系集合和第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集的过程中，还包括：对各域名IP对应关系进行降噪去重处理。
其中，域名IP对应关系总集，优选为域名IP对应关系总表。
根据本发明的实施方式，步骤102中，获取域名总集中各域名的IP对应关系得到第三域名IP对应关系集合，具体为：使用第一指令拨测域名总集中各域名对应的IP得到第三域名IP对应关系集合。
优选地，第一指令为nslookup指令；第三域名IP对应关系集合具体为第三域名IP对应关系表。
在本实施例中，通过拨测操作则能够弥补当前时间域名系统探针设备和采集设备未获取到的域名IP对应关系，从而可以保证后续融合后的域名IP对应关系的全面性。
根据本发明的实施方式，步骤104，具体包括：
步骤a1：依次使用第二指令对域名IP对应关系总集中各域名IP对应关系进行拨测，判断是否存在未存活的域名IP对应关系，是则执行步骤a2；否则，将域名IP对应关系总集作为存活域名IP对应关系总集并保存；
步骤a2：使用第三指令对未存活的域名IP对应关系进行拨测，判断是否存活，是则将域名IP对应关系总集作为存活域名IP对应关系总集并保存；否则将其移除，并将保留的各域名IP对应关系作为存活域名IP对应关系总集并保存。
更加具体地，步骤104，包括：
步骤b1：读取域名IP对应关系总表中的第一个域名IP对应关系，并将其作为当前域名IP对应关系；
步骤b2：使用第二指令对当前域名IP对应关系进行拨测，判断是否存活，是则执行步骤b4；否则执行步骤b3；
步骤b3：使用第三指令对当前域名IP对应关系进行拨测，判断是否存活，是则将其属性改为存活，执行步骤b4；否则将当前域名IP对应关系移除，执行步骤b4；
步骤b4：判断当前域名IP对应关系是否为域名IP对应关系总表中的最后一个，是则将当前保留的属性为存活的域名IP对应关系作为存活域名IP对应关系总集并保存；否则读取当前域名IP对应关系的下一个域名IP对应关系并作为当前域名IP对应关系，返回步骤b2。
优选地，在本实施例中，第二指令为http get请求，拨80端口，当接收到的返回值为200时，判定存活，否则判定未存活；第三指令为https get请求，拨443端口，当接收到的返回值为200时，判定存活，否则判定未存活。
进一步地，在本实施例中，将存活域名IP对应关系总集保存，具体为将存活域名IP对应关系总表入库，存活域名IP对应关系总表即为全面的准确的域名IP对应关系数据表。
实施例二
根据本发明的实施方式，提供一种高覆盖度且准确的域名IP对应关系获取装置，如图3所示，包括：
第一获取模块201，用于从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；
第一融合模块202，用于对第一获取模块201获取的第一域名集合、第二域名集合和第三域名集合进行域名融合，得到域名总集；
第二获取模块203，用于获取第一融合模块202得到的域名总集中各域名的 IP对应关系得到第三域名IP对应关系集合；
第二融合模块204，用于对第一获取模块201获取的第一域名IP对应关系集合、第二域名IP对应关系集合和第二获取模块203获取的第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；
存活判断模块205，用于对第二融合模块204得到的域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。
根据本发明的实施方式，第一获取模块201，具体用于：
从备案数据、上报数据中获取第一域名集合；
通过域名系统探针设备获取镜像数据，在镜像数据中提取六元组信息，对六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；
通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，对活跃数据中含有的各域名进行降噪去重处理得到第三域名集合，并提取活跃数据中含有的各域名IP对应关系得到第二域名IP对应关系集合。
根据本发明的实施方式，第一获取模块201，包括：第一降噪单元，用于对各域名进行降噪去重处理；
根据本发明的实施方式，第一融合模块202，包括：第二降噪单元，用于对各域名进行降噪去重处理；
根据本发明的实施方式，第二融合模块204，包括：第三降噪单元，用于对各域名IP对应关系进行降噪去重处理。
根据本发明的实施方式，第二获取模块203，具体用于：使用第一指令拨测域名总集中各域名对应的IP得到第三域名IP对应关系集合。
根据本发明的实施方式，存活判断模块，包括：第一判断单元、第二判断单元、保存单元、移除单元；
其中，第一判断单元，用于依次使用第二指令对域名IP对应关系总集中各域名IP对应关系进行拨测，判断是否存在未存活的域名IP对应关系；
保存单元，用于当第一判断单元判断出不存在未存活的域名IP对应关系时，将域名IP对应关系总集作为存活域名IP对应关系总集并保存；
第二判断单元，用于当第一判断单元判断出存在未存活的域名IP对应关系时，使用第三指令对未存活的域名IP对应关系进行拨测，判断是否存活；
移除单元，用于当第二判断单元判断出未存活时，将未存活的域名IP对应关系移除；
保存单元，还用于当第二判断单元判断出存活时，将域名IP对应关系总集作为存活域名IP对应关系总集并保存；还用于在移除单元将未存活的域名IP 对应关系移除之后，将保留的各域名IP对应关系作为存活域名IP对应关系总集并保存。
本发明中，通过采集多方的域名及域名IP对应关系，并对域名及域名IP 关系进行融合，保证了域名IP对应关系的全面性；同时对获取到的所有域名IP 对应关系进行存活判断，保证了保留下来的域名IP对应关系的准确性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种高覆盖度且准确的域名IP对应关系获取方法，其特征在于，包括：
步骤S1：从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；
步骤S2：对所述第一域名集合、所述第二域名集合和所述第三域名集合进行域名融合，得到域名总集，并获取所述域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；
步骤S3：对所述第一域名IP对应关系集合、所述第二域名IP对应关系集合和所述第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；
步骤S4：对所述域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存，
所述步骤S1，具体包括：
从备案数据、上报数据中获取第一域名集合；
通过域名系统探针设备获取镜像数据，在所述镜像数据中提取六元组信息，对所述六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取所述六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；
通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，对所述活跃数据中含有的各域名进行降噪去重处理得到第三域名集合，并提取所述活跃数据中含有的各域名IP对应关系得到第二域名IP对应关系集合。
2.根据权利要求1所述的方法，其特征在于，
所述步骤S1中，获取所述第一域名集合、所述第二域名集合和所述第三域名集合的过程中，还包括：对各域名进行降噪去重处理；
所述步骤S2中，所述对所述第一域名集合、所述第二域名集合和所述第三域名集合进行域名融合，得到域名总集的过程中，还包括：对各域名进行降噪去重处理；
所述步骤S3中，所述对所述第一域名IP对应关系集合、所述第二域名IP对应关系集合和所述第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集的过程中，还包括：对各域名IP对应关系进行降噪去重处理。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2中，所述获取所述域名总集中各域名的IP对应关系得到第三域名IP对应关系集合，具体为：使用第一指令拨测所述域名总集中各域名对应的IP得到第三域名IP对应关系集合。
4.根据权利要求1所述的方法，其特征在于，所述步骤S4，具体包括：
步骤a1：依次使用第二指令对所述域名IP对应关系总集中各域名IP对应关系进行拨测，判断是否存在未存活的域名IP对应关系，是则执行步骤a2；否则，将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；
步骤a2：使用第三指令对未存活的域名IP对应关系进行拨测，判断是否存活，是则将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；否则将其移除，并将保留的各域名IP对应关系作为存活域名IP对应关系总集并保存。
5.一种高覆盖度且准确的域名IP对应关系获取装置，其特征在于，包括：
第一获取模块，用于从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；
第一融合模块，用于对所述第一获取模块获取的第一域名集合、第二域名集合和第三域名集合进行域名融合，得到域名总集；
第二获取模块，用于获取所述第一融合模块得到的域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；
第二融合模块，用于对所述第一获取模块获取的第一域名IP对应关系集合、第二域名IP对应关系集合和所述第二获取模块获取的第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；
存活判断模块，用于对所述第二融合模块得到的域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存，
所述第一获取模块，具体用于：
从备案数据、上报数据中获取第一域名集合；
通过域名系统探针设备获取镜像数据，在所述镜像数据中提取六元组信息，对所述六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取所述六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；
通过采集设备记录各预设请求的域名及域名IP对应关系得到活跃数据，对所述活跃数据中含有的各域名进行降噪去重处理得到第三域名集合，并提取所述活跃数据中含有的各域名IP对应关系得到第二域名IP对应关系集合。
6.根据权利要求5所述的装置，其特征在于，
所述第一获取模块，包括：第一降噪单元，用于对各域名进行降噪去重处理；
所述第一融合模块，包括：第二降噪单元，用于对各域名进行降噪去重处理；
所述第二融合模块，包括：第三降噪单元，用于对各域名IP对应关系进行降噪去重处理。
7.根据权利要求5所述的装置，其特征在于，所述第二获取模块，具体用于：使用第一指令拨测所述域名总集中各域名对应的IP得到第三域名IP对应关系集合。
8.根据权利要求5所述的装置，其特征在于，所述存活判断模块，包括：第一判断单元、第二判断单元、保存单元、移除单元；
所述第一判断单元，用于依次使用第二指令对所述域名IP对应关系总集中各域名IP对应关系进行拨测，判断是否存在未存活的域名IP对应关系；
所述保存单元，用于当所述第一判断单元判断出不存在未存活的域名IP对应关系时，将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；
所述第二判断单元，用于当所述第一判断单元判断出存在未存活的域名IP对应关系时，使用第三指令对未存活的域名IP对应关系进行拨测，判断是否存活；
所述移除单元，用于当所述第二判断单元判断出未存活时，将未存活的域名IP对应关系移除；
所述保存单元，还用于当第二判断单元判断出存活时，将所述域名IP对应关系总集作为存活域名IP对应关系总集并保存；还用于在所述移除单元将未存活的域名IP对应关系移除之后，将保留的各域名IP对应关系作为存活域名IP对应关系总集并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710599183.7A CN107197058B (zh) | 2017-07-21 | 2017-07-21 | 一种高覆盖度且准确的域名ip对应关系获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710599183.7A CN107197058B (zh) | 2017-07-21 | 2017-07-21 | 一种高覆盖度且准确的域名ip对应关系获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107197058A CN107197058A (zh) | 2017-09-22 |
| CN107197058B true CN107197058B (zh) | 2019-09-17 |
Family
ID=59883952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710599183.7A Active CN107197058B (zh) | 2017-07-21 | 2017-07-21 | 一种高覆盖度且准确的域名ip对应关系获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107197058B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923189B (zh) * | 2020-07-07 | 2023-11-07 | 中国联合网络通信集团有限公司 | 基于数据流的ip地址备案信息核查方法及设备 |
| CN116436836B (zh) * | 2023-06-13 | 2023-09-01 | 阿里巴巴（中国）有限公司 | 域名数据同步检测方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882991A (zh) * | 2012-09-29 | 2013-01-16 | 北京奇虎科技有限公司 | 一种浏览器及其进行域名解析的方法 |
| CN103957201A (zh) * | 2014-04-18 | 2014-07-30 | 上海聚流软件科技有限公司 | 基于dns的域名信息处理方法、装置及系统 |
| CN105407186A (zh) * | 2015-12-23 | 2016-03-16 | 北京奇虎科技有限公司 | 获取子域名的方法和装置 |
| CN106603742A (zh) * | 2016-12-14 | 2017-04-26 | 北京邮电大学 | 一种ip地址与域名对应关系的更新方法及装置 |
-
2017
- 2017-07-21 CN CN201710599183.7A patent/CN107197058B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882991A (zh) * | 2012-09-29 | 2013-01-16 | 北京奇虎科技有限公司 | 一种浏览器及其进行域名解析的方法 |
| CN103957201A (zh) * | 2014-04-18 | 2014-07-30 | 上海聚流软件科技有限公司 | 基于dns的域名信息处理方法、装置及系统 |
| CN105407186A (zh) * | 2015-12-23 | 2016-03-16 | 北京奇虎科技有限公司 | 获取子域名的方法和装置 |
| CN106603742A (zh) * | 2016-12-14 | 2017-04-26 | 北京邮电大学 | 一种ip地址与域名对应关系的更新方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107197058A (zh) | 2017-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104506484B (zh) | 一种私有协议分析与识别方法 | |
| CN107197058B (zh) | 一种高覆盖度且准确的域名ip对应关系获取方法及装置 | |
| CN104778121B (zh) | 游戏程序的测试方法、装置及系统 | |
| CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
| CN105389549A (zh) | 基于人体动作特征的对象识别方法及装置 | |
| CN106844204A (zh) | 一种利用移动终端生成缺陷报告的方法及系统 | |
| CN110493085A (zh) | IPv6活跃用户数的统计方法、系统、电子设备及介质 | |
| CN106209920A (zh) | 一种dns服务器的安全防护方法以及装置 | |
| CN109271793A (zh) | 物联网云平台设备类别识别方法及系统 | |
| CN106254145A (zh) | 网络请求跟踪处理方法和装置 | |
| CN108874470A (zh) | 一种信息处理方法及服务器、计算机存储介质 | |
| CN103685354A (zh) | 一种基于rmi协议的测试方法和装置 | |
| CN108241580A (zh) | 客户端程序的测试方法及终端 | |
| CN107918917A (zh) | 社交分析方法及装置、存储介质、电子设备 | |
| CN110266679A (zh) | 容器网络隔离方法及装置 | |
| CN105824757B (zh) | 基于机器人操作系统的测试方法及系统 | |
| CN109660936A (zh) | 一种人脸与移动设备标识号映射方法、系统及可读存储介质 | |
| CN106407096A (zh) | 基于时间序列的日志分析方法和日志分析装置 | |
| CN104182327B (zh) | 客户端错误日志收集方法及系统 | |
| CN107870850A (zh) | 一种高效的互联网应用日志系统 | |
| CN106469115A (zh) | 一种电信网网管系统软件自动化测试方法和装置 | |
| CN201365256Y (zh) | 一种网络性能测试设备 | |
| CN106197803A (zh) | 跌落数据的采集方法及终端设备 | |
| CN109462283A (zh) | 智能变电站单个设备流量监控方法及系统 | |
| CN107678916A (zh) | 一种基于cpu寄存器信息的分析诊断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A high coverage and accurate domain IP correspondence acquisition method and device Effective date of registration: 20210604 Granted publication date: 20190917 Pledgee: China Merchants Bank Limited by Share Ltd. Beijing branch Pledgor: BEIJING ACT TECHNOLOGY DEVELOPMENT Co.,Ltd. Registration number: Y2021990000498 |