CN110830501A - 一种基于dns流量的网站资产探测方法 - Google Patents

一种基于dns流量的网站资产探测方法 Download PDF

Info

Publication number
CN110830501A
CN110830501A CN201911162078.2A CN201911162078A CN110830501A CN 110830501 A CN110830501 A CN 110830501A CN 201911162078 A CN201911162078 A CN 201911162078A CN 110830501 A CN110830501 A CN 110830501A
Authority
CN
China
Prior art keywords
website
domain name
data
dns
asset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911162078.2A
Other languages
English (en)
Inventor
何剑
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201911162078.2A priority Critical patent/CN110830501A/zh
Publication of CN110830501A publication Critical patent/CN110830501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于DNS流量的网站资产探测方法，通过获取网站数据和ICP信息，形成基础网站资产库，获取DNS流量后与基础网站资产库进行关联分析，对网站资产库进行扩充。本发明基于数据处理后的DNS流量，根据关联分析结果快速丰富网站资产库，增加对网站资产的信息归属，提升收录的效率，使得监管人员在网站资产遭受攻击或失陷时可以进行快速溯源定位，减少单位或个人损失。

Description

一种基于DNS流量的网站资产探测方法
技术领域
本发明属于电数字数据处理的技术领域，特别涉及一种基于DNS流量的网站资产探测方法。
背景技术
随着互联网的发展与普及，网站数量与日俱增，网络安全问题在如今的互联网时代尤为突出与重要，当网站资产遭受黑客攻击，监管人员发现其风险，但可能无法快速定位该资产信息，从而造成更为严重的损失。
越来越多的单位与个人使用网站系统来实现其业务功能。网站资产是指存在于互联网的可访问的网站系统，相对于明确定义的网络资产，网站资产只是其中关于网站系统部分的资产，其作为存在于互联网的可访问的网站系统，对网站资产库进行收录与扩充，在收录网站的基础上归属其单位信息，帮助监管人员及时定位信息，在网站资产遭受攻击或失陷后，可快速对该网站资产进行溯源定位，以减少单位或个人的损失。
然而，网站资产收录方式一般是由网络爬虫实现，而对于网络爬虫而言，存在着以下缺陷：
（1）易受网络影响，容易出现响应超时、IP受限等因素而导致的站点未收录；
（2）网站数量极大，爬虫收录速度相对较慢；
（3）单纯基于爬虫收录网站，无法归属单位或个人信息；
整体来说，存在着很大的效率问题和局限性。
发明内容
本发明解决了现有技术中，网站资产收录方式一般是由网络爬虫实现而导致的一系列效率问题和局限性的缺陷的问题，提供了一种优化的基于DNS流量的网站资产探测方法，以DNS流量分析结合爬虫的方式进行网站资产探测收录，进而解决目前基于网络爬虫的资产探测收录方式的缺点。
本发明所采用的技术方案是，一种基于DNS流量的网站资产探测方法，所述方法包括以下步骤：
步骤1：获取网站数据和ICP信息；
步骤2：形成基础网站资产库；
步骤3：获取DNS流量；
步骤4：基于基础网站资产库与DNS流量进行关联分析，对网站资产库进行扩充。
优选地，所述步骤1中，通过合作渠道和/或网络爬虫获取网站数据和ICP信息，获取的所述ICP信息形成ICP信息库。
优选地，所述步骤1中，网络数据包括域名网站和IP网站。
优选地，所述步骤2中，基础网站资产库包括域名网站资产库和IP网站资产库；所述域名网站资产库包括将网站数据的主域名与ICP信息的备案域名关联后形成的集合数据；所述IP网站资产库包括IP网站资产数据。
优选地，所述集合数据包括网站的URL、域名、IP、端口、ICP信息。
优选地，所述IP网站资产数据包括URL、IP、端口。
优选地，所述步骤4中，基于基础网站资产库与DNS流量进行关联分析，包括：
a.取DNS流量数据的域名与域名网站资产库进行关联分析，若存在关联结果且对应的DNS流量的解析IP和域名网站数据的IP不一致，则形成域名网站资产数据，对网站资产库进行扩充；
b.取DNS流量数据的IP与域名网站资产库的IP进行关联分析，若存在关联结果且DNS流量数据的IP对应的DNS域名与域名网站数据的域名不一致，则形成域名网站资产数据，对网站资产库进行扩充；
c.取DNS流量数据的IP与域名网站资产库的IP进行关联分析，若同时满足存在关联结果、DNS流量数据的IP对应的DNS域名与域名网站数据的域名一致、DNS流量数据的IP对应的端口与域名网站数据的端口不一致，则形成域名网站资产数据，对网站资产库进行扩充。
优选地，所述a中，当不存在关联结果时，收录DNS流量数据的域名，并将归属单位的信息补全。
优选地，对所述b和c获得的域名网站资产数据进行IP网站可达性验证，若使用IP和端口进行HTTP协议访问，可以正常解析，则形成IP网站资产数据，对网站资产库进行扩充。
优选地，所述DNS流量以天为周期进行处理。
本发明提供了一种优化的基于DNS流量的网站资产探测方法，通过获取网站数据和ICP信息，形成基础网站资产库，获取DNS流量后与基础网站资产库进行关联分析，对网站资产库进行扩充。
本发明基于数据处理后的DNS流量，根据关联分析结果快速丰富网站资产库，增加对网站资产的信息归属，提升收录的效率，使得监管人员在网站资产遭受攻击或失陷时可以进行快速溯源定位，减少单位或个人损失。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于DNS流量的网站资产探测方法，所述方法包括以下步骤。
步骤1：获取网站数据和ICP信息。
所述步骤1中，通过合作渠道和/或网络爬虫获取网站数据和ICP信息，获取的所述ICP信息形成ICP信息库。
所述步骤1中，网络数据包括域名网站和IP网站。
本发明中，合作渠道是指通过第三方购买等方式获得网站数据和ICP信息。
本发明中，IP网站是指IP地址访问直接可达的网站。
步骤2：形成基础网站资产库。
所述步骤2中，基础网站资产库包括域名网站资产库和IP网站资产库；所述域名网站资产库包括将网站数据的主域名与ICP信息的备案域名关联后形成的集合数据；所述IP网站资产库包括IP网站资产数据。
所述集合数据包括网站的URL、域名、IP、端口、ICP信息。
所述IP网站资产数据包括URL、IP、端口。
本发明中，关联可以被视为匹配的一种；此处将网站数据的主域名与ICP信息的备案域名关联后形成集合数据即为将网站数据的主域名与ICP信息的备案域名进行匹配，存在匹配结果的形成集合数据。
步骤3：获取DNS流量。
所述DNS流量以天为周期进行处理。
本发明中，由于DNS流量数据量极大且对实时性要求相对较低，故采用HDFS存储DNS数据，并使用Hive进行离线数据分析。
步骤4：基于基础网站资产库与DNS流量进行关联分析，对网站资产库进行扩充。
所述步骤4中，基于基础网站资产库与DNS流量进行关联分析，包括：
a.取DNS流量数据的域名与域名网站资产库进行关联分析，若存在关联结果且对应的DNS流量的解析IP和域名网站数据的IP不一致，则形成域名网站资产数据，对网站资产库进行扩充；
所述a中，当不存在关联结果时，收录DNS流量数据的域名，并将归属单位的信息补全。
本发明中，关联是指匹配，关联结果即是匹配结果，当没有匹配结果，即为域名网站资产库中不存在该数据，不存在关联结果的可收录，但无法归属单位，可使用爬虫方式等进行信息补全。
b.取DNS流量数据的IP与域名网站资产库的IP进行关联分析，若存在关联结果且DNS流量数据的IP对应的DNS域名与域名网站数据的域名不一致，则形成域名网站资产数据，对网站资产库进行扩充；
c.取DNS流量数据的IP与域名网站资产库的IP进行关联分析，若同时满足存在关联结果、DNS流量数据的IP对应的DNS域名与域名网站数据的域名一致、DNS流量数据的IP对应的端口与域名网站数据的端口不一致，则形成域名网站资产数据，对网站资产库进行扩充。
本发明中，b的关联是指同IP不同域名，c的关联是指同IP、域名但不同端口。
对所述b和c获得的域名网站资产数据进行IP网站可达性验证，若使用IP和端口进行HTTP协议访问，可以正常解析，则形成IP网站资产数据，对网站资产库进行扩充。
本发明中，由于许多域名加端口可达的网站，使用IP加端口进行访问不一定可达，因此若要获取IP网站数据，需要对b和c的数进行IP网站可达性验证，若IP和端口组合后可达，则形成IP网站资产数据。
本发明中，关联分析在积累一定量的资产库数据后进行。
本发明通过获取网站数据和ICP信息，形成基础网站资产库，获取DNS流量后与基础网站资产库进行关联分析，对网站资产库进行扩充。
本发明基于数据处理后的DNS流量，根据关联分析结果快速丰富网站资产库，增加对网站资产的信息归属，提升收录的效率，使得监管人员在网站资产遭受攻击或失陷时可以进行快速溯源定位，减少单位或个人损失。

Claims (10)

1.一种基于DNS流量的网站资产探测方法，其特征在于：所述方法包括以下步骤：
步骤1：获取网站数据和ICP信息；
步骤2：形成基础网站资产库；
步骤3：获取DNS流量；
步骤4：基于基础网站资产库与DNS流量进行关联分析，对网站资产库进行扩充。
2.根据权利要求1所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述步骤1中，通过合作渠道和/或网络爬虫获取网站数据和ICP信息，获取的所述ICP信息形成ICP信息库。
3.根据权利要求1所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述步骤1中，网络数据包括域名网站和IP网站。
4.根据权利要求1所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述步骤2中，基础网站资产库包括域名网站资产库和IP网站资产库；所述域名网站资产库包括将网站数据的主域名与ICP信息的备案域名关联后形成的集合数据；所述IP网站资产库包括IP网站资产数据。
5.根据权利要求4所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述集合数据包括网站的URL、域名、IP、端口、ICP信息。
6.根据权利要求4所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述IP网站资产数据包括URL、IP、端口。
7.根据权利要求4所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述步骤4中，基于基础网站资产库与DNS流量进行关联分析，包括：
a.取DNS流量数据的域名与域名网站资产库进行关联分析，若存在关联结果且对应的DNS流量的解析IP和域名网站数据的IP不一致，则形成域名网站资产数据，对网站资产库进行扩充；
b.取DNS流量数据的IP与域名网站资产库的IP进行关联分析，若存在关联结果且DNS流量数据的IP对应的DNS域名与域名网站数据的域名不一致，则形成域名网站资产数据，对网站资产库进行扩充；
c.取DNS流量数据的IP与域名网站资产库的IP进行关联分析，若同时满足存在关联结果、DNS流量数据的IP对应的DNS域名与域名网站数据的域名一致、DNS流量数据的IP对应的端口与域名网站数据的端口不一致，则形成域名网站资产数据，对网站资产库进行扩充。
8.根据权利要求7所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述a中，当不存在关联结果时，收录DNS流量数据的域名，并将归属单位的信息补全。
9.根据权利要求7所述的一种基于DNS流量的网站资产探测方法，其特征在于：对所述b和c获得的域名网站资产数据进行IP网站可达性验证，若使用IP和端口进行HTTP协议访问，可以正常解析，则形成IP网站资产数据，对网站资产库进行扩充。
10.根据权利要求1所述的一种基于DNS流量的网站资产探测方法，其特征在于：所述DNS流量以天为周期进行处理。
CN201911162078.2A 2019-11-25 2019-11-25 一种基于dns流量的网站资产探测方法 Pending CN110830501A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911162078.2A CN110830501A (zh) 2019-11-25 2019-11-25 一种基于dns流量的网站资产探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911162078.2A CN110830501A (zh) 2019-11-25 2019-11-25 一种基于dns流量的网站资产探测方法

Publications (1)

Publication Number Publication Date
CN110830501A true CN110830501A (zh) 2020-02-21

Family

ID=69558893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911162078.2A Pending CN110830501A (zh) 2019-11-25 2019-11-25 一种基于dns流量的网站资产探测方法

Country Status (1)

Country Link
CN (1) CN110830501A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556077A (zh) * 2020-05-15 2020-08-18 杭州安恒信息技术股份有限公司 一种网络数据获取方法、设备及其相关设备
CN115277129A (zh) * 2022-07-13 2022-11-01 杭州安恒信息技术股份有限公司 一种域名资产漏洞扫描方法、装置、设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238825A1 (en) * 2008-11-26 2011-09-29 Telecom Italia S.P.A. Application data flow management in an ip network
CN102694754A (zh) * 2012-06-07 2012-09-26 广州睿哲网络科技有限公司 实现IPv4/IPv6网站内容互通的应用网关技术及系统
CN103167044A (zh) * 2011-12-08 2013-06-19 中国移动通信集团浙江有限公司 域名系统dns的智能解析的方法、拨测装置和系统
CN104836855A (zh) * 2015-04-30 2015-08-12 国网四川省电力公司电力科学研究院 一种基于多源数据融合的Web应用安全态势评估系统
US20160309308A1 (en) * 2015-04-17 2016-10-20 Atomic55 Internet Technologies Inc. System and method for synchronized two-way communications between mobile devices and a website platform
CN106453386A (zh) * 2016-11-09 2017-02-22 深圳市魔方安全科技有限公司 基于分布式技术的自动化互联网资产监控和风险检测方法
CN110311931A (zh) * 2019-08-02 2019-10-08 杭州安恒信息技术股份有限公司 资产自动发现方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238825A1 (en) * 2008-11-26 2011-09-29 Telecom Italia S.P.A. Application data flow management in an ip network
CN103167044A (zh) * 2011-12-08 2013-06-19 中国移动通信集团浙江有限公司 域名系统dns的智能解析的方法、拨测装置和系统
CN102694754A (zh) * 2012-06-07 2012-09-26 广州睿哲网络科技有限公司 实现IPv4/IPv6网站内容互通的应用网关技术及系统
US20160309308A1 (en) * 2015-04-17 2016-10-20 Atomic55 Internet Technologies Inc. System and method for synchronized two-way communications between mobile devices and a website platform
CN104836855A (zh) * 2015-04-30 2015-08-12 国网四川省电力公司电力科学研究院 一种基于多源数据融合的Web应用安全态势评估系统
CN106453386A (zh) * 2016-11-09 2017-02-22 深圳市魔方安全科技有限公司 基于分布式技术的自动化互联网资产监控和风险检测方法
CN110311931A (zh) * 2019-08-02 2019-10-08 杭州安恒信息技术股份有限公司 资产自动发现方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556077A (zh) * 2020-05-15 2020-08-18 杭州安恒信息技术股份有限公司 一种网络数据获取方法、设备及其相关设备
CN115277129A (zh) * 2022-07-13 2022-11-01 杭州安恒信息技术股份有限公司 一种域名资产漏洞扫描方法、装置、设备、存储介质

Similar Documents

Publication Publication Date Title
US11757945B2 (en) Collaborative database and reputation management in adversarial information environments
US10366229B2 (en) Method for detecting a cyber attack
JP6490059B2 (ja) データを処理するための方法、有形機械可読記録可能記憶媒体および装置、ならびにデータ・レコードから抽出された特徴をクエリするための方法、有形機械可読記録可能記憶媒体および装置
CN107733854B (zh) 一种网络虚拟账户的管理方法
CN108664480B (zh) 一种多数据源用户信息整合方法和装置
US20160191549A1 (en) Rich metadata-based network security monitoring and analysis
CN107423434B (zh) 一种基于话单数据的潜在社会关系网络的挖掘方法
CN108206972B (zh) 直播间人气处理方法、装置、服务器及存储介质
Khanafseh et al. A survey of various frameworks and solutions in all branches of digital forensics with a focus on cloud forensics
US20230008173A1 (en) System and method for detection and mitigation of data source compromises in adversarial information environments
CN107547310B (zh) 一种基于旁路审计设备的用户行为关联分析方法及系统
CN110830501A (zh) 一种基于dns流量的网站资产探测方法
Tayal et al. Active monitoring & postmortem forensic analysis of network threats: A survey
JP2019505865A (ja) ウェブ追跡サービスを検出するための方法
Deußer et al. Browsing unicity: On the limits of anonymizing web tracking data
CN111556077A (zh) 一种网络数据获取方法、设备及其相关设备
Camacho et al. A cloud-oriented integrity verification system for audio forensics
CN113923003A (zh) 一种攻击者画像生成方法、系统、设备以及介质
CN108540471B (zh) 移动应用网络流量聚类方法、计算机可读存储介质和终端
CN109302406B (zh) 一种分布式网页取证的方法及系统
CN112003884B (zh) 一种网络资产的采集和自然语言检索方法
CN116910820A (zh) 数据报表处理方法、装置、计算机设备以及存储介质
CN108667685B (zh) 移动应用网络流量聚类装置
CN107040603A (zh) 用于确定应用程序App活跃场景的方法和装置
WO2016026309A1 (zh) 评论消息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication