CN111324796A - 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置 - Google Patents

基于区块链和sdn边缘计算网络系统的域名爬取方法及装置 Download PDF

Info

Publication number
CN111324796A
CN111324796A CN202010085921.8A CN202010085921A CN111324796A CN 111324796 A CN111324796 A CN 111324796A CN 202010085921 A CN202010085921 A CN 202010085921A CN 111324796 A CN111324796 A CN 111324796A
Authority
CN
China
Prior art keywords
website
information
website information
domain name
crawling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010085921.8A
Other languages
English (en)
Inventor
邱然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhile Internet Of Things Technology Co ltd
Original Assignee
Guangzhou Zhile Internet Of Things Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhile Internet Of Things Technology Co ltd filed Critical Guangzhou Zhile Internet Of Things Technology Co ltd
Priority to CN202010085921.8A priority Critical patent/CN111324796A/zh
Publication of CN111324796A publication Critical patent/CN111324796A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种基于区块链和SDN边缘计算网络系统的域名爬取方法、装置、电子设备及存储介质。本申请实施例提供的技术方案通过爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,使用多个共识节点并通过共识算法对每个网址信息进行网站验证,根据每个共识节点的验证结果确定网址信息中的恶意网址并筛除,将筛除恶意网址后的网址信息对应时间信息分布式存储于区块链网络中。采用上述技术手段,通过区块链的容错机制和共识机制,以保障网址信息爬取存储的安全性,避免网址信息篡改或恶意网址影响用户体验的情况。

Description

基于区块链和SDN边缘计算网络系统的域名爬取方法及装置
技术领域
本申请实施例涉及互联网技术领域,尤其涉及一种基于区块链和SDN边缘计算网络系统的域名爬取方法及装置。
背景技术
SD-WAN,即软件定义广域网,是将SDN技术应用到广域网场景中所形成的一种服务,这种服务用于连接广阔地理范围的企业网络、数据中心、互联网应用及云服务。在SD-WAN网络中,为了保障网络的稳定性,提升用户的网络访问体验,提高线路的网络利用率。需要对用户访问的线路进行自动优化调度,以实现对SD-WAN网络资源的智能调度。通过收集用户常访问的网址信息,并根据这些网址信息进行网站页面测试数据收集,并通过对测试数据进行分析预测,以此来实现网络资源的智能调度。
但是,在进行网址信息爬取收集时,会将网址信息进行统一存储,网址信息繁杂且容易被篡改。并且收集到的网址信息还包含一些恶意网址信息,容易影响数据分析和预测结果,并影响用户的网络访问体验。
发明内容
本申请实施例提供一种基于区块链和SDN边缘计算网络系统的域名爬取方法、装置、电子设备及存储介质,能够较好地进行网址信息爬取,保障网址信息的安全性。
在第一方面,本申请实施例提供了一种基于区块链和SDN边缘计算网络系统的域名爬取方法,包括:
爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息;
使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除;
将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
进一步的,所述使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除,包括:
各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证;
收集各个所述共识节点的验证结果,若对应的所述网址信息验证为恶意网址的验证结果达到设定比例,判定对应的所述网址信息为恶意网址。
进一步的,所述各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证,包括:
将所述网址信息输入预设的可信网站查询系统,返回相应的查询结果,以所述查询结果作为对应的所述共识节点的验证结果。
进一步的,所述将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中,还包括:
使用网站测试子系统的公钥加密所述网址信息并存储,所述网站测试子系统用于使用自身私钥进行所述网址信息的解密并根据所述网址信息进行网站测试。
进一步的,所述将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中,还包括:
对各个所述网址信息添加对应的类别标签,将所述类别标签与所述网址信息绑定存储。
进一步的,对各个所述网址信息添加对应的类别标签,包括:
根据所述网址信息访问对应网站并提取相应的网站页面,基于所述网站页面进行关键字词和画面分析,确定所述网址信息的类别。
进一步的,在将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中之后,还包括:
通过网络测试子系统并根据对应的时间信息从所述区块链网络中提取对应的所述网址信息,并根据所述网址信息访问相应的网站提取测试数据,所述测试数据用于进行分析预测以进行网络资源调度。
在第二方面,本申请实施例提供了一种基于区块链和SDN边缘计算网络系统的域名爬取装置,包括:
爬取模块,用于爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息;
筛选模块,用于使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除;
存储模块,用于将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
在第三方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于区块链和SDN边缘计算网络系统的域名爬取方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于区块链和SDN边缘计算网络系统的域名爬取方法。
本申请实施例通过爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,使用多个共识节点并通过共识算法对每个网址信息进行网站验证,根据每个共识节点的验证结果确定网址信息中的恶意网址并筛除,将筛除恶意网址后的网址信息对应时间信息分布式存储于区块链网络中。采用上述技术手段,通过区块链的容错机制和共识机制,以保障网址信息爬取存储的安全性,避免网址信息篡改或恶意网址影响用户体验的情况。
附图说明
图1是本申请实施例一提供的一种基于区块链和SDN边缘计算网络系统的域名爬取方法的流程图;
图2是本申请实施例一提供的网址信息验证流程图;
图3是本申请实施例二提供的一种基于区块链和SDN边缘计算网络系统的域名爬取装置的结构示意图;
图4是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于区块链和SDN边缘计算网络系统的域名爬取方法,旨在借助区块链技术的公式机制和容错机制进行网址信息的爬取与存储,以以保障网址信息爬取存储的安全性,避免网址信息篡改或恶意网址影响用户体验的情况。利用区块链技术的公式机制进行网址信息验证,以筛除部分恶意网址,保障网址信息的安全性。并通过分布式存储网址信息与区块链网络中,确保网址信息不可篡改,并为网址信息提供了冗余备份,避免信息丢失而影响网址信息的完整性,以此来进一步保障网址信息的安全性。相对于现有的域名爬取系统,其在进行域名爬取时,通常是直接将爬取到的网址信息进行统一存储。由于网址信息没有较好地进行过滤,容易混入恶意网址,而且网址信息只是简单地进行存储,其内存过于繁杂,且容易受到篡改。基于此,提供本申请实施例的基于区块链和SDN边缘计算网络系统的域名爬取方法,以解决现有域名爬取系统进行域名信息爬取和存储时产生的安全性问题。
实施例一:
图1给出了本申请实施例一提供的一种基于区块链和SDN边缘计算网络系统的域名爬取方法的流程图,本实施例中提供的基于区块链和SDN边缘计算网络系统的域名爬取方法可以由基于区块链和SDN边缘计算网络系统的域名爬取系统执行,该基于区块链和SDN边缘计算网络系统的域名爬取系统可以通过软件和/或硬件的方式实现,该基于区块链和SDN边缘计算网络系统的域名爬取系统可以是两个或多个物理实体构成,也可以是一个物理实体构成。
下述以基于区块链和SDN边缘计算网络系统的域名爬取系统为执行基于区块链和SDN边缘计算网络系统的域名爬取方法的设备为例,进行描述。参照图1,该基于区块链和SDN边缘计算网络系统的域名爬取方法具体包括:
S110、爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息。
示例性的,本申请实施例通过域名爬取系统并通过该基于区块链和SDN边缘计算网络系统的域名爬取方法进行域名爬取,以将爬取到的网址信息提供给网络测试子系统。网络测试子系统获取到这些网址信息之后,会根据获取到的网址信息进一步通过不同线路访问相应的网站提取测试数据。最终,根据不同线路获取到的测试数据即可分析确定网络质量较为优良的线路,以此来确定网络质量较好的线路,实现网络的优化调度。
域名爬取系统通常根据设定的时间点进行用户网站访问记录的爬取。其中,用户指的是整个SD-WAN(软件定义广域网)的所有用户。当需要对当前的网络进行自动优化调度时,通过域名爬取系统定时爬取用户的网站访问记录。并且,通常会在一天的某一时间点定时进行网络访问记录的爬取。对应爬取到的网络访问记录,通过解析确定其中的一级域名、二级域名和对应的IP地址信息,以这些信息作为网址信息。由于用户的网站访问记录过于繁多,为了较好地为后续网络的优化调度,域名爬取系统只需要确定网站访问记录中用户常访问的网站所对应的网址信息即可。进一步的,本申请实施例通过预先一个网站访问频次的设定阈值,当网站访问记录中存在访问频次达到这一设定阈值的网址信息,即可确定其为用户常访问的网址,将这些达到设定阈值的对应网址信息进行筛选,进而确定需要保存下来的网址信息。网站访问频次的设定阈值根据实际需要设定,在此不做赘述。需要说明的是,在进行筛选时,可以根据一级域名、二级域名或者对应的IP地址信息确定哪些网站是同一网站,实际应用中,由于IP地址比较复杂,而域名相对较为简单便于确定。因此采用域名来确定网络访问记录中的同一网站。并且,考虑到二级域名可以对应多个一级域名,则在确定同一网站时,若两条网络访问记录中对应的是同一个一级域名,则认为两者对应同一网站,表示为两次访问该网站。
具体的,在一个实施例中,还可以直接对当天用户所有的网站访问记录进行爬取,并进一步解析等到对应的网址信息后,将这些网址信息直接进行存储。后续直接根据这些存储的网址信息进行网络测试和网络流量的优化调度。
S120、使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除。
进一步的,对应已筛选确定的用户常访问的网址信息,在将这些信息进行存储的时候,还需要进一步将这些网址信息进行验证筛除,可以理解的是,用户在进行网站访问记录可能包含一些恶意的、不可信的网站,如果将这些网站进行存储已用于后续网络测试子系统的测试,则最终得到的测试结果可能影响到之后的网络优化调度。显然,这些网站对于网络优化调度没有参考意义,也无需通过这些网站进行网络测试获取网络数据,并以此进行分析及网络优化调度。即恶意网址提供的网络测试数据实际上对后续的网络质量分析没有参考意义,因此在对网址信息进行存储的时候,需要先将这一恶意网址信息进行筛除,只保留有用的部分。
在进行网址信息验证时,为了避免单个节点进行网站地址信息验证时存在的片面性,本申请实施例使用基于区块链技术的共识算法进行共识认证,通过共识认证确定对应的网址信息的验证结果,并进一步基于验证结果采用“少数服从多数”的方式,最终确定对应网址信息是否为恶意的、不可信的网址。共识节点通过投票的方式,提供相应的验证结果,并通过统计各个共识节点的验证结果,最终确定对应的网址信息是否是恶意网址。
其中,参照图2,网址信息验证流程包括:
S1201、各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证;
S1202、收集各个所述共识节点的验证结果,若对应的所述网址信息验证为恶意网址的验证结果达到设定比例,判定对应的所述网址信息为恶意网址。
具体的,在进行网址信息验证的时候,将网址信息发送至各个共识节点进行验证。使用预先设定的验证规则进行验证。需要说明的是,各个共识节点进行验证时,可以采用不同的验证规则进行验证。各共识节点根据自身预先设置的验证规则进行网站验证。其中验证规则可以是预先设置的可信网站查询系统等方式,将所述网址信息输入预设的可信网站查询系统,返回相应的查询结果,以所述查询结果作为对应的所述共识节点的验证结果。可信网站查询系统通过,一个可信网站权威数据库进行查询验证。可信网站权威数据库预先收集、登记和存储可信网站的相关信息,并当接收到该可信网站查询系统的查询请求时,根据所要查询的网址信息进行查询。并根据查询结果,若可信网站权威数据库存在相应的可信网站信息,则该网址信息判定为可信任的,反之则该网址信息可能是恶意网址,可信网站查询系统返回相应的查询结果,作为该共识节点的验证结果。
在一个实施例中,根据设定的验证规则,共识节点还可以通过访问对应网址的相关页面,提取页面上的相关文字信息或图片信息,进一步通过文字识别或图像识别判定对应网站页面是否违规,若不违规,则该网址信息可信任,反之则该网址信息为恶意网址。通过相应的验证规则验证网站是否可信的方式有很多,本申请实施例不做固定限制,在此不多赘述。
最终,通过收集各个共识节点使用自身预设的验证规则确定的验证结果,统计验证结果中验证为恶意网址的共识节点数量,进而确定所有共识节点中验证为恶意网址的共识节点占所有共识节点的比例,若该比例达到设定比例,则认为该网址信息为恶意网址。举例而言,在进行恶意网址的最终判定时,进行共识验证的共识节点为100个,即最终收集到的验证结果为100个,在100个验证结果之中,有80个验证结果表示对应的网址信息为恶意网址,而设定比例为50%,则当前验证为恶意网址的比例80%大于设定比例50%,判定该网址信息为恶意网址。需要说明的是,一般情况下,共识验证遵从少数服从多数的方式,会将设定比例设置为50%,即只有验证结果超过50%,才认定该验证结果有效。而在实际应用中,还可以根据自身的实际需要,将设定比例的值调高,以进一步保证共识验证的结果能够足够准确。
S130、将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
进一步的,完成共识验证后的网址信息,即可进行存储以用于后续的网站测试。在进行网址信息存储的时候,使用基于区块链技术的分布式存储方式存储网址信息。利用区块链技术的容错机制,将网址信息分布式存储于区块链网络中的不同节点中,以此来提供网址信息的冗余,避免部分信息丢失而导致网址信息不可用的情况,保障网址信息的完整性。
并且,在对网址信息进行存储的时候,将对应的时间信息一同存储与区块链网络中。可以理解的是在进行数据测试时,需要对应某一时间段进行网络数据测试,并进一步根据测算结果进行分析已确定该时间段下哪些线路的网络质量相对较好,以此来进行网络优化调度。因此,在进行网址信息存储时,会将相应的时间信息一并进行存储,以便于后续根据已存储的该时间信息对应的网址信息作为网站访问依据,通过不同的线路访问这些网址,进行网站测试,得到网站测试数据。
另一方面,在进行网址信息存储的时候,还进一步对网址信息进行加密存储。使用网站测试子系统的公钥加密所述网址信息并存储,所述网站测试子系统用于使用自身私钥进行所述网址信息的解密并根据所述网址信息进行网站测试。可以理解的是,网址信息最终通过网址测试子系统进行提取以用于网站测试,因此,本申请实施例使用网站测试子系统的密钥对进行网址信息的加密存储及解密。其中,在进行网址信息加密时,使用网络测试子系统的公钥进行网址信息加密并存储于区块链网络中,后续网络测试子系统在提取网址信息时,根据对应的时间段,提取对应时间信息的网址信息,并使用自身的私钥进行数据解密。以此可以保障数据保存和提取的安全性,避免网址信息被窃取导致用户网站访问记录泄露的情况。
在一个实施例中,还可以使用本申请实施例基于区块链和SDN边缘计算网络系统的域名爬取系统的私钥对网址信息进行加密并存储,并将基于区块链和SDN边缘计算网络系统的域名爬取系统的公钥发送给网络测试子系统,以进行网址信息解密。通过使用基于区块链和SDN边缘计算网络系统的域名爬取系统自身的密钥对网址信息进行加密存储和解密,同样可以保障数据保存和提取的安全性,避免网址信息被窃取导致用户网站访问记录泄露的情况。
此外,本申请实施例在存储网址信息时,还对各个所述网址信息添加对应的类别标签,将所述类别标签与所述网址信息绑定存储。通过网址信息的分类,可以进一步进行统计确定用户常访问的网站类型,以此来更进一步为网络优化调度提供信息依据,更好地优化用户体验。具体的,在确定网络类型的时候,可以根据所述网址信息访问对应网站并提取相应的网站页面,基于所述网站页面进行关键字词和画面分析,确定所述网址信息的类别。系统可以预先对应不同的网络类型设定相应的特征信息,特征信息可以包含关键字词和画面信息,并以此建立一个网站类型分类模型,分类模型根据提取到的关键字词和画面进行识别分析,进而确定网站类型。网站类型分类的方式现有技术有很多实施手段,本申请实施例不做固定限制,在此不做固定限制。
最终,存储于区块链网络各个节点的网址信息会通过网络测试子系统并根据对应的时间信息从所述区块链网络中提取对应的所述网址信息,并根据所述网址信息访问相应的网站提取测试数据,所述测试数据用于进行分析预测以进行网络资源调度。网络测试子系统在进行网站测试的时候,通过不同的线路访问相应的网站,收集访问网站页面的测试数据。测试数据发送至数据分析子系统进行智能分析,获取各个线路的实时网络质量信息并对线路的网络质量进行智能预测。最终,根据数据分析子系统的分析预测结果对网络访问路由进行自动优化调度,提升用户的网络访问体验,提高线路的网络利用率。通过本申请实施例的域名爬取系统,进行网址信息提取,以较好地为网络优化调度提供数据依据,优化用户体验。
上述,通过爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,使用多个共识节点并通过共识算法对每个网址信息进行网站验证,根据每个共识节点的验证结果确定网址信息中的恶意网址并筛除,将筛除恶意网址后的网址信息对应时间信息分布式存储于区块链网络中。采用上述技术手段,通过区块链的容错机制和共识机制,以保障网址信息爬取存储的安全性,避免网址信息篡改或恶意网址影响用户体验的情况。
实施例二:
在上述实施例的基础上,图3为本申请实施例二提供的一种基于区块链和SDN边缘计算网络系统的域名爬取装置的结构示意图。参考图3,本实施例提供的基于区块链和SDN边缘计算网络系统的域名爬取装置具体包括:爬取模块21、筛选模块22和存储模块23。
其中,爬取模块21用于爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息;
筛选模块22用于使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除;
存储模块23用于将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
上述,通过爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,使用多个共识节点并通过共识算法对每个网址信息进行网站验证,根据每个共识节点的验证结果确定网址信息中的恶意网址并筛除,将筛除恶意网址后的网址信息对应时间信息分布式存储于区块链网络中。采用上述技术手段,通过区块链的容错机制和共识机制,以保障网址信息爬取存储的安全性,避免网址信息篡改或恶意网址影响用户体验的情况。
具体的,筛选模块22包括:
验证单元,用于通过各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证;
判定单元,用于收集各个所述共识节点的验证结果,若对应的所述网址信息验证为恶意网址的验证结果达到设定比例,判定对应的所述网址信息为恶意网址。
具体的,还包括:
测试模块,用于通过网络测试子系统并根据对应的时间信息从所述区块链网络中提取对应的所述网址信息,并根据所述网址信息访问相应的网站提取测试数据,所述测试数据用于进行分析预测以进行网络资源调度。
本申请实施例二提供的基于区块链和SDN边缘计算网络系统的域名爬取装置可以用于执行上述实施例一提供的基于区块链和SDN边缘计算网络系统的域名爬取方法,具备相应的功能和有益效果。
实施例三:
本申请实施例三提供了一种电子设备,参照图4,该电子设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个,该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的基于区块链和SDN边缘计算网络系统的域名爬取方法对应的程序指令/模块(例如,基于区块链和SDN边缘计算网络系统的域名爬取装置中的爬取模块、筛选模块和存储模块)。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的基于区块链和SDN边缘计算网络系统的域名爬取方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的基于区块链和SDN边缘计算网络系统的域名爬取方法,具备相应的功能和有益效果。
实施例四:
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于区块链和SDN边缘计算网络系统的域名爬取方法,该基于区块链和SDN边缘计算网络系统的域名爬取方法包括:爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息;使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除;将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,还可以执行本申请任意实施例所提供的基于区块链和SDN边缘计算网络系统的域名爬取方法中的相关操作。
上述实施例中提供的基于区块链和SDN边缘计算网络系统的域名爬取装置、存储介质及电子设备可执行本申请任意实施例所提供的基于区块链和SDN边缘计算网络系统的域名爬取方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的基于区块链和SDN边缘计算网络系统的域名爬取方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,包括:
爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息;
使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除;
将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
2.根据权利要求1所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,所述使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除,包括:
各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证;
收集各个所述共识节点的验证结果,若对应的所述网址信息验证为恶意网址的验证结果达到设定比例,判定对应的所述网址信息为恶意网址。
3.根据权利要求2所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,所述各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证,包括:
将所述网址信息输入预设的可信网站查询系统,返回相应的查询结果,以所述查询结果作为对应的所述共识节点的验证结果。
4.根据权利要求1所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,所述将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中,还包括:
使用网站测试子系统的公钥加密所述网址信息并存储,所述网站测试子系统用于使用自身私钥进行所述网址信息的解密并根据所述网址信息进行网站测试。
5.根据权利要求1所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,所述将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中,还包括:
对各个所述网址信息添加对应的类别标签,将所述类别标签与所述网址信息绑定存储。
6.根据权利要求5所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,对各个所述网址信息添加对应的类别标签,包括:
根据所述网址信息访问对应网站并提取相应的网站页面,基于所述网站页面进行关键字词和画面分析,确定所述网址信息的类别。
7.根据权利要求1所述的基于区块链和SDN边缘计算网络系统的域名爬取方法,其特征在于,在将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中之后,还包括:
通过网络测试子系统并根据对应的时间信息从所述区块链网络中提取对应的所述网址信息,并根据所述网址信息访问相应的网站提取测试数据,所述测试数据用于进行分析预测以进行网络资源调度。
8.一种基于区块链和SDN边缘计算网络系统的域名爬取装置,其特征在于,包括:
爬取模块,用于爬取设定时间段内用户的网站访问记录,筛选出访问频次达到设定阈值的网址信息,所述网址信息包含一级域名、二级域名和对应的IP地址信息;
筛选模块,用于使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证,根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除;
存储模块,用于将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的基于区块链和SDN边缘计算网络系统的域名爬取方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的基于区块链和SDN边缘计算网络系统的域名爬取方法。
CN202010085921.8A 2020-02-11 2020-02-11 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置 Withdrawn CN111324796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085921.8A CN111324796A (zh) 2020-02-11 2020-02-11 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085921.8A CN111324796A (zh) 2020-02-11 2020-02-11 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置

Publications (1)

Publication Number Publication Date
CN111324796A true CN111324796A (zh) 2020-06-23

Family

ID=71172615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085921.8A Withdrawn CN111324796A (zh) 2020-02-11 2020-02-11 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置

Country Status (1)

Country Link
CN (1) CN111324796A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597557A (zh) * 2020-06-30 2020-08-28 腾讯科技(深圳)有限公司 恶意应用程序的检测方法、系统、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597557A (zh) * 2020-06-30 2020-08-28 腾讯科技(深圳)有限公司 恶意应用程序的检测方法、系统、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10540264B2 (en) Computerized method and end-to-end “Pilot as a service” system for controlling start-up/enterprise interactions
US11991198B1 (en) User-specific data-driven network security
CN112765245A (zh) 一种电子政务大数据处理平台
US9934310B2 (en) Determining repeat website users via browser uniqueness tracking
JP2010512585A (ja) 資格取得によって引き起こされる脆弱性の調査及び緩和を行う方式
WO2019144548A1 (zh) 安全测试方法、装置、计算机设备和存储介质
US11416631B2 (en) Dynamic monitoring of movement of data
CN109274679A (zh) 一种访问请求记录方法、装置、设备及可读存储介质
CN112256682B (zh) 一种多维异构数据的数据质量检测方法及装置
CN115134067A (zh) 检测隐私数据泄漏的方法
JP2008015733A (ja) ログ管理計算機
CN111324796A (zh) 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置
CN111680282B (zh) 基于区块链网络的节点管理方法、装置、设备及介质
WO2023239849A1 (en) Internet protocol (ip) whitelisting for signed uniform resource locators (urls)
US20240106846A1 (en) Approval Workflows For Anomalous User Behavior
WO2023034444A1 (en) Generating user-specific polygraphs for network activity
CN114826727A (zh) 流量数据采集方法、装置、计算机设备、存储介质
US20220255970A1 (en) Deploying And Maintaining A Trust Store To Dynamically Manage Web Browser Extensions On End User Computing Devices
Ayora et al. Social networks as real-time data distribution platforms for smart cities
JP5541215B2 (ja) 不正利用検知システム
CN113890866B (zh) 一种违规应用软件识别方法、装置、介质及电子设备
US20230370426A1 (en) Sensitive Data Identification In Real-Time for Data Streaming
JP2006107387A (ja) オンラインサービスのリアルタイムセキュリティ証明のための方法および装置
JP4780744B2 (ja) ウェブコンピューティングシステム
Hidayat et al. Infrastructure and Security for Supporting Smart City: A Systematic Literature Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200623

WW01 Invention patent application withdrawn after publication