CN111130845A - 基于视觉信息的网站页面IPv6支持度测试方法及装置 - Google Patents

基于视觉信息的网站页面IPv6支持度测试方法及装置 Download PDF

Info

Publication number
CN111130845A
CN111130845A CN201911166422.5A CN201911166422A CN111130845A CN 111130845 A CN111130845 A CN 111130845A CN 201911166422 A CN201911166422 A CN 201911166422A CN 111130845 A CN111130845 A CN 111130845A
Authority
CN
China
Prior art keywords
domain name
website page
screenshot
website
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911166422.5A
Other languages
English (en)
Other versions
CN111130845B (zh
Inventor
李丹丹
张沛
黄小红
谢坤
韩林杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911166422.5A priority Critical patent/CN111130845B/zh
Publication of CN111130845A publication Critical patent/CN111130845A/zh
Application granted granted Critical
Publication of CN111130845B publication Critical patent/CN111130845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/618Details of network addresses
    • H04L2101/659Internet protocol version 6 [IPv6] addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种基于视觉信息的网站页面IPv6支持度测试方法及装置,其中方法包括:获取域名列表;在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志;在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志;计算第一网站页面截图与所述第二网站页面截图的相似度;基于第一网络日志和所述第二网络日志,计算各域名对应的页面加载情况指标,页面加载情况指标为,第一网站页面的页面加载成功率,与第二网站页面的页面加载成功率的比值;根据相似度和页面加载情况指标,测试网站页面对IPv6的支持度。本发明实施例能够更为全面地测试网站页面对IPv6的支持度。

Description

基于视觉信息的网站页面IPv6支持度测试方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种基于视觉信息的网站页面IPv6支持度测试方法及装置。
背景技术
IPv6(Internet Protocol Version 6,互联网协议第6版)是IETF(The InternetEngineering Task Force,国际互联网工程任务组)设计的用于替代IPv4(InternetProtocol Version 4,互联网协议第4版)的下一代国际互连协议。随着IPv4地址的耗尽,IPv6部署正在加速,但不同网站的IPv6部署情况不尽相同,因此需要对网站IPv6支持度进行测试。
现有技术中,通常采用如下方法对网站IPv6支持度进行测试:首先对待测量域名进行DNS(Domain Name System,域名系统)解析,得到与待测量域名对应的IPv6地址,然后在IPv6服务器中探测IPv6地址对应的网站能否访问成功,并根据多次访问是否成功计算得到访问成功率;以及统计在不同IPv6服务器中访问IPv6地址对应的网站产生的时延,并利用访问成功率和时延共同对网站IPv6支持度进行测试。
由于现有技术中的技术方案是通过访问成功率和时延对IPv6支持度进行测试,但是在实际应用中往往存在下面这种情况:网站访问成功,网站的部分页面的元素却不支持IPv6的访问,进而导致网站页面无法成功加载;或者网站中没有为IPv6环境设置可阅读的页面,导致网站页面无法阅读。因此,现有技术并不能全面地反映网站页面对IPv6的支持度。
发明内容
本发明实施例的目的在于提供一种基于视觉信息的网站页面IPv6支持度测试方法,以实现能够更为全面地测试网站页面对IPv6的支持度。具体技术方案如下:
第一方面,本发明实施例提供了一种基于视觉信息的网站页面IPv6支持度测试方法,所述方法包括:
获取域名列表,所述域名列表中的各域名具有与该域名对应的IPv6地址;
在IPv4服务器中,爬取各所述域名对应的第一网站页面截图和第一网络日志,所述第一网站页面截图为在所述IPv4服务器中,各所述域名对应的第一网站页面的截图;
在IPv6服务器中,爬取各所述域名对应的第二网站页面截图和第二网络日志,所述第二网站页面截图为在所述IPv6服务器中,各所述域名对应的第二网站页面的截图;
计算所述第一网站页面截图与所述第二网站页面截图之间的相似度;
基于所述第一网络日志和所述第二网络日志,计算各所述域名对应的页面加载情况指标,所述页面加载情况指标为,所述第二网站页面的页面加载成功率,与所述第一网站页面的页面加载成功率之间的比值;
根据所述相似度和所述页面加载情况指标,测试网站页面对IPv6的支持度。
可选地,所述获取域名列表的步骤,包括:
获取待测量域名,并将所述待测量域名添加至预设的任务池中;
依次对所述任务池中的各所述待测量域名进行DNS解析,得到DNS解析结果,所述DNS解析结果中包括所述AAAA记录,所述AAAA记录中包括所述IPv6地址;
将所述AAAA记录对应的待测量域名以及所述AAAA记录,存储至预设的数据库中;
从所述数据库中,将具有内容的所述AAAA记录对应的所述待测量域名筛选出,得到所述域名列表。
可选地,所述在IPv4服务器中,爬取各所述域名对应的第一网站页面截图和第一网络日志,所述第一网站页面截图为在所述IPv4服务器中,各所述域名对应的第一网站页面的截图的步骤,包括:
将所述域名列表中的各所述域名添加至第一待处理队列中;
分别访问所述第一待处理队列中各所述域名对应的第一网站;
在所述第一网站加载完成的情况下,存储所述第一网络日志,并对所述第一网站页面进行截图处理,得到第一网站页面截图,所述第一网络日志为所述第一网站加载完成后对应的网络日志;
所述在IPv6服务器中,爬取各所述域名对应的第二网站页面截图和第二网络日志,所述第二网站页面截图为在所述IPv6服务器中,各所述域名对应的第二网站页面的截图的步骤,包括:
将所述域名列表中的各所述域名添加至第二待处理队列中;
分别访问所述第二待处理队列中各所述域名对应的第二网站;
在所述第二网站加载完成的情况下,存储所述第二网络日志,并对所述第二网站页面进行截图处理,得到第二网站页面截图,所述第二网络日志为所述第二网站加载完成后对应的网络日志,所述第一网站页面截图的尺寸与所述第二网站页面截图的尺寸相同。
可选地,所述计算所述第一网站页面截图与所述第二网站页面截图之间的相似度的步骤,包括:
从所述第一网站页面截图中提取各第一可见区域中预设位置特征点的位置信息,以及各所述第一可见区域的宽度和高度,得到各所述第一可见区域对应的第一特征点集合,所述第一特征点集合中的元素表示所述第一可见区域中各特征点的像素点信息;
从所述第二网站页面截图中提取各第二可见区域中预设位置特征点的位置信息,以及各所述第二可见区域的宽度和高度,得到各所述第二可见区域对应的第二特征点集合,所述第二特征点集合中的元素表示所述第二可见区域中各特征点的像素点信息,可见区域包括:可见文本区域,可见图像区域,可见表格区域,或者可见列表区域,像素点信息包括特征点的位置信息和颜色信息;
利用预设表达式,计算所述第一网站页面截图和所述第二网站页面截图之间的相似度,所述预设表达式为:
Figure BDA0002287574070000031
式中,S表示所述相似度,Sipv6-t表示所述第二网站页面截图中所述可见文本区域对应的第二特征点集合,Sipv4-t表示所述第一网站页面截图中所述可见文本区域对应的第一特征点集合,Sipv6-i表示所述第二网站页面截图中所述可见图像区域对应的第二特征点集合,Sipv4-i表示所述第一网站页面截图中所述可见图像区域对应的第一特征点集合,Sipv6-a表示所述第二网站页面截图中所述可见表格区域对应的第二特征点集合,Sipv4-a表示所述第一网站页面截图中所述可见表格区域对应的第一特征点集合,Sipv6-l表示所述第二网站页面截图中所述可见列表区域对应的第二特征点集合,Sipv4-l表示所述第一网站页面截图中所述可见列表区域对应的第一特征点集合。
可选地,所述基于所述第一网络日志和所述第二网络日志,计算各所述域名对应的页面加载情况指标的步骤,包括:
针对各所述域名,从所述域名对应的第一网络日志中提取第一响应消息,从所述域名对应的第二网络日志中提取第二响应消息;
从所述第一响应消息中筛选预设类型的第一响应消息,并统计所述预设类型的第一响应消息的数量,并从所述第二响应消息中筛选出预设类型的第二响应消息,并统计所述预设类型的第二响应消息的数量;
从所述预设类型的第一响应消息中统计状态码为预设状态码的第一响应消息的数量,并从所述预设类型的第二响应消息中统计状态码为预设状态码的第二响应消息的数量;
将所述状态码为预设状态码的第一响应消息的数量,与所述预设类型的第一响应消息的数量的比值,确定为第一页面加载成功率,并将所述状态码为预设状态码的第二响应消息的数量,与所述预设类型的第二响应消息的数量的比值,确定为第二页面加载成功率;
将所述第二页面加载成功率与所述第一页面加载成功率的比值,确定为所述页面加载情况指标。
可选地,所述根据所述相似度和所述页面加载情况指标,测试网站页面对IPv6的支持度的步骤,包括:
利用所述相似度和所述页面加载情况指标的乘积,测试所述网站页面对所述IPv6的支持度。
第二方面,本发明实施例提供了一种基于视觉信息的网站页面IPv6支持度测试装置,所述装置包括:
获取模块,用于获取域名列表,所述域名列表中的各域名具有与该域名对应的IPv6地址;
第一爬取模块,用于在IPv4服务器中,爬取各所述域名对应的第一网站页面截图和第一网络日志,所述第一网站页面截图为在所述IPv4服务器中,各所述域名对应的第一网站页面的截图;
第二爬取模块,用于在IPv6服务器中,爬取各所述域名对应的第二网站页面截图和第二网络日志,所述第二网站页面截图为在所述IPv6服务器中,各所述域名对应的第二网站页面的截图;
第一计算模块,用于计算所述第一网站页面截图与所述第二网站页面截图之间的相似度;
第二计算模块,用于基于所述第一网络日志和所述第二网络日志,计算各所述域名对应的页面加载情况指标,所述页面加载情况指标为,所述第二网站页面的页面加载成功率,与所述第一网站页面的页面加载成功率之间的比值;
测试模块,用于根据所述相似度和所述页面加载情况指标,测试网站页面对IPv6的支持度。
可选地,所述获取模块,包括:
获取子模块,用于获取待测量域名,并将所述待测量域名添加至预设的任务池中;
解析子模块,用于依次对所述任务池中的各所述待测量域名进行DNS解析,得到DNS解析结果,所述DNS解析结果中包括所述AAAA记录,所述AAAA记录中包括所述IPv6地址;
第一存储子模块,用于将所述AAAA记录对应的待测量域名以及所述AAAA记录,存储至预设的数据库中;
筛选子模块,用于从所述数据库中,将具有内容的所述AAAA记录对应的所述待测量域名筛选出,得到所述域名列表。
可选地,所述第一爬取模块,包括:
第一添加子模块,用于将所述域名列表中的各所述域名添加至第一待处理队列中;
第一访问子模块,用于分别访问所述第一待处理队列中各所述域名对应的第一网站;
第三存储子模块,用于在所述第一网站加载完成的情况下,存储所述第一网络日志,并对所述第一网站页面进行截图处理,得到第一网站页面截图,所述第一网络日志为所述第一网站加载完成后对应的网络日志;
所述第二爬取模块,包括:
第二添加子模块,用于将所述域名列表中的各所述域名添加至第二待处理队列中;
第二访问子模块,用于分别访问所述第二待处理队列中各所述域名对应的第二网站;
第二存储子模块,用于在所述第二网站加载完成的情况下,存储所述第二网络日志,并对所述第二网站页面进行截图处理,得到第二网站页面截图,所述第二网络日志为所述第二网站加载完成后对应的网络日志,所述第一网站页面截图的尺寸与所述第二网站页面截图的尺寸相同。
可选地,第一计算模块,包括:
第一提取子模块,用于从所述第一网站页面截图中提取各第一可见区域中预设位置特征点的位置信息,以及各所述第一可见区域的宽度和高度,得到各所述第一可见区域对应的第一特征点集合,所述第一特征点集合中的元素表示所述第一可见区域中各特征点的像素点信息;
第二提取子模块,用于从所述第二网站页面截图中提取各第二可见区域中预设位置特征点的位置信息,以及各所述第二可见区域的宽度和高度,得到各所述第二可见区域对应的第二特征点集合,所述第二特征点集合中的元素表示所述第二可见区域中各特征点的像素点信息,可见区域包括:可见文本区域,可见图像区域,可见表格区域,或者可见列表区域,像素点信息包括特征点的位置信息和颜色信息;
计算子模块,用于利用预设表达式,计算所述第一网站页面截图和所述第二网站页面截图之间的相似度,所述预设表达式为:
Figure BDA0002287574070000071
式中,S表示所述相似度,Sipv6-t表示所述第二网站页面截图中所述可见文本区域对应的第二特征点集合,Sipv4-t表示所述第一网站页面截图中所述可见文本区域对应的第一特征点集合,Sipv6-i表示所述第二网站页面截图中所述可见图像区域对应的第二特征点集合,Sipv4-i表示所述第一网站页面截图中所述可见图像区域对应的第一特征点集合,Sipv6-a表示所述第二网站页面截图中所述可见表格区域对应的第二特征点集合,Sipv4-a表示所述第一网站页面截图中所述可见表格区域对应的第一特征点集合,Sipv6-l表示所述第二网站页面截图中所述可见列表区域对应的第二特征点集合,Sipv4-l表示所述第一网站页面截图中所述可见列表区域对应的第一特征点集合。
可选地,第二计算模块,包括:
第三提取子模块,用于针对各所述域名,从所述域名对应的第一网络日志中提取第一响应消息,从所述域名对应的第二网络日志中提取第二响应消息;
处理子模块,用于从所述第一响应消息中筛选预设类型的第一响应消息,并统计所述预设类型的第一响应消息的数量,并从所述第二响应消息中筛选出预设类型的第二响应消息,并统计所述预设类型的第二响应消息的数量;
统计子模块,用于从所述预设类型的第一响应消息中统计状态码为预设状态码的第一响应消息的数量,并从所述预设类型的第二响应消息中统计状态码为预设状态码的第二响应消息的数量;
第一确定子模块,用于将所述状态码为预设状态码的第一响应消息的数量,与所述预设类型的第一响应消息的数量的比值,确定为第一页面加载成功率,并将所述状态码为预设状态码的第二响应消息的数量,与所述预设类型的第二响应消息的数量的比值,确定为第二页面加载成功率;
第二确定子模块,用于将所述第二页面加载成功率与所述第一页面加载成功率的比值,确定为所述页面加载情况指标。
可选地,所述测试模块,具体用于:
利用所述相似度和所述页面加载情况指标的乘积,测试所述网站页面对所述IPv6的支持度。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现本发明实施例第一方面提供的基于视觉信息的网站页面IPv6支持度测试方法的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行本发明实施例第一方面提供的基于视觉信息的网站页面IPv6支持度测试方法的方法步骤。
本发明实施例提供的一种基于视觉信息的网站页面IPv6支持度测试方法及装置,通过在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志,在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志;计算第一网站页面截图和第二网站页面截图的相似度,根据相似度可以测试在IPv6服务器中访问的网站页面的结构,与在IPv4服务器中访问的网站页面的结构是否相同;基于第一网络日志和第二网络日志,计算页面加载情况指标,通过页面加载情况指标,可以测试在IPv6服务器中访问网站时,网站页面加载成功率,与IPv4服务器中网站页面加载成功率是否相同,即网站页面中支持IPv4的元素是否也能够支持IPv6,最终根据相似度和页面加载情况指标,综合测试网站页面对IPv6的支持度。因此,本发明实施例,能够通过网站页面的结构和网站页面加载成功率,综合测试网站页面对IPv6的支持度,进而能够更为全面地对网站页面IPv6支持度进行测试。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试方法的一种流程示意图;
图2为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试方法中,步骤S101的一种流程示意图;
图3为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试方法中,步骤S102的一种流程示意图;
图4为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试方法中,步骤S103的一种流程示意图;
图5为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试方法中,步骤S104的一种流程示意图;
图6为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试方法中,步骤S105的一种流程示意图;
图7为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试装置的一种结构示意图;
图8为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试装置中,获取模块的一种结构示意图;
图9为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试装置中,第一爬取模块的一种结构示意图;
图10为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试装置中,第二爬取模块的一种结构示意图;
图11为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试装置中,第一计算模块的一种结构示意图;
图12为本发明实施例提供的基于视觉信息的网站页面IPv6支持度测试装置中,第二计算模块的一种结构示意图;
图13为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于视觉信息的网站页面IPv6支持度测试方法,该过程可以包括以下步骤:
S101,获取域名列表。
该域名列表中包含有多个域名,且域名列表中的各域名具有与该域名对应的IPv6地址。由于域名列表中的各域名均为用于测试网站页面对IPv6支持度的域名,且每个域名均有其对应的网站,网站通常存储在服务器中,服务器的IP地址,在本发明实施例中即为IPv6地址,为该域名对应的IPv6地址。因此,每个域名可以具有与之对应的IPv6地址,便于后续对与域名对应的网站进行访问,并根据访问结果对测试网站页面对IPv6的支持度。
S102,在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志。
在本发明实施例中,可以利用爬虫对各域名进行爬取,由于每个域名均有其对应的网站,因此对域名进行爬取,待网站页面加载完成后即可得到各域名对应网站的第一网站页面截图和第一网络日志,此处的爬虫可以是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本;此处的第一网站页面截图可以为在IPv4服务器中,各域名对应的第一网站页面的截图。需要说明的是,IPv4服务器可以指,在IPv4环境下运行的服务器。
S103,在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志。
在本发明实施例中,可以利用爬虫对各域名进行爬取,由于每个域名均有其对应的网站,因此对域名进行爬取,待网站页面加载完成后即可得到各域名对应的第二网站页面截图和第二网络日志;此处的第二网站页面截图为在IPv6服务器中,各域名对应的第二网站页面的截图。需要说明的是,此处的IPv6服务器可以指,在IPv6环境下运行的服务器。
还需要说明的是,可以按照先后顺序分别在IPv4服务器和IPv6服务器中对域名进行爬取,例如,预先准备一个服务器,且该服务器同时支持IPv4和IPv6,在对网站页面IPv6支持度测试的过程中,可以先将IPv4环境关闭,即,使该服务器在IPv6的环境下运行,并对各域名进行爬取,在爬取工作完成后,将IPv4环境关闭,将IPv6环境打开,使该服务器在IPv4环境下运行,并对各域名进行爬取;或者,也可以同时在IPv4服务器和IPv6服务器中对各域名进行爬取,例如,预先准备两个服务器,其中一个服务器在IPv6环境下运行,另一个服务器在IPv4环境下运行,在对网站页面IPv6支持度测试的过程中,可以同时在这两个服务器中分别对各域名进行爬取。
S104,计算第一网站页面截图与第二网站页面截图之间的相似度。
由于第一网站页面截图为在IPv4服务器中对应的第一网站页面的网站页面截图,第二网站页面截图为在IPv6服务器中,IPv6地址对应的第二网站页面的网站页面截图,因此,通过计算两者之间的相似度,即可判断在IPv6服务器中访问的网站页面的结构,与在IPv4服务器中访问的网站页面的结构是否相同,以及在IPv4服务器中可阅读的网站页面,在IPv6服务器中是否仍然可阅读。例如,当相似度为1时,表明第一网站页面截图和第二网站页面截图完全相同,即第一网站页面和第二网站页面在视觉上一致,则表明第一网站页面和第二网站页面结构相同,且可阅读的网站页面也相同,进一步表明两者提供了相同的体验,网站页面可以很好地支持IPv6;当相似度小于1时,则表明在IPv6服务器中无法提供与IPv4服务器中相同的体验,而且相似度越小,表明网站页面对IPv6的支持度越低。
S105,基于第一网络日志和第二网络日志,计算各域名对应的页面加载情况指标。
在本发明实施例中,页面加载情况指标为,第二网站页面的页面加载成功率,与第一网站页面的页面加载成功率之间的比值。由于网络日志中记录有收到的所有响应消息,每个响应消息中携带有状态码,其中状态码可以表示服务器是否成功处理了对网站的访问请求等信息,因此,根据第一网络日志中携带的数据,可以计算第一网站页面的页面加载成功率,根据第二网络日志中携带的数据,可以计算第二网站页面的页面加载成功率。
通过各域名对应的页面加载情况指标,便可测试在IPv6服务器中网站页面加载成功率,是否能够到达在IPv4服务器中的网站页面加载成功率,即可判断网站页面中在IPv4服务器中能够成功加载的元素,在IPv6服务器中是否能够成功加载,即,在IPv6服务器中能否提供和IPv4服务器相同的体验,进而判断网站页面中的元素是否能够支持IPv6。例如,当页面加载情况指标为1时,表明网站页面中在IPv4服务器中能够成功加载的元素,在IPv6服务器中也能够成功加载,即这部分元素能够支持IPv6,在IPv6服务器中可以提供与IPv4服务器相同的用户体验。
S106,根据相似度和页面加载情况指标,测试网站页面对IPv6的支持度。
由于相似度可以测试第一网站页面和第二网站页面的结构是否相同,以及在IPv4服务器中可阅读的网站页面是否在IPv6服务器中仍然可阅读;页面加载情况指标可以测试在IPv4服务器中能够成功加载的网站页面元素,是否在IPv6服务器中也能够成功加载。因此,根据相似度和页面加载情况指标,可以更为全面地测试网站页面对IPv6的支持度。
作为本发明实施例一种可选的实施方式,如图2所示,图1所示实施例流程步骤S101,可以包括:
S1011,获取待测量域名,并将待测量域名添加至预设的任务池中。
任务池是缓存任务的组件,通常可以将服务器中的所有任务缓存至任务池中,本发明实施例中,访问域名对应的网站即为一个任务,而且对于任务池中的各任务,在任务池中还可以显示该任务的状态,例如,处理中,已完成,或者待处理等。由于任务池可以提供对任务的缓存机制,该缓存机制可以减少频繁地创建和回收任务产生的系统开销,并节省存储资源,因此在获取到待测量域名后,可以将待测量域名添加至任务池中。需要说明的是,通常情况下,在万维网中,当应用程序启动时,服务器便可以创建任务池。
此外,为了减小网站页面对IPv6支持度的测试误差,提高支持度测试的准确性,可以获取多个待测量域名,待测量域名的数量可以根据经验或者实验确定。
S1012,依次对任务池中的各待测量域名进行DNS解析,得到DNS解析结果。
DNS是将域名和IP地址相互映射的一个分布式数据库,能够使用户方便地访问互联网。
通过对各域名进行DNS解析,得到DNS解析结果,其中,DNS解析结果中包括AAAA记录,AAAA记录中包括IPv6地址,该IPv6地址为与域名对应的IPv6地址。
AAAA记录是用来将域名解析到IPv6地址的DNS记录,用户可以将一个域名解析到IPv6地址上,也可以将子域名解析到IPv6地址上,该AAAA记录中的内容可以为IPv6地址。
S1013,将AAAA记录对应的待测量域名以及AAAA记录,存储至预设的数据库中。
为便于在后续对网站页面IPv6支持度测试过程中,对待测量域名对应的网站进行访问,可以将AAAA记录及其对应的待测量域名存储至预设的数据库中,而且还可以存储AAAA记录和待测量域名之间的对应关系,例如,AAAA记录和待测量域名可以以表格的形式存储在数据库中,其中位于同一行的AAAA记录和待测量域名相互对应。需要说明的是,预设的数据库可以为预先存储在服务器中的数据库。
S1014,从数据库中,将具有内容的AAAA记录对应的待测量域名筛选出,得到域名列表。
由于在本发明实施例中,DNS解析结果中可能不存在部分待测量域名所对应的IPv6地址,这表明这些域名对应的网站不支持IPv6,无法在IPv6服务器中对这些网站进行访问。当DNS解析结果中不存在待测量域名对应的IPv6地址时,其AAAA记录则为空,相反,当DNS解析结果中存在待测量域名对应的IPv6地址时,其AAAA记录则为该IPv6地址,即,该AAAA中具有内容。因此,可以将这些具有内容AAAA记录对应的待测量域名筛选出,并利用这些待测量域名形成域名列表。
作为本发明实施例一种可选的实施方式,如图3所示,图1所示实施例流程步骤S102,可以包括:
S1021,将域名列表中的各域名添加至第一待处理队列中。
可以将各域名从域名列表中取出,并分别将这些域名添加至第一待处理队列中,便于后续按照的第一待处理队列中的先后顺序对每个域名进行爬取,此处的第一待处理队列可以是预先存储在服务器中的一个队列,可以将各域名分别添加至第一待处理队列中的不同位置。
S1022,分别访问第一待处理队列中各域名对应的第一网站。
可以按照各域名在第一待处理队列中的先后顺序,分别将各域名从第一待处理队列中取出,并利用爬虫访问各域名对应的第一网站。
S1023,在第一网站加载完成的情况下,存储第一网络日志,并对第一网站页面进行截图处理,得到第一网站页面截图。
当第一网站加载完成后,其对应的网络日志中包含的信息较为全面,因此第一网络日志可以为第一网站加载完成后对应的网络日志。
为便于后续计算第一网站页面截图和第二网站页面截图之间的相似度,可以对第一网站页面截图的尺寸进行设置,并将第一网站页面截图的尺寸和第二网站页面截图的尺寸,设置为相同且固定的尺寸。此处的尺寸可以指,网站页面截图的高度和宽度,且高度可以指网站页面截图高度方向上的像素点个数,宽度可以指网站页面截图宽度方向上的像素点个数。
此外,在第一网站访问失败的情况下,可以将该第一网站对应的域名从域名列表中删除,得到新的域名列表。
则,如图4所示,图1所示实施例流程步骤S103,可以包括:
S1031,将域名列表中的各域名添加至第二待处理队列中。
可以将各域名从域名列表中取出,并分别将这些域名添加至第二待处理队列中,便于后续按照的第二待处理队列中的先后顺序对每个域名进行爬取,此处的第二待处理队列可以是预先存储在服务器中的一个队列,可以将各域名分别添加至第二待处理队列中的不同位置。
S1032,分别访问第二待处理队列中各域名对应的第二网站。
可以按照各域名在第二待处理队列中的先后顺序,分别将各域名从第二待处理队列中取出,并利用爬虫访问各域名对应的第二网站。
S1033,在第二网站加载完成的情况下,存储第二网络日志,并对第二网站页面进行截图处理,得到第二网站页面截图。
当第二网站加载完成后,其对应的网络日志中包含的信息较为全面,因此第二网络日志为第二网站加载完成后对应的网络日志。
在第二网站访问失败的情况下,可以将该第二网站对应的域名从域名列表中删除。
作为本发明实施例一种可选的实施方式,如图5所示,图1所示实施例流程步骤S104,可以包括:
首先,可以从图3所示实施例流程中得到的新的域名列表中获取各域名,并读取各域名对应的第一网站页面截图和第二网站页面截图。也可以从图1所示实施例流程中的域名列表中获取各域名,并读取各域名对应的第一网站页面截图和第二网站页面截图,由于该域名列表中,可能存在部分域名对应的网站访问失败,进而不存在其对应的第一网站页面截图,和/或第二网站页面截图的情况,因此,当域名对应的第一网站页面截图和第二网站页面截图均不存在时,则不需要计算两者之间的相似度,当域名对应的第一网站页面截图和第二网站页面截图中的其中一个不存在时,则可以将两者之间的相似度确定为0。
接着,可以从第一网站页面截图中识别其中的第一可见区域,以及从第二网站页面截图中识别其中的第二可见区域。此处需要说明的是,可以采用现有的图像识别方法,对第一可见区域和第二可见区域分别进行识别。
在完成第一可见区域和第二可见区域的识别后,可以按照如下步骤对第一网站页面截图和第二网站页面截图之间的相似度进行计算:
S1041,从第一网站页面截图中提取各第一可见区域中预设位置特征点的位置信息,以及各第一可见区域的宽度和高度,得到各第一可见区域对应的第一特征点集合。
预设位置特征点可以指,该特征点在第一可见区域中的位置是预设好的,例如,当第一可见区域为矩形时,该特征点可以为第一可见区域的端点,或者边缘线的中点。通过该预设位置特征点的位置信息,以及第一可见区域的宽度和高度,即可计算得到第一可见区域中各特征点的位置信息,进而根据这些特征点的位置信息获取这些特征点的像素点信息,可以将各特征点的像素点信息组成为与该第一可见区域对应的第一特征点集合,即,第一特征点集合中的元素表示第一可见区域中各特征点的像素点信息。此处,像素点信息可以包括特征点的位置信息和颜色信息。
需要说明的是,在本发明实施例中,除采用预设位置特征点的位置信息,以及可见区域的宽度和高度,计算可见区域中各特征点的位置信息之外,还可以直接提取可见区域中各特征点的位置信息。
可见区域可以包括:可见文本区域,可见图像区域,可见表格区域,或者可见列表区域,在该步骤可以分别得到可见文本区域对应的第一特征点集合,可见图像区域对应的第一特征点集合,可见表格区域对应的第一特征点集合,以及可见列表区域对应的第一特征点集合。当然,如果第一网站页面截图中还包括其他区域,也可以计算得到其他区域对应的第一特征点集合。
S1042,从第二网站页面截图中提取各第二可见区域中预设位置特征点的位置信息,以及各第二可见区域的宽度和高度,得到各第二可见区域对应的第二特征点集合。
预设位置特征点可以指,该特征点在第二可见区域中的位置时预设好的,例如,当第二可见区域为矩形时,该特征点可以是第二可见区域的端点,或者边缘线的中点。通过该预设位置特征点的位置信息,以及第二可见区域的宽度和高度,即可计算得到第二可见区域中各特征点的位置信息,进而根据这些特征点的位置信息获取这些特征点的像素点信息,即,第二特征点集合中的元素表示第二可见区域中各特征点的像素点信息。此处,像素点信息可以包括特征点的位置信息和颜色信息。
需要说明的是,在本发明实施例中,除采用预设位置特征点的位置信息,以及可见区域的宽度和高度,计算可见区域中各特征点的位置信息之外,还可以直接提取可见区域中个特征点的位置信息。
可见区域可以包括:可见文本区域,可见图像区域,可见表格区域,或者可见列表区域,在该步骤可以分别得到可见文本区域对应的第二特征点集合,可见图像区域对应的第二特征点集合,可见表格区域对应的第二特征点集合,以及可见列表区域对应的第二特征点集合。当然,如果第二网站页面截图中还包括其他区域,也可以计算得到其他区域对应的第二特征点集合。
S1043,利用预设表达式,计算第一网站页面截图和第二网站页面截图之间的相似度。
预设表达式为:
Figure BDA0002287574070000171
式中,S表示相似度,Sipv6-t表示第二网站页面截图中可见文本区域对应的第二特征点集合,Sipv4-t表示第一网站页面截图中可见文本区域对应的第一特征点集合,Sipv6-i表示第二网站页面截图中可见图像区域对应的第二特征点集合,Sipv4-i表示第一网站页面截图中可见图像区域对应的第一特征点集合,Sipv6-a表示第二网站页面截图中可见表格区域对应的第二特征点集合,Sipv4-a表示第一网站页面截图中可见表格区域对应的第一特征点集合,Sipv6-l表示第二网站页面截图中可见列表区域对应的第二特征点集合,Sipv4-l表示第一网站页面截图中可见列表区域对应的第一特征点集合。
预设表达式中,Sipv6-t∩Sipv4-t表示Sipv6-t与Sipv4-t之间的交集,|Sipv6-t∩Sipv4-t|表示Sipv6-t与Sipv4-t之间的交集中元素的个数,即Sipv6-t和Sipv4-t重合的像素点的个数,|Sipv4-t|表示Sipv4-t中元素的个数。
通过上述的预设表达式,可以先分别计算第二网站页面截图中可见文本区域,与第一网站页面中可见文本区域的相似度,第二网站页面截图中可见图像区域,与第一网站页面中可见图像区域的相似度,第二网站页面截图中可见表格区域,与第一网站页面中可见表格区域的相似度,第二网站页面截图中可见列表区域,与第一网站页面中可见列表区域的相似度,然后计算上述四个相似度的平均值。当S=1时,表明在IPv6服务器中访问的第一网站页面,与在IPv4服务器中访问的第二网站页面的结构完全相同,当S=0时,表明在IPv6服务器中访问的第一网站页面,与在IPv4服务器中访问的第二网站页面的结构完全不同。采用上述的技术方案,能够更加准确地计算第一网站页面和第二网站页面之间的相似度。
在得到第一网站页面截图与第二网站页面截图之间的相似度后,可以将域名与相似度进行关联存储。
作为本发明实施例一种可选的实施方式,如图6所示,图1所示实施例流程步骤S105,可以包括:
S1051,针对各域名,从域名对应的第一网络日志中提取第一响应消息,从域名对应的第二网络日志中提取第二响应消息。
网络日志中通常记录针对每次网站访问过程中的请求消息和响应消息等消息,响应消息为服务器端发送给客户端的数据,该数据中通常包含服务器是否成功处理访问请求等信息。因此,可以从第一网络日志中提取第一响应消息,从第二网络日志中提取第二响应消息。
S1052,从第一响应消息中筛选预设类型的第一响应消息,并统计预设类型的第一响应消息的数量,并从第二响应消息中筛选出预设类型的第二响应消息,并统计预设类型的第二响应消息的数量。
在本发明实施例中,预设类型可以为image/*、application/javascript、text/css和text/plain,本步骤可以从所有第一响应消息中筛选出这些类型的第一响应消息,并统计他们的数量。
S1053,从预设类型的第一响应消息中统计状态码为预设状态码的第一响应消息的数量,并从预设类型的第二响应消息中统计状态码为预设状态码的第二响应消息的数量。
响应消息中的状态码可以为预设状态码,该预设状态码的数值可以为200,也可以为其他的数值,只要该状态码可以表明服务器已成功处理对网站的访问请求,即,成功加载了网站页面,因此,通过统计状态码为预设状态码的响应消息的数量,即可得到成功处理访问请求的数量。
S1054,将状态码为预设状态码的第一响应消息的数量,与预设类型的第一响应消息的数量的比值,确定为第一页面加载成功率,并将状态码为预设状态码的第二响应消息的数量,与预设类型的第二响应消息的数量的比值,确定为第二页面加载成功率。
由于状态码为预设状态码的响应消息的数量,表明成功处理对网站的访问请求的数量,因此,通过计算该数量与预设类型的第一响应消息的数量的比值,即可得到网站页面的加载成功率。
S1055,将第二页面加载成功率与第一页面加载成功率的比值,确定为页面加载情况指标。
将第二页面加载成功率与第一页面加载成功率的比值,确定为页面加载情况指标,可以用于测试在IPv6服务器中,网站页面加载成功率是否能够到达在IPv4服务器中的网站页面加载成功率,即,网站页面中支持IPv4的元素是否也能够支持IPv6,因此能够用于对网站页面对IPv6的支持度进行测试。
作为本发明实施例一种可选的实施方式,图1所示实施例流程步骤S106,具体可以包括:
利用相似度和页面加载情况指标的乘积,测试网站页面对IPv6的支持度。
针对域名列表中的各域名,将与该域名对应的相似度,与页面加载情况指标相乘,并用该得到的乘积,测试与该域名对应的网站页面对IPv6的支持度。另外,为了尽可能使对网站页面IPv6支持度的测试更为准确,可以计算各域名对应的乘积的平均值,并利用该平均值综合测试网站页面对IPv6的支持度。
本发明实施例提供的一种基于视觉信息的网站页面IPv6支持度测试方法,通过在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志,在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志;计算第一网站页面截图和第二网站页面截图的相似度,根据相似度可以测试在IPv6服务器中访问的网站页面的结构,与在IPv4服务器中访问的网站页面的结构是否相同;基于第一网络日志和第二网络日志,计算页面加载情况指标,通过页面加载情况指标,可以测试在IPv6服务器中访问网站时,网站页面加载成功率,与IPv4服务器中网站页面加载成功率是否相同,即网站页面中支持IPv4的元素是否也能够支持IPv6,最终根据相似度和页面加载情况指标,综合测试网站页面对IPv6的支持度。因此,本发明实施例,能够通过网站页面的结构和网站页面加载成功率,综合测试网站页面对IPv6的支持度,进而能够更为全面地对网站页面IPv6支持度进行测试。
本发明实施例提供的一种基于视觉信息的网站页面IPv6支持度测试装置的一种具体实施例,与图1所示流程相对应,参考图7,图7为本发明实施例的一种基于视觉信息的网站页面IPv6支持度测试装置的一种结构示意图,包括:
获取模块201,用于获取域名列表,域名列表中的各域名具有与该域名对应的IPv6地址。
第一爬取模块202,用于在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志,第一网站页面截图为在IPv4服务器中,各域名对应的第一网站页面的截图。
第二爬取模块203,用于在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志,第二网站页面截图为在IPv6服务器中,各域名对应的第二网站页面的截图。
第一计算模块204,用于计算第一网站页面截图与第二网站页面截图之间的相似度。
第二计算模块205,用于基于第一网络日志和第二网络日志,计算各域名对应的页面加载情况指标,页面加载情况指标为,第二网站页面的页面加载成功率,与第一网站页面的页面加载成功率之间的比值。
测试模块206,用于根据相似度和页面加载情况指标,测试网站页面对IPv6的支持度。
作为本发明一种可选的实施方式,如图8所示,上述获取模块201,可以包括:
获取子模块2011,用于获取待测量域名,并将待测量域名添加至预设的任务池中。
解析子模块2012,用于依次对任务池中的各待测量域名进行DNS解析,得到DNS解析结果,DNS解析结果中包括AAAA记录,AAAA记录中包含IPv6地址。
第一存储子模块2013,用于将AAAA记录对应的待测量域名以及AAAA记录,存储至预设的数据库中。
筛选子模块2014,用于从数据库中,将具有内容的所述AAAA记录对应的所述待测量域名筛选出,得到域名列表。
作为本发明一种可选的实施方式,如图9所示,上述第一爬取模块202,可以包括:
第一添加子模块2021,用于将域名列表中的各域名添加至第一待处理队列中。
第一访问子模块2022,用于分别访问第一待处理队列中各域名对应的第一网站。
第三存储子模块2023,用于在第一网站加载完成的情况下,存储第一网络日志,并对第一网站页面进行截图处理,得到第一网站页面截图,第一网络日志为第一网站加载完成后对应的网络日志。
则,如图10所示,上述第二爬取模块203,可以包括:
第二添加子模块2031,用于将域名列表中的各域名添加至第二待处理队列中。
第二访问子模块2032,用于分别访问第二待处理队列中各域名对应的第二网站。
第二存储子模块2033,用于在第二网站加载完成的情况下,存储第二网络日志,并对第二网站页面进行截图处理,得到第二网站页面截图,第二网络日志为第二网站加载完成后对应的网络日志,所述第一网站页面截图的尺寸与所述第二网站页面截图的尺寸相同。
作为本发明一种可选的实施方式,如图11所示,上述第一计算模块204,可以包括:
第一提取子模块2041,用于从第一网站页面截图中提取各第一可见区域中预设位置特征点的位置信息,以及各第一可见区域的宽度和高度,得到各第一可见区域对应的第一特征点集合,第一特征点集合中的元素表示第一可见区域中各特征点的像素点信息。
第二提取子模块2042,用于从第二网站页面截图中提取各第二可见区域中预设位置特征点的位置信息,以及各第二可见区域的宽度和高度,得到各第二可见区域对应的第二特征点集合,第二特征点集合中的元素表示第二可见区域中各特征点的像素点信息,可见区域包括:可见文本区域,可见图像区域,可见表格区域,或者可见列表区域,像素点信息包括特征点的位置信息和颜色信息。
计算子模块2043,用于利用预设表达式,计算第一网站页面截图和第二网站页面截图之间的相似度,预设表达式为:
Figure BDA0002287574070000221
式中,S表示相似度,Sipv6-t表示第二网站页面截图中可见文本区域对应的第二特征点集合,Sipv4-t表示第一网站页面截图中可见文本区域对应的第一特征点集合,Sipv6-i表示第二网站页面截图中可见图像区域对应的第二特征点集合,Sipv4-i表示第一网站页面截图中可见图像区域对应的第一特征点集合,Sipv6-a表示第二网站页面截图中可见表格区域对应的第二特征点集合,Sipv4-a表示第一网站页面截图中可见表格区域对应的第一特征点集合,Sipv6-l表示第二网站页面截图中可见列表区域对应的第二特征点集合,Sipv4-l表示第一网站页面截图中可见列表区域对应的第一特征点集合。
作为本发明一种可选的实施方式,如图12所示,上述第二计算模块205,可以包括:
第三提取子模块2051,用于针对各域名,从域名对应的第一网络日志中提取第一响应消息,从域名对应的第二网络日志中提取第二响应消息。
处理子模块2052,用于从第一响应消息中筛选预设类型的第一响应消息,并统计预设类型的第一响应消息的数量,并从第二响应消息中筛选出预设类型的第二响应消息,并统计预设类型的第二响应消息的数量。
统计子模块2053,用于从预设类型的第一响应消息中统计状态码为预设状态码的第一响应消息的数量,并从预设类型的第二响应消息中统计状态码为预设状态码的第二响应消息的数量。
第一确定子模块2054,用于将状态码为预设状态码的第一响应消息的数量,与预设类型的第一响应消息的数量的比值,确定为第一页面加载成功率,并将状态码为预设状态码的第二响应消息的数量,与预设类型的第二响应消息的数量的比值,确定为第二页面加载成功率。
第二确定子模块2055,用于将第二页面加载成功率与第一页面加载成功率的比值,确定为页面加载情况指标。
作为本发明一种可选的实施方式,上述测试模块206,具体可以用于:
利用相似度和页面加载情况指标的乘积,测试网站页面对IPv6的支持度。
本发明实施例提供的一种基于视觉信息的网站页面IPv6支持度测试装置,通过在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志,在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志;计算第一网站页面截图和第二网站页面截图的相似度,根据相似度可以测试在IPv6服务器中访问的网站页面的结构,与在IPv4服务器中访问的网站页面的结构是否相同;基于第一网络日志和第二网络日志,计算页面加载情况指标,通过页面加载情况指标,可以测试在IPv6服务器中访问网站时,网站页面加载成功率,与IPv4服务器中网站页面加载成功率是否相同,即网站页面中支持IPv4的元素是否也能够支持IPv6,最终根据相似度和页面加载情况指标,综合测试网站页面对IPv6的支持度。因此,本发明实施例,能够通过网站页面的结构和网站页面加载成功率,综合测试网站页面对IPv6的支持度,进而能够更为全面地对网站页面IPv6支持度进行测试。
本发明实施例还提供了一种电子设备,如图13所示,包括处理器301、通信接口302、存储器303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信。
存储器303,用于存放计算机程序。
处理器301,用于执行存储器303上所存放的程序时,实现如下步骤:
获取域名列表,域名列表中的各域名具有与该域名对应的IPv6地址。
在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志,第一网站页面截图为在IPv4服务器中,各域名对应的第一网站页面的截图。
在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志,第二网站页面截图为在IPv6服务器中,各域名对应的第二网站页面的截图。
计算第一网站页面截图与第二网站页面截图之间的相似度。
基于第一网络日志和第二网络日志,计算各域名对应的页面加载情况指标,页面加载情况指标为,第二网站页面的页面加载成功率,与第一网站页面的页面加载成功率之间的比值。
根据相似度和页面加载情况指标,网站页面对IPv6的支持度。
本发明实施例提供的一种电子设备,通过在IPv4服务器中,爬取各域名对应的第一网站页面截图和第一网络日志,在IPv6服务器中,爬取各域名对应的第二网站页面截图和第二网络日志;计算第一网站页面截图和第二网站页面截图的相似度,根据相似度可以测试在IPv6服务器中访问的网站页面的结构,与在IPv4服务器中访问的网站页面的结构是否相同;基于第一网络日志和第二网络日志,计算页面加载情况指标,通过页面加载情况指标,可以测试在IPv6服务器中访问网站时,网站页面加载成功率,与IPv4服务器中网站页面加载成功率是否相同,即网站页面中支持IPv4的元素是否也能够支持IPv6,最终根据相似度和页面加载情况指标,综合测试网站页面对IPv6的支持度。因此,本发明实施例,能够通过网站页面的结构和网站页面加载成功率,综合测试网站页面对IPv6的支持度,进而能够更为全面地对网站页面IPv6支持度进行测试。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的基于视觉信息的网站页面IPv6支持度测试方法。
对于装置/电子设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,本发明实施例的装置、电子设备及存储介质分别是应用上述基于视觉信息的网站页面IPv6支持度方法的装置、电子设备及存储介质,则上述基于视觉信息的网站页面IPv6支持度方法的所有实施例均适用于该装置、电子设备及存储介质,且均能达到相同或相似的有益效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种基于视觉信息的网站页面IPv6支持度测试方法,其特征在于,所述方法包括:
获取域名列表,所述域名列表中的各域名具有与该域名对应的IPv6地址;
在IPv4服务器中,爬取各所述域名对应的第一网站页面截图和第一网络日志,所述第一网站页面截图为在所述IPv4服务器中,各所述域名对应的第一网站页面的截图;
在IPv6服务器中,爬取各所述域名对应的第二网站页面截图和第二网络日志,所述第二网站页面截图为在所述IPv6服务器中,各所述域名对应的第二网站页面的截图;
计算所述第一网站页面截图与所述第二网站页面截图之间的相似度;
基于所述第一网络日志和所述第二网络日志,计算各所述域名对应的页面加载情况指标,所述页面加载情况指标为,所述第二网站页面的页面加载成功率,与所述第一网站页面的页面加载成功率之间的比值;
根据所述相似度和所述页面加载情况指标,测试网站页面对IPv6的支持度。
2.根据权利要求1所述的方法,其特征在于,所述获取域名列表的步骤,包括:
获取待测量域名,并将所述待测量域名添加至预设的任务池中;
依次对所述任务池中的各所述待测量域名进行域名系统DNS解析,得到DNS解析结果,所述DNS解析结果中包括AAAA记录,所述AAAA记录中包括所述IPv6地址;
将所述AAAA记录对应的待测量域名以及所述AAAA记录,存储至预设的数据库中;
从所述数据库中,将具有内容的所述AAAA记录对应的所述待测量域名筛选出,得到所述域名列表。
3.根据权利要求1所述的方法,其特征在于,所述在IPv4服务器中,爬取各所述域名对应的第一网站页面截图和第一网络日志,所述第一网站页面截图为在所述IPv4服务器中,各所述域名对应的第一网站页面的截图的步骤,包括:
将所述域名列表中的各所述域名添加至第一待处理队列中;
分别访问所述第一待处理队列中各所述域名对应的第一网站;
在所述第一网站加载完成的情况下,存储所述第一网络日志,并对所述第一网站页面进行截图处理,得到第一网站页面截图,所述第一网络日志为所述第一网站加载完成后对应的网络日志;
所述在IPv6服务器中,爬取各所述域名对应的第二网站页面截图和第二网络日志,所述第二网站页面截图为在所述IPv6服务器中,各所述域名对应的第二网站页面的截图的步骤,包括:
将所述域名列表中的各所述域名添加至第二待处理队列中;
分别访问所述第二待处理队列中各所述域名对应的第二网站;
在所述第二网站加载完成的情况下,存储所述第二网络日志,并对所述第二网站页面进行截图处理,得到第二网站页面截图,所述第二网络日志为所述第二网站加载完成后对应的网络日志,所述第一网站页面截图的尺寸与所述第二网站页面截图的尺寸相同。
4.根据权利要求1所述的方法,其特征在于,所述计算所述第一网站页面截图与所述第二网站页面截图之间的相似度的步骤,包括:
从所述第一网站页面截图中提取各第一可见区域中预设位置特征点的位置信息,以及各所述第一可见区域的宽度和高度,得到各所述第一可见区域对应的第一特征点集合,所述第一特征点集合中的元素表示所述第一可见区域中各特征点的像素点信息;
从所述第二网站页面截图中提取各第二可见区域中预设位置特征点的位置信息,以及各所述第二可见区域的宽度和高度,得到各所述第二可见区域对应的第二特征点集合,所述第二特征点集合中的元素表示所述第二可见区域中各特征点的像素点信息,可见区域包括:可见文本区域,可见图像区域,可见表格区域,或者可见列表区域,像素点信息包括特征点的位置信息和颜色信息;
利用预设表达式,计算所述第一网站页面截图和所述第二网站页面截图之间的相似度,所述预设表达式为:
Figure FDA0002287574060000031
式中,S表示所述相似度,Sipv6-t表示所述第二网站页面截图中所述可见文本区域对应的第二特征点集合,Sipv4-t表示所述第一网站页面截图中所述可见文本区域对应的第一特征点集合,Sipv6-i表示所述第二网站页面截图中所述可见图像区域对应的第二特征点集合,Sipv4-i表示所述第一网站页面截图中所述可见图像区域对应的第一特征点集合,Sipv6-a表示所述第二网站页面截图中所述可见表格区域对应的第二特征点集合,Sipv4-a表示所述第一网站页面截图中所述可见表格区域对应的第一特征点集合,Sipv6-l表示所述第二网站页面截图中所述可见列表区域对应的第二特征点集合,Sipv4-l表示所述第一网站页面截图中所述可见列表区域对应的第一特征点集合。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一网络日志和所述第二网络日志,计算各所述域名对应的页面加载情况指标的步骤,包括:
针对各所述域名,从所述域名对应的第一网络日志中提取第一响应消息,从所述域名对应的第二网络日志中提取第二响应消息;
从所述第一响应消息中筛选预设类型的第一响应消息,并统计所述预设类型的第一响应消息的数量,并从所述第二响应消息中筛选出预设类型的第二响应消息,并统计所述预设类型的第二响应消息的数量;
从所述预设类型的第一响应消息中统计状态码为预设状态码的第一响应消息的数量,并从所述预设类型的第二响应消息中统计状态码为预设状态码的第二响应消息的数量;
将所述状态码为预设状态码的第一响应消息的数量,与所述预设类型的第一响应消息的数量的比值,确定为第一页面加载成功率,并将所述状态码为预设状态码的第二响应消息的数量,与所述预设类型的第二响应消息的数量的比值,确定为第二页面加载成功率;
将所述第二页面加载成功率与所述第一页面加载成功率的比值,确定为所述页面加载情况指标。
6.根据权利要求1所述的方法,其特征在于,所述根据所述相似度和所述页面加载情况指标,测试网站页面对IPv6的支持度的步骤,包括:
利用所述相似度和所述页面加载情况指标的乘积,测试所述网站页面对所述IPv6的支持度。
7.一种基于视觉信息的网站页面IPv6支持度测试装置,其特征在于,所述装置包括:
获取模块,用于获取域名列表,所述域名列表中的各域名具有与该域名对应的IPv6地址;
第一爬取模块,用于在IPv4服务器中,爬取各所述域名对应的第一网站页面截图和第一网络日志,所述第一网站页面截图为在所述IPv4服务器中,各所述域名对应的第一网站页面的截图;
第二爬取模块,用于在IPv6服务器中,爬取各所述域名对应的第二网站页面截图和第二网络日志,所述第二网站页面截图为在所述IPv6服务器中,各所述域名对应的第二网站页面的截图;
第一计算模块,用于计算所述第一网站页面截图与所述第二网站页面截图之间的相似度;
第二计算模块,用于基于所述第一网络日志和所述第二网络日志,计算各所述域名对应的页面加载情况指标,所述页面加载情况指标为,所述第二网站页面的页面加载成功率,与所述第一网站页面的页面加载成功率之间的比值;
测试模块,用于根据所述相似度和所述页面加载情况指标,测试网站页面对IPv6的支持度。
8.根据权利要求7所述的装置,其特征在于,所述获取模块,包括:
获取子模块,用于获取待测量域名,并将所述待测量域名添加至预设的任务池中;
解析子模块,用于依次对所述任务池中的各所述待测量域名进行DNS解析,得到DNS解析结果,所述DNS解析结果中包括所述AAAA记录,所述AAAA记录中包括所述IPv6地址;
存储子模块,用于将所述AAAA记录对应的所述待测量域名以及所述AAAA记录存储至预设的数据库中;
筛选子模块,用于从所述数据库中,将具有内容的所述AAAA记录对应的所述待测量域名筛选出,得到所述域名列表。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN201911166422.5A 2019-11-25 2019-11-25 基于视觉信息的网站页面IPv6支持度测试方法及装置 Active CN111130845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911166422.5A CN111130845B (zh) 2019-11-25 2019-11-25 基于视觉信息的网站页面IPv6支持度测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911166422.5A CN111130845B (zh) 2019-11-25 2019-11-25 基于视觉信息的网站页面IPv6支持度测试方法及装置

Publications (2)

Publication Number Publication Date
CN111130845A true CN111130845A (zh) 2020-05-08
CN111130845B CN111130845B (zh) 2021-04-30

Family

ID=70496603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911166422.5A Active CN111130845B (zh) 2019-11-25 2019-11-25 基于视觉信息的网站页面IPv6支持度测试方法及装置

Country Status (1)

Country Link
CN (1) CN111130845B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132181A (zh) * 2021-03-30 2021-07-16 北京邮电大学 移动应用程序IPv6网络协议支持度检测方法及装置
CN114866511A (zh) * 2022-04-28 2022-08-05 中国电信股份有限公司 统计通信协议部署的方法、装置、系统和存储介质
CN115297042A (zh) * 2022-08-01 2022-11-04 明阳产业技术研究院(沈阳)有限公司 检测不同网络下网页一致性的方法及相关设备
CN116527548A (zh) * 2023-06-26 2023-08-01 中国电信股份有限公司江西分公司 一种基于IPv6动态测试方法及系统
CN116599877A (zh) * 2023-07-19 2023-08-15 国家计算机网络与信息安全管理中心江西分中心 一种基于爬虫技术的IPv6的链接测试方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744950A (zh) * 2013-12-28 2014-04-23 国家电网公司 一种网站IPv6支持度的评价方法
US20160191643A1 (en) * 2011-07-29 2016-06-30 Fortinet, Inc. Facilitating content accessibility via different communication formats
CN109495325A (zh) * 2018-12-26 2019-03-19 睿哲科技股份有限公司 网站IPv6支持度评估方法、装置和设备
CN110377500A (zh) * 2019-06-14 2019-10-25 平安科技(深圳)有限公司 网站页面的测试方法、装置、终端设备及介质
CN110399291A (zh) * 2019-06-20 2019-11-01 平安普惠企业管理有限公司 基于图像识别的用户页面测试方法及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160191643A1 (en) * 2011-07-29 2016-06-30 Fortinet, Inc. Facilitating content accessibility via different communication formats
CN103744950A (zh) * 2013-12-28 2014-04-23 国家电网公司 一种网站IPv6支持度的评价方法
CN109495325A (zh) * 2018-12-26 2019-03-19 睿哲科技股份有限公司 网站IPv6支持度评估方法、装置和设备
CN110377500A (zh) * 2019-06-14 2019-10-25 平安科技(深圳)有限公司 网站页面的测试方法、装置、终端设备及介质
CN110399291A (zh) * 2019-06-20 2019-11-01 平安普惠企业管理有限公司 基于图像识别的用户页面测试方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEFFIE JACOB ERAVUCHIRA等: ""Measuring web similarity from dual-stacked hosts"", 《2016 12TH INTERNATIONAL CONFERENCE ON NETWORK AND SERVICE MANAGEMENT (CNSM)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132181A (zh) * 2021-03-30 2021-07-16 北京邮电大学 移动应用程序IPv6网络协议支持度检测方法及装置
CN113132181B (zh) * 2021-03-30 2022-08-05 北京邮电大学 移动应用程序IPv6网络协议支持度检测方法及装置
CN114866511A (zh) * 2022-04-28 2022-08-05 中国电信股份有限公司 统计通信协议部署的方法、装置、系统和存储介质
CN115297042A (zh) * 2022-08-01 2022-11-04 明阳产业技术研究院(沈阳)有限公司 检测不同网络下网页一致性的方法及相关设备
CN116527548A (zh) * 2023-06-26 2023-08-01 中国电信股份有限公司江西分公司 一种基于IPv6动态测试方法及系统
CN116527548B (zh) * 2023-06-26 2023-09-05 中国电信股份有限公司江西分公司 一种基于IPv6动态测试方法及系统
CN116599877A (zh) * 2023-07-19 2023-08-15 国家计算机网络与信息安全管理中心江西分中心 一种基于爬虫技术的IPv6的链接测试方法
CN116599877B (zh) * 2023-07-19 2023-09-15 国家计算机网络与信息安全管理中心江西分中心 一种基于爬虫技术的IPv6的链接测试方法

Also Published As

Publication number Publication date
CN111130845B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN111130845B (zh) 基于视觉信息的网站页面IPv6支持度测试方法及装置
US9870279B2 (en) Analysis apparatus and analysis method
CN103297394B (zh) 网站安全检测方法和装置
CN110209966B (zh) 一种网页刷新方法、网页系统及电子设备
CN106570750B (zh) 基于浏览器插件的自动报税方法、系统及浏览器插件
CN108900554B (zh) Http协议资产检测方法、系统、设备及计算机介质
CN111104587A (zh) 网页显示方法、装置和服务器
CN109145585B (zh) 一种检测网站存在弱口令的方法及装置
CN107590236B (zh) 一种面向建筑施工企业的大数据采集方法和系统
CN109040346B (zh) 一种泛域名解析中有效域名的筛选方法、装置及设备
CN111159514A (zh) 网络爬虫的任务有效性检测方法、装置和设备及存储介质
CN106598991A (zh) 一种使用会话方式实现与网站交互表单自动提取的网络爬虫系统
CN112100536A (zh) 一种网页访问方法、装置、设备及可读存储介质
CN110365776B (zh) 图片批量下载方法、装置、电子设备及存储介质
CN110781427A (zh) 一种首屏时间的计算方法、装置、设备和存储介质
CN108153663B (zh) 页面数据处理方法及装置
CN112749351B (zh) 链接地址确定方法、装置、计算机可读存储介质及设备
CN117113430A (zh) 网页违规图片检测方法和装置、电子设备、存储介质
CN112579947A (zh) 网页元素图的截取方法、装置及电子设备
CN110691005A (zh) 一种网站监测系统及方法
CN110825976B (zh) 网站页面的检测方法、装置、电子设备及介质
CN104899320A (zh) 网页修复方法、终端、服务器及系统
CN114465926A (zh) 递归服务器监测方法、装置、设备及存储介质
CN106097403B (zh) 一种基于图像曲线推算的网络受保护指数数据的获取方法
CN112671615B (zh) 前端用户操作行为数据的收集方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant