CN108388796B - 动态域名验证方法、系统、计算机设备和存储介质 - Google Patents
动态域名验证方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN108388796B CN108388796B CN201810156825.0A CN201810156825A CN108388796B CN 108388796 B CN108388796 B CN 108388796B CN 201810156825 A CN201810156825 A CN 201810156825A CN 108388796 B CN108388796 B CN 108388796B
- Authority
- CN
- China
- Prior art keywords
- dynamic
- urls
- file
- url
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2119—Authenticating web pages, e.g. with suspicious links
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及域名验证领域,尤其涉及动态域名验证方法、系统、计算机设备和存储介质。包括步骤:获取参数化元素;对参数化元素进行数组化配置,将配置后的数组存入CSV1文件;对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果并将验证结果存入一用于存储和读取验证结果的CSV3文件;过滤出CSV3文件中验证失败的URL,进行定位分析。此验证方法保证了此类项目安全正确的迁移,域名迁移类测试更高效、更全面。
Description
技术领域
本发明涉及域名验证领域,尤其涉及一种动态域名验证方法、系统、计算机设备和存储介质。
背景技术
为了适应业务发展以及业务划分的需求等问题,要对原有网站进行域名迁移,就需要对需要对整个网站做全面的安全扫描测试,并对全网站的请求、静态链接、图片等进行测试,以确保域名迁移、更换成功。但目前普通工具对此类项目的测试还面临以下主要难题。
主流的安全扫描工具只能扫描静态URL,无法扫描到带有登录态的或者动态生成的URL,对URL进行全方位扫描的可能性更是微乎其微;进行域名迁移的网站动态、静态URL通常成千上万,各种边角的URL可能会考虑不到,若使用手工测试,既耗时耗力,也极易漏测。
针对以上问题,急需一种动态域名验证方法,以保证此类项目安全正确的迁移,使域名迁移类测试更高效、更全面。
发明内容
基于此,有必要针对只能扫描所述静态URL主流的安全扫描工具,无法扫描到带有登录状态的或者动态生成的所述URL,更难以扫描到全部所述URL,若使用手工测试,既耗时耗力,也极易漏测的问题,提供一种动态域名验证方法。
一种动态域名验证方法,包括如下步骤:获取参数化元素;对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件;对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;过滤出CSV3文件中验证失败的URL,进行定位分析。
在一个实施例中,所述获取参数化元素包括:读取数据库配置文件;根据所述数据库配置文件,读取参数化元素,所述参数化元素包括超文本传输协议、超文本传输安全协议、域名、端口、路径、目录或目录清单中的至少一种。
在一个实施例中,所述对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件包括:根据配置程序,筛选具有相同类型的元素,形成多个数组;启动读取脚本,根据配置规则,读取配置文件中参数化元素形成的数组;将配置后的数组存入一用于存储和读取所述数组的CSV1文件中。
在其中一个实施例中,所述对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL包括:将所述参数化元素导入到XML文件(可扩展标记语言文件)中,通过标记数组中的参数化元素,使其具有结构性;对组数中具有结构性的参数化元素进行遍历组合,使前缀、域名及其他路径进行任意的组合排列,生成多个静态URL和动态URL,并判断所述静态URL和动态URL是否生成成功;若所述静态URL和动态URL生成失败,则报告错误信息,继续对验证失败的参数化元素进行遍历组合;若所述静态URL和动态URL生成成功,则保存生成结果。
在其中一个实施例中,所述将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件包括:根据生成的静态URL和动态URL,将其存入所述CSV2文件中;根据CSV2文件的属性,以纯文本形式存储所述静态URL和动态URL;根据特定编码,以字节流形式读取所述静态URL和动态URL。
在其中一个实施例中,所述将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件包括:根据扫描测试脚本,自动执行CSV2中所述静态URL和动态URL的全部测试过程或部分测试过程;读取所述CSV2文件中的静态URL和动态URL,然后,在浏览器中对所述静态URL和动态URL逐个进行访问请求;判断所述静态URL和动态URL验证的有效性;若所述静态URL和动态URL在验证有效性时,验证失败,则返回验证失败的结果,并将验证失败的结果记录在所述CSV3文件;若所述静态URL和动态URL在验证有效性时,验证成功,则直接将验证成功的结果保存在所述CSV3文件中。
在其中一个实施例中,所述过滤出CSV3文件中验证失败的URL,进行定位分析包括:编制结果分析脚本,通过编译器将所述结果分析脚本转换为具有读取CSV3文件功能的可执行文件;通过所述结果分析脚本,对CSV3文件中的验证结果进行分析过滤;将验证失败的URL过滤出来,进行定位分析。
基于相同的技术构思,本发明实施例还提供了一种动态域名验证系统,所述动态域名验证系统包括获取元素模块、数组化配置模块、URL生成模块、存储模块、URL验证模块和验证结果分析模块。
所述获取元素模块,用于获取参数化元素;所述数组化配置模块,用于对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件;所述URL生成模块,用于对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;所述存储模块,用于将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;所述URL验证模块,用于将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;所述验证结果分析模块,用于过滤出CSV3文件中验证失败的URL,进行定位分析。
基于相同的技术构思,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机可读指令时执行上述动态域名验证方法中的步骤。
基于相同的技术构思,本发明实施例还提供了一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述动态域名验证方法中的步骤。
上述动态域名验证方法、系统、计算机设备和存储介质,通过从数据库配置文件或数据库中读取获取参数化元素,包括超文本传输协议,超文本传输安全协议,域名,端口,路径,产品编号和产品货号等,然后将获取的参数化元素数组化配置并生成扩展标记语言文件,再根据配置文件组合规则生成静态以及动态URL,将生成的URL写入字符分隔值文件,读取字符分隔值文件,以纯文本形式存储表格数据,然后将URL放入浏览器进行访问验证,验证上述URL是否有错误信息,对于验证失败的结果,则返回结果并将验证失败的结果写入CSV1文件中;对于验证通过的URL,则直接将验证成功的结果写入CSV2文件中;将验证结果写入CSV3文件,启动结果分析脚本对验证结果进行分析过滤,将验证失败的URL过滤出来,进行定位分析,最后保存所有验证及分析结果信息,关闭文件。与现有技术相比,本发明的有益技术效果是:此验证方法保证了此类项目安全正确的迁移,域名迁移类测试更高效、更全面。
附图说明
图1为本发明一个实施例中动态域名验证方法流程图;
图2为本发明一个实施例中获取待验证参数流程图;
图3为本发明一个实施例中生成CSV1文件流程图;
图4为本发明一个实施例中URL的生成及验证流程图;
图5为本发明一个实施例中URL数组化流程图;
图6为本发明一个实施例中URL验证方法流程图;
图7为本发明一个实施例中对生成的URL定位分析流程图;
图8为本发明一个实施例中动态域名验证模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为一个实施例中动态域名验证方法的流程图,如图示,所述动态域名验证方法步骤如下:
S1:获取参数化元素。
一般是从数据库或对应的数据库文件中获取该参数化元素,所述参数化元素包括超文本传输协议,超文本传输安全协议,域名,端口,路径,目录和目录清单。
S2:对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件。
所述CSV1文件是字符分隔值文件,根据配置程序筛选具有相同类型的元素,将其按无序形式组织起来形成数组后生成CSV1文件。
S3:对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL。
将参数化元素导入到XML文件(可扩展标记语言文件)中,生成URL,若URL生成失败,则报告错误信息,若URL生成成功,则保存生成的URL,并继续遍历。
S4:将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件。
将URL以行的形式把字符读取出来,以获取所述静态URL和所述动态URL,并写入CSV2文件内,将其转换成数组,再以字节流的形式读取数组内容,最后以纯文本形式存储CSV2表格数据。
S5:将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件。
将URL放入浏览器中进行访问,验证URL的有效性,如是否存在“err404”问题。
S6:过滤出CSV3文件中验证失败的URL,进行定位分析。
若验证失败,如出现“err404”,则返回失败的验证结果,并写入所述CSV3文件中,若验证成功,则直接保存验证成功的URL,并关闭文件。
图2为一个实施例中获取待验证元素的流程图,如图示,步骤S1可以包括步骤S101和S102。
S101:读取数据库配置文件。
通过读取数据库配置文件,调用Get Element方法获取所述参数化元素,所述GetElement为获取所述参数化元素,在操作文档的一个特定的元素时,赋予该元素一个ID属性,在文档中为其指定一个唯一的名称,然后用该所述ID查找目标元素。
S102:根据所述数据库配置文件,获取参数化元素,所述参数化元素包括超文本传输协议,超文本传输安全协议,域名,端口,路径,目录和目录清单。
所述参数化元素包括超文本传输协议,超文本传输安全协议,域名,端口,路径,目录和目录清单。
图3为一个实施例中生成CSV1文件流程图,如图示,步骤S2包括步骤S201至步骤S203:
S201:根据配置程序,筛选具有相同类型的元素,形成多个数组。
根据配置程序,筛选所得URL参数中具有相同类型的若干元素,按照无序的形式组织起来,形成多个数组,以实现URL元素数组化。并根据标记电子文件和定义电子数据类型,生成具有结构性的XML文件。在电子计算机中,标记指计算机所能理解的信息符号,通过此种标记,计算机之间可以处理包含各种的信息比如文章等,它可以用来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。它非常适合万维网传输,提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。是Internet环境中跨平台的、依赖于内容的技术,也是当今处理分布式结构信息的有效工具。
S202:启动读取脚本,根据配置规则,读取配置文件中参数化元素形成的数组。
根据配置规则,将所述配置文件中的数组读取出来。
S203:将配置后的数组存入一用于存储和读取所述数组的CSV1文件中。
举例来说,所述数组是无序的元素序列,若将有限个类型相同的变量的集合命名,那么这个名称为数组名,组成所述数组的各个变量称为数组的分量,也称为数组的元素,有时也称为下标变量,用于区分数组的各个元素的数字编号称为下标,所述数组是在程序设计中,为了处理方便,把具有相同类型的若干元素按无序的形式组织起来的一种形式,这些无序排列的同类数据元素的集合称为数组;所述数组元素是组成数组的基本单元;所述数组元素也是一种变量,其标识方法为数组名后跟一个下标;下标表示了元素在数组中的顺序号;所述数组元素的一般形式为:数组名[下标]其中的下标只能为整型常量或整型表达式;如为小数时,C编译将自动取整;例如,a[5],a[i+j],a[i++]都是合法的数组元素;数组元素通常也称为下标变量;必须先定义数组,才能使用下标变量;在C语言中只能逐个地使用下标变量,而不能一次引用整个数组。
举例来说,遍历组合数字1、2、3,结果为1,2,3;12,13,21,23,31,32;123,132,213,231,312,321;对配置元素的遍历组合包括不同字符的多个组合。
图4为本发明一个实施例中URL的生成及验证流程图,如图示,步骤S3包括步骤S301至步骤S304:
S301:将所述参数化元素导入到XML文件中,通过标记数组中的参数化元素,使其具有结构性。
根据所述XML文件和所述配置组合规则生成所述静态URL和所述动态URL,即静态网址和动态网址;获取所述静态URL和所述动态URL。
S302:对组数中具有结构性的参数化元素进行遍历组合,使前缀、域名及其他路径进行任意的组合排列,生成多个静态URL和动态URL,并判断所述静态URL和动态URL是否生成成功。
进一步的,根据获取的所述参数,使用配置所述参数的组合规则,将所述参数导入到可以标记电子数据和定义电子数据类型的所述XML文件中;根据所述XML文件和配置组合规则生成所述静态URL和所述动态URL,即所述静态网址和所述动态网址;URL是对可以从互联网上得到的资源位置和访问方法的一种简洁表示,是互联网上标准资源的地址,互联网上的每个文件都有唯一的一个所述URL,它包含的信息指出文件的位置以及所述浏览器应该如何处理等信息。
S303:若所述静态URL和动态URL生成失败,则报告错误信息,继续对验证失败的参数化元素进行遍历组合;若URL生成成功,则保存所述URL,继续遍历其他的URL。
进一步的,将生成的所述URL,即互联网资源网址,导入所述CSV1字符分隔值文件中,生成所述动态URL文件,所述字符分隔值文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,所述字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。通常都是纯文本文件。
举例来说,所述动态URL的优势在于技术维护工作量降低很多,但许多交互式的内容,比如购物车、注册等特定的后台功能必须使用,每次用户访问所述动态URL的时候都需要从数据库里代用的内容和页面模板载入,这样对访问的速度会产生影响,如果没有处理好的话,这种延迟会产生漫长的等待过程,同时对于服务器宽带、搜索引擎的爬行抓取都会产生一定的不利效果;纯静态URL后缀多是html、htm形式,所述纯静态的URL优势在于访问速度快,体验度较好,因为这是真实存在的物理路径下的文件,真实存在的页面,搜索引擎容易爬行。每次的新内容因为要直接产生静态页面,对服务器的性能是一个很大的考验,如果每个页面都要直接能找到,磁盘和内存消耗相当大。相对来说带宽方面占用的比动态URL小的多。
S304:若所述静态URL和动态URL生成成功,则保存生成结果。
若在XML文件中遍历组合生成的URL成功,则保存生成结果,并继续在XML文件总遍历组合,以生成动态URL或者静态URL。
图5为一个实施例中读取静态URL和动态URL流程图,如图示,步骤S4包括步骤S401至步骤S403:
S401:根据生成的静态URL和动态URL,将其存入所述CSV2文件中。
CSV2文件以纯文本形式存储数据和文本,遍历组合所述参数化元素后,将生成的动态URL和静态URL写入CSV2文件中。
S402:根据CSV2文件的属性,以纯文本形式存储所述静态URL和动态URL。
根据CSV2文件中写入的静态URL和动态URL,把具有相同类型的若干元素按照和无序的形式组织起来。
S403:根据特定编码,以字节流形式读取所述静态URL和动态URL。
字节流是不包含边界数据的连续流,主要用在处理二进制数据,他是按字节来处理的,但实际中很多数据都是文本,本发明中是以字节流的形式读取数组。
纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据,所述CSV2文件由任意数目的记录组成,记录间以某种换行符分隔,每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符;根据字符分隔值文件,将写入的文件内容转换成数组;使用字节流可以将文件以行的形式读取出来,字节流是一种阅读器,可以将导入的文件以一种特定编码的形式,将字符从字节流中读取;字符分隔值文件以纯文本形式存储表格数据。
图6为一个实施例中URL验证方法流程图,如图示,步骤S5包括步骤501至步骤S505。
S501:根据扫描测试脚本,自动执行CSV2中所述静态URL和动态URL的全部测试过程或部分测试过程。
编写所述扫描测试脚本,该脚本是自动执行测试过程或部分测试过程的计算机可读指令,其可以被创建或使用测试自动化工具自动生成,或者用编程语言编程来完成,也可综合上述方法完成。
编写请求测试脚本,将获取的所述URL逐个放入所述浏览器中访问请求,验证所述URL是否有页面异常。编写请求扫描所述测试脚本,由所述请求测试脚本自动执行测试过程,或者部分测试过程的计算机可读指令,测试脚本被创建或使用测试自动化工具自动生成。
S502:读取所述CSV2文件中的静态URL和动态URL,然后,在浏览器中对所述静态URL和动态URL逐个进行访问请求。
读取CSV2文件中URL,打开浏览器,将上述获得的动态URL逐个放到所述浏览器地址栏进行访问,所述CSV2文件以纯文本形式存储表格数据即数字和文本,纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据,所述CSV2文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符,通常,所有记录都有完全相同的字段序列。
S503:判断所述静态URL和动态URL验证的有效性。
验证上述动态URL是否有效,验证完毕后,保存验证结果信息,关闭文件。
S504:若所述静态URL和动态URL在验证有效性时,验证失败,则返回验证失败的结果,并将验证失败的结果记录在所述CSV3文件。
验证失败时,针对于超文本传输协议,服务器可能回应所述超文本传输协议404或Not Found错误信息,上述两种回应方式是超文本传输协议的一种标准回应信息状态码,此信息代表客户端在浏览网页时,服务器无法正常提供信息,或是服务器无法回应且不知原因。
举例来说,服务器设置“err404”指向一个设计好的HTML文件,此时页面返回所述“err404”状态码,IDC提供商基本都提供所述“err404”设置的功能,直接上传文件设置即可。在IIS中设置方法是打开所述IIS管理器,然后点击要设置的自定义所述“err404”的网站属性,点击自定义错误选项,选中所述“err404”页,选中并打开编辑属性,填写"/err404.HTML",按确定键退出,所述HTML页面上传到网站根目录上,并在消息类型中选择文件或默认值,而不选择所述URL,否则将导致返回200状态码。所述“err404”指向一个动态页面,比如error.asp,如果不在页面里面进行设置,仅仅是返回提示的HTML代码,将导致页面返回200状态码,在显示完提示内容后,增加语句:Response.Status="404 Not Found",保证页面返回所述“err404”状态码,以检验当前页面的title是否异常。
S505:若所述静态URL和动态URL在验证有效性时,验证成功,则直接将验证成功的结果保存在所述CSV3文件中。
若动态URL和静态URL验证成功,即发现所验证的URL中含有其他高权限参数,或者验证出动态URL和静态URL正常,则直接将验证成功的结果存入CSV文件中,保存验证结果信息。
图7为一个实施例中对生成的URL定位分析流程图,如图示,步骤S6包括步骤601至步骤S603。
S601:编制结果分析脚本,通过编译器将所述结果分析脚本转换为具有读取CSV3文件功能的可执行文件。
选定程序设定语言或者常用的脚本开发语言,编制对CSV3文件读取并分析的功能脚本,并将其通过编译器转换生成可执行文件,加载该可执行文件后使其调用CSV3文件后读取其中的内容,并进行分析。
S602:通过所述结果分析脚本,对CSV3文件中的验证结果进行分析过滤。
通过结果分析脚本,对验证失败的动态URL和静态URL进行过滤,进行下一步的循环验证。
具体的,验证URL,打开浏览器,逐个将URL写入地址栏,进行访问;所述浏览器是一款快速且安全的网络浏览器,将每一个动静态URL逐个放入所述浏览器访问地址栏中,进行过一样访问。检测URL的访问结果,判定当前页面的title是否为所述404异常,来确定域名迁移是否正常。
进一步的,所述CSV3文件以所述纯文本形式存储表格数据,数字和文本,所述纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据,所述CSV3文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。
S603:将验证失败的URL过滤出来,进行定位分析。
启动所述结果分析脚本,所述结果分析脚本是依据一定格式编写的可执行文件,用文本编辑器编写的文本代码,再用编译器解析文本表达的意思和执行内容;通过所述结果分析脚本对所述CSV3文件中的验证结果进行分析过滤,将验证失败的URL过滤出来,进行定位分析。
基于相同的技术构思,本发明实施例还提供了一种动态域名验证系统,如图8所示,所述动态域名验证系统包括获取元素模块、数组化配置模块、URL生成模块、存储模块、URL验证模块和验证结果分析模块。
所述获取元素模块,用于获取参数化元素;
所述数组化配置模块,用于对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件;
所述URL生成模块,用于对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;
所述存储模块,用于将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;
所述URL验证模块,用于将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;
所述验证结果分析模块,用于过滤出CSV3文件中验证失败的URL,进行定位分析。
基于相同的技术构思,本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,处理器执行计算机可读指令时执行如下步骤:获取参数化元素;对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件;对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;过滤出CSV3文件中验证失败的URL,进行定位分析。
基于相同的技术构思,本发明实施例还提供了一种存储有计算机可读指令的存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如下步骤:获取参数化元素;对参数化元素进行数组化配置,将配置后的数组存入一用于存储和读取所述数组的CSV1文件;对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;过滤出CSV3文件中验证失败的URL,进行定位分析。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种动态域名验证方法,其特征在于,包括如下步骤:
获取参数化元素,其中,所述参数化元素包括超文本传输协议、超文本传输安全协议、域名、端口、路径、目录和目录清单;
根据配置程序,筛选具有相同类型的元素,形成多个数组;
启动读取脚本,根据配置规则,读取配置文件中参数化元素形成的数组;
将配置后的数组存入一用于存储和读取所述数组的CSV1文件中;
对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL;
将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;
将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;
过滤出CSV3文件中验证失败的URL,进行定位分析;
所述对CSV1文件中数组内各个参数化元素进行遍历组合,生成多个静态URL和动态URL包括:
将所述参数化元素导入到XML文件中,通过标记数组中的参数化元素,使其具有结构性;
对组数中具有结构性的参数化元素进行遍历组合,使前缀、域名及其他路径进行任意的组合排列,生成多个静态URL和动态URL,并判断所述静态URL和动态URL是否生成成功;
若所述静态URL和动态URL生成失败,则报告错误信息,继续对验证失败的参数化元素进行遍历组合;
若所述静态URL和动态URL生成成功,则保存生成结果;
所述将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件包括:
根据生成的静态URL和动态URL,将其存入所述CSV2文件中;
根据CSV2文件的属性,以纯文本形式存储所述静态URL和动态URL,并将具有相同类型的元素有序化;
根据特定编码,以字节流形式读取所述静态URL和动态URL。
2.根据权利要求1所述的一种动态域名验证方法,其特征在于,所述获取参数化元素包括:
读取数据库配置文件;
根据所述数据库配置文件,获取参数化元素,所述参数化元素包括超文本传输协议、超文本传输安全协议、域名、端口、路径、目录或目录清单中的至少一种。
3.如权利要求1所述的一种动态域名验证方法,其特征在于,所述将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件包括:
根据扫描测试脚本,自动执行CSV2中所述静态URL和动态URL的全部测试过程或部分测试过程;
读取所述CSV2文件中的静态URL和动态URL,然后,在浏览器中对所述静态URL和动态URL逐个进行访问请求;
判断所述静态URL和动态URL验证的有效性;
若所述静态URL和动态URL在验证有效性时,验证失败,则返回验证失败的结果,并将验证失败的结果记录在所述CSV3文件;
若所述静态URL和动态URL在验证有效性时,验证成功,则直接将验证成功的结果保存在所述CSV3文件中。
4.如权利要求1所述的一种动态域名验证方法,其特征在于,所述过滤出CSV3文件中验证失败的URL,进行定位分析包括:
编制结果分析脚本,通过编译器将所述结果分析脚本转换为具有读取CSV3文件功能的可执行文件;
通过所述结果分析脚本,对CSV3文件中的验证结果进行分析过滤;
将验证失败的URL过滤出来,进行定位分析。
5.一种动态域名验证系统,其特征在于,所述动态域名验证系统包括获取元素模块、数组化配置模块、URL生成模块、存储模块、URL验证模块和验证结果分析模块:
所述获取元素模块,用于获取参数化元素,其中,所述参数化元素包括超文本传输协议、超文本传输安全协议、域名、端口、路径、目录和目录清单;
所述数组化配置模块,用于根据配置程序,筛选具有相同类型的元素,形成多个数组;启动读取脚本,根据配置规则,读取配置文件中参数化元素形成的数组;将配置后的数组存入一用于存储和读取所述数组的CSV1文件中;
所述URL生成模块,用于将所述参数化元素导入到XML文件中,通过标记数组中的参数化元素,使其具有结构性,对组数中具有结构性的参数化元素进行遍历组合,使前缀、域名及其他路径进行任意的组合排列,生成多个静态URL和动态URL,并判断所述静态URL和动态URL是否生成成功,若所述静态URL和动态URL生成失败,则报告错误信息,继续对验证失败的参数化元素进行遍历组合,若所述静态URL和动态URL生成成功,则保存生成结果;根据生成的静态URL和动态URL,将其存入CSV2文件中;根据CSV2文件的属性,以纯文本形式存储所述静态URL和动态URL,并将具有相同类型的元素有序化;
根据特定编码,以字节流形式读取所述静态URL和动态URL;
所述存储模块,用于将生成的多个静态URL和动态URL存入一用于存储和读取所述静态URL和动态URL的CSV2文件;
所述URL验证模块,用于将所述静态URL和动态URL逐个放入浏览器中访问验证,然后,将验证结果存入一用于存储和读取验证结果的CSV3文件;
所述验证结果分析模块,用于过滤出CSV3文件中验证失败的URL,进行定位分析。
6.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述权利要求1至4中任一项所述的动态域名验证方法的步骤。
7.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至4中任一项所述的动态域名验证方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810156825.0A CN108388796B (zh) | 2018-02-24 | 2018-02-24 | 动态域名验证方法、系统、计算机设备和存储介质 |
PCT/CN2018/105170 WO2019161658A1 (zh) | 2018-02-24 | 2018-09-12 | 动态域名验证方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810156825.0A CN108388796B (zh) | 2018-02-24 | 2018-02-24 | 动态域名验证方法、系统、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108388796A CN108388796A (zh) | 2018-08-10 |
CN108388796B true CN108388796B (zh) | 2021-08-31 |
Family
ID=63068482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810156825.0A Active CN108388796B (zh) | 2018-02-24 | 2018-02-24 | 动态域名验证方法、系统、计算机设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108388796B (zh) |
WO (1) | WO2019161658A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388796B (zh) * | 2018-02-24 | 2021-08-31 | 深圳壹账通智能科技有限公司 | 动态域名验证方法、系统、计算机设备和存储介质 |
CN109657167B (zh) * | 2018-11-29 | 2023-11-21 | 彩讯科技股份有限公司 | 数据采集方法、装置、服务器及存储介质 |
CN111191098B (zh) * | 2019-12-25 | 2022-10-18 | 山石网科通信技术股份有限公司 | 数据过滤方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604328A (zh) * | 2009-07-06 | 2009-12-16 | 深圳市汇海科技开发有限公司 | 一种互联网信息垂直搜索方法 |
CN102184184A (zh) * | 2011-04-07 | 2011-09-14 | 安徽博约信息科技有限责任公司 | 一种网页动态信息获取方法 |
CN107066576A (zh) * | 2017-04-12 | 2017-08-18 | 成都四方伟业软件股份有限公司 | 一种大数据网络爬虫分页选择方法和系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101727447A (zh) * | 2008-10-10 | 2010-06-09 | 浙江搜富网络技术有限公司 | 基于url的正则表达式的生成方法和装置 |
JP2010170453A (ja) * | 2009-01-26 | 2010-08-05 | Nippon Business Engineering:Kk | 静的Webサイト構築方法及び静的Webサイト構築サービス提供方法及び動的/静的変換処理装置及び動的/静的変換処理プログラム |
CN102262635A (zh) * | 2010-05-25 | 2011-11-30 | 北京启明星辰信息技术股份有限公司 | 一种网页爬虫系统及方法 |
CN102902780B (zh) * | 2012-09-28 | 2016-04-20 | 五八有限公司 | 一种统一资源定位符url动态匹配方法及装置 |
CN103530336B (zh) * | 2013-09-30 | 2017-09-15 | 北京奇虎科技有限公司 | 统一资源定位符url中无效参数的识别设备及方法 |
US9740779B2 (en) * | 2013-10-01 | 2017-08-22 | AsterionDB, Inc. | System, method and program instructions for tying together a media URL and multimedia in a database |
US11226969B2 (en) * | 2016-02-27 | 2022-01-18 | Microsoft Technology Licensing, Llc | Dynamic deeplinks for navigational queries |
CN106095979B (zh) * | 2016-06-20 | 2020-05-08 | 百度在线网络技术(北京)有限公司 | Url合并处理方法和装置 |
CN108388796B (zh) * | 2018-02-24 | 2021-08-31 | 深圳壹账通智能科技有限公司 | 动态域名验证方法、系统、计算机设备和存储介质 |
-
2018
- 2018-02-24 CN CN201810156825.0A patent/CN108388796B/zh active Active
- 2018-09-12 WO PCT/CN2018/105170 patent/WO2019161658A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604328A (zh) * | 2009-07-06 | 2009-12-16 | 深圳市汇海科技开发有限公司 | 一种互联网信息垂直搜索方法 |
CN102184184A (zh) * | 2011-04-07 | 2011-09-14 | 安徽博约信息科技有限责任公司 | 一种网页动态信息获取方法 |
CN107066576A (zh) * | 2017-04-12 | 2017-08-18 | 成都四方伟业软件股份有限公司 | 一种大数据网络爬虫分页选择方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2019161658A1 (zh) | 2019-08-29 |
CN108388796A (zh) | 2018-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769228B2 (en) | Systems and methods for web analytics testing and web development | |
US10362050B2 (en) | System and methods for scalably identifying and characterizing structural differences between document object models | |
Boettiger et al. | rfishbase: exploring, manipulating and visualizing FishBase data from R | |
CN102597993B (zh) | 利用统一资源标识符管理应用状态信息 | |
US20120084433A1 (en) | Web test generation | |
CN108628748B (zh) | 自动化测试管理方法和自动化测试管理系统 | |
CN110688307B (zh) | JavaScript代码检测方法、装置、设备和存储介质 | |
CN111522741B (zh) | 接口测试代码生成方法、装置、电子设备及可读存储介质 | |
CN108388796B (zh) | 动态域名验证方法、系统、计算机设备和存储介质 | |
CN104156307A (zh) | 一种浏览器兼容性检测方法和系统 | |
Chapagain | Hands-On Web Scraping with Python: Perform advanced scraping operations using various Python libraries and tools such as Selenium, Regex, and others | |
CN107862039A (zh) | 网页数据获取方法、系统和数据匹配推送方法 | |
Heydt | Python Web Scraping Cookbook: Over 90 proven recipes to get you scraping with Python, microservices, Docker, and AWS | |
CN103593406A (zh) | 一种静态资源标识处理方法及装置 | |
RU2632149C2 (ru) | Система, способ и постоянный машиночитаемый носитель для проверки веб-страниц | |
CN113918460A (zh) | 页面测试方法、装置、设备和介质 | |
US20150248500A1 (en) | Documentation parser | |
JP2006065467A5 (zh) | ||
JP2006065467A (ja) | データ抽出定義情報生成装置およびデータ抽出定義情報生成方法 | |
Hadlock | Ajax for Web Application Developers | |
Eladawy et al. | A new algorithm for repairing web-locators using optimization techniques | |
CN115033436A (zh) | 页面测试方法及装置、电子设备、存储介质 | |
CN111368231B (zh) | 一种异构冗余架构网站的测试方法及装置 | |
CN113051333A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN113138926B (zh) | 一种网络服务接口评测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |