CN110061864A - 一种域名配置自动化验证的方法和系统 - Google Patents
一种域名配置自动化验证的方法和系统 Download PDFInfo
- Publication number
- CN110061864A CN110061864A CN201910232459.7A CN201910232459A CN110061864A CN 110061864 A CN110061864 A CN 110061864A CN 201910232459 A CN201910232459 A CN 201910232459A CN 110061864 A CN110061864 A CN 110061864A
- Authority
- CN
- China
- Prior art keywords
- domain name
- target
- configuration
- acceleration
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012795 verification Methods 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001133 acceleration Effects 0.000 claims abstract description 151
- 238000007405 data analysis Methods 0.000 claims abstract description 99
- 239000000284 extract Substances 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 105
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0889—Techniques to speed-up the configuration process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种域名配置自动化验证的方法和系统,属于计算机技术领域,所述方法包括:对于每个加速域名,信息采集层周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层;当接收到功能验证指令时,数据分析层根据功能验证指令确定目标域名的目标加速配置;对于目标加速配置的目标功能,数据分析层确定目标功能对应的目标验证方案,基于目标验证方案从接收到的目标域名的全部访问信息中提取目标访问信息;功能验证层基于数据分析层提供的目标验证方案和目标访问信息对目标功能进行验证。采用本发明,可以提高域名配置的功能验证效率和验证准确率,降低在加速服务变更实施过程中对其业务的影响。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种域名配置自动化验证的方法和系统。
背景技术
随着互联网的飞速发展,域名访问的加速服务(如CDN服务、云服务)越来越普及。为了保证加速服务的质量,加速服务方在对域名提供多项加速配置(可包括对图片、文本、视频等资源维度的加速配置)之后,通常会对每项加速配置的功能进行验证,如验证基础加速功能、回源功能、安全加固功能等。
现有技术中,对于各项加速配置,通常采用人工针对加速配置的所有功能进行逐一验证。具体地,在验证域名的加速配置的某项功能时,验证人员可以人工从该域名对应的线上服务器(包括加速服务器和/或源站服务器)处获取该项功能对应的访问信息(即验证该项功能时所需的数据,包括访问者IP地址、URL、状态码信息及referer信息等),然后可以将该项功能对应的验证方案和上述访问信息输入指定的验证工具,进而通过验证工具对该项功能进行验证。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
由于CDN域名及云厂商域名的配置量日渐增多,通常能达到几十万甚至上百万,如果仍然采用人工针对每个域名的加速配置的所有功能进行逐一验证的话,不仅用时较长,效率低下,且验证失误率较高。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种域名配置自动化验证的方法和系统。所述技术方案如下:
第一方面,提供了一种域名配置自动化验证的方法,所述方法应用于自动化验证系统,所述自动化验证系统包括信息采集层、数据分析层及功能验证层,其中:
对于每个加速域名,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,并将所述全部访问信息上传至所述数据分析层;
当接收到功能验证指令时,所述数据分析层根据所述功能验证指令确定目标域名的目标加速配置;
对于所述目标加速配置的目标功能,所述数据分析层确定所述目标功能对应的目标验证方案,基于所述目标验证方案从接收到的所述目标域名的所述全部访问信息中提取目标访问信息;
所述功能验证层基于所述数据分析层提供的所述目标验证方案和所述目标访问信息对所述目标功能进行验证。
可选的,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,包括:
所述信息采集层周期性从所述加速域名对应的线上服务器的访问日志中采集验证所述加速域名的加速配置的功能所需的全部访问信息。
可选的,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息之前,还包括:
所述数据分析层制定日志生成标准,并将所述日志生成标准发送至所述线上服务器,以使所述线上服务器按照所述日志生成标准生成所述访问日志;
所述数据分析层制定信息存储标准,并基于所述信息存储标准对所述全部访问信息进行存储。
可选的,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,包括:
若所述加速域名的加速配置对应静态资源,所述信息采集层则周期性发起针对所述加速域名的访问请求;
所述信息采集层接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
可选的,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,包括:
若所述加速域名的加速配置对应动态资源,所述信息采集层则发起针对所述加速域名的上级域名的访问请求;
所述信息采集层接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
可选的,所述数据分析层根据所述功能验证指令确定目标域名的目标加速配置,包括:
若所述功能验证指令未携带有验证范围信息,所述数据分析层则将全量域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有域名标识,所述数据分析层则将所述域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有配置标识,所述数据分析层则将所述配置标识对应的加速配置确定为目标域名的目标加速配置。
可选的,所述功能验证层基于所述数据分析层提供的所述目标验证方案和所述目标访问信息对所述目标功能进行验证之后,还包括:
如果所述目标功能的验证结果为异常结果,所述功能验证层则执行所述验证结果对应的预设报警处理。
第二方面,提供了一种域名配置自动化验证的系统,所述系统包括信息采集层、数据分析层及功能验证层,其中:
所述信息采集层,用于对于每个加速域名,周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,并将所述全部访问信息上传至数据分析层;
所述数据分析层,用于当接收到功能验证指令时,根据所述功能验证指令确定目标域名的目标加速配置;
所述数据分析层,还用于对于所述目标加速配置的目标功能,所述数据分析层确定所述目标功能对应的目标验证方案,基于所述目标验证方案从接收到的所述目标域名的所述全部访问信息中提取目标访问信息;
所述功能验证层,用于基于所述数据分析层提供的所述目标验证方案和所述目标访问信息对所述目标功能进行验证。
可选的,所述信息采集层还用于:
周期性从所述加速域名对应的线上服务器的访问日志中采集验证所述加速域名的加速配置的功能所需的全部访问信息。
可选的,所述数据分析层还用于:
制定日志生成标准,并将所述日志生成标准发送至所述线上服务器,以使所述线上服务器按照所述日志生成标准生成并存储所述访问日志;
制定信息存储标准,并基于所述信息存储标准对所述全部访问信息进行存储。
可选的,所述信息采集层还用于:
若所述加速域名的加速配置对应静态资源,则周期性发起针对所述加速域名的访问请求;
接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
可选的,所述信息采集层还用于:
若所述加速域名的加速配置对应动态资源,则发起针对所述加速域名的上级域名的访问请求;
接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
可选的,所述数据分析层还用于:
若所述功能验证指令未携带有验证范围信息,则将全量域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有域名标识,将所述域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有配置标识,将所述配置标识对应的加速配置确定为目标域名的目标加速配置。
可选的,所述功能验证层还用于:
如果所述目标功能的验证结果为异常结果,所述功能验证层则执行所述验证结果对应的预设报警处理。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,信息采集层可以周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层,数据分析层在接收到功能验证指令时,可以根据功能验证指令确定目标域名的目标加速配置,对于目标加速配置的目标功能,数据分析层确定目标功能对应的目标验证方案,基于目标验证方案从目标域名的全部访问信息中提取目标访问信息,功能验证层基于数据分析层提供的目标验证方案和目标访问信息对目标功能进行验证。这样,通过信息采集层进行海量数据采集,并通过数据分析层进行数据分析、提取,获取对功能进行验证所需的目标访问信息,省去了大量的人工筛选和输入的操作,减少了人机交互的过程,不仅大大提高了验证效率,还提高了验证准确率;且当验证结果异常时,可以及时发现问题并预警,以降低在加速服务变更实施过程中对其业务的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种域名配置自动化验证系统的框架图;
图2为本发明实施例提供的一种域名配置自动化验证的方法流程图;
图3为本发明实施例提供的一种域名配置自动化验证方法的实现过程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本实施例提供一种域名配置自动化验证的方法,主要应用于如图1所示的自动化验证系统,该自动化验证系统可以嵌入在加速服务方(CDN服务商或者云服务商)的服务系统中,为开通了加速服务的客户提供云化的服务,使得加速服务方和客户均可以使用该自动化验证系统对域名的加速配置的功能进行验证。其中,加速配置的功能可以包括基础加速功能,回源正确功能及安全加固功能(即与安全访问相关的功能)。该自动化验证系统可以包括信息采集层、数据分析层及功能验证层。其中,信息采集层、数据分析层及功能验证层均可以是独立的设备,也可以是集成在同一设备上的不同组件,还可以是多台设备构成的设备集群。上述自动化验证系统在进行自动化验证时,信息采集层可以用于采集全部访问信息;数据分析层可以用于从上述全部访问信息中提取目标访问信息;功能验证层可以用于对具体的功能进行验证。
下面将结合具体实施方式,对图2所示的处理流程进行详细的说明,内容可以如下:
步骤201,对于每个加速域名,信息采集层周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层。
其中,访问信息可以包括访问者IP地址、URL、状态码信息、响应时间信息、referer信息及UA信息(User Agent信息,可判断访问者类型)等。
在实施中,对于已开启加速服务的加速域名,加速服务方或者开通加速服务的客户如果需要对加速域名的加速配置进行功能验证,则可以在原有服务系统上嵌入上述自动化验证系统。该自动化验证系统开启后,为了能实现域名加速配置的功能的自动化验证,对于每个加速域名,信息采集层可以周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层。具体的,信息采集层提供预定义的采集探针,可以周期性从海量的线上服务器获取验证加速域名的加速配置的功能所需的全部访问信息。例如,对于加速域名A的某项加速配置是“针对php文件不进行缓存而进行回源”,则数据采集层获取加速域名A的访问信息时,可以获取http://A.com/index.php请求对应的全部访问信息。此处,若对应加速域名只缓存一类资源,则对应该加速域名可以只有一项加速配置;若对应加速域名缓存有多类资源,则可以对应该加速域名只有一项加速配置,也可以分别对应该加速域名的每一项资源均有一项加速配置。进一步的,为了减少存储量,信息采集层本身可以没有存储功能,每次采集后就将采集的全部访问信息上传至数据分析层。
可选的,信息采集层可以从访问日志中采集全部访问信息,相应的,步骤201的处理可以如下:信息采集层周期性从加速域名的线上服务器的访问日志中采集验证加速域名的加速配置的功能所需的全部访问信息。
在实施中,线上服务器在运行过程中,可以基于已部署的加速域名的访问情况和响应情况生成访问日志,访问日志可以记录针对加速域名的客户端请求信息和服务端响应信息中的具体访问信息。这样,对于每个加速域名,信息采集层可以周期性地获取加速域名所属的线上服务器的访问日志,然后从访问日志中采集验证加速域名的加速配置的所有功能所需的全部访问信息,从而可以实现对访问信息快速、高效地采集。
可选的,数据分析层还可以对访问日志的生成和访问信息的存储制定具体标准,相应的,该自动化验证方法还可以存在如下处理:数据分析层制定日志生成标准,并将日志生成标准发送至线上服务器,以使线上服务器按照日志生成标准生成访问日志;数据分析层制定信息存储标准,并基于信息存储标准对全部访问信息进行存储。
在实施中,为使数据分析层能够接收到格式统一的访问信息,以便提取目标访问信息,在信息采集层进行全部访问信息的采集之前,数据分析层可以根据人为输入的指令对接收的访问日志制定日志生成标准,并将日志生成标准发送至线上服务器,以使线上服务器按照日志生成标准生成及存储访问日志,以保证数据分析层提取目标访问信息所需要的全部访问信息都包含其中。其中,日志生成标准可以包括但不限于日志格式(如统一json数据格式)、日志回滚机制(如按时间回滚或按文件大小回滚)等。同时,为了降低数据分析层的系统负载、节省内存空间,以保证数据分析层能够稳定运行,数据分析层还可以根据人为输入的指令对接收到的访问信息制定信息存储标准,并基于信息存储标准对全部访问信息进行存储。其中信息存储标准可以包括但不限于日志保存时长,上传数据大小限制等。
可选的,信息采集层还可以通过模拟客户端访问页面的方式获取验证功能时所需的全部访问信息,具体的,当加速域名的加速配置对应静态资源或者动态资源时,可以分别采取不同的页面获取方式,相应的处理可以如下:
其一,若加速域名的加速配置对应静态资源,信息采集层则周期性发起针对加速域名的访问请求;信息采集层接收线上服务器反馈的访问请求的响应页面,并根据加速配置从响应页面获取验证加速配置的功能所需的全部访问信息。
在实施中,通常情况下,若加速域名的加速配置对应静态资源(如文本类内容),可以对该加速域名直接进行访问,或者从该加速域名的上级域名对应的网站链接进行访问,从而得到加速域名对应服务器的响应页面,继而可以从其响应页面获取需要的全部访问信息。所以,若加速域名的加速配置对应静态资源,则信息采集层可以直接发起针对加速域名的访问请求,然后根据加速域名的具体加速配置,直接从响应页面快速获取验证该加速配置的功能所需的全部访问信息。
进一步的,对于访问信息中的referer信息,可以从该加速域名的上级域名对应的网站链接进行访问,即可以对该加速域名的上级域名发起访问请求,并在其响应页面中通过指向该加速域名的网站链接对该加速域名发起访问请求,继而从接收的响应页面中获取referer信息。
其二,若加速域名的加速配置对应动态资源,信息采集层则发起针对加速域名的上级域名的访问请求;信息采集层接收线上服务器反馈的访问请求的响应页面,并根据加速配置从响应页面获取验证加速配置的功能所需的全部访问信息。
在实施中,若加速域名的加速配置对应动态资源(如视频类内容),由于某些加速域名对应网站的首页没有设置相应资源,所以通过直接访问该加速域名,有可能得不到加速域名对应服务器的响应页面,继而也无法从其响应页面获取需要的全部访问信息。由于上级域名的加速配置通常对应静态资源,对上级域名的加速配置发起访问请求,通常可以从其响应页面获取需要的全部访问信息。所以,为了确保能够获取到对功能进行验证需要的全部访问信息,信息采集层可以发起针对加速域名的上级域名的访问请求,然后可以根据加速域名的加速配置,从响应页面获取验证加速域名的加速配置的功能所需的全部访问信息。例如,当需要获取验证加速域名video.xxx.com的加速配置的功能所需的全部访问信息时,可以先针对video.xxx.com的上级域名www.xxx.com发起访问请求,然后可以从响应页面中获取包含该加速域名且为视频后缀的URL。对于全部访问信息中的referer信息,如静态资源中获取referer信息的原理相同,即可以对加速域名的加速配置及链接到该加速域名的其它加速域名的加速配置,分别发起访问请求,从接收的多个响应页面中获取多个访问请求之间的关系,从而获取referer信息。
在上述两种页面获取方式中,可以通过广度优先策略,按照指定的所有目录层级,从浅层目录至深层目录,逐层获取当前目录层级下所有的响应页面,也可以针对不同的功能、加速配置及加速域名指定需要抓取的响应页面,在指定的响应页面抓取成功后即可停止抓取,防止数据抓取时间过长,造成存储及分析压力。
值得一提的是,通过获取响应页面的方式来获取验证功能时所需的全部访问信息,不仅适用于已开启加速服务的加速域名,还适用于未开启加速服务的潜在客户域名。相应的处理过程如下:信息采集层首次针对潜在客户域名发起访问请求,访问请求通过DNS解析服务器被解析到潜在客户域名的源站服务器,信息采集层可以从潜在客户域名的源站服务器反馈的响应页面获取包括潜在客户域名的所有URL,并存储于加速服务器;然后可以通过更改信息采集层的本地hosts文件的方式,使得当信息采集层再次针对潜在客户域名发起访问请求时,可以不通过DNS解析服务器,直接将访问请求导向加速服务器,从而实现模拟潜在客户域名的加速服务,然后结合本实施例提供的验证方法,可以实现提前对潜在客户域名的加速配置的功能进行验证。
步骤202,当接收到功能验证指令时,数据分析层根据功能验证指令确定目标域名的目标加速配置。
在实施中,若线上服务器应用的软件发生变更,或者线上服务器上增加了新的加速域名,亦或者原有加速域名的加速配置发生变更,加速服务方或者被加速客户可以针对上述变更的内容在自动化验证系统中对与变更相关的加速配置的功能进行验证。具体的,加速服务方或者被加速客户的技术人员可以在数据分析层输入相应的功能验证指令。这样,数据分析层在正常运行过程中,若接收到功能验证指令,则可以根据功能验证指令确定目标域名的目标加速配置。
可选的,数据分析层可以根据功能验证指令携带的标识确定需要进行功能验证的加速配置,相应的,步骤202的处理可以如下:若功能验证指令中未携带有验证范围信息,数据分析层则将全量域名的所有加速配置确定为目标域名的目标加速配置;若功能验证指令携带有域名标识,数据分析层则将域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;若功能验证指令中携带有配置标识,数据分析层则将配置标识对应的加速配置确定为目标域名的目标加速配置。
其中,验证范围信息可以是一个或多个加速域名的域名标识,也可以是一个或多个加速配置的配置标识。
在实施中,可以在数据分析层预设执行规则,以使数据分析层可以根据不同的指令执行不同的操作。相应的,加速服务方或者被加速客户在输入功能验证指令时,若线上服务器应用的软件发生变更,加速服务方或者被加速客户则可以输入未携带有验证范围信息的指令,数据分析层接收到未携带有验证范围信息的指令,则将全量域名的所有加速配置确定为目标域名的目标加速配置;若线上服务器上增加了新的加速域名,加速服务方或者被加速客户则可以输入携带有域名标识的指令,数据分析层接收到携带有域名标识的指令,则将域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;若原有加速域名的加速配置发生变更,加速服务方或者被加速客户则可以输入携带有配置标识的指令,数据分析层接收到携带有配置标识的指令,则将配置标识对应的加速配置确定为目标域名的目标加速配置。如此,数据分析层可以根据接收到的指令自动确定目标域名的目标加速配置,可以进一步实现数据分析层对验证方案的自动化选择和对目标访问信息的自动化提取,进而促使自动验证系统实现高效地自动化验证。
步骤203,对于目标加速配置的目标功能,数据分析层确定目标功能对应的目标验证方案,基于目标验证方案从接收到的目标域名的全部访问信息中提取目标访问信息。
在实施中,数据分析层确定了目标域名的目标加速配置之后,数据分析层可以对目标加速配置的所有功能逐一进行验证。在验证系统正常运行前,数据分析层可以将各种功能对应的验证方案进行标准化,并在本地存储以构成验证方案库,然后可以基于确定的每个验证方案,从相关域名的全部访问信息中提取相应的目标访问信息,并提供给功能验证层。具体的,以目标加速配置的目标功能为例,数据分析层可以先在上述验证方案库中查找目标功能对应的目标验证方案,然后可以基于目标验证方案从接收到的目标域名的全部访问信息中提取目标访问信息。
其中,各种功能对应的验证方案可以如下:当验证回源功能时,可以针对加速服务器上未缓存的文件的访问请求,对比加速服务器和源站服务器对于该访问请求的的响应状态码,若两者的响应状态码一致则证明回源功能正常,若两者的响应状态码不一致则证明回源功能异常;当验证基础加速功能时,可以对比加速服务器和源站服务器对于相同文件的访问请求进行响应的速度;当验证安全加固功能时,以验证防盗链功能为例,可以验证访问加速域名时是否能达到防盗链的效果,如通过比对访问信息中的referer信息与加速域名的referer黑/白名单,来验证非法referer是否被禁止访问;或者通过比对访问信息中的访问者IP地址与加速域名的IP地址黑/白名单,来验证非法IP地址是否被禁止访问。相应的,数据分析层基于目标功能的目标验证方案从全部访问信息中提取相应的目标访问信息时,验证回源功能可以提取与响应状态码200对应的全部访问信息;验证基础加速功能可以提取与响应速度对应的全部访问信息;验证防盗链功能可以提取防盗链相关访问请求的响应结果对应的全部访问信息。
步骤204,功能验证层基于数据分析层提供的目标验证方案和目标访问信息对目标功能进行验证。
在实施中,功能验证层可以运行有对加速配置的功能进行具体验证的验证工具,其中,验证工具可以是预设的计算机程序,运行该程序并输入验证方案和访问信息,便可以得出验证结果。故而在接收到数据分析层提供的目标验证方案和目标访问信息后,功能验证层可以调用上述验证工具,基于目标验证方案和目标访问信息对目标功能进行验证。
值得一提的是,该验证方法除了对加速域名的加速配置的功能进行验证之外,还可以对比采用不同加速服务对域名进行加速的加速效果,例如,对比不同加速服务方的加速服务器对于相同文件的访问请求进行响应的速度,具体可以从不同加速服务方的加速服务器分别获取目标功能对应的目标访问信息,并基于目标功能对应的目标验证方案,采用目标访问信息进行对比验证。
可选的,功能验证层可还可以对异常结果进行通知,相应的,步骤204之后的处理可以如下:如果所述目标功能的验证结果为异常结果,所述功能验证层则执行所述验证结果对应的预设报警处理。
在实施中,功能验证层在对目标功能进行验证之后,还可以输出验证结果,对于异常的验证结果,功能验证层可以执行预设报警处理,便于验证人员及时发现问题并预警。其中,验证预设报警处理可以是采用邮件或者弹出平台任务异常结果的窗口的形式通知验证人员,以使验证人员找出造成异常结果的问题原因(数据提取错误、加速配置错误、软件出现bug等),进而根据问题原因、数据比对异常优化方案,更新提取目标访问信息的方式。具体的,可以对不同功能的异常结果设置不同的报警处理方式,以使验证人员更加快速、直观的定位产生异常结果的目标功能,继而找出造成异常结果的问题原因。
本实施例提供的域名配置自动化验证的方法,还可以在数据分析层设置大数据平台,如图3所示,为本实施例提供的一种域名配置自动化验证方法的实现示意图,数据分析层设有用于存储全部访问信息和验证方案的大数据平台,数据分析层在接收到信息采集层上传的全部访问信息后,可以存储于大数据平台,在提取目标访问信息时,基于目标功能的目标验证方案从大数据平台中提取相应的目标访问信息。另外,大数据平台可以灵活配置每个加速域名的全部访问信息的存储时间、空间的大小,以保证大数据平台的稳定运行。
本实施例提供的域名配置自动化验证的方法,信息采集层可以周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层,数据分析层在接收到功能验证指令时,可以根据功能验证指令确定目标域名的目标加速配置,对于目标加速配置的目标功能,数据分析层确定目标功能对应的目标验证方案,基于目标验证方案从目标域名的全部访问信息中提取目标访问信息,功能验证层基于数据分析层提供的目标验证方案和目标访问信息对目标功能进行验证。这样,通过信息采集层完成海量全部访问信息的采集,并通过数据分析层进行数据分析、提取,获取对功能进行验证所需的目标访问信息,省去了大量的人工筛选和输入的操作,减少了人机交互的过程,不仅大大提高了验证效率,还提高了验证准确率;且当验证结果异常时,可以及时发现问题并预警,以降低在加速服务变更实施过程中对其业务的影响。
基于相同的技术构思,本发明实施例还提供了一种域名配置自动化验证的系统,如图1所示,系统包括信息采集层101、数据分析层102及功能验证层103。其中:信息采集层101,用于对于每个加速域名,周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层102;数据分析层102,用于当接收到功能验证指令时,根据功能验证指令确定目标域名的目标加速配置;数据分析层102,还用于对于目标加速配置的目标功能,数据分析层102确定目标功能对应的目标验证方案,基于目标验证方案从接收到的目标域名的全部访问信息中提取目标访问信息;功能验证层103,用于基于数据分析层102提供的目标验证方案和目标访问信息对目标功能进行验证。
可选的,信息采集层101还用于:周期性从加速域名的线上服务器的访问日志中采集验证加速域名的加速配置的功能所需的全部访问信息。
可选的,数据分析层102还用于:制定访问日志留存标准,并将访问日志留存标准发送至线上服务器,以使线上服务器按照访问日志留存标准生成并存储访问日志。
可选的,信息采集层101还用于:若加速域名的加速配置对应静态资源,则周期性发起针对加速域名的访问请求;接收线上服务器反馈的访问请求的响应页面,并根据加速域名的加速配置从响应页面获取验证加速域名的加速配置的功能所需的全部访问信息。
可选的,信息采集层101还用于:若加速域名的加速配置对应动态资源,则发起针对加速域名的上级域名的访问请求;接收线上服务器反馈的访问请求的响应页面,并根据加速域名的加速配置从响应页面获取验证加速域名的加速配置的功能所需的全部访问信息。
可选的,数据分析层102还用于:若功能验证指令仅携带有验证标识,则将全量域名的所有加速配置确定为目标域名的目标加速配置;若功能验证指令携带有域名标识,将域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;若功能验证指令携带有配置标识,将配置标识对应的目标加速配置确定为目标域名的目标加速配置。
可选的,功能验证层103还用于:如果所述目标功能的验证结果为异常结果,所述功能验证层则执行所述验证结果对应的预设报警处理。
本实施例基于上述域名配置自动化验证的方法提供的自动化验证系统,其信息采集层可以周期性获取验证加速域名的加速配置的功能所需的全部访问信息,并将全部访问信息上传至数据分析层,数据分析层在接收到功能验证指令时,可以根据功能验证指令确定目标域名的目标加速配置,对于目标加速配置的目标功能,数据分析层确定目标功能对应的目标验证方案,基于目标验证方案从目标域名的全部访问信息中提取目标访问信息,功能验证层基于数据分析层提供的目标验证方案和目标访问信息对目标功能进行验证。这样,通过信息采集层进行海量数据采集,并通过数据分析层进行数据分析、提取,获取对功能进行验证所需的目标访问信息,省去了大量的人工筛选和输入的操作,减少了人机交互的过程,不仅大大提高了验证效率,还提高了验证准确率;且当验证结果异常时,可以及时发现问题并预警,以降低在加速服务变更实施过程中对其业务的影响。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种域名配置自动化验证的方法,其特征在于,所述方法应用于自动化验证系统,所述自动化验证系统包括信息采集层、数据分析层及功能验证层,其中:
对于每个加速域名,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,并将所述全部访问信息上传至所述数据分析层;
当接收到功能验证指令时,所述数据分析层根据所述功能验证指令确定目标域名的目标加速配置;
对于所述目标加速配置的目标功能,所述数据分析层确定所述目标功能对应的目标验证方案,基于所述目标验证方案从接收到的所述目标域名的全部访问信息中提取目标访问信息;
所述功能验证层基于所述数据分析层提供的所述目标验证方案和所述目标访问信息对所述目标功能进行验证。
2.如权利要求1所述的方法,其特征在于,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,包括:
所述信息采集层周期性从所述加速域名对应的线上服务器的访问日志中采集验证所述加速域名的加速配置的功能所需的全部访问信息。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
所述数据分析层制定日志生成标准,并将所述日志生成标准发送至所述线上服务器,以使所述线上服务器按照所述日志生成标准生成访问日志;
所述数据分析层制定信息存储标准,并基于所述信息存储标准对所述全部访问信息进行存储。
4.如权利要求1所述的方法,其特征在于,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,包括:
若所述加速域名的加速配置对应静态资源,所述信息采集层则周期性发起针对所述加速域名的访问请求;
所述信息采集层接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
5.如权利要求1所述的方法,其特征在于,所述信息采集层周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,包括:
若所述加速域名的加速配置对应动态资源,所述信息采集层则发起针对所述加速域名的上级域名的访问请求;
所述信息采集层接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
6.如权利要求1所述的方法,其特征在于,所述数据分析层根据所述功能验证指令确定目标域名的目标加速配置,包括:
若所述功能验证指令未携带有验证范围信息,所述数据分析层则将全量域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有域名标识,所述数据分析层则将所述域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有配置标识,所述数据分析层则将所述配置标识对应的加速配置确定为目标域名的目标加速配置。
7.如权利要求1所述的方法,其特征在于,所述功能验证层基于所述数据分析层提供的所述目标验证方案和所述目标访问信息对所述目标功能进行验证之后,还包括:
如果所述目标功能的验证结果为异常结果,所述功能验证层则执行所述验证结果对应的预设报警处理。
8.一种域名配置自动化验证的系统,其特征在于,所述系统包括信息采集层、数据分析层及功能验证层,其中:
所述信息采集层,用于对于每个加速域名,周期性获取验证所述加速域名的加速配置的功能所需的全部访问信息,并将所述全部访问信息上传至数据分析层;
所述数据分析层,用于当接收到功能验证指令时,根据所述功能验证指令确定目标域名的目标加速配置;
所述数据分析层,还用于对于所述目标加速配置的目标功能,所述数据分析层确定所述目标功能对应的目标验证方案,基于所述目标验证方案从接收到的所述目标域名的所述全部访问信息中提取目标访问信息;
所述功能验证层,用于基于所述数据分析层提供的所述目标验证方案和所述目标访问信息对所述目标功能进行验证。
9.如权利要求8所述的系统,其特征在于,所述信息采集层还用于:
周期性从所述加速域名对应的线上服务器的访问日志中采集验证所述加速域名的加速配置的功能所需的全部访问信息。
10.如权利要求9所述的系统,其特征在于,所述数据分析层还用于:
制定日志生成标准,并将所述日志生成标准发送至所述线上服务器,以使所述线上服务器按照所述日志生成标准生成并存储所述访问日志;
制定信息存储标准,并基于所述信息存储标准对所述全部访问信息进行存储。
11.如权利要求8所述的系统,其特征在于,所述信息采集层还用于:
若所述加速域名的加速配置对应静态资源,则周期性发起针对所述加速域名的访问请求;
接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
12.如权利要求8所述的系统,其特征在于,所述信息采集层还用于:
若所述加速域名的加速配置对应动态资源,则发起针对所述加速域名的上级域名的访问请求;
接收所述线上服务器反馈的所述访问请求的响应页面,并根据所述加速配置从所述响应页面获取验证所述加速配置的功能所需的全部访问信息。
13.如权利要求8所述的系统,其特征在于,所述数据分析层还用于:
若所述功能验证指令中未携带有验证范围信息,则将全量域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有域名标识,将所述域名标识对应的加速域名的所有加速配置确定为目标域名的目标加速配置;
若所述功能验证指令携带有配置标识,将所述配置标识对应的加速配置确定为目标域名的目标加速配置。
14.如权利要求8所述的系统,其特征在于,所述功能验证层还用于:
如果所述目标功能的验证结果为异常结果,所述功能验证层则执行所述验证结果对应的预设报警处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910232459.7A CN110061864B (zh) | 2019-03-26 | 2019-03-26 | 一种域名配置自动化验证的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910232459.7A CN110061864B (zh) | 2019-03-26 | 2019-03-26 | 一种域名配置自动化验证的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110061864A true CN110061864A (zh) | 2019-07-26 |
CN110061864B CN110061864B (zh) | 2022-07-26 |
Family
ID=67316341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910232459.7A Expired - Fee Related CN110061864B (zh) | 2019-03-26 | 2019-03-26 | 一种域名配置自动化验证的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110061864B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395370A (zh) * | 2021-06-23 | 2021-09-14 | 上海众言网络科技有限公司 | 自动化配置自定义域名的方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126402A (zh) * | 2016-06-14 | 2016-11-16 | 网易(杭州)网络有限公司 | 加速器异常的处理方法及装置 |
CN107135390A (zh) * | 2017-05-08 | 2017-09-05 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种电视应用的自动化测试方法及系统 |
CN107528749A (zh) * | 2017-08-28 | 2017-12-29 | 杭州安恒信息技术有限公司 | 基于云防护日志的网站可用性检测方法、装置及系统 |
CN108880897A (zh) * | 2018-06-29 | 2018-11-23 | 平安科技(深圳)有限公司 | 服务器的验收方法、装置、计算机设备及存储介质 |
CN109240913A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 一种网页功能验证方法、计算机可读存储介质及终端设备 |
WO2019029327A1 (zh) * | 2017-08-08 | 2019-02-14 | 华为技术有限公司 | 网络功能服务的发现方法及设备 |
-
2019
- 2019-03-26 CN CN201910232459.7A patent/CN110061864B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126402A (zh) * | 2016-06-14 | 2016-11-16 | 网易(杭州)网络有限公司 | 加速器异常的处理方法及装置 |
CN107135390A (zh) * | 2017-05-08 | 2017-09-05 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种电视应用的自动化测试方法及系统 |
WO2019029327A1 (zh) * | 2017-08-08 | 2019-02-14 | 华为技术有限公司 | 网络功能服务的发现方法及设备 |
CN107528749A (zh) * | 2017-08-28 | 2017-12-29 | 杭州安恒信息技术有限公司 | 基于云防护日志的网站可用性检测方法、装置及系统 |
CN108880897A (zh) * | 2018-06-29 | 2018-11-23 | 平安科技(深圳)有限公司 | 服务器的验收方法、装置、计算机设备及存储介质 |
CN109240913A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 一种网页功能验证方法、计算机可读存储介质及终端设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395370A (zh) * | 2021-06-23 | 2021-09-14 | 上海众言网络科技有限公司 | 自动化配置自定义域名的方法及装置 |
CN113395370B (zh) * | 2021-06-23 | 2022-12-09 | 上海众言网络科技有限公司 | 自动化配置自定义域名的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110061864B (zh) | 2022-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798028B2 (en) | Systems and methods for monitoring malicious software engaging in online advertising fraud or other form of deceit | |
US10565077B2 (en) | Using cognitive technologies to identify and resolve issues in a distributed infrastructure | |
CN103257989B (zh) | 网页下载时间分析 | |
US9253261B2 (en) | System and method for main page identification in web decoding | |
CN105512044B (zh) | 用于关键字驱动测试的对象库的更新方法及系统 | |
CN105516321B (zh) | 一种数据采集方法和装置 | |
US20170286268A1 (en) | Triggering debug processing within a scalable cloud environment | |
CN106412975B (zh) | 一种内容计费漏洞的测试方法和装置 | |
CN111404937B (zh) | 一种服务器漏洞的检测方法和装置 | |
Datta et al. | Evaluating anti-fingerprinting privacy enhancing technologies | |
CN114301673A (zh) | 一种漏洞检测方法、装置、电子设备及存储介质 | |
CN106096034A (zh) | 应用程序日志管理方法及装置 | |
CN107168844B (zh) | 一种性能监控的方法及装置 | |
CN109672658A (zh) | Json劫持漏洞的检测方法、装置、设备及存储介质 | |
CN108924159A (zh) | 一种报文特征识别库的验证方法与装置 | |
CN110826058A (zh) | 基于用户交互的恶意软件检测 | |
CN107704369A (zh) | 一种操作日志的记录方法、电子设备、存储介质、系统 | |
CN109510738A (zh) | 一种通信链路的测试方法及设备 | |
CN111787050A (zh) | 一种登录异常行为的分析方法、系统和装置 | |
CN105515909A (zh) | 一种数据采集测试方法和装置 | |
CN110061864A (zh) | 一种域名配置自动化验证的方法和系统 | |
CN109189681A (zh) | 基于ajax的数据仿真方法、客户端及系统 | |
CN110838929B (zh) | 系统错误排查方法和系统错误排查装置 | |
CN108073504A (zh) | 用于调试分布式系统的方法、装置及调试系统 | |
RU2669172C2 (ru) | Способ и система мониторинга согласованности веб-сайта |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220726 |