CN111191156B - 网络请求资源调度方法、装置及计算机可读存储介质 - Google Patents

网络请求资源调度方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111191156B
CN111191156B CN201911325378.8A CN201911325378A CN111191156B CN 111191156 B CN111191156 B CN 111191156B CN 201911325378 A CN201911325378 A CN 201911325378A CN 111191156 B CN111191156 B CN 111191156B
Authority
CN
China
Prior art keywords
url
cache
request
target url
domain name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911325378.8A
Other languages
English (en)
Other versions
CN111191156A (zh
Inventor
洪一帆
张阳平
戚剑锋
王广伟
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911325378.8A priority Critical patent/CN111191156B/zh
Publication of CN111191156A publication Critical patent/CN111191156A/zh
Application granted granted Critical
Publication of CN111191156B publication Critical patent/CN111191156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明实施例涉及网络管理技术领域,公开了一种网络请求资源调度方法。本发明接收并解析用户请求得的目的URL,判断所述目的URL是否属于预构建的内容分发网络所签订的URL,若所述目的URL属于预构建的内容分发网络所签订的URL,则启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到与所述用户请求对应的请求资源,若所述目的URL不属于预构建的内容分发网络所签订的URL,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源。本发明还提出一种网络请求资源调度装置以及一种计算机可读存储介质。本发明可有效的解决在资源调度上网络带宽拥塞、网络响应速度延迟的问题。

Description

网络请求资源调度方法、装置及计算机可读存储介质
技术领域
本发明实施例涉及网络管理技术领域,特别涉及一种网络请求资源调度的方法。
背景技术
随着互联网技术的发展,越来越多的用户及设备接入互联网,造成互联网上的数据量急速增长,对运营商及互联网企业来说都是一个很大的挑战,因为巨大的数据量极易造成网络带宽拥塞及传输费用的增加,影响服务质量及用户体验,为解决这一问题,目前主要有CDN及WebCache两种方式。
上述两种方式在节省骨干网传输带宽,降低网间流量的同时,在提升用户体验方面也发挥了巨大的作用。然而本发明人发现,这所述两种方式由于各自分离管理,缺乏统一的资源管理和调度机制,因此在一定程度上造成资源浪费,即使目前已有将两种方式结合的技术手段,但也仅仅是区分出不同的业务范围而简单的进行资源调度,没有实现CDN及WebCache之前的优劣势互补,因此在没有解决优劣势互补的情况下,单个的CDN及WebCache在资源调度上,存在网络带宽拥塞、网络响应速度延迟的问题。
发明内容
本发明实施方式的目的在于提供一种网络请求资源调度方法、装置及计算机可读存储介质,有效的解决了在资源调度上,网络带宽拥塞、网络响应速度延迟的问题。
为解决上述技术问题,本发明的实施方式提供了一种网络请求资源调度方法,所述方法包括:
接收用户请求,解析所述用户请求的目的URL;
判断所述目的URL是否属于预构建的内容分发网络所签订的URL;
当所述目的URL属于预构建的内容分发网络所签订的URL时,启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到请求资源;
当所述目的URL不属于预构建的内容分发网络所签订的URL时,启用与所述用户请求对应的远程域名解析服务器对所述目的URL进行域名解析,得到请求资源。
优选地,若所述目的URL不属于预构建的内容分发网络所签订的URL,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源,包括:
若所述目的URL不属于预构建的内容分发网络所签订的URL,判断所述目的URL被请求的次数是否达到预设的热度阈值,若所述目的URL被请求的次数没达到所述热度阈值,启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源;
若所述目的URL被请求的次数达到所述热度阈值,则根据所述目的URL使用预设缓存控制方法提取得到请求资源。
优选地,所述启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源,包括:
判断所述目的URL在所述用户请求的本地浏览器中是否有与所述目的URL相对应的本地缓存;
若存在所述目的URL相对应的本地缓存,直接访问所述本地缓存的历史记录;
若不存在所述目的URL相对应的本地缓存,则向所述远程域名解析服务器发起解析请求,直至所述远程域名解析服务器响应请求并反馈请求资源。
优选地,所述根据所述目的URL使用预设缓存控制方法提取得到请求资源,包括:
启动与所述用户请求对应的本地域名解析服务器,解析所述目的URL得到解析数据;
查询与所述解析数据对应的本地用户请求缓存数据,判断所述本地用户请求缓存数据是否满足预设的缓存控制条件;
若所述本地用户请求缓存数据不满足所述缓存控制条件,启动代理服务器请求至所述目的URL的服务器得到所述请求资源;
若所述本地用户请求缓存数据满足所述缓存控制条件,所述本地用户请求缓存数据即为所述请求资源。
优选地,所述判断所述本地用户请求缓存数据是否满足预设的缓存控制条件,包括:
判断所述本地用户请求缓存数据是否在预设的缓存周期内;
若所述本地用户请求缓存数据不在所述缓存周期内,则所述本地用户请求缓存数据不满足所述缓存控制条件;
若所述本地用户请求缓存数据在所述缓存周期内,判断所述本地用户请求缓存数据在所述缓存周期内被更新的次数;
若所述本地用户请求缓存数据在所述缓存周期内被更新的次数不满足预设更新次数阈值,则所述本地用户请求缓存数据不满足所述缓存控制条件;
若所述本地用户请求缓存数据在所述缓存周期内被更新的次数满足所述更新次数阈值,则所述本地用户请求缓存数据满足所述缓存控制条件。
优选地,所述判断所述目的URL是否属于预构建的内容分发网络所签订的URL,包括:
将所述目的URL作为预构建哈希函数的自变量求解得到哈希URL;
根据哈希映射法则将所述哈希URL转化成目的指纹串;
使用所述哈希URL和所述目的指纹串在存储所述预构建的内容分发网络所签订的URL的表格内进行查找,若所述哈希URL或所述目的指纹串的任意一个与所述URL表格内的数据相同,则所述目的URL属于预构建的内容分发网络所签订的URL;
若所述哈希URL或所述目的指纹串都不与所述URL表格内的数据相同,则所述目的URL不属于预构建的内容分发网络所签订的URL。
优选地,所述对所述目的URL进行域名解析,得到缓存服务器的IP地址,包括:
所述域名解析服务器对所述目的URL进行解析得到所述内容分发网络中的负载均衡系统的IP地址;
根据所述负载均衡系统的IP地址访问所述负载均衡系统,在所述负载均衡系统内根据策略选择最优原则选择得到所述缓存服务器的IP地址。
为了解决上述问题,本发明还提供一种组件调用装置,所述装置包括:
目的URL判断模块,用于接收用户请求,解析所述用户请求的目的URL,判断所述目的URL是否属于预构建的内容分发网络所签订的URL;
内容分发网络的域名解析模块,判断出启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到请求资源。
远程域名解析服务器解析模块,判断出若所述目的URL不属于预构建的内容分发网络所签订的URL,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述中任意一项所述的组件调用方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述中任意一项所述的组件调用方法。
本发明实施方式根据目的URL是否属于预构建的内容分发网络所签订的URL,使用两种不同的方法进行资源调度,防止因为只使用一种方法而造成的解析服务器负荷过大、网络响应速度变缓、网络带宽拥塞的现象。
进一步地,本发明实施方式对所述目的URL进行热度分析,确认所述目的URL是否被经常访问,若所述目的URL经常被访问,则直接启用缓存控制方法从本地获取请求资源,因此进一步提高了网络资源的请求效率,减少了网速、服务器对请求资源的影响。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的网络请求资源调度方法的流程示意图;
图2为本发明实施例图1提供的网络请求资源调度方法中S2的流程示意图;
图3为本发明实施例提供的网络请求资源调度方法中域名解析的流程示意图;
图4为本发明实施例图1提供的网络请求资源调度方法中S5的流程示意图;
图5为本发明实施例提供的网络请求资源调度方法中预设缓存控制方法的流程示意图;
图6为本发明实施例提供的网络请求资源调度电子设备的内部结构示意图;
图7为本发明实施例提供的网络请求资源调度装置的模块示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的实施方式涉及一种网络请求资源调度方法,在本实施方式中根据目的URL的不同使用不同方法进行资源调度,从而防止只使用单一方法而造成解析服务器负荷过大、网络响应速度变缓、网络带宽拥塞的现象。下面对本实施方式的网络请求资源调度实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本发明实施方式请参阅图1所示的网络请求资源调度流程示意图,具体地包括:
S1、接收用户请求,解析所述用户请求的目的URL。
随着互联网技术的发展,越来越多的用户及设备接入互联网,造成互联网上的数据量急速增长,对运营商及互联网企业来说都是一个很大的挑战,因为巨大的数据量极易造成网络带宽拥塞及传输费用的增加,影响服务质量及用户体验,因此合理根据用户请求进行网络资源调度是极其有必要的。
如用户A是一位科研工作者,需要访问知网查询当前相关的学术论文,因此使用自己的电脑登录浏览器打开知网,所述打开知网的过程即为用户请求,而知网的URL即为所述目的URL,其中URL称为统一资源定位标志,简称网络地址。
S2、判断所述目的URL是否属于预构建的内容分发网络所签订的URL。
所述内容分发网络(CDN,Content Delivery Network)是构建在已有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,完成负载均衡、内容分发、调度等功能,主要根据用户请求而就近获取用户请求所需内容,降低网络拥塞,提高用户访问响应速度和命中率。
进一步地,所述内容分发网络包括域名解析服务器、负载均衡处理系统和缓存服务器。
所述签订的意思是一个URL表格内的每个URL都由所述内容分发网络负责资源调度。如上述用户A需要访问知网查询当前相关的学术论文,当用户A在地方a时,此时访问知网的URL为URL_A,当用户A在地方b时,此时访问知网的URL为URL_B,若所述URL_A在所述URL集合内,则所述URL_A的资源调度功能由所述内容分发网络负责,若所述URL_B确不在所述URL集合内,则所述URL_B的资源调度功能不能由所述内容分发网络负责远程域名解析服务器。
详细地,判断所述目的URL是否属于预构建的内容分发网络所签订的URL的详细实施流程,请参阅图2所示,包括:
S21、将所述目的URL作为预构建哈希函数的自变量求解得到哈希URL;
S22、根据哈希映射法则将所述哈希URL转化成目的指纹串;
S23、使用所述哈希URL和所述目的指纹串在存储所述预构建的内容分发网络所签订的URL的表格内进行查找;
S24、若所述哈希URL或所述目的指纹串的任意一个与所述URL表格内的数据相同,则所述目的URL属于预构建的内容分发网络所签订的URL;
S25、若所述哈希URL或所述目的指纹串都不与所述URL表格内的数据相同,则所述目的URL不属于所述内容分发网络所签订的URL。
进一步地,所述哈希函数可采用已知公开的方法,如MD4、MD5、散列表方法、SHA-1等。所述哈希映射法可采用已知公开的散列图方法,从而将所述哈希URL转化成所述目的指纹串。
S3、当所述目的URL属于预构建的内容分发网络所签订的URL时,启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到请求资源。
域名解析服务器(DNS,全称Domain Name System)是由域名解析器和域名服务器组成的。通过域名解析服务器可以寻找到需要访问的网址的服务器。进一步地,所述内容分发网络对应的域名解析服务器先寻找所述内容分发网络内的负载均衡处理系统,所述内容分发网络对应的域名解析服务器较佳地可为别名记录指向的域名解析服务器,所述别名记录(CNAME)也被称为规范名字,可允许多个名字映射到同一台计算机,进而提高资源调度效率。
详细地,所述域名解析的详细实施过程请参阅图3所示,包括:
S31、所述内容分发网络对应的域名解析服务器对所述目的URL进行解析得到负载均衡系统的IP地址;
S32、根据所述负载均衡系统的IP地址访问所述负载均衡系统;
S33、在所述负载均衡系统内根据策略选择最优原则选择得到缓存服务器的IP地址。
所述负载均衡系统的作用是将负载(又称工作任务)进行平衡、分摊到多个小操作单元上进行运行,从而提高响应速度,减轻其他服务器的压力。如上述用户A访问知网查询当学术论文,因此使用自己的电脑登录浏览器打开知网网站,而知网网站需要响应用户A的请求,因此调用知网网站的若干服务器的其中一个服务器响应用户A的请求,但调用哪个服务器即需要所述负载均衡系统进行计算进而得到选择哪所服务器的结果。
所述缓存服务器是位于客户端和源站授权服务器之间的计算机,比本地缓存效率更高,提前缓存拷贝对象放置于计算机中,无需到Internet服务器上再次下载它。如上述知乎网站会将本网站的相关内容(如学术论文)提前加载至所述缓存服务器,因此一旦用户需要访问或下载某学术论文时,可直接访问某学术论文所在的缓存服务器,从而避免与所述源站授权服务器直接接触,提高资源调度效率。所述知乎网站所在的服务器即为源站授权服务器。
所述解析得到负载均衡系统的IP地址的方法有很多种,可使用当前已公开的递归解析、反复解析、记录解析等方法。
所述策略选择最优原则可采用计算若干个所述缓存服务器的内存占用量、若干个所述缓存服务器的通信距离等方式,从而选择出最优的缓存服务器。
进一步地,访问所述缓存服务器的IP地址,得到与所述用户请求对应的请求资源。
如上述用户A需要查询人工智能类的相关学术论文,通过上述步骤分析得,知乎网站会将本网站的相关内容提前加载至若干个所述缓存服务器中,经过上述步骤处理后得到访问缓存服务器X为最优策略,因此通过访问所述访问缓存服务器X的IP地址,请求获得人工智能类的相关学术论文,所述访问缓存服务器X接收所述请求从而调度人工智能类的相关学术论文反馈给用户。
S4、当所述目的URL不属于预构建的内容分发网络所签订的URL时,启用与所述用户请求对应的远程域名解析服务器对所述目的URL进行域名解析,得到请求资源。
详细地,所述S4的详细实施流程请参阅图4所示,包括:
S411、若所述目的URL不属于预构建的内容分发网络所签订的URL,判断所述目的URL被请求的次数是否达到预设的热度阈值;
S412、若所述目的URL被请求的次数没达到所述热度阈值,启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源;
S413、若所述目的URL被请求的次数达到所述热度阈值,则根据所述目的URL使用预设缓存控制方法提取得到请求资源。
所述热度阈值是所述目的URL在预设时间段内被访问的次数,如在预设时间段内,只有用户A请求了知乎网站,故被请求的次数为1,而热度阈值设定的次数为200次,因此没有达到200次则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源;在预设时间段内,包括用户A请求知乎网站共320次,而热度阈值设定的次数为200次,因此达到200次的热度阈值,则根据所述目的URL使用预设缓存控制方法提取得到请求资源。
详细地,所述启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源,包括:判断所述目的URL在所述用户请求的本地浏览器中是否有与所述目的URL相对应的本地缓存,若存在所述目的URL相对应的本地缓存,直接访问所述本地缓存的历史记录,若不存在所述目的URL相对应的本地缓存,则向远程域名解析服务器发起解析请求,直至所述域名解析服务器响应请求并反馈请求资源。
进一步地,所述本地缓存可为DNS缓存,所述DNS缓存的时间较短,但能容纳1000条缓存。
所述远程域名解析服务器一般是网络运营商提供。
如上述在预设时间段内,包括用户A请求知乎网站共320次,而热度阈值设定的次数为200次,因此达到200次的热度阈值,则本地服务器存储了用户A请求的相关学术论文数据,所述相关学术论文数据即为本地用户请求缓存数据。
进一步地,所述根据所述目的URL使用预设缓存控制方法提取得到请求资源的详细实施流程,请参阅图5所示,包括:
S421、启动与所述用户请求对应的本地域名解析服务器,解析所述目的URL得到解析数据,查询与所述解析数据对应的本地用户请求缓存数据;
S422、判断所述本地用户请求缓存数据是否满足预设的缓存控制条件;
S423、若所述本地用户请求缓存数据不满足所述缓存控制条件,启动代理服务器请求至所述目的URL的服务器得到所述请求资源;
S424、若所述本地用户请求缓存数据满足所述缓存控制条件,所述本地用户请求缓存数据即为所述请求资源。
其中,所述判断所述本地用户请求缓存数据是否满足预设的缓存控制条件,包括:判断所述本地用户请求缓存数据是否在预设的缓存周期内,若所述本地用户请求缓存数据不在所述缓存周期内,则所述本地用户请求缓存数据不满足所述缓存控制条件,若所述本地用户请求缓存数据在所述缓存周期内,判断所述本地用户请求缓存数据在所述缓存周期内被更新的次数,若所述本地用户请求缓存数据在所述缓存周期内被更新的次数不满足预设更新次数阈值,则所述本地用户请求缓存数据不满足所述缓存控制条件,若所述本地用户请求缓存数据在所述缓存周期内被更新的次数满足所述更新次数阈值,则所述本地用户请求缓存数据满足所述缓存控制条件。
当所述目的URL不属于预构建的内容分发网络所签订的URL时,所述目的URL的资源调度功能不能由所述内容分发网络负责,而是由WebCache负责,所述WebCache先响应用户请求并寻求资源,当本地服务器没有缓存的资源时,通过代理用户请求的形式从远程域名解析服务器主机寻求资源。
如上所述,所述缓存控制条件包括所述缓存周期和所述更新次数阈值,所述缓存周期是指在预设的时间段内缓存的数据,如上述相关学术论文数据是在2019年3月缓存,而现在是2019年5月,若缓存周期为一个月的话,则不满足缓存周期。所述更新次数阈值是在满足所述缓存周期下,所述相关学术论文数据被更新的次数,如在2019年5月的一个月的缓存周期内,所述更新次数阈值是10次,而所述相关学术论文数据仅更新了6次,故不满足所述更新次数阈值。如在2019年5月的一个月的缓存周期内,所述更新次数阈值是10次,而所述相关学术论文数据仅更新了18次,故所述更新次数阈值,使用缓存控制方法提取得到请求资源。
如图6所示,是本发明网络请求资源调度装置的功能模块图。
本发明所述资源调度装置100可以安装于电子设备中。根据实现的功能,所述网络请求资源调度装置可以包括目的URL判断模块、内容分发网络的域名解析模块和远程域名解析服务器解析模块。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
目的URL判断模块,用于接收用户请求,解析所述用户请求的目的URL,判断所述目的URL是否属于预构建的内容分发网络所签订的URL。
内容分发网络的域名解析模块,判断出当所述目的URL属于预构建的内容分发网络所签订的URL时,启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到请求资源。
远程域名解析服务器解析模块,判断出当所述目的URL不属于预构建的内容分发网络所签订的URL,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源。
如图7所示,是本发明实现网络请求资源调度方法的电子设备的结构示意图。
所述电子设备1可以包括处理器12、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器12上运行的计算机程序。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如资源调度程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器12是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行资源调度程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器12等之间的连接通信。
图7仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图7示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的请求资源调度程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
接收用户请求,解析所述用户请求的目的URL。
判断所述目的URL是否属于预构建的内容分发网络所签订的URL。
若所述目的URL属于预构建的内容分发网络所签订的URL,则启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到缓存服务器的IP地址。
访问所述缓存服务器的IP地址,得到与所述用户请求对应的请求资源。
若所述目的URL不属于预构建的内容分发网络所签订的URL,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源。
具体地,所述处理器10对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (7)

1.一种网络请求资源调度方法,其特征在于,所述方法包括:
接收用户请求,解析所述用户请求的目的URL;
判断所述目的URL是否属于预构建的内容分发网络所签订的URL;
当所述目的URL属于预构建的内容分发网络所签订的URL时,启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到请求资源;
当所述目的URL不属于预构建的内容分发网络所签订的URL时,启用与所述用户请求对应的远程域名解析服务器对所述目的URL进行域名解析,得到请求资源;
若所述目的URL不属于预构建的内容分发网络所签订的URL,该方法还包括:
判断所述目的URL被请求的次数是否达到预设的热度阈值;
若所述目的URL被请求的次数没达到所述热度阈值,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源;
若所述目的URL被请求的次数达到所述热度阈值,则根据所述目的URL使用预设缓存控制方法提取得到请求资源;
所述根据所述目的URL使用预设缓存控制方法提取得到请求资源,包括:
启动与所述用户请求对应的本地域名解析服务器,解析所述目的URL得到解析数据;
查询与所述解析数据对应的本地用户请求缓存数据,判断所述本地用户请求缓存数据是否满足预设的缓存控制条件;
若所述本地用户请求缓存数据不满足所述缓存控制条件,则启动代理服务器请求至所述目的URL的服务器得到所述请求资源;
若所述本地用户请求缓存数据满足所述缓存控制条件,所述本地用户请求缓存数据即为所述请求资源;
所述判断所述本地用户请求缓存数据是否满足预设的缓存控制条件,包括:
判断所述本地用户请求缓存数据是否在预设的缓存周期内;
若所述本地用户请求缓存数据不在所述缓存周期内,则所述本地用户请求缓存数据不满足所述缓存控制条件;
若所述本地用户请求缓存数据在所述缓存周期内,判断所述本地用户请求缓存数据在所述缓存周期内被更新的次数;
若所述本地用户请求缓存数据在所述缓存周期内被更新的次数不满足预设更新次数阈值,则所述本地用户请求缓存数据不满足所述缓存控制条件;
若所述本地用户请求缓存数据在所述缓存周期内被更新的次数满足所述更新次数阈值,则所述本地用户请求缓存数据满足所述缓存控制条件。
2.根据权利要求1所述的网络请求资源调度方法,其特征在于,所述启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源,包括:
判断所述目的URL在所述用户请求的本地浏览器中是否有与所述目的URL相对应的本地缓存;
若存在所述目的URL相对应的本地缓存,直接访问所述本地缓存的历史记录;
若不存在所述目的URL相对应的本地缓存,则向所述远程域名解析服务器发起解析请求,直至所述远程域名解析服务器响应请求并反馈请求资源。
3.根据权利要求1所述的网络请求资源调度方法,其特征在于,所述判断所述目的URL是否属于预构建的内容分发网络所签订的URL,包括:
将所述目的URL作为预构建哈希函数的自变量求解得到哈希URL;
根据哈希映射法则将所述哈希URL转化成目的指纹串;
使用所述哈希URL和所述目的指纹串在存储所述预构建的内容分发网络所签订的URL的表格内进行查找,若所述哈希URL或所述目的指纹串的任意一个与所述URL表格内的数据相同,则所述目的URL属于预构建的内容分发网络所签订的URL;
若所述哈希URL或所述目的指纹串都不与所述URL表格内的数据相同,则所述目的URL不属于预构建的内容分发网络所签订的URL。
4.根据权利要求1所述的网络请求资源调度方法,其特征在于,所述对所述目的URL进行域名解析,得到缓存服务器的IP地址,包括:
利用所述域名解析服务器对所述目的URL进行解析得到所述内容分发网络中的负载均衡系统的IP地址;
根据所述负载均衡系统的IP地址访问所述负载均衡系统,在所述负载均衡系统内根据策略选择最优原则选择得到所述缓存服务器的IP地址。
5.一种网络请求资源调度装置,其特征在于,所述装置包括:
目的URL判断模块,用于接收用户请求,解析所述用户请求的目的URL,判断所述目的URL是否属于预构建的内容分发网络所签订的URL;
内容分发网络的域名解析模块,判断出若所述目的URL属于预构建的内容分发网络所签订的URL,则启用与所述内容分发网络对应的域名解析服务器对所述目的URL进行域名解析,得到缓存服务器的IP地址,访问所述缓存服务器的IP地址,得到与所述用户请求对应的请求资源;
若所述目的URL不属于预构建的内容分发网络所签订的URL,还包括:
判断所述目的URL被请求的次数是否达到预设的热度阈值;
若所述目的URL被请求的次数没达到所述热度阈值,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源;
若所述目的URL被请求的次数达到所述热度阈值,则根据所述目的URL使用预设缓存控制方式提取得到请求资源;
所述根据所述目的URL使用预设缓存控制方式提取得到请求资源,包括:
启动与所述用户请求对应的本地域名解析服务器,解析所述目的URL得到解析数据;
查询与所述解析数据对应的本地用户请求缓存数据,判断所述本地用户请求缓存数据是否满足预设的缓存控制条件;
若所述本地用户请求缓存数据不满足所述缓存控制条件,则启动代理服务器请求至所述目的URL的服务器得到所述请求资源;
若所述本地用户请求缓存数据满足所述缓存控制条件,所述本地用户请求缓存数据即为所述请求资源;
所述判断所述本地用户请求缓存数据是否满足预设的缓存控制条件,包括:
判断所述本地用户请求缓存数据是否在预设的缓存周期内;
若所述本地用户请求缓存数据不在所述缓存周期内,则所述本地用户请求缓存数据不满足所述缓存控制条件;
若所述本地用户请求缓存数据在所述缓存周期内,判断所述本地用户请求缓存数据在所述缓存周期内被更新的次数;
若所述本地用户请求缓存数据在所述缓存周期内被更新的次数不满足预设更新次数阈值,则所述本地用户请求缓存数据不满足所述缓存控制条件;
若所述本地用户请求缓存数据在所述缓存周期内被更新的次数满足所述更新次数阈值,则所述本地用户请求缓存数据满足所述缓存控制条件;
远程域名解析服务器解析模块,判断出若所述目的URL不属于预构建的内容分发网络所签订的URL,则启用与所述用户请求对应的远程域名解析服务器解析所述目的URL,得到请求资源。
6.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至4中任一所述的网络请求资源调度方法。
7.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的网络请求资源调度方法。
CN201911325378.8A 2019-12-20 2019-12-20 网络请求资源调度方法、装置及计算机可读存储介质 Active CN111191156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911325378.8A CN111191156B (zh) 2019-12-20 2019-12-20 网络请求资源调度方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911325378.8A CN111191156B (zh) 2019-12-20 2019-12-20 网络请求资源调度方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111191156A CN111191156A (zh) 2020-05-22
CN111191156B true CN111191156B (zh) 2023-09-05

Family

ID=70707500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911325378.8A Active CN111191156B (zh) 2019-12-20 2019-12-20 网络请求资源调度方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111191156B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190180A (zh) * 2022-06-29 2022-10-14 乐视云计算有限公司 在网络资源请求骤增时的网络资源请求调度方法和装置
CN115577197B (zh) * 2022-12-07 2023-10-27 杭州城市大数据运营有限公司 组件发现的方法、系统和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202684A (zh) * 2006-12-15 2008-06-18 中国电信股份有限公司 在内容分发网络中进行用户就近性判断的方法
CN103841150A (zh) * 2012-11-26 2014-06-04 华为技术有限公司 基于内容分发网络cdn分发数据的方法及装置
CN103957285A (zh) * 2014-04-18 2014-07-30 上海聚流软件科技有限公司 提供根域名解析服务的方法和系统
CN105681489A (zh) * 2016-03-02 2016-06-15 北京网康科技有限公司 一种域名系统dns查询的方法及装置
CN108076142A (zh) * 2017-11-28 2018-05-25 郑州云海信息技术有限公司 一种基于cdn技术加速用户请求的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785704B1 (en) * 1999-12-20 2004-08-31 Fastforward Networks Content distribution system for operation over an internetwork including content peering arrangements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202684A (zh) * 2006-12-15 2008-06-18 中国电信股份有限公司 在内容分发网络中进行用户就近性判断的方法
CN103841150A (zh) * 2012-11-26 2014-06-04 华为技术有限公司 基于内容分发网络cdn分发数据的方法及装置
CN103957285A (zh) * 2014-04-18 2014-07-30 上海聚流软件科技有限公司 提供根域名解析服务的方法和系统
CN105681489A (zh) * 2016-03-02 2016-06-15 北京网康科技有限公司 一种域名系统dns查询的方法及装置
CN108076142A (zh) * 2017-11-28 2018-05-25 郑州云海信息技术有限公司 一种基于cdn技术加速用户请求的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵问道 ; 崔艳 ; 薛峰 ; .一种基于DNS和第七层交换的CDN实现方案.中国海洋大学学报(自然科学版).2006,(01),全文. *

Also Published As

Publication number Publication date
CN111191156A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US10412176B2 (en) Website access method, apparatus, and website system
US9769248B1 (en) Performance-based content delivery
CN102984286B (zh) 一种dns服务器的缓存更新方法、装置及系统
CN102882939B (zh) 负载均衡方法、设备及泛域名加速访问系统
US8606996B2 (en) Cache optimization
CN103281409B (zh) 基于tcp协议的移动互联网域名解析方法及dns服务器
US11263284B2 (en) Method and system for loading web page, and server
CN104754073A (zh) 一种资源访问方法及装置
US20180285470A1 (en) A Mobile Web Cache Optimization Method Based on HTML5 Application Caching
CN102855334B (zh) 一种浏览器及其获取dns解析数据的方法
CN104798071A (zh) 在雾计算架构中使用边缘服务器改善网站性能
CN111191156B (zh) 网络请求资源调度方法、装置及计算机可读存储介质
US20070239732A1 (en) Method and system for providing improved URL mangling performance using fast re-write
CN102387195B (zh) 基于定向web服务器的资源加速下载系统和方法
CN111327461A (zh) 一种基于cdn系统的域名管理方法、装置、设备及介质
US20160344842A1 (en) Identifying content files in a cache using a response-based cache index
CN102045403A (zh) 分布式网络数据处理方法和装置及系统
CN103383687A (zh) 一种页面处理方法和装置
CN1174322C (zh) 应用导纳控制的高速缓存管理方法和系统
US20200320154A1 (en) A webpage loading method, webpage loading system and server
CN109756584B (zh) 域名解析方法、域名解析装置及计算机可读存储介质
CN103269353B (zh) Web缓存回源优化方法及Web缓存系统
EP2824592A1 (en) Content delivery network for adress modification of content items
CN109586937B (zh) 一种缓存系统的运维方法、设备和存储介质
WO2017097092A1 (zh) 缓存集群服务的处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant