CN110830535B - 一种超热文件的处理方法、负载均衡设备及下载服务器 - Google Patents

一种超热文件的处理方法、负载均衡设备及下载服务器 Download PDF

Info

Publication number
CN110830535B
CN110830535B CN201810914368.7A CN201810914368A CN110830535B CN 110830535 B CN110830535 B CN 110830535B CN 201810914368 A CN201810914368 A CN 201810914368A CN 110830535 B CN110830535 B CN 110830535B
Authority
CN
China
Prior art keywords
file
super
hot
target file
load balancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810914368.7A
Other languages
English (en)
Other versions
CN110830535A (zh
Inventor
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201810914368.7A priority Critical patent/CN110830535B/zh
Priority to PCT/CN2018/106644 priority patent/WO2020029380A1/zh
Priority to US16/472,692 priority patent/US11201914B2/en
Priority to EP18929675.9A priority patent/EP3836513A4/en
Publication of CN110830535A publication Critical patent/CN110830535A/zh
Application granted granted Critical
Publication of CN110830535B publication Critical patent/CN110830535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1023Server selection for load balancing based on a hash applied to IP addresses or costs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1014Server selection for load balancing based on the content of a request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/618Details of network addresses
    • H04L2101/663Transport layer addresses, e.g. aspects of transmission control protocol [TCP] or user datagram protocol [UDP] ports

Abstract

本发明公开了一种超热文件的处理方法、负载均衡设备及下载服务器,其中,所述方法包括:接收用户客户端发来的指向目标文件的下载请求,并在所述下载请求中添加用于表征所述目标文件是否为超热文件的缓存参数;将所述目标文件的标识在超热文件标识库中进行匹配,并根据匹配结果,判断所述目标文件是否为超热文件;若所述目标文件为超热文件,生成随机识别码,并将所述缓存参数更新为表征所述目标文件为超热文件的缓存参数;确定所述随机识别码映射至的下载服务器,并将携带更新后的缓存参数的下载请求转发至所述下载服务器处。本申请提供的技术方案,能够提高超热文件下载过程中的稳定性。

Description

一种超热文件的处理方法、负载均衡设备及下载服务器
技术领域
本发明涉及互联网技术领域,特别涉及一种超热文件的处理方法、负载均衡设备及下载服务器。
背景技术
随着互联网技术的不断发展,网络中的数据量也在不断递增。目前,可以在网络中部署大量的下载服务器,然后由下载服务器处理用户客户端发起的下载请求。具体地,当用户客户端发起指向某个文件的下载请求时,该下载请求可以被负载均衡设备经过一致性哈希运算,转发至对应的下载服务器处,从而由该下载服务器负责处理该下载请求。
然而,对于下载量特别高的超热文件,一台下载服务器往往无法应对庞大的数据流量,从而导致超热文件的下载变得迟缓,甚至导致超热文件的资源丢失。因此,目前的这种通过单台下载服务器处理超热文件的方式,具备较差的稳定性。
发明内容
本申请的目的在于提供一种超热文件的处理方法、负载均衡设备及下载服务器,能够提高超热文件下载过程中的稳定性。
为实现上述目的,本申请一方面提供一种超热文件的处理方法,所述方法应用于负载均衡设备中,所述负载均衡设备中具备超热文件标识库,所述超热文件标识库用于存储超热文件的标识,所述方法包括:接收用户客户端发来的指向目标文件的下载请求,并在所述下载请求中添加用于表征所述目标文件是否为超热文件的缓存参数;将所述目标文件的标识在所述超热文件标识库中进行匹配,并根据匹配结果,判断所述目标文件是否为超热文件;若所述目标文件为超热文件,生成随机识别码,并将所述缓存参数更新为表征所述目标文件为超热文件的缓存参数;确定所述随机识别码映射至的下载服务器,并将携带更新后的缓存参数的下载请求转发至所述下载服务器处。
为实现上述目的,本申请另一方面还提供一种负载均衡设备,所述负载均衡设备中包括负载均衡系统,所述负载均衡系统用于实现上述的方法。
为实现上述目的,本申请另一方面还提供一种负载均衡设备,所述负载均衡设备包括存储器和处理器,所述存储器用于存储超热文件标识库和计算机程序,所述超热文件标识库用于存储超热文件的标识,当所述计算机程序被所述处理器执行时,实现上述的方法。
为实现上述目的,本申请另一方面还提供一种超热文件的处理方法,所述方法包括:接收负载均衡设备发来的指向目标文件的下载请求,所述下载请求中包括用于表征所述目标文件是否为超热文件的缓存参数;若所述缓存参数表征所述目标文件为超热文件,判断当前记录的所述目标文件的热度值是否小于指定热度阈值,若小于,根据所述指定热度阈值,修改所述目标文件的当前热度值,并将所述目标文件写入缓存中;根据各个文件的当前热度值,从所述各个文件中检测出超热文件,并向所述负载均衡设备反馈包含检测出的所述超热文件的标识的上报信息,以使得所述负载均衡设备存储所述上报信息中携带的所述超热文件的标识。
为实现上述目的,本申请另一方面还提供一种下载服务器,所述下载服务器包括超热文件的处理系统,所述超热文件的处理系统用于实现上述的方法。
为实现上述目的,本申请另一方面还提供一种下载服务器,所述下载服务器包括存储器和处理器,所述存储器用于存储计算机程序,当所述计算机程序被所述处理器执行时,实现上述的方法。
由上可见,本申请提供的技术方案,负载均衡设备可以在本地的超热文件标识库中存储各个超热文件的标识,这样,在接收到用户客户端发来的指向目标文件的下载请求后,负载均衡设备可以将所述目标文件的标识在该超热文件标识库中进行匹配。若匹配到相同的标识,则表明该目标文件是超热文件,此时,负载均衡设备可以在该下载请求中添加用于表征该目标文件为超热文件的缓存参数,并生成随机识别码。该随机识别码可以用于随机指定一个下载服务器,负载均衡设备可以将该下载请求转发至该随机指定的下载服务器处,从而可以避免由仅由单台下载服务器负责包括超热文件的下载。这样,通过将超热文件的下载任务分散至多台下载服务器,从而可以提高文件下载的稳定性。此外,下载服务器接收到负载均衡设备发来的下载请求后,可以识别其中的缓存参数,若该缓存参数表明待下载的目标文件为超热文件,下载服务器可以在本地更新该目标文件的热度值。具体地,可以在指定热度阈值的基础上更新该目标文件的热度值,从而默认该目标文件是超热文件。然后,下载服务器便可以将目标文件缓存在本地,后续便可以直接从缓存中读取该目标文件,从而提高了目标文件的读取速度。下载服务器可以按照各个文件的当前热度值,识别出其中的超热文件,并可以向负载均衡设备反馈这些超热文件的标识,从而可以让负载均衡设备更新超热文件标识库。由上可见,超热文件的识别过程可以由下载服务器来识别,并且下载服务器可以从下载请求的缓存参数中识别出当前待下载的文件是否是超热文件,如果是超热文件,可以自动将其热度值设置为高于指定热度阈值,并开始执行针对超热文件的缓存策略。因此,负载均衡设备无需计算各个文件的热度值,并且在将超热文件的下载请求转发至随机的一台下载服务器后,也无需更新该下载服务器中超热文件的热度值,而是由下载服务器自身进行更新,从而减轻了负载均衡设备的压力,进一步提高了超热文件下载过程的稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施方式中负载均衡设备执行的超热文件的处理方法的步骤图;
图2是本发明实施方式中超热文件的处理方法的流程示意图;
图3是本发明实施方式中下载服务器执行的超热文件的处理方法的步骤图;
图4是本发明实施方式中负载均衡设备的结构示意图;
图5是本发明实施方式中下载服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本实施方式提供一种超热文件的处理方法,所述方法可以应用于负载均衡设备中。所述负载均衡设备可以是基于nginx的设备,在该负载均衡设备中可以具备超热文件标识库,在该超热文件标识库中,可以存储已知的超热文件的标识。该超热文件的标识例如可以是指向该超热文件的URL(Uniform ResourceLocator,统一资源定位符),还可以是分配给该超热文件的唯一字符串。具体地,所述超热文件标识库例如可以处于共享内存词典项ngx.shared.DICT中。
请参阅图1和图2,本实施方式提供的超热文件的处理方法可以包括以下步骤。
S11:接收用户客户端发来的指向目标文件的下载请求,并在所述下载请求中添加用于表征所述目标文件是否为超热文件的缓存参数。
在本实施方式中,当负载均衡设备接收到用户客户端发来的指向目标文件的下载请求后,可以在所述下载请求中添加用于表征所述目标文件是否为超热文件的缓存参数。该缓存参数可以具备true和false两种赋值,其中,当该缓存参数赋值为true时,表明当前待下载的文件为超热文件;当该缓存参数的赋值为false时,则表明该文件不是超热文件。
在实际应用中,该缓存参数可以添加于所述下载请求的文件头字段中,并且该缓存参数的默认赋值为false,默认该目标文件不是超热文件。
在一个实施方式中,负载均衡设备还可以在下载请求的文件头字段中添加用于表征所述负载均衡设备的通信地址的地址参数,该地址参数可以被下载服务器识别,下载服务器后续便可以基于识别出的通信地址,与该负载均衡设备进行数据交互。
S13:将所述目标文件的标识在所述超热文件标识库中进行匹配,并根据匹配结果,判断所述目标文件是否为超热文件。
在本实施方式中,在从下载请求中识别出该目标文件的标识后,可以将该目标文件的标识在所述超热文件标识库中进行匹配,如果匹配到一致的标识,则表明该目标文件属于超热文件;相反,若在超热文件标识库中匹配不到对应的标识,则表明该目标文件目前还不是超热文件。
S15:若所述目标文件为超热文件,生成随机识别码,并将所述缓存参数更新为表征所述目标文件为超热文件的缓存参数。
S17:确定所述随机识别码映射至的下载服务器,并将携带更新后的缓存参数的下载请求转发至所述下载服务器处。
在本实施方式中,若该目标文件是超热文件,那么负载均衡设备可以将添加的缓存参数更新为表征所述目标文件为超热文件的缓存参数,也就是可以将该缓存参数的赋值由默认的false修改为true。另外,由于该目标文件是超热文件,因此需要避免将该目标文件的下载请求均发送至同一台下载服务器进行处理。此时,负载均衡设备可以生成随机的UUID(Universally Unique Identifier,通用唯一识别码),然后将该随机的UUID通过一致性哈希算法计算出哈希值,并将该哈希值指向的下载服务器作为处理该下载请求的服务器。这样,假设与负载均衡设备关联的有10台下载服务器,那么对于超热文件的下载请求,负载均衡设备可以通过生成随机UUID以及一致性哈希算法,将该超热文件的下载请求分散至这10台下载服务器中,从而避免由单台下载服务器处理该超热文件的全部下载请求。
在本实施方式中,在根据随机生成的识别码确定出当前的下载请求对应的下载服务器,并将该下载请求中的缓存参数的赋值更新为true之后,可以将携带更新后的缓存参数的下载请求转发至所述下载服务器处,从而通过随机确定的该下载服务器处理目标文件当前的下载请求。
需要说明的是,若该目标文件不是超热文件,那么则可以不随机生成识别码,也不用修改缓存参数的赋值,而是将该目标文件的URL作为一致性哈希算法的key,计算出该URL映射至的下载服务器,并将携带具备默认值的缓存参数的下载请求转发至所述目标文件的标识映射至的所述下载服务器。也就是说,对于非超热文件而言,可以利用单台下载服务器处理该文件全部的下载请求。
请参阅图2和图3,下载服务器可以按照以下步骤对接收到的下载请求进行处理。
S21:接收负载均衡设备发来的指向目标文件的下载请求,所述下载请求中包括用于表征所述目标文件是否为超热文件的缓存参数。
S23:若所述缓存参数表征所述目标文件为超热文件,判断当前记录的所述目标文件的热度值是否小于指定热度阈值,若小于,根据所述指定热度阈值,修改所述目标文件的当前热度值,并将所述目标文件写入缓存中。
在本实施方式中,下载服务器接收到所述负载均衡设备发来的下载请求后,可以从文件头字段中识别出上述的地址参数和缓存参数。针对缓存参数,可以根据其当前的赋值,从而确定该下载请求指向的目标文件是否为超热文件。在各台下载服务器中,可以分别记录各个文件的热度值,该热度值可以随着下载服务器下载对应文件的次数不断累计。例如,某台下载服务器下载了10次目标文件,那么该目标文件在该下载服务器中的热度值便可以是10。
在本实施方式中,各台下载服务器还可以预先配置一个指定热度阈值,该指定热度阈值可以用于区分超热文件和非超热文件。具体地,当目标文件在某台下载服务器中累计的热度值大于该指定热度阈值,便可以认为该目标文件为超热文件。
在实际应用中,如果目标文件为超热文件,那么负载均衡设备会随机指定其中的一台下载服务器来处理该目标文件的下载请求。此时,被指定的该下载服务器可能是第一次处理目标文件的下载请求,因此在本地并不具备目标文件的热度累计值。为了使得该目标文件的热度累计值与实际情况相符,被指定的该下载服务器可以对该目标文件的下载请求进行识别,当识别出其中的缓存参数表征所述目标文件为超热文件时,可以进一步判断在本地当前记录的所述目标文件的热度值是否小于上述预设的指定热度阈值。如果小于,则表明被随机指定的该下载服务器统计的目标文件的热度累计值需要进行更新,从而使得更新后的热度累计值能够符合实际情况。具体地,该下载服务器可以在所述指定热度阈值的基础上,修改所述目标文件的当前热度值。在实际应用中,可以将所述目标文件的当前热度值修改为所述指定热度阈值与指定正整数之和,该指定正整数例如可以是1。这样,修改后的热度累计值便会大于上述的指定热度阈值,与该目标文件是超热文件的实际情况相符。由上可见,当负载均衡设备随机指定一台新的下载服务器处理某个超热文件的下载请求时,该新的下载服务器可以根据下载请求中缓存参数的实际赋值,自动设置本地针对该超热文件的热度累计值,而无需负载均衡设备进行调节,从而减轻了负载均衡设备的负担。
在一个实施方式中,当所述缓存参数表征所述目标文件为超热文件,同时当前记录的所述目标文件的热度值大于或者等于所述指定热度阈值,表明在下载服务器本地,已经对目标文件的热度值进行了累计或者更新,并且目标文件的热度值也表明该目标文件为超热文件。此时,可以将所述目标文件的热度值修改为当前记录的热度值与指定正整数之和,所述指定正整数例如可以是1,从而将当前记录的所述目标文件的热度值加1,然后,可以向所述负载均衡设备反馈所述目标文件。需要说明的是,该目标文件最初可以保存在下载服务器的磁盘中,由于该目标文件为超热文件,为了提高目标文件的反馈速度,可以将所述目标文件写入缓存中,后续便可以直接从缓存中读取目标文件,从而加快读取速度。
在一个实施方式中,若所述目标文件的下载请求中的缓存参数表征该目标文件不是超热文件,那么表明负载均衡服务器是按照目标文件的URL进行一致性哈希运算确定的下载服务器,该下载服务器在目标文件没有成为超热文件的情况下,可以处理该目标文件所有的下载请求。在该下载服务器中,每接收到一次目标文件的下载请求,便可以将目标文件的热度值加1,从而对目标文件的热度值进行累计。然后,下载服务器可以按照正常的逻辑,向负载均衡设备反馈该目标文件。此外,若累计后的所述目标文件的热度值达到所述指定热度阈值,则表明该目标文件已经是超热文件,为了加快超热文件的读取速度,可以将所述目标文件写入缓存中。
需要说明的是,上述的对文件的热度值进行累计时,可以是仅在单位时间内累计,超过单位时间,则可以将累计的热度值清零,并重新累计。例如,针对某个文件,可以累计其在12小时内的热度值,超过12小时,便可以将热度值清零,并重新开始下一个12小时的热度值累计过程。这样处理的原因在于,有些文件随着时间的推移,热度值会不断累计,最终可能会达到指定热度阈值,但这些文件并不会在短时间内产生突发的下载流量,因此这些文件并不属于超热文件。
S25:根据各个文件的当前热度值,从所述各个文件中检测出超热文件,并向所述负载均衡设备反馈包含检测出的所述超热文件的标识的上报信息,以使得所述负载均衡设备存储所述上报信息中携带的所述超热文件的标识。
在本实施方式中,下载服务器针对各个文件的下载请求,均可以执行步骤S21和S23中的方式。这样,在下载服务器中,可以记录各个文件的累计热度值。下载服务器可以按照一定的时间周期,定期对本地各个文件的当前热度值进行检测,从而筛选出超热文件。具体地,下载服务器可以将当前热度值大于或者等于所述指定热度阈值的文件作为超热文件。在检测出超热文件之后,下载服务器可以向所述负载均衡设备反馈包含检测出的所述超热文件的标识的上报信息,这样,负载均衡设备便可以接收所述下载服务器根据所述地址参数中的通信地址反馈的上报信息,并将所述上报信息中携带的超热文件的标识写入所述超热文件标识库中。具体地,负载均衡设备在将所述上报信息中携带的超热文件的标识写入所述超热文件标识库中时,可以判断所述上报信息中携带的超热文件的标识是否已在所述超热文件标识库中存储,若已存储,则可以将已存储的所述超热文件的标识提升至所述超热文件标识库的首位。若未存储,则可以将所述上报信息中携带的所述超热文件的标识写入所述超热文件标识库的首位。这样,超热文件标识库中存储的标识,可以按照排列顺序,表明各个标识最近被触发的情况。负载均衡设备可以基于LRU(Least recently used,最近最少使用)算法,将处于超热文件标识库末端的标识淘汰。具体地,若在写入所述超热文件的标识时所述超热文件标识库中已写满数据,可以将所述超热文件标识库末尾的标识删除,从而向待写入的所述超热文件的标识提供存储空间,后续可以将待写入的标识写入超热文件标识库的首位。
在一个实施方式中,所述负载均衡设备发来的下载请求中包括用于表征所述负载均衡设备的通信地址的地址参数。这样,下载服务器可以从所述负载均衡设备发来的下载请求中识别出所述负载均衡设备的通信地址,并将包含检测出的所述超热文件的标识的上报信息发送至所述通信地址指向的所述负载均衡设备处。
在一个实施方式中,为了避免在检测到超热文件之后,下载服务器频繁地向负载均衡设备反馈上报信息,可以预先设置一个指定的上报频率,后续便可以按照该指定的上报频率来向负载均衡设备反馈上报信息。设置该指定的上报频率的另一个意义在于,负载均衡设备会定期淘汰超热文件标识库中的部分标识,淘汰的原则就是如果一个超热文件的标识长时间没有被下载服务器上报,那么负载均衡设备就会认为该标识已经失去热度,从而会将其从超热文件标识库中删除。下载服务器按照指定的上报频率持续上报某个超热文件的标识,而不是仅上报一次该超热文件的标识,从而可以保持该超热文件的标识在负载均衡设备处的活跃度,从而保证该超热文件的标识不会被淘汰。
本申请还提供一种负载均衡设备,所述负载均衡设备中包括负载均衡系统,所述负载均衡系统用于实现上述负载均衡设备执行的超热文件的处理方法。
请参阅图4,本申请还提供一种负载均衡设备,所述负载均衡设备包括存储器和处理器,所述存储器用于存储超热文件标识库和计算机程序,所述超热文件标识库用于存储超热文件的标识,当所述计算机程序被所述处理器执行时,实现上述负载均衡设备执行的超热文件的处理方法。
本申请还提供一种下载服务器,所述下载服务器包括超热文件的处理系统,所述超热文件的处理系统用于实现上述下载服务器执行的超热文件的处理方法。
请参阅图5,本申请还提供一种下载服务器,所述下载服务器包括存储器和处理器,所述存储器用于存储计算机程序,当所述计算机程序被所述处理器执行时,实现上述下载服务器执行的超热文件的处理方法。
由上可见,本申请提供的技术方案,负载均衡设备可以在本地的超热文件标识库中存储各个超热文件的标识,这样,在接收到用户客户端发来的指向目标文件的下载请求后,负载均衡设备可以将所述目标文件的标识在该超热文件标识库中进行匹配。若匹配到相同的标识,则表明该目标文件是超热文件,此时,负载均衡设备可以在该下载请求中添加用于表征该目标文件为超热文件的缓存参数,并生成随机识别码。该随机识别码可以用于随机指定一个下载服务器,负载均衡设备可以将该下载请求转发至该随机指定的下载服务器处,从而可以避免仅由单台下载服务器负责包括超热文件的下载任务。这样,通过将超热文件的下载任务分散至多台下载服务器,从而可以提高文件下载的稳定性。此外,下载服务器接收到负载均衡设备发来的下载请求后,可以识别其中的缓存参数,若该缓存参数表明待下载的目标文件为超热文件,下载服务器可以在本地更新该目标文件的热度值。具体地,可以在指定热度阈值的基础上更新该目标文件的热度值,从而默认该目标文件是超热文件。然后,下载服务器便可以将目标文件缓存在本地,后续便可以直接从缓存中读取该目标文件,从而提高了目标文件的读取速度。下载服务器可以按照各个文件的当前热度值,识别出其中的超热文件,并可以向负载均衡设备反馈这些超热文件的标识,从而可以让负载均衡设备更新超热文件标识库。由上可见,超热文件的识别过程可以由下载服务器来识别,并且下载服务器可以从下载请求的缓存参数中识别出当前待下载的文件是否是超热文件,如果是超热文件,可以自动将其热度值设置为高于指定热度阈值,并开始执行针对超热文件的缓存策略。因此,负载均衡设备无需计算各个文件的热度值,并且在将超热文件的下载请求转发至随机的一台下载服务器后,也无需更新该下载服务器中超热文件的热度值,而是由下载服务器自身进行更新,从而减轻了负载均衡设备的压力,进一步提高了超热文件下载过程的稳定性。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种超热文件的处理方法,其特征在于,所述方法应用于负载均衡设备中,所述负载均衡设备中具备超热文件标识库,所述超热文件标识库用于存储超热文件的标识,所述方法包括:
接收用户客户端发来的指向目标文件的下载请求,并在所述下载请求中添加用于表征所述目标文件是否为超热文件的缓存参数;
将所述目标文件的标识在所述超热文件标识库中进行匹配,并根据匹配结果,判断所述目标文件是否为超热文件;
若所述目标文件为超热文件,生成随机识别码,并将所述缓存参数更新为表征所述目标文件为超热文件的缓存参数;
确定所述随机识别码映射至的下载服务器,并将携带更新后的缓存参数的下载请求转发至所述下载服务器处;
在将携带更新后的缓存参数的下载请求转发至所述下载服务器处之后,所述方法还包括:
接收所述下载服务器根据地址参数中的通信地址反馈的上报信息,所述上报信息中包括超热文件的标识,其中,所述超热文件由所述下载服务器根据各个文件的当前热度值所确定的;
将所述上报信息中携带的超热文件的标识写入所述超热文件标识库中。
2.根据权利要求1所述的方法,其特征在于,在所述下载请求中添加的所述缓存参数的默认值表征所述目标文件不是超热文件;相应地,所述方法还包括:
若所述目标文件不是超热文件,确定所述目标文件的标识映射至的下载服务器,并将携带具备所述默认值的缓存参数的下载请求转发至所述目标文件的标识映射至的所述下载服务器。
3.根据权利要求1所述的方法,其特征在于,在接收用户客户端发来的指向目标文件的下载请求之后,所述方法还包括:
在所述下载请求中添加用于表征所述负载均衡设备的通信地址的地址参数。
4.根据权利要求3所述的方法,其特征在于,将所述上报信息中携带的超热文件的标识写入所述超热文件标识库中包括:
判断所述上报信息中携带的超热文件的标识是否已在所述超热文件标识库中存储,若已存储,将已存储的所述超热文件的标识提升至所述超热文件标识库的首位;若未存储,将所述上报信息中携带的所述超热文件的标识写入所述超热文件标识库的首位;
其中,若在写入所述超热文件的标识时所述超热文件标识库中已写满数据,将所述超热文件标识库末尾的标识删除,以向待写入的所述超热文件的标识提供存储空间。
5.一种负载均衡设备,其特征在于,所述负载均衡设备包括存储器和处理器,所述存储器用于存储超热文件标识库和计算机程序,所述超热文件标识库用于存储超热文件的标识,当所述计算机程序被所述处理器执行时,实现如权利要求1至4中任一权利要求所述的方法。
6.一种超热文件的处理方法,其特征在于,所述方法包括:
接收负载均衡设备发来的指向目标文件的下载请求,所述下载请求中包括用于表征所述目标文件是否为超热文件的缓存参数;
若所述缓存参数表征所述目标文件为超热文件,判断当前记录的所述目标文件的热度值是否小于指定热度阈值,若小于,根据所述指定热度阈值,修改所述目标文件的当前热度值,并将所述目标文件写入缓存中;
根据各个文件的当前热度值,从所述各个文件中检测出超热文件,并向所述负载均衡设备反馈包含检测出的所述超热文件的标识的上报信息,以使得所述负载均衡设备存储所述上报信息中携带的所述超热文件的标识。
7.根据权利要求6所述的方法,其特征在于,根据所述指定热度阈值,修改所述目标文件的当前热度值包括:
将所述目标文件的当前热度值修改为所述指定热度阈值与指定正整数之和。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若当前记录的所述目标文件的热度值大于或者等于所述指定热度阈值,将所述目标文件的热度值修改为当前记录的热度值与指定正整数之和,并向所述负载均衡设备反馈所述目标文件,并将所述目标文件写入缓存中。
9.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若所述缓存参数表征所述目标文件不是超热文件,累计所述目标文件的热度值;
相应地,若累计后的所述目标文件的热度值达到所述指定热度阈值,将所述目标文件写入缓存中,并向所述负载均衡设备反馈包含所述目标文件的标识的上报信息。
10.根据权利要求6所述的方法,其特征在于,所述负载均衡设备发来的下载请求中还包括用于表征所述负载均衡设备的通信地址的地址参数;相应地,向所述负载均衡设备反馈包含检测出的所述超热文件的标识的上报信息包括:
从所述负载均衡设备发来的下载请求中识别出所述负载均衡设备的通信地址,并将包含检测出的所述超热文件的标识的上报信息发送至所述通信地址指向的所述负载均衡设备处。
11.根据权利要求6所述的方法,其特征在于,按照指定的上报频率向所述负载均衡设备反馈包含检测出的所述超热文件的标识的上报信息。
12.一种下载服务器,其特征在于,所述下载服务器包括存储器和处理器,所述存储器用于存储计算机程序,当所述计算机程序被所述处理器执行时,实现如权利要求6至11中任一权利要求所述的方法。
CN201810914368.7A 2018-08-10 2018-08-10 一种超热文件的处理方法、负载均衡设备及下载服务器 Active CN110830535B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810914368.7A CN110830535B (zh) 2018-08-10 2018-08-10 一种超热文件的处理方法、负载均衡设备及下载服务器
PCT/CN2018/106644 WO2020029380A1 (zh) 2018-08-10 2018-09-20 一种超热文件的处理方法、负载均衡设备及下载服务器
US16/472,692 US11201914B2 (en) 2018-08-10 2018-09-20 Method for processing a super-hot file, load balancing device and download server
EP18929675.9A EP3836513A4 (en) 2018-08-10 2018-09-20 METHOD OF PROCESSING A SUPER HOT FILE, LOAD BALANCING DEVICE AND DOWNLOAD SERVER

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810914368.7A CN110830535B (zh) 2018-08-10 2018-08-10 一种超热文件的处理方法、负载均衡设备及下载服务器

Publications (2)

Publication Number Publication Date
CN110830535A CN110830535A (zh) 2020-02-21
CN110830535B true CN110830535B (zh) 2021-03-02

Family

ID=69413368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810914368.7A Active CN110830535B (zh) 2018-08-10 2018-08-10 一种超热文件的处理方法、负载均衡设备及下载服务器

Country Status (4)

Country Link
US (1) US11201914B2 (zh)
EP (1) EP3836513A4 (zh)
CN (1) CN110830535B (zh)
WO (1) WO2020029380A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312329B (zh) * 2020-02-26 2024-03-01 阿里巴巴集团控股有限公司 数据文件的调度方法、装置及设备
CN111432039A (zh) * 2020-06-15 2020-07-17 北京金山云网络技术有限公司 Cdn中数据请求方法、装置、设备和cdn节点
CN116260873B (zh) * 2021-12-01 2023-10-13 中国科学院声学研究所 一种icn网络中基于热度的随路协同缓存方法
CN114035752A (zh) * 2021-12-01 2022-02-11 特斯联科技集团有限公司 一种城市碳中和数据处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523256A (zh) * 2011-11-30 2012-06-27 华为技术有限公司 内容的管理方法的方法、装置和系统
CN103686860A (zh) * 2011-07-15 2014-03-26 上海华为技术有限公司 缓存数据的分布缓存方法和装置
CN107169056A (zh) * 2017-04-27 2017-09-15 四川长虹电器股份有限公司 分布式文件系统及节省分布式文件系统存储空间的方法
CN107508758A (zh) * 2017-08-16 2017-12-22 北京云端智度科技有限公司 一种热点文件自动扩散的方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330561B1 (en) * 1998-06-26 2001-12-11 At&T Corp. Method and apparatus for improving end to end performance of a data network
US6745243B2 (en) * 1998-06-30 2004-06-01 Nortel Networks Limited Method and apparatus for network caching and load balancing
US6888836B1 (en) * 1999-05-26 2005-05-03 Hewlett-Packard Development Company, L.P. Method for allocating web sites on a web hosting cluster
US6820133B1 (en) * 2000-02-07 2004-11-16 Netli, Inc. System and method for high-performance delivery of web content using high-performance communications protocol between the first and second specialized intermediate nodes to optimize a measure of communications performance between the source and the destination
US6959436B2 (en) * 2000-12-15 2005-10-25 Innopath Software, Inc. Apparatus and methods for intelligently providing applications and data on a mobile device system
US6651141B2 (en) * 2000-12-29 2003-11-18 Intel Corporation System and method for populating cache servers with popular media contents
US7769823B2 (en) 2001-09-28 2010-08-03 F5 Networks, Inc. Method and system for distributing requests for content
US7076544B2 (en) * 2002-04-08 2006-07-11 Microsoft Corporation Caching techniques for streaming media
US20030225885A1 (en) * 2002-05-31 2003-12-04 Comverse, Ltd. Caching for limited bandwidth networks
US20060005237A1 (en) * 2003-01-30 2006-01-05 Hiroshi Kobata Securing computer network communication using a proxy server
US20060106807A1 (en) * 2004-11-18 2006-05-18 Microsoft Corporation System and method for transferring a file in advance of its use
JP5367237B2 (ja) * 2007-06-18 2013-12-11 ソニー株式会社 サーバ
WO2009065045A1 (en) * 2007-11-14 2009-05-22 Qualcomm Incorporated Methods and systems for determining a geographic user profile to determine suitability of targeted content messages based on the profile
US8239482B2 (en) * 2008-11-13 2012-08-07 At&T Intellectual Property I, Lp System and method for selectively caching hot content in a content delivery system
CN101437051B (zh) 2008-12-04 2011-09-28 四川长虹电器股份有限公司 网络资源下载方法
US8782236B1 (en) * 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
US8898482B2 (en) * 2010-02-22 2014-11-25 Lockify, Inc. Encryption system using clients and untrusted servers
US9774670B2 (en) * 2010-08-22 2017-09-26 Qwilt, Inc. Methods for detection of content servers and caching popular content therein
US20150201223A1 (en) * 2010-11-02 2015-07-16 InnFlicks Media Group, LLC Processing, storing, and delivering digital content
US20130179931A1 (en) * 2010-11-02 2013-07-11 Daniel Osorio Processing, storing, and delivering digital content
US8863227B2 (en) * 2011-01-05 2014-10-14 Futurewei Technologies, Inc. Method and apparatus to create and manage a differentiated security framework for content oriented networks
US9747592B2 (en) * 2011-08-16 2017-08-29 Verizon Digital Media Services Inc. End-to-end content delivery network incorporating independently operated transparent caches and proxy caches
US9338095B2 (en) * 2012-05-01 2016-05-10 F5 Networks, Inc. Data flow segment optimized for hot flows
GB2503266A (en) * 2012-06-21 2013-12-25 Ibm Sharing aggregated cache hit and miss data in a storage area network
US9529724B2 (en) * 2012-07-06 2016-12-27 Seagate Technology Llc Layered architecture for hybrid controller
US9277005B2 (en) 2013-01-09 2016-03-01 Edgecast Networks, Inc. Optimized consistent request distribution for balanced load distribution in a content delivery network
US20150381756A1 (en) * 2013-02-25 2015-12-31 Interdigital Patent Holdings, Inc. Centralized Content Enablement Service for Managed Caching in wireless network
US10051024B2 (en) * 2013-03-14 2018-08-14 Charter Communications Operating, Llc System and method for adapting content delivery
US9948970B2 (en) * 2013-03-15 2018-04-17 Cox Communications, Inc. Systems, methods, and apparatus for accessing recordings of content items on multiple customer devices
CN103281394A (zh) * 2013-06-07 2013-09-04 北京奇虎科技有限公司 文件获取方法、节点服务器和系统
US20150003234A1 (en) * 2013-06-27 2015-01-01 Alcatel-Lucent Usa Inc. Methods and systems for caching content in a network
CN104348841B (zh) * 2013-07-23 2017-10-27 中国联合网络通信集团有限公司 内容分发方法、分析和管控系统及内容分发网络系统
WO2015092124A1 (en) * 2013-12-20 2015-06-25 Comptel Oyj System, method and service product for content delivery
RU2661757C2 (ru) * 2014-02-14 2018-07-19 Телефонактиеболагет Лм Эрикссон (Пабл) Кэширование зашифрованного содержимого
US20150334204A1 (en) * 2014-05-15 2015-11-19 Google Inc. Intelligent auto-caching of media
US10348848B2 (en) * 2014-09-30 2019-07-09 Level 3 Communications, Llc Handling long-tail content in a content delivery network
WO2016066199A1 (en) * 2014-10-30 2016-05-06 Hewlett-Packard Development Company L.P. Virtual content delivery network
US10362134B2 (en) 2016-08-15 2019-07-23 Verizon Digital Media Services Inc. Peer cache filling
WO2018064196A1 (en) * 2016-09-27 2018-04-05 Level 3 Communications, Llc System and method for improvements to a content delivery network
US10331573B2 (en) * 2016-11-04 2019-06-25 Oracle International Corporation Detection of avoidable cache thrashing for OLTP and DW workloads
US10785341B2 (en) * 2016-11-21 2020-09-22 Intel Corporation Processing and caching in an information-centric network
CN107770283B (zh) * 2017-11-08 2020-10-23 北京奇艺世纪科技有限公司 一种文件下载的控制方法、装置及系统
US10613983B2 (en) * 2018-03-20 2020-04-07 Advanced Micro Devices, Inc. Prefetcher based speculative dynamic random-access memory read request technique
US10721295B2 (en) * 2018-07-24 2020-07-21 Cisco Technology, Inc. Popularity-based load-balancing for fog-cloud placement
US11488208B2 (en) * 2019-01-09 2022-11-01 Charles Isgar System for obtaining URLs of businesses based on geo-identification area
US11151167B2 (en) * 2019-05-10 2021-10-19 Georgetown University Cache optimization via topics in web search engines
US10503792B1 (en) * 2019-05-10 2019-12-10 Georgetown University Cache optimization via topics in web search engines
US10802980B1 (en) * 2020-03-20 2020-10-13 Cloudflare, Inc. Caching assets in a multiple cache system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686860A (zh) * 2011-07-15 2014-03-26 上海华为技术有限公司 缓存数据的分布缓存方法和装置
CN102523256A (zh) * 2011-11-30 2012-06-27 华为技术有限公司 内容的管理方法的方法、装置和系统
CN107169056A (zh) * 2017-04-27 2017-09-15 四川长虹电器股份有限公司 分布式文件系统及节省分布式文件系统存储空间的方法
CN107508758A (zh) * 2017-08-16 2017-12-22 北京云端智度科技有限公司 一种热点文件自动扩散的方法

Also Published As

Publication number Publication date
CN110830535A (zh) 2020-02-21
US11201914B2 (en) 2021-12-14
EP3836513A4 (en) 2021-07-28
EP3836513A1 (en) 2021-06-16
WO2020029380A1 (zh) 2020-02-13
US20210337019A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
CN110830535B (zh) 一种超热文件的处理方法、负载均衡设备及下载服务器
US11194719B2 (en) Cache optimization
CN107943594B (zh) 数据获取方法和装置
US8438336B2 (en) System and method for managing large filesystem-based caches
CN110753099B (zh) 分布式缓存系统以及缓存数据更新方法
US9992296B2 (en) Caching objects identified by dynamic resource identifiers
CN101719936A (zh) 提供文件下载服务的方法、装置及缓存系统
CN102523290B (zh) 数据的处理方法、设备和系统
CN109981627B (zh) 网络威胁情报信息的更新方法及系统
CN110324406B (zh) 一种获取业务数据的方法和云服务系统
CN109471843B (zh) 一种元数据缓存方法、系统及相关装置
US9703705B2 (en) Performing efficient cache invalidation
US20140359066A1 (en) System, method and device for offline downloading resource and computer storage medium
CN111273863B (zh) 高速缓存管理
CN111708743A (zh) 文件存储管理方法、文件管理客户端及文件存储管理系统
CN111159233B (zh) 分布式缓存方法、系统、计算机设备以及存储介质
CN107181773A (zh) 分布式存储系统的数据存储及数据管理方法、设备
CN110855786B (zh) 针对网络数据请求的处理方法、设备及计算机存储介质
CN111045988B (zh) 文件查找方法、设备和计算机程序产品
CN107613016B (zh) 文件批量下载方法、客户端、分发服务器及系统
CN101729569B (zh) 分布式拒绝服务ddos攻击的防护方法、设备及系统
CN110362535B (zh) 一种文件管理方法、装置及系统
CN111586112A (zh) 一种数据传输方法、装置以及计算机可读存储介质
CN112968980B (zh) 一种概率确定方法、装置、存储介质及服务器
CN111464571B (zh) 一种通信方法及系统、服务端、客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant