CN110401657A - 一种访问日志的处理方法及装置 - Google Patents

一种访问日志的处理方法及装置 Download PDF

Info

Publication number
CN110401657A
CN110401657A CN201910673499.5A CN201910673499A CN110401657A CN 110401657 A CN110401657 A CN 110401657A CN 201910673499 A CN201910673499 A CN 201910673499A CN 110401657 A CN110401657 A CN 110401657A
Authority
CN
China
Prior art keywords
domain name
access
server
dummy node
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910673499.5A
Other languages
English (en)
Other versions
CN110401657B (zh
Inventor
郑加奖
郑宝贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201910673499.5A priority Critical patent/CN110401657B/zh
Publication of CN110401657A publication Critical patent/CN110401657A/zh
Priority to PCT/CN2020/074955 priority patent/WO2021012663A1/zh
Priority to EP20775564.6A priority patent/EP3790254A4/en
Application granted granted Critical
Publication of CN110401657B publication Critical patent/CN110401657B/zh
Priority to US17/037,555 priority patent/US11272029B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/104—Grouping of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1021—Server selection for load balancing based on client or server locations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种访问日志的处理方法及装置，该方法包括：缓存服务器根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组，确定第一域名在每个分组中对应的第一虚拟节点，根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器，将第一域名的访问日志发送给第一接入服务器。该技术方案解决了在高访问量情况下对访问日志的有效处理。

Description

一种访问日志的处理方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种访问日志的处理方法及装置。
背景技术
互联网技术和媒体文件的不断发展，给人们的生活和工作带来了极大的便利。为了提升用户访问互联网的速度，目前常用的缓存技术是CDN(Content Delivery Network，内容分发网络)。CDN网络是一种新型网络内容服务体系，其基于IP(Internet Protocol，网络之间互连的协议)网络而构建，基于内容访问与应用的效率要求、质量要求和内容秩序而提供内容的分发和服务。例如，客户的域名为“www.xxxxxx.net”，CDN服务器为客户提供该域名的访问服务，以使用户在访问“www.xxxxxx.net”时，可以正常获取访问响应。CDN网络代表了一种基于网络而构建的高质量、高效率，具有鲜明网络秩序的网络应用服务模式。
随着CDN网络的发展，保障CDN网络的服务质量越发重要。为保障CDN网络的服务质量，可通过对每个域名(频道)的访问日志进行数据分析，确保为客户提供有效的服务。但目前CDN服务器已经达到10万的数量级，每秒的访问量也高达2～5千万。若数据处理中心直接对如此大量的访问日志进行处理，往往难以承接，且处理速度上也会有很多延迟。
因而，目前急需一种针对访问日志的处理方法，从而解决在高访问量情况下对访问日志的有效处理。
发明内容
本申请提供一种访问日志的处理方法及装置，用以解决在高访问量情况下对访问日志的有效处理。
第一方面，本发明实施例提供了一种访问日志的处理方法，包括：
缓存服务器根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组；所述第一域名为各域名中的任一个；所述域名权重信息是根据各域名的历史访问日志的数量确定的；
所述缓存服务器确定所述第一域名在每个分组中对应的第一虚拟节点；
所述缓存服务器根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
所述缓存服务器将所述第一域名的访问日志发送给所述第一接入服务器。
上述技术方案中，通过第一域名的域名权重信息确定了虚拟节点的分组及每个分组中对应的第一虚拟节点，因而实现了通过历史访问日志的数量为第一域名分配了适当数量的虚拟节点；同时，通过分组的方式，也实现了有效的组内管理；通过根据接入服务器的处理能力来映射对应的虚拟节点，在接入服务器的处理能力高时，映射多个虚拟节点；处理能力低时，映射少的虚拟节点；，实现了接入服务器在处理访问日志时的均衡化，从而解决了即便在高访问量的情况下，也能对访问日志进行有效处理。
在一种可能的实现方式里，所述缓存服务器在确定所述第一接入服务器负载过高时，确定第二虚拟节点，所述第二虚拟节点与所述第一虚拟节点属于同一分组且存在邻近关系；
所述缓存服务器将所述第一域名的部分访问日志分发给所述第二虚拟节点对应的第二接入服务器。
上述技术方案中，结合第一接入服务器的负载情况，增加了第二接入服务器来处理第一域名的访问日志，从而进一步确保对第一域名的访问日志的均衡有效的处理；同时可以看出只在同一分组内进行协调，便于对虚拟节点进行管理。
在另一种可能的实现方式里，所述缓存服务器在确定所述第一接入服务器故障时，确定第二虚拟节点，所述第二虚拟节点与所述第一虚拟节点属于同一分组且存在邻近关系；
所述缓存服务器将所述第一域名的访问日志分发给所述第二虚拟节点对应的第二接入服务器。
上述技术方案中，结合第一接入服务器的故障情况，将第二接入服务器来处理第一域名的访问日志，从而进一步确保对第一域名的访问日志的及时有效的处理。
在一种可能的实现方式里，所述对各接入服务器映射的虚拟节点进行分组之前，还包括：
所述缓存服务器接收调度服务器发送的所述节点配置信息和所述域名权重信息；所述节点配置信息是所述调度服务器根据一致性哈希环建立的；所述一致性哈希环中的虚拟节点是根据各接入服务器的处理能力确定的。
上述技术方案中，通过引入调度服务器来确定节点配置信息和域名权重信息，实现实时动态的调整，从而实现动态调整各域名的访问日志对应的接入服务器，达到动态实时负载均衡。
第二方面，本发明实施例还提供了一种访问日志的处理方法，包括：
第一接入服务器接收缓存服务器发送的第一域名的访问日志；所述第一接入服务器是所述缓存服务器根据第一域名的域名权重信息和节点配置信息确定的；所述域名权重信息是根据各域名的历史访问日志的数量确定的；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
所述第一接入服务器对接收的所述第一域名的访问日志进行处理后发送。
上述技术方案中，接入服务器按照缓存服务器确定的虚拟节点的数量，使得接入服务器一方面可以在较短的时间内只处理同一域名或少数几个域名的访问日志；另一方面也实现各接入服务器之间对访问日志数据量的均衡处理。
在一种可能的实现方式里，所述第一接入服务器对接收的所述第一域名的访问日志进行处理后发送，包括：
所述第一接入服务器按域名将接收到的所述第一域名的访问日志合并为一条日志后发送。
上述技术方案中，通过将多条访问日志合并为一条，使得接入服务器在对访问日志进行处理时更简洁，更灵活。
第三方面，本发明实施例还提供了一种用于处理访问日志的装置，包括：
处理单元，用于根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组；所述第一域名为各域名中的任一个；所述域名权重信息是根据各域名的历史访问日志的数量确定的；
所述处理单元，还用于确定所述第一域名在每个分组中对应的第一虚拟节点；
所述处理单元，还用于根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
发送单元，用于将所述第一域名的访问日志发送给所述第一接入服务器。
第四方面，本发明实施例还一种用于处理访问日志的装置，包括：
接收单元，用于接收缓存服务器发送的第一域名的访问日志；所述接收单元是所述缓存服务器根据第一域名的域名权重信息和节点配置信息确定的；所述域名权重信息是根据各域名的历史访问日志的数量确定的；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
处理单元，用于对接收的所述第一域名的访问日志进行处理后发送。
第五方面，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述第一方面的方法或者按照获得的程序执行上述第二方面的方法。
第六方面，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机具有上述第一方面的处理单元的功能或者使得计算机具有上述第二方面的处理单元的功能。
附图说明
图1为本申请提供的一种可能的网络架构示意图；
图2为本申请提供的一种虚拟节点的分布结果示意图；
图3为本申请提供的一种访问日志的处理流程示意图；
图4为本申请提供的一种在接入服务器高负载时的处理流程示意图；
图5为本申请提供的一种在接入服务器故障时的处理流程示意图；
图6为本申请提供的一种各服务器间的交互处理流程示意图；
图7为本申请示出了一种用于处理访问日志的装置的结构图；
图8为本申请示出了一种用于处理访问日志的装置的结构图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。其中，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
图1示例性的示出了本发明实施例提供的一种CDN访问日志的处理的方法所适用的系统架构，该系统架构可以包括缓存服务器100、接入服务器200、调度服务器300。
其中，缓存服务器100可以是用户访问域名时的边缘服务器，例如，通过缓存服务器100提供域名“www.xxxxxx.net”的访问服务，用户访问该域名“www.xxxxxx.net”，则访问请求被调度到该缓存服务器100上，用于向用户提供访问响应。缓存服务器100会按照域名记录用户的访问日志，然后通过类似采集组件之类的功能将访问日志分发给各接入服务器200。接入服务器200用于获取缓存服务器100的访问日志，对采集到的访问日志进行处理后发送。接入服务器200对访问日志的处理可以是按照域名汇总不同的统计项，例如，访问次数、流量、Top访问URL(Uniform Resource Locator，统一资源定位符)排名等。接入服务器200有多个，缓存服务器100将自身的访问日志发送给哪个接入服务器是由调度服务器300来确定的。即调度服务器300用于确定缓存服务器100上的访问日志的对应的接入服务器200，从而较好地协调缓存服务器100与接入服务器200之间的关系。
针对调度服务器300如何为缓存服务器100确定对应的接入服务器200，本发明实施例提供了一种可行的方法。具体来说，调度服务器300根据各接入服务器200的处理能力或各接入服务器200的工作状态或其他需考虑的因素，将各接入服务器200映射为多个虚拟节点。通常来说，虚拟节点的个数会远多于接入服务器200的个数，即一个接入服务器200会映射为多个虚拟节点。调度服务器300确定各虚拟节点与各接入服务器200的对应关系，从而形成节点配置信息。为了实现接入服务器200对各域名的访问日志进行均衡处理，调度服务器300将各虚拟节点映射到哈希环上，各虚拟节点在哈希环的分布可以有多种形式，如同一个接入服务器200的虚拟节点会相对集中在哈希环的某个区域；或将同一个接入服务器200的虚拟节点相对均匀的分部在哈希环上。本发明实施例将同一个接入服务器200对应的各虚拟节点进行哈希计算，具体可以是将同一个接入服务器200对应的各虚拟节点的值设定为接入服务器200的IP或MAC加上编号；对各虚拟节点的值进行哈希计算，确定接入服务器200对应的虚拟节点在哈希环上的分布，分布结果如图2所示。上述实现过程中哈希环的方式只是实现均衡处理的一种，其他均衡算法都可以适用于本方案。
举例来说，节点配置信息可以是如表1所示。其中，虚拟节点编号代表虚拟节点在哈希环上的位置，虚拟节点编号在哈希环上延顺时针方向依次增大。从图2可以看出，同一个接入服务器200对应的各虚拟节点以基本均匀的方式分布在哈希环上。
表1
基于上述描述，图3示例性的示出了本发明实施例提供的一种访问日志的处理方法的流程，该流程可以是缓存服务器100来处理，也可以是包含于缓存服务器100中的功能组件来处理。
步骤301，缓存服务器根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组。
第一域名为该缓存服务器处理的多个域名中的任一个；缓存服务器可以针对其处理的所有域名进行同样操作，也可以不同，如部分域名采用现有技术，部分采用本发明实施例指出的。
域名权重信息可以是根据各域名预先设定的优先级来确定的，如各域名的优先级不同，因而需要对优先级高的域名的访问日志重点关注，可以设置优先级高的域名的域名权重信息高。域名权重信息也可以是根据各域名的历史访问日志的数量确定的；如历史访问日志数量越多，为其对应分配的接入服务器的数量就越多，从而实现对访问日志的高效处理。具体可以是调度服务器300根据统计的历史访问日志来确定的。如根据历史的数据统计出第一域名的峰值是平均每秒的日志数量Q(单位tps)，若对访问日志进行处理的业务指标是：t秒内处理1000条第一域名的访问日志，则为第一域名分配的域名权重信息为t*Q/1000，即表示需要这么多个虚拟机节点来处理此域名的访问日志，因而需要将虚拟节点分组为t*Q/1000组。
步骤302，缓存服务器确定第一域名在每个分组中对应的第一虚拟节点。具体包括：根据虚拟节点的总数及所述分组的数量确定每个分组包含的虚拟节点的数量；根据所述每个分组包含的虚拟节点的数量对第一域名进行哈希计算得到所述第一域名在每个分组中对应的第一虚拟节点的位置。
在一实施方式中，步骤301中根据第一域名的域名权重信息，对虚拟节点进行分组，具体为比如第一域名的权重(m)为5，整个接入服务器对应的虚拟节点的数量(n)为100，则将所有的虚拟节点分成5组，每组内的虚拟节点的数量(g)为20个，例如第一分组包含的虚拟节点的编号为1到20，第二分组包含的虚拟节点的编号为21-40，以此类推。以分组为单位，在每个分组中确定一个第一虚拟节点，通过这种方式，可以实现第一域名在虚拟节点的均衡，同时通过分组方式便于管理。对于在各分组内如何确定第一虚拟节点，一种可行的方式是针对域名进行哈希，即在第一分组内的位置为P1＝hash(第一域名)％g，具体为P1＝hash(第一域名)％20，在第二分组内的位置P2＝P1+20，在第三分组内的位置P3＝P2+20，在第四分组内的位置P4＝P3+20，在第五分组内的位置P5＝P4+20，第一虚拟节点在各分组中对应的位置分别为P1至P5，如此可以看出同一域名对应的虚拟节点在各分组中的相对位置应该是相同的。
步骤303，缓存服务器根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器。
其中，节点配置信息用于指示虚拟节点与接入服务器的对应关系。
步骤304，缓存服务器将第一域名的访问日志发送给第一接入服务器。
步骤305，第一接入服务器对接收的第一域名的访问日志进行处理后发送。
缓存服务器中存储的访问日志通常是离散的，如下所示：
[1,channel-a,url,size,status,other_field]
[2,channel-b,url,size,status,other_field]
[3,channel-c,url,size,status,other_field]
...
[n,channel-x,url,size,status,other_field]
可以看出，上面所列的访问日志是按照日志产生的顺序来排列的，每一条日志在数据处理时会占据一行。因而，接入服务器对收到的访问日志需要进行过滤或排序；在处理多行数据时占用的资源也比较多。通过上述方式，在各接入服务器对应的虚拟节点基本均匀的分布在各分组中，同时，同一域名对应的虚拟节点在分组中同一位置，可以使得同一域名的日志基本分布在同一个接入服务器或少数几个接入服务器，提高了接入服务器的处理效率。当然，由于接入服务器的处理能力不同，在实际实现上接入服务器对应的虚拟节点可能无法均匀分布，但通过上述实现方式，依然可以一定程度上实现接入服务器分布的均衡性及处理访问日志的单一性。
在上述实现过程中，通过第一域名的域名权重信息确定了虚拟节点的分组，因而实现了通过历史访问日志的数量为第一域名分配了适当数量的虚拟节点，确保访问日志的及时处理；同时通过虚拟节点和接入服务器的对应关系，将接入服务器对应的虚拟节点均衡地分布在各分组中；通过根据第一域名确定虚拟节点的方式，实现了接入服务器在处理访问日志时的均衡化和单一性，从而使得接入服务器能对访问日志进行有效处理。
针对上述实现方式，若在短时间内第一域名的访问日志的数据量猛增，即在根据历史访问日志的预估不准确时，本发明实施例同时提供一种可能的实现方式，如图4所示：
步骤401，缓存服务器在确定第一接入服务器负载过高时，确定第二虚拟节点。
其中，第二虚拟节点为第一虚拟节点所在分组的邻近节点。
步骤402，缓存服务器将第一域名的部分访问日志分发给第二虚拟节点对应的第二接入服务器。
具体来说，步骤401中第一接入服务器的工作状态可以是第一接入服务器通知缓存服务器的，也可以是通过调度服务器来通知缓存服务器。第一接入服务区的工作状态可以是根据当前CPU的使用情况、IO的使用情况等信息来确定。
第二虚拟节点通常是第一虚拟节点在哈希环上的下一节点；若下一节点同样对应的是第一接入服务器，则可继续确定下一节点，直至找到不是第一接入服务器对应的虚拟节点为止。本发明实施例中，可以通过对节点配置信息的合理设置实现相邻虚拟节点对应不同的接入服务器，如表1所示各接入服务器对应的虚拟节点均匀分布在各个分组内，从而快速地确定第二接入服务器。
步骤402中缓存服务器可通过自身的一些设定，确定将第一域名的哪些访问日志分发给第二虚拟节点对应的第二接入服务器。如缓存服务器以轮训的方式将访问日志分发给第一虚拟节点和第二虚拟节点。
针对上述实现方式，若第一接入服务器在处理第一域名的访问日志的过程中出现故障，本发明实施例同时提供一种可能的实现方式，如图5所示：
步骤501，缓存服务器在确定第一接入服务器故障时，确定第二虚拟节点。
其中，第二虚拟节点为第一虚拟节点所在分组的邻近节点。
步骤502，缓存服务器将第一域名的访问日志分发给第二虚拟节点对应的第二接入服务器。
图5描述的实现过程与图4基本类似，此处不再具体展开。
上述实现过程中，在接入服务器出现不同状况时，均可以通过分组的方式快速确定替换的或分担的接入服务器，从而进一步确保了对访问日志的有效均衡处理。
为了加快接入服务器对访问日志的处理，上述实施方式中，虽然对访问日志按域名进行了区分，但同一个域名的访问日志有多条，多条数据在进行数据处理，如插入消息队列时，都会占用较多资源。因而本发明实施例中接入服务器会对收到的访问日志进行合并处理，即将接收到的所述第一域名的访问日志合并为一条日志。可能的表现形式如下：
channel-a:{
[1,channel-a,url,size,status,other_field],
[4,channel-a,url,size,status,other_field]
}
channel-b:{
[2,channel-b,url,size,status,other_field],
[5,channel-b,url,size,status,other_field],
[6,channel-b,url,size,status,other_field]
}
通常，接入服务器对收到的访问日志会进行一定的处理，然后将处理后的访问日志发送给下游设备，以便下游设备对访问日志进一步处理经过上述合并处理之后的访问日志。
基于图1的系统架构，本发明实施例提供了一种访问日志处理的流程交互过程，如图6所示：
步骤601，调度服务器周期性确定节点配置信息和域名权重信息；
由于接入服务器的处理能力是实时变化的，因而可以设定周期性调整节点配置信息，从而使得各接入服务器更好地提供日志分析功能。同时，域名权重信息也会变化，如以历史访问日志的数量来确定域名权重信息时，因而也需要周期性调整各域名的域名权重信息。
步骤602，调度服务器将节点配置信息和域名权重信息分发给各缓存服务器；
步骤603，各缓存服务器存储节点配置信息和域名权重信息。
步骤604，各缓存服务器根据域名权重信息确定每个域名对应的分组及各分组内的虚拟节点；
步骤605，各缓存服务器根据节点配置信息确定各虚拟节点对应的接入服务器；
步骤606，各缓存服务器将各域名的访问日志分发到对应的接入服务器；
步骤607，各接入服务器对接收到的访问日志按域名进行合并处理。
在上述实现过程中，由于各域名的域名权重不同，因而对各域名的分组情况会有所不同；同时，也可能出现同一虚拟节点对应不同域名的访问日志；但对各域名的管理准则是一样的。因而可实现对各域名在访问日志上的统一处理准则，便于整个系统的有序进行。
基于同一发明构思，图7示例性的示出了本发明实施例提供的一种用于处理访问日志的装置的结构，该装置可以位于缓存服务器中，用于执行访问日志的处理方法的流程。
处理单元701，用于根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组；所述第一域名为各域名中的任一个；
处理单元701，还用于确定所述第一域名在每个分组中对应的第一虚拟节点；
处理单元701，还用于根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
发送单元702，用于将所述第一域名的访问日志发送给所述第一接入服务器。
可选的，处理单元701还用于在确定所述第一接入服务器负载过高时，确定第二虚拟节点，并将所述第一域名的部分访问日志分发给所述第二虚拟节点对应的第二接入服务器所述第二虚拟节点为所述第一虚拟节点所在分组的邻近节点。
可选的，处理单元701还用于在确定所述第一接入服务器故障时，确定第二虚拟节点，并将所述第一域名的访问日志分发给所述第二虚拟节点对应的第二接入服务器所述第二虚拟节点为所述第一虚拟节点所在分组的邻近节点。
可选的，还包括接收单元703，用于接收调度服务器发送的所述节点配置信息和所述域名权重信息；所述节点配置信息是所述调度服务器根据一致性哈希环建立的；所述一致性哈希环中的虚拟节点是根据各接入服务器的处理能力确定的。
可选的，所述域名权重信息是根据各域名的历史访问日志的数量确定的；所述第一虚拟节点的数量与所述域名权重信息成正比关系。
基于同一发明构思，图8示例性的示出了本发明实施例提供的一种用于处理访问日志的装置的结构，该装置可以位于接入服务器中，用于执行访问日志的处理方法的流程。
接收单元801，用于接收缓存服务器发送的第一域名的访问日志；所述接收单元是所述缓存服务器根据第一域名的域名权重信息和节点配置信息确定的；所述域名权重信息是根据各域名的历史访问日志的数量确定的；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
处理单元802，用于对接收的所述第一域名的访问日志进行处理后发送。
可选的，处理单元802用于按域名将接收到的所述第一域名的访问日志合并为一条日志后发送。
基于同一发明构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述访问日志的处理方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述访问日志的处理方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种访问日志的处理方法，其特征在于，所述方法包括：
缓存服务器根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组；
所述缓存服务器确定所述第一域名在每个分组中对应的第一虚拟节点；
所述缓存服务器根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
所述缓存服务器将所述第一域名的访问日志发送给所述第一接入服务器。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述缓存服务器在确定所述第一接入服务器负载过高时，确定第二虚拟节点，所述第二虚拟节点与所述第一虚拟节点属于同一分组且存在邻近关系；
所述缓存服务器将所述第一域名的部分访问日志分发给所述第二虚拟节点对应的第二接入服务器。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述缓存服务器在确定所述第一接入服务器故障时，确定第二虚拟节点，所述第二虚拟节点与所述第一虚拟节点属于同一分组且存在邻近关系；
所述缓存服务器将所述第一域名的访问日志分发给所述第二虚拟节点对应的第二接入服务器。
4.如权利要求1所述的方法，其特征在于，所述对各接入服务器映射的虚拟节点进行分组之前，还包括：
所述缓存服务器接收调度服务器发送的所述节点配置信息和所述域名权重信息；所述节点配置信息是所述调度服务器根据一致性哈希环建立的；所述一致性哈希环中的虚拟节点是根据各接入服务器的处理能力确定的。
5.如权利要求1所述的方法，其特征在于，所述缓存服务器确定所述第一域名在每个分组中对应的第一虚拟节点包括：
根据虚拟节点的总数及所述分组的数量确定每个分组包含的虚拟节点的数量；
根据所述每个分组包含的虚拟节点的数量对第一域名进行哈希计算得到所述第一域名在每个分组中对应的第一虚拟节点的位置。
6.如权利要求1至5任一项所述的方法，其特征在于，所述域名权重信息是根据各域名的历史访问日志的数量或各域名的优先级确定的；所述第一虚拟节点的数量与所述域名权重信息成正比关系。
7.一种访问日志的处理方法，其特征在于，所述方法包括：
第一接入服务器接收缓存服务器发送的第一域名的访问日志；所述第一接入服务器是所述缓存服务器根据第一域名的域名权重信息和节点配置信息确定的；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
所述第一接入服务器对接收的所述第一域名的访问日志进行处理后发送。
8.如权利要求7所述的方法，其特征在于，所述第一接入服务器对接收的所述第一域名的访问日志进行处理后发送，包括：
所述第一接入服务器按域名将接收到的所述第一域名的访问日志合并为一条日志后发送。
9.如权利要求7或8所述的方法，其特征在于，所述域名权重信息是根据各域名的历史访问日志的数量或各域名的优先级确定的。
10.一种用于处理访问日志的装置，其特征在于，所述装置包括：
处理单元，用于根据第一域名的域名权重信息，对各接入服务器映射的虚拟节点进行分组；所述第一域名为各域名中的任一个；
所述处理单元，还用于确定所述第一域名在每个分组中对应的第一虚拟节点；
所述处理单元，还用于根据节点配置信息，确定每个第一虚拟节点对应的第一接入服务器；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
发送单元，用于将所述第一域名的访问日志发送给所述第一接入服务器。
11.如权利要求10所述的装置，其特征在于，所述域名权重信息是根据各域名的历史访问日志的数量确定的；所述第一虚拟节点的数量与所述域名权重信息成正比关系。
12.一种用于处理访问日志的装置，其特征在于，所述装置包括：
接收单元，用于接收缓存服务器发送的第一域名的访问日志；所述接收单元是所述缓存服务器根据第一域名的域名权重信息和节点配置信息确定的；所述节点配置信息用于指示虚拟节点与接入服务器的对应关系；
处理单元，用于对接收的所述第一域名的访问日志进行处理后发送。
13.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至5任一项所述的方法或者按照获得的程序执行权利要求6至8所述的方法。
14.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机具有如权利要求1至6任一项所述的处理单元的功能或者使得计算机具有如权利要求7至9所述的处理单元的功能。
CN201910673499.5A 2019-07-24 2019-07-24 一种访问日志的处理方法及装置 Expired - Fee Related CN110401657B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910673499.5A CN110401657B (zh) 2019-07-24 2019-07-24 一种访问日志的处理方法及装置
PCT/CN2020/074955 WO2021012663A1 (zh) 2019-07-24 2020-02-12 一种访问日志的处理方法及装置
EP20775564.6A EP3790254A4 (en) 2019-07-24 2020-02-12 PROCESS AND DEVICE FOR PROCESSING THE ACCESS LOG
US17/037,555 US11272029B2 (en) 2019-07-24 2020-09-29 Access log processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910673499.5A CN110401657B (zh) 2019-07-24 2019-07-24 一种访问日志的处理方法及装置

Publications (2)

Publication Number Publication Date
CN110401657A true CN110401657A (zh) 2019-11-01
CN110401657B CN110401657B (zh) 2020-09-25

Family

ID=68326008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910673499.5A Expired - Fee Related CN110401657B (zh) 2019-07-24 2019-07-24 一种访问日志的处理方法及装置

Country Status (4)

Country Link
US (1) US11272029B2 (zh)
EP (1) EP3790254A4 (zh)
CN (1) CN110401657B (zh)
WO (1) WO2021012663A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913913A (zh) * 2020-08-07 2020-11-10 星辰天合（北京）数据科技有限公司 访问请求的处理方法和装置
WO2021012663A1 (zh) * 2019-07-24 2021-01-28 网宿科技股份有限公司 一种访问日志的处理方法及装置
WO2021135835A1 (zh) * 2019-12-31 2021-07-08 北京金山云网络技术有限公司 资源获取方法、装置及cdn网络中的节点设备
CN116095180A (zh) * 2023-03-07 2023-05-09 天翼云科技有限公司 一种日志回传的选路方法、装置和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140220B1 (en) * 2020-12-11 2021-10-05 Amazon Technologies, Inc. Consistent hashing using the power of k choices in server placement
US11310309B1 (en) 2020-12-11 2022-04-19 Amazon Technologies, Inc. Arc jump: per-key selection of an alternative server when implemented bounded loads
WO2023123801A1 (zh) * 2021-12-30 2023-07-06 上海川源信息科技有限公司 一种日志聚合系统及一种提高日志聚合系统可用性的方法
CN114793245B (zh) * 2022-06-22 2022-09-27 杭州又拍云科技有限公司 一种灵活可配置的流式信息处理方法及系统
CN116028930B (zh) * 2023-03-28 2023-08-01 睿至科技集团有限公司 一种物联网中能源数据的防御检测方法及其系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621426A (zh) * 2009-08-05 2010-01-06 中兴通讯股份有限公司 一种内容分发网络节点的运行仿真系统及实现方法
CN102638483A (zh) * 2011-02-15 2012-08-15 中国移动通信集团公司 一种内容分发节点的确定方法、设备及系统
CN102724063A (zh) * 2012-05-11 2012-10-10 北京邮电大学 日志采集服务器及数据包分发、日志聚类方法及网络
CN103414608A (zh) * 2013-08-15 2013-11-27 网宿科技股份有限公司 快速的web流量采集统计系统和方法
CN103905503A (zh) * 2012-12-27 2014-07-02 中国移动通信集团公司 数据存取方法、调度方法、设备及系统
US9420050B1 (en) * 2011-08-16 2016-08-16 Verizon Digital Media Services Inc. Log reporting for a federated platform
CN108551444A (zh) * 2018-03-30 2018-09-18 新华三信息安全技术有限公司 一种日志处理方法、装置及设备
CN108881509A (zh) * 2018-05-31 2018-11-23 网宿科技股份有限公司 一种基于httpdns的dns查询方法及装置
CN109167840A (zh) * 2018-10-19 2019-01-08 网宿科技股份有限公司 一种任务推送方法、节点自治服务器及边缘缓存服务器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101508A (en) * 1997-08-01 2000-08-08 Hewlett-Packard Company Clustered file management for network resources
US20090144404A1 (en) * 2007-12-04 2009-06-04 Microsoft Corporation Load management in a distributed system
CN101848137B (zh) * 2009-03-26 2012-11-21 北京快网科技有限公司 一种应用于三层网络的负载均衡方法和系统
US8832245B2 (en) * 2011-05-13 2014-09-09 At&T Intellectual Property I, L.P. System and method for content delivery using dynamic region assignment
JP5782641B2 (ja) * 2012-08-31 2015-09-24 株式会社日立製作所 計算機システム及びパケット転送方法
CN105721532A (zh) * 2014-12-26 2016-06-29 乐视网信息技术（北京）股份有限公司 一种节点管理方法及装置
CN106161668B (zh) * 2015-04-28 2019-06-28 阿里巴巴集团控股有限公司 生成域名解析的方法、装置及服务器
US10824455B2 (en) * 2016-12-02 2020-11-03 Nutanix, Inc. Virtualized server systems and methods including load balancing for virtualized file servers
US10303533B1 (en) * 2016-12-06 2019-05-28 Amazon Technologies, Inc. Real-time log analysis service for integrating external event data with log data for use in root cause analysis
CN108551474B (zh) 2018-03-26 2021-03-09 南京邮电大学 一种服务器集群的负载均衡方法
CN109104327B (zh) 2018-06-08 2022-03-22 创新先进技术有限公司 一种业务日志生成方法、装置及设备
CN109951338B (zh) * 2019-03-28 2021-09-10 北京金山云网络技术有限公司 Cdn网络配置方法、配置装置、电子设备及存储介质
CN110401657B (zh) * 2019-07-24 2020-09-25 网宿科技股份有限公司 一种访问日志的处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621426A (zh) * 2009-08-05 2010-01-06 中兴通讯股份有限公司 一种内容分发网络节点的运行仿真系统及实现方法
CN102638483A (zh) * 2011-02-15 2012-08-15 中国移动通信集团公司 一种内容分发节点的确定方法、设备及系统
US9420050B1 (en) * 2011-08-16 2016-08-16 Verizon Digital Media Services Inc. Log reporting for a federated platform
CN102724063A (zh) * 2012-05-11 2012-10-10 北京邮电大学 日志采集服务器及数据包分发、日志聚类方法及网络
CN103905503A (zh) * 2012-12-27 2014-07-02 中国移动通信集团公司 数据存取方法、调度方法、设备及系统
CN103414608A (zh) * 2013-08-15 2013-11-27 网宿科技股份有限公司 快速的web流量采集统计系统和方法
CN108551444A (zh) * 2018-03-30 2018-09-18 新华三信息安全技术有限公司 一种日志处理方法、装置及设备
CN108881509A (zh) * 2018-05-31 2018-11-23 网宿科技股份有限公司 一种基于httpdns的dns查询方法及装置
CN109167840A (zh) * 2018-10-19 2019-01-08 网宿科技股份有限公司 一种任务推送方法、节点自治服务器及边缘缓存服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
巴子言，吴军，马严: ""基于虚节点的一致性哈希算法的优化"", 《软件》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012663A1 (zh) * 2019-07-24 2021-01-28 网宿科技股份有限公司 一种访问日志的处理方法及装置
US11272029B2 (en) 2019-07-24 2022-03-08 Wangsu Science & Technology Co., Ltd. Access log processing method and device
WO2021135835A1 (zh) * 2019-12-31 2021-07-08 北京金山云网络技术有限公司 资源获取方法、装置及cdn网络中的节点设备
CN113132443A (zh) * 2019-12-31 2021-07-16 北京金山云网络技术有限公司 资源获取方法、装置及cdn网络中的节点设备
CN113132443B (zh) * 2019-12-31 2022-06-07 北京金山云网络技术有限公司 资源获取方法、装置及cdn网络中的节点设备
CN111913913A (zh) * 2020-08-07 2020-11-10 星辰天合（北京）数据科技有限公司 访问请求的处理方法和装置
CN111913913B (zh) * 2020-08-07 2024-02-13 北京星辰天合科技股份有限公司 访问请求的处理方法和装置
CN116095180A (zh) * 2023-03-07 2023-05-09 天翼云科技有限公司 一种日志回传的选路方法、装置和存储介质
CN116095180B (zh) * 2023-03-07 2023-06-23 天翼云科技有限公司 一种日志回传的选路方法、装置和存储介质

Also Published As

Publication number Publication date
CN110401657B (zh) 2020-09-25
EP3790254A1 (en) 2021-03-10
EP3790254A4 (en) 2021-06-23
WO2021012663A1 (zh) 2021-01-28
US11272029B2 (en) 2022-03-08
US20210037111A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
CN110401657A (zh) 一种访问日志的处理方法及装置
CN104850450B (zh) 一种面向混合云应用的负载均衡方法及系统
JP5901024B2 (ja) コンテンツ配信に利用される動的バインド
CN104320487B (zh) 内容分发网络的http调度系统和方法
CN103530189B (zh) 一种面向流式数据的自动伸缩及迁移的方法及装置
CN103338252B (zh) 一种分布式数据库并发存储虚拟请求机制的实现方法
CN103152393B (zh) 一种云计算的计费方法和计费系统
CN107465708A (zh) 一种cdn带宽调度系统及方法
CN109327550A (zh) 一种访问请求的分配方法、装置、存储介质和计算机设备
CN104834722A (zh) 基于cdn的内容管理系统
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN101951411A (zh) 云调度系统及方法以及多级云调度系统
CN103197952A (zh) 基于云基础设施的针对应用系统维护部署的管理系统和方法
CN102664814A (zh) 一种虚拟网络中基于灰色预测的自适应动态资源分配方法
CN107835262A (zh) 一种流媒体服务器负载动态分配方法
CN106131227A (zh) 负载平衡方法、元数据服务器系统及负载平衡系统
CN106254561A (zh) 一种网络资源文件的实时离线下载方法及系统
CN106681800A (zh) 基于Docker的资源监控的实现方法
CN109656685A (zh) 容器资源调度方法和系统、服务器及计算机可读存储介质
CN106131141B (zh) 一种分布式集群负载均衡并行调度系统及方法
CN106131244A (zh) 一种报文传送方法及装置
US20170147400A1 (en) Method, apparatus, and computer-readable medium for performing a data exchange
CN110020046A (zh) 一种数据抓取方法及装置
CN106059940A (zh) 一种流量控制方法及装置
CN103248636B (zh) 离线下载的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200925