CN107231402B - Http请求处理方法、装置及系统 - Google Patents

Http请求处理方法、装置及系统 Download PDF

Info

Publication number
CN107231402B
CN107231402B CN201610799783.3A CN201610799783A CN107231402B CN 107231402 B CN107231402 B CN 107231402B CN 201610799783 A CN201610799783 A CN 201610799783A CN 107231402 B CN107231402 B CN 107231402B
Authority
CN
China
Prior art keywords
server
http
http request
target
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610799783.3A
Other languages
English (en)
Other versions
CN107231402A (zh
Inventor
赵东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feinno Communication Technology Co Ltd
Original Assignee
Beijing Feinno Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feinno Communication Technology Co Ltd filed Critical Beijing Feinno Communication Technology Co Ltd
Priority to CN201610799783.3A priority Critical patent/CN107231402B/zh
Publication of CN107231402A publication Critical patent/CN107231402A/zh
Application granted granted Critical
Publication of CN107231402B publication Critical patent/CN107231402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种HTTP请求处理方法、装置及系统，所述方法包括：代理服务器接收客户端发送的超文本传输协议HTTP请求，所述HTTP请求携带有统一资源标识符URI和用户标识；所述代理服务器确定与所述URI对应的服务器组，所述服务器组包括至少两个响应服务器；所述代理服务器根据所述用户标识的一致性哈希计算结果从所述服务器组中确定出目标服务器；所述代理服务器将所述HTTP请求发送至所述目标服务器进行处理；解决了现有技术中当Web服务器集群中增加服务器或者删除服务器时，无法稳定地向客户端提供HTTP服务的问题；实现了当增减服务器以及整个系统服务时，大部分客户端所发送的HTTP请求，仍然由指定的服务器提供Web服务，不会受到增减服务器的任何影响的效果。

Description

HTTP请求处理方法、装置及系统
技术领域
本发明实施例涉及网络技术领域，特别涉及一种HTTP请求处理方法、装置及系统。
背景技术
Web服务集群是用于向客户端提供HTTP(HyperText Transfer Protocol，超文本传输协议)服务的服务器集群。Web服务器集群包括多台Web服务器，每台Web服务器上运行有至少一个Web容器，Web容器是一种用于提供HTTP服务的服务程序。
目前的Web服务器集群常采用Tomcat容器和Jetty容器作为Web容器。在Web服务集群中可能会提供多个同类型的Web容器。当Web服务器集群接收到客户端发送的HTTP请求时，采用轮询方式从多个同类型的Web容器中确定出一个Web容器，由确定出的Web容器处理该HTTP请求。
在实现本发明实施例的过程中，发明人发现现有技术至少存在以下问题：
当Web服务器集群中增加服务器或者删除服务器时，会影响HTTP服务的正常响应，无法稳定地向客户端提供HTTP服务。
发明内容
为了解决现有技术中当Web服务器集群中增加服务器或者删除服务器时，会影响HTTP服务的正常响应，无法稳定地向客户端提供HTTP服务的问题，本发明实施例提供了一种HTTP请求处理方法、装置及系统。所述技术方案如下：
根据本发明实施例的第一方面，提供了一种HTTP请求处理方法，所述方法包括：
代理服务器接收客户端发送的HTTP请求，所述HTTP请求携带有URI和用户标识；
所述代理服务器确定与所述URI对应的服务器组，所述服务器组包括至少两个响应服务器；
所述代理服务器根据所述用户标识的一致性哈希计算结果从所述服务器组中确定出目标服务器；
所述代理服务器将所述HTTP请求发送至所述目标服务器进行处理。
根据本发明实施例的第二方面，提供了一种HTTP请求处理系统，所述系统包括：
所述代理服务器，用于接收所述客户端发送的HTTP请求，所述HTTP请求携带有统一资源标识符URI和用户标识；
所述代理服务器，用于确定与所述URI对应的服务器组，所述服务器组包括至少两个服务器；
所述代理服务器，用于根据所述用户标识的一致性哈希计算结果从所述服务器组中确定出目标服务器；
所述代理服务器，用于将所述HTTP请求发送至所述目标服务器进行处理。
根据本发明实施例的第三方面，提供了一种HTTP请求处理装置，所述装置包括：
第一接收模块，用于接收所述客户端发送的HTTP请求，所述HTTP请求携带有URI和用户标识；
第一确定模块，用于确定与所述URI对应的服务器组，所述服务器组包括至少两个服务器；
哈希计算模块，用于根据所述用户标识的一致性哈希计算结果从所述服务器组中确定出目标服务器；
第一发送模块，用于将所述HTTP请求发送至所述目标服务器进行处理。
本发明实施例提供的技术方案带来的有益效果是：
通过代理服务器接收客户端发送的超文本传输协议HTTP请求，确定与URI对应的服务器组，根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器，将HTTP请求发送至目标服务器进行处理，使得来自同一客户端的HTTP请求由同一个服务器提供web服务；解决了现有技术中当Web服务器集群中增加服务器或者删除服务器时，无法稳定地向客户端提供HTTP服务的问题；实现了当增减服务器以及整个系统服务时，大部分客户端所发送的HTTP 请求，仍然由指定的服务器提供Web服务，不会受到增减服务器的任何影响的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A和图1B是本发明一个实施例提供的HTTP请求处理系统的系统结构图；
图2是本发明一个实施例提供的HTTP请求处理方法的流程图；
图3是本发明一个实施例提供的一致性哈希算法的方法原理图；
图4是本发明另一个实施例提供的HTTP请求处理方法的流程图；
图5是本发明一个实施例提供的HTTP请求处理装置的结构方框图；
图6是本发明另一个实施例提供的HTTP请求处理装置的结构方框图；
图7是本发明一个实施例提供的服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1A和图1B是本发明一个实施例提供的HTTP请求处理系统的系统结构图。示意性的，该HTTP请求处理系统包括：客户端100、代理服务器120、服务器组A、服务器组B、队列160和业务处理服务器组180。其中，服务器组A、服务器组B、队列160和业务处理服务器组180均属于Web服务器。
客户端100是浏览器客户端。可选地，浏览器客户端向代理服务器发送HTTP请求，HTTP请求中携带有统一资源标识符(Uniform Resource Identifier，URI)和用户标识UserID。其中，UserID用于代表用户身份。
代理服务器120是代理用户获取的Web服务的服务器。代理服务器120可以是反向代理(Reverse Proxy)服务器。其中，反向代理方式是指以代理服务器 120来接受internet上的HTTP请求，然后将HTTP请求转发给Web服务器所在内部网络上的Web服务器，并将从Web服务器上得到的响应结果反馈给客户端100。可选地，代理服务器由虚拟机(VirtualMachine，VM)或物理服务器实现，本发明对代理服务器的具体实现形式不加以限定。
可选地，代理服务器120中包括Locator服务121和Lua脚本122。其中，代理服务器120接收客户端100发送的HTTP请求；Lua脚本122用于截获HTTP请求中携带的URI和用户标识，并将URI发送给Locator服务121，Locator服务121根据HTTP请求中携带的URI确定与URI对应的服务器组，该服务器组包括多台响应服务器；同时，Lua脚本还接收Locator服务121反馈的服务器组。可选地，Lua脚本122还根据用户标识UserID做一致性哈希算法，查找对应服务器组中的一台目标服务器。
服务器组A和服务器组B是将很多响应服务器以负载均衡方式部署，同时提供同一种服务的一个群组。在客户端100看来就像是只有一个响应服务器。服务器组A和服务器组B中包含多个响应服务器，每个响应服务器均用于处理代理服务器120发送的HTTP请求。可选地，服务器组A包括响应服务器1、响应服务器2、响应服务器3和响应服务器4，服务器组B包括响应服务器5、响应服务器6、响应服务器7和响应服务器8。
本发明实施例对以上对服务器组A和服务器组B中的响应服务器的数量的描述不加以限定。示意性的，服务器组A用于处理不需要向客户端100反馈响应的HTTP请求，比如消息和通知；服务器组B用于处理需要向客户端100反馈响应的HTTP请求。
队列160是一款分布式、队列模型的消息中间件，用于接收目标服务器(目标服务器是响应服务器中的一个)构建的HTTP对象，等待业务服务器组180的处理。队列160可以由单独的一个服务器实现，也可以由一个虚拟机实现，也可以集成在响应服务器或业务处理服务器中来实现。
业务处理服务器组180是将很多业务处理服务器集中起来以负载均衡方式部署，同时提供同一种服务的一个群组。业务处理服务器组180中包含多个业务处理服务器，业务处理服务器180用于从队列160中获取HTTP对象并进行处理。可选地，本实施例中业务处理服务器组180包括业务处理服务器1、业务处理服务器2、业务处理服务器3和业务处理服务器4，本发明实施例对此不加 以限定。
在一个具体的实现中，参考图1B，代理服务器120是nginx反向代理服务器120，服务器组A包括netty-响应服务器1、netty-响应服务器2、netty-响应服务器3和netty-响应服务器4，服务器组B包括netty-响应服务器5、netty-响应服务器6、netty-响应服务器7和netty-响应服务器8。也即，服务器组A和服务器组B中的响应服务器由netty服务器实现。其中，服务器组A和服务器组B属于HTTP响应层，业务处理服务器属于业务处理层。
请参考图2，本发明一个实施例提供的HTTP请求处理方法的流程图。本发明以该实施例应用于图1所述的系统来举例说明。该HTTP请求处理方法包括：
步骤201，客户端向代理服务器发送HTTP请求。
步骤202，代理服务器接收客户端发送的HTTP请求。
可选地，HTTP请求包括：URI和用户标识。每个URI用于定位一个或一组Web资源。可选地，Web资源是包括文本、图片、音频、视频之类的网页或网页程序。
步骤203，代理服务器确定与URI对应的服务器组。
可选地，每个服务器组包括至少两个响应服务器。
步骤204，代理服务器根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器。
一致性哈希计算是一种用于将用户标识和服务器组中的服务器产生对应关系的计算方式。比如，将用户标识A总是与响应服务器1对应，将用户标识B总是与响应服务器2对应，将用户标识C总是与响应服务器3对应，将用户标识D总是与响应服务器4对应。
当服务器组中的响应服务器未发生改变时，代理服务器使用一致性哈希计算，能够将来自用户标识A的HTTP请求总是发送给响应服务器1处理，将来自用户标识B的HTTP请求总是发送给响应服务器2处理，将来自用户标识C的HTTP请求总是发送给响应服务器3处理，将来自用户标识D的HTTP请求总是发送给响应服务器4处理。
步骤205，代理服务器将HTTP请求发送至目标服务器进行处理。
综上所述，本实施例提供的HTTP请求处理方法，通过代理服务器接收客 户端发送的超文本传输协议HTTP请求，确定与URI对应的服务器组，根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器，将HTTP请求发送至目标服务器进行处理；解决了现有技术中当Web服务器集群中增加服务器或者删除服务器时，无法稳定地向客户端提供HTTP服务的问题；实现了当增减服务器以及整个系统服务时，大部分客户端所发送的HTTP请求，仍然由指定的服务器提供Web服务，大部分客户端不会受到增减服务器的任何影响，仅有少部分客户端会收到增减服务器的影响的效果。
请参考图3，其示出了本发明一个实施例提供的一致性哈希算法的方法原理图。一致性哈希将整个哈希值空间组织成一个虚拟的圆环。将各个响应服务器使用Hash算法进行一个哈希，具体可以选择服务器的ip或主机名作为关键字进行哈希，这样每台机器就能确定其在哈希环上的位置。
可选地，本实施例中以服务器组A中有4台响应服务器为例，分别是响应服务器1、响应服务器2、响应服务器3和响应服务器4，使用响应服务器的主机名进行哈希后在环形哈希空间的位置如图3所示。响应服务器1与环形哈希空间上的节点A对应，响应服务器2与环形哈希空间上的节点B对应，响应服务器3与环形哈希空间上的节点C对应，响应服务器4与环形哈希空间上的节点D对应。
当代理服务器收到HTTP请求后，对HTTP请求中的用户标识计算哈希值(比如消息摘要算法MD5)，然后对用户标识的哈希值相对于4计算余数，若余数为0，则将该HTTP请求发送给与节点A对应的响应服务器1进行处理；若余数为1，则将该HTTP请求发送给与节点B对应的响应服务器2进行处理；若余数为2，则将该HTTP请求发送给与节点C对应的响应服务器3进行处理；若余数为3，则将该HTTP请求发送给与节点D对应的相应服务器4进行处理。
请参考图4，本发明实施例四提供的HTTP请求处理方法的流程图。本发明以该实施例应用于图1所述系统和图3所述算法来举例说明。该HTTP请求处理方法包括：
步骤401，客户端向代理服务器发送HTTP请求。
可选地，客户端是浏览器客户端，常见的浏览客户端包括：Internet Explorer(IE浏览器)、Mozilla Firefox(火狐浏览器)、Opera和Safari。
步骤402，代理服务器接收客户端发送的HTTP请求。
可选地，HTTP请求携带有URI和用户标识。
可选地，URI是一个用于标识某一互联网资源名称的字符串。该种标识允许用户对任何(包括本地和互联网)的资源通过特定的协议进行交互操作。URI由包括确定语法和相关协议的方案所定义。
可选地，用户标识是因特网上用于识别用户身份的名字。
步骤403，代理服务器通过Lua脚本向Locator服务发送URI。
示意性的，nginx反向代理服务器通过Lua脚本截获HTTP请求中的URI和用户标识，并向Locator服务发送URI。
Locator服务是nginx反向代理服务器中的一个功能组件，用于定义每个URI的处理规则。
示意性的，表一示出了该处理规则：
表一
URI 服务器组
/xxx.jpg 服务器组A
/yyy.html 服务器组B
步骤404，代理服务器通过Locator服务确定与URI对应的服务器组。
Locator服务会查询与URI对应的服务器组。以图1为例，Locator服务会查询出服务器组A或服务器组B作为与URI对应的服务器组。
示意性的，Locator服务通过HTTP响应层所注册的Method(方法)解析URI，根据URI映射到对应的服务器组。Method包括：get方法、post方法等。
Locator服务会将与URI对应的服务器组，反馈给Lua脚本。
步骤405，代理服务器通过Lua脚本接收Locator服务反馈的服务器组。
示意性的，nginx反向代理服务器通过Lua脚本接收Locator服务确定并反馈的服务器组。
步骤406，代理服务器对用户标识按照预设的哈希算法计算哈希值。
示意性的，nginx反向代理服务器通过Lua脚本对用户标识按照预设的哈希算法计算哈希值。预设的哈希算法包括：消息摘要算法第二版MD2、消息摘要算法第三版MD3、消息摘要算法第五版MD5、安全哈希算法SHA-1等等哈希 算法中的任意一种。
比如，nginx反向代理服务器对该用户标识计算出的哈希值为1011101111。
步骤407，代理服务器将哈希值散列到环形哈希空间上的目标节点。
可选地，环形哈希空间上的节点与服务器组中的服务器存在对应关系，如图3所示。
nginx反向代理服务器对用户标识的哈希值相对于N求余，N是环形哈希空间上的节点数。以N为4为例，余数0对应响应服务器1，余数1对应响应服务器2，余数2对应响应服务器3，余数3对应响应服务器4。
步骤408，代理服务器将与目标节点对应的服务器确定为目标服务器。
示意性的，由于用户标识的哈希值，相对于N的余数为1，在哈希环形空间上对应的响应服务器2，即确定响应服务器2为目标服务器。
步骤409，代理服务器将HTTP请求发送至目标服务器进行处理。
示意性的，nginx反向代理服务器将HTTP请求发送至响应服务器2进行处理。
步骤410，目标服务器确定HTTP请求的请求类型。
示意性的，响应服务器2确定HTTP请求的请求类型。
可选地，请求类型分为需要反馈响应消息的HTTP请求和不需要反馈响应消息的HTTP请求。
可选地，不需要反馈响应消息的HTTP请求包括消息和通知。
若请求类型是不需要反馈响应消息的HTTP请求，则执行步骤410至步骤412，若请求类型是需要反馈响应消息的HTTP请求，则执行步骤413至步骤415。
步骤411，若请求类型是不需要反馈响应消息的HTTP请求，目标服务器根据HTTP请求构建HTTP对象，将HTTP对象发送至队列中。
示意性的，当请求类型是不需要反馈响应消息的HTTP请求时，响应服务器2根据HTTP请求构建HTTP对象，并将HTTP对象发送至队列中。
步骤412，业务处理服务器从队列中获取HTTP对象。
步骤413，业务处理服务器对HTTP对象进行处理。
步骤414，若请求类型是需要反馈响应消息的HTTP请求，目标服务器生成HTTP请求的响应消息。
示意性的，当请求类型是需要反馈响应消息的HTTP请求时，响应服务器2 对HTTP请求进行处理，并根据处理结果生成HTTP请求的响应消息。
步骤415，目标服务器将响应消息发送给代理服务器。
步骤416，代理服务器将响应消息反馈给客户端。
综上所述，本实施例提供的HTTP请求处理方法，通过代理服务器接收客户端发送的超文本传输协议HTTP请求，确定与URI对应的服务器组，根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器，将HTTP请求发送至目标服务器进行处理；解决了现有技术中当Web服务器集群中增加服务器或者删除服务器时，无法稳定地向客户端提供HTTP服务的问题；实现了当增减服务器以及整个系统服务时，大部分客户端所发送的HTTP请求，仍然由指定的服务器复用已有的连接提供Web服务，大部分客户端不会受到增减服务器的任何影响，仅有少部分客户端会收到增减服务器的影响的效果。
本实施例提供的HTTP请求处理方法，通过代理服务器中的Lua脚本一致性哈希算法和Locator服务完成对用户的定位，解决了现有技术中增加服务器或者删除服务器时，对原有用户访问响应服务器波动大的问题。
本实施例提供的HTTP请求处理方法，还通过对不需要反馈响应消息的HTTP请求，构建HTTP对象缓存至队列中，由业务处理服务器对队列中的HTTP对象进行处理，实现了响应服务器的发送过程和业务处理服务器的接收过程的解耦，使得响应服务器发生增加或者减少时，不影响业务处理服务器的接收过程和处理过程，或者，业务处理服务器发生增加或者减少时，不影响响应服务器的发送过程。换句话说，与消息和通知有关的服务过程的更新，对整个系统来说是完全无感知的。
本实施例提供的HTTP请求处理方法，还通过利用netty服务器的内存分配回收机制，可以很好的降低Java虚拟机的垃圾回收(Gabage Collection，GC)，提高整个系统的处理吞吐量。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参考图5其示出了发明一个实施例提供的HTTP请求处理装置的结构方框图。该HTTP请求处理装置可以通过专用硬件电路，或者，软硬件的结合来实现成为服务器的全部或一部分。本发明以该实施例应用于图1所述系统和图3 所述算法来举例说明。该HTTP请求处理装置，包括：
第一接收模块501，用于接收客户端发送的超文本传输协议HTTP请求。
可选地，HTTP请求携带有统一资源标识符URI和用户标识。
第一确定模块502，用于确定与URI对应的服务器组。
可选地，服务器组包括至少两个服务器。
哈希计算模块503，用于根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器。
第一发送模块504，用于将HTTP请求发送至目标服务器进行处理。
综上所述，本实施例提供的HTTP请求处理装置，通过代理服务器接收客户端发送的超文本传输协议HTTP请求，确定与URI对应的服务器组，根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器，将HTTP请求发送至目标服务器进行处理；解决了现有技术中当Web服务器集群中增加服务器或者删除服务器时，无法稳定地向客户端提供HTTP服务的问题；实现了当增减服务器以及整个系统服务时，大部分客户端所发送的HTTP请求，仍然由指定的服务器复用已有的连接提供Web服务，大部分客户端不会受到增减服务器的任何影响，仅有少部分客户端会收到增减服务器的影响的效果。
请参考图6，其示出了本发明一个实施例提供的HTTP请求处理装置的结构方框图。该HTTP请求处理装置可以通过专用硬件电路，或者，软硬件的结合来实现成为服务器的全部或一部分。本发明以该实施例应用于图1所述系统来举例说明。该HTTP请求处理装置，包括：
第一接收模块601，用于接收客户端发送的HTTP请求。
可选地，HTTP请求携带有URI和用户标识。
第一确定模块602，用于确定与URI对应的服务器组。
可选地，服务器组包括至少两个服务器。
可选地，第一确定模块602包括第一发送单元6021、第一确定单元6022和第一接收单元6023。
第一发送单元6021，用于通过Lua脚本向Locator服务发送URI。
第一确定单元6022，用于通过Locator服务确定与URI对应的服务器组。
第一接收单元6023，用于通过Lua脚本接收Locator服务反馈的服务器组。
哈希计算模块603，用于根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器。
可选地，哈希计算模块603包括哈希计算单元6031、数值散布单元6032和目标确定单元6033。
哈希计算单元6031，用于对用户标识按照预设的哈希算法计算哈希值。
数值散布单元6032，用于将哈希值散列到环形哈希空间上的目标节点。
可选地，环形哈希空间上的节点与服务器组中的服务器存在对应关系。
目标确定单元6033，用于将与目标节点对应的服务器确定为目标服务器。
第一发送模块604，用于将HTTP请求发送至目标服务器进行处理。
类型确定模块605，用于目标服务器确定HTTP请求的请求类型。
请求处理模块606，用于当请求类型是不需要反馈响应消息的HTTP请求时，目标服务器根据HTTP请求构建HTTP对象，将HTTP对象发送至队列中；以便响应服务器从队列中获取HTTP对象并处理。
同时，请求处理模块606，还用于当求类型是需要反馈响应消息的HTTP请求时，目标服务器生成HTTP请求的响应消息，通过代理服务器向客户端反馈响应消息。
综上所述，本实施例提供的HTTP请求处理装置，通过代理服务器接收客户端发送的超文本传输协议HTTP请求，确定与URI对应的服务器组，根据用户标识的一致性哈希计算结果从服务器组中确定出目标服务器，将HTTP请求发送至目标服务器进行处理；解决了现有技术中当Web服务器集群中增加服务器或者删除服务器时，无法稳定地向客户端提供HTTP服务的问题；实现了当增减服务器以及整个系统服务时，大部分客户端所发送的HTTP请求，仍然由指定的服务器复用已有的连接提供Web服务，大部分客户端不会受到增减服务器的任何影响，仅有少部分客户端会收到增减服务器的影响的效果。
本实施例提供的HTTP请求处理装置，通过代理服务器中的Lua脚本一致性哈希算法和Locator服务完成对用户的定位，解决了现有技术中增加服务器或者删除服务器时，对原有用户访问响应服务器波动大的问题。
本实施例提供的HTTP请求处理装置，还通过对不需要反馈响应消息的HTTP请求，构建HTTP对象缓存至队列中，由业务处理服务器对队列中的HTTP对象进行处理，实现了响应服务器的发送过程和业务处理服务器的接收过程的 解耦，使得响应服务器发生增加或者减少时，不影响业务处理服务器的接收过程和处理过程，或者，业务处理服务器发生增加或者减少时，不影响响应服务器的发送过程。换句话说，与消息和通知有关的服务过程的更新，对整个系统来说是完全无感知的。
本实施例提供的HTTP请求处理装置，还通过利用netty服务器的内存分配回收机制，可以很好的降低Java虚拟机的垃圾回收(Gabage Collection，GC)，提高整个系统的处理吞吐量。
图7本发明一个实施例提供的服务器的结构示意图。该服务器可以是代理服务器120或服务器组A或服务器组B或业务处理服务器组180中的服务器。具体来讲：
服务器700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702和只读存储器(ROM)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。服务器700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)706，和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。
基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。大容量存储设备707及其相关联的计算机可读介质为服务器700提供非易失性存储。也就是说，大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态 存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
根据本发明的各种实施例，服务器700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器700可以通过连接在系统总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行实现如图2和图4任一所示出的HTTP请求处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种HTTP请求处理方法，其特征在于，所述方法包括：
代理服务器接收客户端发送的超文本传输协议HTTP请求，所述HTTP请求携带有统一资源标识符URI和用户标识；
所述代理服务器确定与所述URI对应的服务器组，所述服务器组包括至少两个响应服务器；
所述代理服务器对所述用户标识按照预设的哈希算法计算哈希值；将所述哈希值散列到环形哈希空间上的目标节点，所述环形哈希空间上的目标节点与所述服务器组中的所述响应服务器存在对应关系；将与所述目标节点对应的所述服务器确定为目标服务器；
所述代理服务器将所述HTTP请求发送至所述目标服务器进行处理；
所述目标服务器确定所述HTTP请求的请求类型，
若所述请求类型是不需要反馈响应消息的HTTP请求，则所述目标服务器根据所述HTTP请求构建HTTP对象，将所述HTTP对象发送至队列中；以便响应服务器从所述队列中获取所述HTTP对象并处理；
若所述请求类型是需要反馈响应消息的HTTP请求，则所述目标服务器生成所述HTTP请求的响应消息，并通过所述代理服务器向所述客户端反馈所述响应消息。
2.根据权利要求1所述的方法，其特征在于，所述代理服务器确定与所述URI对应的服务器组，包括：
通过Lua脚本向Locator服务发送所述URI；
通过所述Locator服务确定与所述URI对应的服务器组；
通过所述Lua脚本接收所述Locator服务反馈的所述服务器组。
3.一种HTTP请求处理系统，其特征在于，所述系统包括：客户端、代理服务器和服务器组；
所述代理服务器，用于接收所述客户端发送的超文本传输协议HTTP请求，所述HTTP请求携带有统一资源标识符URI和用户标识；
所述代理服务器，用于确定与所述URI对应的服务器组，所述服务器组包括至少两个服务器；
所述代理服务器，用于根据所述用户标识的一致性哈希计算结果从所述服务器组中确定出目标服务器；
所述代理服务器，用于将所述HTTP请求发送至所述目标服务器进行处理；
所述代理服务器，用于对所述用户标识按照预设的哈希算法计算哈希值；
所述代理服务器，用于将所述哈希值散列到环形哈希空间上的目标节点，所述环形哈希空间上的目标节点与所述服务器组中的响应服务器存在对应关系；
所述代理服务器，用于将与所述目标节点对应的所述服务器确定为所述目标服务器；
所述目标服务器，用于确定所述HTTP请求的请求类型，
所述目标服务器，用于当所述请求类型是不需要反馈响应消息的HTTP请求时，根据所述HTTP请求构建HTTP对象，将所述HTTP对象发送至队列中，当所述请求类型是需要反馈响应消息的HTTP请求，则所述目标服务器生成所述HTTP请求的响应消息，并通过所述代理服务器向所述客户端反馈所述响应消息；
业务处理服务器，用于从所述队列中获取所述HTTP对象并处理。
4.根据权利要求3所述的系统，其特征在于，
所述代理服务器，用于通过Lua脚本向Locator服务发送所述URI；
所述代理服务器，用于通过所述Locator服务确定与所述URI对应的服务器组；
所述代理服务器，用于通过所述Lua脚本接收所述Locator服务反馈的所述服务器组。
5.一种HTTP请求处理装置，其特征在于，所述装置包括：
第一接收模块，用于接收客户端发送的超文本传输协议HTTP请求，所述HTTP请求携带有统一资源标识符URI和用户标识；
第一确定模块，用于确定与所述URI对应的服务器组，所述服务器组包括至少两个服务器；
哈希计算模块，用于对所述用户标识按照预设的哈希算法计算哈希值；将所述哈希值散列到环形哈希空间上的目标节点，所述环形哈希空间上的目标节点与所述服务器组中的响应服务器存在对应关系；将与所述目标节点对应的所述服务器确定为目标服务器；
第一发送模块，用于将所述HTTP请求发送至所述目标服务器进行处理，以使所述目标服务器确定所述HTTP请求的请求类型，若所述请求类型是不需要反馈响应消息的HTTP请求，则所述目标服务器根据所述HTTP请求构建HTTP对象，将所述HTTP对象发送至队列中；以便响应服务器从所述队列中获取所述HTTP对象并处理；若所述请求类型是需要反馈响应消息的HTTP请求，则所述目标服务器生成所述HTTP请求的响应消息，并通过代理服务器向所述客户端反馈所述响应消息。
CN201610799783.3A 2016-08-31 2016-08-31 Http请求处理方法、装置及系统 Active CN107231402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610799783.3A CN107231402B (zh) 2016-08-31 2016-08-31 Http请求处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610799783.3A CN107231402B (zh) 2016-08-31 2016-08-31 Http请求处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107231402A CN107231402A (zh) 2017-10-03
CN107231402B true CN107231402B (zh) 2021-02-12

Family

ID=59932020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610799783.3A Active CN107231402B (zh) 2016-08-31 2016-08-31 Http请求处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107231402B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948324B (zh) * 2017-12-29 2019-07-05 Oppo广东移动通信有限公司 请求传输系统、方法、装置及存储介质
CN108200158B (zh) * 2017-12-29 2019-07-02 Oppo广东移动通信有限公司 请求传输系统、方法、装置及存储介质
CN108200165B (zh) * 2017-12-29 2019-07-02 Oppo广东移动通信有限公司 请求传输系统、方法、装置及存储介质
CN108491300A (zh) * 2018-01-10 2018-09-04 北京掌阔移动传媒科技有限公司 一种基于分布式的日志处理系统
CN108600333B (zh) * 2018-04-03 2021-03-12 广东阿里影业云智软件有限公司 一种基于代理服务器的数据传输方法、设备以及系统
CN108667934A (zh) * 2018-05-11 2018-10-16 中国平安人寿保险股份有限公司 信息处理方法、装置、电子设备及存储介质
CN108900649A (zh) * 2018-06-14 2018-11-27 北京旅居四方科技有限公司 水电桩的长连接调度方法、装置、计算机设备和存储介质
CN109151022B (zh) * 2018-08-21 2022-06-14 平安科技（深圳）有限公司 网页控制台的调用方法、装置、计算机设备及存储介质
CN109639755B (zh) * 2018-10-23 2022-04-12 平安科技（深圳）有限公司 关联系统服务器解耦方法、装置、介质及电子设备
CN109257449A (zh) * 2018-11-22 2019-01-22 四川长虹电器股份有限公司 一种在Nginx中基于URI的Web负载分配的方法
CN109831536B (zh) * 2019-03-22 2021-05-18 成都律图科技有限公司 一种前端负载均衡服务降级系统及方法
CN110445837A (zh) * 2019-07-05 2019-11-12 视联动力信息技术股份有限公司 高并发集群系统及搭建方法、高并发请求处理方法及装置
CN112395070A (zh) * 2019-08-12 2021-02-23 阿里巴巴集团控股有限公司 数据处理系统及方法
CN110955523B (zh) * 2019-11-22 2022-03-08 中国银联股份有限公司 一种业务处理方法及装置
CN111225025A (zh) * 2019-11-25 2020-06-02 中国联合网络通信集团有限公司 服务请求的处理方法及装置
CN111212154B (zh) * 2019-12-31 2022-06-21 瑞庭网络技术（上海）有限公司 服务绑定方法、装置、终端、服务器和存储介质
CN111371873B (zh) * 2020-02-26 2023-04-21 厦门网宿有限公司 一种Web服务选举方法、装置和服务器
CN113364818B (zh) * 2020-03-03 2022-08-30 北京搜狗科技发展有限公司 一种数据处理方法、装置和电子设备
CN113762857B (zh) * 2020-11-24 2024-09-24 北京沃东天骏信息技术有限公司 一种库存扣减方法、装置、设备及存储介质
CN113760901A (zh) * 2021-02-19 2021-12-07 北京沃东天骏信息技术有限公司 数据处理方法、装置、设备及存储介质
CN115002131B (zh) * 2022-05-24 2024-03-01 中欣链证数字科技有限公司 一种用户请求分配方法、装置、设备及系统
CN116546090B (zh) * 2023-06-09 2023-10-27 北京和德宇航技术有限公司 一种遥测数据推送方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247349A (zh) * 2008-03-13 2008-08-20 华耀环宇科技（北京）有限公司 一种网络流量快速分配方法
KR20100046524A (ko) * 2008-10-27 2010-05-07 (주)소만사 유해 사이트 차단 장치 및 방법
CN102118433A (zh) * 2010-12-27 2011-07-06 网宿科技股份有限公司 多层次的分布式集群系统
CN103580988A (zh) * 2012-07-31 2014-02-12 阿里巴巴集团控股有限公司 消息接收、推送、传输的方法、装置、服务器组及系统
CN104580393A (zh) * 2014-12-18 2015-04-29 北京蓝汛通信技术有限责任公司 用于服务器集群系统的扩容方法、装置及服务器集群系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247349A (zh) * 2008-03-13 2008-08-20 华耀环宇科技（北京）有限公司 一种网络流量快速分配方法
KR20100046524A (ko) * 2008-10-27 2010-05-07 (주)소만사 유해 사이트 차단 장치 및 방법
CN102118433A (zh) * 2010-12-27 2011-07-06 网宿科技股份有限公司 多层次的分布式集群系统
CN103580988A (zh) * 2012-07-31 2014-02-12 阿里巴巴集团控股有限公司 消息接收、推送、传输的方法、装置、服务器组及系统
CN104580393A (zh) * 2014-12-18 2015-04-29 北京蓝汛通信技术有限责任公司 用于服务器集群系统的扩容方法、装置及服务器集群系统

Also Published As

Publication number Publication date
CN107231402A (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN107231402B (zh) Http请求处理方法、装置及系统
JP6514699B2 (ja) リソースへの繰返しアクセスについてリソースオーナーから認可を要求する要求のバッチ処理の、サードパーティによる実行の容易化
US20150237113A1 (en) Method and system for file transmission
RU2471227C2 (ru) Содействуемая обслуживающим узлом и одноранговая синхронизация
JP5805934B2 (ja) Ｕｒｌを利用した分散コントロール方法及び装置
US10324896B2 (en) Method and apparatus for acquiring resource
WO2013143403A1 (zh) 一种访问网站的方法和系统
US10776361B2 (en) Time series database search system
JP2013522736A (ja) ユニバーサルリソースロケータを含むメッセージを提供するための方法およびシステム
WO2011144022A2 (en) Method, system and apparatus for hybrid federated search
US10574703B1 (en) Content delivery employing multiple security levels
CN107918617B (zh) 数据查询方法和装置
CN108683668A (zh) 内容分发网络中的资源校验方法、装置、存储介质及设备
CN104283723A (zh) 网络访问日志处理方法及装置
JP2021516381A (ja) 強化されたオンラインプライバシ
US20080034008A1 (en) User side database
JP2019506785A (ja) リソース取得方法および装置
CN110798495B (zh) 用于在集群架构模式下端到端的消息推送的方法和服务器
CN113315852B (zh) 一种域名解析的方法、装置及系统
CN111130905A (zh) 基于分布式集群的日志级别动态调整方法
EP3579526B1 (en) Resource file feedback method and apparatus
US9621632B2 (en) Scaling of stateful enterprise services
US9866614B2 (en) Methods for website version control using bucket cookies
US20240015135A1 (en) Domain management and synchronization system
US20150095496A1 (en) System, method and medium for information processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 810, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080

Applicant after: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building block A room 602

Applicant before: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant