CN101729414A - 一种基于用户请求信息响应的数据传输方法和系统 - Google Patents
一种基于用户请求信息响应的数据传输方法和系统 Download PDFInfo
- Publication number
- CN101729414A CN101729414A CN200910238742A CN200910238742A CN101729414A CN 101729414 A CN101729414 A CN 101729414A CN 200910238742 A CN200910238742 A CN 200910238742A CN 200910238742 A CN200910238742 A CN 200910238742A CN 101729414 A CN101729414 A CN 101729414A
- Authority
- CN
- China
- Prior art keywords
- user request
- request information
- sent
- subprocess
- famous pipeline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及网站用户请求信息处理技术领域，并具体公开了一种基于用户请求信息响应的数据传输方法，包括步骤：网站服务器接收用户请求信息并将用户请求信息发送至有名管道；所述有名管道将用户请求信息发送至若干子进程；所述子进程将接收用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路。本发明还公开了一种基于用户请求信息响应的数据传输系统。有名管道将用户请求信息发送至若干子进程，各子进程相互独立，有名管道向多个相互独立的子进程发送用户请求信息，对爆发式请求发生时的大量数据的传输起到了分流的作用，缓冲了爆发式请求对系统的冲击。
Description
技术领域
本发明涉及网站用户请求信息处理领域，特别是涉及一种基于用户请求信息响应的数据传输方法和系统。
背景技术
随着信息社会的到来，人们越来越依靠网络来获取庞大的信息量。大型网站服务器众多，网站访问量大，致使日志的收集成为棘手的难题。目前大多解决方案是采用Apache或lighthttp等Http Server收集日志到本地，然后通过FTP，远程文件拷贝等方式将日志拷贝到统一的服务器合并后分析。
现有技术中，Http Server在处理大规模并发情况时存在不稳定性，可能有爆发式请求发生，如果处理不当，突发的爆发式请求对系统的冲击，将造成系统无法处理用户请求，甚至导致系统宕机，如何缓冲爆发式请求对系统的冲击是解决问题的关键。
发明内容
本发明所要解决的技术问题是提供一种基于用户请求信息响应的数据传输方法和系统，以缓解爆发式请求发生时数据传输对系统的冲击。
为实现上述发明目的，本发明提供以下方案：
一种基于用户请求信息响应的数据传输方法，其特征在于，包括以下步骤：
步骤1，网站服务器接收用户请求信息并将用户请求信息发送至有名管道；
步骤2，所述有名管道将用户请求信息发送至若干子进程；
步骤3，所述子进程将接收用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路。
优选的有，上述方法中，步骤3具体为：
从有名管道的FIFO Buffer中读取用户请求信息，发送至各子进程的FIFOBuffer；
从各子进程的FIFO Buffer读出用户请求信息，将用户请求信息格式转换为日志信息后发送至Spread环路。
本发明还提供一种基于用户请求信息响应的数据传输系统，包括：网站服务器、有名管道和Spread环路，其特征在于，所述有名管道和Spread环路之间还连接有若干子进程模块；
所述网站服务器，用于接收用户请求信息，并将用户请求信息发送至有名管道；
所述子进程模块，用于从有名管道中读取出用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路。
优选的有，上述系统中，所述子进程模块包括第一线程子模块和第二线程子模块；
所述第一线程子模块，用于从所述有名管道的FIFO Buffer中读取用户请求信息，发送至各子进程模块的FIFO Buffer；
所述第二线程子模块，用于从各子进程模块的FIFO Buffer读出用户请求信息，将用户请求信息格式转换为日志信息后发送至Spread环路。
与现有技术相比，本发明具有以下优点：
有名管道将用户请求信息发送至若干子进程，各子进程相互独立，有名管道向多个相互独立的子进程发送用户请求信息，对爆发式请求发生时的大量数据的传输起到了分流的作用，有效缓冲了爆发式请求对系统的冲击。可将FIFO有名管道视为第一层缓冲，将子进程的FIFO Buffer视为第二层缓冲，本发明采用的二级缓冲机制能有效缓解访问量大时高并发请求对系统的冲击，保证了系统的安全。
附图说明
图1为本发明实施例一流程示意图；
图2为本发明实施例二流程示意图；
图3为本发明实施例三系统示意图；
图4为本发明实施例四系统示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一，本发明提供一种基于用户请求信息响应的数据传输方法，参照图1，包括：
步骤S101，网站服务器接收用户请求信息并将用户请求信息发送至有名管道；
步骤S102，所述有名管道将用户请求信息发送至若干子进程；
步骤S103，所述子进程将接收用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路。
本发明实施例一中，有名管道将用户请求信息发送至若干子进程，各子进程相互独立，有名管道向多个相互独立的子进程发送用户请求信息，对爆发式请求发生时的大量数据的传输起到了分流的作用，有效缓冲了爆发式请求对系统的冲击。
实施例二，参见图2，与上述实施例相似，与之不同在于，即步骤S103具体为：
步骤S301，从有名管道的FIFO Buffer中读取用户请求信息，发送至各子进程的FIFO Buffer；
步骤S302，从各子进程的FIFO Buffer中读取出用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路；
本发明实施例二中，可将FIFO有名管道视为第一层缓冲，将子进程的FIFOBuffer视为第二层缓冲，本发明采用的二级缓冲机制能有效缓解访问量大时高并发请求对系统的冲击，保证了系统的安全。
实施例三，本发明还提供一种基于用户请求信息响应的数据传输系统，参见图3，包括：网站服务器11、有名管道12、各子进程模块13和Spread环路14；
网站服务器11用于接收用户请求信息并将用户请求信息发送至有名管道；
有名管道12用于将用户请求信息发送至若干子进程13；
子进程13用于接收用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路14；
Spread环路14用于接收由子进程发送的的日志信息；
本发明实施例三中，有名管道12将用户请求信息发送至若干子进程模块13，各子进程模块13相互独立，有名管道12向多个相互独立的子进程13发送用户请求信息，对爆发式请求发生时的大量数据的传输起到了分流的作用，有效缓冲了爆发式请求对系统的冲击。
实施例四，参见图4，与上述实施例相似，与之不同在于，所述子进程模块13包括第一线程子模块131和第二线程子模块132；
所述第一线程子模块131，用于从所述有名管道12的FIFO Buffer中读取用户请求信息，发送至各子进程模块13的FIFO Buffer；
所述第二线程子模块132，用于从各子进程模块13的FIFO Buffer读出用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路14；
本发明实施例四中，可将有名管道12的FIFO视为第一层缓冲，将子进程模块13的FIFO Buffer视为第二层缓冲，本发明采用的二级缓冲机制能有效缓解访问量大时高并发请求对系统的冲击，保证了系统的安全
以上对本发明所提供的一种基于用户请求信息响应的数据传输方法、系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种基于用户请求信息响应的数据传输方法，其特征在于，包括以下步骤：
步骤1，网站服务器接收用户请求信息并将用户请求信息发送至有名管道；
步骤2，所述有名管道将用户请求信息发送至若干子进程；
步骤3，所述子进程将接收用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路。
2.根据权利要求1所述的方法，其特征在于，步骤3具体为：
从有名管道的FIFO Buffer中读取用户请求信息，发送至各子进程的FIFOBuffer；
从各子进程的FIFO Buffer读出用户请求信息，将用户请求信息格式转换为日志信息后发送至Spread环路。
3.一种基于用户请求信息响应的数据传输系统，包括：网站服务器、有名管道和Spread环路，其特征在于，所述有名管道和Spread环路之间还连接有若干子进程模块；
所述网站服务器，用于接收用户请求信息，并将用户请求信息发送至有名管道；
所述子进程模块，用于从有名管道中读取出用户请求信息，并将用户请求信息格式转换为日志信息后发送至Spread环路。
4.根据权利要求3所述的系统，其特征在于，所述子进程模块包括第一线程子模块和第二线程子模块；
所述第一线程子模块，用于从所述有名管道的FIFO Buffer中读取用户请求信息，发送至各子进程模块的FIFO Buffer；
所述第二线程子模块，用于从各子进程模块的FIFO Buffer读出用户请求信息，将用户请求信息格式转换为日志信息后发送至Spread环路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910238742A CN101729414A (zh) | 2009-11-24 | 2009-11-24 | 一种基于用户请求信息响应的数据传输方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910238742A CN101729414A (zh) | 2009-11-24 | 2009-11-24 | 一种基于用户请求信息响应的数据传输方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101729414A true CN101729414A (zh) | 2010-06-09 |
Family
ID=42449655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910238742A Pending CN101729414A (zh) | 2009-11-24 | 2009-11-24 | 一种基于用户请求信息响应的数据传输方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101729414A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102541549A (zh) * | 2011-12-23 | 2012-07-04 | 深圳Tcl新技术有限公司 | 集成电视应用模块的方法及装置 |
| CN103179162A (zh) * | 2011-12-23 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种输出日志的方法及系统 |
| CN109086380A (zh) * | 2018-07-25 | 2018-12-25 | 光大环境科技（中国）有限公司 | 对历史数据进行压缩存储的方法及系统 |
-
2009
- 2009-11-24 CN CN200910238742A patent/CN101729414A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102541549A (zh) * | 2011-12-23 | 2012-07-04 | 深圳Tcl新技术有限公司 | 集成电视应用模块的方法及装置 |
| CN103179162A (zh) * | 2011-12-23 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种输出日志的方法及系统 |
| CN102541549B (zh) * | 2011-12-23 | 2015-08-19 | 深圳Tcl新技术有限公司 | 集成电视应用模块的方法及装置 |
| CN103179162B (zh) * | 2011-12-23 | 2016-08-03 | 阿里巴巴集团控股有限公司 | 一种输出日志的方法及系统 |
| CN109086380A (zh) * | 2018-07-25 | 2018-12-25 | 光大环境科技（中国）有限公司 | 对历史数据进行压缩存储的方法及系统 |
| CN109086380B (zh) * | 2018-07-25 | 2022-09-16 | 光大环境科技（中国）有限公司 | 对历史数据进行压缩存储的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294357B (zh) | 数据处理方法和流计算系统 | |
| CN103095724B (zh) | 一种内容中心网络多个兴趣包压缩发送及处理的方法 | |
| RU2559727C2 (ru) | Способ и устройство для обеспечения потоков на основе идентификатора через шину pci express | |
| WO2020023797A1 (en) | Unified address space for multiple hardware accelerators using dedicated low latency links | |
| CN103631727A (zh) | 用于缓存服务器的缓存管理方法及缓存管理系统 | |
| US20200274832A1 (en) | Rdma transport with hardware integration and out of order placement | |
| JP2005518018A5 (zh) | ||
| WO2006083868A3 (en) | Including descriptor queue empty events in completion events | |
| CN102769673A (zh) | 一种适应于大规模存储集群的失效检测方法 | |
| CN105812351A (zh) | 实现会话共享的方法和系统 | |
| CN103561033B (zh) | 用户远程访问hdfs集群的装置及方法 | |
| CN100531085C (zh) | 利用以太网交换机媒体接入控制地址表空间的方法 | |
| US20200272579A1 (en) | Rdma transport with hardware integration | |
| CN109101662B (zh) | 区块生成方法、装置、设备及存储介质 | |
| Lu et al. | Memory efficient loss recovery for hardware-based transport in datacenter | |
| CN100378687C (zh) | 一种高速缓存预取模块及其方法 | |
| CN101729414A (zh) | 一种基于用户请求信息响应的数据传输方法和系统 | |
| WO2004077229A3 (en) | Structure and method for managing available memory resources | |
| CN101699795A (zh) | 一种报文拥塞处理方法及系统 | |
| CN103731364B (zh) | 基于x86平台实现万兆大流量快速收包的方法 | |
| TW201138379A (en) | Directly providing data messages to a protocol layer | |
| US20120041998A1 (en) | Network Interface for Accelerating XML Processing | |
| CN103490995B (zh) | 报文发送方法和装置 | |
| CN101976229A (zh) | 一种系统中外部设备的数据读取方法、系统及装置 | |
| CN102023929B (zh) | 基于乒乓缓存方式的数据缓存系统结构及其实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100609 |