CN112261090B - Web数据处理方法、装置、计算机设备和可读存储介质 - Google Patents

Web数据处理方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN112261090B
CN112261090B CN202011041978.4A CN202011041978A CN112261090B CN 112261090 B CN112261090 B CN 112261090B CN 202011041978 A CN202011041978 A CN 202011041978A CN 112261090 B CN112261090 B CN 112261090B
Authority
CN
China
Prior art keywords
data
server
static
access request
link address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011041978.4A
Other languages
English (en)
Other versions
CN112261090A (zh
Inventor
王昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Changhong Network Technology Co ltd
Original Assignee
Chengdu Changhong Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Changhong Network Technology Co ltd filed Critical Chengdu Changhong Network Technology Co ltd
Priority to CN202011041978.4A priority Critical patent/CN112261090B/zh
Publication of CN112261090A publication Critical patent/CN112261090A/zh
Application granted granted Critical
Publication of CN112261090B publication Critical patent/CN112261090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种Web数据处理方法、装置、计算机设备和可读存储介质,应用于基于分布式环境的Web数据处理系统,所述方法包括:获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;将所述第一数据返回到所述目标地址;解决了现有技术中对数据的查询和更新操作上增加了服务器之间的网络请求次数的问题,提高了返回数据的响应速度,降低了服务器之间的网络负载。

Description

Web数据处理方法、装置、计算机设备和可读存储介质
技术领域
本发明涉及数据处理技术领域,具体涉及Web数据处理方法、装置、计算机设备和可读存储介质。
背景技术
随着用户访问数的增加,单机WEB服务模式下的各种性能优化方法,显得力不从心,这时企业的开发者往往通过负载均衡+业务集群的方式来提高接收用户请求的处理能力,通过部署分布式缓存的方法把“一些数据”放到缓存中来提高系统动态数据的响应速度,在这里提到的“一些数据”往往有一个重要特点:就是这些数据查询的次数远远大于更新的次数;为了保证数据的一致性,采用的方式是修改后数据不仅要更新到数据库,同时也要更新到缓存中,如果把更新非常频繁的数据放到缓存中,两次更新操作务必会增加整个服务器系统的负载。
可见,现有技术中的Web数据处理方法在对数据的查询和更新操作上增加了服务器之间的网络请求次数,加大了服务器之间的网络负载。
发明内容
针对现有技术中所存在的不足,本发明提供的Web数据处理方法、装置、计算机设备和可读存储介质,其解决了现有技术中对数据的查询和更新操作上增加了服务器之间的网络请求次数的问题,提高了返回数据的响应速度,降低了服务器之间的网络负载。
第一方面,本发明提供一种Web数据处理方法,应用于基于分布式环境的Web数据处理系统,所述数据处理系统包括数据库服务器、Web业务服务器、主服务器和从服务器,所述方法包括:获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;将所述第一数据返回到所述目标地址。
可选地,所述方法还包括:当所述数据类型为动态数据时,将所述数据访问请求转发到所述Web业务服务器,使所述Web业务服务器根据所述第一链接地址,从所述数据库服务器中获取与所述待访问数据相应的第二数据;将所述所述第二数据返回到所述目标地址。
可选地,所述获取目标地址发送的数据访问请求之前,所述方法还包括:根据预设分类规则,对所述数据库服务器中的所有原始数据进行数据类型的分类;将所述数据类型为静态数据的所有目标数据生成静态数据文件集;将所述静态数据文件集存储在所述主服务器的预设目录中,并同步存储到所述从服务器的相同预设目录中。
可选地,所述方法还包括:获取所述目标地址发送的数据更新请求,所述数据更新请求包括待更新数据;通过所述Web业务服务器将所述待更新数据更新到所述数据库服务器中,得到已更新数据;根据所述预设分类规则,获取所述已更新数据的数据类型;当所述数据类型为所述静态数据时,将所述已更新数据生成更新静态数据文件;将所述更新静态数据文件替换所述主服务器相应目录中的第一原始静态数据文件。
可选地,将所述已更新数据生成更新静态数据文件,并将所述更新静态数据文件替换所述主服务器相应目录中的原始静态数据文件之后,所述方法还包括:监控所述主服务器中的静态数据文件集是否存在更新静态数据文件;当存在更新静态数据文件时,将所述更新静态数据文件替换所述从服务器中相应目录下的第二原始静态数据文件。
可选地,所述获取目标地址发送的数据访问请求之前,所述方法还包括:配置所述主服务器到所述从服务器进行免密码登录,使所述主服务器到所述从服务器进行免密码的静态数据文件同步。
可选地,监控所述主服务器中的静态数据文件集是否存在更新静态数据文件,包括:通过Rsync服务进行所述主服务器是否存在更新静态数据文件的监控。
第二方面,本发明提供一种Web数据处理装置,应用于基于分布式环境的Web数据处理系统,所述数据处理系统包括数据库服务器、Web业务服务器、主服务器和从服务器,所述装置包括:数据访问请求获取模块,用于获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;判断模块,用于根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;第一数据获取模块,用于当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;返回模块,用于将所述第一数据返回到所述目标地址。
第三方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;将所述第一数据返回到所述目标地址。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现实现以下步骤:获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;将所述第一数据返回到所述目标地址。
本发明的技术原理为:
本发明首先判断用户发出的数据访问请求中待访问数据的数据类型,当数据类型为静态数据时,将所述数据访问请求中的链接地址更改成静态数据的链接地址并发送到从服务器中,使所述从服务器根据所述静态数据的链接地址从本地存储的静态数据文件中提取相应的数据,再直接将所述数据返回给用户客户端;当所述数据类型为动态数据时,从服务器将数据访问请求转发到Web业务服务器,使Web业务服务器从数据库服务器中的数据库提取相应数据,再通过从服务器返回到用户客户端。
相比于现有技术,本发明具有如下有益效果:
本发明充分利用静态数据读多写少和nginx处理静态文件的性能远远大于处理动态数据的这两个特征,通过数据静态化后同步到集群系统中的方式,让用户直接访问静态数据替换成了通过API的接口访问,一方面提高了数据的返回的相应速度,另一方面减少了各个服务器之间的网络通信次数,降低了系统的负载,从而以相同的资源为更多的用户提供访问。
附图说明
图1所示为本发明实施例提供的一种Web数据处理方法的流程示意图;
图2所示为本发明实施例提供的一种基于分布式环境的Web数据处理系统的架构示意图;
图3所示为本发明实施例提供的另一种Web数据处理方法的流程示意图;
图4所示为本发明实施例提供的又一种Web数据处理方法的流程示意图;
图5所示为本发明实施例提供的一种Web数据处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本发明实施例中涉及到的相关技术术语进行名词解释如下:
动态数据:在WEB服务中一般指存放到数据库中的数据,如MYSQL、MongoDB、Hbase等;
静态数据:在本发明中主要是指根据动态数据生成的数据,格式为JSON,这里称为JSON静态数据;
Nginx:在WEB服务中主要起两个方面作用,一个是承担静态文件服务器角色,用户访问静态文件直接通过nginx返回;二是请求代理作用,把用户的请求根据相应的规则转发到不同的后台服务处理,然后接收后台处理的结果再返回给用户;
后端服务:在本发明主要是指处理用户对数据的请求的服务,如数据查询、数据更新、数据删除等操作;
分布式缓存:区别于本地缓存只能单一程序访问,分布式缓存主要用于高并发环境下,减轻数据库压力,提高系统的响应速度和并发吞吐;
数据库服务器:用于存放数据库的服务器;
Web业务服务器:用于从数据路服务器中提取动态数据的服务器;
主服务器:也叫同步服务器,本发明中指静态JSON数据生成的服务器;
从服务器:也叫被同步服务器,用于存放静态数据的服务器,也是本发明中静态JSON数据需要同步到的服务器;
静态文件同步:把数据库中的数据通过静态文件处理程序生成JSON静态数据,然后通过该功能把主服务器上的静态JSON数据同步到每个从服务器上供nginx访问。
实施例一
图1所示为本发明实施例提供的一种Web数据处理方法的流程示意图;如图1所示,该Web数据处理方法应用于基于分布式环境的Web数据处理系统,所述数据处理系统包括数据库服务器、Web业务服务器、主服务器和从服务器,所述Web数据处理方法具体包括以下步骤:
步骤S101,获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址。
具体地,用户在客户端操作Web系统时,会发送数据访问请求,其中数据访问请求中包括的第一链接地址一般为通过接口的方式从数据库中直接获取数据的访问格式,例如:http://host:ip/api/project/product/12345。
步骤S102,根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型。
具体地,在本实施例中的数据类型包括动态数据类型和静态数据类型,在本实施例中,将存在数据库里的数据按照更新频率分成动态数据和静态数据,当数据的查询频率远远大于更新频率时,将所述数据的数据类型设置为静态数据,当所述数据的查询频率与所述更新频率相当时,将所述数据的数据类型设置为动态数据;由于所述第一链接地址中包括需要访问的数据表和字段名,因此可以根据所述数据表、字段名和预设数据分类标准,判断输出待访问数据的数据类型。
步骤S103,当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据。
具体地,由于从服务器中存储有与所有静态数据相匹配的静态数据文件,因此当判断出待访问数据的数据类型为静态数据时,需要将所述从数据库获取数据的第一链接地址更改成第二链接地址,使所述从服务器可以根据所述第二链接地址从本地的静态数据文件集中获取与所述待访问数据相匹配的数据,其中将上述实施例中的第一链接地址修改成的第二链接地址可以为:file:/project/products/12345.json。
步骤S104,将所述第一数据返回到所述目标地址。
具体地,将从所述从服务器中的获取到的静态数据的直接返回到发送数据访问请求的客户端地址,不需要再从数据库服务中提取所述待访问数据。
在本发明的实施例中,当所述数据类型为动态数据时,将所述数据访问请求转发到所述Web业务服务器,使所述Web业务服务器根据所述第一链接地址,从所述数据库服务器中获取与所述待访问数据相应的第二数据;再将所述所述第二数据返回到所述目标地址。
图2所示为本发明实施例提供的一种基于分布式环境的Web数据处理系统的架构示意图,如图2所示,在本实施例中的基于分布式环境的Web数据处理系统包括多个从服务器、多个Web业务服务器、一个主服务器和一个数据库服务器,每个从服务器配置有nginx代理,主服务器也可以是处理业务系统的Web业务服务器,因此图2中的服务器1、服务器2、服务器3都为从服务器,业务系统服务器4为主服务器,业务系统服务器5和业务系统服务器6为Web业务服务器。
在现有技术中用户访问数据的路径为:用户发出的数据访问请求通过SLB服务到从服务器1,再经过从服务器1将数据访问请求转发到业务系统服务器4,使业务系统服务器4从数据库服务器中的数据库提取相应数据,再通过从服务器1返回到用户客户端。
而在本发明的实施例中用户访问数据的路径为:首先判断用户发出的数据访问请求中待访问数据的数据类型,当数据类型为静态数据时,将所述数据访问请求中的链接地址更改成静态数据的链接地址并发送到从服务器1中,使所述从服务器1根据所述静态数据的链接地址从本地存储的静态数据文件中提取相应的数据,再直接将所述数据返回给用户客户端;当所述数据类型为动态数据时,访问路径与现有技术相同,此处就不再赘述。
综上比较可知,本发明缩短了静态数据的访问路径,并且提高了数据的返回速度和减少了服务器之间的网络通信。
相比于现有技术,本发明具有如下有益效果:
本发明充分利用静态数据读多写少和nginx处理静态文件的性能远远大于处理动态数据的这两个特征,通过数据静态化后同步到集群系统中的方式,让用户直接访问静态数据替换成了通过API的接口访问,一方面提高了数据的返回的相应速度,另一方面减少了各个服务器之间的网络通信次数,降低了系统的负载,从而以相同的资源为更多的用户提供访问。
实施例二
在本发明的实施例中,所述获取目标地址发送的数据访问请求之前,所述方法还包括:根据预设分类规则,对所述数据库服务器中的所有原始数据进行数据类型的分类;将所述数据类型为静态数据的所有目标数据生成静态数据文件集;将所述静态数据文件集存储在所述主服务器的预设目录中,并同步存储到所述从服务器的相同预设目录中。
需要说明的是,本实施例中的预设分类规则与上述实施例中涉及到的数据更新频率相同;在所述基于分布式环境的Web数据处理系统初始化时,需要将数据库中所有数据进行数据类型的分类,将数据类型为静态数据的所有目标数据生成JSON格式的静态数据文件,并将所有静态数据文件存储在主服务器和从服务器的相同目录中;其中,为了保证读取数据的准确性,当所述从服务器为多个时,每个从服务器中存储的静态数据文件集与所述主服务器保持完全相同。
在本发明的实施例中,所述获取目标地址发送的数据访问请求之前,所述方法还包括:配置所述主服务器到所述从服务器进行免密码登录,使所述主服务器到所述从服务器进行免密码的静态数据文件同步。
图3所示为本发明实施例提供的另一种Web数据处理方法的流程示意图;参照图3,该Web数据处理方法还包括如下步骤:
步骤S201,获取所述目标地址发送的数据更新请求,所述数据更新请求包括待更新数据。
步骤S202,通过所述Web业务服务器将所述待更新数据更新到所述数据库服务器中,得到已更新数据。
步骤S203,根据所述预设分类规则,获取所述已更新数据的数据类型。
步骤S204,当所述数据类型为所述静态数据时,将所述已更新数据生成更新静态数据文件。
步骤S205,将所述更新静态数据文件替换所述主服务器相应目录中的第一原始静态数据文件。
步骤S206,所述更新静态数据文件替换所述从服务器中相应目录下的第二原始静态数据文件。
需要说明的是,在本实施例中静态JSON数据文件从主服务器同步到从服务器的过程,该功能主要通过Rsync+sersync实现,完成以下个方面的功能:
1)配置nginx代理,配置需要静态化的数据更新操作的流量只允许通过主服务器完成,这样可以简化静态数据同步操作只通过主服务器完成并同步到多个从服务器中,而不从其它多个Web业务服务器同步到多个从服务器中,这种同步方式降低了系统的复杂度;
2)配置主服务器到从服务器的免密码登录,因为服务器之间文件传输需要密码的保护,因为数据同步需要在后台自动完成,所以必须配置同步系统之间的免密码登录
3)安装Rsync服务,配置主服务器到从服务器同步目录,如全部服务器都配置为/usr/local/nginx/html/project/products/,这样一旦主服务器上的该目录下的文件发生了增加、修改和删除等操作,从服务器的目录也会发生同样的操作,从而实现不同服务器之间数据的自动同步。
实施例三
图4所示为本发明实施例提供的又一种Web数据处理方法的流程示意图;如图4所示,本发明实施例中包含了两个分支流程,一是用户请求数据部分【流程一】,二是数据更新部分【流程二】;在本实施例中,【流程一】具体包括以下步骤:
步骤一:用户发起对数据的访问请求;
步骤二:nginx接收用户的访问请求;
步骤三:nginx判断用户的访问请求,如果请求的路径为http://host:ip/api/project/为前缀请求地址,nginx认为这个是访问的动态数据,从而把请求转发到后台,进入步骤四,如果请求的路径为http://host:ip/project/为前缀的请求地址,nginx认为该请求是直接访问静态的数据,进入步骤五;
步骤四:后台程序根据请求的参数,访问数据库或者缓存的内容返回给nginx,进入步骤六,返回数据格式如下;
Figure BDA0002706914060000081
步骤五:nginx直接读取本地的JSON静态文件,进入步骤六,读取的数据内容和步骤四中的内容完全一致;
步骤六:nginx把从后台接收到的数据或者本地读取的数据返回给访问的用户;
在本实施例中,【流程二】具体包括以下步骤:
步骤一:用户发起对数据更新操作;
步骤二:根据后台的配置,判断该更新的数据是否需要静态化,如果需要静态化操作,则进入步骤三,如果不需要静态化,则进入步骤六;
步骤三:更新数据库;
步骤四:实现数据库数据到JSON静态数据的转化,然后把JSON静态数据存储到目录/usr/local/nginx/html/project/products/下,数据转化方式如下,我们以产品表举例:
数据库表格式:product
uuid name description price other
主键 名称 描述 价格 字段较多用other表示
JSON静态数据格式:product_主键.json
{
uuid:产品的主键;
name:产品的名称;
description:产品的描述;
price:产品的价格;
其它信息;
}
步骤五:利用数据同步功能把转化的JSON静态分别同步到其它系统的/usr/local/nginx/html/project/products/目录下,同步之后nginx便可以直接通过读取静态数据获取用户希望访问的内容;
步骤六:对于不需要静态化的数据更新,直接更新数据库或者缓存;
由此可知,静态数据替换动态数据的访问方法能提高用户请求的相应速度,提高系统CPU和内存的使用率,给企业带来了更多的效益。
实施例四
图5所示为本发明实施例提供的一种Web数据处理装置的结构示意图,如图5所示,本发明实施例提供的Web数据处理装置应用于基于分布式环境的Web数据处理系统,所述数据处理系统包括数据库服务器、Web业务服务器、主服务器和从服务器,所述装置包括:
数据访问请求获取模块510,用于获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;
判断模块520,用于根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;
第一数据获取模块530,用于当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;
返回模块540,用于将所述第一数据返回到所述目标地址。
在本发明的另一个实施例中,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;将所述第一数据返回到所述目标地址。
在本发明的又一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现实现以下步骤:获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;将所述第一数据返回到所述目标地址。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (6)

1.一种Web数据处理方法,其特征在于,应用于基于分布式环境的Web数据处理系统,所述数据处理系统包括数据库服务器、Web业务服务器、主服务器和从服务器,所述方法包括:
根据预设分类规则,对所述数据库服务器中的所有原始数据进行数据类型的分类;将所述数据类型为静态数据的所有目标数据生成静态数据文件集;将所述静态数据文件集存储在所述主服务器的预设目录中,并同步存储到所述从服务器的相同预设目录中;
获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;
根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;
当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;
将所述第一数据返回到所述目标地址;
获取所述目标地址发送的数据更新请求,所述数据更新请求包括待更新数据;通过所述Web业务服务器将所述待更新数据更新到所述数据库服务器中,得到已更新数据;根据所述预设分类规则,获取所述已更新数据的数据类型;当所述数据类型为所述静态数据时,将所述已更新数据生成更新静态数据文件;将所述更新静态数据文件替换所述主服务器相应目录中的第一原始静态数据文件;
通过Rsync服务进行所述主服务器是否存在更新静态数据文件的监控;
当存在更新静态数据文件时,将所述更新静态数据文件替换所述从服务器中相应目录下的第二原始静态数据文件。
2.如权利要求1所述的Web数据处理方法,其特征在于,所述方法还包括:
当所述数据类型为动态数据时,将所述数据访问请求转发到所述Web业务服务器,使所述Web业务服务器根据所述第一链接地址,从所述数据库服务器中获取与所述待访问数据相应的第二数据;
将所述所述第二数据返回到所述目标地址。
3.如权利要求1所述的Web数据处理方法,其特征在于,所述获取目标地址发送的数据访问请求之前,所述方法还包括:
配置所述主服务器到所述从服务器进行免密码登录,使所述主服务器到所述从服务器进行免密码的静态数据文件同步。
4.一种基于权利要求1所述的Web数据处理方法的Web数据处理装置,其特征在于,应用于基于分布式环境的Web数据处理系统,所述数据处理系统包括数据库服务器、Web业务服务器、主服务器和从服务器,所述装置包括:
数据访问请求获取模块,用于获取目标地址发送的数据访问请求,所述数据访问请求包括第一链接地址;
判断模块,用于根据所述第一链接地址,判断所述数据访问请求中待访问数据的数据类型;
第一数据获取模块,用于当所述数据类型静态数据时,将所述数据访问请求中的第一链接地址更新为第二链接地址,使所述从服务器根据所述第二链接地址,从本地的静态数据文件集中获取与所述待访问数据相应的第一数据;
返回模块,用于将所述第一数据返回到所述目标地址。
5.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述方法的步骤。
CN202011041978.4A 2020-09-28 2020-09-28 Web数据处理方法、装置、计算机设备和可读存储介质 Active CN112261090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011041978.4A CN112261090B (zh) 2020-09-28 2020-09-28 Web数据处理方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011041978.4A CN112261090B (zh) 2020-09-28 2020-09-28 Web数据处理方法、装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN112261090A CN112261090A (zh) 2021-01-22
CN112261090B true CN112261090B (zh) 2022-06-17

Family

ID=74234279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011041978.4A Active CN112261090B (zh) 2020-09-28 2020-09-28 Web数据处理方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN112261090B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961510B (zh) * 2021-10-19 2023-11-03 北京百度网讯科技有限公司 一种文件处理方法、装置、设备及存储介质
CN115242864B (zh) * 2022-06-28 2023-12-05 度小满科技(北京)有限公司 微服务访问方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824909A (zh) * 2016-03-15 2016-08-03 腾讯科技(深圳)有限公司 页面生成方法和装置
CN108848141A (zh) * 2018-05-31 2018-11-20 郑州云海信息技术有限公司 一种服务器数据访问的响应方法以及相关方法和相关装置
CN108900558A (zh) * 2018-09-21 2018-11-27 郑州昂视信息科技有限公司 一种访问请求处理方法及系统
CN109032797A (zh) * 2018-07-18 2018-12-18 上海恺英网络科技有限公司 用于提供网页访问的方法及设备
CN111431767A (zh) * 2020-03-26 2020-07-17 深圳壹账通智能科技有限公司 多浏览器资源同步方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8078757B2 (en) * 2009-06-30 2011-12-13 The Go Daddy Group, Inc. Rewritten URL static and dynamic content delivery
GB2501098A (en) * 2012-04-12 2013-10-16 Qatar Foundation Fragmenting back up copy for remote storage
CN106933890B (zh) * 2015-12-31 2021-08-06 北京冠群信息技术股份有限公司 一种静态化页面的处理方法及装置
US10721239B2 (en) * 2017-03-31 2020-07-21 Oracle International Corporation Mechanisms for anomaly detection and access management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824909A (zh) * 2016-03-15 2016-08-03 腾讯科技(深圳)有限公司 页面生成方法和装置
CN108848141A (zh) * 2018-05-31 2018-11-20 郑州云海信息技术有限公司 一种服务器数据访问的响应方法以及相关方法和相关装置
CN109032797A (zh) * 2018-07-18 2018-12-18 上海恺英网络科技有限公司 用于提供网页访问的方法及设备
CN108900558A (zh) * 2018-09-21 2018-11-27 郑州昂视信息科技有限公司 一种访问请求处理方法及系统
CN111431767A (zh) * 2020-03-26 2020-07-17 深圳壹账通智能科技有限公司 多浏览器资源同步方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
梁思率等.基于内容管理系统和内容分发网络的网站群系统静态化技术.《计算机应用》.2017, *
邓格红.数据库软件系统在网站的设计和维护等方面的作用.《中国新通信》.2012,(第09期), *
邓珍荣.一种web服务器集群负载均衡调度算法.《计算机应用与软件》.2013, *

Also Published As

Publication number Publication date
CN112261090A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN107943594B (zh) 数据获取方法和装置
US9237114B2 (en) Managing resources in resource cache components
EP2724517B1 (en) Method and apparatus for the preemptive creation of binary delta information within a computer network
CN111970315A (zh) 推送消息的方法、装置及系统
EP3667500A1 (en) Using a container orchestration service for dynamic routing
CN112261090B (zh) Web数据处理方法、装置、计算机设备和可读存储介质
US9110807B2 (en) Cache conflict detection
US7996532B2 (en) Cluster-free techniques for enabling a directory protocol-based domain name system (DNS) service for high availability
CN113127420B (zh) 一种元数据请求处理方法、装置、设备、介质
CN109634753B (zh) 切换浏览器内核的数据处理方法、装置、终端和存储介质
TW437205B (en) An internet caching system and a method and an arrangement in such a system
CN112100152A (zh) 业务数据处理方法、系统、服务器和可读存储介质
CN106933817B (zh) 一种基于b/s结构的内容查询方法及设备、系统
CN112948178A (zh) 一种数据处理方法、装置、系统、设备及介质
CN107025257B (zh) 一种事务处理方法及装置
CN108494870B (zh) 基于cdn的动态数据加载方法及装置
US20070055663A1 (en) Programmatic response for detected variants of HTTP requests
CN112328632B (zh) 一种分布式两级缓存的方法和系统
CN115145879A (zh) 一种数据处理方法、装置、介质及设备
US20190147047A1 (en) Object-level image query and retrieval
CN107103001B (zh) 基于浏览器获取目标前端资源文件的方法、装置和系统
CN111614750B (zh) 一种数据更新方法、系统、设备及存储介质
CN114706923A (zh) 数据同步方法、装置、电子设备和存储介质
JP2022077175A (ja) 情報処理装置、情報処理方法およびプログラム
CN108073660B (zh) 一种实现缓存数据同步的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant