CN107918617A - 数据查询方法和装置 - Google Patents

数据查询方法和装置 Download PDF

Info

Publication number
CN107918617A
CN107918617A CN201610882354.2A CN201610882354A CN107918617A CN 107918617 A CN107918617 A CN 107918617A CN 201610882354 A CN201610882354 A CN 201610882354A CN 107918617 A CN107918617 A CN 107918617A
Authority
CN
China
Prior art keywords
data
url
server
hot spot
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610882354.2A
Other languages
English (en)
Other versions
CN107918617B (zh
Inventor
贺长荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201610882354.2A priority Critical patent/CN107918617B/zh
Publication of CN107918617A publication Critical patent/CN107918617A/zh
Application granted granted Critical
Publication of CN107918617B publication Critical patent/CN107918617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Abstract

本申请公开了数据查询方法和装置。所述方法的一具体实施方式包括:数据查询监控系统以第一预设时间为周期从第一服务器集群中获取数据查询日志,对数据查询日志进行分析,获取当前周期内各数据的URL的查询次数;热点数据发现系统将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取热点数据;第一服务器集群写入热点数据的URL和热点数据;第二服务器接收数据查询请求,确定目标第一服务器,向目标第一服务器发送数据查询请求;当确定待查询数据的URL是热点数据的URL,目标第一服务器将待查询数据发送给客户端。第一服务器集群中的各第一服务器仅存储热点数据,有效地减小了其内存开销。

Description

数据查询方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及数据查询方法和装置。
背景技术
随着互联网技术的迅猛发展和广泛应用,越来越多的用户通过互联网获取数据,因此导致数据的加载速度大幅降低,不能满足用户快速获取数据的需求。
现有技术中通常是将所有的数据均存储在服务器集群中的各服务器中,当用户发起数据查询请求时,可以直接从服务器集群中的任一服务器中获取数据,从而提高数据的加载速度。
然而,将所有的数据均存储在服务器集群中的各服务器中,导致服务器集群中的各服务器的内存开销较大。
发明内容
本申请的目的在于提出一种改进的数据查询方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种数据查询方法,所述方法包括:数据查询监控系统以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对所述数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数;热点数据发现系统从所述数据查询监控系统获取各所述数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与所述热点数据的URL对应的热点数据,并将所述热点数据的URL和所述热点数据发送给所述第一服务器集群中的各第一服务器;所述第一服务器集群中的各第一服务器写入所述热点数据的URL和所述热点数据;第二服务器接收客户端发送的数据查询请求,从所述第一服务器集群中确定目标第一服务器,向所述目标第一服务器发送所述数据查询请求,其中,所述数据查询请求包括待查询数据的URL;所述目标第一服务器将所述数据查询请求写入所述数据查询日志中,并将所述待查询数据的URL与所述热点数据的URL进行匹配,响应于所述待查询数据的URL与所述热点数据的URL的匹配,获取所述待查询数据,并将所述待查询数据发送给所述客户端。
在一些实施例中,所述方法还包括:响应于所述待查询数据的URL与所述热点数据的URL的不匹配,所述目标第一服务器从主从内存数据库集群中的从内存数据库集群中获取所述待查询数据,并将所述待查询数据发送给所述客户端,其中,所述主从数据库集群包括主内存数据库集群和所述从内存数据库集群,所述主内存数据库集群用于存储所述网站服务器集群中的数据,所述从内存数据库集群用于复制所述主内存数据库集群中存储的数据。
在一些实施例中,所述方法还包括:所述网站服务器集群确定所述网站服务器集群中的数据发生变更,将变更后的数据更新到所述主内存数据库集群中。
在一些实施例中,所述方法还包括:所述网站服务器集群生成数据变更消息,并将所述数据变更消息发送给所述热点数据发现系统,其中,所述数据更新消息包括待更新数据的URL和变更后的数据;所述热点数据发现系统将所述待更新数据的URL与所述热点数据的URL进行匹配;响应于所述待更新数据的URL与所述热点数据的URL的匹配,所述第一服务器集群中的各第一服务器将所述变更后的数据更新到与所述待更新数据的URL对应的数据中。
在一些实施例中,所述第一服务器集群中的各第一服务器中存储的所述热点数据具有第一预设存储期限;所述方法还包括:响应于第一预设存储期限的到达,所述第一服务器集群中的各第一服务器删除所述热点数据的URL和所述热点数据。
在一些实施例中,所述从所述第一服务器集群中确定目标第一服务器,包括:所述第二服务器基于负载均衡算法,从所述第一服务器集群中选取出所述目标第一服务器。
第二方面,本申请提供了一种数据查询装置,所述装置包括:数据查询监控系统,配置用于以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对所述数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数;热点数据发现系统,配置用于从所述数据查询监控系统获取各所述数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与所述热点数据的URL对应的热点数据,并将所述热点数据的URL和所述热点数据发送给所述第一服务器集群中的各第一服务器;所述第一服务器集群中的各第一服务器,配置用于写入所述热点数据的URL和所述热点数据;第二服务器,配置用于接收客户端发送的数据查询请求,从所述第一服务器集群中确定目标第一服务器,向所述目标第一服务器发送所述数据查询请求,其中,所述数据查询请求包括待查询数据的URL;所述目标第一服务器,配置用于将所述数据查询请求写入所述数据查询日志中,并将所述待查询数据的URL与所述热点数据的URL进行匹配,响应于所述待查询数据的URL与所述热点数据的URL的匹配,获取所述待查询数据,并将所述待查询数据发送给所述客户端。
在一些实施例中,所述目标第一服务器进一步配置用于:响应于所述待查询数据的URL与所述热点数据的URL的不匹配,从主从内存数据库集群中的从内存数据库集群中获取所述待查询数据,并将所述待查询数据发送给所述客户端,其中,所述主从数据库集群包括主内存数据库集群和所述从内存数据库集群,所述主内存数据库集群用于存储所述网站服务器集群中的数据,所述从内存数据库集群用于复制所述主内存数据库集群中存储的数据。
在一些实施例中,所述网站服务器集群进一步配置用于:确定所述网站服务器集群中的数据发生变更,将变更后的数据更新到所述主内存数据库集群中。
在一些实施例中,所述网站服务器集群进一步配置用于:生成数据变更消息,并将所述数据变更消息发送给所述热点数据发现系统,其中,所述数据更新消息包括待更新数据的URL和变更后的数据;所述热点数据发现系统进一步配置用于:将所述待更新数据的URL与所述热点数据的URL进行匹配;所述第一服务器集群中的各第一服务器进一步配置用于:响应于所述待更新数据的URL与所述热点数据的URL的匹配,将所述变更后的数据更新到与所述待更新数据的URL对应的数据中。
在一些实施例中,所述第一服务器集群中的各第一服务器中存储的所述热点数据具有第一预设存储期限;所述第一服务器集群中的各第一服务器进一步配置用于:响应于第一预设存储期限的到达,删除所述热点数据的URL和所述热点数据。
在一些实施例中,所述第二服务器进一步配置用于:基于负载均衡算法,从所述第一服务器集群中选取出所述目标第一服务器。
本申请提供的数据查询方法和装置,首先数据查询监控系统周期性地获取各数据的URL的查询次数,其次热点数据发现系统获取查询次数大于第一预设阈值的热点数据的URL,再次基于热点数据的URL从网站服务器集群中获取热点数据,最后第一服务器集群中的各第一服务器写入热点数据的URL和热点数据,当用户查询热点数据时,可以从第一服务器集群中的任一第一服务器中获取数据,第一服务器集群中的各第一服务器仅存储热点数据,从而有效地减小了第一服务器集群中的各第一服务器的内存开销。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的数据查询方法的一个实施例的流程图;
图3是根据本申请的数据查询方法的又一个实施例的流程图;
图4是根据本申请的数据查询装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的数据查询方法或数据查询装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104、105,第一服务器集群106,第二服务器107,网站服务器集群108,数据查询监控系统109和热点数据发现系统110,其中,第一服务器集群106可以包括第一服务器1061、1062、1063、1064,网站服务器集群108可以包括网站服务器1081、1082、1083、1084。网络104用以在终端设备101、102、103,第一服务器集群106和第二服务器107之间提供通信链路的介质,网络105用以在第一服务器集群106,网站服务器集群108,数据查询监控系统109和热点数据发现系统110之间提供通信链路的介质。网络104、105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与第一服务器集群106或第二服务器107交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持数据浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。
第二服务器107可以提供各种服务,例如,第二服务器107可以接收终端设备101、102、103发送的数据查询请求,从第一服务器集群106中确定目标第一服务器,并将数据查询请求发送给目标第一服务器。
第一服务器集群106中的第一服务器1061、1062、1063、1064可以是存储热点数据的服务器,例如,第一服务器1061被确定为目标第一服务器,当终端设备101、102、103查询的数据是热点数据时,第一服务器1061可以将相应的数据反馈给终端设备101、102、103。
数据查询监控系统109可以周期性地从第一服务器集群106中获取数据查询日志,并对数据查询日志进行分析以获取各数据的URL的查询次数。
热点数据发现系统110可以从数据查询监控系统109获取各数据的URL的查询次数,确定热点数据的URL,并从网站服务器集群108中获取热点数据。
应该理解,图1中的终端设备、网络、第一服务器集群及第一服务器、第二服务器、网站服务器集群及网站服务器、数据查询监控系统和热点数据发现系统的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络、第一服务器集群及第一服务器、第二服务器、网站服务器集群及网站服务器、数据查询监控系统和热点数据发现系统。
继续参考图2,示出了根据本申请的数据查询方法的一个实施例的流程200。所述的数据查询方法,包括以下步骤:
步骤201,数据查询监控系统以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数。
在本实施例中,上述数据查询监控系统可以对从上述第一服务器集群中的各第一服务器中获取的数据查询日志进行分析,以获取各数据的URL(Uniform ResourceLocator,统一资源定位符)的查询次数,其中,互联网上的每个数据都可以对应一个唯一的URL,因此,各数据的URL的查询次数即各数据的查询次数。
在本实施例中,上述第一服务器集群中的各第一服务器在接收到数据查询请求后,首先可以将数据查询请求写入数据查询日志,数据查询监控系统对数据查询日志进行分析,不仅可以从数据查询日志中的各数据的数据查询请求中获取各数据的URL,还可以统计数据查询日志中各数据的数据查询请求的数量,即各数据的URL的查询次数。
需要说明的是,本实施例中的第一预设时间可以是根据实际情况人为预先设置的,作为示例,设置第一预设时间为1分钟,即数据查询监控系统每隔1分钟获取该1分钟内各数据的URL的查询次数。
步骤202,热点数据发现系统从数据查询监控系统获取各数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与热点数据的URL对应的热点数据,并将热点数据的URL和热点数据发送给第一服务器集群中的各第一服务器。
在本实施例中,基于步骤201中得到的各数据的URL的查询次数,上述热点数据发现系统可以首先将各数据的URL的查询次数与第一预设阈值进行比较,并将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,而后基于热点数据的URL从网站服务器集群中获取热点数据,最后将热点数据的URL和热点数据发送给第一服务器集群中的各第一服务器。
在本实施例中,URL可以是互联网上标准资源的地址,因此基于热点数据的URL即可获取热点数据的存储地址,基于热点数据的存储地址即可获取热点数据。
需要说明的是,本实施例中第一预设阈值可以是根据实际情况人为预先设置的,作为示例,设置第一预设阈值为1万次,将查询次数大于1万次的数据的URL作为热点数据的URL。
步骤203,第一服务器集群中的各第一服务器写入热点数据的URL和热点数据。
在本实施例中,基于从步骤202中接收的热点数据的URL和热点数据后,第一服务器集群中的各第一服务器可以写入热点数据的URL和热点数据。
在本实施例中,第一服务器集群中的各第一服务器可以以键值对(key:value)的方式写入热点数据的URL和热点数据,即热点数据的URL可以为键,热点数据可以为“热点数据的URL”键所对应的值。
步骤204,第二服务器接收客户端发送的数据查询请求,从第一服务器集群中确定目标第一服务器,向目标第一服务器发送数据查询请求。
在本实施例中,上述第二服务器可以通过有线连接方式或者无线连接方式从用户利用其进行数据浏览的终端接收数据查询请求,并从上述第一服务器集群中确定目标第一服务器,向其发送上述数据查询请求,其中,上述数据查询请求可以包括待查询数据的URL。
在本实施例的一些可选的实现方式中,上述第二服务器可以基于负载均衡算法,从上述第一服务器集群中选取出上述目标第一服务器。作为示例,上述负载均衡算法可以是随机化算法,上述第二服务器可以通过随机数生成器生成随机数,并基于随机数为各数据查询请求分别从上述第一服务器集群中选取目标第一服务器;上述负载均衡算法还可以是轮询算法,上述第二服务器可以为各数据查询请求分别按顺序从上述第一服务器集群中选取目标第一服务器;上述负载均衡算法还可以是加权轮询算法,上述第一服务器集群首先根据各第一服务器对数据查询的处理能力分别为各第一服务器划分相应的权重,然后上述第二服务器以各第一服务器的权重与各第一服务器的权重之和的比值为选取概率,从上述第一服务器集群中选取目标第一服务器。
需要说明的是,上述负载均衡算法是目前广泛研究和应用的公知技术,在此不再赘述。
步骤205,目标第一服务器将数据查询请求写入数据查询日志中,并将待查询数据的URL与热点数据的URL进行匹配,响应于待查询数据的URL与热点数据的URL的匹配,获取待查询数据,并将待查询数据发送给客户端。
在本实施例中,基于从步骤204中接收的数据查询请求,上述目标第一服务器不仅可以将数据查询请求写入数据查询日志中,还可以将待查询数据的URL和热点数据的URL进行匹配,并且在待查询数据的URL与热点数据的URL匹配的情况下,获取待查询数据,将待查询数据发送给客户端。
在本实施例中,目标第一服务器可以将上述待查询数据的URL和目标第一服务器中存储的热点数据的URL逐一进行比对,若上述待查询数据的URL和目标第一服务器中存储的一个热点数据的URL相同,则匹配,反之,则不匹配。
在本实施例中,目标第一服务器可以以键值对(key:value)的方式存储热点数据的URL和热点数据。当待查询数据的URL和热点数据的URL匹配时,上述目标第一服务器中存储的匹配的热点数据的URL即为待查询数据的URL,“待查询数据的URL”键所对应的值即为待查询数据。
在本实施例的一些可选的实现方式中,上述第一服务器集群中的各第一服务器中存储的上述热点数据具有第一预设存储期限;响应于第一预设存储期限的到达,上述第一服务器集群中的各第一服务器删除上述热点数据的URL和上述热点数据。作为示例,第一服务器集群中的各第一服务器可以将存储时间超过5分钟的热点数据的URL和热点数据删除,从而实现了第一服务器集群中的各第一服务器中存储的热点数据的URL和热点数据的定时清理。
本申请的上述实施例提供的方法通过数据查询监控系统和热点数据发现系统周期性地发现热点数据,第一服务器集群中的各第一服务器仅存储热点数据,从而有效地减小了第一服务器集群中的各第一服务器的内存开销。
进一步参考图3,其示出了数据查询方法的又一个实施例的流程300。该数据查询方法的流程300,包括以下步骤:
步骤301,数据查询监控系统以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数。
在本实施例中,上述数据查询监控系统可以对从上述第一服务器集群中的各第一服务器中获取的数据查询日志进行分析,周期性地获取各数据的URL(Uniform ResourceLocator,统一资源定位符)的查询次数,其中,互联网上的每个数据都可以对应一个唯一的URL,因此,各数据的URL的查询次数即各数据的查询次数。
步骤302,热点数据发现系统从数据查询监控系统获取各数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与热点数据的URL对应的热点数据,并将热点数据的URL和热点数据发送给第一服务器集群中的各第一服务器。
在本实施例中,基于步骤301中得到的各数据的URL的查询次数,上述热点数据发现系统可以首先将各数据的URL的查询次数与第一预设阈值进行比较,并将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,而后基于热点数据的URL从网站服务器集群中获取热点数据,最后将热点数据的URL和热点数据发送给第一服务器集群中的各第一服务器。
步骤303,第一服务器集群中的各第一服务器写入热点数据的URL和热点数据。
在本实施例中,基于从步骤302中接收的热点数据的URL和热点数据后,第一服务器集群中的各第一服务器可以写入热点数据的URL和热点数据。
步骤304,第二服务器接收客户端发送的数据查询请求,从第一服务器集群中确定目标第一服务器,向目标第一服务器发送数据查询请求。
在本实施例中,上述第二服务器可以通过有线连接方式或者无线连接方式从用户利用其进行数据浏览的终端接收数据查询请求,并从上述第一服务器集群中确定目标第一服务器,向其发送上述数据查询请求,其中,上述数据查询请求可以包括待查询数据的URL。
步骤305,目标第一服务器将数据查询请求写入数据查询日志中,并将待查询数据的URL与热点数据的URL进行匹配,响应于待查询数据的URL与热点数据的URL的不匹配,目标第一服务器从主从内存数据库集群中的从内存数据库集群中获取待查询数据,并将待查询数据发送给客户端。
在本实施例中,基于从步骤304中接收的数据查询请求,上述目标第一服务器不仅可以将数据查询请求写入数据查询日志中,还可以将待查询数据的URL和热点数据的URL进行匹配,并且在待查询数据的URL与热点数据的URL不匹配的情况下,从主从内存数据库集群中的从内存数据库集群中获取待查询数据,并将待查询数据发送给客户端。
在本实施例中,当待查询数据的URL和热点数据的URL不匹配时,可以确定待查询数据不是热点数据,因此该待查询数据没有存储在目标第一服务器中。由于主内存数据库集群可以存储有网站服务器集群中的数据,从内存数据库集群可以用于复制主内存数据库集群中存储的数据,从而确保主从内存数据库集群中存储数据的一致性,故从内存数据库集群也存储有网站服务器集群中的数据。因此,可以确定,从内存数据库集群中一定存储有待查询数据。作为示例,主内存数据库集群以键值对的方式存储网站服务器集群中的数据的URL及数据,从内存数据库集群采用主从复制机制复制主内存数据库集群中存储的数据的URL及数据。上述目标第一服务器将待查询数据的URL与从内存数据库集群中的存储的数据URL进行匹配,从内存数据库集群中存储的匹配的数据的URL即为待查询数据的URL,“待查询数据的URL”键对应的值即为待查询数据。
在本实施例的一些可选的实现方式中,上述网站服务器集群确定上述网站服务器集群中的数据发生变更,将变更后的数据更新到上述主内存数据库集群中。其中,上述从内存数据库集群可以采用主从复制机制将变更后的数据更新到上述从内存数据库集群中,从而确保上述目标第一服务器从上述从内存数据库集群中获取的数据的准确性。
在本实施例的一些可选的实现方式中,上述网站服务器集群生成数据变更消息,并将上述数据变更消息发送给上述热点数据发现系统,其中,上述数据更新消息包括待更新数据的URL和变更后的数据;上述热点数据发现系统将上述待更新数据的URL与上述热点数据的URL进行匹配;响应于上述待更新数据的URL与上述热点数据的URL的匹配,上述第一服务器集群中的各第一服务器将上述变更后的数据更新到与上述待更新数据的URL对应的数据中。其中,匹配的热点数据的URL即为待更新数据的URL,上述第一服务器集群中的各第一服务器将上述变更后的数据写入“待更新数据的URL”键对应的值中即可,从而确保上述第一服务器集群中的各第一服务器中存储的热点数据的准确性。
从图3中可以看出,与图2对应的实施例相比,本实施例中的数据查询方法的流程300突出了待查询数据的URL与热点数据的URL不匹配时,目标第一服务器从主从内存数据库集群中的从内存数据库集群中获取待查询数据的步骤,由此,本实施例描述的方案中当客户端请求的数据不是热点数据时,也可以从主从内存数据库集群中的从内存数据库集群中快速地获取数据,并且主内存数据库集群只用于写数据,从内存数据库集群只用于读数据,主从内存数据库集群读写分离,确保了主从内存数据库集群的稳定性。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种数据查询装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例所述的数据查询装置400包括:数据查询监控系统401、热点数据发现系统402、第一服务器集群403、第二服务器404和网站服务器集群405。其中,数据查询监控系统401,配置用于以第一预设时间为周期从第一服务器集群403中的各第一服务器中获取数据查询日志,对数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数;热点数据发现系统402,配置用于从数据查询监控系统401获取各数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群405中获取与热点数据的URL对应的热点数据,并将热点数据的URL和热点数据发送给第一服务器集群403中的各第一服务器;第一服务器集群403中的各第一服务器,配置用于写入热点数据的URL和热点数据;第二服务器404,配置用于接收客户端发送的数据查询请求,从第一服务器集群403中确定目标第一服务器,向目标第一服务器发送数据查询请求,其中,数据查询请求包括待查询数据的URL;目标第一服务器,配置用于将数据查询请求写入数据查询日志中,并将待查询数据的URL与热点数据的URL进行匹配,响应于待查询数据的URL与热点数据的URL的匹配,获取待查询数据,并将待查询数据发送给客户端。
在本实施例中,数据查询装置400的数据查询监控系统401可以对从上述第一服务器集群403中的各第一服务器中获取的数据查询日志进行分析,周期性地获取各数据的URL(Uniform Resource Locator,统一资源定位符)的查询次数,其中,互联网上的每个数据都可以对应一个唯一的URL,因此,各数据的URL的查询次数即各数据的查询次数。
在本实施例中,基于数据查询监控系统401得到的各数据的URL的查询次数,上述热点数据发现系统402可以首先将各数据的URL的查询次数与第一预设阈值进行比较,并将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,而后基于热点数据的URL从网站服务器集群405中获取热点数据,最后将热点数据的URL和热点数据发送给第一服务器集群403中的各第一服务器。
在本实施例中,基于从热点数据发现系统402中接收的热点数据的URL和热点数据后,第一服务器集群403中的各第一服务器可以写入热点数据的URL和热点数据。
在本实施例中,上述第二服务器404可以通过有线连接方式或者无线连接方式从用户利用其进行数据浏览的终端接收数据查询请求,并从上述第一服务器集群403中确定目标第一服务器,并向其发送上述数据查询请求,其中,上述数据查询请求可以包括待查询数据的URL。
在本实施例中,基于从第二服务器404中接收的数据查询请求,上述目标第一服务器不仅可以将数据查询请求写入数据查询日志中,还可以将待查询数据的URL和热点数据的URL进行匹配,并且在待查询数据的URL与热点数据的URL匹配的情况下,获取待查询数据,将待查询数据发送给客户端。
在本实施例的一些可选的实现方式中,上述目标第一服务器进一步配置用于:响应于上述待查询数据的URL与上述热点数据的URL的不匹配,从主从内存数据库集群中的从内存数据库集群中获取上述待查询数据,并将上述待查询数据发送给上述客户端,其中,上述主从数据库集群包括主内存数据库集群和上述从内存数据库集群,上述主内存数据库集群用于存储上述网站服务器集群405中的数据,上述从内存数据库集群用于复制上述主内存数据库集群中存储的数据。
在本实施例的一些可选的实现方式中,上述网站服务器集群405进一步配置用于:确定上述网站服务器集群405中的数据发生变更,将变更后的数据更新到上述主内存数据库集群中。
在本实施例的一些可选的实现方式中,上述网站服务器集群405进一步配置用于:生成数据变更消息,并将上述数据变更消息发送给上述热点数据发现系统402,其中,上述数据更新消息包括待更新数据的URL和变更后的数据;上述热点数据发现系统402进一步配置用于:将上述待更新数据的URL与上述热点数据的URL进行匹配;上述第一服务器集群403中的各第一服务器进一步配置用于:响应于上述待更新数据的URL与上述热点数据的URL的匹配,将上述变更后的数据更新到与上述待更新数据的URL对应的数据中。
在本实施例的一些可选的实现方式中,上述第一服务器集群403中的各第一服务器中存储的上述热点数据具有第一预设存储期限;上述第一服务器集群403中的各第一服务器进一步配置用于:响应于第一预设存储期限的到达,删除上述热点数据的URL和上述热点数据。
在本实施例的一些可选的实现方式中,上述第二服务器404进一步配置用于:基于负载均衡算法,从上述第一服务器集群403中选取出上述目标第一服务器。
下面参考图5,其示出了适于用来实现本申请实施例的服务器的计算机系统500的结构示意图。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:数据查询监控系统以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对所述数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数;热点数据发现系统从所述数据查询监控系统获取各所述数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与所述热点数据的URL对应的热点数据,并将所述热点数据的URL和所述热点数据发送给所述第一服务器集群中的各第一服务器;所述第一服务器集群中的各第一服务器写入所述热点数据的URL和所述热点数据;第二服务器接收客户端发送的数据查询请求,从所述第一服务器集群中确定目标第一服务器,向所述目标第一服务器发送所述数据查询请求,其中,所述数据查询请求包括待查询数据的URL;所述目标第一服务器将所述数据查询请求写入所述数据查询日志中,并将所述待查询数据的URL与所述热点数据的URL进行匹配,响应于所述待查询数据的URL与所述热点数据的URL的匹配,获取所述待查询数据,并将所述待查询数据发送给所述客户端。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种数据查询方法,其特征在于,所述方法包括:
数据查询监控系统以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对所述数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数;
热点数据发现系统从所述数据查询监控系统获取各所述数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与所述热点数据的URL对应的热点数据,并将所述热点数据的URL和所述热点数据发送给所述第一服务器集群中的各第一服务器;
所述第一服务器集群中的各第一服务器写入所述热点数据的URL和所述热点数据;
第二服务器接收客户端发送的数据查询请求,从所述第一服务器集群中确定目标第一服务器,向所述目标第一服务器发送所述数据查询请求,其中,所述数据查询请求包括待查询数据的URL;
所述目标第一服务器将所述数据查询请求写入所述数据查询日志中,并将所述待查询数据的URL与所述热点数据的URL进行匹配,响应于所述待查询数据的URL与所述热点数据的URL的匹配,获取所述待查询数据,并将所述待查询数据发送给所述客户端。
2.根据权利要求1所述的数据查询方法,其特征在于,所述方法还包括:
响应于所述待查询数据的URL与所述热点数据的URL的不匹配,所述目标第一服务器从主从内存数据库集群中的从内存数据库集群中获取所述待查询数据,并将所述待查询数据发送给所述客户端,其中,所述主从数据库集群包括主内存数据库集群和所述从内存数据库集群,所述主内存数据库集群用于存储所述网站服务器集群中的数据,所述从内存数据库集群用于复制所述主内存数据库集群中存储的数据。
3.根据权利要求2所述的数据查询方法,其特征在于,所述方法还包括:
所述网站服务器集群确定所述网站服务器集群中的数据发生变更,将变更后的数据更新到所述主内存数据库集群中。
4.根据权利要求3所述的数据查询方法,其特征在于,所述方法还包括:
所述网站服务器集群生成数据变更消息,并将所述数据变更消息发送给所述热点数据发现系统,其中,所述数据更新消息包括待更新数据的URL和变更后的数据;
所述热点数据发现系统将所述待更新数据的URL与所述热点数据的URL进行匹配;
响应于所述待更新数据的URL与所述热点数据的URL的匹配,所述第一服务器集群中的各第一服务器将所述变更后的数据更新到与所述待更新数据的URL对应的数据中。
5.根据权利要求1所述的数据查询方法,其特征在于,所述第一服务器集群中的各第一服务器中存储的所述热点数据具有第一预设存储期限;所述方法还包括:
响应于第一预设存储期限的到达,所述第一服务器集群中的各第一服务器删除所述热点数据的URL和所述热点数据。
6.根据权利要求1所述的数据查询方法,其特征在于,所述从所述第一服务器集群中确定目标第一服务器,包括:
所述第二服务器基于负载均衡算法,从所述第一服务器集群中选取出所述目标第一服务器。
7.一种数据查询装置,其特征在于,所述装置包括:
数据查询监控系统,配置用于以第一预设时间为周期从第一服务器集群中的各第一服务器中获取数据查询日志,对所述数据查询日志进行分析,获取当前周期内各数据的统一资源定位符URL的查询次数;
热点数据发现系统,配置用于从所述数据查询监控系统获取各所述数据的URL的查询次数,将查询次数大于第一预设阈值的数据的URL作为热点数据的URL,从网站服务器集群中获取与所述热点数据的URL对应的热点数据,并将所述热点数据的URL和所述热点数据发送给所述第一服务器集群中的各第一服务器;
所述第一服务器集群中的各第一服务器,配置用于写入所述热点数据的URL和所述热点数据;
第二服务器,配置用于接收客户端发送的数据查询请求,从所述第一服务器集群中确定目标第一服务器,向所述目标第一服务器发送所述数据查询请求,其中,所述数据查询请求包括待查询数据的URL;
所述目标第一服务器,配置用于将所述数据查询请求写入所述数据查询日志中,并将所述待查询数据的URL与所述热点数据的URL进行匹配,响应于所述待查询数据的URL与所述热点数据的URL的匹配,获取所述待查询数据,并将所述待查询数据发送给所述客户端。
8.根据权利要求7所述的数据查询装置,其特征在于,所述目标第一服务器进一步配置用于:
响应于所述待查询数据的URL与所述热点数据的URL的不匹配,从主从内存数据库集群中的从内存数据库集群中获取所述待查询数据,并将所述待查询数据发送给所述客户端,其中,所述主从数据库集群包括主内存数据库集群和所述从内存数据库集群,所述主内存数据库集群用于存储所述网站服务器集群中的数据,所述从内存数据库集群用于复制所述主内存数据库集群中存储的数据。
9.根据权利要求8所述的数据查询装置,其特征在于,所述网站服务器集群进一步配置用于:
确定所述网站服务器集群中的数据发生变更,将变更后的数据更新到所述主内存数据库集群中。
10.根据权利要求9所述的数据查询装置,其特征在于,
所述网站服务器集群进一步配置用于:
生成数据变更消息,并将所述数据变更消息发送给所述热点数据发现系统,其中,所述数据更新消息包括待更新数据的URL和变更后的数据;
所述热点数据发现系统进一步配置用于:
将所述待更新数据的URL与所述热点数据的URL进行匹配;
所述第一服务器集群中的各第一服务器进一步配置用于:
响应于所述待更新数据的URL与所述热点数据的URL的匹配,将所述变更后的数据更新到与所述待更新数据的URL对应的数据中。
11.根据权利要求7所述的数据查询装置,其特征在于,所述第一服务器集群中的各第一服务器中存储的所述热点数据具有第一预设存储期限;所述第一服务器集群中的各第一服务器进一步配置用于:
响应于第一预设存储期限的到达,删除所述热点数据的URL和所述热点数据。
12.根据权利要求7所述的数据查询装置,其特征在于,所述第二服务器进一步配置用于:
基于负载均衡算法,从所述第一服务器集群中选取出所述目标第一服务器。
CN201610882354.2A 2016-10-10 2016-10-10 数据查询方法和装置 Active CN107918617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610882354.2A CN107918617B (zh) 2016-10-10 2016-10-10 数据查询方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610882354.2A CN107918617B (zh) 2016-10-10 2016-10-10 数据查询方法和装置

Publications (2)

Publication Number Publication Date
CN107918617A true CN107918617A (zh) 2018-04-17
CN107918617B CN107918617B (zh) 2021-11-30

Family

ID=61892385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610882354.2A Active CN107918617B (zh) 2016-10-10 2016-10-10 数据查询方法和装置

Country Status (1)

Country Link
CN (1) CN107918617B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254422A (zh) * 2021-06-07 2021-08-13 云上(南昌)大数据运营有限公司 一种基于云计算应用于城市大脑的政务资源管理系统
CN113760982A (zh) * 2021-01-18 2021-12-07 西安京迅递供应链科技有限公司 一种数据处理方法和装置
CN113806399A (zh) * 2020-12-23 2021-12-17 京东科技控股股份有限公司 热点数据处理方法、装置、设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333126A (zh) * 2011-10-15 2012-01-25 西安交通大学 基于Hadoop 与虚拟流媒体服务器集群的流媒体点播方法
CN102724570A (zh) * 2012-05-22 2012-10-10 中兴通讯股份有限公司 交互式网络电视节目显示方法和系统
CN103226550A (zh) * 2012-01-31 2013-07-31 腾讯科技(深圳)有限公司 一种基于查询输入的热点事件确定方法和系统
US20130252636A1 (en) * 2012-03-21 2013-09-26 John Chang Hot Spot Detection
CN103347068A (zh) * 2013-06-26 2013-10-09 中国(南京)未来网络产业创新中心 一种基于代理集群网络缓存加速方法
WO2014107741A1 (en) * 2013-01-07 2014-07-10 Netgear, Inc. Ieee 802.11 communication utilizing carrier specific interference mitigation
CN104168299A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 资源处理系统和资源处理方法
CN104572860A (zh) * 2014-12-17 2015-04-29 北京皮尔布莱尼软件有限公司 一种数据处理方法和系统
CN104853230A (zh) * 2015-05-14 2015-08-19 无锡天脉聚源传媒科技有限公司 一种热点视频推送方法及装置
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控系统及监控方法
CN205510109U (zh) * 2016-04-02 2016-08-24 电子科技大学 用于云计算环境的多服务动态路由系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333126A (zh) * 2011-10-15 2012-01-25 西安交通大学 基于Hadoop 与虚拟流媒体服务器集群的流媒体点播方法
CN103226550A (zh) * 2012-01-31 2013-07-31 腾讯科技(深圳)有限公司 一种基于查询输入的热点事件确定方法和系统
US20130252636A1 (en) * 2012-03-21 2013-09-26 John Chang Hot Spot Detection
CN102724570A (zh) * 2012-05-22 2012-10-10 中兴通讯股份有限公司 交互式网络电视节目显示方法和系统
WO2014107741A1 (en) * 2013-01-07 2014-07-10 Netgear, Inc. Ieee 802.11 communication utilizing carrier specific interference mitigation
CN104168299A (zh) * 2013-05-16 2014-11-26 方正宽带网络服务股份有限公司 资源处理系统和资源处理方法
CN103347068A (zh) * 2013-06-26 2013-10-09 中国(南京)未来网络产业创新中心 一种基于代理集群网络缓存加速方法
CN104572860A (zh) * 2014-12-17 2015-04-29 北京皮尔布莱尼软件有限公司 一种数据处理方法和系统
CN104853230A (zh) * 2015-05-14 2015-08-19 无锡天脉聚源传媒科技有限公司 一种热点视频推送方法及装置
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控系统及监控方法
CN205510109U (zh) * 2016-04-02 2016-08-24 电子科技大学 用于云计算环境的多服务动态路由系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何统洲等: "基于热点影片的峰值服务保障服务器集群系统", 《计算机工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806399A (zh) * 2020-12-23 2021-12-17 京东科技控股股份有限公司 热点数据处理方法、装置、设备和存储介质
CN113760982A (zh) * 2021-01-18 2021-12-07 西安京迅递供应链科技有限公司 一种数据处理方法和装置
CN113254422A (zh) * 2021-06-07 2021-08-13 云上(南昌)大数据运营有限公司 一种基于云计算应用于城市大脑的政务资源管理系统
CN113254422B (zh) * 2021-06-07 2021-11-12 云上(南昌)大数据运营有限公司 一种基于云计算应用于城市大脑的政务资源管理系统

Also Published As

Publication number Publication date
CN107918617B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108153670B (zh) 一种接口测试方法、装置及电子设备
US7200806B2 (en) System and method for generating pre-populated forms
CN105472045A (zh) 数据库迁移的方法和装置
US8838679B2 (en) Providing state service for online application users
CN107169094B (zh) 信息聚合方法及装置
CN111046237B (zh) 用户行为数据处理方法、装置、电子设备及可读介质
CN110300084B (zh) 基于ip地址的画像方法和装置,电子设备,可读介质
US20200259895A1 (en) Maintenance of a persistent master identifier for clusters of user identifiers across a plurality of devices
US11411830B2 (en) Systems and methods for determining entry points for mapping a network
WO2018208664A1 (en) Matching and attribution of user device events
CN107844488B (zh) 数据查询方法和装置
WO2019226279A1 (en) Frequent pattern analysis for distributed systems
CN107918617A (zh) 数据查询方法和装置
US8843587B2 (en) Retrieving availability information from published calendars
CN108932640A (zh) 用于处理订单的方法和装置
CN107249041B (zh) 信息推送方法和装置
CN109391658B (zh) 一种账号数据同步方法及其设备、存储介质、终端
CN110532254A (zh) 融合数据表的方法和装置
CN110401709A (zh) 一种即时通讯应用中会话的处理方法、装置和存储介质
US11294917B2 (en) Data attribution using frequent pattern analysis
US20200244767A1 (en) Customized web services gateway
CN107679096B (zh) 数据集市间指标共享的方法和装置
CN107657155A (zh) 用于鉴定用户操作权限的方法和装置
CN112882758B (zh) 一种iOS设备标识符的生成方法及系统
CN109614603A (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant