CN111176827B - 一种数据预热的方法及相关装置 - Google Patents

一种数据预热的方法及相关装置 Download PDF

Info

Publication number
CN111176827B
CN111176827B CN201910803032.8A CN201910803032A CN111176827B CN 111176827 B CN111176827 B CN 111176827B CN 201910803032 A CN201910803032 A CN 201910803032A CN 111176827 B CN111176827 B CN 111176827B
Authority
CN
China
Prior art keywords
database
data
operation information
data operation
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910803032.8A
Other languages
English (en)
Other versions
CN111176827A (zh
Inventor
林晓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910803032.8A priority Critical patent/CN111176827B/zh
Publication of CN111176827A publication Critical patent/CN111176827A/zh
Application granted granted Critical
Publication of CN111176827B publication Critical patent/CN111176827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据预热的方法及相关装置,能够而减少了CPU的操作量,能够有效节省CPU资源。其中,该方法应用于第一设备和第二设备,第一设备包括第一数据库、第一中央处理器CPU和第一内存,第二设备包括第二数据库,该方法包括:第一数据库先向第一CPU发送来自第二数据库的第一数据操作信息,其中,第一数据操作信息用于指示获取目标数据,第一数据库为第二数据库的备用数据库。然后第一CPU向第一数据库发送第二数据操作信息,第二数据操作信息为基于第一操作信息所生成的,第二数据操作信息用于指示目标数据在第一数据库中的位置。最后第一数据库根据第二数据操作信息获取目标数据,并将目标数据发送至与第一数据库对应的第一内存。

Description

一种数据预热的方法及相关装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据预热的方法及相关装置。
背景技术
随着计算机技术的快速发展,用户在终端设备上运行程序时,通常需要调用数据库系统中的数据。为了避免由于终端设备的故障导致数据无法正常调用的情况发生,一般会设置主数据库和备用数据库,两个数据库所存储的数据保持一致。
现有技术中,当用户发出数据操作请求时,中央处理器(central processingunit,CPU)会根据该请求启动主数据库将相应的数据存入主数据对应的内存中,内存再将该部分数据反馈至CPU进行操作,以向用户返回相应的请求结果。此时,主数据对应的内存存有该部分数据,当用户再次发出相同的请求时,则可以直接从内存中访问数据。为了保证主数据库和备用数据库调换时,备用数据库对应的内存也存储有同样的数据,需要对备用数据库进行数据预热。常用的数据预热方式是令备用数据库也执行如同前述主数据库调用数据的过程(即重放主数据库的行为)。
然而,备用数据库在将数据写入内存后,CPU依旧会根据内存返回的数据进行多余的操作,导致CPU资源消耗过重,造成资源浪费。
发明内容
本申请实施例提供了一种程序测试的方法及相关装置,可以节省测试资源和时间成本,提高测试效率。
本申请实施例第一方面提供一种数据预热的方法,所述方法应用于第一设备和第二设备,所述第一设备包括第一数据库、第一中央处理器CPU和第一内存,所述第二设备包括第二数据库,所述方法包括:
通过第一数据库向第一CPU发送来自第二数据库的第一数据操作信息,其中,所述第一数据操作信息用于指示获取目标数据,所述第一数据库为所述第二数据库的备用数据库;
通过所述第一CPU向所述第一数据库发送第二数据操作信息,所述第二数据操作信息为基于所述第一操作信息所生成的,所述第二数据操作信息用于指示所述目标数据在所述第一数据库中的位置;
通过所述第一数据库根据所述第二数据操作信息获取所述目标数据;
通过所述第一数据库将所述目标数据发送至所述第一内存。
本申请实施例第二方面提供一种数据预热的装置,所述装置包括:
第一发送模块,用于通过所述第一数据库向第一CPU发送来自第二数据库的第一数据操作信息,其中,所述第一数据操作信息用于指示获取目标数据,所述第一数据库为所述第二数据库的备用数据库;
第二发送模块,用于通过所述第一CPU向所述第一数据库发送第二数据操作信息,所述第二数据操作信息为基于所述第一操作信息所生成的,所述第二数据操作信息用于指示所述目标数据在所述第一数据库中的位置;
获取模块,用于通过所述第一数据库根据所述第二数据操作信息获取所述目标数据;
第三发送模块,用于通过所述第一数据库将所述目标数据发送至与所述第一数据库对应的第一内存。
基于第二方面,本申请实施例中第二方面的第一种实现方式中,所述第二设备还包括第二CPU和第二内存,所述装置还包括:
接收模块,用于通过所述第二数据库接收来自所述第二CPU的第三数据操作信息,其中,所述第三数据操作信息用于指示对所述目标数据进行计算;
获取模块,用于通过所述第二数据库根据所述第三数据操作信息获取所述目标数据;
第四发送模块,用于通过所述第二数据库向与所述第二内存发送所述目标数据,以使得所述第二内存发送所述目标数据至所述第二CPU;
生成模块,用于通过所述第二数据库根据第三数据操作信息生成所述第一数据操作信息;
计算模块,用于通过所述第二CPU对所述目标数据进行计算。
基于第二方面的第一种实现方式,本申请实施例中第二方面的第二种实现方式中,所述生成模块还用于:
通过所述第二数据库获取所述第二数据库的访问日志;
通过所述第二数据库在所述访问日志中,根据第三数据操作信息生成所述第一数据操作信息。
基于第二方面的第二种实现方式,本申请实施例中第二方面的第三种实现方式中,若所述第一数据操作信息的数量为多个,则所述装置还包括:
第五发送模块,用于通过所述第二数据库将预置时间段内所述访问日志所生成的多个所述第一数据操作信息发送至所述第一数据库。
基于第二方面,或第二方面的第一种实现方式至第三种实现方式中的任一种,本申请实施例中第二方面的第四种实现方式中,所述第一数据操作信息包括数据组的标识,所述数据组包含所述目标数据。
基于第二方面的第四种实现方式,本申请实施例中第二方面的第五种实现方式中,所述数据组的数据结构为数据页或集合或哈希表或有序数组。
本申请实施例第三方面还提供了一种网络设备,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过第一数据库向第一CPU发送来自第二数据库的第一数据操作信息,其中,所述第一数据操作信息用于指示获取目标数据,所述第一数据库为所述第二数据库的备用数据库;
通过所述第一CPU向所述第一数据库发送第二数据操作信息,所述第二数据操作信息为基于所述第一操作信息所生成的,所述第二数据操作信息用于指示所述目标数据在所述第一数据库中的位置;
通过所述第一数据库根据所述第二数据操作信息获取所述目标数据;
通过所述第一数据库将所述目标数据发送至所述第一内存;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本申请实施例第四方面还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。
本申请实施例第五方面还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种数据预热的方法,该方法应用于第一设备和第二设备,第一设备包括第一数据库、第一中央处理器CPU和第一内存,第二设备包括第二数据库,该方法包括:第一数据库先向第一CPU发送来自第二数据库的第一数据操作信息,其中,第一数据操作信息用于指示获取目标数据。然后第一CPU向第一数据库发送第二数据操作信息,第二数据操作信息为基于第一操作信息所生成的,第二数据操作信息用于指示目标数据在第一数据库中的位置。最后第一数据库根据第二数据操作信息获取目标数据,并将目标数据发送至与第一数据库对应的第一内存。上述过程中,第一数据库为第二数据库的备用数据库,当第一数据库接收到另一台终端设备上的第二数据库所发送的第一数据操作信息后,可以将该第一数据操作信息返回至第一CPU。由于第一数据操作信息所指示的操作为获取目标数据,因此,第一CPU基于该信息进行计算分析后可以确定目标数据在第一数据库中的位置,并通知第一数据库读取目标数据,以使得第一数据库将目标数据写入对应的内存并结束操作,进而完成数据预热,该数据预热的过程中,当备用数据库对应的内存存储目标数据后,内存不会再向CPU发送目标数据,进而减少了CPU的操作量,能够有效节省CPU资源。
附图说明
图1为本申请实施例中数据预热的方法的一个流程示意图;
图2为本申请实施例中数据预热的方法的一个应用例示意图;
图3为本申请实施例中数据预热的装置的一个结构示意图;
图4为本申请实施例提供的一种网络设备结构示意图。
具体实施方式
本申请实施例提供了一种程序测试的方法及相关装置,可以节省测试资源和时间成本,提高测试效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请应用于数据预热场景,具体地,本场景中通常设备有两台网络设备(以下简称为第一设备和第二设备),其中,第一设备包括第一数据库、第一中央处理器CPU和第一内存,第二设备包括第二数据库、第二中央处理器CPU和第二内存。第二设备可以为用户所使用的终端设备提供服务的服务器,故第二设备上所设置的第二数据库可以为主数据库,而第一设备上的第一数据库为主数据库的备用数据库,为了保证数据使用的稳定性,通常第一数据库中所存储的数据和第二数据库中所存储的数据保持一致。
当第二设备接收到用户发送的数据操作请求时,可以通过第二数据库将与该请求对应的数据写入第二内存中,以使得第二内存将该部分数据返回至第二CPU进行操作,并将操作结果返回至用户侧。为了保证主备数据库切换后数据调用的稳定性,通常需要令第一设备的第一内存也存有该部分数据,即进行数据预热。
以下从第一设备的角度,对本申请实施例中数据预热的方法进行介绍说明。图1为本申请实施例中数据预热的方法的一个流程示意图,请参阅图1,本申请实施例汇中数据预热的方法的一个实施例,包括:
101、通过第一数据库向第一CPU发送来自第二数据库的第一数据操作信息,其中,第一数据操作信息用于指示获取目标数据,第一数据库为第二数据库的备用数据库;
本实施例中,当第一设备上的第一数据库接收第二设备的第二数据库发送的第一数据操作信息后,第一数据操作信息用于指示获取目标数据,由于第一数据库不具备计算能力,故会将第一数据操作信息转发至第一CPU,此时第一CPU相当于接收到来自第二设备的目标数据的获取请求,其中,第一数据库为第二数据库的备用数据库。
具体的,目标数据为第二设备首次获取且运行过的数据,故第二设备的第二内存中存储有该目标数据,为了进行数据预热,第二设备的第二数据库会通知第一设备获取该目标数据。例如,当第二设备首次接收到用户的求年龄平均值请求时,会从第二设备的第二数据库(即主数据库)获取所有人的年龄值,此时,所有人的年龄值作为目标数据存于第二设备的第二内存中,并向第一设备发送第一数据操作信息,用于通知第一设备获取所有人的年龄值。
102、通过第一CPU向第一数据库发送第二数据操作信息,第二数据操作信息为基于第一操作信息所生成的,第二数据操作信息用于指示目标数据在第一数据库中的位置;
第一设备的第一CPU接收到第一数据操作信息后,由于第一数据操作信息用于指示获取目标数据,故第一CPU可以解析该第一数据操作信息,并计算目标数据在第一数据库中的位置,根据标数据在第一数据库中的位置生成第二数据操作信息,并将第二数据操作信息发送至第一数据库,进而获取目标数据。
例如,当第一数据操作信息指示了获取所有人的年龄值,第一CPU则会计算各个年龄值字段在第一数据库(备用数据库)中的位置,然后根据该位置信息生成第二数据操作信息,再将第二数据操作信息发送至第一数据库,进而调取所有人的年龄值。
103、通过第一数据库根据第二数据操作信息获取目标数据;
当第一设备的第一数据库接收到第二数据操作信息后,可以解析第二数据操作信息得到目标数据的位置信息,并根据目标数据的位置信息在数据库中获取相应的目标数据。
104、通过第一数据库将目标数据发送至第一内存。
第一设备的第一数据库获取目标数据后,则将所述目标数据发送至第一内存进行存储并结束操作,此时,第一内存则存有与第二设备的第二内存相同的目标数据,数据预热完成。
本实施例中,由于第一数据操作信息所指示的操作为获取目标数据,因此,第一CPU基于该信息进行计算分析后可以确定目标数据在第一数据库中的位置,并通知第一数据库读取目标数据,以使得第一数据库将目标数据写入对应的内存并结束操作,进而完成数据预热,该数据预热的过程中,当备用数据库对应的内存存储目标数据后,内存不会再向CPU发送目标数据,进而减少了CPU的操作量,能够有效节省CPU资源。
可选的,基于图1所对应的实施例,本申请实施例中数据预热的方法的一个可选实施例中,通过所述第一数据库向第一CPU发送来自第二数据库的第一数据操作信息之前,该方法还包括:
通过第二数据库接收来自第二CPU的第三数据操作信息,其中,第三数据操作信息用于指示对目标数据进行计算;
通过第二数据库根据第三数据操作信息获取目标数据;
通过第二数据库向与第二内存发送目标数据,以使得第二内存发送目标数据至第二CPU;
通过第二数据库根据第三数据操作信息生成第一数据操作信息;
通过第二CPU对目标数据进行计算。
本实施例中,在第一设备进行数据预热之前,第二设备可以先进行目标数据的获取和计算操作。具体的,当第二设备首次接收到用户的数据操作请求时,第二CPU可以计算目标数据的位置并生成第三数据操作信息,然后将第三数据操作信息发送至第二数据库。第二数据库解析第三数据操作信息后,确定第二CPU需要对目标数据进行计算,则根据第三数据操作信息在数据库获取目标数据,并将目标数据发送至第二内存,从而使得第二内存将目标数据发送至第二CPU进行计算。在第二数据库发送完目标数据后,则可以生成第一数据操作信息,用于指示第一设备进行数据预热。
依旧如上述例子,第二设备在首次接收到求年龄平均值请求时,第二CPU可以根据该请求计算所有人的年龄值在第二数据库中的位置,并生成一个操作信息,用于通知第二数据库需要进行求年龄平均值,第二数据库解析该操作信息后,可以根据解析所得到的所有人年龄值的位置信息在数据库的相应位置获取所有人的年龄值,并将该部分数据值发送至内存,同时,第二数据库还会生成第一数据操作信息,用于向第一设备指示获取所有人的年龄值,以进行数据预热。第二设备的第二内存在获取所有人的年龄值后,会将该部分数据值返回至第二CPU,使得第二CPU根据该部分数据值进行计算,得到年龄平均值,以返回至用户侧供用户使用。
可选的,基于图1所对应的各个实施例,本申请实施例中数据预热的方法的一个可选实施例中,通过第二数据库根据第三数据操作信息生成第一数据操作信息包括:
通过第二数据库获取第二数据库的访问日志;
通过第二数据库在访问日志中,根据第三数据操作信息生成第一数据操作信息。
本实施例中,第二设备的第二数据库在向第二内存发送目标数据后,可以在第二数据库的访问日志中,根据第三数据操作信息生成第一数据操作信息。具体的,由于第三数据操作信息指示了对所述目标数据进行计算,故在访问日志中所记载的第一数据操作信息,改变了指示的内容,从计算转变成获取,故第一数据操作信息用于指示获取目标数据。例如,原先的第三数据操作信息所包含的指示内容为对所有人的年龄值进行求平均计算,而记载在访问日志上的第一数据操作信息所包含的指示内容为获取所有人的年龄值。因此,当第二设备的第二数据库将访问日志中的第一数据操作信息发送至第一设备的第一数据库时,可以致使第一设备仅完成数据获取的操作,而不会进行后续计算的操作,进而减少CPU的工作量。
可选的,基于图1所对应的各个实施例,本申请实施例中数据预热的方法的一个可选实施例中,若第一数据操作信息的数量为多个,则通过第二数据库根据第三数据操作信息生成第一数据操作信息之后还包括:
通过第二数据库将预置时间段内访问日志所生成的多个第一数据操作信息发送至第一数据库。
本实施例中,第二数据库的访问日志若在预置段时间内生成了多个第一数据操作信息,例如5分钟内生成了获取所有人的年龄值、获取所有男性的身高等等第一数据操作信息,则可将该5分钟生成的所有第一数据操作信息发送至第一数据库,以使得第一设备根据这一部分第一数据操作信息进行数据预热,能够使得第一设备提高数据预热的效率。应理解,上述预置时间段可以根据实际需求进行设置,此处不做具体限制。
可选的,第一数据操作信息包括数据组的标识,该数据组包含目标数据。例如,设目标数据为1,2,3,5和9,这五个数据构成一个数据组A,此时,第一数据操作信息则包含该数据组的标识A,当第一数据库接收到第一数据操作信息并发送至第一CPU后,第一CPU可以解析第一数据操作信息得到标识A,进而确定所需获取的目标数据为数据组A中的数据,从而计算目标数据在第一数据库中的位置。
可选的,数据组的数据结构为数据页或集合或哈希表或有序数组。本实施例中,上述数据组的数据结构可以为以下结构中的任意一种:数据页、集合、哈希表和有序数组,需要说明的是,每一种数据结构均有其特定的标识方式,例如,当数据组为数据页时,其标识可以为数据页的编号,例如,第一页数据页。当数据组为集合时,其标识可以为集合的标号,例如集合A等等。
本申请实施例进行数据预热的过程中,当备用数据库对应的内存存储目标数据后,内存不会再向CPU发送目标数据,进而减少了CPU的操作量,能够有效节省CPU资源。
为了进一步的理解,以下将结合一个具体应用例对本申请实施例中数据预热的方法进行进一步的介绍,图2为本申请实施例中数据预热的方法的一个应用例示意图,请参阅图2,该应用例包括:
201、主设备接收目标数据的计算请求;
当用户需要对目标数据进行计算时,可以向主设备输入请求。
202、主设备在主数据库中查询目标数据,并对目标数据进行计算;
主设备在主数据库中查询并获取目标数据,并通过CPU对目标数据进行计算得到计算结果。
203、主设备将查询操作记入日志;
主设备的主数据库获取完目标数据后,将查询目标数据的操作信息记载至日志中。
204、备用设备接收到日志中的查询操作信息并解析;
备用设备接收到主设备数据库发送的查询操作信息后,通过CPU进行解析并计算得到目标数据在备用数据库中的位置,生成相应信息发送至备用数据库。
205、备用设备从备用数据库获取目标数据;
备用数据库收到CPU发送的信息后,可以获取相应的目标数据。
206、备用设备的备用数据可将目标数据写入内存。
当备用数据将目标数据写入内存后,则数据预热结束。
以上是对本申请实施例提供的一种数据预热的方法进行的详细说明,以下将对本申请实施例中数据预热的装置的结构和连接关系进行具体介绍,图3为本申请实施例中数据预热的装置的一个结构示意图,请参阅图3,本申请实施例中数据预热的装置的一个实施例,包括:
第一发送模块301,用于通过第一数据库向第一CPU发送来自第二数据库的第一数据操作信息,其中,第一数据操作信息用于指示获取目标数据,第一数据库为第二数据库的备用数据库;
第二发送模块302,用于通过第一CPU向第一数据库发送第二数据操作信息,第二数据操作信息为基于第一操作信息所生成的,第二数据操作信息用于指示目标数据在第一数据库中的位置;
获取模块303,用于通过第一数据库根据第二数据操作信息获取目标数据;
第三发送模块304,用于通过第一数据库将目标数据发送至与第一数据库对应的第一内存。
可选的,基于图3所对应的实施例,本申请实施例中数据预热的装置的一个可选实施例中,第二设备还包括第二CPU和第二内存,装置还包括:
接收模块,用于通过第二数据库接收来自第二CPU的第三数据操作信息,其中,第三数据操作信息用于指示对目标数据进行计算;
获取模块,用于通过第二数据库根据第三数据操作信息获取目标数据;
第四发送模块,用于通过第二数据库向与第二内存发送目标数据,以使得第二内存发送目标数据至第二CPU;
生成模块,用于通过第二数据库根据第三数据操作信息生成第一数据操作信息;
计算模块,用于通过第二CPU对目标数据进行计算。
可选的,基于图3所对应的各个实施例,本申请实施例中数据预热的装置的一个可选实施例中,生成模块还用于:
通过第二数据库获取第二数据库的访问日志;
通过第二数据库在访问日志中,根据第三数据操作信息生成第一数据操作信息。
可选的,基于图3所对应的各个实施例,本申请实施例中数据预热的装置的一个可选实施例中,若第一数据操作信息的数量为多个,则装置还包括:
第五发送模块,用于通过第二数据库将预置时间段内访问日志所生成的多个第一数据操作信息发送至第一数据库。
可选的,基于图3所对应的各个实施例,本申请实施例中数据预热的装置的一个可选实施例中,第一数据操作信息包括数据组的标识,数据组包含目标数据。
可选的,基于图3所对应的各个实施例,本申请实施例中数据预热的装置的一个可选实施例中,数据组的数据结构为数据页或集合或哈希表或有序数组。
需要说明的是,上述装置各模块/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供了一种网络设备,图4为本申请实施例提供的一种网络设备结构示意图,该网络设备400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)422(例如,一个或一个以上处理器)和存储器432,一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中,存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对网络设备中的一系列指令操作。更进一步地,中央处理器422可以设置为与存储介质430通信,在网络设备400上执行存储介质430中的一系列指令操作。
网络设备400还可以包括一个或一个以上电源426,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口458,和/或,一个或一个以上操作系统441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由第一设备或第二设备所执行的步骤可以基于该图4所示的网络设备结构,具体的,该网络设备可以实现以下步骤:
通过第一数据库向第一CPU发送来自第二数据库的第一数据操作信息,其中,第一数据操作信息用于指示获取目标数据,第一数据库为第二数据库的备用数据库;
通过第一CPU向第一数据库发送第二数据操作信息,第二数据操作信息为基于第一操作信息所生成的,第二数据操作信息用于指示目标数据在第一数据库中的位置;
通过第一数据库根据第二数据操作信息获取目标数据;
通过第一数据库将目标数据发送至第一内存。
本申请实施例还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上所述数据预热的方法。
本申请实施例还涉及一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如上所述数据预热的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种数据预热的方法,其特征在于,所述方法应用于第一设备和第二设备,所述第一设备包括第一数据库、第一中央处理器CPU和第一内存,所述第二设备包括第二数据库、第二CPU和第二内存,所述方法包括:
通过所述第二数据库接收来自所述第二CPU的第三数据操作信息,其中,所述第三数据操作信息用于指示对目标数据进行计算;
通过所述第二数据库根据所述第三数据操作信息获取所述目标数据;
通过所述第二数据库向所述第二内存发送所述目标数据,以使得所述第二内存发送所述目标数据至所述第二CPU;
通过所述第二数据库根据所述第三数据操作信息生成第一数据操作信息;
通过所述第二CPU对所述目标数据进行计算;
通过所述第一数据库向第一CPU发送来自所述第二数据库的所述第一数据操作信息,其中,所述第一数据操作信息用于指示获取所述目标数据,所述第一数据库为所述第二数据库的备用数据库;
通过所述第一CPU向所述第一数据库发送第二数据操作信息,所述第二数据操作信息为基于所述第一数据操作信息所生成的,所述第二数据操作信息用于指示所述目标数据在所述第一数据库中的位置;
通过所述第一数据库根据所述第二数据操作信息获取所述目标数据;
通过所述第一数据库将所述目标数据发送至所述第一内存。
2.根据权利要求1所述的数据预热的方法,其特征在于,所述通过所述第二数据库根据第三数据操作信息生成所述第一数据操作信息包括:
通过所述第二数据库获取所述第二数据库的访问日志;
通过所述第二数据库在所述访问日志中,根据所述第三数据操作信息生成所述第一数据操作信息。
3.根据权利要求2所述的数据预热的方法,其特征在于,若所述第一数据操作信息的数量为多个,则所述通过所述第二数据库根据第三数据操作信息生成所述第一数据操作信息之后还包括:
通过所述第二数据库将预置时间段内所述访问日志所生成的多个所述第一数据操作信息发送至所述第一数据库。
4.根据权利要求1至3任意一项所述的数据预热的方法,其特征在于,所述第一数据操作信息包括数据组的标识,所述数据组包含所述目标数据。
5.根据权利要求4所述的数据预热的方法,其特征在于,所述数据组的数据结构为数据页或集合或哈希表或有序数组。
6.一种数据预热的装置,其特征在于,所述装置应用于第一设备和第二设备,所述第一设备包括第一数据库、第一中央处理器CPU和第一内存,所述第二设备包括第二数据库、第二CPU和第二内存;所述装置包括:
接收模块,用于通过所述第二数据库接收来自所述第二CPU的第三数据操作信息,其中,所述第三数据操作信息用于指示对目标数据进行计算;
获取模块,用于通过所述第二数据库根据所述第三数据操作信息获取所述目标数据;
第四发送模块,用于通过所述第二数据库向所述第二内存发送所述目标数据,以使得所述第二内存发送所述目标数据至所述第二CPU;
生成模块,用于通过所述第二数据库根据所述第三数据操作信息生成第一数据操作信息;
计算模块,用于通过所述第二CPU对所述目标数据进行计算;
第一发送模块,用于通过所述第一数据库向第一CPU发送来自所述第二数据库的所述第一数据操作信息,其中,所述第一数据操作信息用于指示获取所述目标数据,所述第一数据库为所述第二数据库的备用数据库;
第二发送模块,用于通过所述第一CPU向所述第一数据库发送第二数据操作信息,所述第二数据操作信息为基于所述第一数据操作信息所生成的,所述第二数据操作信息用于指示所述目标数据在所述第一数据库中的位置;
获取模块,用于通过所述第一数据库根据所述第二数据操作信息获取所述目标数据;
第三发送模块,用于通过所述第一数据库将所述目标数据发送至与所述第一数据库对应的第一内存。
7.根据权利要求6所述的数据预热的装置,其特征在于,所述生成模块,还用于:
通过所述第二数据库获取所述第二数据库的访问日志;
通过所述第二数据库在所述访问日志中,根据所述第三数据操作信息生成所述第一数据操作信息。
8.根据权利要求7所述的数据预热的装置,其特征在于,若所述第一数据操作信息的数量为多个,则所述装置还包括:
第五发送模块,用于通过所述第二数据库将预置时间段内所述访问日志所生成的多个所述第一数据操作信息发送至所述第一数据库。
9.根据权利要求6至8任意一项所述的数据预热的装置,其特征在于,所述第一数据操作信息包括数据组的标识,所述数据组包含所述目标数据。
10.根据权利要求9所述的数据预热的装置,其特征在于,所述数据组的数据结构为数据页或集合或哈希表或有序数组。
11.一种网络设备,其特征在于,所述网络设备分为第一设备和第二设备,所述第一设备包括第一数据库、第一中央处理器CPU和第一内存,所述第二设备包括第二数据库、第二CPU和第二内存;所述网络设备包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过所述第二数据库接收来自所述第二CPU的第三数据操作信息,其中,所述第三数据操作信息用于指示对目标数据进行计算;
通过所述第二数据库根据所述第三数据操作信息获取所述目标数据;
通过所述第二数据库向所述第二内存发送所述目标数据,以使得所述第二内存发送所述目标数据至所述第二CPU;
通过所述第二数据库根据所述第三数据操作信息生成第一数据操作信息;
通过所述第二CPU对所述目标数据进行计算;
通过所述第一数据库向第一CPU发送来自所述第二数据库的所述第一数据操作信息,其中,所述第一数据操作信息用于指示获取所述目标数据,所述第一数据库为所述第二数据库的备用数据库;
通过所述第一CPU向所述第一数据库发送第二数据操作信息,所述第二数据操作信息为基于所述第一数据操作信息所生成的,所述第二数据操作信息用于指示所述目标数据在所述第一数据库中的位置;
通过所述第一数据库根据所述第二数据操作信息获取所述目标数据;
通过所述第一数据库将所述目标数据发送至所述第一内存;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
12.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至5中任一项所述的方法。
CN201910803032.8A 2019-08-28 2019-08-28 一种数据预热的方法及相关装置 Active CN111176827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803032.8A CN111176827B (zh) 2019-08-28 2019-08-28 一种数据预热的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803032.8A CN111176827B (zh) 2019-08-28 2019-08-28 一种数据预热的方法及相关装置

Publications (2)

Publication Number Publication Date
CN111176827A CN111176827A (zh) 2020-05-19
CN111176827B true CN111176827B (zh) 2024-01-30

Family

ID=70651863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803032.8A Active CN111176827B (zh) 2019-08-28 2019-08-28 一种数据预热的方法及相关装置

Country Status (1)

Country Link
CN (1) CN111176827B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918541B (zh) * 2021-12-13 2022-04-26 广州市玄武无线科技股份有限公司 预热数据处理方法、装置及计算机可读存储介质
CN114553731A (zh) * 2022-02-25 2022-05-27 深圳市普渡科技有限公司 数据日志采集系统、方法、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331986A (zh) * 2010-07-12 2012-01-25 阿里巴巴集团控股有限公司 一种数据库缓存管理方法及一种数据库服务器
CN105068942A (zh) * 2015-08-13 2015-11-18 广州优倍达信息科技有限公司 一种计算机缓存系统的管理方法
CN105786616A (zh) * 2016-02-02 2016-07-20 上海达梦数据库有限公司 内存管理方法及系统
CN106557429A (zh) * 2015-09-29 2017-04-05 华为技术有限公司 一种内存数据的迁移方法和节点控制器
US9674567B1 (en) * 2015-07-23 2017-06-06 BlackArrow Addressable linear digital advertising system utilizing CPE splicer
CN109491985A (zh) * 2018-10-10 2019-03-19 北京中盾安全技术开发公司 一种基于关联规则的热数据处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331986A (zh) * 2010-07-12 2012-01-25 阿里巴巴集团控股有限公司 一种数据库缓存管理方法及一种数据库服务器
US9674567B1 (en) * 2015-07-23 2017-06-06 BlackArrow Addressable linear digital advertising system utilizing CPE splicer
CN105068942A (zh) * 2015-08-13 2015-11-18 广州优倍达信息科技有限公司 一种计算机缓存系统的管理方法
CN106557429A (zh) * 2015-09-29 2017-04-05 华为技术有限公司 一种内存数据的迁移方法和节点控制器
CN105786616A (zh) * 2016-02-02 2016-07-20 上海达梦数据库有限公司 内存管理方法及系统
CN109491985A (zh) * 2018-10-10 2019-03-19 北京中盾安全技术开发公司 一种基于关联规则的热数据处理方法和装置

Also Published As

Publication number Publication date
CN111176827A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US8230419B2 (en) Method, system and program product for capturing central processing unit (CPU) utilization for a process on a virtual machine
JP5298117B2 (ja) 分散コンピューティングにおけるデータマージング
CN111176827B (zh) 一种数据预热的方法及相关装置
CN111723313A (zh) 页面跳转的处理方法、装置、设备及存储介质
CN111782640A (zh) 一种云平台的数据处理方法、系统、电子设备及存储介质
CN110909060A (zh) 数据报送方法和系统
CN107957933B (zh) 数据复制的监控方法及装置
CN110941658A (zh) 一种数据导出方法、装置、服务器及存储介质
CN105988917B (zh) 异常信息获取方法及装置
CN115131067A (zh) 数据处理方法、装置、电子设备及存储介质
CN115455110A (zh) 增量数据获取方法及装置、存储介质、处理器
CN116340051A (zh) 数据处理方法、相关装置及设备
CN114003571A (zh) 数据处理方法、装置、电子设备及存储介质
CN113448985A (zh) 一种api接口生成方法、调用方法、装置及电子设备
CN102929746A (zh) 一种用于彩票销售系统的快速备份及恢复方法
CN113268483A (zh) 请求处理方法和装置、电子设备和存储介质
CN113835991A (zh) 压测方法、装置、设备及计算机可读存储介质
CN112596948B (zh) 一种数据库集群数据备份方法、装置、设备及存储介质
CN110704240A (zh) 利用虚拟机进行存储性能测试的方法、装置、设备及系统
CN106375354B (zh) 数据处理方法及装置
CN115269161B (zh) 一种异常流程逆向回滚方法和系统
CN110209512B (zh) 基于多数据源的数据核对方法及装置
CN112035425B (zh) 一种日志的存储方法、装置及计算机系统
CN116225376A (zh) 代码需求关系拓扑图的生成方法、装置及电子设备
CN116701465A (zh) 一种可靠性检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant