具体实施方式
本说明书实施例提供一种数据存储方法、装置及服务器。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
分布式系统中处理事务的过程中,往往包括多个事务,且多个事务中往往会对应多个事务处理过程中所依赖的需要同步存储到从属设备的待存储数据。这里待存储数据与事务并不一定是一一对应的,一个事务可以对应一个待处理数据,但一个待存储数据可以对应多个事务。例如,10个事务会对应5个待处理数据等。具体的,如图1所示,图1是本说明书提供的分布式系统中同步事务处理过程中所依赖的数据的一种实施例的示意图。主控设备会从数据库中获取分配给从属设备的待处理事务;然后,主控设备会确定出从属设备处理相应事务所需要的待存储数据和存储所述待存储数据的从属设备缓存;接着,将待存储数据存储到数据库;最后,将待存储数据同步存储到从属设备。后续,将待处理事务和所依赖的数据发送给从属设备以进行事务处理(这里所依赖的数据需要从同步事务处理过程中所依赖的数据时所依赖的数据存储的从属设备缓存中获取)。
在实际应用中,由于每个设备的缓存存储容量有限,在将待存储数据同步存储到从属设备过程中往往无法将每个待处理事务所对应的待存储数据都存储到相应的设备缓存中,如果一个待处理事务处理过程中所依赖的待存储数据存储在本地缓存,在将待处理事务和所依赖的数据发送给从属设备过程中,访问所依赖的数据所需要的时间可以为tl。如果一个待处理事务处理过程中所依赖的待存储数据存储在分布式系统中的另一台设备缓存上,在将待处理事务和所依赖的数据发送给从属设备过程中,访问所依赖的数据所需要的时间可以为tr。如果一个待处理事务处理过程中所依赖的待存储数据在分布式系统中缓存没有存储,需要访问硬盘,在将待处理事务和所依赖的数据发送给从属设备过程中,访问所依赖的数据所需要的时间可以为ts。这里tl<tr<ts;基于此,可以将事务处理过程中所依赖的待存储数据尽可能的存储到事务所对应的本地缓存中,同时考虑到从属设备的缓存存储容量以及不同事务导致从属设备对事务依赖的数据的需求频率不一样,可以在从属设备缓存存储容量允许的前提下,将事务处理过程中所依赖的待存储数据结合从属设备对所依赖的待存储数据的需求频率进行存储,以提高数据处理效率。
以下介绍本说明书数据存储方法的一种具体实施例。图2是本说明书提供的数据存储方法的一种实施例的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,所述方法可以包括:
S202:获取分布式系统中设备的待处理事务。
本说明书实施例中,可以获取分布式系统中设备的待处理事务。具体的,所述分布式系统中设备可以包括分布式系统中的从属设备。具体的,这里的待处理事务,可以包括事务处理前主控设备会从数据库中获取分配给每个从属设备的任一待处理事务。在一个具体的实施例中,所述待处理事务可以为统计某一商品的单日交易量。
S204:确定所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率。
本说明书实施例中,在获取分布式系统中设备的待处理事务。可以确定所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率。具体的,可以包括:
确定所述分布式系统中设备的待处理事务所对应的待存储数据。
根据设备的待处理事务计算所述设备对相对应的待存储数据的需求频率。
在一个具体的实施例中,以所述待处理事务为统计某一商品的单日交易量为例,所述待处理事务所对应的待存储数据可以为所述商品的交易量数据;由于所述待处理事务为统计某一商品的单日交易量,可以确定处理所述待处理事务的设备需要每天统计一次该待存储数据(商品的交易量数据)。相应的,可以基于设备需要每天统计一次该待存储数据(待处理事务)来计算所述设备对该待存储数据的需求频率,这里需求频率可以结合实际应用设置为同一标准,以便于后续的比较,例如可以将需求频率设置为每一小时需求的次数,相应的,设备对商品的交易量数据每一小时的需求次数可以为1/24。
S206:根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存。
本说明书实施例中,在确定需求频率之后,可以根据需求频率确定待存储数据的存储位置,并将待存储数据存储到相应的存储位置。
在一个具体的实施例中,可以考虑在分布式系统中从属设备缓存存储容量允许的前提下,将待处理事务处理过程中所依赖的待存储数据存储到对所依赖的数据的需求频率最大的从属设备缓存中,如图3所示,图3是本说明书提供的根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存一种实施例的流程示意图。具体的,可以包括:
S302:确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备。
本说明书实施例中,为了保证存储待存储设备的缓存存储容量可以满足待存储数据需求的存储容量,可以先确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备。这里所述缓存存储容量可以包括设备的缓存当前还可以存储的容量。
S304:比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小。
接着,可以比较满足待存储数据需求的存储容量的设备的需求频率,以便确定出对待存储数据的需求评论最大的设备。
S306:将所述待存储数据存储到需求频率最大的设备的缓存。
最后,可以将所述待存储数据存储到需求频率最大的设备的缓存。
在一个具体的实施例中,假设设备A对待存储数据X的需求频率为每分钟5次,设备B对待存储数据X的需求频率为每分钟10次,相应的,会将待存储数据X存储到设备B的缓存中。这里将所述待存储数据存储到需求频率最大的设备的缓存可以实现数据在缓存中的存储位置的优化,保证需求较大的设备可以从本地缓存中获取数据,降低网络传输的负载,提高数据处理效率。
在另一个实施例中,可以考虑在分布式系统中从属设备缓存存储容量允许的前提下,按照从属设备对相应的待处理事务所依赖的数据的需求频率由高到低进行多次存储到从属设备缓存中。如图4所示,图4是本说明书提供的根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存一种实施例的流程示意图。具体的,可以包括:
S402:判断所述分布式系统中的设备中所述待存储数据存储份数是否为零。
本说明书实施例中可以通过判断所述分布式系统中的设备中所述待存储数据存储份数是否为零来确定所述分布式系统中是否存储有上述待存储数据。当判断的结果为是时,即所述分布式系统中的设备中没有缓存有所述待存储数据,相应的,可以执行步骤S404;反之,当判断的结果为否,即所述分布式系统中的设备中缓存有上述待存储数据,可以执行步骤S410。
S404:当判断的结果为时,确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备。
本说明书实施例在确定分布式系统中的设备中没有缓存有所述待存储数据时,可以确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备。
S406:比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小。
S408:将所述待存储数据存储到需求频率最大的设备的缓存。
S410:当判断的结果为否时,确定所述分布式系统中未存储有所述待存储数据的设备。
本说明书实施例在确定分布式系统中的设备中缓存有所述待存储数据时,可以确定所述分布式系统中未存储有所述待存储数据的设备。
S412:从所述未存储有所述待存储数据的设备中确定缓存存储容量大于等于所述待存储数据需求的存储容量的设备。
在步骤S412之后,可以执行步骤S406-步骤S408。然后,重复上述步骤S410至达到收敛条件,所述收敛条件可以包括所述分布式系统中的设备的缓存存储容量小于所述待存储数据需求的存储容量或,将所述待存储数据存储到所述分布式系统中的每一设备的缓存。
从未存储有待存储数据的设备中确定缓存存储容量大于等于待存储数据需求的存储容量的设备之后,可以重复上述步骤S410中确定所述分布式系统中未存储有所述待存储数据的设备的步骤至所述分布式系统中的设备的缓存存储容量小于所述待存储数据需求的存储容量而无法再存储待存储数据;或者可以重复上述步骤S410中确定所述分布式系统中未存储有所述待存储数据的设备的步骤至将所述待存储数据存储到所述分布式系统中的每一设备的缓存。只要满足上述任一收敛条件,可以停止上述重复执行步骤S410。
这里在分布式系统中从属设备缓存存储容量允许的前提下,按照从属设备对相应的待处理事务所依赖的数据的需求频率由高到低进行多次存储到从属设备缓存中,更进一步优化待存储数据的存储位置,提高设备从本地缓存中获取数据的概率,进而可以降低网络传输的负载,提高数据处理效率。
由此可见,本说明书一种数据存储方法的一个或多个实施例通过获取所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率,并根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存,可以优化待存储数据的存储位置,提高设备从本地缓存中获取数据的概率,进而可以降低网络传输的负载,提高数据处理效率。
本说明书另一方面还提供一种数据存储装置,图5是本说明书提供的数据存储装置的一种实施例的结构示意图,如图5所示,所述装置500可以包括:
待处理事务获取模块510,可以用于获取分布式系统中设备的待处理事务;
需求频率确定模块520,可以用于确定所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率;
数据存储模块530,可以用于根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存。
另一实施例中,所述需求频率确定模块520可以包括:
待存储数据确定单元,可以用于确定所述分布式系统中设备的待处理事务所对应的待存储数据;
需求频率计算单元,可以用于根据设备的待处理事务计算所述设备对相对应的待存储数据的需求频率。
另一实施例中,所述数据存储模块530包可以包括:
判断单元,可以用于判断所述分布式系统中的设备中所述待存储数据存储份数是否为零;
第一设备确定单元,可以用于当所述判断单元判断的结果为是时,确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备;
第一比较单元,可以用于比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小;
第一存储单元,可以用于将所述待存储数据存储到需求频率最大的设备的缓存。
另一实施例中,所述数据存储模块530还可以包括:
第二设备确定单元,可以用于当所述判断单元判断的结果为否时,确定所述分布式系统中未存储有所述待存储数据的设备;
第三设备确定单元,可以用于从所述未存储有所述待存储数据的设备中确定缓存存储容量大于等于所述待存储数据需求的存储容量的设备;
第二比较单元,可以用于比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小;
第二存储单元,可以用于将所述待存储数据存储到需求频率最大的设备的缓存;
数据处理单元,可以用于重复所述第二设备确定单元确定所述分布式系统中未存储有所述待存储数据的设备的步骤至所述分布式系统中的设备的缓存存储容量小于所述待存储数据需求的存储容量或,将所述待存储数据存储到所述分布式系统中的每一设备的缓存。
具体的,所述第二比较单元与所述第一比较单元可以是同一比较单元,也可以为不同的比较单元。所述第二存储单元与所述第一存储单元可以使同一存储单元,也可以是不同的存储单元。
另一实施例中,所述数据存储模块530可以包括:
第四设备确定单元,可以用于确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备;
第三比较单元,可以用于比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小;
第三存储单元,可以用于将所述待存储数据存储到需求频率最大的设备的缓存。
本说明书实施例提供的上述数据存储方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。因此,本说明书另一方面还提供一种数据存储服务器,包括处理器及存储器,所述存储器存储由所述处理器执行的计算机程序指令,所述计算机程序指令可以包括:
获取分布式系统中设备的待处理事务;
确定所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率;
根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存。
具体的,本说明书实施例中,所述的处理器可以包括中央处理器(CPU),当然也可以包括其他的具有逻辑处理能力的单片机、逻辑门电路、集成电路等,或其适当组合。所述存储器可以包括非易失性存储器等。
另一实施例中,所述确定所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率包括:
确定所述分布式系统中设备的待处理事务所对应的待存储数据;
根据设备的待处理事务计算所述设备对相对应的待存储数据的需求频率。
另一实施例中,所述根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存包括:
判断所述分布式系统中的设备中所述待存储数据存储份数是否为零;
当判断的结果为是时,确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备;
比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小;
将所述待存储数据存储到需求频率最大的设备的缓存。
另一实施例中,所述根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存还包括:
当判断的结果为否时,确定所述分布式系统中未存储有所述待存储数据的设备;
从所述未存储有所述待存储数据的设备中确定缓存存储容量大于等于所述待存储数据需求的存储容量的设备;
比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小;
将所述待存储数据存储到需求频率最大的设备的缓存,重复上述确定所述分布式系统中未存储有所述待存储数据的设备的步骤至所述分布式系统中的设备的缓存存储容量小于所述待存储数据需求的存储容量或,将所述待存储数据存储到所述分布式系统中的每一设备的缓存。
另一实施例中,所述根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存包括:
确定所述分布式系统中缓存存储容量大于等于所述待存储数据需求的存储容量的设备;
比较所述缓存存储容量大于等于所述待存储数据需求的存储容量的设备对所述待存储数据的需求频率的大小;
将所述待存储数据存储到需求频率最大的设备的缓存。
由此可见,本说明书一种数据存储方法、装置、或服务器的实施例通过获取所述分布式系统中设备对待处理事务所对应的待存储数据的需求频率,并根据设备对所述待存储数据的需求频率将所述待存储数据存储到相应的设备的缓存,可以优化待存储数据的存储位置,提高设备从本地缓存中获取数据的概率,进而可以降低网络传输的负载,提高数据处理效率。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、装置或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在权利要求范围之内。