CN117596298A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、电子设备及存储介质。该方法包括：在基于目标节点接收到数据处理请求时，确定与数据处理请求相对应的数据页标识；目标节点包括第一节点或第二节点；确定预先确定的缓冲区中是否包含与数据页标识相对应的待处理数据页，若是，则从缓冲区中获取待处理数据页；缓冲区中包含至少一个热点数据页；基于数据处理请求对获取的待处理数据页进行处理，并基于处理信息更新与待处理数据页相对应的数据维护信息，以基于数据维护信息更新缓冲区。解决了现有技术中多节点读取数据进行处理，存在数据处理不稳定的问题，实现提高数据处理效率以及稳定性的效果。

Description

一种数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

近年来，为了减少因系统故障所带来的损失，通常会设置一个共享存储集群，使用共享存储集群来存储所有系统所需的数据，以使系统向共享存储集群请求数据。

但是由于共享存储集群中会存储大量的数据，在系统向共享存储集群请求数据时，会存在大数据量的查询并发冲突的问题，从而导致数据处理不稳定的问题。

发明内容

本发明提供了一种数据处理方法、装置、电子设备及存储介质，以实现提高数据处理效率以及数据处理稳定性。

根据本发明的一方面，提供了一种数据处理方法，该方法应用于数据处理系统，所述数据处理系统包括第一节点以及第二节点；该方法包括：

在基于目标节点接收到数据处理请求时，确定与所述数据处理请求相对应的数据页标识；其中，所述目标节点包括第一节点或第二节点；

确定预先确定的缓冲区中是否包含与所述数据页标识相对应的待处理数据页，若是，则从所述缓冲区中获取所述待处理数据页；其中，所述缓冲区中包含至少一个热点数据页；

基于所述数据处理请求对获取的所述待处理数据页进行处理，并基于处理信息更新与所述待处理数据页相对应的数据维护信息，以基于所述数据维护信息更新所述缓冲区；

其中，所述数据维护信息存储在所述第二节点中的信息维护单元中，所述数据维护信息中包含数据页访问信息、数据页修改信息、数据页处理权限信息中的至少一个。

根据本发明的另一方面，提供了一种数据处理装置，该装置配置于数据处理系统，所述数据处理系统包括第一节点以及第二节点；该装置包括：

数据页标识确定模块，用于在基于目标节点接收到数据处理请求时，确定与所述数据处理请求相对应的数据页标识；其中，所述目标节点包括第一节点或第二节点；

待处理数据页获取模块，用于确定预先确定的缓冲区中是否包含与所述数据页标识相对应的待处理数据页，若是，则从所述缓冲区中获取所述待处理数据页；

处理模块，用于基于所述数据处理请求对获取的所述待处理数据页进行处理，并基于处理信息更新与所述待处理数据页相对应的数据维护信息，以基于所述数据维护信息更新所述缓冲区；

其中，所述缓冲区中包含至少一个热点数据页；所述数据维护信息存储在所述第二节点中的信息维护单元中，所述数据维护信息中包含数据页访问信息、数据页修改信息、数据页处理权限信息中的至少一个。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

本发明实施例的技术方案，通过在基于目标节点接收到数据处理请求时，确定与数据处理请求相对应的数据页标识；目标节点包括第一节点或第二节点；确定预先确定的缓冲区中是否包含与数据页标识相对应的待处理数据页，若是，则从缓冲区中获取待处理数据页；缓冲区中包含至少一个热点数据页；基于数据处理请求对获取的待处理数据页进行处理，并基于处理信息更新与待处理数据页相对应的数据维护信息，以基于数据维护信息更新缓冲区，解决了现有技术中多节点读取数据进行处理，存在数据处理不稳定的问题，实现通过预先设置一个包含至少一个热点数据页的缓冲区，在目标节点接收到数据处理请求时，通过数据处理请求中的数据页标识从缓冲区中读取待处理数据页，再对待处理数据页进行处理，提高数据处理效率以及数据处理稳定性；同时通过处理信息更新与待处理数据页相对应的数据维护信息，进而通过数据维护信息动态更新缓冲区中的热点数据页，保证缓冲区中的热点数据页是满足用户对数据页的处理需求的，提高数据页访问的稳定性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据处理方法的流程图；

图2是根据本发明实施例一所提供的数据处理方法示意图；

图3是根据本发明实施例一所提供的数据处理方法示意图；

图4是根据本发明实施例一所提供的数据处理方法示意图；

图5是根据本发明实施例一所提供的数据处理方法示意图；

图6是根据本发明实施例二提供的一种数据处理装置的结构示意图；

图7是实现本发明实施例的数据处理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是根据本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于数据处理的情况，该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可配置于计算设备中。如图1所示，该方法包括：

S110、在基于目标节点接收到数据处理请求时，确定与数据处理请求相对应的数据页标识。

需要说明的是，本实施例所提供的技术方案可以应用于数据处理系统，数据处理系统包括第一节点以及第二节点，每个节点均为一个DSC(Data Sheet Cache，缓存策略)节点，DSC的实现是基于GBS(Global Buffer Services，全局缓冲区服务)/LBS(Local BufferServices，本地缓存区服务)的。在GBS服务中，允许多个节点共享同一个缓冲区。在LBS服务中，LBS可用于管理节点的本地缓冲区，本地缓冲区仅限于单个节点内部使用，例如在缓存中查找、替换或删除数据页等。

在实际应用中，某个或某些应用可以向第一节点或第二节点发送数据处理请求，将接收数据处理请求的节点作为目标节点，即目标节点可以是第一节点，也可以是第二节点，具体的取决于向哪个节点发起数据处理请求。在目标节点接收到数据处理请求时，可以对数据处理请求进行解析，解析得到数据处理请求中携带的数据页标识，数据页标识的数量可以为一个，也可以为多个。数据页标识可以用于标识数据页的唯一性，以通过数据页标识获取到相应的数据页。

S120、确定预先确定的缓冲区中是否包含与数据页标识相对应的待处理数据页，若是，则从缓冲区中获取待处理数据页。

其中，缓冲区中包含至少一个热点数据页。缓冲区中的热点数据页可以是基于对数据页的访问热度确定的，通过访问热度来反映数据页在特定时间段内被访问的频率。

需要说明的是，查询数据表的过程中，会涉及到回表查询，回表查询是指在进行数据库查询时，先通过主键或外键查询出主表中的记录，然后再根据这些记录中的外键值，查询出相关子表中对应的记录，每个表在数据页上，大多数回表的子表分布上不同的数据页上，也就是说，要完成找到所有回表的子表，需要频繁的访问根索引的数据页，例如，出现PAGE1、PAGE2、PAGE3、PAGE4、PAGE1、PAGE2，这样的访问，每次访问都只会得到一条数据，而很多数据其实都有可能是分布在一个页上的。

基于此，可以在确定数据页标识之后，将数据页标识与缓冲区中各热点数据页的标识进行比对，判断缓冲区中是否存在与数据页标识相对应的待处理数据页，如果存在，可以直接从缓冲区中获取该待处理数据页，避免解锁访问的开销以及避免跨节点访问的开销，提高数据访问的效率。

示例性的，可以在DM(Data Management，数据管理)中设置一片快速缓冲区，用于存储热点数据页，这个缓冲区的访问可以是无锁的，当出现对PAGE(数据页)的访问时，优先从缓冲区中获取数据页，减少等待开销，提升PAGE访问效率和稳定性。

在本实施例中，数据处理方法还包括：若数据处理请求为访问请求，则从缓冲区中读取待处理数据页，并对待处理数据页进行无锁访问；若数据处理请求为修改请求，则基于目标节点将包含待处理数据页标识的权限请求发送至第二节点，以使第二节点基于权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到第二节点反馈的授权通过结果时，从缓冲区中读取待处理数据页。

为了保护共享资源，可以允许多个进程同时对资源进行读操作，但只允许一个进程对资源进行写操作，当一个进程获得写锁时，其他进程则无法访问该资源，直到写锁被释放，基于此，如果是对待处理数据页的写请求时，可以对写权限进行验证，以在验证通过的条件下进行写操作，写操作可以为增、删、改中的任一个。

在本实施例中，如果数据处理请求为访问请求，则可以从缓冲区中读取待处理数据页，并对待处理数据页进行无锁访问。如果数据处理请求为修改请求，则可以基于目标节点将包含待处理数据页标识的权限请求发送至第二节点。第二节点在接收到权限请求之后，可以对权限请求中的待处理数据页标识所对应的待处理数据页进行权限验证，得到验证结果。例如，如果待处理数据页的加锁状态为S+X闩，则表示该数据页正在被一个或多个进程使用，此时不可对其进行修改，验证为不通过，如果待处理数据页的加锁状态为S+X闩，则表示该数据页正在被一个或多个进程使用，并且这些进程已经对该数据页进行了读/写锁定，其他进程无法同时访问该数据页，直到相关的锁定被释放。如果待处理数据页的加锁状态为X闩，则表示该数据页正在被一个进程使用，并且该进程已经对该数据页进行了独占锁定，验证为不通过；如果待处理数据页的加锁状态为S闩，则表示该数据页正在被一个或多个进程使用，并且这些进程已经对该数据页进行了读锁定，其他进程仍可以读取该数据页，但无法对其进行写操作，直到相关的S锁被释放；如果待处理数据页的加锁状态为无锁，则表示验证通过。可以在验证通过的条件下，第二节点反馈授权通过结果。在接收到第二节点反馈的授权通过结果时，再从缓冲区中读取待处理数据页，并基于修改请求执行写操作。第二节点反馈授权通过结果时，还可以将待处理数据页的权限加锁，如加S闩锁，在接收到目标节点对待处理数据页的处理完成的反馈结果时，再修改待处理数据页的权限加锁状态为无锁。

在本实施例中，数据处理方法还包括：若确定缓冲区中未包含与数据页标识相对应的待处理数据页，则确定待处理数据页是否存储在节点本地；若是，则基于目标节点将包含待处理数据页标识的权限请求发送至第二节点，以使第二节点基于权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到第二节点反馈的授权通过结果时，从节点本地中读取待处理数据页。

在本实施例中，如果缓冲区中未包含与数据页标识相对应的待处理数据页，则可以进一步的判断待处理数据页是否存储在节点本地，如果是，可以从节点本地中获取待处理数据页。因为，数据维护信息存储在第二节点中的信息维护单元中，因此在从节点本地中获取待处理数据页之前，目标节点可以向第二节点发送包含待处理数据页标识的权限请求，通过第二节点基于权限请求进行权限验证，在验证通过的条件下，反馈授权通过结果。目标节点在接收到第二节点反馈的授权通过结果时，从节点本地中读取待处理数据页。

示例性的，参见图2，假设数据页P1存在于DSC0内存中，应用从DSC0

(即DSC0为目标节点)上修改数据页P1，数据页修改完成后，会在GBS/LBS中记录最新的数据页存放在哪个节点中，同时刷新数据维护信息。具体的操作步骤为：1、应用向节点DSC0请求修改数据页P1；2、节点DSC0本地LBS0向节点DSC1的GBS1请求数据页P1的X闩(附加LSN信息)；3、节点DSC1

(即第二节点)的GBS1(即信息维护单元)修改数据维护信息中的LSN值，从DSC1的LBS1回收P1的S闩；4、修改DSC1的GBS1的封锁模式为S+X闩；5、响应DSC0的LBS0请求，在获得GBS1授权后，记录获得的授权模式为S+X闩；6、节点DSC0修改数据页P1和LSN值，并更新LBS0中的LSN。其中，LSN是指最新数据页的LSN(Log Sequence Number，日志序列号)值，用于标识数据页的最新修改。

在本实施例中，数据处理方法还包括：若确定待处理数据页未存储在节点本地，则确定待处理数据页是否存储在与目标节点相区别的区别节点中；若是，则基于目标节点将包含待处理数据页标识的权限请求发送至第二节点中的信息维护单元，以使信息维护单元基于权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到信息维护单元反馈的授权通过结果时，从区别节点中读取待处理数据页。

在本实施例中，如果待处理数据页未存储在节点本地，则确定待处理数据页是否存储在与目标节点相区别的区别节点中；若是，则目标节点可以将包含待处理数据页标识的权限请求发送至第二节点中的信息维护单元，进而信息维护单元基于权限请求进行权限验证，在验证通过的条件下，反馈授权通过结果，同时，信息维护单元对待处理数据页进行加锁处理。目标节点在接收到信息维护单元反馈的授权通过结果时，从区别节点中读取待处理数据页。

示例性的，参见图3，假设数据页P1存在于DSC0内存中，应用从DSC1

(即DSC1为目标节点)上访问数据页P1，在请求数据页时，通过GBS/LBS发现最新的数据也存在于其他节点内存中，会直接通过网络将数据传输到访问节点的内存中，避免直接从磁盘中读取。具体的操作步骤为：1、节点DSC1访问数据页P1；2、DSC1本地LBS1向GBS1请求数据页P1的SLATCH权限；3、GBS修改P1控制结构，记录DSC1的封锁模式为S闩，并响应DSC1的LBS请求；4、LBS获得GBS授权后，记录获得的授权模式是S闩，并通知DSC0的LBS修改控制结构；5、DSC1向DSC0发起P1的读请求，并通过内部网络获取数据。

在本实施例中，在确定所述待处理数据页存储在节点本地的条件下，若基于所述数据维护信息确定与所述待处理数据页相对应的最新修改信息存储在与所述目标节点相区别的区别节点中，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点中的信息维护单元，以使所述信息维护单元基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到所述信息维护单元反馈的授权通过结果时，从所述区别节点中读取所述待处理数据页。

在实际应用中，如果在确定所述待处理数据页存储在节点本地时，通过数据维护信息检测到待处理数据页对应的最新修改信息存储在与所述目标节点相区别的区别节点中，那么目标节点可以将包含待处理数据页标识的权限请求发送至所述第二节点中的信息维护单元，进而信息维护单元基于权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果。目标节点在接收到所述信息维护单元反馈的授权通过结果时，从所述区别节点中读取所述待处理数据页，再对读取的待处理数据页作相应的处理操作。与此同时，将处理信息记录至信息维护单元。

示例性的，参见图4，数据页P1存在于DSC1内存中，但最新的值在DSC0的内存中，应用从DSC1(即目标节点)上修改数据页P1。在修改数据页的过程中，通过GBS发现最新的值在其他节点中，会请求该节点通过网络传输最新值到本节点内存中。具体的操作步骤为：1、应用向节点DSC1请求修改数据页P1；2、节点DSC1本地LBS1向GBS1请求数据页P1的X闩；3、节点DSC1的GBS1中显示P1已经被S+X闩封锁，向DSC0的LBS0发起回收P1的封锁请求；4、锁释放后，响应DSC1的GBS1封锁请求，并更新P1的最新LSN值；5、GBS1响应DSC1的LBS1请求，在获得GBS1授权后，记录获得的授权模式是S+X闩；6、向DSC0发起读请求，数据页P1从DSC0内存中读取到DSC1内存中进行修改。

在本实施例中，数据处理方法还包括：若确定待处理数据页未存储在与目标节点相区别的区别节点中，则从共享存储位置读取待处理数据页，并将待处理数据页存储在目标节点中，并记录对待处理数据页的处理信息。

在本实施例中，如果待处理数据页未存储在与目标节点相区别的区别节点中，则说明请求的数据页并未在GBS或者LBS中注册，此时可以从共享存储位置读取待处理数据页，进而对可以基于数据处理请求对待处理数据页作相应的处理，通过还可以将待处理数据页存储在目标节点中，记录对待处理数据页的处理信息，以便后续从目标节点中获取待处理数据页。

示例性的，参见图5，如果请求的数据页并未在GBS或者LBS中注册，说明数据页未驻留内存，可以从共享存储位置中读取到数据页，并请求到节点的内存中，更新GBS和LBS信息。具体的操作步骤为：1、应用向节点DSC0请求访问数据页P1；2、DSC0的本地LBS0向DSC1的GBS1请求数据页P1的S闩；3、GBS1修改P1的维护信息，记录DSC0的封锁模式为S闩，并响应DSC0的LBS0请求；4、LBS0获得GBS1授权后，记录获得的授权模式是S闩，发起本地IO请求，从共享存储读取数据；5、IO完成后，修改LBS0中的数据页信息，记录数据页上的LSN信息。

S130、基于数据处理请求对获取的待处理数据页进行处理，并基于处理信息更新与待处理数据页相对应的数据维护信息，以基于数据维护信息更新缓冲区。

其中，数据维护信息存储在第二节点中的信息维护单元中，数据维护信息中包含数据页访问信息、数据页修改信息、数据页处理权限信息中的至少一个。例如，数据页访问信息中包含哪些站点访问过此数据页；数据页修改信息中包含最新数据保存在哪一个节点、最新数据页的LSN值等；数据页处理权限信息中包含数据页的闩的封锁权限。

在本实施例中，可以通过数据处理请求对获取的待处理数据页进行相应的处理操作，同时，将处理信息更新至与待处理数据页相对应的数据维护信息中。不仅可以通过数据维护信息监测到对数据页加锁的情况，也可以监测到哪一个节点保存了最新的数据，还可以通过数据维护信息动态更新缓冲区中热点数据页。

在本实施例中，基于数据维护信息更新缓冲区的实现方式可以是：基于数据维护信息，确定与至少一个待访问数据页相对应的访问属性；基于访问属性，从至少一个待访问数据页中确定缓冲区中的热点数据页。

其中，访问属性包括但不限于访问量、访问时长(如平均停留时间)以及回表量(作为子表查询的数量)等。

在本实施例中，可以分别针对每个BUFFER分片的数据页进行访问属性的计算，确定各待访问数据页相对应的访问属性之后，可以结合访问属性，对缓冲区中的热点数据页进行更新。例如，假设数据页P2的访问量达20次，可以将数据页P2新增至缓冲区，或者，也可以将缓冲区中访问量小于20次的数据页P3替换为数据页P2。实现热点数据页的动态更新，提高数据页访问的稳定性，减少并发访问冲突。

本实施例的技术方案，通过在基于目标节点接收到数据处理请求时，确定与数据处理请求相对应的数据页标识；目标节点包括第一节点或第二节点；确定预先确定的缓冲区中是否包含与数据页标识相对应的待处理数据页，若是，则从缓冲区中获取待处理数据页；缓冲区中包含至少一个热点数据页；基于数据处理请求对获取的待处理数据页进行处理，并基于处理信息更新与待处理数据页相对应的数据维护信息，以基于数据维护信息更新缓冲区，解决了现有技术中多节点读取数据进行处理，存在数据处理不稳定的问题，实现通过预先设置一个包含至少一个热点数据页的缓冲区，在目标节点接收到数据处理请求时，通过数据处理请求中的数据页标识从缓冲区中读取待处理数据页，再对待处理数据页进行处理，提高数据处理效率以及数据处理稳定性；同时通过处理信息更新与待处理数据页相对应的数据维护信息，进而通过数据维护信息动态更新缓冲区中的热点数据页，保证缓冲区中的热点数据页是满足用户对数据页的处理需求的，提高数据页访问的稳定性。

实施例二

图6是根据本发明实施例二提供的一种数据处理装置的结构示意图，该装置配置于数据处理系统，所述数据处理系统包括第一节点以及第二节点。如图6所示，该装置包括：数据页标识确定模块210、待处理数据页获取模块220和处理模块230。

其中，数据页标识确定模块210，用于在基于目标节点接收到数据处理请求时，确定与所述数据处理请求相对应的数据页标识；其中，所述目标节点包括第一节点或第二节点；待处理数据页获取模块220，用于确定预先确定的缓冲区中是否包含与所述数据页标识相对应的待处理数据页，若是，则从所述缓冲区中获取所述待处理数据页；处理模块230，用于基于所述数据处理请求对获取的所述待处理数据页进行处理，并基于处理信息更新与所述待处理数据页相对应的数据维护信息，以基于所述数据维护信息更新所述缓冲区；其中，所述缓冲区中包含至少一个热点数据页；所述数据维护信息存储在所述第二节点中的信息维护单元中，所述数据维护信息中包含数据页访问信息、数据页修改信息、数据页处理权限信息中的至少一个。

本实施例的技术方案，通过在基于目标节点接收到数据处理请求时，确定与数据处理请求相对应的数据页标识；目标节点包括第一节点或第二节点；确定预先确定的缓冲区中是否包含与数据页标识相对应的待处理数据页，若是，则从缓冲区中获取待处理数据页；缓冲区中包含至少一个热点数据页；基于数据处理请求对获取的待处理数据页进行处理，并基于处理信息更新与待处理数据页相对应的数据维护信息，以基于数据维护信息更新缓冲区，解决了现有技术中多节点读取数据进行处理，存在数据处理不稳定的问题，实现通过预先设置一个包含至少一个热点数据页的缓冲区，在目标节点接收到数据处理请求时，通过数据处理请求中的数据页标识从缓冲区中读取待处理数据页，再对待处理数据页进行处理，提高数据处理效率以及数据处理稳定性；同时通过处理信息更新与待处理数据页相对应的数据维护信息，进而通过数据维护信息动态更新缓冲区中的热点数据页，保证缓冲区中的热点数据页是满足用户对数据页的处理需求的，提高数据页访问的稳定性。

在上述装置的基础上，可选的，所述装置还包括数据页读取第一模块，数据页读取第一模块，用于若所述数据处理请求为访问请求，则从所述缓冲区中读取所述待处理数据页，并对所述待处理数据页进行无锁访问；若所述数据处理请求为修改请求，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点，以使所述第二节点基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到所述第二节点反馈的授权通过结果时，从所述缓冲区中读取所述待处理数据页。

在上述装置的基础上，可选的，所述装置还包括数据页读取第二模块，数据页读取第二模块，用于若确定所述缓冲区中未包含与所述数据页标识相对应的待处理数据页，则确定所述待处理数据页是否存储在节点本地；若是，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点，以使所述第二节点基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到所述第二节点反馈的授权通过结果时，从所述节点本地中读取所述待处理数据页。

在上述装置的基础上，可选的，所述装置还包括数据页读取第三模块，数据页读取第三模块，用于若确定所述待处理数据页未存储在节点本地，则确定所述待处理数据页是否存储在与所述目标节点相区别的区别节点中；若是，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点中的信息维护单元，以使所述信息维护单元基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到所述信息维护单元反馈的授权通过结果时，从所述区别节点中读取所述待处理数据页。

在上述装置的基础上，可选的，所述装置还包括数据页读取第四模块，数据页读取第四模块，用于在确定所述待处理数据页存储在节点本地的条件下，若基于所述数据维护信息确定与所述待处理数据页相对应的最新修改信息存储在与所述目标节点相区别的区别节点中，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点中的信息维护单元，以使所述信息维护单元基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；在接收到所述信息维护单元反馈的授权通过结果时，从所述区别节点中读取所述待处理数据页。

在上述装置的基础上，可选的，所述装置还包括数据页读取第五模块，数据页读取第五模块，用于若确定所述待处理数据页未存储在与所述目标节点相区别的区别节点中，则从共享存储位置读取所述待处理数据页，并将所述待处理数据页存储在所述目标节点中，并记录对所述待处理数据页的处理信息。

在上述装置的基础上，可选的，处理模块230包括访问属性确定单元和热点数据页确定单元。

访问属性确定单元，用于基于所述数据维护信息，确定与至少一个待访问数据页相对应的访问属性；

热点数据页确定单元，用于基于所述访问属性，从所述至少一个待访问数据页中确定所述缓冲区中的热点数据页。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例三

图7是实现本发明实施例的数据处理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。

在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括第一节点以及第二节点；所述方法包括：

在基于目标节点接收到数据处理请求时，确定与所述数据处理请求相对应的数据页标识；其中，所述目标节点包括第一节点或第二节点；

确定预先确定的缓冲区中是否包含与所述数据页标识相对应的待处理数据页，若是，则从所述缓冲区中获取所述待处理数据页；其中，所述缓冲区中包含至少一个热点数据页；

基于所述数据处理请求对获取的所述待处理数据页进行处理，并基于处理信息更新与所述待处理数据页相对应的数据维护信息，以基于所述数据维护信息更新所述缓冲区；

其中，所述数据维护信息存储在所述第二节点中的信息维护单元中，所述数据维护信息中包含数据页访问信息、数据页修改信息、数据页处理权限信息中的至少一个。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述数据处理请求为访问请求，则从所述缓冲区中读取所述待处理数据页，并对所述待处理数据页进行无锁访问；

若所述数据处理请求为修改请求，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点，以使所述第二节点基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；

在接收到所述第二节点反馈的授权通过结果时，从所述缓冲区中读取所述待处理数据页。

3.根据权利要求1所述的方法，其特征在于，还包括：

若确定所述缓冲区中未包含与所述数据页标识相对应的待处理数据页，则确定所述待处理数据页是否存储在节点本地；

若是，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点，以使所述第二节点基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；

在接收到所述第二节点反馈的授权通过结果时，从所述节点本地中读取所述待处理数据页。

4.根据权利要求3所述的方法，其特征在于，还包括：

若确定所述待处理数据页未存储在节点本地，则确定所述待处理数据页是否存储在与所述目标节点相区别的区别节点中；

若是，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点中的信息维护单元，以使所述信息维护单元基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；

在接收到所述信息维护单元反馈的授权通过结果时，从所述区别节点中读取所述待处理数据页。

5.根据权利要求3所述的方法，其特征在于，还包括：

在确定所述待处理数据页存储在节点本地的条件下，若基于所述数据维护信息确定与所述待处理数据页相对应的最新修改信息存储在与所述目标节点相区别的区别节点中，则基于所述目标节点将包含待处理数据页标识的权限请求发送至所述第二节点中的信息维护单元，以使所述信息维护单元基于所述权限请求进行权限验证，并在验证通过的条件下，反馈授权通过结果；

在接收到所述信息维护单元反馈的授权通过结果时，从所述区别节点中读取所述待处理数据页。

6.根据权利要求4所述的方法，其特征在于，还包括：

若确定所述待处理数据页未存储在与所述目标节点相区别的区别节点中，则从共享存储位置读取所述待处理数据页，并将所述待处理数据页存储在所述目标节点中，并记录对所述待处理数据页的处理信息。

7.根据权利要求1所述的方法，其特征在于，所述基于所述数据维护信息更新所述缓冲区，包括：

基于所述数据维护信息，确定与至少一个待访问数据页相对应的访问属性；

基于所述访问属性，从所述至少一个待访问数据页中确定所述缓冲区中的热点数据页。

8.一种数据处理装置，其特征在于，配置于数据处理系统，所述数据处理系统包括第一节点以及第二节点；所述装置包括：

数据页标识确定模块，用于在基于目标节点接收到数据处理请求时，确定与所述数据处理请求相对应的数据页标识；其中，所述目标节点包括第一节点或第二节点；

待处理数据页获取模块，用于确定预先确定的缓冲区中是否包含与所述数据页标识相对应的待处理数据页，若是，则从所述缓冲区中获取所述待处理数据页；

处理模块，用于基于所述数据处理请求对获取的所述待处理数据页进行处理，并基于处理信息更新与所述待处理数据页相对应的数据维护信息，以基于所述数据维护信息更新所述缓冲区；

其中，所述缓冲区中包含至少一个热点数据页；所述数据维护信息存储在所述第二节点中的信息维护单元中，所述数据维护信息中包含数据页访问信息、数据页修改信息、数据页处理权限信息中的至少一个。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。