CN104462225B - 一种数据读取的方法、装置及系统 - Google Patents

一种数据读取的方法、装置及系统 Download PDF

Info

Publication number
CN104462225B
CN104462225B CN201410635413.7A CN201410635413A CN104462225B CN 104462225 B CN104462225 B CN 104462225B CN 201410635413 A CN201410635413 A CN 201410635413A CN 104462225 B CN104462225 B CN 104462225B
Authority
CN
China
Prior art keywords
read
node
page
data page
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410635413.7A
Other languages
English (en)
Other versions
CN104462225A (zh
Inventor
肖宇雷
陈志远
叶涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410635413.7A priority Critical patent/CN104462225B/zh
Publication of CN104462225A publication Critical patent/CN104462225A/zh
Application granted granted Critical
Publication of CN104462225B publication Critical patent/CN104462225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据读取的方法，所述集群数据系统包括计算节点和协调节点，协调节点上设置有多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：计算节点在内存中查找待读取的数据页，在未查找到待读取的数据页时，向协调节点发送数据获取请求，所述数据获取请求用于指示协调节点从所述共享缓存中查找所述待读取的数据页，计算节点读取协调节点发送的所述待读取的数据页，所述待读取的数据页为协调节点在所述共享缓存中查找到所述待读取的数据页时发送给计算节点的。本发明实施例提供的数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。

Description

一种数据读取的方法、装置及系统
技术领域
本发明涉及计算机技术领域，具体涉及一种业务数据处理的方法、装置及系统。
背景技术
在集群数据库系统中数据读取的过程是：计算节点先从自身内存中查找数据，如果自身内存中不存在查找的数据，则从自身固态硬盘(Solid State Drive，SSD)中查找，如果自身SSD中也不存在查找的数据，则从再从磁盘中查找。SSD是数据库系统中的扩展缓存，存放内存中淘汰出来的干净页。在读取数据的时候，如果内存中不命中，先尝试在SSD扩展缓存中命中。因为SSD的容量一般是内存容量的2-8倍，可以缓存大部分的热数据。所以，大部分的不在内存中命中的热数据可以快速在SSD中命中。
现有技术的数据库系统中每个计算节点都要配一块SSD卡。如果集群中有10个计算节点，则共需要配10块SSD卡，导致数据库系统中要配多块SSD卡，而且单块SSD只为单个计算节点做读缓存无法充分利用SSD的容量，导致SSD的利用率低下。
发明内容
本发明实施例提供的一种数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。本发明实施例还提供了相应的装置及系统。
本发明第一方面提供一种数据读取的方法，所述方法应用于集群数据库系统中的计算节点，所述集群数据系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：
所述计算节点在所述内存中查找待读取的数据页；
在未查找到所述待读取的数据页时，所述计算节点向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
所述计算节点读取所述协调节点发送的所述待读取的数据页，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的；
所述计算节点接收所述协调节点发送的未查找到所述待读取的数据页的指示消息，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的，所述计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
结合第一方面，在第一种可能的实现方式中，所述计算节点所述向所述协调节点发送数据获取请求之前，所述方法还包括：
所述计算节点根据淘汰算法，从内存中确定出淘汰页；
当所述淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储；
当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
本发明第二方面提供一种数据读取的方法，所述方法应用于集群数据库系统中的协调节点，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：
所述协调节点接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送给所述协调节点的；
所述协调节点根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；
所述协调节点在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页；
所述协调节点在未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
结合第二方面，在第一种可能的实现方式中，所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，所述从所述共享缓存中查找所述待读取的数据页，包括：
从设置在所述协调节点上的内存中查找是否有所述待读取的数据页；
当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
结合第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述从所述SSD中查找对应的待读取的数据页，包括：
从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息；
当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
结合第二方面第二种可能的实现方式，在第三种可能的实现方式中，所述协调节点接收数据获取请求之前，所述方法还包括：
所述协调节点接收所述计算节点发送的淘汰页；
将所述淘汰页存放到所述SSD中，并将所述淘汰页的标识信息添加到所述SSD哈希表中。
本发明第三方面提供一种应用于集群数据库系统中的计算节点，所述集群数据库系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述计算节点包括：
查找单元，用于在所述内存中查找待读取的数据页；
发送单元，用于所述查找单元在内存中未查找到待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
接收单元，用于接收所述协调节点发送的所述待读取的数据页或未查找到所述待读取的数据页的指示消息，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的；
读取单元，用于读取所述待读取的数据页；
所述查找单元，还用于根据所述接收单元接收的所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
结合第三方面，在第一种可能的实现方式中，所述计算节点还包括：确定单元，
所述确定单元，用于根据淘汰算法，从内存中确定出淘汰页；
所述发送单元，还用于当所述确定单元确定的淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储；当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
本发明第四方面提供一种应用于集群数据库系统中的协调节点，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述协调节点包括：
接收单元，用于接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送给所述协调节点的；
查找单元，用于根据所述接收单元接收的所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；
发送单元，用于在所述查找单元查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页，在所述查找单元未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
结合第四方面，在第一种可能的实现方式中，所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，
所述查找单元，具体用于从设置在所述协调节点上的内存中查找是否有所述待读取的数据页，当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
结合第四方面第一种可能的实现方式，在第二种可能的实现方式中，
所述查找单元，具体用于从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息，当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
结合第四方面第二种可能的实现方式，在第三种可能的实现方式中，所述协调节点还包括：存放单元和添加单元，
所述接收单元，还用于接收所述计算节点发送的淘汰页；
所述存放单元，用于将所述接收单元接收的所述淘汰页存放到所述SSD中；
所述添加单元，用于并将所述存放单元存放到所述SSD中的淘汰页的标识信息添加到所述SSD哈希表中。
本发明第五方面提供一种集群数据库系统，包括:多个计算节点和协调节点，所述协调节点上设置有供所述集群数据库系统中所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存；
所述计算节点，用于在所述内存中查找待读取的数据页，在未查找到所述待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
所述协调节点，用于根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页，在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页；
所述计算节点，用于读取所述协调节点发送的所述待读取的数据页，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的。
本发明实施例采用在集群数据库系统的协调节点上设置可供多个计算节点共享的共享缓存，计算节点在所述内存中查找待读取的数据页，计算节点在内存中未查找到待读取的数据页时，向协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页，在协调节点查找到所述待读取的数据页时，将所述待读取的数据页发送给所述计算节点，当协调节点未查找到所述待读取的数据页时，发送未查找到所述待读取的数据页的指示消息给所述计算节点，计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。与现有技术中每个计算节点都要配一块SSD卡，单块SSD只为单个计算节点做读缓存，无法充分利用SSD的容量，导致SSD的利用率低下相比，本发明实施例提供的数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中集群数据库系统的一实施例示意图；
图2是本发明实施例中集群数据库系统的另一实施例示意图；
图3是本发明实施例中数据读取的方法的一实施例示意图；
图4是本发明实施例中数据读取的方法的另一实施例示意图；
图5是本发明实施例中计算节点的一实施例示意图；
图6是本发明实施例中计算节点的另一实施例示意图；
图7是本发明实施例中协调节点的一实施例示意图；
图8是本发明实施例中协调节点的另一实施例示意图；
图9是本发明实施例中计算节点的另一实施例示意图；
图10是本发明实施例中协调节点的另一实施例示意图；
图11是本发明实施例中集群数据库系统的一实施例示意图。
具体实施方式
本发明实施例提供一种数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。本发明实施例还提供了相应的装置及系统以下分别进行详细说明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明实施例中计算节点和协调节点都可以为计算机、服务器等通信设备。
参阅图1，本发明实施例提供的集群数据库系统包括多个计算节点，如图1中的计算节点1、计算节点2…计算节点K，K为大于2的整数。多个计算节点共同使用共享磁盘，共享磁盘作为多个计算节点的共享存储设备。多个计算节点通过网络通道与协调节点通信，图1所示的协调节点包括主协调节点和备协调节点两个，主协调节点正常时，备协调节点处于空闲状态，当主协调节点故障时，备协调节点接替主协调节点的工作。主协调节点和备协调节点上都设置有内存和固态硬盘(Solid State Drive，SSD)，SSD也被叫做闪存、FLASH等。每个计算节点上都有各自的内存，每个计算节点可以通过网络通道与主协调节点通信。在本发明实施例中，内存的读取速度最快、SSD的读取速度居中，共享磁盘的读取数据最慢。
协调节点负责管理和维护多个计算节点的资源信息。在集群环境下，多个计算节点同时访问共享资源，可能会造成共享资源的并发访问，这种情况下，协调节点就需要对共享资源实现统一的管理。
计算节点负责执行具体的事务，可以直接访问磁盘等共享存储设备。
多个计算节点共享协调节点中设置的内存和SSD，为了满足计算节点对协调节点中SSD的使用，可以在协调节点中设置全局buffer接口装置，在每个计算节点中设置SSD读缓存管理装置，如图2所示。
全局Buffer接口装置：主要提供接口供计算节点使用协调节点上面的SSD等公共资源。
SSD读缓存管理装置：位于内存与文件系统之间，将SSD作为内存与文件之间的缓存进行管理。在计算节点向协调节点请求SSD中的数据时，SSD读缓存管理装置与全局Buffer接口进行交互，从而获得SSD中的数据页。
本发明实施例中数据读取的过程以计算节点1为例，可以参阅图2中的S100、S102、S104、106和108进行理解：
本发明实施例中协调节点的共享缓存包括设置在协调节点中的内存和SSD。
计算节点1中内存缺页时，根据淘汰算法，从内存中确定出淘汰页。当所述淘汰页为脏页时，执行步骤S100，当所述淘汰页为脏页时，执行步骤S102。
淘汰算法可以有多种，例如：先进先出(First Input First Output，FIFO)算法、最近最少使用(Least Recently Used，LRU)算法等。
S100、计算节点1将所述淘汰页发送到所述多个计算节点的共享磁盘进行存储。
S102、计算节点1将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述SSD中。
协调节点上会维护一个SSD哈希表，所述SSD哈希表记录所述SSD中存储的数据页的标识信息，当SSD中新增淘汰页时，SSD哈希表也会添加该淘汰页的标识信息。
S104、计算节点1在所述内存中查找待读取的数据页，在自身内存中未查找到待读取的数据页时，向协调节点发送数据获取请求。
计算节点1在所述内存中查找待读取的数据页的动作可能是由用户向所述计算节点1中执行写操作触发的，也可能是计算节点1在执行业务程序所触发的。
S106、所述协调节点根据所述数据获取请求先从协调节点内存中查找对应的待读取的数据页，协调节点的内存中没有该待读取的数据页时，从所述SSD中查找对应的待读取的数据页，当查找到所述待读取的数据页时，向计算节点1发送所述待读取的数据页，当未查找到所述待读取的数据页时，向计算节点1发送未查找到所述待读取的数据页的指示消息。
计算节点1接收到所述待读取的数据页时，读取所述待读取的数据页。
计算节点1接收到未查找到所述待读取的数据页的指示消息时，执行步骤S108。
所述协调节点根据所述数据获取请求，从所述SSD中查找对应的待读取的数据页，可以包括：
所述协调节点从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息；
当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
S108、计算节点1从磁盘查找所述待读取的数据页。
与现有技术中每个计算节点都要配一块SSD卡，单块SSD只为单个计算节点做读缓存，无法充分利用SSD的容量，导致SSD的利用率低下相比，本发明实施例提供的数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
参阅图3，本发明实施例提供的数据读取的方法的一实施例，所述方法应用于集群数据库系统中的计算节点，所述集群数据系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法可以包括：
201、所述计算节点在所述内存中查找待读取的数据页。
202、在未查找到所述待读取的数据页时，所述计算节点向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页。
203、所述计算节点读取所述协调节点发送的所述待读取的数据页，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的。
204、所述计算节点接收所述协调节点发送的未查找到所述待读取的数据页的指示消息，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的，所述计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
本发明实施例采用在集群数据库系统的协调节点上设置可供多个计算节点共享的共享缓存，计算节点在所述内存中查找待读取的数据页，计算节点在内存中未查找到待读取的数据页时，向协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页，在协调节点查找到所述待读取的数据页时，将所述待读取的数据页发送给所述计算节点，当协调节点未查找到所述待读取的数据页时，发送未查找到所述待读取的数据页的指示消息，计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。，并发送给计算节点。与现有技术中每个计算节点都要配一块SSD卡，单块SSD只为单个计算节点做读缓存，无法充分利用SSD的容量，导致SSD的利用率低下相比，本发明实施例提供的数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供的数据读取的方法的另一实施例中，
所述计算节点所述向所述协调节点发送数据获取请求之前，所述方法还包括：
所述计算节点根据淘汰算法，从内存中确定出淘汰页；
当所述淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储；
当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
本发明图3所示的实施例及相应的可选实施例提供的数据读取的过程，可以参阅图1和图2部分的描述进行理解，本处不做过多赘述。
参阅图4，本发明实施例提供的数据读取的方法的一实施例，所述方法应用于集群数据库系统中的协调节点，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：
301、所述协调节点接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送给所述协调节点的。
302、所述协调节点根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页。
303、所述协调节点在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页。
304、所述协调节点在未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
本发明实施例提供的数据读取的方法，应用于集群数据库系统中的协调节点，所述集群数据系统还包括多个计算节点，所述协调节点上设置有所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：所述协调节点接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送给所述协调节点的；所述协调节点根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；所述协调节点在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页，所述协调节点在未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。与现有技术中每个计算节点都要配一块SSD卡，单块SSD只为单个计算节点做读缓存，无法充分利用SSD的容量，导致SSD的利用率低下相比，本发明实施例提供的数据读取的方法，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
可选地，在上述图4对应的实施例的基础上，本发明实施例提供的数据读取的方法的另一实施例中，
所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，所述从所述共享缓存中查找所述待读取的数据页，包括：
从设置在所述协调节点上的内存中查找是否有所述待读取的数据页；
当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
可选地，在上一个可选实施例的基础上，本发明实施例提供的数据读取的方法的另一实施例中，所述从所述SSD中查找对应的待读取的数据页，可以包括：
所述协调节点从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息；
当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
可选地，在上述图4对应的上一可选实施例的基础上，本发明实施例提供的数据读取的方法的另一实施例中，所述协调节点接收每个计算节点发送的数据获取请求之前，所述方法还可以包括：
所述协调节点接收所述计算节点发送的淘汰页；
将所述淘汰页存放到所述SSD中，并将所述淘汰页的标识信息添加到所述SSD哈希表中。
本发明图4所示的实施例及相应的可选实施例提供的数据读取的过程，可以参阅图1和图2部分的描述进行理解，本处不做过多赘述。
参阅图5，本发明实施例提供的应用于集群数据库系统中的计算节点的一实施例，所述集群数据库系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述计算节点40包括：
查找单元401，用于在所述内存中查找待读取的数据页；
发送单元402，用于所述查找单元401在内存中未查找到待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
接收单元403，用于接收所述协调节点发送的所述待读取的数据页或未查找到所述待读取的数据页的指示消息，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的；
读取单元404，用于读取所述接收单元403接收的所述待读取的数据页。
所述查找单元401，还用于根据所述接收单元403接收的所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
本发明实施例中，所述集群数据库系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述计算节点40包括：查找单元401在所述内存中查找待读取的数据页；发送单元402所述查找单元401在内存中未查找到待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；接收单元403接收所述协调节点发送的所述待读取的数据页或未查找到所述待读取的数据页的指示消息，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的；读取单元404读取所述接收单元403接收的所述待读取的数据页，所述查找单元401还根据所述接收单元403接收的所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。与现有技术中每个计算节点都要配一块SSD卡，单块SSD只为单个计算节点做读缓存，无法充分利用SSD的容量，导致SSD的利用率低下相比，本发明实施例提供的计算节点，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
可选地，在上述图5对应的实施例的基础上，参阅图6，本发明实施例提供的计算节点的另一实施例中，所述计算节点还包括：确定单元405，
所述确定单元405，用于根据淘汰算法，从内存中确定出淘汰页；
所述发送单元402，还用于当所述确定单元405确定的淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储；当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
本发明实施例提供的计算节点的实施例可以参阅图1、图2和图3部分的方法实施例进行理解，本处不做过多赘述。
参阅图7，本发明实施例提供的应用于集群数据库系统中的协调节点的一实施例中，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述协调节点50包括：
接收单元501，用于接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送的；
查找单元502，用于根据所述接收单元501接收的所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；
发送单元503，用于在所述查找单元502查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页，在所述查找单元502未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
本发明实施例中，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述协调节点50包括：接收单元501接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送的；查找单元502根据所述接收单元501接收的所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；发送单元503在所述查找单元502查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页，在所述查找单元502未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。与现有技术中每个计算节点都要配一块SSD卡，单块SSD只为单个计算节点做读缓存，无法充分利用SSD的容量，导致SSD的利用率低下相比，本发明实施例提供的协调节点，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
可选地，在上述图7对应的实施例的基础上，本发明实施例提供的协调节点50的另一实施例中，所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，
所述查找单元502，具体用于从设置在所述协调节点上的内存中查找是否有所述待读取的数据页，当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
可选地，在上一可选实施例的基础上，本发明实施例提供的协调节点50的另一实施例中，
所述查找单元502，具体用于从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息，当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
可选地，在上一个可选实施例的基础上，本发明实施例提供的协调节点50的另一实施例中，参阅图8，所述协调节点还包括：存放单元504和添加单元505，
所述接收单元501，还用于接收所述计算节点发送的淘汰页；
所述存放单元504，用于将所述接收单元501接收的所述淘汰页存放到所述SSD中；
所述添加单元505，用于并将所述存放单元504存放到所述SSD中的淘汰页的标识信息添加到所述SSD哈希表中。
本发明实施例提供的协调节点的实施例可以参阅图1、图2和图4部分的方法实施例进行理解，本处不做过多赘述。
图9是本发明实施例计算节点40的结构示意图。计算节点40可包括输入设备410、输出设备420、处理器430和存储器440。
本发明实施例提供的计算节点40应用于集群数据库系统中的计算节点，所述集群数据系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，内存可以是存储器440的一部分。
存储器440可以包括只读存储器和随机存取存储器，并向处理器430提供指令和数据。存储器440的一部分还可以包括非易失性随机存取存储器(NVRAM)。
存储器440存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:
操作指令：包括各种操作指令，用于实现各种操作。
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
在本发明实施例中，处理器430通过调用存储器440存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：
在所述内存中查找待读取的数据页；
在未查找到所述待读取的数据页时，通过输出设备420向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
读取所述待读取的数据页，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的。
通过输入设备410接收所述协调节点发送的未查找到所述待读取的数据页的指示消息，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的，所述计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
本发明实施例提供的计算节点40，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
处理器430控制计算节点40的操作，处理器430还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储器440可以包括只读存储器和随机存取存储器，并向处理器430提供指令和数据。存储器440的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中，计算节点40的各个组件通过总线系统450耦合在一起，其中总线系统450除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统450。
上述本发明实施例揭示的方法可以应用于处理器430中，或者由处理器430实现。处理器430可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器430中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器430可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器440，处理器430读取存储器440中的信息，结合其硬件完成上述方法的步骤。
可选地，所述处理器430根据淘汰算法，从内存中确定出淘汰页；
所述输出设备420用于当所述淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储，当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
图10是本发明实施例协调节点50的结构示意图。协调节点50可包括输入设备510、输出设备520、处理器530和存储设备540。
本发明实施例提供的协调节点50应用于集群数据库系统中的计算节点，所述计算节点有多个，所述集群数据系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存。
存储设备540可以包括只读存储器和随机存取存储器，并向处理器530提供指令和数据。存储设备540的一部分还可以包括非易失性随机存取存储器(NVRAM)。
存储设备540存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:
操作指令：包括各种操作指令，用于实现各种操作。
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
在本发明实施例中，处理器530通过调用存储设备540存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：
通过输入设备510接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送的；
所述协调节点根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；
通过输出设备520在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页；
在未查找到所述待读取的数据页时，通过所述输出设备520向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
本发明实施例提供的协调节点50，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
处理器530控制协调节点50的操作，处理器530还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储设备540可以包括只读存储器和随机存取存储器，并向处理器530提供指令和数据。存储设备540的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中，协调节点50的各个组件通过总线系统550耦合在一起，其中总线系统550除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统550。
上述本发明实施例揭示的方法可以应用于处理器530中，或者由处理器530实现。处理器530可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器530中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器530可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储设备540，处理器530读取存储设备540中的信息，结合其硬件完成上述方法的步骤。
可选地，所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，所述处理器530具体用于从设置在所述协调节点上的内存中查找是否有所述待读取的数据页，当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
可选地，所述处理器530具体用于从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息，当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
可选地，所述输入设备510接收所述计算节点发送的淘汰页；
所述处理器530将所述淘汰页存放到所述SSD中，并将所述淘汰页的标识信息添加到所述SSD哈希表中。
参阅图11，本发明实施例提供的集群数据库系统的一实施例包括：多个计算节点40和协调节点50，所述协调节点50上设置有供所述集群数据库系统中所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存；
所述计算节点40，在所述内存中查找待读取的数据页，在未查找到所述待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
所述协调节点50，用于根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页，在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页；
所述计算节点40，用于读取所述协调节点发送的所述待读取的数据页，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的。
本发明实施例提供的集群数据库系统，在保证数据读取速率的同时，可以减少集群数据库系统中SSD的数量，提高集群数据库系统中共享缓存的利用率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件(例如处理器)来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的数据读取的方法、装置以及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种数据读取的方法，其特征在于，所述方法应用于集群数据库系统中的计算节点，所述集群数据系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：
所述计算节点在所述内存中查找待读取的数据页；
在未查找到所述待读取的数据页时，所述计算节点向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
所述计算节点读取所述协调节点发送的所述待读取的数据页，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的；或者，
所述计算节点接收所述协调节点发送的未查找到所述待读取的数据页的指示消息，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的，所述计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
2.根据权利要求1所述的方法，其特征在于，所述计算节点向所述协调节点发送数据获取请求之前，所述方法还包括：
所述计算节点根据淘汰算法，从内存中确定出淘汰页；
当所述淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储；
当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
3.一种数据读取的方法，其特征在于，所述方法应用于集群数据库系统中的协调节点，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述方法包括：
所述协调节点接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送给所述协调节点的；
所述协调节点根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；
所述协调节点在查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页；
所述协调节点在未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
4.根据权利要求3所述的方法，其特征在于，所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，所述从所述共享缓存中查找所述待读取的数据页，包括：
从设置在所述协调节点上的内存中查找是否有所述待读取的数据页；
当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
5.根据权利要求4所述的方法，其特征在于，所述从所述SSD中查找对应的待读取的数据页，包括：
从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息；
当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
6.根据权利要求5所述的方法，其特征在于，所述协调节点接收数据获取请求之前，所述方法还包括：
所述协调节点接收所述计算节点发送的淘汰页；
将所述淘汰页存放到所述SSD中，并将所述淘汰页的标识信息添加到所述SSD哈希表中。
7.一种应用于集群数据库系统中的计算节点，其特征在于，所述集群数据库系统还包括协调节点，所述协调节点上设置有供所述集群数据库系统中的多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述计算节点包括：
查找单元，用于在所述内存中查找待读取的数据页；
发送单元，用于所述查找单元在内存中未查找到待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
接收单元，用于接收所述协调节点发送的所述待读取的数据页或未查找到所述待读取的数据页的指示消息，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述计算节点的，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送给所述计算节点的；
读取单元，用于读取所述待读取的数据页；
所述查找单元，还用于根据所述接收单元接收的所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
8.根据权利要求7所述的计算节点，其特征在于，所述计算节点还包括：确定单元，
所述确定单元，用于根据淘汰算法，从内存中确定出淘汰页；
所述发送单元，还用于当所述确定单元确定的淘汰页为脏页时，将所述淘汰页发送到所述共享磁盘进行存储；当所述淘汰页为干净页时，将所述淘汰页发送到所述协调节点，以便所述协调节点将所述淘汰页存储到所述共享缓存中。
9.一种应用于集群数据库系统中的协调节点，其特征在于，所述集群数据系统还包括多个计算节点，所述协调节点上设置有供所述集群数据库系统中的所述多个计算节点所共享的共享缓存，每个计算节点中都分别设置有内存，所述协调节点包括：
接收单元，用于接收数据获取请求，所述数据获取请求为计算节点在内存中未查找到待读取的数据页时发送给所述协调节点的；
查找单元，用于根据所述接收单元接收的所述数据获取请求，从所述共享缓存中查找所述待读取的数据页；
发送单元，用于在所述查找单元查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送所述待读取的数据页，在所述查找单元未查找到所述待读取的数据页时，向发送所述数据获取请求的计算节点发送未查找到所述待读取的数据页的指示消息，以使所述发送所述数据获取请求的计算节点根据所述指示消息，从所述集群数据库系统的共享磁盘中查找所述待读取的数据页。
10.根据权利要求9所述的协调节点，其特征在于，所述共享缓存包括设置在所述协调节点上的内存和固态硬盘SSD，
所述查找单元，具体用于从设置在所述协调节点上的内存中查找是否有所述待读取的数据页，当在所述协调节点内存中未查找到所述待读取的数据页时，从所述SSD中查找所述待读取的数据页。
11.根据权利要求10所述的协调节点，其特征在于，
所述查找单元，具体用于从SSD哈希表中查找是否有所述待读取的数据页的标识信息，所述SSD哈希表记录所述SSD中存储的数据页的标识信息，当所述SSD哈希表中有所述待读取的数据页的标识信息时，则从所述SSD中获取对应的待读取的数据页。
12.根据权利要求11所述的协调节点，其特征在于，所述协调节点还包括：存放单元和添加单元，
所述接收单元，还用于接收所述计算节点发送的淘汰页；
所述存放单元，用于将所述接收单元接收的所述淘汰页存放到所述SSD中；
所述添加单元，用于并将所述存放单元存放到所述SSD中的淘汰页的标识信息添加到所述SSD哈希表中。
13.一种集群数据库系统，其特征在于，包括:协调节点和多个计算节点，所述协调节点上设置有供所述集群数据库系统中所述多个计算节点所共享的共享缓存，所述多个计算节点中的每个计算节点中都分别设置有内存；
所述每个计算节点，用于在未查找到待读取的数据页时，向所述协调节点发送数据获取请求，所述数据获取请求用于指示所述协调节点从所述共享缓存中查找所述待读取的数据页；
所述协调节点，用于根据所述数据获取请求，从所述共享缓存中查找所述待读取的数据页，在查找到所述待读取的数据页时，向发送所述数据获取请求的所述每个计算节点发送所述待读取的数据页；
所述每个计算节点，还用于接收所述协调节点发送的所述待读取的数据页或未查找到所述待读取的数据页的指示消息，所述待读取的数据页为所述协调节点在所述共享缓存中查找到所述待读取的数据页时发送给所述每个计算节点的，所述指示消息为所述协调节点在所述共享缓存中未查找到所述待读取的数据页时发送的。
CN201410635413.7A 2014-11-12 2014-11-12 一种数据读取的方法、装置及系统 Active CN104462225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410635413.7A CN104462225B (zh) 2014-11-12 2014-11-12 一种数据读取的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410635413.7A CN104462225B (zh) 2014-11-12 2014-11-12 一种数据读取的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN104462225A CN104462225A (zh) 2015-03-25
CN104462225B true CN104462225B (zh) 2018-01-12

Family

ID=52908261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410635413.7A Active CN104462225B (zh) 2014-11-12 2014-11-12 一种数据读取的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN104462225B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504147B (zh) 2015-01-04 2018-04-10 华为技术有限公司 一种数据库集群的资源协调方法、装置及系统
CN106201911A (zh) * 2015-05-05 2016-12-07 苏州携云信息科技有限公司 一种基于固态硬盘的缓存加速方法
CN105159985A (zh) * 2015-08-31 2015-12-16 努比亚技术有限公司 基于redis集群的数据查询装置及方法
CN106815258B (zh) * 2015-11-27 2020-01-17 华为技术有限公司 一种数据存储方法和协调节点
CN107085577B (zh) * 2016-02-15 2021-01-05 华为技术有限公司 一种加载数据页的方法、计算节点以及协调节点
CN107122354B (zh) * 2016-02-24 2020-05-08 华为技术有限公司 事务执行方法、装置及系统
CN105930519A (zh) * 2016-05-23 2016-09-07 浪潮电子信息产业股份有限公司 一种基于集群文件系统的全局共享读缓存方法
CN107832017B (zh) * 2017-11-14 2021-02-12 中国石油天然气集团有限公司 一种提高地震数据存储io性能的方法及装置
CN108415854A (zh) * 2018-02-11 2018-08-17 中国神华能源股份有限公司 基于共享缓存的数据采集系统及方法
CN111414127B (zh) * 2019-01-04 2023-04-28 阿里巴巴集团控股有限公司 计算集群系统及其数据获取方法以及电子设备
CN111506524B (zh) * 2019-01-31 2024-01-30 华为云计算技术有限公司 一种数据库中淘汰、预加载数据页的方法、装置
CN110474822B (zh) * 2019-08-08 2022-07-08 腾讯科技（深圳）有限公司 一种区块链节点检测方法、装置、设备及介质
CN114089912B (zh) * 2021-10-19 2024-05-24 银联商务股份有限公司 基于消息中间件的数据处理方法及装置、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595905A (zh) * 2004-07-04 2005-03-16 华中科技大学 基于集群的流媒体缓存代理服务器系统
CN103237313A (zh) * 2013-04-07 2013-08-07 杭州电子科技大学 基于数据输出过滤机制的无线传感器网络数据收集方法
US8818942B2 (en) * 2007-07-23 2014-08-26 Telefonaktiebolaget L M Ericsson (Publ) Database system with multiple layer distribution

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047351B2 (en) * 2010-04-12 2015-06-02 Sandisk Enterprise Ip Llc Cluster of processing nodes with distributed global flash memory using commodity server technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595905A (zh) * 2004-07-04 2005-03-16 华中科技大学 基于集群的流媒体缓存代理服务器系统
US8818942B2 (en) * 2007-07-23 2014-08-26 Telefonaktiebolaget L M Ericsson (Publ) Database system with multiple layer distribution
CN103237313A (zh) * 2013-04-07 2013-08-07 杭州电子科技大学 基于数据输出过滤机制的无线传感器网络数据收集方法

Also Published As

Publication number Publication date
CN104462225A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104462225B (zh) 一种数据读取的方法、装置及系统
CN103842969B (zh) 信息处理系统
US10114749B2 (en) Cache memory system and method for accessing cache line
EP2666111B1 (en) Storing data on storage nodes
CN108683695A (zh) 热点访问处理方法、缓存访问代理设备及分布式缓存系统
CN107395665A (zh) 一种区块链业务受理及业务共识方法及装置
US20150127691A1 (en) Efficient implementations for mapreduce systems
AU2012207328A1 (en) Storing data on storage nodes
CN107016027A (zh) 实现业务信息快速搜索的方法和装置
US20120331187A1 (en) Bandwidth control for a direct memory access unit within a data processing system
CN110737682A (zh) 一种缓存操作方法、装置、存储介质和电子设备
CN108228076B (zh) 访问磁盘的方法和主机
CN109684237A (zh) 基于多核处理器的数据访问方法和装置
CN111585887A (zh) 基于多个网络的通信方法、装置、电子设备及存储介质
WO2023185770A1 (zh) 云上数据缓存方法、装置、设备及存储介质
CN107070991A (zh) 网络数据缓存装置与系统
CN112148498A (zh) 数据同步方法、装置、服务器及存储介质
CN113535745B (zh) 一种层次化数据库操作加速系统和方法
CN108304142A (zh) 一种数据管理方法和装置
CN108234551A (zh) 一种数据处理方法及装置
CN108900482A (zh) 脚本的执行方法、服务器管理系统及存储介质
CN105915595A (zh) 一种集群存储系统存取数据的方法以及集群存储系统
CN110162395A (zh) 一种内存分配的方法及装置
US20150295991A1 (en) Method and device for browsing network data, and storage medium
CN107967273A (zh) 数据获取方法、数据节点及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant