发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据路由方法、一种数据管理装置和一种分布式存储系统。
依据本发明的一个方面,提供了一种数据路由方法,包括:
数据节点接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;以及
所述数据节点将所述数据节点信息返回给所述客户端。
可选地,所述方法还包括:
当所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点将所述元数据表返回给所述客户端。
可选地,所述数据节点包括:协调者节点和参与者节点;
则所述方法还包括:所述数据节点基于数据节点之间的通信对所述元数据表进行维护;
其中,所述数据节点基于数据节点之间的通信对所述元数据表进行维护的步骤,包括:
所述协调者节点向所有执行事务T的参与者节点发送准备消息;
各参与者节点确定是否提交事务T,若是,则向所述协调者节点返回准备就绪消息,否则,向所述协调者节点返回异常中止消息;
当从所有参与者节点获得的消息均为准备就绪消息时,所述协调者节点向所有参与者节点发出正式提交消息;
在接收到正式提交消息后,各参与者节点正式完成事务T,释放在整个事务T期间内占用的,并向协调者节点发送完成消息;
所述协调者节点在收到所有参与者节点反馈的完成消息后,完成事务;
当从所有参与者节点获得的消息中存在异常中止消息,或者,在超时之前无法获取所有参与者节点的响应消息时,所述协调者节点向所有参与者节点发出回滚消息;
各参与者节点在接收到所述回滚消息后,对事务T执行回滚操作,释放在整个T事务期间内占用的资源,并向所述协调者节点发送回滚完成消息;
协调者节点接收到所有参与者节点反馈的回滚完成消息后,取消事务T。
可选地,所述方法还包括:
所述数据节点接收来自客户端的读请求;其中,所述读请求中携带有数据的第二关键字信息;
所述数据节点依据所述读请求携带的第二关键字信息匹配自身的元数据表,得到所述第二关键字信息对应的数据节点信息;
所述数据节点依据所述第二关键字信息对应的数据节点信息,判定所述读请求对应数据是否在所述数据节点自身;
当所述第二关键字信息对应的数据节点信息为所述数据节点自身时,所述数据节点依据所述读请求查询自身的数据引擎,并将查询得到的数据返回给所述客户端;
当所述第二关键字信息对应的数据节点信息非所述数据节点自身时,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点;
接收所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端。
可选地,所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息的步骤,包括:
计算所述第一关键字信息的哈希值;
依据所述哈希值匹配所述元数据表,得到与所述哈希值对应的数据节点的数据节点信息。
根据本发明的另一方面,提供了一种数据管理装置,包括:
第一接收模块,用于接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
第一匹配模块,用于依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;以及
第一返回模块,用于将所述数据节点信息返回给所述客户端。
可选地,所述数据管理装置还包括:
第二返回模块,用于当所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点将所述元数据表返回给所述客户端。
可选地,所述数据管理装置包括:协调者节点和参与者节点;
则所述协调者节点包括:用于基于数据节点之间的通信对所述元数据表进行维护的第一维护模块;
所述参与者节点包括:前述第一接收模块、第一匹配模块、第一返回模块、以及用于基于数据节点之间的通信对所述元数据表进行维护的第二维护模块;
其中,所述第一维护模块,包括:
准备发送子模块,用于向所有执行事务T的参与者节点发送准备消息;
正式提交发送子模块,用于当从所有参与者节点获得的消息均为准备就绪消息时,向所有参与者节点发出正式提交消息;
事务完成子模块,用于在收到所有参与者节点反馈的完成消息后,完成事务;
回滚发送子模块,用于当从所有参与者节点获得的消息中存在异常中止消息,或者,在超时之前无法获取所有参与者节点的响应消息时,所述协调者节点向所有参与者节点发出回滚消息;及
事务取消子模块,用于在接收到所有参与者节点反馈的回滚完成消息后,取消事务T;
其中,所述第二维护模块,包括:
准备响应子模块,用于确定是否提交事务T,若是,则向所述协调者节点返回准备就绪消息,否则,向所述协调者节点返回异常中止消息;
事务执行子模块,用于在接收到正式提交消息后,正式完成事务T,释放在整个事务T期间内占用的,并向协调者节点发送完成消息;及
回滚子模块,用于各参与者节点在接收到所述回滚消息后,对事务T执行回滚操作,释放在整个T事务期间内占用的资源,并向所述协调者节点发送回滚完成消息。
可选地,所述数据管理装置还包括:
第二接收模块,用于接收来自客户端的读请求;其中,所述读请求中携带有数据的第二关键字信息;
第二匹配模块,用于依据所述读请求携带的第二关键字信息匹配自身的元数据表,得到所述第二关键字信息对应的数据节点信息;
判定模块,用于依据所述第二关键字信息对应的数据节点信息,判定所述读请求对应数据是否在所述数据节点自身;
查询模块,用于当所述第二关键字信息对应的数据节点信息为所述数据节点自身时,所述数据节点依据所述读请求查询自身的数据引擎,并将查询得到的数据返回给所述客户端;
转发模块,用于当所述第二关键字信息对应的数据节点信息非所述数据节点自身时,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点;
第三返回模块,用于接收所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端。
根据本发明的再一方面,提供了一种分布式存储系统,包括:客户端和前述的数据管理装置
根据本发明实施例的一种数据路由方法、一种数据管理装置和一种分布式存储系统,数据节点可以利用自身存储的元数据表来处理客户端的元数据路由请求;由于数据节点可以基于数据节点之间的通信进行元数据表的维护,使得维护的元数据表能够及时反映节点状态的变化,因此,能够保证向客户端反馈正确的数据节点信息,提高元数据路由的准确率;并且,相对于现有技术中采用专门的Master来存储并维护元数据表获取,本发明实施例减少了Master这一角色,因此能够降低分布式存储系统的运维部署成本。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图2,示出了根据本发明一个实施例的一种数据路由方法的步骤流程示意图,具体可以包括如下步骤:
步骤201、数据节点接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
步骤202、所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;
步骤203、所述数据节点将所述数据节点信息返回给所述客户端。
本发明实施例可以应用于各种业务的分布式存储系统中,用于提高元数据路由的准确率。
参照图3,示出了根据本发明一个示例的一种分布式存储系统的结构示意图,具体可以包括:客户端301和数据节点302;其中,客户端301作为业务请求的发起方,可以通过元数据路由请求从所述数据节点302获取所述元数据路由请求对应的数据节点信息,从而可以访问所述数据节点信息对应数据节点302以完成数据存取操作;数据节点302上可以存储有元数据表,且数据节点302之间可以通信,从而可以基于数据节点302之间的通信维护所述元数据表,以保证所述元数据表能够及时反映节点状态的变化。
在本发明的一种可选实施例中,所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息的步骤,具体可以包括:
子步骤A1、计算所述第一关键字信息的哈希值;
子步骤A2、依据所述哈希值匹配所述元数据表,得到所述哈希值对应数据节点信息。
在具体实现中,可以采用单向散列算法等哈希算法计算所述第一关键字信息的哈希值,本发明实施例对具体的哈希算法不加以限制。
在实际应用中,所述数据节点信息具体可以包括如下信息中的一项或多项:节点编号信息、节点属性信息和节点通信速率信息。其中,节点属性信息具体可以包括:节点可用或节点不可用等信息,节点通信速率信息可以为节点的通信速率值等等。
在本发明的一种应用示例中,所述哈希值对应数据节点的节点编号信息可以为所述数据节点自身的编号,也可以为其它数据节点的编号,无论何种情况,所述数据节点均可以将所述哈希值对应数据节点的节点编号返回给客户端,以满足客户端进一步的节点访问请求。
综上,数据节点可以利用自身存储的元数据表来处理客户端的元数据路由请求;由于数据节点可以基于数据节点之间的通信进行元数据表的维护,使得维护的元数据表能够及时反映节点状态的变化,因此,能够保证向客户端反馈正确的数据节点信息,提高元数据路由的准确率;并且,相对于现有技术中采用专门的Master来存储并维护元数据表获取,本发明实施例减少了Master这一角色,因此能够降低分布式存储系统的运维部署成本。
参照图4,示出了根据本发明一个实施例的一种数据路由方法的步骤流程示意图,具体可以包括如下步骤:
步骤401、数据节点接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
步骤402、所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;
步骤403、所述数据节点将所述数据节点信息返回给所述客户端;
步骤404、当所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点将所述元数据表返回给所述客户端。
相对于图2所示实施例,本实施例在所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点还可以将所述元数据表返回给所述客户端,也即,可以向客户端提供当前最新的元数据表,方便客户端通过查询自身的元数据表来进行元数据的路由。
对于客户端而言,其可以通过如下两种方式进行元数据的路由:方式一为通过向数据节点发送元数据路由请求来进行元数据的路由,方式二为通过查询自身的元数据表来进行元数据的路由,其中方式一具有准确率高的优点,方式二具有节省流量的优点。可以理解,本领域技术人员可以根据实际需求确定采用上述两种方式中的任一或全部,例如,在对准确率要求比较严格时,可以采用上述方式一,又如,在对流量要求比较严格时,可以采用上述方式二,或者,为了保证路由的成功率,可以同时采用上述方式一和方式二等等。
参照图5,示出了根据本发明一个实施例的一种数据路由方法的步骤流程示意图,具体可以包括如下步骤:
步骤501、数据节点接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
步骤502、所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;
步骤503、所述数据节点将所述数据节点信息返回给所述客户端;
步骤504、所述数据节点基于数据节点之间的通信对所述元数据表进行维护。
参照图6,示出了根据本发明一个实施例的一种数据节点基于数据节点之间的通信对所述元数据表进行维护的步骤流程图,具体可以包括如下步骤:
子步骤541、协调者节点向所有执行事务T的参与者节点发送准备消息;
子步骤542、各参与者节点确定是否提交事务T,若是,则向所述协调者节点返回准备就绪消息,否则,向所述协调者节点返回异常中止消息;
子步骤543、当从所有参与者节点获得的消息均为准备就绪消息时,所述协调者节点向所有参与者节点发出正式提交消息;
子步骤544、在接收到正式提交消息后,各参与者节点正式完成事务T,释放在整个事务T期间内占用的,并向协调者节点发送完成消息;
子步骤545、所述协调者节点在收到所有参与者节点反馈的完成消息后,完成事务;
子步骤546、当所述协调者节点从所有参与者节点获得的消息中存在异常中止消息,或者,在超时之前无法获取所有参与者节点的响应消息时,所述协调者节点向所有参与者节点发出回滚消息;
这里,超时可以表示从发出正式提交消息到现在超出了预置周期。
子步骤547、各参与者节点在接收到所述回滚消息后,对事务T执行回滚操作,释放在整个T事务期间内占用的资源,并向所述协调者节点发送回滚完成消息;
子步骤548、协调者节点接收到所有参与者节点反馈的回滚完成消息后,取消事务T。
相对于图1所示实施例,本实施例的数据节点具体可以包括:协调者节点和参与者节点,并且,增加了所述数据节点基于数据节点之间的通信对所述元数据表进行维护;其中,上述子步骤541-子步骤548涉及的元数据维护过程具体通过两阶段提交协议来保证所有参与者节点所维护元数据表的一致性和完整性。
两阶段提交协议的主要思想可以为:当一个事务T要对多个数据库进行操作,必须确保该多个参与者节点的数据库都提交成功,事务T才能成功,所以,协调节点可以先对多个参与者节点发出预提交,多个参与者节点返回是否可以提交,如果所有参与者节点都能提交,则协调节点可以正式提交事务T。
上述子步骤541-子步骤548涉及的元数据维护过程中,子步骤541-子步骤542为第一阶段的步骤,子步骤543-子步骤548为第二阶段的步骤。其中,在第一阶段,协调者节点将通知事务的参与者节点准备提交或取消事务,由参与者节点向协调者节点告知自己的决策:同意(准备就绪消息)或取消(异常中止消息);在第二阶段,协调者节点将基于所有参与者节点反馈的信息进行决策:提交或取消,当且仅当所有的参与者节点同意提交事务时,协调者节点才通知所有的参与者节点提交事务,否则协调者节点将通知所有的参与者节点取消事务。
需要说明的是,上述通过两阶段提交协议来保证所有参与者节点所维护元数据表的一致性和完整性的方案只是作为保证所有参与者节点所维护元数据表的一致性和完整性的可选方案,可以理解,本领域技术人员还可以根据实际需要,采用其它方案来保证所有参与者节点所维护元数据表的一致性和完整性,如三阶段提交协议等等,本发明实施例对保证所有参与者节点所维护元数据表的一致性和完整性的具体方案不加以限制。
参照图7,示出了根据本发明一个实施例的一种数据路由方法的步骤流程图,具体可以包括如下步骤:
步骤701、数据节点接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
步骤702、所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;
步骤703、所述数据节点将所述数据节点信息返回给所述客户端;
步骤704、所述数据节点接收来自客户端的读请求;其中,所述读请求中携带有数据的第二关键字信息;
步骤705、所述数据节点依据所述读请求携带的第二关键字信息匹配自身的元数据表,得到所述第二关键字信息对应的数据节点信息;
步骤706、所述数据节点依据所述第二关键字信息对应的数据节点信息,判定所述读请求对应数据是否在所述数据节点自身;
步骤707、当所述第二关键字信息对应的数据节点信息为所述数据节点自身时,所述数据节点依据所述读请求查询自身的数据引擎,并将查询得到的数据返回给所述客户端;
步骤708、当所述第二关键字信息对应的数据节点信息非所述数据节点自身时,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点;
步骤709、接收所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端。
相对于图1所示实施例,本实施例除了可以通过执行步骤701-步骤703来处理来自客户端的元数据路由请求外,还可以通过步骤704-步骤709处理来自客户端的读请求,特别地,在处理所述读请求的过程中,当所述读请求中所携带第二关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点还可以担当网络代理的角色,也即,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点,所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端;所述代理客户端转发读请求并向客户端返回读出数据的过程,能够避免客户端尝试向多个不同的数据节点发送读请求,从而节省了客户端的流量。
需要说明的是,数据节点除了可以代理客户端转发读请求并向客户端返回读出数据外,还可以代理客户端转发写请求并向客户端返回响应结果,由于代理客户端转发写请求的过程与代理客户端转发读请求的过程类似,故在此不作赘述,相互参照即可。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图8,示出了根据本发明一个实施例的一种数据管理装置的结构示意图,具体可以包括如下模块:
第一接收模块801,用于接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
第一匹配模块802,用于依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;以及
第一返回模块803,用于将所述数据节点信息返回给所述客户端。
在实际应用中,上述数据管理装置可以为数据节点本身,也可以为管理各数据节点的装置,本发明实施例对上述数据管理装置的具体位置不加以限制。
在本发明的一种可选实施例中,所述第一匹配模块802,具体可以包括:
哈希计算子模块,用于计算所述第一关键字信息的哈希值;及
哈希匹配子模块,用于依据所述哈希值匹配所述元数据表,得到所述哈希值对应数据节点信息。
在本发明的另一种可选实施例中,所述数据节点还可以包括:
第二返回模块,用于当所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点将所述元数据表返回给所述客户端。
参照图9,示出了根据本发明一个实施例的一种数据管理装置的结构示意图,具体可以包括:协调者节点901和参与者节点902;
其中,所述协调者节点901具体可以包括:用于基于数据节点之间的通信对所述元数据表进行维护的第一维护模块911;
所述参与者节点902具体可以包括如下模块:
第一接收模块921,用于接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
第一匹配模块922,用于依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;
第一返回模块923,用于将所述数据节点信息返回给所述客户端;及
第二维护模块924,用于基于数据节点之间的通信对所述元数据表进行维护的;
其中,所述第一维护模块911,具体可以包括:
准备发送子模块9111,用于向所有执行事务T的参与者节点发送准备消息;
正式提交发送子模块9112,用于当从所有参与者节点获得的消息均为准备就绪消息时,向所有参与者节点发出正式提交消息;
事务完成子模块9113,用于在收到所有参与者节点反馈的完成消息后,完成事务;
回滚发送子模块9114,用于当从所有参与者节点获得的消息中存在异常中止消息,或者,在超时之前无法获取所有参与者节点的响应消息时,所述协调者节点向所有参与者节点发出回滚消息;及
事务取消子模块9115,用于在接收到所有参与者节点反馈的回滚完成消息后,取消事务T;
其中,所述第二维护模块924,具体可以包括:
准备响应子模块9241,用于确定是否提交事务T,若是,则向所述协调者节点返回准备就绪消息,否则,向所述协调者节点返回异常中止消息;
事务执行子模块9242,用于在接收到正式提交消息后,正式完成事务T,释放在整个事务T期间内占用的,并向协调者节点发送完成消息;及
回滚子模块9243,用于各参与者节点在接收到所述回滚消息后,对事务T执行回滚操作,释放在整个T事务期间内占用的资源,并向所述协调者节点发送回滚完成消息。
参照图10,示出了根据本发明一个实施例的一种数据管理装置的结构示意图,具体可以包括如下模块:
第一接收模块1001,用于接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
第一匹配模块1002,用于依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;
第一返回模块1003,用于将所述数据节点信息返回给所述客户端;
第二接收模块1004,用于接收来自客户端的读请求;其中,所述读请求中携带有数据的第二关键字信息;
第二匹配模块1005,用于依据所述读请求携带的第二关键字信息匹配自身的元数据表,得到所述第二关键字信息对应的数据节点信息;
判定模块1006,用于依据所述第二关键字信息对应的数据节点信息,判定所述读请求对应数据是否在所述数据节点自身;
查询模块1007,用于当所述第二关键字信息对应的数据节点信息为所述数据节点自身时,所述数据节点依据所述读请求查询自身的数据引擎,并将查询得到的数据返回给所述客户端;
转发模块1008,用于当所述第二关键字信息对应的数据节点信息非所述数据节点自身时,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点;以及
第三返回模块1009,用于接收所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端。
本发明还提供了一种分布式存储系统,其具体可以包括:客户端和前述的数据管理装置。
参照图11,示出了根据本发明一个实施例的一种分布式存储系统的结构示意图,具体可以包括:客户端1101和多个数据节点1102;
其中,所述数据节点1102具体可以包括如下模块:
第一接收模块1121,用于接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
第一匹配模块1122,用于依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;以及
第一返回模块1123,用于将所述数据节点信息返回给所述客户端。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据路由方法、数据管理装置和分布式存储系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网平台上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种数据路由方法,包括:
数据节点接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;以及
所述数据节点将所述数据节点信息返回给所述客户端。
A2、如A1所述的方法,所述方法还包括:
当所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点将所述元数据表返回给所述客户端。
A3、如A1或A2所述的方法,所述数据节点包括:协调者节点和参与者节点;
则所述方法还包括:所述数据节点基于数据节点之间的通信对所述元数据表进行维护;
其中,所述数据节点基于数据节点之间的通信对所述元数据表进行维护的步骤,包括:
所述协调者节点向所有执行事务T的参与者节点发送准备消息;
各参与者节点确定是否提交事务T,若是,则向所述协调者节点返回准备就绪消息,否则,向所述协调者节点返回异常中止消息;
当从所有参与者节点获得的消息均为准备就绪消息时,所述协调者节点向所有参与者节点发出正式提交消息;
在接收到正式提交消息后,各参与者节点正式完成事务T,释放在整个事务T期间内占用的,并向协调者节点发送完成消息;
所述协调者节点在收到所有参与者节点反馈的完成消息后,完成事务;
当从所有参与者节点获得的消息中存在异常中止消息,或者,在超时之前无法获取所有参与者节点的响应消息时,所述协调者节点向所有参与者节点发出回滚消息;
各参与者节点在接收到所述回滚消息后,对事务T执行回滚操作,释放在整个T事务期间内占用的资源,并向所述协调者节点发送回滚完成消息;
协调者节点接收到所有参与者节点反馈的回滚完成消息后,取消事务T。
A4、如A1或A2或A3所述的方法,所述方法还包括:
所述数据节点接收来自客户端的读请求;其中,所述读请求中携带有数据的第二关键字信息;
所述数据节点依据所述读请求携带的第二关键字信息匹配自身的元数据表,得到所述第二关键字信息对应的数据节点信息;
所述数据节点依据所述第二关键字信息对应的数据节点信息,判定所述读请求对应数据是否在所述数据节点自身;
当所述第二关键字信息对应的数据节点信息为所述数据节点自身时,所述数据节点依据所述读请求查询自身的数据引擎,并将查询得到的数据返回给所述客户端;
当所述第二关键字信息对应的数据节点信息非所述数据节点自身时,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点;
接收所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端。
A5、如A1或A2或A3所述的方法,所述数据节点依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息的步骤,包括:
计算所述第一关键字信息的哈希值;
依据所述哈希值匹配所述元数据表,得到与所述哈希值对应的数据节点的数据节点信息。
A6、如A1或A2或A3所述的方法,所述数据节点信息包括如下信息中的一项或多项:节点编号信息、节点属性信息和节点通信速率信息。
本发明还公开了B7、一种数据管理装置,包括:
第一接收模块,用于接收来自客户端的元数据路由请求;其中,所述元数据路由请求中携带有数据的第一关键字信息;
第一匹配模块,用于依据所述第一关键字信息匹配自身的元数据表,得到所述第一关键字信息对应的数据节点信息;其中,所述元数据表存储有关键字对应的数据节点信息,所述元数据表为基于数据节点之间的通信维护得到;以及
第一返回模块,用于将所述数据节点信息返回给所述客户端。
B8、如B7所述的数据管理装置,所述数据管理装置还包括:
第二返回模块,用于当所述第一关键字信息对应的数据节点信息非所述数据节点自身时,所述数据节点将所述元数据表返回给所述客户端。
B9、如B7或B8所述的数据管理装置,所述数据管理装置包括:协调者节点和参与者节点;
则所述协调者节点包括:用于基于数据节点之间的通信对所述元数据表进行维护的第一维护模块;
所述参与者节点包括:前述第一接收模块、第一匹配模块、第一返回模块、以及用于基于数据节点之间的通信对所述元数据表进行维护的第二维护模块;
其中,所述第一维护模块,包括:
准备发送子模块,用于向所有执行事务T的参与者节点发送准备消息;
正式提交发送子模块,用于当从所有参与者节点获得的消息均为准备就绪消息时,向所有参与者节点发出正式提交消息;
事务完成子模块,用于在收到所有参与者节点反馈的完成消息后,完成事务;
回滚发送子模块,用于当从所有参与者节点获得的消息中存在异常中止消息,或者,在超时之前无法获取所有参与者节点的响应消息时,所述协调者节点向所有参与者节点发出回滚消息;及
事务取消子模块,用于在接收到所有参与者节点反馈的回滚完成消息后,取消事务T;
其中,所述第二维护模块,包括:
准备响应子模块,用于确定是否提交事务T,若是,则向所述协调者节点返回准备就绪消息,否则,向所述协调者节点返回异常中止消息;
事务执行子模块,用于在接收到正式提交消息后,正式完成事务T,释放在整个事务T期间内占用的,并向协调者节点发送完成消息;及
回滚子模块,用于各参与者节点在接收到所述回滚消息后,对事务T执行回滚操作,释放在整个T事务期间内占用的资源,并向所述协调者节点发送回滚完成消息。
B10、如B7或B8或B9所述的数据管理装置,所述数据管理装置还包括:
第二接收模块,用于接收来自客户端的读请求;其中,所述读请求中携带有数据的第二关键字信息;
第二匹配模块,用于依据所述读请求携带的第二关键字信息匹配自身的元数据表,得到所述第二关键字信息对应的数据节点信息;
判定模块,用于依据所述第二关键字信息对应的数据节点信息,判定所述读请求对应数据是否在所述数据节点自身;
查询模块,用于当所述第二关键字信息对应的数据节点信息为所述数据节点自身时,所述数据节点依据所述读请求查询自身的数据引擎,并将查询得到的数据返回给所述客户端;
转发模块,用于当所述第二关键字信息对应的数据节点信息非所述数据节点自身时,将所述读请求转发给第二关键字信息对应的数据节点信息所对应的第一数据节点;
第三返回模块,用于接收所述第一数据节点返回的所述读请求对应的数据,并返回给所述客户端。
B11、如B7或B8或B9所述的数据管理装置,所述第一匹配模块,包括:
哈希计算子模块,用于计算所述第一关键字信息的哈希值;及
哈希匹配子模块,用于依据所述哈希值匹配所述元数据表,得到与所述哈希值对应的数据节点的数据节点信息。
B12、如B7或B8或B9所述的数据管理装置,所述数据节点信息包括如下信息中的一项或多项:节点编号信息、节点属性信息和节点通信速率信息。
C13、一种分布式存储系统,包括:客户端和前述B7至B12中任一所述的数据管理装置。