CN107888634A - 一种分布式存储系统的数据请求方法及装置 - Google Patents

一种分布式存储系统的数据请求方法及装置 Download PDF

Info

Publication number
CN107888634A
CN107888634A CN201610866584.XA CN201610866584A CN107888634A CN 107888634 A CN107888634 A CN 107888634A CN 201610866584 A CN201610866584 A CN 201610866584A CN 107888634 A CN107888634 A CN 107888634A
Authority
CN
China
Prior art keywords
server
current
data
current goal
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610866584.XA
Other languages
English (en)
Other versions
CN107888634B (zh
Inventor
李坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201610866584.XA priority Critical patent/CN107888634B/zh
Publication of CN107888634A publication Critical patent/CN107888634A/zh
Application granted granted Critical
Publication of CN107888634B publication Critical patent/CN107888634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例公开了一种分布式存储系统的数据请求方法,应用于分布式存储系统中的客户端;方法包括:确定当前目标服务器;向当前目标服务器发送针对目标数据的当前数据请求;在当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据;如果否,将一个与当前目标服务器对等的服务器确定为当前目标服务器;向当前目标服务器发送当前数据子请求;返回判断在当前目标服务器对应的定时时长内,是否接收到当前目标服务器返回的目标数据的步骤,直到接收到任意一个目标服务器返回的目标数据或当前数据请求超时。应用本发明实施例,能够减少请求的整体响应时间。

Description

一种分布式存储系统的数据请求方法及装置
技术领域
本发明涉及分布式系统的业务处理领域,特别涉及一种分布式存储系统的数据请求方法及装置。
背景技术
随着计算机网络技术的日益普及和迅速发展,人们在日常生活中接触和处理的数据呈爆炸式增长,为了满足人们的需求,需要对数量繁多的数据进行存储,然而,对于单台计算机而言,其存储能力有限,为了存储数量繁多的数据,分布式存储系统应运而生。
在分布式存储系统中,为了负载均衡,通常设置多个对等的服务器,当客户端获取到针对目标数据的请求后,向服务器发送请求,若该服务器的响应时间大于预设的超时值,说明此次请求失败,客户端接收不到该服务器反馈的目标数据,在该服务器的响应时间大于该服务器的超时时长的情况下,或者在客户端接收到该服务器反馈的不可用信息的情况下,向与已经接收请求服务器之外的其他对等服务器中的一个服务器发送请求。
但在上述方法中,如果服务器因为网络延迟等问题造成响应过慢,会导致请求的整体响应时间较长。
发明内容
本发明实施例的目的在于提供一种分布式存储系统的数据请求方法及装置,以减少请求的整体响应时间。
为达到上述目的,本发明实施例公开了一种分布式存储系统的数据请求方法,应用于分布式存储系统中的客户端,所述方法包括:
确定当前目标服务器;
向当前目标服务器发送针对目标数据的当前数据请求;
在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,其中,所述当前目标服务器对应的定时时长小于当前数据请求的超时时长;
如果否,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
向所述当前目标服务器发送当前数据子请求,其中,所述当前数据子请求的目标数据与所述当前数据请求相同;
返回所述判断在当前数据请求的超时时长内,是否接收到所述目标数据的步骤。
较佳的,所述的方法还包括:
若当前数据请求超时,未接收到意一个目标服务器返回的目标数据,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
返回所述向当前目标服务器发送针对目标数据的当前数据请求的步骤。
较佳的,所述客户端存储有对等服务器列表;
所述确定当前目标服务器,包括:针对目标数据从所述对等服务器列表中选择一个服务器,确定为当前目标服务器;
所述将一个与所述当前目标服务器对等的服务器确定为当前目标服务器,包括:从所述对等服务器列表中选择一个未被选择过的对等服务器,确定为当前目标服务器。
较佳的,在接收到任意一个目标服务器返回的目标数据后,还包括:
丢弃从其他目标服务器返回的目标数据。
较佳的,所述当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长。
为达到上述目的,本发明实施例公开了一种分布式存储系统的数据请求装置,应用于分布式存储系统中的客户端;所述装置包括:
第一确定模块,用于确定当前目标服务器;
第一发送模块,用于向当前目标服务器发送针对目标数据的当前数据请求;
判断模块,用于在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,其中,所述当前目标服务器对应的定时时长小于当前数据请求的超时时长;
第二确定模块,用于在所述判断模块的判断结果为否的情况下,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
第二发送模块,用于向所述当前目标服务器发送当前数据子请求,并返回执行所述判断模块,其中,所述当前数据子请求的目标数据与所述当前数据请求相同。
较佳的,所述的装置还包括:
第三确定模块,用于若当前数据请求超时,未接收到任意一个目标服务器返回的目标数据,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
较佳的,所述的装置还包括:
第四确定模块,用于若接收到针对当前数据请求返回的不可用信息,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
较佳的,所述客户端存储有对等服务器列表;
所述第一确定模块,具体用于:
针对目标数据从所述对等服务器列表中选择一个服务器,确定为当前目标服务器;
所述第二确定模块,具体用于:
在所述判断模块的判断结果为否的情况下,从所述对等服务器列表中选择一个未被选择过的对等服务器,确定为当前目标服务器。
较佳的,其特征在于,所述装置还包括:
丢弃模块,用于在接收到任意一个目标服务器返回的目标数据后,丢弃从其他目标服务器返回的目标数据。
较佳的,所述当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长。
由上述技术方案可见,本发明实施例提供一种分布式存储系统的数据请求方法及装置,应用于分布式存储系统中的客户端;所述方法包括:确定当前目标服务器;向当前目标服务器发送针对目标数据的当前数据请求;在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,其中,所述当前目标服务器对应的定时时长小于数据请求的超时时长;如果否,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;向所述当前目标服务器发送当前数据子请求;所述当前数据子请求的目标数据与所述当前数据请求相同;返回所述判断在与当前目标服务器对应的定时时长内,是否接收到当前目标服务器返回的目标数据的步骤,直到接收到任意一个目标服务器返回的目标数据或当前数据请求超时。
应用本发明实施例,相较于现有技术中,将数据请求发送响应时间比较长的目标服务器时,只有在目标服务器响应时间大于超时时长才会向其他服务器发送请求,本发明实施例针对当前目标服务器对应的定时时长小于的当前数据请求的超时时长,将请求发送响应时间比较长的目标服务器时向其他目标服务器发送请求,在当前目标服务器对应的定时时长内,如果没有接收到目标数据,则向最新确定的当前目标服务器发送当前数据子请求,此时,从定时时长到超时时长这段时间内,可以等待至少两个目标服务器向自身返回目标数据,相较于现有技术,减少了请求的整体响应时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式存储系统的数据请求方法的流程示意图;
图2为客户端向服务器发送数据请求示意图;
图3为本发明实施例提供的一种分布式存储系统的数据请求装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术问题,本发明实施例分布式存储系统的数据请求方法及装置,下面首先对本发明实施例所提供的一种分布式存储系统的数据请求方法进行介绍。
需要说明的是,本发明实施例优选应用于分布式存储系统的客户端。
图1为本发明实施例提供的一种分布式存储系统的数据请求方法的流程示意图。方法可以包括:
S101:确定当前目标服务器。
具体的,客户端存储有对等服务器列表,
确定当前目标服务器可以包括:针对目标数据从对等服务器列表中选择一个服务器,确定为当前目标服务器。
客户端存储有对等服务器列表,对等服务器列表可以是客户端根据服务器反馈的自身存储的数据信息建立并存储的,也可以是客户端接收对等服务器列表并存储。当然,对等服务器列表的来源并不仅限于此。
示例性的,客户端存储的对等服务器列表可以如表1所示。
表1
数据 服务器
数据1 A、B、C、D
数据2 A、B、D
数据3 B、C、D、E
数据4 C、D
数据5 C、E、F
假设,目标数据为数据1,根据对等服务器列表,可以确定数据1的对等服务器可以为服务器A、B、C和D,客户端可以随机在服务器A、B、C和D中确定一个服务器作为当前目标服务器。客户端也可以预先对服务器A、B、C和D进行排序,将排序最靠前的服务器确定为当前目标服务器,具体的,可以根据服务器的名称进行排序,也可以根据服务器的负载进行排序,在这里,只是举例说明排序的方法,并不仅限于此。客户端可以预先存储的对等服务器与定时时长的对应关系,将对等服务器中最短的定时时长对应的服务器确定为当前目标服务器。在实际应用中,可以根据实际情况,选择不同的方法在服务器A、B、C和D中确定当前目标服务器,并不仅限于上述提供的确定当前目标服务器的方法。
S102:向当前目标服务器发送针对目标数据的当前数据请求。
假设,在S101中确定的当前目标服务器为服务器A,则客户端向服务器A发送针对数据1的当前数据请求。
这里所说的当前数据请求,是针对当前目标服务器而言是当前数据请求。
在实际应用中,在第一次发送当前数据请求之前,客户端会生成一个数据请求管理器实例,数据请求管理器向当前目标服务器发送当前数据请求,如果确定的当前目标服务器为服务器A,则向服务器A发送当前数据请求。
S103:在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,其中,所述与当前目标服务器对应的定时时长小于当前数据请求的超时时长。
在实际应用中,需要说明的是,当前数据请求的超时时长从向当前目标服务器发送当前数据请求时开始计时。当前数据请求的超时时长可以理解为针对当前目标服务器设置的超时时长,当前数据请求的超时时长可以根据实际情况而设置,可以针对不同的服务器设置相同的超时时长,也可以设置不同的超时时长。
当前目标服务器对应的定时时长从向目标服务器发送当前数据请求时开始计时,客户端可以针对每个服务器都设置相同的定时时长,还可以针对不同服务器设置不同的定时时长。当前目标服务器对应的定时时长是从发送当前数据请求时开始计时。
这里所说的判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,可以理解为判断在到达当前目标服务器对应的定时时长时,是否接收到目标服务器返回的目标数据。
在实际应用中,客户端可以预先设置如表2所示的服务器与定时时长的对应关系。
表2
服务器 定时时长
A 5秒
B 5.5秒
C 4.5秒
D 5秒
假设,将服务器A确定为当前目标服务器,则服务器A对应的5秒则为当前目标服务器对应的定时时长。在实际应用中,客户端向服务器A发送当前数据请求时,会设置针对服务器A的定时时长对应的定时器,该定时器的定时时长为5秒,客户端可以针对每一个服务器根据其对应的定时时长,设置对应的定时器。
在实际应用中,当前服务器对应的定时时长可以根据实际情况进行动态的调整,以达到缩短请求的整体响应时间的目的。
具体的,所述当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长。
当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长,这样不能保证接收到数据请求的当前目标服务器有足够的时间将目标数据发送给客户端,不会增加额外的请求压力,避免了过大的性能损耗,还能够将请求的整体响应时间缩短至可控的范围。
S104:将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
具体的,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器的,包括:从所述对等服务器列表中选择一个未被选择过的对等服务器,确定为当前目标服务器。
在实际应用中,在当前目标服务器对应的定时时长内没有接收到目标数据,即,服务器A对应的定时器被触发,没有接收到目标数据,说明因为网络延时等问题造成服务器A的响应过慢,为了减少请求的整体响应时间,需要进行重试,再次确定当前目标服务器。
以表1为例,数据1的对等服务器分别为服务器A、B、C和D,服务器A已经被确定为当前目标服务器,则再次确定当前目标服务器时,需要在服务器B、C和D中选择一个服务器,将选择的服务器确定为当前服务器。
S105:向所述当前目标服务器发送当前数据子请求,其中,所述当前数据子请求的目标数据与所述当前数据请求相同。
在实际应用中,管理器会新建一个当前数据子请求,并回调线程向当前目标服务器发送该当前数据子请求。线程,操作系统技术中的术语,是操作系统能够进行运算调度的最小单位,线程被包涵在进程之中,是进程中的实际运作单位。进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动,它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元,管理器用于管理正在运行的进程。
客户端在发送当前数据子请求后,会重复执行S103。
需要说明的是,在本发明实施例中,如果客户端接收到任意一个目标服务器返回的目标数据或当前数据请求超时,就会停止执行本发明实施例中的步骤。在实际应用中,如果根据本发明实施例提供的方法向所有对等的服务器发送数据请求后,不会进行确定当前目标服务器的步骤,客户端这时会等待目标服务器反馈目标数据,如果发送的所有数据请求都超时,则客户端不再等待目标服务器反馈目标数据。
当前数据请求超时,只是就当前目标服务器而言的超时,示例性的,当前目标服务器为服务器A,当前数据请求为向服务器A发送的数据请求,如果当前数据请求超时,则服务器A对数据请求响应超过针对服务器A设置的超时时长,这时,客户端不会再根据服务器A的超时时长和定时时长,判断是否需要确定当前目标服务器。
在本发明的一个优选实施例中,方法还可以包括:
若当前数据请求超时,未接收到任意一个目标服务器返回的目标数据,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;返回执行S102。
当前目标服务器因为网络延迟等问题造成响应过慢,造成当前数据请求超时。当前数据请求超时,未接收到目标数据包含了两个判断过程,先判断当前数据请求是否超时,在当前数据请求超时的情况下,判断是否接收到目标数据,如果没有接收到目标数据,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器,并返回执行S102。在当前数据请求超时且未接收到目标数据的情况下,需要再次确定当前服务器,并将当前服务器发送当前数据请求,保证在同一时间段内,客户端可以等待至少一个目标服务器响应该数据请求,在整体上进一步降低了请求的响应时间。
在本发明的一个优选实施例中,方法还可以包括:
若接收到针对当前数据请求返回的不可用信息,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;返回执行S102。
当前目标服务器接收到数据请求时,若自身存储的目标数据因损坏或者已删除等情况,不能向客户端反馈目标数据,则会向客户端发送一个不可用的信息,当客户端接收到该不可用信息后,为了降低请求的整体响应时间,会将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。客户端在同一段时间内,客户端可以等待至少一个目标服务器响应该数据请求,在整体上进一步降低了请求的响应时间。
在接收到任意一个目标服务器返回的目标数据后,方法还可以包括:
丢弃从其他目标服务器返回的目标数据。
在实际应用中,当客户端接收到任意一个目标服务器返回的目标数据,将目标数据返回给调用方,调用方为需求目标数据的用户,同时通知管理器负责接收其余目标服务器返回的目标数据,如果接收到其余目标服务器返回的目标数据,则将该目标数据丢弃。
在实际应用中,管理器每发送一个针对目标数据的数据请求,都会在原有的计数加1,在满足以下任意一种情况时,计数就会减1:
接收到目标服务器返回的目标数据;
接收到目标服务器返回的不可用信息;
数据请求超时。
当计数为0时,则释放管理器。
参见图2,对本发明实施例提供的分布式存储系统中的数据请求方法进行说明,图2中所示的抛物线为客户端向服务器发送数据请求,并接收到服务器反馈的信息的过程示意。客户端确定当前目标服务器,假设为服务器A,向服务器A发送当前数据请求,参见图2中单次请求所示的过程,客户端接收到服务器A返回目标数据,说明向服务器A发送的数据请求为成功的请求,因此,针对目标数据的数据请求过程结束。
参见图2中所示的重试请求所示的过程,客户端向服务器A发送的数据请求为返回不可用信息的请求,客户端从服务器A的对等服务器中确定当前目标服务器,假设为服务器B,客户端向服务器B发送当前数据请求,服务器B返回目标数据,客户端接收到目标数据,则说明向服务器B发送的数据请求为成功的请求,针对目标数据的数据请求过程结束。
参见图2中定时时长超时的过程,客户端向服务器A发送的数据请求为返回不可用信息的请求,从服务器A的对等服务器中确定当前目标服务器,假设为服务器B,客户端向服务器B发送当前数据请求,客户端在服务器A的定时时长内没有接收到服务器B返回的目标数据,则说明服务器B返回目标数据比较慢,为了降低请求的整体响应时间,客户端需要从服务器A和B的对等服务器中确定当前目标服务器,假设为服务器C,客户端向服务器C发送当前数据子请求,当前数据子请求的目标数据与向服务器A发送的当前数据请求相同,客户端接收到服务器C返回的目标数据,说明向服务器C发送的子请求为成功的请求,服务器B因为网络延迟等问题而造成响应过慢,造成向服务器B发送的请求为超时的请求。在定时时长超时的过程中,客户端可能在接收到服务器C返回的目标数据后,在服务器A的超时时长内,接收到服务器B返回的目标数据,客户端接收到服务器B返回的目标数据后,将从服务器B返回的目标数据丢弃。客户端也可能在服务器A的超时时长内没有接收到服务器B返回的目标数据,在服务器B的超时时长内接收到服务器B返回的目标数据,则丢弃服务器B返回的目标数据。客户端也可能在服务器B的超时时长内,没有接收服务器B返回的目标数据,服务器B对接收到的数据请求的响应时间大于服务器B的超时时长,服务器B响应超时。
下面结合具体数据通过一个具体实例对本发明实施例提供的一种分布式存储系统中数据请求方法进行说明。
对等服务器列表如表1所示,假设目标数据为数据1,针对数据1的服务器与定时时长的关系如表2所示,服务器与超时时长的关系如表3所示。
表3
服务器 超时时长
A 8秒
B 8秒
C 8秒
D 8.5秒
假设,确定的当前目标服务器为服务器A,客户端向服务器A发送当前数据请求,当前数据请求的超时时长即为服务器A对应的超时时长,即8秒,在8秒的时长内,判断在目标服务器A对应的定时时长内,即5秒内,是否接收到目标服务器返回的目标数据,客户端没有接收到目标数据,则根据表1,确定的当前目标服务器为服务器B,向服务器B发送当前数据子请求,此时客户端可以等待服务器A和B向自身返回目标数据,在等待的过程中,针对服务器A发送的当前数据请求超时,但没有接收到目标数据,则在服务器C和D中确定目标服务器,假设确定的当前目标服务器为服务器C,则向服务器C发送请求,此时客户端可以等待服务器B和C向自身返回目标数据。
客户端会确定在针对服务器B的超时时长内,没有接收到目标数据,则确定服务器D为当前目标服务器,向服务器D发送当前数据子请求,服务器D接收到当前数据子请求后,将目标数据返回给客户端。如果客户端在接收到服务器D返回的目标数据后,又接收到服务器C的发送的数据,则丢弃服务器C发送的目标数据。
在其他条件相同的情况下,在现有技术中,当客户端按照上述顺序向服务器发送数据请求,即:客户端向服务器A发送数据请求,针对服务器A的数据请求超时,没有接收到目标数据,则向服务器B发送数据请求;针对服务器B的数据请求超时,没有接收到目标数据,则向服务器C发送数据请求;针对服务器C的数据请求超时,没有接收到目标数据,则向服务器D发送数据请求。现有的技术,从客户端向服务器A发送数据请求到接收到服务器D返回的目标数据用时24秒。应用本发明实施例的具体实例,则只需要用时10.5秒。应用本发明实施例,在整体上缩短了请求的响应时间。
应用本发明实施例,相较于现有技术中,将数据请求发送响应时间比较长的目标服务器时,只有在目标服务器响应时间大于超时时长才会向其他服务器发送请求,本发明实施例针对当前目标服务器对应的定时时长小于的当前数据请求的超时时长,将请求发送响应时间比较长的目标服务器时向其他目标服务器发送请求,在当前目标服务器对应的定时时长内,如果没有接收到目标数据,则向最新确定的当前目标服务器发送当前数据子请求,此时,从定时时长到超时时长这段时间内,可以等待至少两个目标服务器向自身反馈目标数据,相较于现有技术,减少了请求的整体响应时间。同现有技术相比,应用本发明实施例提供的方法,因减少了请求的整体响应时间,提升了分布式存储系统的可用性。
图3为本发明实施例提供的分布式存储系统的数据请求装置的结构示意图,该装置应用于分布式存储系统中的客户端,包括:第一确定模块301、第一发送模块302、判断模块303、第二确定模块304和第二发送模块305。
第一确定模块301,用于确定当前目标服务器;
第一发送模块302,用于向当前目标服务器发送针对目标数据的当前数据请求。
判断模块303,用于在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据;所述与当前目标服务器对应的定时时长小于当前数据请求的超时时长;
在本发明的具体实施例中,所述当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长。
第二确定模块304,用于在所述判断模块303的判断结果为否的情况下,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
第二发送模块305,用于向所述当前目标服务器发送当前数据子请求,并返回执行所述判断模块303,其中,所述当前数据子请求的目标数据与所述当前数据请求相同。
在本发明的一个优先实施例中,装置还包括第三确定模块(图3未示出)。
第三确定模块,用于若当前数据请求超时,未接收到任意一个目标服务器返回的目标数据,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
在本发明的一个优先实施例中,装置还包括第四确定模块(图3未示出)。
第四确定模块,用于若接收到针对当前数据请求返回的不可用信息,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
在本发明的具体实施例中,所述客户端存储有对等服务器列表;
第一确定模块301,具体用于:
针对目标数据从所述对等服务器列表中选择一个服务器,确定为当前目标服务器;
第二确定模块304,具体用于:
在所述判断模块的判断结果为否的情况下,从所述对等服务器列表中选择一个未被选择过的对等服务器,确定为当前目标服务器。
在本发明的一个优先实施例中,装置还包括丢弃模块(图3未示出)。
丢弃模块,用于在接收到任意一个目标服务器返回的目标数据后,丢弃从其他目标服务器返回的目标数据。
应用本发明实施例,相较于现有技术中,将数据请求发送响应时间比较长的目标服务器时,只有在目标服务器响应时间大于超时时长才会向其他服务器发送请求,本发明实施例针对当前目标服务器对应的定时时长小于的当前数据请求的超时时长,将请求发送响应时间比较长的目标服务器时向其他目标服务器发送请求,在当前目标服务器对应的定时时长内,如果没有接收到目标数据,则向最新确定的当前目标服务器发送当前数据子请求,此时,从定时时长到超时时长这段时间内,可以等待至少两个目标服务器向自身反馈目标数据,相较于现有技术,减少了请求的整体响应时间。同现有技术相比,应用本发明实施例提供的方法,因减少了请求的整体响应时间,提升了分布式存储系统的可用性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (12)

1.一种分布式存储系统的数据请求方法,应用于分布式存储系统中的客户端;其特征在于,所述方法包括:
确定当前目标服务器;
向当前目标服务器发送针对目标数据的当前数据请求;
在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,其中,所述当前目标服务器对应的定时时长小于当前数据请求的超时时长;
如果否,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
向所述当前目标服务器发送当前数据子请求,其中,所述当前数据子请求的目标数据与所述当前数据请求相同;
返回所述判断在当前目标服务器对应的定时时长内,是否接收到当前目标服务器返回的目标数据的步骤,直到接收到任意一个目标服务器返回的目标数据或当前数据请求超时。
2.根据权利要求1所述的方法,其特征在于,所述的方法还包括:
若当前数据请求超时,未接收到任意一个目标服务器返回的目标数据,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
返回所述向当前目标服务器发送针对目标数据的当前数据请求的步骤。
3.根据权利要求1所述的方法,其特征在于,所述的方法还包括:
若接收到针对当前数据请求返回的不可用信息,则将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
返回所述向当前目标服务器发送针对目标数据的当前数据请求的步骤。
4.根据权利要求1所述的方法,其特征在于,所述客户端存储有对等服务器列表;
所述确定当前目标服务器的,包括:针对目标数据从所述对等服务器列表中选择一个服务器,确定为当前目标服务器;
所述将一个与所述当前目标服务器对等的服务器确定为当前目标服务器的,包括:从所述对等服务器列表中选择一个未被选择过的对等服务器,确定为当前目标服务器。
5.根据权利要求1所述的方法,其特征在于,在接收到任意一个目标服务器返回的目标数据后,还包括:
丢弃从其他目标服务器返回的目标数据。
6.根据权利要求权1-5任一项所述的方法,其特征在于,
所述当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长。
7.一种分布式存储系统的数据请求装置,应用于分布式存储系统中的客户端;其特征在于,所述装置包括:
第一确定模块,用于确定当前目标服务器;
第一发送模块,用于向当前目标服务器发送针对目标数据的当前数据请求;
判断模块,用于在所述当前数据请求的超时时长内,判断在当前目标服务器对应的定时时长内,是否接收到目标服务器返回的目标数据,其中,所述当前目标服务器对应的定时时长小于当前数据请求的超时时长;
第二确定模块,用于在所述判断模块的判断结果为否的情况下,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器;
第二发送模块,用于向所述当前目标服务器发送当前数据子请求,并返回执行所述判断模块,其中,所述当前数据子请求的目标数据与所述当前数据请求相同。
8.根据权利要求7所述的装置,其特征在于,所述的装置还包括:
第三确定模块,用于若当前数据请求超时,未接收到任意一个目标服务器返回的目标数据,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
9.根据权利要求7所述的装置,其特征在于,所述的装置还包括:
第四确定模块,用于若接收到针对当前数据请求返回的不可用信息,将一个与所述当前目标服务器对等的服务器确定为当前目标服务器。
10.根据权利要求7所述的装置,其特征在于,所述客户端存储有对等服务器列表;
所述第一确定模块,具体用于:
针对目标数据从所述对等服务器列表中选择一个服务器,确定为当前目标服务器;
所述第二确定模块,具体用于:
在所述判断模块的判断结果为否的情况下,从所述对等服务器列表中选择一个未被选择过的对等服务器,确定为当前目标服务器。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
丢弃模块,用于在接收到任意一个目标服务器返回的目标数据后,丢弃从其他目标服务器返回的目标数据。
12.根据权利要求权7-11任一项所述的装置,其特征在于,
所述当前目标服务器对应的定时时长大于预先统计的收到目标数据的平均延迟时长。
CN201610866584.XA 2016-09-29 2016-09-29 一种分布式存储系统的数据请求方法及装置 Active CN107888634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610866584.XA CN107888634B (zh) 2016-09-29 2016-09-29 一种分布式存储系统的数据请求方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610866584.XA CN107888634B (zh) 2016-09-29 2016-09-29 一种分布式存储系统的数据请求方法及装置

Publications (2)

Publication Number Publication Date
CN107888634A true CN107888634A (zh) 2018-04-06
CN107888634B CN107888634B (zh) 2021-05-28

Family

ID=61769004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610866584.XA Active CN107888634B (zh) 2016-09-29 2016-09-29 一种分布式存储系统的数据请求方法及装置

Country Status (1)

Country Link
CN (1) CN107888634B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875035A (zh) * 2018-06-25 2018-11-23 郑州云海信息技术有限公司 分布式文件系统的数据存储方法及相关设备
CN110333937A (zh) * 2019-05-30 2019-10-15 平安科技(深圳)有限公司 任务分发方法、装置、计算机设备和存储介质
CN111314414A (zh) * 2019-12-17 2020-06-19 聚好看科技股份有限公司 数据传输方法、装置及系统
CN111381951A (zh) * 2020-03-06 2020-07-07 北京思特奇信息技术股份有限公司 一种系统架构中脏数据处理方法、装置及存储介质
CN111506403A (zh) * 2020-04-03 2020-08-07 北京声智科技有限公司 一种多服务处理方法及装置
WO2020211378A1 (zh) * 2019-04-15 2020-10-22 平安科技(深圳)有限公司 请求处理方法、装置、计算机设备和存储介质
CN112615901A (zh) * 2020-11-26 2021-04-06 新华三大数据技术有限公司 一种客户端发送用户请求的方法和存储系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件系统管理方法及集群文件系统
CN102265277A (zh) * 2011-06-01 2011-11-30 华为技术有限公司 数据存储系统的操作方法和装置
CN103095812A (zh) * 2012-12-29 2013-05-08 华中科技大学 一种基于用户请求响应时间的副本创建方法
CN104424113A (zh) * 2013-08-22 2015-03-18 株式会社东芝 存储设备及数据处理方法
CN105451260A (zh) * 2014-08-12 2016-03-30 优视科技有限公司 网络请求方法、网络波动性衡量方法及装置
CN105760556A (zh) * 2016-04-19 2016-07-13 江苏物联网研究发展中心 低延时高吞吐量的多副本文件读写优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件系统管理方法及集群文件系统
CN102265277A (zh) * 2011-06-01 2011-11-30 华为技术有限公司 数据存储系统的操作方法和装置
CN103095812A (zh) * 2012-12-29 2013-05-08 华中科技大学 一种基于用户请求响应时间的副本创建方法
CN104424113A (zh) * 2013-08-22 2015-03-18 株式会社东芝 存储设备及数据处理方法
CN105451260A (zh) * 2014-08-12 2016-03-30 优视科技有限公司 网络请求方法、网络波动性衡量方法及装置
CN105760556A (zh) * 2016-04-19 2016-07-13 江苏物联网研究发展中心 低延时高吞吐量的多副本文件读写优化方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875035A (zh) * 2018-06-25 2018-11-23 郑州云海信息技术有限公司 分布式文件系统的数据存储方法及相关设备
CN108875035B (zh) * 2018-06-25 2022-02-18 郑州云海信息技术有限公司 分布式文件系统的数据存储方法及相关设备
WO2020211378A1 (zh) * 2019-04-15 2020-10-22 平安科技(深圳)有限公司 请求处理方法、装置、计算机设备和存储介质
CN110333937A (zh) * 2019-05-30 2019-10-15 平安科技(深圳)有限公司 任务分发方法、装置、计算机设备和存储介质
CN110333937B (zh) * 2019-05-30 2023-08-29 平安科技(深圳)有限公司 任务分发方法、装置、计算机设备和存储介质
CN111314414A (zh) * 2019-12-17 2020-06-19 聚好看科技股份有限公司 数据传输方法、装置及系统
CN111314414B (zh) * 2019-12-17 2021-09-28 聚好看科技股份有限公司 数据传输方法、装置及系统
CN111381951A (zh) * 2020-03-06 2020-07-07 北京思特奇信息技术股份有限公司 一种系统架构中脏数据处理方法、装置及存储介质
CN111381951B (zh) * 2020-03-06 2023-06-30 北京思特奇信息技术股份有限公司 一种系统架构中脏数据处理方法、装置及存储介质
CN111506403A (zh) * 2020-04-03 2020-08-07 北京声智科技有限公司 一种多服务处理方法及装置
CN112615901A (zh) * 2020-11-26 2021-04-06 新华三大数据技术有限公司 一种客户端发送用户请求的方法和存储系统

Also Published As

Publication number Publication date
CN107888634B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN107888634A (zh) 一种分布式存储系统的数据请求方法及装置
CN109246229B (zh) 一种分发资源获取请求的方法和装置
CN107800768B (zh) 开放平台控制方法和系统
US7904523B2 (en) Intelligent delayed broadcast method and apparatus
CN103036926B (zh) 业务推送系统及方法
JP2000507428A (ja) 有限メモリコンピュータシステム上におけるクライアント管理フロー制御方法及び装置
US8122449B2 (en) Determining whether to retain or terminate a thread based on a minimum number of threads in a thread pool and a maximum number of threads allowed waiting on the channel
CN106462593B (zh) 大规模并行处理数据库的系统和方法
US20090006520A1 (en) Multiple Thread Pools for Processing Requests
CN105516086B (zh) 业务处理方法及装置
US9037703B1 (en) System and methods for managing system resources on distributed servers
CN112286693B (zh) 一种高并发场景下抢购活动的精细化限流处理方法、装置
CN108681481A (zh) 业务请求的处理方法及装置
CN111427670A (zh) 任务调度方法和系统
CN103944979A (zh) 一种消息推送方法、装置及系统
CN108429703B (zh) Dhcp客户端上线方法及装置
CN107025257A (zh) 一种事务处理方法及装置
EP3672203A1 (en) Distribution method for distributed data computing, device, server and storage medium
CN108712494A (zh) 处理异步消息的方法、装置及设备
CN106506640B (zh) 一种snmp请求的处理方法及装置
CN117032987A (zh) 分布式任务调度方法、系统、设备及计算机可读介质
CN106980463A (zh) 存储系统的服务质量控制方法和装置
CN106790632B (zh) 一种流数据的并发传输方法和装置
US6912586B1 (en) Apparatus for journaling during software deployment and method therefor
JP3487515B2 (ja) 分散処理システムおよび分散処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant