CN110401701A - 一种分布式数据传输方法、系统、设备及计算机存储介质 - Google Patents
一种分布式数据传输方法、系统、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN110401701A CN110401701A CN201910603970.3A CN201910603970A CN110401701A CN 110401701 A CN110401701 A CN 110401701A CN 201910603970 A CN201910603970 A CN 201910603970A CN 110401701 A CN110401701 A CN 110401701A
- Authority
- CN
- China
- Prior art keywords
- written
- distributed data
- distributed
- data
- timed task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种分布式数据传输方法、系统、设备及计算机存储介质，应用于分布式对象存储系统，基于NFS协议接收NFS客户端发送的数据写入请求；接收与数据写入请求对应的待写入分布式数据；在开始将待写入分布式数据写入自身时，启动对应的定时任务；在将待写入分布式数据完全写入自身后，结束定时任务。本申请提供的一种分布式数据传输方法、系统、设备及计算机可读存储介质，分布式对象存储系统接收待写入分布式数据后，在开始将待写入分布式数据写入自身时，启动对应的定时任务，在将待写入分布式数据完全写入自身后，结束定时任务，使得借助定时任务可以判断待写入数据是否完全写入自身，保证了分布式对象存储的数据完整性。
Description
技术领域
本申请涉及分布式对象存储技术领域，更具体地说，涉及一种分布式数据传输方法、系统、设备及计算机存储介质。
背景技术
NFS(Network File System，网络文件系统)可与分布式对象存储系统进行对接，即上层为文件系统服务，底层为分布式对象存储系统。
然而，在基于NFS协议向分布式对象存储系统上传数据时，无法获取分布式数据的总体大小，因此也无法向NFS客户端提供数据传输完成的标识，导致分布式对象存储的数据完整性难以保证。
综上所述，如何保证分布式对象存储的数据完整性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种分布式数据传输方法，其能在一定程度上解决如何保证分布式对象存储的数据完整性的技术问题。本申请还提供了一种分布式数据传输系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种分布式数据传输方法，应用于分布式对象存储系统，包括：
基于NFS协议接收NFS客户端发送的数据写入请求；
接收与所述数据写入请求对应的待写入分布式数据；
在开始将所述待写入分布式数据写入自身时，启动对应的定时任务；
在将所述待写入分布式数据完全写入自身后，结束所述定时任务。
优选的，所述启动对应的定时任务，包括：
启动对应的第一预设时长的定时任务；
所述启动对应的第一预设时长的定时任务之后，所述结束所述定时任务之前，还包括：
判断所述定时任务对应的所述第一预设时长内，所述待写入分布式数据是否完全写入自身，若否，则延长所述定时任务的时长。
优选的，在将所述待写入分布式数据完全写入自身后，结束所述定时任务，包括：
判断当前时刻之前的第二预设时长内，是否写入所述待写入分布式数据，若否，则判定所述待写入分布式数据完全写入自身，并结束所述定时任务。
优选的，所述判断当前时刻之前的第二预设时长内，是否写入所述待写入分布式数据，包括：
实时判断当前时刻之前的第二预设时长内，是否写入所述待写入分布式数据。
优选的，所述基于NFS协议接收NFS客户端发送的数据写入请求，包括：
基于NFS V3协议接收NFS客户端发送的数据写入请求。
优选的，所述结束所述定时任务之后，还包括：
返回所述待写入分布式数据已完全写入的信息至所述NFS客户端。
优选的，所述结束所述定时任务之后，还包括：
保存所述数据写入请求及所述定时任务记录的时长。
一种分布式数据传输系统，应用于分布式对象存储系统，包括：
第一接收模块，用于基于NFS协议接收NFS客户端发送的数据写入请求；
第二接收模块，用于接收与所述数据写入请求对应的待写入分布式数据；
第一启动模块，用于在开始将所述待写入分布式数据写入自身时，启动对应的定时任务；
第一结束模块，用于在将所述待写入分布式数据完全写入自身后，结束所述定时任务。
一种分布式数据传输设备，应用于分布式对象存储系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述的分布式数据传输方法的步骤。
一种计算机可读存储介质，应用于分布式对象存储系统，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述的分布式数据传输方法的步骤。
本申请提供的一种分布式数据传输方法，应用于分布式对象存储系统，基于NFS协议接收NFS客户端发送的数据写入请求；接收与数据写入请求对应的待写入分布式数据；在开始将待写入分布式数据写入自身时，启动对应的定时任务；在将待写入分布式数据完全写入自身后，结束定时任务。本申请提供的一种分布式数据传输方法，分布式对象存储系统接收待写入分布式数据后，在开始将待写入分布式数据写入自身时，启动对应的定时任务，在将待写入分布式数据完全写入自身后，结束定时任务，使得借助定时任务可以判断待写入数据是否完全写入自身，从而为待写入数据写入自身的过程提供了一种完成判断条件，使得可以根据定时任务的完成来保证分布式对象存储的数据完整性。本申请提供的一种分布式数据传输系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种分布式数据传输方法的第一流程图；
图2为本申请实施例提供的一种分布式数据传输方法的第二流程图；
图3为本申请实施例提供的一种分布式数据传输系统的结构示意图；
图4为本申请实施例提供的一种分布式数据传输设备的结构示意图；
图5为本申请实施例提供的一种分布式数据传输设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
NFS(Network File System，网络文件系统)可与分布式对象存储系统进行对接，即上层为文件系统服务，底层为分布式对象存储系统。然而，在基于NFS协议向分布式对象存储系统上传数据时，无法获取分布式数据的总体大小，因此也无法向NFS客户端提供数据传输完成的标识，导致分布式对象存储的数据完整性难以保证。本申请提供的一种分布式数据传输方法可以保证分布式对象存储的数据完整性。
请参阅图1，图1为本申请实施例提供的一种分布式数据传输方法的第一流程图。
本申请实施例提供的一种分布式数据传输方法，应用于分布式对象存储系统，可以包括以下步骤：
步骤S101：基于NFS协议接收NFS客户端发送的数据写入请求。
实际应用中，分布式对象存储系统可以先基于NFS协议接收NFS客户端发送的数据写入请求，NFS客户端指的是支持NFS协议的客户端，具体的，分布式对象存储系统可以实时接收数据写入请求，也可以定时接收数据写入请求等。数据写入请求的具体形式和内容可以根据实际需要确定。
具体应用场景中，NFS协议可以具体为NFS V3协议，则分布式对象存储系统基于NFS协议接收NFS客户端发送的数据写入请求的过程可以为：基于NFS V3协议接收NFS客户端发送的数据写入请求。
步骤S102：接收与数据写入请求对应的待写入分布式数据。
实际应用中，分布式对象存储系统在接收数据写入请求后，便可以接收与数据写入请求对应的待写入分布式数据，待写入分布式数据可以由NFS客户端主动发送给分布式对象存储系统，也可以由NFS客户端借助数据写入请求发送至分布式对象存储系统等。具体应用场景中，分布式对象存储系统每接收一个待写入分布式数据，便对待写入分布式数据进行处理，当待写入分布式数据的数据量较大时，可以由NFS客户端将待写入分布式数据切分为待写入分布式数据块，之后由NFS客户端将每一个待写入分布式数据块发送至分布式对象存储系统，分布式对象存储系统按照对待写入分布式数据的处理方式对待写入分布式数据块进行处理，以此提高处理效率。此外，分布式对象存储系统还可以以并行处理方式对待写入分布式数据进行处理，以此来提高处理效率。
步骤S103：在开始将待写入分布式数据写入自身时，启动对应的定时任务。
实际应用中，分布式对象存储系统在开始将待写入分布式数据写入自身时，便开启与待写入分布式数据对应的定时任务，定时任务用于记录待写入分布式数据被写入至分布式对象存储系统中所用的时长。不难理解，在待写入分布式数据对应的定时任务不存在时，分布式对象存储系统需先创建定时任务。
具体应用场景中，分布式对象存储系统将待写入分布式数据完全写入自身所需的时间难以准确确定，所以在启动对应的定时任务时，可以启动对应的第一预设时长的定时任务；在启动对应的第一预设时长的定时任务之后，在结束定时任务之前，可以判断定时任务对应的第一预设时长内，待写入分布式数据是否完全写入自身，若否，则延长定时任务的时长。具体的，可以实时判断定时任务对应的时长内，待写入分布式数据是否完全写入自身。
步骤S104：在将待写入分布式数据完全写入自身后，结束定时任务。
实际应用中，分布式对象存储系统在将待写入分布式数据完全写入自身后，需结束定时任务，以此表示待写入分布式数据已完全写入分布式对象存储系统。
具体应用场景中，难以准确判定待写入分布式数据完全写入至分布式对象存储系统中的时刻，为了尽早确定该时刻，分布式对象存储系统在将待写入分布式数据完全写入自身后，结束定时任务的过程可以具体为：判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据，若否，则判定待写入分布式数据完全写入自身，并结束定时任务。具体的，可以实时判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据。
具体应用场景中，分布式对象存储系统结束定时任务之后，为了便于NFS客户端执行后续步骤，比如NFS客户端发送新的待写入分布式数据至分布式对象存储系统，分布式对象存储系统还可以返回待写入分布式数据已完全写入的信息至NFS客户端。
具体应用场景中，为了便于外界了解待写入分布式数据的写入情况，分布式对象存储系统结束定时任务之后，还可以保存数据写入请求及定时任务记录的时长。
本申请提供的一种分布式数据传输方法，应用于分布式对象存储系统，基于NFS协议接收NFS客户端发送的数据写入请求；接收与数据写入请求对应的待写入分布式数据；在开始将待写入分布式数据写入自身时，启动对应的定时任务；在将待写入分布式数据完全写入自身后，结束定时任务。本申请提供的一种分布式数据传输方法，分布式对象存储系统接收待写入分布式数据后，在开始将待写入分布式数据写入自身时，启动对应的定时任务，在将待写入分布式数据完全写入自身后，结束定时任务，使得借助定时任务可以判断待写入数据是否完全写入自身，从而为待写入数据写入自身的过程提供了一种完成判断条件，使得可以根据定时任务的完成来保证分布式对象存储的数据完整性。
请参阅图2，图2为本申请实施例提供的一种分布式数据传输方法的第二流程图。
实际应用中，本申请实施例提供的一种分布式数据传输方法可以包括以下步骤：
步骤S201：基于NFS V3协议接收NFS客户端发送的数据写入请求。
步骤S202：接收与数据写入请求对应的待写入分布式数据。
步骤S203：在开始将待写入分布式数据写入自身时，启动对应的第一预设时长的定时任务。
实际应用中，定时任务的作用是为了尽快确定NFS客户端将数据传输完成的结果，所以第一预设时长可以根据NFS客户端发送的待写入数据的数据量来确定，比如NFS客户端可以在数据写入请求中写入待写入数据的数据量，根据待写入数据的数据量来确定第一预设时长等。
步骤S204：实时判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据，若是，则执行步骤S205，若否，则执行步骤S207。
实际应用中，NFS客户端传输完数据后，便不会写入待写入分布式数据，所以可以根据这一特性来判断数据是否传输完成，比如判断当前时刻之前的第二预设时长内是否写入待写入数据等，由于第二预设时长决定了数据传输完成的判断准确度，比如第二预设时长较长的话，第二预设时长内写入待写入数据的概率较大，那么判定数据传输完成的准确度较低，而第二预设时长较短的话，第二预设时长内写入待写入数据的概率较低，那么判定数据传输完成的准确度较高，所以可以根据外界判断数据传输完成的准确度来设定第二预设时长。
步骤S205：判断当前时刻是否属于定时任务的结束时刻，若是，则执行步骤S206，若否，则执行步骤S204。
步骤S206：延长定时任务的时长，返回执行步骤S204。
步骤S207：结束定时任务，返回待写入分布式数据已完全写入的信息至NFS客户端。
本申请还提供了一种分布式数据传输系统，其具有本申请实施例提供的一种分布式数据传输方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种分布式数据传输系统的结构示意图。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，可以包括：
第一接收模块101，用于基于NFS协议接收NFS客户端发送的数据写入请求；
第二接收模块102，用于接收与数据写入请求对应的待写入分布式数据；
第一启动模块103，用于在开始将待写入分布式数据写入自身时，启动对应的定时任务；
第一结束模块104，用于在将待写入分布式数据完全写入自身后，结束定时任务。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，第一启动模块可以包括：
第一启动单元，用于启动对应的第一预设时长的定时任务；
相应的，还可以包括：
第一判断模块，用于第一启动单元启动对应的第一预设时长的定时任务之后，第一结束模块结束定时任务之前，判断定时任务对应的第一预设时长内，待写入分布式数据是否完全写入自身，若否，则延长定时任务的时长。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，第一结束模块可以包括：
第一判断单元，用于判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据，若否，则判定待写入分布式数据完全写入自身，并结束定时任务。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，第一判断单元可以包括：
第一判断子单元，用于实时判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，第一接收模块可以包括：
第一接收单元，用于基于NFS V3协议接收NFS客户端发送的数据写入请求。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，还可以包括：
第一返回模块，用于第一结束模块结束定时任务之后，返回待写入分布式数据已完全写入的信息至NFS客户端。
本申请实施例提供的一种分布式数据传输系统，应用于分布式对象存储系统，还可以包括：
第一保存模块，用于第一结束模块结束定时任务之后，保存数据写入请求及定时任务记录的时长。
本申请还提供了一种分布式数据传输设备及计算机可读存储介质，其均具有本申请实施例提供的一种分布式数据传输方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种分布式数据传输设备的结构示意图。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时实现如下步骤：
基于NFS协议接收NFS客户端发送的数据写入请求；
接收与数据写入请求对应的待写入分布式数据；
在开始将待写入分布式数据写入自身时，启动对应的定时任务；
在将待写入分布式数据完全写入自身后，结束定时任务。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：启动对应的第一预设时长的定时任务；启动对应的第一预设时长的定时任务之后，结束定时任务之前，判断定时任务对应的第一预设时长内，待写入分布式数据是否完全写入自身，若否，则延长定时任务的时长。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据，若否，则判定待写入分布式数据完全写入自身，并结束定时任务。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：实时判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：基于NFS V3协议接收NFS客户端发送的数据写入请求。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：结束定时任务之后，返回待写入分布式数据已完全写入的信息至NFS客户端。
本申请实施例提供的一种分布式数据传输设备，应用于分布式对象存储系统，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：结束定时任务之后，保存数据写入请求及定时任务记录的时长。
请参阅图5，本申请实施例提供的另一种分布式数据传输设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现分布式数据传输设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
基于NFS协议接收NFS客户端发送的数据写入请求；
接收与数据写入请求对应的待写入分布式数据；
在开始将待写入分布式数据写入自身时，启动对应的定时任务；
在将待写入分布式数据完全写入自身后，结束定时任务。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：启动对应的第一预设时长的定时任务；启动对应的第一预设时长的定时任务之后，结束定时任务之前，判断定时任务对应的第一预设时长内，待写入分布式数据是否完全写入自身，若否，则延长定时任务的时长。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据，若否，则判定待写入分布式数据完全写入自身，并结束定时任务。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：实时判断当前时刻之前的第二预设时长内，是否写入待写入分布式数据。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：基于NFS V3协议接收NFS客户端发送的数据写入请求。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：结束定时任务之后，返回待写入分布式数据已完全写入的信息至NFS客户端。
本申请实施例提供的一种计算机可读存储介质，应用于分布式对象存储系统，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：结束定时任务之后，保存数据写入请求及定时任务记录的时长。
本申请涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种分布式数据传输系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种分布式数据传输方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种分布式数据传输方法，其特征在于，应用于分布式对象存储系统，包括：
基于NFS协议接收NFS客户端发送的数据写入请求；
接收与所述数据写入请求对应的待写入分布式数据；
在开始将所述待写入分布式数据写入自身时，启动对应的定时任务；
在将所述待写入分布式数据完全写入自身后，结束所述定时任务。
2.根据权利要求1所述的方法，其特征在于，所述启动对应的定时任务，包括：
启动对应的第一预设时长的定时任务；
所述启动对应的第一预设时长的定时任务之后，所述结束所述定时任务之前，还包括：
判断所述定时任务对应的所述第一预设时长内，所述待写入分布式数据是否完全写入自身，若否，则延长所述定时任务的时长。
3.根据权利要求1所述的方法，其特征在于，在将所述待写入分布式数据完全写入自身后，结束所述定时任务，包括：
判断当前时刻之前的第二预设时长内，是否写入所述待写入分布式数据，若否，则判定所述待写入分布式数据完全写入自身，并结束所述定时任务。
4.根据权利要求3所述的方法，其特征在于，所述判断当前时刻之前的第二预设时长内，是否写入所述待写入分布式数据，包括：
实时判断当前时刻之前的第二预设时长内，是否写入所述待写入分布式数据。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于NFS协议接收NFS客户端发送的数据写入请求，包括：
基于NFS V3协议接收NFS客户端发送的数据写入请求。
6.根据权利要求5所述的方法，其特征在于，所述结束所述定时任务之后，还包括：
返回所述待写入分布式数据已完全写入的信息至所述NFS客户端。
7.根据权利要求5所述的方法，其特征在于，所述结束所述定时任务之后，还包括：
保存所述数据写入请求及所述定时任务记录的时长。
8.一种分布式数据传输系统，其特征在于，应用于分布式对象存储系统，包括：
第一接收模块，用于基于NFS协议接收NFS客户端发送的数据写入请求；
第二接收模块，用于接收与所述数据写入请求对应的待写入分布式数据；
第一启动模块，用于在开始将所述待写入分布式数据写入自身时，启动对应的定时任务；
第一结束模块，用于在将所述待写入分布式数据完全写入自身后，结束所述定时任务。
9.一种分布式数据传输设备，其特征在于，应用于分布式对象存储系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的分布式数据传输方法的步骤。
10.一种计算机可读存储介质，其特征在于，应用于分布式对象存储系统，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式数据传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910603970.3A CN110401701A (zh) | 2019-07-05 | 2019-07-05 | 一种分布式数据传输方法、系统、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910603970.3A CN110401701A (zh) | 2019-07-05 | 2019-07-05 | 一种分布式数据传输方法、系统、设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110401701A true CN110401701A (zh) | 2019-11-01 |
Family
ID=68323819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910603970.3A Pending CN110401701A (zh) | 2019-07-05 | 2019-07-05 | 一种分布式数据传输方法、系统、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110401701A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150113010A1 (en) * | 2013-10-23 | 2015-04-23 | Netapp, Inc. | Distributed file system gateway |
| CN105471955A (zh) * | 2014-09-11 | 2016-04-06 | 北京金山云网络技术有限公司 | 分布式文件系统的写方法、客户端设备及分布式文件系统 |
| CN105760467A (zh) * | 2016-02-05 | 2016-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种数据实时读写方法、装置、系统及nfs服务器 |
| CN106776980A (zh) * | 2016-12-06 | 2017-05-31 | 上海爱数信息技术股份有限公司 | 一种文档同步方法及系统、文档同步客户端 |
| CN107229424A (zh) * | 2017-05-31 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种分布式存储系统数据写入方法及分布式存储系统 |
| US20180018340A1 (en) * | 2016-07-15 | 2018-01-18 | Fujitsu Limited | Information processing system, information processing apparatus, and non-transitory computer-readable recording medium |
| WO2018030667A1 (ko) * | 2016-08-08 | 2018-02-15 | (주)나무소프트 | 피싱 또는 랜섬웨어 공격을 차단하는 방법 및 시스템 |
| CN108021333A (zh) * | 2016-11-03 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 随机读写数据的系统、装置及方法 |
| CN109062512A (zh) * | 2018-07-26 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种分布式存储集群、数据读写方法、系统及相关装置 |
| US20190026305A1 (en) * | 2010-12-14 | 2019-01-24 | Commvault Systems, Inc. | Distributed deduplicated storage system |
| CN109491789A (zh) * | 2018-11-02 | 2019-03-19 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统业务均衡处理方法、装置及设备 |
| CN109656895A (zh) * | 2018-11-28 | 2019-04-19 | 平安科技（深圳）有限公司 | 分布式存储系统、数据写入方法、装置和存储介质 |
-
2019
- 2019-07-05 CN CN201910603970.3A patent/CN110401701A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026305A1 (en) * | 2010-12-14 | 2019-01-24 | Commvault Systems, Inc. | Distributed deduplicated storage system |
| US20150113010A1 (en) * | 2013-10-23 | 2015-04-23 | Netapp, Inc. | Distributed file system gateway |
| CN105471955A (zh) * | 2014-09-11 | 2016-04-06 | 北京金山云网络技术有限公司 | 分布式文件系统的写方法、客户端设备及分布式文件系统 |
| CN105760467A (zh) * | 2016-02-05 | 2016-07-13 | 浪潮(北京)电子信息产业有限公司 | 一种数据实时读写方法、装置、系统及nfs服务器 |
| US20180018340A1 (en) * | 2016-07-15 | 2018-01-18 | Fujitsu Limited | Information processing system, information processing apparatus, and non-transitory computer-readable recording medium |
| WO2018030667A1 (ko) * | 2016-08-08 | 2018-02-15 | (주)나무소프트 | 피싱 또는 랜섬웨어 공격을 차단하는 방법 및 시스템 |
| CN108021333A (zh) * | 2016-11-03 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 随机读写数据的系统、装置及方法 |
| CN106776980A (zh) * | 2016-12-06 | 2017-05-31 | 上海爱数信息技术股份有限公司 | 一种文档同步方法及系统、文档同步客户端 |
| CN107229424A (zh) * | 2017-05-31 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种分布式存储系统数据写入方法及分布式存储系统 |
| CN109062512A (zh) * | 2018-07-26 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种分布式存储集群、数据读写方法、系统及相关装置 |
| CN109491789A (zh) * | 2018-11-02 | 2019-03-19 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统业务均衡处理方法、装置及设备 |
| CN109656895A (zh) * | 2018-11-28 | 2019-04-19 | 平安科技（深圳）有限公司 | 分布式存储系统、数据写入方法、装置和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨阳，王品等: "NFS在分布式数控系统中的应用与改进", 《计算机系统应用》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200374482A1 (en) | Image transmission device and method including an image data receiver and a processor | |
| CN104135741A (zh) | 蓝牙低功耗通信的方法、蓝牙设备和系统 | |
| CN109559226A (zh) | 区块链交易执行方法、系统及电子设备和存储介质 | |
| JP2008507201A5 (zh) | ||
| CN109460188A (zh) | 一种数据迁移方法、系统、设备及计算机可读存储介质 | |
| US20160330283A1 (en) | Data Storage Method and Network Interface Card | |
| CN103546467A (zh) | 在TCP/IP网络上传输Modbus RTU协议的方法 | |
| CN106331148A (zh) | 一种客户端数据读取时的缓存管理方法及其装置 | |
| CN104468667A (zh) | 消息推送方法、装置和服务器 | |
| CN105676023A (zh) | 故障录波数据的记录方法和系统 | |
| CN103491152A (zh) | 分布式文件系统中元数据获取方法、装置及系统 | |
| CN103780633A (zh) | 移动终端、网络服务器上传文件的方法和装置 | |
| CN108052094A (zh) | 一种扩展卡识别方法、装置及变频器 | |
| CN101877666A (zh) | 基于零拷贝方式的多应用程序报文接收方法和装置 | |
| CN108829612A (zh) | 一种地址映射方法、系统、设备及计算机可读存储介质 | |
| CN104284351B (zh) | 一种测距方法及装置 | |
| CN104917696A (zh) | 一种用于低速串行总线的周期和非周期混杂通信方法及系统 | |
| CN110401701A (zh) | 一种分布式数据传输方法、系统、设备及计算机存储介质 | |
| CN111614526B (zh) | 一种hinoc链路快速维护方法、装置、存储介质及终端 | |
| CN110515563A (zh) | 一种存储池管理方法、系统、设备及计算机可读存储介质 | |
| CN101778377B (zh) | 参数配置方法、移动终端和终端设备 | |
| CN105242987B (zh) | 一种快照扩容的灾备方法、装置及系统 | |
| CN103176753A (zh) | 存储设备及其数据管理方法 | |
| CN105471930A (zh) | 一种读取分布式数据的方法、系统和设备 | |
| CN104335552A (zh) | 数据接口睡眠模式逻辑 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191101 |