CN107704201B - 数据存储处理方法及装置 - Google Patents

数据存储处理方法及装置 Download PDF

Info

Publication number
CN107704201B
CN107704201B CN201710811462.5A CN201710811462A CN107704201B CN 107704201 B CN107704201 B CN 107704201B CN 201710811462 A CN201710811462 A CN 201710811462A CN 107704201 B CN107704201 B CN 107704201B
Authority
CN
China
Prior art keywords
storage node
data file
information
hash value
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710811462.5A
Other languages
English (en)
Other versions
CN107704201A (zh
Inventor
林子皇
杨清强
张兵兵
严晓杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Jiwei Technology Co ltd
Original Assignee
Xiamen Jiwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Jiwei Technology Co ltd filed Critical Xiamen Jiwei Technology Co ltd
Priority to CN201710811462.5A priority Critical patent/CN107704201B/zh
Publication of CN107704201A publication Critical patent/CN107704201A/zh
Application granted granted Critical
Publication of CN107704201B publication Critical patent/CN107704201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种数据存储处理方法及装置，该方法包括：写存储节点接收客户端发送的第一数据文件并存储；对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息；写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息，达到提高写操作的性能，提高集群间存储节点的性能。

Description

数据存储处理方法及装置
技术领域
本发明涉及数据存储技术领域，尤其涉及一种数据存储处理方法及装置。
背景技术
分布式存储系统的数据分布，算法至少要考虑以下三个因素：故障域隔离、负载均衡、控制节点加入离开时引起的数据迁移量。
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。采用消除中心节点存储服务架构，允许客户端直接和Ceph OSD守护进程通讯。Ceph通过CRUSH算法，来计算对象的位置信息，而不是依赖一个中心化的查询表。消除了单点故障、提高性能和伸缩性等。
Ceph采用强一致性存储服务，假设集群设置3副本，客户端直连OSD，进行写操作，则需要另外2个副本确认后，该操作才算完成。所以，当有大量的写操作，就会直接响应速度，进而影响整个分布式存储集群性能。
发明内容
本发明提供一种数据存储处理方法及装置，用于解决现有技术中数据存储性能较低的问题。
第一方面，本发明提供一种数据存储处理方法，包括：
写存储节点接收客户端发送的第一数据文件并存储；
对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息；
写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
可选地，还包括：
所述写存储节点接收到所述读存储节点发送的第二请求，所述第二请求包括哈希值，所述第二请求为所述读存储节点接收到所述客户端发送的第一请求，对所述第一请求进行处理获得哈希值后，发出的请求，所述第一请求包括文件信息；
根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点，以使所述读存储节点将所述第二数据文件发送给所述客户端。
第二方面，本发明提供一种数据存储处理方法，包括：
读存储节点接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
可选地，还包括：
所述读存储节点接收所述客户端发送的第一请求，所述第一请求包括文件信息；
对所述文件信息进行解析获得对应的哈希值，并向所述写存储节点发送第二请求，以使所述写存储节点根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点；
所述读存储节点接收所述第二数据文件，将所述第二数据文件发送给所述客户端。
第三方面，本发明提供一种数据存储处理装置，包括：
存储模块，用于接收客户端发送的第一数据文件并存储；
计算模块，用于对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
发送模块，用于将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并发出第一提示信息；
提示模块，用于接收所述第一提示信息后，向所述客户端发送第二提示信息。
可选地，还包括：
接收模块，用于接收到所述读存储节点发送的第二请求，所述第二请求包括哈希值，所述第二请求为所述读存储节点接收到所述客户端发送的第一请求，对所述第一请求进行处理获得哈希值后，发出的请求，所述第一请求包括文件信息；
获取模块，用于根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点，以使所述读存储节点将所述第二数据文件发送给所述客户端。
第四方面，本发明提供一种数据存储处理装置，包括：
处理模块，用于接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
存储模块，用于将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
可选地，还包括：
接收模块，用于所述读存储节点接收所述客户端发送的第一请求，所述第一请求包括文件信息；
匹配模块，用于对所述文件信息进行解析获得对应的哈希值，并向所述写存储节点发送第二请求，以使所述写存储节点根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点；
反馈模块，用于接收所述第二数据文件，将所述第二数据文件发送给所述客户端。
第五方面，本发明提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在第一处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如上述的方法。
第六方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法。
由上述技术方案可知，本发明实施例提供的数据存储处理方法及装置，通过写存储节点接收客户端发送的数据文件并存储，并对数据文件进行解析获得文件信息，对文件信息进行处理获得数据文件哈希值，在将数据文件的哈希值发送给读存储节点，以使所述读存储节点将数据文件的哈希值存储并向写存储节点发送提示信息，写存储节点再向客户端发送第二提示信息，达到提高写操作的性能，提高集群间存储节点的性能。
附图说明
图1为本发明一实施例提供的数据存储处理方法的流程示意图；
图2为本发明一实施例提供的数据存储处理方法的流程示意图；
图3为本发明一实施例提供的数据存储处理方法的流程示意图；
图4为本发明一实施例提供的数据存储处理方法的流程示意图；
图5为本发明一实施例提供的数据存储处理方式的交互示意图；
图6为本发明一实施例提供的数据存储处理装置的结构示意图；
图7为本发明一实施例提供的数据存储处理装置的结构示意图；
图8为本发明一实施例提供的数据存储处理装置的结构示意图；
图9为本发明一实施例提供的数据存储处理装置的结构示意图；
图10为本发明一实施例提供的电子设备的结构示意图
图11为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明实施例中出现的第一数据文件和第二数据文件为区分本发明的写数据过程与读数据过程中的文件而命名。
本发明实施例中出现的第一提示信息和第二提示信息均为告知写数据过程完成的提示信息。
本发明实施例中出现的第一请求和第二请求均为读数据过程中的读数据请求。
本发明实施例中出现的写存储节点和读存储节点为系统基于数据读写分离模型下的存储节点。
图1示出了本发明一实施例提供一种数据存储处理方法，包括：
S11、写存储节点接收客户端发送的第一数据文件并存储。
在本步骤中，需要说明的是，在本发明实施例中，客户端需要对某一数据文件进行存储，此时，客户端会将所选要存储的数据文件发送给写存储节点。写存储节点进行写数据操作，将数据文件进行存储。
S12、对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值。
在本步骤中，需要说明的是，在本发明实施例中，写存储节点能够对数据文件进行解析获得数据文件的文件信息。该文件信息可包括文件大小、时间、类型等信息。写存储节点基于CRUSH算法根据文件信息计算数据文件对应的哈希值(hash值)。
S13、将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息。
在本步骤中，需要说明的是，在本发明实施例中，写存储节点将数据文件的哈希值发送给读存储节点。读存储节点将数据文件的哈希值进行存储，并向写存储节点发送提示信息。该提示信息用于告知写存储节点哈希值存储成功。
S14、写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
在本步骤中，需要说明的是，在本发明实施例中，写存储节点接收到读存储节点的提示信息后，再向客户端发送提示信息。再次发送的提示信息用于告知客户端数据文件存储成功。
本发明实施例提供的数据存储处理方法，通过写存储节点接收客户端发送的数据文件并存储，并对数据文件进行解析获得文件信息，对文件信息进行处理获得数据文件哈希值，在将数据文件的哈希值发送给读存储节点，以使所述读存储节点将数据文件的哈希值存储并向写存储节点发送提示信息，写存储节点再向客户端发送第二提示信息，达到提高写操作的性能，提高集群间存储节点的性能。
图2示出了本发明实施例提供的一种数据存储处理方法，包括：
S21、所述写存储节点接收到所述读存储节点发送的第二请求，所述第二请求包括哈希值，所述第二请求为所述读存储节点接收到所述客户端发送的第一请求，对所述第一请求进行处理获得哈希值后，发出的请求，所述第一请求包括文件信息。
在本步骤中，在本发明实施例中，需要说明的是读数据操作。首先，客户端会向读存储节点发送请求，该请求包括数据文件的文件信息。读存储节点对文件信息进行计算获得数据文件的哈希值，并将哈希值以请求方式发送给写存储节点，写存储节点接收请求，得到数据文件的哈希值。
S22、根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点，以使所述读存储节点将所述第二数据文件发送给所述客户端。
在本步骤中，需要说明的是，在本发明实施例中，写存储节点根据哈希值获得对应的数据文件，并将数据文件发送给读存储节点。读存储节点将数据文件发送给客户端。
本发明实施例提供的数据存储处理方法，通过写存储节点接收到读存储节点发送的第二请求，根据所述第二请求中的哈希值获得对应的数据文件，将数据文件发送给读存储节点，以使读存储节点将数据文件发送给客户端，达到提高读操作的性能，提高集群间存储节点的性能。
图3示出了本发明一实施例提供的一种数据存储处理方法，包括：
S31、读存储节点接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
S32、读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
在本实施例中，本方法的执行主体是读存储节点，对于读存储节点的执行过程的解释在上述实施例1中有详细说明在此不再赘述。
本发明实施例提供的数据存储处理方法，通过读存储节点接收写存储节点接收到客户端发送的数据文件并存储后，对数据文件进行解析获得文件信息，对文件信息进行处理获得数据文件的哈希值，并将数据文件的哈希值存储并向写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息，达到提高写操作的性能，提高集群间存储节点的性能。
图3示出了本发明一实施例提供的一种数据存储处理方法，包括：
S41、所述读存储节点接收所述客户端发送的第一请求，所述第一请求包括文件信息；
S42、对所述文件信息进行解析获得对应的哈希值，并向所述写存储节点发送第二请求，以使所述写存储节点根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点；
S43、所述读存储节点接收所述第二数据文件，将所述第二数据文件发送给所述客户端。
在本实施例中，本方法的执行主体是读存储节点，对于读存储节点的执行过程的解释在上述实施例2中有详细说明在此不再赘述。
本发明实施例提供的数据存储处理方法，通过读存储节点接收所述客户端发送的文件信息，对文件信息进行解析获得对应的哈希值，发给写存储节点，以使写存储节点根据哈希值获得对应的数据文件，将数据文件发送给所述读存储节点，读存储节点将数据文件发送给客户端，达到提高读操作的性能，提高集群间存储节点的性能。
针对上述各实施例方法，对客户端、写存储节点和读存储节点之间的交互如图5所示，具体描述如下：
1.1、客户端向写存储节点发送数据文本；
1.2、写存储节点存储文件并计算数据文件的哈希值；
1.3、写存储节点将哈希值发送给读存储节点；
1.4、读存储节点发送第一提示信息，告知写存储节点已存储哈希值；
1.5、写存储节点发送第二提示信息，告知客户端写数据完成。
2.1、客户端向读存储节点发送第一请求；
2.2、读存储节点获得所需的哈希值；
2.3、读存储节点向写存储节点发送第二请求；
2.4、写存储节点向读存储节点返回数据文件；
2.5、写存储节点将数据文件发送给客户端。
在本发明实施例中，存储节点分为写存储节点和读存储节点。写存储节点只接收客户端的写操作请求和其他存储节点的操作请求，读存储节点只接收客户端的读操作请求和其他存储节点的操作请求。
写操作流程：写存储节点计算出数据文件的哈希值，写入到读存储节点，读存储节点返回接收哈希值成功，则当前写操作完成。
读操作流程：判断读存储节点是否存储所需的哈希值，如果存在，则根据哈希值向写存储节点请求，获取数据。
图6示出了本发明一实施例提供的一种数据存储处理装置，包括存储模块61、计算模块62、发送模块63和提示模块64，其中：
存储模块61，用于接收客户端发送的第一数据文件并存储；
计算模块62，用于对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
发送模块63，用于将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并发出第一提示信息；
提示模块64，用于接收所述第一提示信息后，向所述客户端发送第二提示信息。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的数据存储处理装置，通过写存储节点接收客户端发送的数据文件并存储，并对数据文件进行解析获得文件信息，对文件信息进行处理获得数据文件哈希值，在将数据文件的哈希值发送给读存储节点，以使所述读存储节点将数据文件的哈希值存储并向写存储节点发送提示信息，写存储节点再向客户端发送第二提示信息，达到提高写操作的性能，提高集群间存储节点的性能。
图7示出了本发明一实施例提供的一种数据存储处理装置，包括接收模块71和获取模块72，其中：
接收模块71，用于接收到所述读存储节点发送的第二请求，所述第二请求包括哈希值，所述第二请求为所述读存储节点接收到所述客户端发送的第一请求，对所述第一请求进行处理获得哈希值后，发出的请求，所述第一请求包括文件信息；
获取模块82，用于根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点，以使所述读存储节点将所述第二数据文件发送给所述客户端。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的数据存储处理装置，通过写存储节点接收到读存储节点发送的第二请求，根据所述第二请求中的哈希值获得对应的数据文件，将数据文件发送给读存储节点，以使读存储节点将数据文件发送给客户端，达到提高读操作的性能，提高集群间存储节点的性能。
图8示出了本发明一实施例提供的一种数据存储处理装置，包括处理模块81和存储模块82，其中：
处理模块81，用于接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；
存储模块82，用于将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的数据存储处理装置，通过读存储节点接收写存储节点接收到客户端发送的数据文件并存储后，对数据文件进行解析获得文件信息，对文件信息进行处理获得数据文件的哈希值，并将数据文件的哈希值存储并向写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息，达到提高写操作的性能，提高集群间存储节点的性能。
图9示出了本发明一实施例提供的一种数据存储处理装置，包括接收模块91、匹配模块92和反馈模块93，其中：
接收模块91，用于所述读存储节点接收所述客户端发送的第一请求，所述第一请求包括文件信息；
匹配模块92，用于对所述文件信息进行解析获得对应的哈希值，并向所述写存储节点发送第二请求，以使所述写存储节点根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点；
反馈模块93，用于接收所述第二数据文件，将所述第二数据文件发送给所述客户端。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的数据存储处理装置，通过读存储节点接收所述客户端发送的文件信息，对文件信息进行解析获得对应的哈希值，发给写存储节点，以使写存储节点根据哈希值获得对应的数据文件，将数据文件发送给所述读存储节点，读存储节点将数据文件发送给客户端，达到提高读操作的性能，提高集群间存储节点的性能。
图10示出了本发明一实施例提供的一种电子设备，包括：第一处理器101、第一存储器102和总线103，其中，
所述第一处理器和第一存储器通过所述总线完成相互间的通信；
所述第一存储器存储有可被所述第一处理器执行的程序指令，以执行上述各方法实施例所提供的方法，例如包括：接收客户端发送的第一数据文件并存储；对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并发送第一提示信息；接收所述第一提示信息后，向所述客户端发送第二提示信息。
本发明一实施例提供的一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：接收客户端发送的第一数据文件并存储；对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并发送第一提示信息；接收所述第一提示信息后，向所述客户端发送第二提示信息。
图11示出了本发明一实施例提供的一种电子设备，包括：第二处理器111、第二存储器112和总线113，其中，
所述第二处理器和第二存储器通过所述总线完成相互间的通信；
所述第二存储器存储有可被所述第二处理器执行的程序指令，以执行上述各方法实施例所提供的方法，例如包括：接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
本发明一实施例提供的一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件哈希值；将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种数据存储处理方法，其特征在于，包括：
写存储节点接收客户端发送的第一数据文件并存储；
对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件的哈希值；
将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息；
写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息；
还包括：
所述写存储节点接收到所述读存储节点发送的第二请求，所述第二请求包括哈希值，所述第二请求为所述读存储节点接收到所述客户端发送的第一请求，对所述第一请求进行处理获得哈希值后，发出的请求，所述第一请求包括文件信息；
根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点，以使所述读存储节点将所述第二数据文件发送给所述客户端。
2.一种数据存储处理方法，其特征在于，包括：
读存储节点接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件的哈希值；
读存储节点将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息；
还包括：
所述读存储节点接收所述客户端发送的第一请求，所述第一请求包括文件信息；
对所述文件信息进行解析获得对应的哈希值，并向所述写存储节点发送第二请求，以使所述写存储节点根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点；
所述读存储节点接收所述第二数据文件，将所述第二数据文件发送给所述客户端。
3.一种数据存储处理装置，其特征在于，包括：
存储模块，用于接收客户端发送的第一数据文件并存储；
计算模块，用于对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件的哈希值；
发送模块，用于将所述第一数据文件的哈希值发送给读存储节点，以使所述读存储节点将所述第一数据文件的哈希值存储并发出第一提示信息；
提示模块，用于接收所述第一提示信息后，向所述客户端发送第二提示信息；
还包括：
接收模块，用于接收到所述读存储节点发送的第二请求，所述第二请求包括哈希值，所述第二请求为所述读存储节点接收到所述客户端发送的第一请求，对所述第一请求进行处理获得哈希值后，发出的请求，所述第一请求包括文件信息；
获取模块，用于根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点，以使所述读存储节点将所述第二数据文件发送给所述客户端。
4.一种数据存储处理装置，其特征在于，包括：
处理模块，用于接收写存储节点发送的数据信息，所述数据信息为所述写存储节点接收到客户端发送的第一数据文件并存储后，对所述第一数据文件进行解析获得文件信息，对所述文件信息进行处理获得所述第一数据文件的哈希值；
存储模块，用于将所述第一数据文件的哈希值存储并向所述写存储节点发送第一提示信息，以使所述写存储节点接收所述第一提示信息后，向所述客户端发送第二提示信息；
还包括：
接收模块，用于读存储节点接收所述客户端发送的第一请求，所述第一请求包括文件信息；
匹配模块，用于对所述文件信息进行解析获得对应的哈希值，并向所述写存储节点发送第二请求，以使所述写存储节点根据所述第二请求获得对应的第二数据文件，将所述第二数据文件发送给所述读存储节点；
反馈模块，用于接收所述第二数据文件，将所述第二数据文件发送给所述客户端。
5.一种电子设备，其特征在于，包括：第一处理器、第一存储器、总线及存储在第一存储器上并可在第一处理器上运行的计算机程序；
其中，所述第一处理器，第一存储器通过所述总线完成相互间的通信；
所述第一处理器执行所述计算机程序时实现如权利要求1所述的方法。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1所述的方法。
7.一种电子设备，其特征在于，包括：第二处理器、第二存储器、总线及存储在第二存储器上并可在第二处理器上运行的计算机程序；
其中，所述第二处理器，第二存储器通过所述总线完成相互间的通信；
所述第二处理器执行所述计算机程序时实现如权利要求2所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求2所述的方法。
CN201710811462.5A 2017-09-11 2017-09-11 数据存储处理方法及装置 Active CN107704201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710811462.5A CN107704201B (zh) 2017-09-11 2017-09-11 数据存储处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710811462.5A CN107704201B (zh) 2017-09-11 2017-09-11 数据存储处理方法及装置

Publications (2)

Publication Number Publication Date
CN107704201A CN107704201A (zh) 2018-02-16
CN107704201B true CN107704201B (zh) 2020-07-31

Family

ID=61172414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710811462.5A Active CN107704201B (zh) 2017-09-11 2017-09-11 数据存储处理方法及装置

Country Status (1)

Country Link
CN (1) CN107704201B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796768B (zh) * 2020-06-30 2023-08-22 中国工商银行股份有限公司 分布式服务协调方法、装置及系统
CN117453153B (zh) * 2023-12-26 2024-04-09 柏科数据技术（深圳）股份有限公司 基于Crush规则的文件存储方法、装置、终端及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694860A (zh) * 2012-05-25 2012-09-26 北京邦诺存储科技有限公司 一种云存储的数据处理方法、设备及系统
CN103888496A (zh) * 2012-12-22 2014-06-25 鸿富锦精密工业（深圳）有限公司 数据分散存储方法及系统
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694860A (zh) * 2012-05-25 2012-09-26 北京邦诺存储科技有限公司 一种云存储的数据处理方法、设备及系统
CN103888496A (zh) * 2012-12-22 2014-06-25 鸿富锦精密工业（深圳）有限公司 数据分散存储方法及系统
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置

Also Published As

Publication number Publication date
CN107704201A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN105677469B (zh) 定时任务执行方法及装置
US8069224B2 (en) Method, equipment and system for resource acquisition
CN107844399B (zh) 自动监控数据库服务的方法、存储介质、电子设备及系统
US9778998B2 (en) Data restoration method and system
US20160323403A9 (en) System, device and method for providing push service using feedback message
CN104639347A (zh) 一种多集群监控方法、装置及系统
CN108712457A (zh) 基于Nginx反向代理的后端服务器动态负载调整方法及装置
CN111221793B (zh) 数据挖掘方法、平台、计算机设备及存储介质
CN107704201B (zh) 数据存储处理方法及装置
CN104202387A (zh) 一种元数据恢复方法及相关装置
CN103905441A (zh) 数据获取方法及装置
CN104408068A (zh) 一种报表数据处理方法及相关设备
US20170286259A1 (en) Information processing apparatus, information processing system, and computer-readable recording medium
CN103503388B (zh) 一种分布式队列消息读取方法及设备、系统
US10652081B1 (en) Facilitating resilient and fault tolerant asynchronous messaging
CN103823727B (zh) 一种直播录制的备份方法和装置
CN110737655A (zh) 用于上报数据的方法和装置
CN111338834A (zh) 数据存储方法和装置
CN110704148A (zh) 设备页面元素的获取方法、装置、服务器及存储介质
US20140032744A1 (en) Method of comparing outputs in a plurality of information systems
CN107908370B (zh) 数据存储方法及装置
CN110941658A (zh) 一种数据导出方法、装置、服务器及存储介质
CN107483294B (zh) 监控网络请求的方法及装置
CN105939278B (zh) 一种流量处理方法及装置
EP3040891A1 (en) Method for providing information to determine a graph associated with a data item

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant