CN112543213A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN112543213A
CN112543213A CN201910900380.7A CN201910900380A CN112543213A CN 112543213 A CN112543213 A CN 112543213A CN 201910900380 A CN201910900380 A CN 201910900380A CN 112543213 A CN112543213 A CN 112543213A
Authority
CN
China
Prior art keywords
node
data
link state
read
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910900380.7A
Other languages
English (en)
Other versions
CN112543213B (zh
Inventor
王海青
白艳春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910900380.7A priority Critical patent/CN112543213B/zh
Publication of CN112543213A publication Critical patent/CN112543213A/zh
Application granted granted Critical
Publication of CN112543213B publication Critical patent/CN112543213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Abstract

本申请实施例提供了一种数据处理方法及装置,涉及存储技术领域,所述方法应用于数据处理系统中的节点,所述方法包括:获取用户终端发送的节点获取请求;根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;在所述满足流量需求的节点中确定第一节点;将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。采用本申请实施例提供的技术方案,能够解决节点网络传输性能不稳定时,无法进行数据处理的问题。

Description

一种数据处理方法及装置
技术领域
本申请涉及存储技术领域,特别是涉及一种数据处理方法及装置。
背景技术
基于对象存储的数据处理系统包括用户终端、多个节点。用户终端可以发送数据处理请求至与其相连的节点,数据处理请求包括数据的读取请求或写入请求。
相关技术中,节点响应数据处理请求的过程包括:当该节点接收到节点获取请求时,如果节点获取请求携带有待读取数据的目标数据标识,则该节点可以根据数据标识与节点的对应关系,确定存储有待读取数据a的目标节点。然后,该节点可以将目标节点的访问地址发送至用户终端,以使用户终端从目标节点处获取待读取数据a。如果节点获取请求表示获取待进行数据写入的目标节点的访问地址,该节点可以选择任一节点作为目标节点。当目标节点接收到携带有待写入数据的数据写入请求时,目标节点可以在本地存储待写入数据。当目标节点接收到携带有目标数据标识的数据读取请求时,目标节点可以将本地存储的待读取数据发送至用户终端。
然而,当目标节点的网络传输性能不稳定时,用户终端无法通过目标节点进行数据读取或数据写入等数据处理。
发明内容
本申请实施例的目的在于提供一种数据处理方法及装置,以解决节点网络传输性能不稳定时,节点无法进行数据处理的问题。具体技术方案如下:
第一方面,提供了一种数据处理方法,所述方法应用于数据处理系统中的节点,所述方法包括:
获取用户终端发送的节点获取请求;
根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;
根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;
在所述满足流量需求的节点中确定第一节点;
将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。
可选的,所述节点获取请求携带有待读取数据的目标数据标识,所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点之前,还包括:
根据预先存储的数据标识与节点的对应关系、所述目标数据标识,确定是否存在第二节点,所述第二节点为临时存储区中存储有所述待读取数据的节点;
如果存在所述第二节点,并且所述第二节点处于正常链接状态、满足流量需求,则将所述第二节点作为第一节点,执行所述将所述第一节点的访问地址发送至所述用户终端步骤;
如果不存在所述第二节点,则执行所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点步骤。
可选的,如果当前节点为所述第一节点,所述将所述第一节点的访问地址发送至所述用户终端之后,所述方法还包括:
如果接收到携带有待写入数据的数据写入请求,在所述第一节点的临时存储区中存储所述待写入数据;
当达到预设存储转移条件时,将所述临时存储区中存储的所述待写入数据发送至第三节点,以使所述第三节点在永久存储区中存储所述待写入数据。
可选的,如果当前节点为第一节点,所述将所述第一节点的访问地址发送至所述用户终端之后,所述方法还包括:
如果接收到携带有待读取数据的目标数据标识的数据读取请求,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,判断所述第一节点的临时存储区中是否存储有所述待读取数据;
如果所述第一节点的临时存储区中存储有所述待读取数据,将所述待读取数据发送至所述用户终端;
如果所述第一节点的临时存储区中未存储所述待读取数据,确定永久存储区中存储有所述待读取数据的第四节点;
从所述第四节点处获取所述待读取数据,将所述待读取数据发送至所述用户终端。
可选的,所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点包括:
接收所述数据处理系统中的其他节点发送的链路状态信息,所述链路状态信息由各节点自检得到;
将接收到的链路状态信息的所属节点确定为处于正常链接状态的节点。
可选的,所述根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点包括:
获取所述处于正常链接状态的节点的流量信息,所述流量信息包括数据的访问量和/或数据占用的访问带宽;
将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
第二方面,提供了一种数据处理装置,所述装置应用于数据处理系统中的节点,所述装置包括:
获取模块,用于获取用户终端发送的节点获取请求;
第一确定模块,用于根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;
第二确定模块,用于根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;
第三确定模块,用于在所述满足流量需求的节点中确定第一节点;
第一发送模块,用于将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。
可选的,所述装置还包括:
第四确定模块,用于当所述节点获取请求携带有待读取数据的目标数据标识时,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,确定是否存在第二节点,所述第二节点为临时存储区中存储有所述待读取数据的节点;
所述第一发送模块,还用于当存在所述第二节点,并且所述第二节点处于正常链接状态、满足流量需求时,将所述第二节点作为第一节点,将所述第一节点的访问地址发送至所述用户终端;
所述第一确定模块,还用于当不存在所述第二节点时,根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点。
可选的,所述装置还包括:
存储模块,用于在当前节点为第一节点的情况下,当接收到携带有待写入数据的数据写入请求时,在所述第一节点的临时存储区中存储所述待写入数据;
存储转移模块,用于当达到预设存储转移条件时,将所述临时存储区中存储的所述待写入数据发送至第三节点,以使所述第三节点在永久存储区中存储所述待写入数据。
可选的,所述装置还包括:
判断模块,用于在当前节点为第一节点的情况下,当接收到携带有待读取数据的目标数据标识的数据读取请求时,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,判断所述第一节点的临时存储区中是否存储有所述待读取数据;
第二发送模块,用于当所述第一节点的临时存储区中存储有所述待读取数据时,将所述待读取数据发送至所述用户终端;
第五确定模块,用于当所述第一节点的临时存储区中未存储所述待读取数据时,确定永久存储区中存储有所述待读取数据的第四节点;
第三发送模块,用于从所述第四节点处获取所述待读取数据,将所述待读取数据发送至所述用户终端。
可选的,所述第一确定模块包括:
接收子模块,用于接收所述数据处理系统中的其他节点发送的链路状态信息,所述链路状态信息由各节点自检得到;
第一确定子模块,用于如果接收到链路状态信息,将所述链路状态信息所属的节点确定为处于正常链接状态的节点。
可选的,所述第二确定模块包括:
获取子模块,用于获取所述处于正常链接状态的节点的流量信息,所述流量信息包括数据的访问量和/或数据占用的访问带宽;
第二确定子模块,用于将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现任一第一方面所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一第一方面所述的方法步骤。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一第一方面所述的方法。
本申请实施例提供的一种数据处理方法及装置,可以获取用户终端发送的节点获取请求;根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;根据处于正常链接状态的节点的流量信息,确定满足流量需求的节点;在满足流量需求的节点中确定第一节点;将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点进行数据读取或数据写入。由于通过处于正常链接状态且满足流量需求的第一节点,进行数据处理,因此,不会受到网络传输性能的影响,能够在某一节点的网络传输性能不稳定时,进行数据处理。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理系统的结构示意图;
图2为本申请实施例提供的第一种数据处理方法的流程图;
图3为本申请实施例提供的第二种数据处理方法的流程图;
图4为本申请实施例提供的第三种数据处理方法的流程图;
图5为本申请实施例提供的第四种数据处理方法的流程图;
图6为本申请实施例提供的第五种数据处理方法的流程图;
图7为本申请实施例提供的一种数据处理装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种数据处理方法,数据处理包括数据的读取、写入。该方法可以应用于基于对象存储的数据处理系统中的节点,节点可以是具有数据搜索与存储功能,能够进行数据的写入与读取的电子设备,节点例如计算机、平板电脑。数据处理系统还包括用户终端,用户终端例如平板电脑、智能手机。用户终端通过某一节点与数据处理系统中的其他节点保持通信连接。
如图1所示,为本申请实施例提供的一种数据处理系统的结构示意图,其中,用户终端A与节点1保持通信连接,用户终端B与节点2保持通信连接,用户终端A通过节点1与数据处理系统中的其他节点(例如节点2、节点3)保持通信连接,用户终端B通过节点2与数据处理系统中的其他节点(节点1、节点3)保持通信连接。
本申请实施例中,每个节点可以具有相应的数据管理中心,每个节点可以通过对应的数据管理中心,获取自身的链路状态信息和流量信息,并将该节点的链路状态信息和流量信息发送至数据处理系统中的其他节点。其中,某一节点的链路状态信息用于表示该节点物理链路的链接状态,链路状态信息包括链接中断、数据传输速率正常以及低速传输中的一种。某一节点的流量信息用于表示该节点对于数据请求的数据处理情况,流量信息例如数据的访问量,数据所占用的访问带宽。
同时,该节点还可以通过对应的数据管理中心,接收其他节点发送的链路状态信息、流量信息,并在本地对应存储节点标识、节点标识所属节点的链路状态信息、流量信息。由此,该节点可以通过对应的数据管理中心,获取数据处理系统中各节点的物理链路的链接状态和数据处理情况,从而得到数据处理系统中各个节点的运行状态。
如图2所示,该数据处理方法的具体处理过程可以包括:
步骤201,获取用户终端发送的节点获取请求。
在实施中,当用户终端需要通过数据处理系统读取数据,或者需要将数据写入至数据处理系统中的节点时,用户终端可以发送节点获取请求至数据处理系统中与其相连的节点,以使该节点确定用于进行数据处理的第一节点。
然后,与用户终端相连的节点可以获取用户终端发送的节点获取请求。
本申请实施例中,与用户终端相连的节点可以是与用户终端直接相连的节点,也可以是与用户终端间接相连的节点。例如,在图1所示的数据处理系统中,与用户终端A相连的节点可以是与用户终端直接相连的节点1,也可以是与用户终端间接相连的节点2。接收到节点获取请求的节点可以根据当前负载状态,确定对该节点获取请求进行处理,或将该节点获取请求转发至与其相连的其他节点。当前负载状态例如CPU的占用率是否超过预设占用率阈值,或者数据的访问量是否超过预设访问量阈值。
为了便于区分,本申请实施例中将响应节点获取请求的节点称为当前节点,将响应数据处理请求的节点称为第一节点。
步骤202,根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点。
其中,正常链接状态为数据传输速率正常,与正常链接状态相对的为异常链接状态,异常链接状态包括链接中断或低速传输。
在实施中,当前节点可以根据预先存储的各节点的链路状态信息,确定各节点的当前链接状态,并将当前链接状态不是链接中断或低速传输的节点,确定为处于正常链接状态的节点。
在一种可行的实现方式中,数据处理系统中的每个节点可以实时发送该节点的链路状态信息至其他节点,当前节点可以通过相应的数据处理中心,存储各节点的链路状态信息。在另一种可行的实现方式中,数据处理系统中可以预先设置有用于存储各节点的链路状态信息的数据库,当前节点通过该数据库获取各节点的链路状态信息。
步骤203,根据处于正常链接状态的节点的流量信息,确定满足流量需求的节点。
在实施中,数据处理系统中可以预先设置有用于存储各节点的流量信息的数据库,当前节点可以根据处于正常链接状态的节点的节点标识,从预设的数据库中获取处于正常链接状态的节点的流量信息。
然后,当前节点可以在处于正常链接状态的节点中,确定相应的流量信息满足流量需求的节点。当前节点判断节点是否满足流量需求的具体实现方式后续会进行详细说明。
步骤204,在满足流量需求的节点中确定第一节点。
在实施中,如果满足流量需求的节点为1个,当前节点可以将该节点作为第一节点。如果满足流量需求的节点为多个,当前节点可以选择任一满足流量需求的节点,作为第一节点;当前节点也可以在满足流量需求的多个节点中,选择流量信息的数值最低的节点,作为第一节点。
例如,满足流量需求的节点为节点2和节点3,节点2的数据的访问量为10k次/s,节点3的数据的访问量为5k次/s,当前节点可以选择任一节点作为第一节点,当前节点也可以选择访问量最低的节点3,作为第一节点。
步骤205,将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点进行数据读取或数据写入。
在实施中,当前节点可以根据预先存储的节点标识与访问地址的对应关系、第一节点的节点标识,确定第一节点的访问地址,然后,将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点对待写入数据进行数据写入,或者数据读取。用户终端通过第一节点对待写入数据进行数据写入,或者数据读取的具体处理过程后续会进行详细说明。
本申请实施例中,当前节点可以获取用户终端发送的节点获取请求;根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;根据处于正常链接状态的节点的流量信息,确定满足流量需求的节点;在满足流量需求的节点中确定第一节点;将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点进行数据读取或数据写入。由于通过处于正常链接状态且满足流量需求的第一节点进行数据处理,因此,数据处理不会受到某一节点网络传输性能的影响。
可选的,当用户终端所请求不同的数据处理时,用户终端可以生成不同的节点获取请求,例如,当用户终端请求读取数据时,用户终端可以生成携带有待读取数据的目标数据标识的节点获取请求;当用户终端请求写入数据时,用户终端可以生成不携带数据标识的节点获取请求。相应的,根据节点获取请求是否携带有数据标识,当前节点确定目标节点的处理过程也不同,如图3所示,具体处理过程包括:
步骤301,判断节点获取请求是否携带有待读取数据的目标数据标识。若携带,则执行步骤302;若不携带,则执行步骤305。
在实施中,当前节点可以在获取节点获取请求后,判断该节点获取请求是否携带有待读取数据的目标数据标识。如果该节点获取请求携带有待读取数据的目标数据标识,则当前节点可以确定用户终端请求读取数据,那么,当前节点可以执行步骤302。
如果该节点获取请求未携带有待读取数据的目标数据标识,则当前节点可以确定用户终端请求写入数据。那么,当前节点可以执行步骤305。
步骤302,根据预先存储的数据标识与节点的对应关系、目标数据标识,确定是否存在第二节点。若存在,则执行步骤303;若不存在,则执行步骤305。
其中,节点的存储空间可以分为临时存储区和永久存储区。临时存储区例如缓存空间、系统内存空间、高速固态硬盘,永久存储区例如磁盘、固态硬盘。第二节点为临时存储区中存储有待读取数据的节点。当前节点本地可以预先存储有数据标识与节点的对应关系,该对应关系用于表示各节点的临时存储区中存储的数据。或者,数据处理系统中的数据库中可以存储有数据节点与节点的对应关系,当前节点可以通过数据库获取该对应关系。
在实施中,当前节点可以在预先存储的数据标识与节点的对应关系中,查找与目标数据标识对应的节点,如果未查找到与目标数据标识对应的节点,则当前节点可以确定不存在临时存储区中存储有待读取数据的第二节点,然后,当前节点可以执行步骤305。
如果查找到与目标数据标识对应的节点,则当前节点可以将该节点作为临时存储区中存储有待读取数据的第二节点。然后,当前节点可以执行步骤303。
步骤303,判断第二节点是否处于正常链接状态、且满足流量需求。若第二节点处于正常链接状态、且满足流量需求,则执行步骤303;若第二节点未处于正常链接状态和/或不满足流量需求,则执行步骤305。
在实施中,当前节点可以判断第二节点是否处于正常链接状态,如果第二节点未处于正常链接状态,则当前节点可以执行步骤305。如果第二节点处于正常链接状态,则当前节点可以判断第二节点是否满足流量需求。如果第二节点满足流量需求,则当前节点可以执行步骤304。如果第二节点不满足流量需求,则当前节点可以执行步骤305。
步骤304,将第二节点作为第一节点,执行将第一节点的访问地址发送至用户终端步骤。
在实施中,此步骤的处理过程与步骤205类似,此处不再赘述。
步骤305,根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点。
步骤306,根据处于正常链接状态的节点的流量信息,确定满足流量需求的节点。
步骤307,在满足流量需求的节点中确定第一节点。
步骤308,将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点进行数据读取或数据写入。
在实施中,步骤305~308的处理过程与步骤202~205类似,此处不再赘述。
本申请实施例中,当前节点通过判断节点获取请求是否携带有待读取数据的目标数据标识,确定用户终端是否请求读取数据。如果用户终端请求读取数据,当前节点可以判断各节点中是否存在临时存储区中存储有待读取数据的第二节点,并在判定存在第二节点时,依次判断第二节点是否处于正常链接状态、是否满足流量需求。如果第二节点满足上述条件,当前节点可以直接将第二节点作为第一节点。如果第二节点不满足上述条件,当前节点可以在数据处理系统中的各节点中确定满足上述条件的节点作为第一节点。由此,针对是否存在临时存储区中存储有待读取数据的节点、该节点能否实时提供待读取数据,当前节点可以确定不同的第一节点,以使于用户终端通过确定出的第一节点读取数据,从而保障数据的高效读取、提高数据处理速率。
可选的,为了加快第一节点确定速度,在确定处于正常链接状态、且满足流量需求的待定节点的同时,当前节点可以根据预先存储的数据标识与节点的对应关系、目标数据标识,判断是否存在临时存储区中存储有待读取数据的第二节点。如果存在第二节点,当前节点可以判断第二节点是否为待定节点,如果第二节点为待定节点,则当前节点可以将第二节点作为第一节点。如果不存在第二节点,或者,如果第二节点不是待定节点,则当前节点可以在待定节点中选择一个节点作为第一节点。
在获取到当前节点发送的第一节点的访问地址后,用户终端可以根据该访问地址向目标节点发送数据处理请求,以实现通过第一节点进行数据写入,或者数据读取。可选的,本申请实施例以当前节点为第一节点为例,对第一节点接收到数据处理请求后的具体处理过程进行说明。如图4所示,具体可以包括以下步骤:
步骤401,如果接收到携带有待写入数据的数据写入请求,在第一节点的临时存储区中存储待写入数据。
在实施中,如果当前节点接收到的数据处理请求携带有数据,则当前节点可以确定接收到数据写入请求,该数据为待写入数据。然后,当前节点可以在当前节点的临时存储区中存储该待写入数据。
步骤402,当达到预设存储转移条件时,将临时存储区中存储的待写入数据发送至第三节点,以使第三节点在永久存储区中存储待写入数据。
其中,节点中可以设置有预设存储转移条件,预设存储转移条件可以是临时存储区中存储数据所占用的容量达到预设容量阈值,预设存储转移条件也可以是数据的读取次数小于预设读取次数阈值,本申请实施例对预设存储转移条件的具体内容不做限定。
在实施中,当前节点可以在达到预设存储转移条件时,在数据处理系统内的各节点中确定第三节点,然后,当前节点可以将临时存储区中存储的待写入数据发送至第三节点,也就是说,将临时存储区中的已存储数据发送至第三节点。在第三节点接收到数据后,第三节点可以在该节点的永久存储区中存储已存储数据。
本申请实施例中,当前节点确定第三节点的方式可以是多种多样的,例如,当前节点可以将数据处理系统中的任一节点作为第三节点,或者,当前节点可以根据数据处理系统内各节点永久存储区的数据存储状态,确定第三节点,其中,数据存储状态例如可用存储空间,当前数据访问量。
在一种可行的实现方式中,当前节点可以将自身作为第三节点,当达到预设存储转移条件时,当前节点可以直接将临时存储区中的已存储数据存储至自身的永久存储区中。
当前节点可以在将待写入数据发送至第三节点后,删除临时存储区中存储的该待写入数据。当前节点也可以按照数据的读取次数,删除临时存储区中存储的数据。
本申请实施例中,第一节点可以在接收到数据写入请求后,先在临时存储区中存储该数据,当达到预设存储转移条件时,将该数据发送至第三节点,以使第三节点在永久存储区中存储该数据。便于后续接收到数据读取请求时,如果临时存储区中未存储有待读取数据,则通过永久存储区存储有待读取数据的第三节点获取待读取数据,再待读取数据发送至用户终端。由此,一方面,能够通过处于正常链接状态,且满足流量需求的第一节点写入待写入数据,保证待写入数据的高效存储。另一方面,在临时存储区中存储有待读取数据的节点处于异常链接状态或者不满足流量需求,或者,不存在临时存储区中存储有待读取数据的第二节点时,保证用户终端可以从其他节点处获取待读取数据,从而可以保证数据的高效读取与写入,提高数据处理的效率。
可选的,在存储某一数据后,数据处理系统可以提供该数据的读取服务,本申请实施例以当前节点为进行数据读取的第一节点为例,对第一节点接收到数据处理请求后的具体处理过程进行说明。如图5所示,具体可以包括以下步骤:
步骤501,如果接收到携带有待读取数据的目标数据标识的数据读取请求,根据预先存储的数据标识与节点的对应关系、目标数据标识,判断第一节点的临时存储区中是否存储有待读取数据。
在实施中,如果当前节点接收到的数据处理请求携带有数据标识,则当前节点可以确定接收到数据读取请求,该数据标识为待读取数据的目标数据标识。然后,当前节点可以在数据标识与节点的对应关系中,查询与该节点对应的数据标识,之后,当前节点可以判断与该节点对应的数据标识是否包含目标数据标识。
如果与当前节点对应的数据标识中包含目标数据标识,则当前节点可以确定其临时存储区中存储有待读取数据,即第一节点的临时存储区中存储有待读取数据。然后,当前节点可以执行步骤502。如果与当前节点对应的数据标识不包含目标数据标识,则当前节点可以确定其临时存储区中未存储待读取数据,即第一节点的临时存储区中未存储有待读取数据。该节点对应的缓存中未存储待读取数据,然后,当前节点可以执行步骤503。
步骤502,将存储在第一节点的临时缓存区中的待读取数据发送至用户终端。
在实施中,当前节点可以从其临时缓存区中,获取待读取数据,并将待读取数据发送至用户终端。
步骤503,确定永久存储区中存储有待读取数据的第四节点。
在实施中,当前节点可以获取用于表示各节点的永久存储区所存储数据的数据与节点的对应关系,然后,当前节点可以根据该数据与节点的对应关系,确定永久存储区中存储有待读取数据的节点,得到第四节点。
在一种可行的实现方式中,数据处理系统可以包括用于管理各节点永久存储区所存储数据的预设节点。当前节点可以向预设节点发送查询请求,查询请求可以携带有待读取数据的目标数据标识,预设节点可以确定永久存储区中存储有待读取数据的第四节点,然后,将第四节点的访问地址发送至当前节点。
步骤504,从第四节点处获取待读取数据,将待读取数据发送至用户终端。
在实施中,当前节点可以从第四节点处获取待读取数据,再将待读取数据发送至用户终端。例如,当前节点可以向第四节点发送数据获取请求,第四节点可以从自身的永久存储区中读取待读取数据,再将待读取数据发送至当前节点,然后,当前节点可以将待读取数据发送至用户终端。
在一种可行的实现方式中,第四节点可以为当前节点,这种情况下,当前节点可以直接从自身的永久存储区中读取待读取数据,再将待读取数据发送至用户终端。
本申请实施例中,当前节点可以在接收到数据读取请求后,先判断临时存储区中是否存储有待读取数据,如果临时存储区中存储有待读取数据,则优先从临时存储区读取待读取数据,发送至用户终端。如果临时存储区中未存储有待读取数据,则通过永久存储区存储有待读取数据的第四节点获取待读取数据,再待读取数据发送至用户终端。由此,一方面,能够在临时存储区中存储有待读取数据时,优先从临时存储区中读取待读取数据,保证待读取数据的高效获取。另一方面,在临时存储区中未存储有待读取数据时,通过永久存储区中存储有待读取数据的第四节点获取数据,保证用户终端可以从其他节点处获取待读取数据,从而可以保证数据的高效读取,提高数据处理的效率。
同时,基于确定出的处于正常链接状态,且满足流量需求的节点进行数据处理,能够实现数据处理的流量分发与节点的流量访问控制,避免了相关技术中待进行数据写入或者数据读取的节点处于异常链接状态,或者所需处理的数据过多时,导致的无法进行数据处理的问题。
可选的,本申请实施例提供了一种根据各节点的链路状态信息,确定处于正常链接状态的节点的处理方式,如图6所示,包括:
步骤601,接收数据处理系统中的其他节点发送的链路状态信息。
其中,链路状态信息包括链接中断、数据传输速率正常以及低速传输中的一种。低速传输可以是数据传输速率小于预设数据传输速率阈值,链接中断与低速传输均属于异常链接状态。
在实施中,数据处理系统中的各节点可以对其是否处于正常链接状态进行自检。然后,每个节点可以将自检得到的链路状态信息发送至数据处理系统中的其他节点。
步骤602,将接收到的链路状态信息的所属节点确定为处于正常链接状态的节点。
在实施中,如果当前节点接收到某一节点发送的链路状态信息,则当前节点可以确定该链路状态信息所属的节点处于正常链接状态。
在当前节点接收到数据处理系统中其他节点发送的链路状态信息后,当前节点可以将其他节点的链路状态信息和自身的链路状态信息,存储至用于存储各节点的链路状态信息的数据库。
本申请实施例中,数据处理系统中的某一节点可以根据自检得到的链路状态信息的内容的不同,确定是否向数据处理系统中的其他节点发送链路状态信息。相应的,针对接收到的链路状态信息所包含内容的不同,接收到节点获取请求的节点确定处于正常链接状态的节点的方式也不同。
在一种可行的实现方式中,某一节点可以在每次对其是否处于正常链接状态进行自检,得到链路状态信息后,无论链路状态信息为链接中断、数据传输速率正常以及低速传输中的哪一种,均向数据处理系统中的其他节点发送链路状态信息。数据处理系统中的其他节点可以记录接收到的链路状态信息以及该链路状态信息所属节点的节点标识。后续,接收到节点获取请求的节点可以将链路状态信息为数据传输速率正常的节点,确定为处于正常链接状态的节点。
在另一种可行的实现方式中,某一节点可以在每次对其是否处于正常链接状态进行自检,得到链路状态信息后,仅在链接状态信息为数据传输速率正常时,向数据处理系统中的其他节点发送链路状态信息。数据处理系统中的其他节点可以记录接收到的链路状态信息所属正常节点的正常节点标识,后续,接收到节点获取请求的节点可以根据预先存储的正常节点标识,确定处于正常链接状态的节点。
或者,某一节点可以在每次对其是否处于正常链接状态进行自检,得到链路状态信息后,仅在链接状态信息为低速传输或者链接中断时,向数据处理系统中的其他节点发送链路状态信息。数据处理系统中的其他节点可以记录接收到的链路状态信息所属的异常节点的异常节点标识。后续,接收到节点获取请求的节点可以根据预先存储的数据处理系统中各节点的节点标识和异常节点标识,确定处于正常链接状态的节点。
本申请实施例中,针对处于链接中断状态的离线节点,当前节点可以通过心跳请求的方式获取离线节点的链路状态信息,以更新离线节点的链路状态信息,具体处理过程为现有技术,此处不再赘述。其中,所谓心跳请求是指当前节点与离线节点定时进行的简单的TCP(Transmission Control Protocol,传输控制协议)交互请求,以使离线节点获知自身在正常运行。
本申请实施例中,当前节点可以针对每个节点,通过该节点获取该节点的链路状态信息,并发送该节点的链路状态信息至除该节点外的其他节点。如果接收到链路状态信息,将链路状态信息所属的节点确定为处于正常链接状态的节点。由此,能够对各节点物理链路的链接状态进行管理,便于后续在处于正常链接状态的节点中,确定用于数据处理的目标节点,避免基于异常链接状态的节点进行数据处理时,可能出现处理失败的问题。
类似的,数据处理系统中的各节点还可以通过与获取其他节点的链路状态信息相同的方式,获取其他节点的流量信息。
例如,数据处理系统中的各节点可以按照预设的处理周期,获取自身当前的流量信息,然后,每个节点可以将获取到的流量信息发送至数据处理系统中的其他节点。在某一节点接收到数据处理系统中其他节点发送的流量信息后,该节点可以将接收到的流量信息和自身的流量信息,存储至用于存储各节点的流量信息的数据库。
可选的,本申请实施例提供了一种根据流量信息,确定满足流量需求的节点的实现方式,具体处理过程包括:
步骤1,获取处于正常链接状态的节点的流量信息。
其中,流量信息包括数据的访问量和/或数据占用的访问带宽。
在实施中,每个处于正常链接状态的节点可以获取该节点的流量信息,然后,该节点可以发送该节点的流量信息至除该节点外的其他节点,由此,当前节点可以获取处于正常链接状态的节点的流量信息。
在一种可行的实现方式中,当前节点可以在接收到其他节点的流量信息之后,通过相应的数据处理中心,存储各节点的流量信息。
步骤2,将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
其中,当前节点中可以设置有预设筛选条件,预设筛选条件可以是数据的访问量小于预设访问量阈值,预设筛选条件也可以是数据的访问量小于预设访问量阈值,且数据占用的访问带宽小于预设访问带宽阈值。
在实施中,当前节点可以针对每个处于正常链接状态的节点,判断该节点对应的流量信息是否满足预设筛选条件,如果该流量信息满足预设筛选条件,则当前节点可以确定该流量信息对应的节点为满足流量需求的节点。如果该流量信息不满足预设筛选条件,则当前节点可以不作后续处理。
本申请实施例中,当前节点获取处于正常链接状态的节点的流量信息,将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。由此,能够对各处于正常链接状态的节点对于数据请求的数据处理情况进行管理,便于后续在满足流量需求的节点中,确定用于数据处理的第一节点,避免基于流量负载过大的节点进行数据处理时,可能出现处理失败的问题。
本申请实施例还提供了一种数据处理装置,所述装置应用于节点,如图7所示,所述装置包括:
获取模块710,用于获取用户终端发送的节点获取请求;
第一确定模块720,用于根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;
第二确定模块730,用于根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;
第三确定模块740,用于在所述满足流量需求的节点中确定第一节点;
第一发送模块750,用于将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。
可选的,所述装置还包括:
第四确定模块,用于当所述节点获取请求携带有待读取数据的目标数据标识时,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,确定是否存在第二节点,所述第二节点为临时存储区中存储有所述待读取数据的节点;
所述第一发送模块,还用于当存在所述第二节点,并且所述第二节点处于正常链接状态、满足流量需求时,将所述第二节点作为第一节点,将所述第一节点的访问地址发送至所述用户终端。
所述第一确定模块,还用于当不存在所述第二节点时,根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点。
可选的,所述装置还包括:
存储模块,用于在当前节点为第一节点的情况下,当接收到携带有待写入数据的数据写入请求时,在所述第一节点的临时存储区中存储所述待写入数据;
存储转移模块,用于当达到预设存储转移条件时,将所述临时存储区中存储的所述待写入数据发送至第三节点,以使所述第三节点在永久存储区中存储所述待写入数据。
可选的,所述装置还包括:
判断模块,用于在当前节点为第一节点的情况下,当接收到携带有待读取数据的目标数据标识的数据读取请求时,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,判断所述第一节点的临时存储区中是否存储有所述待读取数据;
第二发送模块,用于当所述第一节点的临时存储区中存储有所述待读取数据时,将所述待读取数据发送至所述用户终端;
第五确定模块,用于当所述第一节点的临时存储区中未存储所述待读取数据时,确定永久存储区中存储有所述待读取数据的第四节点;
第三发送模块,用于从所述第四节点处获取所述待读取数据,将所述待读取数据发送至所述用户终端。
可选的,所述第一确定模块包括:
接收子模块,用于接收所述数据处理系统中的其他节点发送的链路状态信息,所述链路状态信息由各节点自检得到;
第一确定子模块,用于如果接收到链路状态信息,将所述链路状态信息所属的节点确定为处于正常链接状态的节点。
可选的,所述第二确定模块包括:
获取子模块,用于获取所述处于正常链接状态的节点的流量信息,所述流量信息包括数据的访问量和/或数据占用的访问带宽;
第二确定子模块,用于将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
本申请实施例提供的一种数据处理装置,可以获取用户终端发送的节点获取请求;根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;根据处于正常链接状态的节点的流量信息,确定满足流量需求的节点;在满足流量需求的节点中确定第一节点;将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点进行数据读取或数据写入。由于通过处于正常链接状态且满足流量需求的第一节点,进行数据处理,因此,不会受到网络传输性能的影响,能够在某一节点的网络传输性能不稳定时,进行数据处理。
本申请实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现以下步骤:
获取用户终端发送的节点获取请求;
根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;
根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;
在所述满足流量需求的节点中确定第一节点;
将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。
可选的,所述节点获取请求携带有待读取数据的目标数据标识,所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点之前,还包括:
根据预先存储的数据标识与节点的对应关系、所述目标数据标识,确定是否存在第二节点,所述第二节点为临时存储区中存储有所述待读取数据的节点;
如果存在所述第二节点,并且所述第二节点处于正常链接状态、满足流量需求,则将所述第二节点作为第一节点,执行所述将所述第一节点的访问地址发送至所述用户终端步骤。
如果不存在所述第二节点,则执行所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点步骤。
可选的,如果当前节点为所述第一节点,所述将所述第一节点的访问地址发送至所述用户终端之后,所述方法还包括:
如果接收到携带有待写入数据的数据写入请求,在所述第一节点的临时存储区中存储所述待写入数据;
当达到预设存储转移条件时,将所述临时存储区中存储的所述待写入数据发送至第三节点,以使所述第三节点在永久存储区中存储所述待写入数据。
可选的,如果当前节点为第一节点,所述将所述第一节点的访问地址发送至所述用户终端之后,所述方法还包括:
如果接收到携带有待读取数据的目标数据标识的数据读取请求,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,判断所述第一节点的临时存储区中是否存储有所述待读取数据;
如果所述第一节点的临时存储区中存储有所述待读取数据,将所述待读取数据发送至所述用户终端;
如果所述第一节点的临时存储区中未存储所述待读取数据,确定永久存储区中存储有所述待读取数据的第四节点;
从所述第四节点处获取所述待读取数据,将所述待读取数据发送至所述用户终端。
可选的,所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点包括:
接收所述数据处理系统中的其他节点发送的链路状态信息,所述链路状态信息由各节点自检得到;
将接收到的链路状态信息的所属节点确定为处于正常链接状态的节点。
可选的,所述根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点包括:
获取所述处于正常链接状态的节点的流量信息,所述流量信息包括数据的访问量和/或数据占用的访问带宽;
将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例提供的一种电子设备,可以获取用户终端发送的节点获取请求;根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;根据处于正常链接状态的节点的流量信息,确定满足流量需求的节点;在满足流量需求的节点中确定第一节点;将第一节点的访问地址发送至用户终端,以使用户终端通过第一节点进行数据读取或数据写入。由于通过处于正常链接状态且满足流量需求的第一节点,进行数据处理,因此,不会受到网络传输性能的影响,能够在某一节点的网络传输性能不稳定时,进行数据处理。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一数据处理方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一数据处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (14)

1.一种数据处理方法,其特征在于,所述方法应用于数据处理系统中的节点,所述方法包括:
获取用户终端发送的节点获取请求;
根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;
根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;
在所述满足流量需求的节点中确定第一节点;
将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。
2.根据权利要求1所述的方法,其特征在于,所述节点获取请求携带有待读取数据的目标数据标识,所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点之前,还包括:
根据预先存储的数据标识与节点的对应关系、所述目标数据标识,确定是否存在第二节点,所述第二节点为临时存储区中存储有所述待读取数据的节点;
如果存在所述第二节点,并且所述第二节点处于正常链接状态、满足流量需求,则将所述第二节点作为第一节点,执行所述将所述第一节点的访问地址发送至所述用户终端步骤;
如果不存在所述第二节点,则执行所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点步骤。
3.根据权利要求1或2所述的方法,其特征在于,如果当前节点为所述第一节点,所述将所述第一节点的访问地址发送至所述用户终端之后,所述方法还包括:
如果接收到携带有待写入数据的数据写入请求,在所述第一节点的临时存储区中存储所述待写入数据;
当达到预设存储转移条件时,将所述临时存储区中存储的所述待写入数据发送至第三节点,以使所述第三节点在永久存储区中存储所述待写入数据。
4.根据权利要求3所述的方法,其特征在于,如果当前节点为第一节点,所述将所述第一节点的访问地址发送至所述用户终端之后,所述方法还包括:
如果接收到携带有待读取数据的目标数据标识的数据读取请求,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,判断所述第一节点的临时存储区中是否存储有所述待读取数据;
如果所述第一节点的临时存储区中存储有所述待读取数据,将所述待读取数据发送至所述用户终端;
如果所述第一节点的临时存储区中未存储所述待读取数据,确定永久存储区中存储有所述待读取数据的第四节点;
从所述第四节点处获取所述待读取数据,将所述待读取数据发送至所述用户终端。
5.根据权利要求1或2所述的方法,其特征在于,所述根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点包括:
接收所述数据处理系统中的其他节点发送的链路状态信息,所述链路状态信息由各节点自检得到;
将接收到的链路状态信息的所属节点确定为处于正常链接状态的节点。
6.根据权利要求1或2所述的方法,其特征在于,所述根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点包括:
获取所述处于正常链接状态的节点的流量信息,所述流量信息包括数据的访问量和/或数据占用的访问带宽;
将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
7.一种数据处理装置,其特征在于,所述装置应用于数据处理系统中的节点,所述装置包括:
获取模块,用于获取用户终端发送的节点获取请求;
第一确定模块,用于根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点;
第二确定模块,用于根据所述处于正常链接状态的节点的流量信息,确定满足流量需求的节点;
第三确定模块,用于在所述满足流量需求的节点中确定第一节点;
第一发送模块,用于将所述第一节点的访问地址发送至所述用户终端,以使所述用户终端通过所述第一节点进行数据读取或数据写入。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第四确定模块,用于当所述节点获取请求携带有待读取数据的目标数据标识时,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,确定是否存在第二节点,所述第二节点为临时存储区中存储有所述待读取数据的节点;
所述第一发送模块,还用于当存在所述第二节点,并且所述第二节点处于正常链接状态、满足流量需求时,将所述第二节点作为第一节点,将所述第一节点的访问地址发送至所述用户终端;
所述第一确定模块,还用于当不存在所述第二节点时,根据预先存储的各节点的链路状态信息,确定处于正常链接状态的节点。
9.根据权利要求7或8所述的装置,其特征在于,所述装置还包括:
存储模块,用于在当前节点为第一节点的情况下,当接收到携带有待写入数据的数据写入请求时,在所述第一节点的临时存储区中存储所述待写入数据;
存储转移模块,用于当达到预设存储转移条件时,将所述临时存储区中存储的所述待写入数据发送至第三节点,以使所述第三节点在永久存储区中存储所述待写入数据。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
判断模块,用于在当前节点为第一节点的情况下,当接收到携带有待读取数据的目标数据标识的数据读取请求时,根据预先存储的数据标识与节点的对应关系、所述目标数据标识,判断所述第一节点的临时存储区中是否存储有所述待读取数据;
第二发送模块,用于当所述第一节点的临时存储区中存储有所述待读取数据时,将所述待读取数据发送至所述用户终端;
第五确定模块,用于当所述第一节点的临时存储区中未存储所述待读取数据时,确定永久存储区中存储有所述待读取数据的第四节点;
第三发送模块,用于从所述第四节点处获取所述待读取数据,将所述待读取数据发送至所述用户终端。
11.根据权利要求7或8所述的装置,其特征在于,所述第一确定模块包括:
接收子模块,用于接收所述数据处理系统中的其他节点发送的链路状态信息,所述链路状态信息由各节点自检得到;
第一确定子模块,用于如果接收到链路状态信息,将所述链路状态信息所属的节点确定为处于正常链接状态的节点。
12.根据权利要求7所述的装置,其特征在于,所述第二确定模块包括:
获取子模块,用于获取所述处于正常链接状态的节点的流量信息,所述流量信息包括数据的访问量和/或数据占用的访问带宽;
第二确定子模块,用于将流量信息满足预设筛选条件的节点,确定为满足流量需求的节点。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN201910900380.7A 2019-09-23 2019-09-23 一种数据处理方法及装置 Active CN112543213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910900380.7A CN112543213B (zh) 2019-09-23 2019-09-23 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910900380.7A CN112543213B (zh) 2019-09-23 2019-09-23 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN112543213A true CN112543213A (zh) 2021-03-23
CN112543213B CN112543213B (zh) 2022-06-03

Family

ID=75012925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910900380.7A Active CN112543213B (zh) 2019-09-23 2019-09-23 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN112543213B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202434A (zh) * 2014-09-28 2014-12-10 北京奇虎科技有限公司 节点访问方法和装置
CN107104992A (zh) * 2016-02-19 2017-08-29 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置
US20190042659A1 (en) * 2016-02-17 2019-02-07 Hangzhou Hikvision Technology Co. Ltd Data writing and reading and apparatus and cloud storage system
CN109375872A (zh) * 2018-09-27 2019-02-22 腾讯科技(深圳)有限公司 数据访问请求的处理方法、装置和设备及存储介质
CN109739435A (zh) * 2018-12-03 2019-05-10 中科恒运股份有限公司 文件存储和更新方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202434A (zh) * 2014-09-28 2014-12-10 北京奇虎科技有限公司 节点访问方法和装置
US20190042659A1 (en) * 2016-02-17 2019-02-07 Hangzhou Hikvision Technology Co. Ltd Data writing and reading and apparatus and cloud storage system
CN107104992A (zh) * 2016-02-19 2017-08-29 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置
CN109375872A (zh) * 2018-09-27 2019-02-22 腾讯科技(深圳)有限公司 数据访问请求的处理方法、装置和设备及存储介质
CN109739435A (zh) * 2018-12-03 2019-05-10 中科恒运股份有限公司 文件存储和更新方法及装置

Also Published As

Publication number Publication date
CN112543213B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110888889B (zh) 一种数据信息更新方法、装置及设备
CN108845877B (zh) 管理内存的方法、装置和系统
CN107656807A (zh) 一种虚拟资源的自动弹性伸缩方法及装置
CN110958300B (zh) 一种数据的上传方法、系统、装置、电子设备和计算机可读介质
CN109743378B (zh) 信息推送系统、信息推送方法及电子设备
US9973440B2 (en) Resource notification method, device and system
CN110677684A (zh) 视频处理、视频访问方法及分布式存储、视频访问系统
CN110311975B (zh) 一种数据请求处理方法及装置
CN111562884A (zh) 一种数据存储方法、装置及电子设备
CN112463058B (zh) 一种碎片数据整理方法、装置及存储节点
WO2020029588A1 (zh) 数据读取方法、装置及系统、分布式系统
CN105893150B (zh) 接口调用频度控制、接口调用请求处理方法及装置
CN112543213B (zh) 一种数据处理方法及装置
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置
CN110955587A (zh) 一种待更换设备确定方法及装置
CN113760854A (zh) Hdfs内存中数据的识别方法及相关设备
CN110083509B (zh) 一种日志数据的规整方法及装置
CN111629054B (zh) 消息处理方法、装置、系统、电子设备及可读存储介质
CN108959517B (zh) 文件管理方法、装置及电子设备
CN112073518A (zh) 云存储系统、云存储系统管理方法及中心管理节点
CN112468590B (zh) 一种存储资源挂载方法和装置
CN114143574B (zh) 一种清理存储空间的方法、存储介质及终端设备
CN110083482B (zh) 对文件存储系统进行纠删码处理的方法、装置及电子设备
CN113986134B (zh) 存储数据的方法、读取数据的方法和装置
CN110347632B (zh) 一种通信方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant