CN102591594B - 一种数据的处理方法和设备 - Google Patents

一种数据的处理方法和设备 Download PDF

Info

Publication number
CN102591594B
CN102591594B CN201210029716.5A CN201210029716A CN102591594B CN 102591594 B CN102591594 B CN 102591594B CN 201210029716 A CN201210029716 A CN 201210029716A CN 102591594 B CN102591594 B CN 102591594B
Authority
CN
China
Prior art keywords
memory device
main control
control equipment
buffer status
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210029716.5A
Other languages
English (en)
Other versions
CN102591594A (zh
Inventor
孙策
周迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Information Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CN201210029716.5A priority Critical patent/CN102591594B/zh
Publication of CN102591594A publication Critical patent/CN102591594A/zh
Application granted granted Critical
Publication of CN102591594B publication Critical patent/CN102591594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种数据的处理方法和设备,该方法包括:主控设备接收来自接入设备的数据处理请求;所述主控设备根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备;所述主控设备将所述数据处理请求发送给确定的存储设备,由所述确定的存储设备对所述数据处理请求进行处理。本发明中,可提高系统的处理性能。

Description

一种数据的处理方法和设备
技术领域
本发明涉及通信技术领域,特别是涉及一种数据的处理方法和设备。
背景技术
随着网络技术和数字视频技术的不断发展,数字视频技术得到了快速的发展和广泛的应用。对于城市安防、收费关卡等对视频质量有较高要求的应用场景,低清晰度的标清数字视频技术已经无法满足用户业务的需求,因此具备高清晰度的高清数字视频技术的出现,适应了用户对视频质量不断提升的需求,高清数字视频技术已经成为网络数字视频技术的发展趋势。
如图1所示,为数字视频技术的处理流程示意图,EC(Encoder,编码器)对输入的模拟信号进行编码,并通过IP网络传输到DC(Decoder,解码器),由DC进行解码,并输出模拟信号(即显示图像)。在EC对模拟信号进行编码的过程中,将由AD(模拟信号转换为数字信号)、FPGA(Field ProgrammableGate Array,现场可编程门阵列)、DSP(Digital Signal Processing,数字信号处理)等执行相关处理;对应的,在DC进行解码的过程中,将由DSP、FPGA、DA(数字信号转换为模拟信号)等执行相关处理。
由于用户前期部署的是标清数字视频系统,且随着对视频质量要求不断提高的用户业务需求,以及高清数字视频技术的日益成熟,数据存储量将会迎来极大的增长期,因此需要对存储设备进行升级改造,以存储海量数据。
现有技术中,为了存储海量数据,可通过如下方式增加存储空间:(1)通过更换现有磁盘(即更换更大容量的磁盘)的方式增加存储空间,如将原1T的磁盘更换为2T的磁盘;(2)添加新的存储设备,以扩大存储空间。
在上述方式(1)中,存在将更换磁盘中数据拷贝到新磁盘的过程,从而会影响现有业务的处理能力,且更换出的磁盘不会继续使用,造成资源的浪费。在上述方式(2)中,新添加的存储设备与原有存储设备之间各自独立工作,不能使得各存储设备的性能得到有效的调度。
发明内容
本发明提供一种数据的处理方法和设备,以在增加存储空间的情况下,实现多个存储设备之间的协调工作。
为了达到上述目的,本发明提供一种数据的处理方法,应用于包括接入设备和多个存储设备的系统中,所述多个存储设备均与所述接入设备连接,所述多个存储设备之间互相连接,且所述多个存储设备具有相同的IP地址,在所述多个存储设备中选择一个存储设备为主控设备,其他存储设备为成员设备,所述主控设备与所述接入设备连接的端口处于up状态,所述成员设备与所述接入设备连接的端口处于down状态,该方法包括以下步骤:
所述主控设备接收来自所述接入设备的数据处理请求;
所述主控设备根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备;
所述主控设备将所述数据处理请求发送给确定的存储设备,由所述确定的存储设备对所述数据处理请求进行处理。
所述主控设备根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备,具体包括:
所述主控设备接收并维护各存储设备上报的处理缓存状态,所述处理缓存状态为繁忙状态、或正常状态、或空闲状态;
如果当前有处于空闲状态的存储设备,则所述主控设备确定对所述数据处理请求进行处理的存储设备为处于空闲状态的存储设备;
如果当前没有处于空闲状态的存储设备且有处于正常状态的存储设备,则所述主控设备确定对所述数据处理请求进行处理的存储设备为处于正常状态的存储设备;
如果当前没有处于空闲状态的存储设备且没有处于正常状态的存储设备,则所述主控设备确定对所述数据处理请求进行处理的存储设备为处于繁忙状态的存储设备。
所述主控设备接收各存储设备上报的处理缓存状态,具体为:
当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,所述主控设备接收到的所述存储设备上报的处理缓存状态为空闲状态;
当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,所述主控设备接收到的所述存储设备上报的处理缓存状态为繁忙状态;
当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,所述主控设备接收到的所述存储设备上报的处理缓存状态为正常状态。
所述处理缓存状态为读缓存状态或写缓存状态;
当所述数据处理请求为写处理请求时,所述主控设备根据各存储设备的写缓存状态确定对写处理请求进行处理的存储设备;
当所述数据处理请求为读处理请求时,所述主控设备根据各存储设备的读缓存状态确定对读处理请求进行处理的存储设备。
当需要在所述系统中增加扩容存储设备时,将所述扩容存储设备与其他存储设备分别连接,且将所述扩容存储设备与所述接入设备连接;
在利用当前系统中存在的存储设备的性能重新选举出性能最优的主控设备后,使重新选举出的主控设备与所述接入设备连接的端口处于up状态,并使其他存储设备与所述接入设备连接的端口处于down状态。
一种数据的处理设备,应用于包括接入设备和多个存储设备的系统中,所述多个存储设备均与所述接入设备连接,所述多个存储设备之间互相连接,且所述多个存储设备具有相同的IP地址,在所述多个存储设备中选择一个存储设备为主控设备,其他存储设备为成员设备,所述主控设备与所述接入设备连接的端口处于up状态,所述成员设备与所述接入设备连接的端口处于down状态,所述处理设备为所述主控设备,且该主控设备包括:
接收模块,用于接收来自所述接入设备的数据处理请求;
确定模块,用于根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备;
发送模块,用于将所述数据处理请求发送给确定的存储设备,由所述确定的存储设备对所述数据处理请求进行处理。
所述接收模块,还用于接收并维护各存储设备上报的处理缓存状态,所述处理缓存状态为繁忙状态、或正常状态、或空闲状态;
所述确定模块,具体用于如果当前有处于空闲状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于空闲状态的存储设备;
如果当前没有处于空闲状态的存储设备且有处于正常状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于正常状态的存储设备;
如果当前没有处于空闲状态的存储设备且没有处于正常状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于繁忙状态的存储设备。
所述接收模块,进一步用于当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,接收到的所述存储设备上报的处理缓存状态为空闲状态;
当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,接收到的所述存储设备上报的处理缓存状态为繁忙状态;
当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,接收到的所述存储设备上报的处理缓存状态为正常状态。
所述处理缓存状态为读缓存状态或写缓存状态;
所述确定模块,进一步用于当所述数据处理请求为写处理请求时,根据各存储设备的写缓存状态确定对写处理请求进行处理的存储设备;
当所述数据处理请求为读处理请求时,根据各存储设备的读缓存状态确定对读处理请求进行处理的存储设备。
当需要在所述系统中增加扩容存储设备时,将所述扩容存储设备与其他存储设备分别连接,且将所述扩容存储设备与所述接入设备连接;
在利用当前系统中存在的存储设备的性能重新选举出性能最优的主控设备后,使重新选举出的主控设备与所述接入设备连接的端口处于up状态,并使其他存储设备与所述接入设备连接的端口处于down状态。
与现有技术相比,本发明至少具有以下优点:
本发明中,通过判断各存储设备的处理缓存状态,以将数据处理请求分发给空闲存储设备,使空闲存储设备分担较多的计算任务,从而提高系统的处理性能。此外,多个存储设备之间协同处理数据,对外为一个IP地址进行管理以及业务处理,可以有效的简化网络配置,并节省私网IP地址的分配。
附图说明
图1是现有技术中数字视频技术的处理流程示意图;
图2是本发明提出的一种数据的处理方法流程图;
图3A-图3C是本发明应用场景示意图;
图4是本发明提出的一种数据的处理设备结构图。
具体实施方式
本发明提出一种数据的处理方法,应用于包括接入设备(如接入交换机)和多个存储设备的系统(如视频监控系统)中,多个存储设备均与接入设备连接,多个存储设备之间互相连接,且多个存储设备具有相同的IP地址(当系统中其他设备需要访问各存储设备时,均使用该IP地址实现访问过程)。
本发明中,基于各存储设备的性能信息(包括但不限于CPU、RAID卡性能、内存、业务口状态等性能信息),可以在多个存储设备中选择一个存储设备为主控设备;例如,各存储设备根据自身的CPU、RAID卡性能、内存、业务口状态等性能信息进行选举,且权重最高的存储设备将被选举为主控设备,而其他存储设备为成员设备。之后,需要使主控设备与接入设备连接的端口处于up状态,并使成员设备与接入设备连接的端口处于down状态。
进一步的,当需要在系统中对存储设备进行扩容时,则需要在系统中增加存储设备(可以认为其是扩容存储设备,即在原有存储设备的基础上添加新的扩容存储设备),在该情况下,需要将扩容存储设备与其他存储设备分别进行连接,且需要将扩容存储设备与接入设备进行连接。
在将扩容存储设备与其他存储设备分别连接时,使用网线连接扩容存储设备与其他存储设备的空闲业务口,并各自配置为协同口(协同存储设备间的业务及管理数据传输口)。之后,设置扩容存储设备为协同模式,且在协同模式下,扩容存储设备需要与其他存储设备一起进行选举(即各存储设备根据自身的CPU、RAID卡性能、内存、业务口状态等性能信息进行选举),从而选举出新的主控设备(可以为之前的主控设备,也可以为扩容存储设备)。
需要注意的是,对于扩容存储设备,还需要将扩容存储设备的其他一个空闲业务口连接到接入设备,在利用当前系统中存在的存储设备的性能重新选举出性能最优的主控设备后,需要使重新选举出的主控设备与接入设备连接的端口处于up状态,并使其他存储设备与接入设备连接的端口处于down状态(本状态可为物理down状态,也可为up状态,但不分配mac地址)。
基于上述情况,如图2所示,该数据的处理方法包括以下步骤:
步骤201,主控设备接收来自接入设备的数据处理请求;该数据处理请求为写处理请求或者读处理请求。
具体的,当系统中的其他设备需要访问(如写处理请求或者读处理请求)存储设备时,会利用存储设备的IP地址访问该存储设备;而在接入设备上,由于只有接入设备与主控设备之间连接的端口处于up状态,且各存储设备的IP地址相同,因此接入设备会将数据处理请求发送给主控设备。
步骤202,主控设备根据各存储设备的处理缓存状态确定对数据处理请求进行处理的存储设备。
该处理缓存状态具体为读缓存状态或者写缓存状态;当数据处理请求为写处理请求时,则主控设备根据各存储设备的写缓存状态确定对写处理请求进行处理的存储设备;当数据处理请求为读处理请求时,则主控设备根据各存储设备的读缓存状态确定对读处理请求进行处理的存储设备。
本发明中,各存储设备上将启动定时器,每隔一定时间检测自身缓存状态,并向主控设备发送;以处理缓存状态为繁忙状态、或正常状态、或空闲状态为例进行说明;当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,则向主控设备上报处理缓存状态为空闲状态;当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,则向主控设备上报处理缓存状态为繁忙状态;当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,则向主控设备上报处理缓存状态为正常状态。
针对上述过程,主控设备可接收到各存储设备上报的处理缓存状态,并维护各存储设备上报的处理缓存状态;对于主控设备自身的处理缓存状态,其可以直接按照上述方式检测得到。
具体的,针对处理缓存状态为繁忙状态、或正常状态、或空闲状态,则当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,主控设备接收到的存储设备上报的处理缓存状态为空闲状态;当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,主控设备接收到的存储设备上报的处理缓存状态为繁忙状态;当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,主控设备接收到的存储设备上报的处理缓存状态为正常状态。
本发明中,主控设备根据各存储设备的处理缓存状态确定对数据处理请求进行处理的存储设备,具体包括:主控设备接收并维护各存储设备上报的处理缓存状态(对于主控设备自身的处理缓存状态,其可以直接检测得到),如果当前有处于空闲状态的存储设备,则主控设备确定对数据处理请求进行处理的存储设备为处于空闲状态的存储设备;如果当前没有处于空闲状态的存储设备且有处于正常状态的存储设备,则主控设备确定对数据处理请求进行处理的存储设备为处于正常状态的存储设备;如果当前没有处于空闲状态的存储设备且没有处于正常状态的存储设备,则主控设备确定对数据处理请求进行处理的存储设备为处于繁忙状态的存储设备。
步骤203,主控设备将数据处理请求发送给确定的存储设备,由确定的存储设备对数据处理请求进行处理。
当数据处理请求为写处理请求时(即针对数据写入过程),则主控设备会根据各存储设备的繁忙状态、正常状态、空闲状态,将写处理请求发送到相对空闲的存储设备的缓存上,之后通过该相对空闲的存储设备的RAID卡进行校验和的计算,并在计算完成后,下发到挂载上来的阵列中。
当数据处理请求为读处理请求时(即针对数据读取过程),则主控设备会根据各存储设备的繁忙状态、正常状态、空闲状态,将读处理请求发送到相对空闲的存储设备的缓存上,之后通过该相对空闲的存储设备读取挂载阵列中的数据(当多个存储设备的读缓存状态为空闲状态时,可以默认选择阵列所在的存储设备为读取数据的存储设备),之后可通过协同口将读取出的数据从主控设备发送出去。
本发明中,当阵列的某个磁盘损坏,且需要重建阵列时,则主控设备会根据各存储设备的繁忙状态、正常状态、空闲状态,将读处理请求发送到相对空闲的存储设备的缓存上,之后通过该相对空闲的存储设备读取挂载阵列中的数据(即从阵列读取数据)加以计算,并将数据重新写回阵列中。
综上所述,针对单台存储设备的RAID芯片处理能力的限制,使得不能无限制的添加级连存储磁盘柜来增加容量的问题;本发明中:
(1)通过将多个存储设备的阵列通过iSCSI协议挂载到主控设备(多个存储设备间通过网口级连方式进行连接,并通过iSCSI协议承载存储设备间管理命令)上,并通过判断各存储设备的处理缓存状态,以确定各存储设备的RAID卡的繁忙状态,最后由主控设备将数据流分发给空闲存储设备的RAID卡缓存,从而使空闲存储设备分担较多的计算任务,以提高整体的处理性能。
(2)多个存储设备之间协同存储数据时,对外为一个IP地址进行管理及业务处理,从而可以有效简化网络配置,并节省私网IP地址的分配。
(3)存储设备可灵活添加到系统中,扩容存储容量时不需要更换原有存储设备,可充分利用现有存储设备,而不是采用单一替换或添加的方式;而且可有效的实现系统的升级,缓解资源浪费,提升系统后续升级的可维护性。
(4)使得各存储设备之间的RAID卡芯片性能得到统一调度,使后端存储系统的性能最大化;且实现多个存储设备RAID卡计算的负载分担,有效提升整体设备性能。
以下结合具体的应用场景对本发明进行详细说明。
1、在存储设备NVR1(成员设备)和存储设备NVR2(主控设备)的基础上,加入一台新的存储设备NVR3,选择两个空闲网口为协同口,并将存储设备NVR3与已有的存储设备(存储设备NVR1和存储设备NVR2)连接成环;之后,选择一个网口与接入设备(接入交换机)连接,如图3A所示。
2、存储设备NVR3与原有主控设备(存储设备NVR2)进行协商,选举出新的主控设备,以存储设备NVR3的性能比存储设备NVR2高为例,则存储设备NVR3为新的主控设备,且与接入设备连接的业务口为up状态;而存储设备NVR1和存储设备NVR2为成员设备,且与接入设备连接的业务口为逻辑down状态,如图3B所示。
3、在存储设备NVR3上创建阵列后,阵列将通过协同口挂载到所有存储设备(存储设备NVR1、存储设备NVR2存储设备NVR3)上,如图3C所示。
4、各存储设备定时检测自身缓存的情况,并将各自的缓存状态(繁忙状态、正常状态、空闲状态)通过协同口上报给主控设备,由主控设备保留表项以记录各存储设备的繁忙情况,以及将业务流量通过协同口发送到空闲存储设备的缓存上,等待进行计算。如表1所示,为缓存状态的记录情况。
表1
设备名称 写缓存状态 读缓存状态
NVR1 繁忙 空闲
NVR2 空闲 空闲
NVR3 正常 空闲
5、针对数据写入情况,当计算完成后,存储设备将数据通过阵列与之连接的挂载通道下发到阵列磁盘中。
6、针对数据读取情况,主控设备判断读缓存状态(当多个存储设备读缓存为空闲状态时,则默认选择阵列所在存储设备读取数据),选择空闲的存储设备读取挂载阵列数据,并通过协同口将读出的数据从主控设备发送出去。
7、当某存储设备离开或者损坏时,由于通过协同口已经将原存储设备连接成环形,则在存储设备离开后,其他存储设备还能正常通信。例如,主控设备离开时,则剩余存储设备重新进行协商,选举产生主控设备,恢复业务。
基于与上述方法同样的发明构思,本发明还提出了一种数据的处理设备,应用于包括接入设备和多个存储设备的系统中,所述多个存储设备均与所述接入设备连接,所述多个存储设备之间互相连接,且所述多个存储设备具有相同的IP地址,在所述多个存储设备中选择一个存储设备为主控设备,其他存储设备为成员设备,所述主控设备与所述接入设备连接的端口处于up状态,所述成员设备与所述接入设备连接的端口处于down状态,所述处理设备为所述主控设备,如图4所示,该主控设备包括:
接收模块11,用于接收来自所述接入设备的数据处理请求;
确定模块12,用于根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备;
发送模块13,用于将所述数据处理请求发送给确定的存储设备,由所述确定的存储设备对所述数据处理请求进行处理。
所述接收模块11,还用于接收并维护各存储设备上报的处理缓存状态,所述处理缓存状态为繁忙状态、或正常状态、或空闲状态;
所述确定模块12,具体用于如果当前有处于空闲状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于空闲状态的存储设备;
如果当前没有处于空闲状态的存储设备且有处于正常状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于正常状态的存储设备;
如果当前没有处于空闲状态的存储设备且没有处于正常状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于繁忙状态的存储设备。
所述接收模块11,进一步用于当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,接收到的所述存储设备上报的处理缓存状态为空闲状态;
当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,接收到的所述存储设备上报的处理缓存状态为繁忙状态;
当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,接收到的所述存储设备上报的处理缓存状态为正常状态。
所述处理缓存状态为读缓存状态或写缓存状态;
所述确定模块12,进一步用于当所述数据处理请求为写处理请求时,根据各存储设备的写缓存状态确定对写处理请求进行处理的存储设备;
当所述数据处理请求为读处理请求时,根据各存储设备的读缓存状态确定对读处理请求进行处理的存储设备。
本发明中,当需要在所述系统中增加扩容存储设备时,将所述扩容存储设备与其他存储设备分别连接,且将所述扩容存储设备与所述接入设备连接;
在利用当前系统中存在的存储设备的性能重新选举出性能最优的主控设备后,使重新选举出的主控设备与所述接入设备连接的端口处于up状态,并使其他存储设备与所述接入设备连接的端口处于down状态。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种数据的处理方法,应用于包括接入设备和多个存储设备的系统中,其特征在于,所述多个存储设备均与所述接入设备连接,所述多个存储设备之间互相连接,且所述多个存储设备具有相同的IP地址,在所述多个存储设备中选择一个存储设备为主控设备,其他存储设备为成员设备,所述主控设备与所述接入设备连接的端口处于up状态,所述成员设备与所述接入设备连接的端口处于down状态,该方法包括以下步骤:
所述主控设备接收来自所述接入设备的数据处理请求;
所述主控设备根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备;
所述主控设备将所述数据处理请求发送给确定的存储设备,由所述确定的存储设备对所述数据处理请求进行处理;
其中,所述主控设备根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备,具体包括:
所述主控设备接收并维护各存储设备上报的处理缓存状态,所述处理缓存状态为繁忙状态、或正常状态、或空闲状态;
如果当前有处于空闲状态的存储设备,则所述主控设备确定对所述数据处理请求进行处理的存储设备为处于空闲状态的存储设备;
如果当前没有处于空闲状态的存储设备且有处于正常状态的存储设备,则所述主控设备确定对所述数据处理请求进行处理的存储设备为处于正常状态的存储设备;
如果当前没有处于空闲状态的存储设备且没有处于正常状态的存储设备,则所述主控设备确定对所述数据处理请求进行处理的存储设备为处于繁忙状态的存储设备。
2.如权利要求1所述的方法,其特征在于,所述主控设备接收各存储设备上报的处理缓存状态,具体为:
当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,所述主控设备接收到的所述存储设备上报的处理缓存状态为空闲状态;
当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,所述主控设备接收到的所述存储设备上报的处理缓存状态为繁忙状态;
当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,所述主控设备接收到的所述存储设备上报的处理缓存状态为正常状态。
3.如权利要求1或2任一项所述的方法,其特征在于,所述处理缓存状态为读缓存状态或写缓存状态;
当所述数据处理请求为写处理请求时,所述主控设备根据各存储设备的写缓存状态确定对写处理请求进行处理的存储设备;
当所述数据处理请求为读处理请求时,所述主控设备根据各存储设备的读缓存状态确定对读处理请求进行处理的存储设备。
4.如权利要求1或2任一项所述的方法,其特征在于,当需要在所述系统中增加扩容存储设备时,将所述扩容存储设备与其他存储设备分别连接,且将所述扩容存储设备与所述接入设备连接;
在利用当前系统中存在的存储设备的性能重新选举出性能最优的主控设备后,使重新选举出的主控设备与所述接入设备连接的端口处于up状态,并使其他存储设备与所述接入设备连接的端口处于down状态。
5.一种数据的处理设备,应用于包括接入设备和多个存储设备的系统中,其特征在于,所述多个存储设备均与所述接入设备连接,所述多个存储设备之间互相连接,且所述多个存储设备具有相同的IP地址,在所述多个存储设备中选择一个存储设备为主控设备,其他存储设备为成员设备,所述主控设备与所述接入设备连接的端口处于up状态,所述成员设备与所述接入设备连接的端口处于down状态,所述处理设备为所述主控设备,且该主控设备包括:
接收模块,用于接收来自所述接入设备的数据处理请求;
确定模块,用于根据各存储设备的处理缓存状态确定对所述数据处理请求进行处理的存储设备;
发送模块,用于将所述数据处理请求发送给确定的存储设备,由所述确定的存储设备对所述数据处理请求进行处理;
其中,所述接收模块,还用于接收并维护各存储设备上报的处理缓存状态,所述处理缓存状态为繁忙状态、或正常状态、或空闲状态;
所述确定模块,具体用于如果当前有处于空闲状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于空闲状态的存储设备;
如果当前没有处于空闲状态的存储设备且有处于正常状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于正常状态的存储设备;
如果当前没有处于空闲状态的存储设备且没有处于正常状态的存储设备,则确定对所述数据处理请求进行处理的存储设备为处于繁忙状态的存储设备。
6.如权利要求5所述的设备,其特征在于,
所述接收模块,进一步用于当存储设备在预设周期内检测到自身缓存小于预设空闲阈值时,接收到的所述存储设备上报的处理缓存状态为空闲状态;
当存储设备在预设周期内检测到自身缓存大于预设告警阈值时,接收到的所述存储设备上报的处理缓存状态为繁忙状态;
当存储设备在预设周期内检测到自身缓存不小于预设空闲阈值且不大于预设告警阈值时,接收到的所述存储设备上报的处理缓存状态为正常状态。
7.如权利要求5或6任一项所述的设备,其特征在于,所述处理缓存状态为读缓存状态或写缓存状态;
所述确定模块,进一步用于当所述数据处理请求为写处理请求时,根据各存储设备的写缓存状态确定对写处理请求进行处理的存储设备;
当所述数据处理请求为读处理请求时,根据各存储设备的读缓存状态确定对读处理请求进行处理的存储设备。
8.如权利要求5或6任一项所述的设备,其特征在于,当需要在所述系统中增加扩容存储设备时,将所述扩容存储设备与其他存储设备分别连接,且将所述扩容存储设备与所述接入设备连接;
在利用当前系统中存在的存储设备的性能重新选举出性能最优的主控设备后,使重新选举出的主控设备与所述接入设备连接的端口处于up状态,并使其他存储设备与所述接入设备连接的端口处于down状态。
CN201210029716.5A 2012-02-10 2012-02-10 一种数据的处理方法和设备 Active CN102591594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210029716.5A CN102591594B (zh) 2012-02-10 2012-02-10 一种数据的处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210029716.5A CN102591594B (zh) 2012-02-10 2012-02-10 一种数据的处理方法和设备

Publications (2)

Publication Number Publication Date
CN102591594A CN102591594A (zh) 2012-07-18
CN102591594B true CN102591594B (zh) 2015-05-20

Family

ID=46480339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210029716.5A Active CN102591594B (zh) 2012-02-10 2012-02-10 一种数据的处理方法和设备

Country Status (1)

Country Link
CN (1) CN102591594B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345450B (zh) * 2013-06-26 2016-11-02 浙江宇视科技有限公司 一种动态调整冗余raid阵列重建的装置和方法
CN108572930B (zh) * 2017-03-14 2021-09-10 航天信息股份有限公司 缓存控制方法及装置
CN108255422A (zh) * 2017-12-28 2018-07-06 浪潮通用软件有限公司 一种存储方法和存储装置
CN110320853A (zh) * 2019-07-30 2019-10-11 翼石电子股份有限公司 一种plc数据采集分析方法及系统
CN111162965A (zh) * 2019-12-17 2020-05-15 杭州迪普科技股份有限公司 监控Buffer的方法和装置
CN111104399A (zh) * 2019-12-19 2020-05-05 国网安徽省电力有限公司信息通信分公司 一种海量电网数据管理存储系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832489A (zh) * 2006-04-19 2006-09-13 杭州华为三康技术有限公司 一种对目的磁盘进行访问的方法和扩展磁盘容量的系统
CN101056254A (zh) * 2007-06-06 2007-10-17 杭州华三通信技术有限公司 一种网络存储设备的扩展方法、系统及其装置
CN101800889A (zh) * 2010-02-02 2010-08-11 杭州华三通信技术有限公司 一种视频监控方法和设备
CN102298547A (zh) * 2011-09-20 2011-12-28 杭州华三通信技术有限公司 一种数据备份方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379990B2 (en) * 2002-08-12 2008-05-27 Tsao Sheng Ted Tai Distributed virtual SAN

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1832489A (zh) * 2006-04-19 2006-09-13 杭州华为三康技术有限公司 一种对目的磁盘进行访问的方法和扩展磁盘容量的系统
CN101056254A (zh) * 2007-06-06 2007-10-17 杭州华三通信技术有限公司 一种网络存储设备的扩展方法、系统及其装置
CN101800889A (zh) * 2010-02-02 2010-08-11 杭州华三通信技术有限公司 一种视频监控方法和设备
CN102298547A (zh) * 2011-09-20 2011-12-28 杭州华三通信技术有限公司 一种数据备份方法及其装置

Also Published As

Publication number Publication date
CN102591594A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN102591594B (zh) 一种数据的处理方法和设备
CN111258737B (zh) 一种资源调度的方法、装置和过滤式调度器
CN105183565A (zh) 计算机、服务质量控制方法及装置
CN108683528B (zh) 一种数据传输方法、中心服务器、服务器及数据传输系统
CN111224806A (zh) 一种资源分配方法及服务器
EP2495933A1 (en) Method and system for recovering video monitoring service
CN104461698A (zh) 虚拟磁盘动态挂载的方法、管理装置及分布式存储系统
CN103838659A (zh) 一种系统日志的控制方法和装置
CN109873714B (zh) 云计算节点配置更新方法及终端设备
CN102520982A (zh) 节点热插拔的方法及装置
CN102724272B (zh) 一种电视台业务发布数据的备份方法
CN101467132B (zh) 用于在通信网络中分配数据处理单元的方法和系统
CN202713533U (zh) 电视机的诊断和维护系统与电视机
CN109684084A (zh) 一种总线资源的分配方法、系统及相关组件
CN101986703A (zh) 视频录像方法、网络视频监控系统以及前端和调度服务器
US20210250962A1 (en) Connecting computer processing systems and transmitting data
CN102231684B (zh) 接口板状态检测方法、多核中央处理器、接口板及路由器
US11232228B2 (en) Method and device for improving data storage security
CN102820992A (zh) 数据包的处理方法和装置
CN103560913A (zh) 一种容灾切换方法、设备及系统
CN107680374B (zh) 一种过车数据的智能采集调度系统
CN101720041A (zh) 一种基于分层编码的数据处理方法
CN100470527C (zh) 工作管理系统及方法、及其装置
CN102158416B (zh) 一种基于内存分配的报文处理方法和设备
CN106301889B (zh) 一种端口号快速设置方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Patentee after: NEW H3C TECHNOLOGIES Co.,Ltd.

Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base

Patentee before: HANGZHOU H3C TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230619

Address after: 310052 11th Floor, 466 Changhe Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: H3C INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 310052 Changhe Road, Binjiang District, Hangzhou, Zhejiang Province, No. 466

Patentee before: NEW H3C TECHNOLOGIES Co.,Ltd.