CN106713465B - 一种分布式存储系统 - Google Patents
一种分布式存储系统 Download PDFInfo
- Publication number
- CN106713465B CN106713465B CN201611227452.9A CN201611227452A CN106713465B CN 106713465 B CN106713465 B CN 106713465B CN 201611227452 A CN201611227452 A CN 201611227452A CN 106713465 B CN106713465 B CN 106713465B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- transceiver
- processing
- storage server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例公开了一种分布式存储系统,该系统包括:至少一个数据服务器、至少一个存储服务器以及中心交换机,所述至少一个数据服务器,通过所述中心交换机与所述至少一个存储服务器相连;所述至少一个数据服务器获取海量数据以及对所述海量数据进行过滤处理得到目标数据,将所述目标数据通过中心交换机发送至所述至少一个存储服务器;所述至少一个存储服务器接收并存储所述目标数据。利用该分布式存储系统,能够通过分布式的数据服务器独立的实现海量数据的过滤处理,有效地节省了数据的处理时间,同时也提高了数据的处理精度,并且避免了因数据处理的处理量过大而出现死机、宕机的风险,由此提高了分布式存储系统的用户体验。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种分布式存储系统。
背景技术
随着计算机技术的飞速发展,各行各领域的数据呈几何级快速增长,传统的集中式存储系统已不能满足对海量数据的存储及处理,由此出现了分布式的存储系统。图1给出了一种现有的分布式存储系统的架构图,如图1所示,现有的分布式存储系统可包括:核心运算器11,与核心运算器11相连的多个粗糙数据存储节点12,其中,上述多个粗糙数据存储节点12均可用于存储所获取的原始数据或粗糙数据;同样,该分布式存储系统还包括一个与核心运算器11相连的精细数据存储节点13,该精细数据存储节点13用于存放对原始数据或粗糙数据进行优化处理后的数据。此外,分布式存储系统还包括一个与核心运算器11与相连的Web服务器10相连,用户可通过Web服务器10查询所需的数据信息。
一般地,存储在粗糙数据存储节点12中的数据往往具有数据来源繁杂、数据类型复杂以及数据信息冗余等特点,因此在将数据展示给用户前,需要对粗糙数据存储节点12中的数据进行优化处理,以提取用户需要的数据信息。其对数据的优化处理过程往往是核心运算器11获取每台粗糙数据存储节点12中的数据并依次进行处理,然后将处理后数据发送给精细数据存储节点13。
上述数据处理的方法,主要在核心运算器上进行,而核心运算器只能串行的获取每台粗糙数据存储节点中的数据并处理,由此耗费了较多的处理时间,此外,上述方式处理所得数据的精准度较低,而且也容易出现核心运算器因超负载而造成死机、宕机的风险,进而影响分布式存储系统的用户体验。
发明内容
本发明实施例提供了一种分布式存储系统,能够有效提高所存储的海量数据的处理效率,同时也提高了分布式存储系统对数据处理的精准度。
本发明实施例提供的一种分布式存储系统,包括:
至少一个数据服务器、至少一个存储服务器以及中心交换机,所述至少一个数据服务器,通过所述中心交换机与所述至少一个存储服务器相连;
所述至少一个数据服务器获取海量数据以及对所述海量数据进行过滤处理得到目标数据,将所述目标数据通过中心交换机发送至所述至少一个存储服务器;所述至少一个存储服务器接收并存储所述目标数据。
本发明实施例中提供的一种分布式存储系统,在该分布式存储系统中,基于至少一个数据服务器可获取使用者产生的海量数据,可对海量数据进行过滤处理得到目标数据,还可将目标数据通过中心交换机发送至至少一个存储服务器;基于至少一个存储服务器可以接收并存储目标数据。利用该分布式存储系统,能够通过分布式的数据服务器独立的实现海量数据的过滤处理,与现有的分布式存储系统相比,有效地节省了数据的处理时间,同时也提高了数据的处理精度,并且避免了因数据处理的处理量过大而出现死机、宕机的风险,由此提高了分布式存储系统的用户体验。
附图说明
图1给出了一种现有的分布式存储系统的结构示意图;
图2为本发明实施例一提供的一种分布式存储系统的结构示意图;
图3为本发明实施例二提供的一种分布式存储系统的结构示意图;
图4为本发明实施例三提供的一种分布式存储系统的结构示意图;
图5为本发明实施例四提供的一种分布式存储系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图2为本发明实施例一提供的一种分布式存储系统的结构示意图,该分布式存储系统适用于对存放于分布式存储系统中海量的原始数据或一手数据进行过滤处理的情况,该分布式存储系统一般可以由软件和/或硬件实现。
如图2所示,该分布式存储系统包括:至少一个数据服务器21、至少一个存储服务器22以及中心交换机23,至少一个数据服务器21通过中心交换机23与至少一个存储服务器22相连;
至少一个数据服务器21获取海量数据以及对海量数据进行过滤处理得到目标数据,将目标数据通过中心交换机23发送至至少一个存储服务器22;至少一个存储服务器22接收并存储所述目标数据。
在本实施例中,各数据服务器21以及各存储服务器22具体可看做独立的具有存储、处理计算以及信息交互功能的硬件主机;中心交换机23具体可看做一个具有电(光)信号转发功能的网络设备,分布式系统中的至少一个数据服务器21以及至少一个存储服务器22均与中心交互机23通过数据总线相连。
具体地,分布式存储系统中各数据服务器21可用于存储从第三方获取的海量数据,其中,海量数据一般为来自第三方的原始数据、一手数据或者粗糙数据等,一般需要进行过滤处理;各数据服务器21还可用于对所存储的各条海量数据进行过滤处理,以获得符合规则条件的目标数据,并最终将目标数据通过中心交换机23发送给对应的存储服务器22。此外,本实施例中的至少一个存储服务器22可用于接收通过中心交换机23发送的目标数据。
可以理解的是,通过本实施例的分布式存储系统,可以将从第三方获取的海量数据分布式存放到各数据服务器21上,并可对各数据服务器21上的海量数据并行进行过滤处理,最终在存储服务器上分布式存储过滤处理后的目标数据。
进一步地,至少一个数据服务器21根据至少一个存储服务器22的位置信息,将所述目标数据通过中心交换机23发送给对应的存储服务器22;或者,至少一个数据服务器21根据至少一个存储服务器22的剩余容量信息,确定剩余容量符合存储条件的存储服务器22,并将所述目标数据通过中心交换机23发送给对应的存储服务器22。
在本实施例中,经数据服务器21过滤处理后的目标数据可通过中心交换机23发送到符合要求的存储服务器22上。具体地,数据服务器21可通过确定各存储服务器22的位置信息来选取对应的存储服务器;也可通过确定各存储服务器22的剩余用量信息来选取对应的存储服务器。
在本实施例中,其通过确定各存储服务器22的位置信息来选取对应的存储服务器的实现过程可描述为:首先可将各存储服务器22的位置信息记录在分布式存储系统的各数据服务器21上,在各数据服务器21对其上的海量数据进行过滤处理得到目标数据后,可从所记录的多个存储服务器的位置信息中选取一个位置信息,最终将该位置信息对应的存储服务器22作为存储目标数据的存储服务器22。
需要说明的是,数据服务器可以优选地根据历史选取信息从多个存储服务器的位置信息中确定选取次数最少的一个位置信息。示例性地,假设数据服务器中记录了10个存储服务器的位置信息,则当数据服务器通过保存的历史选取信息确定出有1个存储服务器的位置信息未被选取过,或者被选取的次数小于其余9个存储服务器的位置信息的选取次数时,可选取上述所确定的1个存储服务器的位置信息,并将该存储服务器作为存储目标数据的存储服务器。此外,当数据服务器中记录的多个位置信息均未被选取过时,可从多个位置信息中任一选取一个位置信息。
在本实施例中,其通过确定各存储服务器22的剩余用量信息来选取对应的存储服务器的实现过程可描述为:首先可将各存储服务器22的位置信息及剩余容量信息记录在分布式存储系统的各数据服务器中,在各数据服务器21对其上的海量数据进行过滤处理得到目标数据后,可确定所获得目标数据的数据量大小,然后从多个存储服务器22中选取剩余容量大于上述数据量大小的一个存储服务器22作为存储目标数据的存储服务器。
需要说明的是,基于剩余容量信息选取存储目标数据的存储服务器时,数据服务器需要实时获取各存储服务器的剩余容量信息,以确保所记录剩余容量信息的准确性。
本发明实施例一提供的一种分布式存储系统,包括了至少一个数据服务器、至少一个存储服务器以及中心交换机,数据服务器能够对海量数据进行过滤处理,并将过滤处理后得到的目标数据通过中心交换机发送给存储服务器。利用该分布式存储系统,能够通过分布式的数据服务器独立的实现海量数据的过滤处理,与现有的分布式存储系统相比,有效地节省了数据的处理时间,同时也提高了数据的处理精度,并且避免了因数据处理的处理量过大而出现死机、宕机的风险,由此提高了分布式存储系统的用户体验。
实施例二
图3为本发明实施例二提供的一种分布式存储系统的结构示意图。本发明实施例以上述实施例为基础进行优化。如图3所示,本发明实施例二提供的一种分布式存储系统,除包括至少一个数据服务器21、至少一个存储服务器22以及中心交换机23外,还进一步对至少一个数据服务器21进行优化。具体地,至少一个数据服务器21包括数据处理器211和监控器212,数据处理器211与监控器212相连;数据处理器211对获取的海量数据进行过滤处理得到目标数据;监控器212对数据处理器211的处理状态进行监控,并在处理状态为数据处理异常时进行预警处理。
在本实施例中,数据服务器21可根据所包含的数据处理器211对获取的海量数据进行过滤处理,同时,数据服务器21所具有的监控器212还可以对数据处理器211的过滤处理过程进行实时监控,运维人员可通过监控器212确定数据处理器的处理状态;此外,监控器212可在数据处理器211的处理状态为数据处理异常时向运维人员发送预警提示,使运维人员及时对数据处理器211进行维护。
进一步地,数据服务器21中的数据处理器211,优化包括了:
待处理确定模块2111,用于在满足设定的处理条件时,确定所在数据服务器21中待处理的海量数据;
数据处理模块2112,与所述待处理确定模块2111和监控器212相连,用于根据设定的处理规则处理所述海量数据,获得所述海量数据的目标数据。
在本实施例中,设定的处理条件可以是数据处理器211达到了设定的处理启动时间;一般地,待处理确定模块2111在确定所在数据服务器21中待处理的海量数据时,可通过海量数据对应的标记值来确定已经对数据服务器21中的哪些海量数据进行了过滤处理,由此可将未进行过滤处理的海量数据确定为待处理的海量数据。
在本实施例中,待处理确定模块2111确定出的待处理的海量数据后,数据处理模块2112可获取该海量数据,并根据预先设定的处理规则过滤处理该海量数据,由此可获得该海量数据的目标数据。在此过程中,可通过与数据处理模块2112相连的监控器212对整个过滤处理的处理状态进行监控。
一般地,过滤处理的处理状态可以包括:数据处理启动、数据处理正常、数据处理异常以及数据处理结束。监控器212可将所监控的每个处理状态展示给运维人员,以便于运维人员对数据处理器211的维护。此外,需要说明的是,数据处理模块2112处理海量数据时所基于的处理规则可以是多样的,一般由运维人员预先根据业务需求设定。
示例性地,假设其中一个数据服务器中存储的一条海量数据具有8个字段属性,分别为第一字段属性、第二字段属性、……第八字段属性,如果该条海量数据在业务中真正有用的或有价值的字段属性为第三字段属性、第四字段属性、第五字段属性和第八字段属性,那么对于该条海量数据而言,运维人员可以设定相应的处理规则为:从该海量数据中提取第三字段属性、第四字段属性、第五字段属性和第八字段属性。由此数据处理模块2112可根据该设定的处理规则将该海量数据过滤处理为仅具有上述四个字段属性的目标数据。
在上述优化的基础上,数据处理器211,还优化包括了:处理标记模块2113,与数据处理模块2112相连,用于在获得所述海量数据的目标数据后,将所述海量数据对应处理标记位的标记值确定为设定标记值,以标记所述海量数据为已处理数据。
在本实施例中,可以为存放在数据服务器21中的每条海量数据设定对应的处理标记位,处理标记模块2113可以在数据处理模块2112过滤处理海量数据后,将海量数据对应的处理标记位的标示值确定设定标记值,由此可标识该海量数据为已处理数据。其中,设定标记值可以是运维人员预先设定的区别于未处理海量数据的值。
进一步地,待处理确定模块2113具体用于:在满足设定的处理条件时,确定所在数据服务器21中每条海量数据对应处理标记位的标记值;如果存在处理标记位的标记值不为所述设定标记值,则将所述处理标记位对应的海量数据确定为待处理的海量数据。
本发明实施例二提供的一种分布式存储系统,在数据服务器中具体增加了数据处理器和监控器,同时描述了数据处理器的具体工作过程。利用该分布式存储系统,保证了分布式的数据服务器独立的实现海量数据的过滤处理,与现有的分布式存储系统相比,有效地节省了数据的处理时间,同时也提高了数据的处理精度,并且避免了因数据处理的处理量过大而出现死机、宕机的风险,由此提高了分布式存储系统的用户体验。
实施例三
图4为本发明实施例三提供的一种分布式存储系统的结构示意图。本发明实施例三以上述实施例为基础进行优化,如图4所示,本发明实施例三提供的一种分布式存储系统,除包括至少一个数据服务器21、至少一个存储服务器22以及中心交换机23,以及数据服务器21中包括数据处理器211和监控器212外,该分布式存储系统中的至少一个数据服务器21还包括第一存储器213、第一控制器214和第一收发器215,数据处理器211与第一控制器214以及第一存储器213相连,第一控制器214和第一存储器213分别与第一收发器215相连,第一收发器215与中心交换机23相连。
具体地,第一存储器213存储获取的海量数据以及接收并存储第一收发器215通过中心交换机23接收的至少一个存储服务器22的位置信息;数据处理器211对第一存储器213中的海量数据过滤处理得到目标数据;第一控制器214接收所述目标数据,并将对应的存储服务器22的位置信息携带在所述目标数据后形成第一交互信息,通过第一收发器215发送给中心交换机23。
进一步地,该分布式存储系统中的至少一个存储服务器22包括第二收发器221、第二控制器222和第二存储器223,第二收发器221与中心交换机23相连,第二控制器222和第二存储器223分别与第二收发器221相连。
具体地,第二控制器222通过第二收发器221向中心交换机23发送所在存储服务器22的位置信息;和/或,第二控制器222接收第二收发器221通过中心交换机23接收的第一交互信息,并在确定所述第一交互信息中包含所在存储服务器22的位置信息后,将所述第一交互信息中的目标数据发送给第二存储器223进行存储。
在本实施例中,具体化了根据至少一个存储服务器22的位置信息,将目标数据通过中心交换机23发送给对应的存储服务器的实现过程。其实现过程可以描述为:首先,数据服务器21中的数据处理器211对第一存储器213中存储的符合处理条件的海量数据进行过滤处理,并将过滤处理后的目标数据发送给其中的第一控制器214,第一控制器214获取存放于第一存储器213中的至少一个存储服务器22的位置信息,并确定一个位置信息,使该位置信息对应的存储服务器作为存储目标数据的存储服务器;之后,第一控制器214将该位置信息携带在获得的目标数据中形成第一交互信息发送给第一收发器215;且由第一收发器215将第一交互信息发送至中心交互机23;然后,中心交互机23将第一交互信息发送给至少一个存储服务器22中的第二收发器221,且由第二控制器222接收第二收发器221发送的第一交互信息并确定该第一交互信息是否包含所在存储服务器22的位置信息,最终,第二控制器222在确定第一交互信息中包含所在存储服务器22的位置信息后,将所述第一交互信息中的目标数据发送给第二存储器223进行存储。由此完成数据存储器21中目标数据到对应存储服务器22的存储。
需要说明的是,在进行上述操作之前,还需要将至少一个存储服务器22的位置信息存储在各数据服务器21的第一存储器213中。其位置信息存储的实现过程可描述为:首先,存储服务器22中的第二控制器222通过其中的第二收发器221向中心交换机23发送其具体的位置信息;该位置信息可以由中心交换机23接收并发送给至少一个数据服务器21中的第一收发器215,然后由第一收发器215发送给所在数据服务器21中的第一存储器213,第一存储器213接收该位置信息并存储。
本发明实施例三提供的一种分布式存储系统,具体细化了数据服务器以及存储服务器中所包含的功能模块,并具体描述了通过数据服务器及存储服务器中的各功能模块进行目标数据到对应存储服务器的存储过程。利用该分布式存储系统,不仅有效地节省了数据服务器对海量数据的处理时间,提高了数据的处理精度,还有效地实现了目标数据到存储服务器的分布式存储,以便于运维人员更好地管理该目标数据。
实施例四
图5为本发明实施例四提供的一种分布式存储系统的结构示意图。本发明实施例四与上述实施例三相当于两个并列的技术方案,本发明实施例四提供了另一种分布式存储系统的结构组成,基于本实施例四的分布式存储系统,可以实现上述实施例一中提到的基于存储服务器的剩余容量信息对目标数据的存储。
本发明实施例四以上述实施例一以及实施例二为基础进行优化,如图5所示,本实施例提供的一种分布式存储系统,除包括至少一个数据服务器21、至少一个存储服务器22以及中心交换机23,以及数据服务器21中包括数据处理器211和监控器212外,该分布式存储系统中的至少一个数据服务器21还包括第三存储器216、第三控制器217和第三收发器218,数据处理器211与第三控制器217以及第三存储器216相连,第三控制器217和第三存储器216分别与第三收发器218相连,第三收发器218与中心交换机23相连。
具体地,第三存储器216存取获取的海量数据以及接收并存储第三收发器218通过中心交换机23接收的至少一个存储服务器22的位置信息和剩余容量信息;数据处理器211对第三存储器216中的海量数据过滤处理得到目标数据;第三控制器217接收所述目标数据,并将剩余容量符合存储条件的存储服务器22的位置信息携带在所述目标数据后形成第二交互信息,通过第三收发器218发送给中心交换机23。
进一步地,该分布式存储系统中的至少一个存储服务器22还包括第四收发器224、第四控制器225和第四存储器226,第四收发器224与中心交换机23相连,第四控制器225和第四存储器226分别与第四收发器224相连。
具体地,第四控制器225获取第四存储器226的剩余容量信息和所在存储服务器22的位置信息,通过第四收发器224发送至中心交换机23;和/或,
第四控制器225接收第四收发器224通过中心交换机23接收的第二交互信息,并在确定第二交互信息中包含所在存储服务器22的位置信息后,将第二交互信息中的目标数据发送给所述第四存储器226进行存储。
在本实施例中,具体化了根据所述至少一个存储服务器22的剩余容量信息,确定剩余容量符合存储条件的存储服务器,并将所述目标数据通过所述中心交换机23发送给对应的存储服务器的实现过程。其实现过程可以描述为:首先,数据服务器21中的数据处理器211对第三存储器216中存储的符合处理条件的海量数据进行过滤处理,并将过滤处理后的目标数据发送给其中的第三控制器217,第三控制器217确定所述目标数据的数据量大小,同时获取存放于第三存储器216中的至少一个存储服务器22的剩余容量信息和位置信息,由此确定大于数据量大小的剩余容量,并确定该剩余容量对应的存储服务器符合存储条件的存储服务器,以将该存储服务器作为存储目标数据的存储服务器;之后,第三控制器217将该存储服务器的位置信息携带在所述目标数据后形成第二交互信息发送给第三收发器218,且由第三收发器218将第二交互信息发送至中心交互机23;然后,中心交互机23将第二交互信息发送给至少一个存储服务器22中的第四收发器224,且由第四控制器225接收第四收发器224发送的第二交互信息并确定该第二交互信息是否包含所在存储服务器22的位置信息;最终,第四控制器225在确定第二交互信息中包含所在存储服务器22的位置信息后,将所述第二交互信息中的目标数据发送给第四存储器226进行存储。根据上述过程可以实现数据存储器21中目标数据到对应存储服务器22的存储。
需要说明的是,在进行上述操作之前,还需要将至少一个存储服务器22的剩余容量信息以及位置信息存储在各数据服务器21的第三存储器216中。其剩余容量信息以及位置信息存储的实现过程可描述为:首先,存储服务器22中的第四控制器225通过其中的第四收发器224向中心交换机23发送其当前存储空间的剩余容量信息以及具体的位置信息;上述剩余容量信息以及位置信息可以由中心交换机23接收并发送给至少一个数据服务器21中的第三收发器218,然后由第三收发器218发送给所在数据服务器21中的第三存储器216,第三存储器216接收其剩余容量信息及位置信息并存储。
本发明实施例四提供的一种分布式存储系统,具体细化了数据服务器以及存储服务器中所包含的另一种结构的功能模块,并具体描述了通过数据服务器及存储服务器中的上述结构的功能模块进行目标数据到对应存储服务器的存储过程。利用该分布式存储系统,不仅有效地节省了数据服务器对海量数据的处理时间,提高了数据的处理精度,还有效地实现了目标数据到存储服务器的分布式存储,以便于运维人员更好地管理该目标数据。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种分布式存储系统,其特征在于,包括:至少一个数据服务器、至少一个存储服务器以及中心交换机,所述至少一个数据服务器,通过所述中心交换机与所述至少一个存储服务器相连;
所述至少一个数据服务器分布式地存储从第三方获取的海量数据以及对所述海量数据并行进行过滤处理,得到目标数据,将所述目标数据通过中心交换机发送至所述至少一个存储服务器;所述至少一个存储服务器接收并存储所述目标数据;
其中,所述至少一个数据服务器根据所述至少一个存储服务器的历史选取信息,从至少一个存储服务器的位置信息中确定选取次数最少的位置信息,将所述目标数据通过所述中心交换机发送给选取次数最少的位置信息所对应的存储服务器。
2.根据权利要求1所述的分布式存储系统,其特征在于,所述至少一个数据服务器包括数据处理器和监控器,所述数据处理器与所述监控器相连;
所述数据处理器对获取的海量数据进行过滤处理得到目标数据;所述监控器对所述数据处理器的处理状态进行监控,并在处理状态为数据处理异常时进行预警处理。
3.根据权利要求2所述的分布式存储系统,其特征在于,所述数据处理器包括:
待处理确定模块,用于在满足设定的处理条件时,确定所在数据服务器中待处理的海量数据;
数据处理模块,与所述待处理确定模块和监控器相连,用于根据设定的处理规则处理所述海量数据,获得所述海量数据的目标数据。
4.根据权利要求3所述的分布式存储系统,其特征在于,所述数据处理器,还包括:
处理标记模块,与所述数据处理模块相连,用于在获得所述海量数据的目标数据后,将所述海量数据对应处理标记位的标记值确定为设定标记值,以标记所述海量数据为已处理数据。
5.根据权利要求4所述的分布式存储系统,其特征在于,所述待处理确定模块具体用于在满足设定的处理条件时,确定所在数据服务器中每条海量数据对应处理标记位的标记值;如果存在处理标记位的标记值不为所述设定标记值,则将所述处理标记位对应的海量数据确定为待处理的海量数据。
6.根据权利要求2所述的分布式存储系统,其特征在于,所述至少一个数据服务器还包括第一存储器、第一控制器和第一收发器,所述数据处理器与所述第一控制器以及第一存储器相连,所述第一控制器和第一存储器分别与所述第一收发器相连,所述第一收发器与所述中心交换机相连;
所述第一存储器存储获取的海量数据以及接收并存储所述第一收发器通过所述中心交换机接收的所述至少一个存储服务器的位置信息;所述数据处理器对第一存储器中的海量数据过滤处理得到目标数据;所述第一控制器接收所述目标数据,并将对应的存储服务器的位置信息携带在所述目标数据后形成第一交互信息,通过所述第一收发器发送给所述中心交换机。
7.根据权利要求6所述的分布式存储系统,其特征在于,所述至少一个存储服务器包括第二收发器、第二控制器和第二存储器,所述第二收发器与所述中心交换机相连,所述第二控制器和所述第二存储器分别与所述第二收发器相连;
所述第二控制器通过所述第二收发器向所述中心交换机发送所在存储服务器的位置信息;和/或,所述第二控制器接收所述第二收发器通过所述中心交换机接收的第一交互信息,并在确定所述第一交互信息中包含所在存储服务器的位置信息后,将所述第一交互信息中的目标数据发送给所述第二存储器进行存储。
8.根据权利要求2所述的分布式存储系统,其特征在于,所述至少一个数据服务器还包括第三存储器、第三控制器和第三收发器,所述数据处理器与所述第三控制器以及第三存储器相连,所述第三控制器和第三存储器分别与所述第三收发器相连,所述第三收发器与所述中心交换机相连;
所述第三存储器存取获取的海量数据以及接收并存储所述第三收发器通过所述中心交换机接收的所述至少一个存储服务器的位置信息和剩余容量信息;所述数据处理器对第三存储器中的海量数据过滤处理得到目标数据;所述第三控制器接收所述目标数据,并将剩余容量符合存储条件的存储服务器的位置信息携带在所述目标数据后形成第二交互信息,通过所述第三收发器发送给所述中心交换机。
9.根据权利要求8所述的分布式存储系统,其特征在于,所述至少一个存储服务器还包括第四收发器、第四控制器和第四存储器,所述第四收发器与所述中心交换机相连,所述第四控制器和所述第四存储器分别与所述第四收发器相连;
所述第四控制器获取所述第四存储器的剩余容量信息和所在存储服务器的位置信息,通过所述第四收发器发送至所述中心交换机;和/或,
所述第四控制器接收所述第四收发器通过所述中心交换机接收的第二交互信息,并在确定所述第二交互信息中包含所在存储服务器的位置信息后,将所述第二交互信息中的目标数据发送给所述第四存储器进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611227452.9A CN106713465B (zh) | 2016-12-27 | 2016-12-27 | 一种分布式存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611227452.9A CN106713465B (zh) | 2016-12-27 | 2016-12-27 | 一种分布式存储系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106713465A CN106713465A (zh) | 2017-05-24 |
CN106713465B true CN106713465B (zh) | 2020-11-17 |
Family
ID=58895470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611227452.9A Active CN106713465B (zh) | 2016-12-27 | 2016-12-27 | 一种分布式存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106713465B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112637327B (zh) * | 2020-12-21 | 2022-07-22 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404399A (zh) * | 2011-11-18 | 2012-04-04 | 浪潮电子信息产业股份有限公司 | 一种云存储资源模糊动态分配方法 |
CN104683422A (zh) * | 2013-12-03 | 2015-06-03 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
CN104731528A (zh) * | 2015-03-17 | 2015-06-24 | 清华大学 | 一种云计算块存储服务的构建方法及系统 |
CN104750858A (zh) * | 2015-04-16 | 2015-07-01 | 成都影泰科技有限公司 | 一种基于网络的数据存储方法 |
CN104898573A (zh) * | 2015-04-06 | 2015-09-09 | 华中科技大学 | 一种基于云计算的数控系统数据采集及处理方法 |
CN105117171A (zh) * | 2015-08-28 | 2015-12-02 | 南京国电南自美卓控制系统有限公司 | 一种能源scada海量数据分布式处理系统及其方法 |
CN106131118A (zh) * | 2016-06-16 | 2016-11-16 | 上海浪潮云计算服务有限公司 | 一种分布式缓存的方法、装置和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7610348B2 (en) * | 2003-05-07 | 2009-10-27 | International Business Machines | Distributed file serving architecture system with metadata storage virtualization and data access at the data server connection speed |
CN1254748C (zh) * | 2003-10-31 | 2006-05-03 | 清华大学 | 存储区域网络中分布式虚拟化存储的方法 |
US7434091B1 (en) * | 2004-12-07 | 2008-10-07 | Symantec Operating Corporation | Flexibly combining mirroring, concatenation and striping in virtual storage devices |
CN100367727C (zh) * | 2005-07-26 | 2008-02-06 | 华中科技大学 | 一种可扩展的基于对象的存储系统及其控制方法 |
EP1777613B1 (en) * | 2005-10-11 | 2021-11-24 | Infortrend Technology, Inc. | Pool spares for data storage virtualization subsystem |
CN104932841B (zh) * | 2015-06-17 | 2018-05-08 | 南京邮电大学 | 一种云存储系统中节约型重复数据删除方法 |
-
2016
- 2016-12-27 CN CN201611227452.9A patent/CN106713465B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404399A (zh) * | 2011-11-18 | 2012-04-04 | 浪潮电子信息产业股份有限公司 | 一种云存储资源模糊动态分配方法 |
CN104683422A (zh) * | 2013-12-03 | 2015-06-03 | 腾讯科技(深圳)有限公司 | 数据传输方法及装置 |
CN104731528A (zh) * | 2015-03-17 | 2015-06-24 | 清华大学 | 一种云计算块存储服务的构建方法及系统 |
CN104898573A (zh) * | 2015-04-06 | 2015-09-09 | 华中科技大学 | 一种基于云计算的数控系统数据采集及处理方法 |
CN104750858A (zh) * | 2015-04-16 | 2015-07-01 | 成都影泰科技有限公司 | 一种基于网络的数据存储方法 |
CN105117171A (zh) * | 2015-08-28 | 2015-12-02 | 南京国电南自美卓控制系统有限公司 | 一种能源scada海量数据分布式处理系统及其方法 |
CN106131118A (zh) * | 2016-06-16 | 2016-11-16 | 上海浪潮云计算服务有限公司 | 一种分布式缓存的方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106713465A (zh) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101196840B (zh) | 配置数据镜像的系统和方法 | |
WO2017181805A1 (zh) | 告警信息的显示方法及装置、计算机存储介质 | |
JP5353540B2 (ja) | 動作履歴収集装置、動作履歴収集方法およびプログラム | |
CN111600746A (zh) | 网络故障定位方法、装置及设备 | |
JP2006134164A (ja) | ストレージシステムの管理方法 | |
US8073938B2 (en) | Information processing apparatus and method of operating the same | |
CN112579007A (zh) | 一种存储全链路的获取方法、装置及电子设备 | |
CN106713465B (zh) | 一种分布式存储系统 | |
CN110689246A (zh) | 医疗设备维修管理方法、装置、计算机设备及存储介质 | |
CN106649584A (zh) | 一种主从式数据库系统中的索引处理方法和装置 | |
JP4911061B2 (ja) | 管理システム、履歴情報の保存方法、及び履歴情報データベースのデータ構造 | |
JP2010238194A (ja) | 運用管理システム、プロセス解析装置、プロセス解析プログラムおよびプロセス解析方法 | |
CN114172785A (zh) | 告警信息处理方法、装置、设备和存储介质 | |
US20160162559A1 (en) | System and method for providing instant query | |
US11157381B2 (en) | Display control method and display control device | |
CN106294721A (zh) | 一种集群数据统计及导出方法及装置 | |
US11132235B2 (en) | Data processing method, distributed data processing system and storage medium | |
CN111767299A (zh) | 数据库操作方法、装置、系统、存储介质及电子设备 | |
CN111064609A (zh) | 消息系统的主从切换方法、装置、电子设备及存储介质 | |
JP2007233567A (ja) | プラント監視システム | |
JP7167749B2 (ja) | 情報処理装置、情報処理システム、及び情報処理プログラム | |
CN113792891B (zh) | 一种机器学习特征生产系统及方法 | |
JP5655639B2 (ja) | 監視装置、監視方法、プログラム及び監視システム | |
CN107407921A (zh) | 控制系统 | |
JP2015056082A (ja) | 障害情報収集装置、障害情報収集方法、及び、障害情報収集プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |