CN101510223B - 一种数据处理方法和系统 - Google Patents
一种数据处理方法和系统 Download PDFInfo
- Publication number
- CN101510223B CN101510223B CN2009101341036A CN200910134103A CN101510223B CN 101510223 B CN101510223 B CN 101510223B CN 2009101341036 A CN2009101341036 A CN 2009101341036A CN 200910134103 A CN200910134103 A CN 200910134103A CN 101510223 B CN101510223 B CN 101510223B
- Authority
- CN
- China
- Prior art keywords
- node
- data
- file
- memory
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1724—Details of de-fragmentation performed by the file system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法和系统，用以节省能源，放缓设备折旧速度。该方法包括：多个存储节点中的一个全数据节点获得一存储文件对应的分布在所述多个存储节点中的分片文件，将所述分片文件进行整合，保存整合后的文件；在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件给所述客户端节点。采用本发明实施例提供的技术方案，由于保存整合后的文件，则在读取文件时，只需启动一个存储节点，可以节省能源，并且放缓设备折旧速度。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种数据处理方法和系统。
背景技术
为了提高访问文件的速度，常见的方法是采用性能更高的CPU(CentralProcessing Unit，中央处理器)，带宽更大的接口。这些方案受限于接口的物理带宽和CPU的最高速度。近几年以来，新发展出一种方法，用多个CPU和多个接口组合起来共同提供更高的速度。
上述方法中，客户端节点读取数据的方法包括以下步骤：
1、客户端节点向主控节点发送读取数据请求；
2、主控节点根据该请求从数据库获取一个全局唯一的文件ID(标识)和获取被读取文件在各个存储节点的分布，返回给客户端节点；
3、客户端节点根据返回的文件ID和文件分布信息，向存有文件数据的各个存储节点分别创建通信连接，获取文件数据。
客户端节点写数据的方法包括以下步骤：
1、客户端节点向主控节点发送写数据请求；
2、主控节点获取待写文件ID，并返回给客户端节点；
3、客户端节点把文件分片后分别写入到所有的存储节点。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
1、读取数据的时候，客户端节点需要分别和各存储节点建立连接，对客户端节点的CPU消耗大速度慢；
2、文件在整个系统每个存储节点都有分布，即使只要读写很少的数据， 也需要启动所有存储节点，造成不必要的设备折旧，造成能源浪费。
发明内容
本发明实施例的目的在于提供一种数据处理方法和系统，用以节省能源，放缓设备折旧速度。
为了实现上述目的，本发明实施例提供了一种数据处理方法，包括：
多个存储节点中的一个全数据节点，获得分片文件，所述分片文件表示一存储文件对应存储在所述多个存储节点中的数据，将所述分片文件进行整合，保存整合后的文件；
在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件给所述客户端节点。
本发明实施例还提供了一种数据处理系统，包括与客户端节点进行通信的多个存储节点，所述多个存储节点中包括至少一个全数据节点；
所述客户端节点，用于发送读数据请求，所述读数据请求用于请求读取存储在所述全数据节点中的数据；
所述全数据节点，用于获得分片文件，所述分片文件表示一存储文件对应存储在所述多个存储节点中的数据，将所述分片文件进行整合，保存整合后的文件，在获知客户端节点请求读取所述存储文件时，发送所述整合后的文件给所述客户端节点。
本发明实施例还提供了一种数据处理方法，包括：
接收客户端节点发送的读取数据请求，所述读取数据请求中携带待读取的文件的目录和文件名；根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址；
存储节点在根据所述文件标识确定本地保存相应文件时，根据所述客户端节点的地址将相应数据发送给所述客户端节点。
本发明实施例还提供了一种数据处理系统，包括与客户端节点进行通信的主控节点和多个存储节点，其中：
所述客户端节点，用于向所述主控节点发送读取数据请求，所述读取数据请求中携带文件的目录和文件名；
所述主控节点，用于根据待读取文件的目录和文件名查询本地全局文件数据表，获得全局唯一的文件标识，并向全部存储节点广播所述文件标识以及所述客户端节点的地址；
所述存储节点，用于在根据所述文件标识确定本地保存相应文件时，根据所述客户端节点的地址将相应数据发送给所述客户端节点。
本发明实施例的有益效果在于：
采用本发明实施例提供的技术方案，多个存储节点中的一个全数据节点获得一存储文件对应的分布在所述多个存储节点中的分片文件，将所述分片文件进行整合，保存整合后的文件。由于整合后的文件是一个完整文件，则在读取文件时，只需启动一个存储节点，可以节省能源，并且放缓设备折旧速度。
采用本发明实施例提供的技术方案，接收客户端节点发送的读取数据请求，所述读取数据请求中携带待读取的文件的目录和文件名；根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址，存储节点根据文件标识确定本地保存相应文件时，根据客户端节点的地址将相应数据发送给客户端节点。由于不需要客户端节点来和存储节点建立连接，采用广播令存储节点获知客户端节点需要读取文件，提升了系统性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据存储的方法的流程图；
图2为本发明实施例中多个存储节点中的一个全数据节点的数据处理流程图；
图3为本发明实施例提供的一种数据读取的方法的流程图；
图4为实施例一中的数据处理系统示意图；
图5为实施例一中的数据存储的方法的流程图；
图6为实施例一中的性能存储节点的控制流程图；
图7为实施例二中的数据处理系统示意图；
图8为实施例二中数据存储的方法的流程图；
图9为实施例二中数据读取的方法的流程图。
具体实施方式
本发明实施例提供的一种数据存储的方法，如图1所示，包括：
步骤S101，客户端节点从主控节点获取待存储文件的ID以及多个存储节点的地址，并将待存储文件分片后分别写入多个存储节点；
步骤S102，多个存储节点中的一个全数据节点将一存储文件分布在多个存储节点中的分片文件收集并作为一个完整文件保存。
步骤S102也可以表达为：获得一存储文件对应的分布在多个存储节点中的分片文件，并将各分片文件进行整合且保存整合后的文件。也就是说，获得分片文件，所述分片文件表示一存储文件对应存储在所述多个存储节点中的数据，将所述分片文件进行整合，保存整合后的文件。
对于多个存储节点中的一个全数据节点来说，其数据处理流程如图2所示，包括：
步骤S201，获得一存储文件对应的分布在多个存储节点中的分片文件， 将各分片文件进行整合，保存整合后的文件；
步骤S202，在获知客户端节点请求读取该存储文件时，发送整合后的文件给客户端节点。
由于整合后的文件是一个完整文件，则在客户端节点读取文件时，只需启动一个存储节点，可以节省能源，并且放缓设备折旧速度。另外，由于文件只在一个存储节点中保存，那么，即使采用现有技术中的数据读取方法，即由客户端节点来和存储节点建立连接，也能够降低客户端节点的CPU的消耗，并提高数据读取速度。
本发明实施例提供的一种数据读取的方法，包括：主控节点接收客户端节点发送的读取数据请求，所述读取数据请求中携带待读取的文件的目录和文件名；根据所述待读取文件的目录和文件名查询本地全局文件数据表，获得文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址；
存储节点在根据所述文件标识确定本地保存相应文件时，根据所述客户端节点的地址将相应数据发送给所述客户端节点。
该数据读取的方法具体可如图3所示，包括：
步骤S301，客户端节点向主控节点请求读取文件；
步骤S302，主控节点根据待读取文件的目录和文件名查询本地全局文件数据表，获得全局唯一的文件标识，并向全部存储节点广播文件标识以及客户端节点的地址；
步骤S303，存储节点根据文件标识判断本地是否保存相应文件，若是，进行步骤S304，否则，直接结束；
步骤S304，存储节点根据客户端节点的地址将相应数据发送给客户端节点。
在采用图3所示的数据读取的方法时，存储节点获知客户端节点请求读取一存储文件的方法可以为：接收主控节点的读取广播消息，该读取广播消息中包括一存储文件全局唯一的文件标识以及客户端节点的地址，在确定该 文件标识对应该存储文件时，获知客户端节点请求读取该存储文件。
由于不需要客户端节点来和存储节点建立连接，采用广播的方式令存储节点获知客户端节点需要读取文件，极大地提升了系统性能。
上述数据存储的方法和数据读取的方法可以配合使用，也可以单独使用，在其各自单独使用时，可以配合其他相应存储或读取方法，本发明实施例中不对具体的配合使用的存储或读取方法进行限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
实施例一
本实施例中的数据处理系统，如图4所示，包括主控节点(即图中的M节点)、客户端节点(即图中的C节点)和存储节点，存储节点包括全数据节点(即图中的B节点)和性能存储节点(即图中的D节点)。
本实施例中数据存储的方法，如图5所示，包括：
步骤S401，客户端节点向主控节点发送写数据请求；
步骤S402，主控节点为待存储文件分配ID，并将该文件ID与存储节点的地址发送给客户端节点；
步骤S403，客户端节点将待存储文件分片后分别写入多个存储节点；
步骤S404，多个存储节点中的一个全数据节点获得一存储文件对应的分布在多个存储节点中的分片文件，并将各分片文件进行整合且保存整合后的文件。
本实施例中数据读取的方法可以是如图3所示的数据读取方法，也可以是现有技术中的数据读取方法。
由于在本实施例中将文件作为完整文件保存，则在读取文件时，只需启动一个存储节点，可以节省能源，并且放缓设备折旧速度。另外，由于文件只在一个存储节点中保存，那么，即使采用现有技术中的数据读取方法，即由客户端节点来和存储节点建立连接，也能够降低客户端节点的CPU的消耗， 并提高数据读取速度。
另外，在本实施例中，还包括一个性能存储节点的控制流程，如图6所示，包括：
步骤S501，统计存储节点的访问量；
步骤S502，判断各个存储节点的平均访问量是否小于第一设定阈值，若是，进行步骤S503，否则进行步骤S504；
步骤S503，选择部分性能存储节点，并将选择到的性能存储节点的数据转移到剩余的存储节点，并在转移完成后关闭选择到的性能存储节点，结束；
在本步骤中，性能存储节点的选择规则可以根据实际需要进行设定，这里不作限定。
在具体实现时，也可以在选择部分性能存储节点后，先判断各选择到的性能存储节点上是否保存有数据，若是，则进行数据的转移，否则，就不需要进行转移操作。
步骤S504，判断各个存储节点的平均访问量是否大于第二设定阈值，第二设定阈值大于第一设定阈值，若是，进行步骤S405，否则直接结束；
步骤S505，开启部分或者全部处于关闭状态的性能存储节点。
在本步骤中，选择开启哪些性能存储节点的具体方法可以根据实际需要进行处理，这里不作限定。
在具体实现时，可以在访问量大时增加开启的性能存储节点数量，访问量小时降低开启的性能存储节点数量，不局限于上述性能存储节点的控制流程。
为了确保数据冗余备份和系统可靠，可以增加主控节点和全数据节点的数目。
由于在采用图3所示的数据读取方法的情况下，其对应的数据存储方法可以采用现有技术中的数据存储方法，也可以采用本发明实施例中提供的数据存储方法，在采用现有技术中的数据存储方法的情况下，存储节点可以不区分为全数据节点和性能存储节点，但为了提高存储节点的利用率，降低能耗， 仍然可以对存储节点的开启和关闭控制，具体可以统计各个存储节点的访问量，若各个存储节点的平均访问量小于第一设定阈值，则选择部分存储节点，并将选择到的存储节点的数据转移到剩余的存储节点，并在转移完成后关闭所述选择到的存储节点。若各个存储节点的平均访问量大于第二设定阈值，所述第二设定阈值大于所述第一设定阈值，则开启部分或者全部处于关闭状态的性能存储节点。
本实施例中的数据处理系统，包括与客户端节点进行通信的多个存储节点，该多个存储节点中包括至少一个全数据节点；
全数据节点，用于获得一存储文件对应的分布在多个存储节点中的分片文件，并将各分片文件进行整合且保存整合后的文件，且在获知客户端节点请求读取该存储文件时，发送整合后的文件给客户端节点。
上述数据处理系统的多个存储节点可以全部都是全数据节点，也可以一部分是全数据节点一部分是性能存储节点，总之，该多个存储节点中至少包括一个全数据节点。
在另一个实施例中，该数据处理系统还可以包括主控节点、客户端节点，在本实施例中数据读取的方法采用如图3所示的数据读取方法的情况下：
客户端节点，用于向主控节点发送读取数据请求，读取数据请求中携带文件的目录和文件名；
主控节点，用于根据文件的目录和文件名查询本地全局文件数据表，获得全局唯一的文件标识，并向全部存储节点广播文件标识以及客户端节点的地址；
存储节点还用于接收主控节点的广播，并在根据文件标识确定出本地保存相应文件时，根据客户端节点的地址将相应数据发送给客户端节点。
在本实施例中进行如图6所示的性能存储节点的控制流程的情况下，主控节点还用于统计多个存储节点的访问量，若各个存储节点的平均访问量小于第一设定阈值，则选择部分性能存储节点，并将选择到的性能存储节点的数据转移到剩 余的存储节点，并在转移完成后关闭选择到的性能存储节点；若各个存储节点的平均访问量大于第二设定阈值，若第二设定阈值大于第一设定阈值，则开启部分或者全部处于关闭状态的性能存储节点。在具体实现时，主控节点中可以保存各存储节点的状态信息，则在关闭或开启性能存储节点后，主控节点更新该状态信息。
由于在具体实现时，图3所示的数据读取方法不一定对应本发明实施例中提供的数据存储方法，本实施例还提供一种数据处理系统，包括主控节点、客户端节点和多个存储节点，其中：
所述客户端节点，用于向所述主控节点发送读取数据请求，所述读取数据请求中携带文件的目录和文件名；
所述主控节点，用于根据待读取文件的目录和文件名查询本地全局文件数据表，获得全局唯一的文件标识，并向全部存储节点广播所述文件标识以及所述客户端节点的地址；
所述存储节点，用于在根据所述文件标识确定本地保存相应文件时，根据所述客户端节点的地址将相应数据发送给所述客户端节点。
为了对存储节点的开启和关闭进行控制，所述主控节点还可以用于，统计各个存储节点的访问量，若各个存储节点的平均访问量小于第一设定阈值，则选择部分存储节点，并将选择到的存储节点的数据转移到剩余的存储节点，并在转移完成后关闭所述选择到的存储节点。
在具体实现时，主控节点可以是一个计算节点，主要特点是计算能力强，内存大，在内存里面保存所有的目录、文件、文件ID信息，根据读写请求里面的目录名、文件名可以快速获得文件ID；保存有存储节点的地址信息和状态信息；有网络接口可以通过网络和客户端节点、存储节点进行通信。
全数据节点可以是一个计算存储节点，主要特点是连接有数量多容量大的磁盘，有网络接口通过网络和主控节点、性能存储节点、客户端节点进行通信，从成本考虑可以使用便宜的机械式硬盘。
客户端节点可以是一个需要读写文件的客户端，客户端的应用软件通过客户端节点里面的文件系统客户端软件读写文件，就像读写本地文件一样，客户端节点有网络接口可以通过网络和主控节点、存储节点进行通信。
性能存储节点可以是一个计算存储节点，主要特点是有大量的内存，可以缓存文件数据，同时有大容量的SSD硬盘，这是由于性能存储节点容量可以比较小，很少访问的数据可以在性能存储节点删除，所以性能存储节点可以使用SSD(Solid StateDisk，固态硬盘)这种高性能的存储器，也可以使用高速硬盘；性能存储节点有网络接口通过网络可以和主控节点、全数据节点、客户端节点进行通信。
在本实施例中，供各个节点进行通信的网络可以为以太网，通过以太网交换机或者HUB连接；也可以使用InfiniBand交换机，各个节点通过InfiniBand适配器(HBA，Host Bus Adapter)和交换机连接；可以使用Myrinet交换机。各个节点通过Myrinet适配器(Myrinet HBA)和交换机连接；可以使用ATM(Asynchronous Transfer Mode，异步传输模式)交换机，各个节点通过ATM适配器(ATM HBA)和交换机连接；可以使用智能光网络交换机，各个节点通过智能光网络适配器和交换机连接。
实施例二
在本实施例中，主控节点与全数据节点可以合并设置，则本实施例中的数据处理系统如图7所示，其中，M’节点为合并后的主控节点与全数据节点，称为合并节点，D节点为性能存储节点，C为客户端节点。
本实施例中数据存储的方法，如图8所示，包括：
步骤S601，客户端节点向合并节点发送写数据请求；
步骤S602，合并节点为待存储文件分配ID，并将该文件ID与性能存储节点的地址发送给客户端节点；
步骤S603，客户端节点将待存储文件分片后分别写入各性能存储节点和合并节点；
步骤S604，该合并节点获得一存储文件对应的分布在多个存储节点中的 分片文件，并将各分片文件进行整合且保存整合后的文件。
由于在系统中可以包括多个合并节点，因此，合并节点也可以在客户端节点请求写数据时，将其他合并节点的地址也发送给客户端节点，则客户端节点将待存储文件分片后分别写入各性能存储节点和各合并节点，在这种情况下，最终收集文件的合并节点可以不是最初为客户端分配文件ID的那个合并节点。
本实施例中数据读取的方法，如图9所示，包括：
步骤S701，客户端节点向合并节点请求读取文件；
步骤S702，合并节点根据待读取文件的目录和文件名查询本地全局文件数据表，获得全局唯一的文件标识，并向全部性能存储节点广播文件标识以及客户端节点的地址；
步骤S703，性能存储节点以及合并节点根据文件标识判断本地是否保存相应文件，若是，进行步骤S704，否则，直接结束；
步骤S704，性能存储节点以及合并节点根据客户端节点的地址将相应数据发送给客户端节点。
在本实施例中，同样可以具有实施例一中所述的性能存储节点的控制流程，也同样可以增加主控节点和全数据节点的数目来确保数据冗余备份和系统可靠。
在本实施例中，供各个节点进行通信的网络可以为以太网，通过以太网交换机或者HUB连接；也可以使用InfiniBand交换机，各个节点通过InfiniBand适配器(HBA，Host Bus Adapter)和交换机连接；可以使用Myrinet交换机。各个节点通过Myrinet适配器(Myrinet HBA)和交换机连接；可以使用ATM交换机，各个节点通过ATM适配器(ATM HBA)和交换机连接；可以使用智能光网络交换机，各个节点通过智能光网络适配器和交换机连接。
综上所述，采用本发明实施例提供的技术方案，由于将文件作为完整文件保存，则在读取文件时，只需启动一个存储节点，可以节省能源，并且放 缓设备折旧速度。
系统性能可以根据需要提供，性能存储节点可以作为加速节点，在性能需要扩充的时候，可以增加节点。在性能需要降低的时候，关闭性能存储节点，同样可以省电，放缓设备折旧速度。
并且，由于采用广播的方式，并发的方式，极大提升了系统性能。
性能存储节点可以使用大内存和SSD结合，比机械磁盘提供更好的性能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种数据处理方法，其特征在于，数据处理系统包括主控节点、多个存储节点及客户端节点，所述主控节点、所述多个存储节点与所述客户端节点间通过网络进行通信，所述数据处理方法应用于所述数据处理系统，所述数据处理方法包括：
多个存储节点中的一个全数据节点，获得多个分片文件，每个分片文件表示一存储文件对应存储在其中一个存储节点中的数据，将所述多个分片文件进行整合，保存整合后的文件；
全数据节点接收主控节点的读取广播消息，所述读取广播消息中包括一所述客户端节点请求读取的存储文件的文件标识以及所述客户端节点的地址，在确定所述文件标识对应所述请求读取的存储文件时，获知客户端节点所述请求读取的存储文件，发送所述整合后的文件给所述客户端节点。
2.根据权利要求1所述的方法，其特征在于，所述多个存储节点中包括全数据节点和性能存储节点；
所述主控节点统计所述多个存储节点的访问量，若各个存储节点的平均访问量小于第一设定阈值，则选择部分性能存储节点，并将选择到的性能存储节点的数据转移到剩余的存储节点，并在转移完成后关闭所述选择到的性能存储节点。
3.根据权利要求2所述的方法，其特征在于，若各个存储节点的平均访问量大于第二设定阈值，所述第二设定阈值大于所述第一设定阈值，则开启部分或者全部处于关闭状态的性能存储节点。
4.一种数据处理系统，其特征在于，包括主控节点、与客户端节点进行通信的多个存储节点，所述主控节点、所述多个存储节点与所述客户端节点间通过网络进行通信，所述多个存储节点中包括至少一个全数据节点；
所述客户端节点，用于发送读数据请求，所述读数据请求用于请求读取存储在所述全数据节点中的数据；
所述全数据节点，用于获得多个分片文件，每个分片文件表示一存储文件对应存储在其中一个存储节点中的数据，将所述多个分片文件进行整合，保存整合后的文件，在获知所述客户端节点请求读取所述存储文件时，发送所述整合后的文件给所述客户端节点；
所述主控节点，用于接收所述客户端节点发送的读取数据请求，所述读取数据请求中携带待读取的文件的目录和文件名；根据所述文件的目录和所述文件名查询本地全局文件数据表，获得文件标识，向全部存储节点广播所述文件标识以及所述客户端节点的地址；
所述全数据节点还用于，接收所述主控节点的广播，并在根据所述文件标识确定出本地保存相应文件时，根据所述客户端节点的地址将相应文件发送给所述客户端节点。
5.根据权利要求4所述的系统，其特征在于，
所述主控节点还用于，统计所述多个存储节点的访问量，若各个存储节点的平均访问量小于第一设定阈值，则选择部分性能存储节点，并将选择到的性能存储节点的数据转移到剩余的存储节点，并在转移完成后关闭所述选择到的性能存储节点；若各个存储节点的平均访问量大于第二设定阈值，所述第二设定阈值大于所述第一设定阈值，则开启部分或者全部处于关闭状态的性能存储节点。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009101341036A CN101510223B (zh) | 2009-04-03 | 2009-04-03 | 一种数据处理方法和系统 |
| PCT/CN2009/076115 WO2010111875A1 (zh) | 2009-04-03 | 2009-12-28 | 一种数据处理方法、全数据节点、主控节点和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009101341036A CN101510223B (zh) | 2009-04-03 | 2009-04-03 | 一种数据处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101510223A CN101510223A (zh) | 2009-08-19 |
| CN101510223B true CN101510223B (zh) | 2012-04-25 |
Family
ID=41002623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009101341036A Active CN101510223B (zh) | 2009-04-03 | 2009-04-03 | 一种数据处理方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN101510223B (zh) |
| WO (1) | WO2010111875A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510223B (zh) * | 2009-04-03 | 2012-04-25 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法和系统 |
| CN101707684B (zh) * | 2009-10-14 | 2014-04-30 | 北京东方广视科技股份有限公司 | 一种Cache调度的方法、设备及系统 |
| CN102364465A (zh) * | 2011-09-30 | 2012-02-29 | 深圳市赫迪威信息技术有限公司 | 一种文件存储方法及存储集群 |
| CN103197987A (zh) * | 2012-01-04 | 2013-07-10 | 中兴通讯股份有限公司 | 一种数据备份的方法、数据恢复的方法及系统 |
| CN103634350B (zh) * | 2012-08-24 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 一种存储系统及其实现方法 |
| WO2014107901A1 (zh) * | 2013-01-14 | 2014-07-17 | 华为技术有限公司 | 数据存储方法、数据库存储节点故障处理方法及装置 |
| CN104270782A (zh) * | 2014-09-24 | 2015-01-07 | 苏州合欣美电子科技有限公司 | 一种无线数据共享节点优化方法 |
| CN105045877B (zh) * | 2015-07-20 | 2018-10-12 | 深信服科技股份有限公司 | 数据库数据分片存储方法和装置、数据查询方法和装置 |
| CN105843916A (zh) * | 2016-03-24 | 2016-08-10 | 上海上讯信息技术股份有限公司 | 基于文件归并的敏感数据检测方法及设备 |
| CN106484322A (zh) * | 2016-09-12 | 2017-03-08 | 华为技术有限公司 | 一种挂载文件系统的方法、装置及设备 |
| CN108228663A (zh) * | 2016-12-21 | 2018-06-29 | 杭州海康威视数字技术股份有限公司 | 一种分页检索方法及装置 |
| CN107704336B (zh) * | 2017-09-28 | 2021-08-13 | 华为技术有限公司 | 一种数据存储方法及装置 |
| CN109992209B (zh) * | 2019-03-29 | 2023-02-03 | 新华三技术有限公司成都分公司 | 数据处理方法、装置及分布式存储系统 |
| CN111090618B (zh) * | 2019-10-29 | 2023-08-18 | 厦门网宿有限公司 | 一种数据读取方法、系统及设备 |
| CN110769272A (zh) * | 2019-11-19 | 2020-02-07 | 深圳市网心科技有限公司 | 节点调整方法及其相关设备 |
| CN112632075A (zh) * | 2020-12-25 | 2021-04-09 | 创新科技术有限公司 | 集群元数据的存储、读取方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1889418A (zh) * | 2005-06-30 | 2007-01-03 | 西门子（中国）有限公司 | 一种网络存储方法与网络存储系统 |
| CN1929453A (zh) * | 2006-09-18 | 2007-03-14 | 华为技术有限公司 | 重组分片数据的方法与装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4601969B2 (ja) * | 2004-01-27 | 2010-12-22 | 株式会社日立製作所 | ファイル入出力制御装置 |
| EP1811378A2 (en) * | 2006-01-23 | 2007-07-25 | Xyratex Technology Limited | A computer system, a computer and a method of storing a data file |
| CN101227460B (zh) * | 2007-01-19 | 2011-07-27 | 上海捷存软件有限公司 | 分布式文件上传、下载方法及其装置和系统 |
| CN101510223B (zh) * | 2009-04-03 | 2012-04-25 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法和系统 |
-
2009
- 2009-04-03 CN CN2009101341036A patent/CN101510223B/zh active Active
- 2009-12-28 WO PCT/CN2009/076115 patent/WO2010111875A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1889418A (zh) * | 2005-06-30 | 2007-01-03 | 西门子（中国）有限公司 | 一种网络存储方法与网络存储系统 |
| CN1929453A (zh) * | 2006-09-18 | 2007-03-14 | 华为技术有限公司 | 重组分片数据的方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010111875A1 (zh) | 2010-10-07 |
| CN101510223A (zh) | 2009-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101510223B (zh) | 一种数据处理方法和系统 | |
| US9792227B2 (en) | Heterogeneous unified memory | |
| US9256542B1 (en) | Adaptive intelligent storage controller and associated methods | |
| US6675176B1 (en) | File management system | |
| CN102024044B (zh) | 分布式文件系统 | |
| US20070179981A1 (en) | Efficient data management in a cluster file system | |
| CN104572478A (zh) | 数据存取方法和数据存取装置 | |
| US9158695B2 (en) | System for dynamically adaptive caching | |
| CN104272272A (zh) | 混合储存集合去除重复 | |
| CN102301345A (zh) | 混合存储设备 | |
| CN104866428A (zh) | 数据存取方法和数据存取装置 | |
| CN102945207A (zh) | 一种块级数据的缓存管理方法及系统 | |
| CN101482838A (zh) | 基于写时拷贝的数据写入方法及设备 | |
| CN104731886A (zh) | 一种海量小文件的处理方法及系统 | |
| CN101310250A (zh) | 选择包括首要和次级群集上的端口的路径以用于将位于首要卷的数据传输到次级卷 | |
| CN103838853A (zh) | 一种基于不同存储介质的混合文件系统 | |
| CN103838676A (zh) | 数据存储系统、数据存储方法及pcm桥 | |
| CN106155915A (zh) | 数据存储的处理方法及装置 | |
| CN103092927A (zh) | 一种分布式环境下的文件快速读写方法 | |
| WO2018171296A1 (zh) | 一种文件合并方法及控制器 | |
| CN103608784A (zh) | 网络卷创建方法、数据存储方法、存储设备和存储系统 | |
| CN101174198B (zh) | 数据存储系统及其数据存取方法 | |
| CN104424052A (zh) | 一种自动冗余的分布式存储系统及方法 | |
| US8416657B2 (en) | Method and system for managing data from host to optical disc | |
| US20110238915A1 (en) | Storage system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee |
Owner name: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD. Free format text: FORMER NAME: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. |
|
| CP01 | Change in the name or title of a patent holder |
Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River Patentee after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd. Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River Patentee before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220921 Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041 Patentee after: Chengdu Huawei Technologies Co.,Ltd. Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd. |