CN113835630A - 一种数据存储方法、装置、数据服务器、存储介质及系统 - Google Patents
一种数据存储方法、装置、数据服务器、存储介质及系统 Download PDFInfo
- Publication number
- CN113835630A CN113835630A CN202111081779.0A CN202111081779A CN113835630A CN 113835630 A CN113835630 A CN 113835630A CN 202111081779 A CN202111081779 A CN 202111081779A CN 113835630 A CN113835630 A CN 113835630A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- storage
- data storage
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 208
- 238000003860 storage Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000007787 solid Substances 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013403 standard screening design Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0688—Non-volatile semiconductor memory arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储方法、装置、数据服务器、存储介质及系统。所述方法包括：接收待存储数据；将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多个固态硬盘并行组成；确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多个串口硬盘并行组成。利用该方法不仅能够满足大容量的存储需求，而且还可以提高存储速度。
Description
技术领域
本发明实施例涉及数据存储技术领域，尤其涉及一种数据存储方法、装置、数据服务器、存储介质及系统。
背景技术
对于采用人工智能或机器学习的存储环境来说，存储容量增长从几百TB甚至数千TB的情况并不少见。目前并行文件系统大多采用固态硬盘(Solid State Disk，SSD)或者串口硬盘(Serial ATA，SATA)对数据进行存储。
传统的并行文件系统采用SSD或SATA对数据进行存储，对于大容来存储的人工智能计算而言，由于SSD的存储容量有限，因此采用SSD进行存储无法满足存储需求；对于高速处理的人工智能计算而言，由于SATA的存储速度不足，因此采用SATA进行存储无法满足设计需求。
发明内容
本发明实施例提供了一种数据存储方法、装置、数据服务器、存储介质及系统，不仅能够满足大容量的存储需求，而且还可以提高存储速度。
第一方面，本发明实施例提供了一种数据存储方法，包括：
接收待存储数据；
将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；
确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。
第二方面，本发明实施例还提供了一种数据存储装置，包括：
接收模块，用于接收待存储数据；
处理模块，用于将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；
确定模块，用于确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。
第三方面，本发明实施例还提供了一种数据服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器用于实现本发明任意实施例中所述的数据存储方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的数据存储方法。
第五方面，本发明实施例还提供了一种数据存储系统，包括：
数据服务器、交换机以及多个存储服务器，所述交换机分别与所述数据服务器以及所述多个存储服务器通信连接；
所述数据服务器，用于确定待存储数据的存储目录，所述存储目录为第一层数据存储目录或第二层数据存储目录，所述第一层数据存储目录由多组固态硬盘并行组成，所述第二层数据存储目录由多组串口硬盘并行组成；
所述交换机，用于根据所确定的存储目录，将所述待存储数据发送至对应的存储服务器；
所述存储服务器，用于对所述待存储数据进行存储。
本发明实施例提供了一种数据存储方法、装置、数据服务器、存储介质及系统，首先接收待存储数据；然后将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；最后确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。利用上述技术方案，不仅能够满足大容量的存储需求，而且还可以提高存储速度。
附图说明
图1为本发明实施例一所提供的一种数据存储方法的流程示意图；
图2为本发明实施例二提供的一种数据存储方法的流程示意图；
图3为本发明实施例三所提供的一种数据存储方法的示例流程图；
图4为本发明实施例三所提供的一种数据存储方法中的数据分割器工作流程示意图；
图5为本发明实施例三所提供的一种数据存储方法中的数据轮询器工作流程示意图；
图6为本发明实施例四所提供的一种数据存储装置的结构示意图；
图7为本发明实施五所提供的一种数据存储系统的结构示意图；
图8为本发明实施例五所提供的又一种数据存储系统的结构示意图；
图9为本发明实施例六所提供的一种数据服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
实施例一
图1为本发明实施例一所提供的一种数据存储方法的流程示意图，该方法可适用于对大量数据进行存储的情况，该方法可以由数据存储装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在数据服务器设备上。
如图1所示，本发明实施例一提供的一种数据存储方法，包括如下步骤：
S110、接收待存储数据。
其中，待存储数据可以为需要进行存储的数据，待存储数据可以为其他设备在人工智能计算的过程中产生的数据，待存储数据还可以为通过其他方式获取的数据，在本实施例中，对待存储数据的来源不做具体限定。当需要将待存储数据进行存储时可以将待存储数据发送至数据服务器，由数据服务器对待存储数据进行处理后确定存储目录。其中，数据服务器可以接收其他设备发送的待存储数据，在本实施例中对数据服务器接收待存储数据的方式不做具体限制。
S120、将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中。
其中，第一层数据存储目录由多组固态硬盘并行组成，可以理解为第一层数据存储目录可以由多个SSD并行存储组成，多个SSD并列存储数据。
其中，存储服务器可以为一种具有很大存储空间的服务器，存储服务器内部一般可以包括多个固态硬盘以满足大容量数据存储的需求，每个存储服务器可以包括多个固态硬盘，多个存储服务器中的固态硬盘构成第一层数据存储目录。
在本实施例中，将待存储数据进行处理可以包括判断待存储数据是否需要分割，将需要分割的待存储数据进行分割并发送至存储服务器以存储至第一层数据存储目录中。
S130、确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中。
其中，第二层数据存储目录由多组串口硬盘并行组成。
其中，预设条件可以为预先设置的条件，预设条件可以包括待存储数据的访问次数小于设定值，设定值可以为预先设定的一个数值。其中，第二层数据存储目录由多组串口硬盘并行存储组成，可以理解为第二层数据存储目录可以由多个SATA构成，多个SATA并列存储数据。
在本实施例中，将待存储数据存储到第一层数据存储目录中后，还可以不定时的对存储在第一层数据存储目录中的数据进行查询，查询存储在第一层数据存储目录中的数据的访问次数，判断访问次数是否小于设定值，若小于设定值则确定该待存储数据满足预设条件，将该待存储数据发送到存储服务器中以存储到第二层数据存储目录中。
本发明实施例一提供的一种数据存储方法，首先接收待存储数据；然后将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中；最终确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中。利用上述方法，不仅能够满足大容量的存储需求，而且还可以提高存储速度。
实施例二
图2为本发明实施例二提供的一种数据存储方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，把将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，进一步具体化为：通过数据分割器确定是否对所述存储数据进行分割；若是，则将所述待存储数据分割成多个预设尺寸的数据块，并将所述预设尺寸的数据块发送至多个存储服务器，以存储到第一层数据存储目录中；若否，则将所述待存储数据发送至多个存储服务器，存储到第一层数据存储目录中。
进一步地，本实施例还将确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，进一步优化为：根据保存到第一层数据存储目录中的待存储数据的访问次数以及在数据轮询器中设定的数值，确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件；若是，则将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中。本实施例尚未详尽的内容请参考实施例一。
如图2所示，本发明实施例二提供的一种数据存储方法，包括如下步骤：
S210、接收待存储数据。
S220、通过数据分割器确定是否对所述待存储数据进行分割。
其中，数据分割器可以由基准信号发生器和比较器组成，可以把数据分片的电路或代码。
在本实施例中，数据分割器可以判断待存储数据是否需要分割，还可以对需要分割的存储数据进行分割。数据分割器中可以设置一个阈值，将待存储数据的大小与该阈值进行比较可以确定是否需要对待存储数据进行分割。
具体的，所述通过数据分割器确定是否对所述存储数据进行分割，包括：将所述待存储数据的大小与数据分割器中设置的阈值进行比较；若所述待存储数据的大小小于所述阈值，则不对所述存储数据进行分割；否则对所述待存储数据进行分割。其中，阈值的具体数值可以根据实际情况进行设置，此处不做具体限定。
在本实施例中，将大于分割器中设置的阈值的待存储数据进行分割，分割成后可以得到的多个数据块，由于每个数据块的大小符合固态硬盘的存储容量，因此将多个数据块依次存储到多个固态硬盘中。
S230、若是，则将所述待存储数据分割成多个预设尺寸的数据块，并将所述预设尺寸的数据块发送至多个存储服务器，存储到第一层数据存储目录中；若否，则将所述待存储数据发送至多个存储服务器，以存储到第一层数据存储目录中。
其中，预设尺寸可以理解为预先设置的尺寸，具有预设尺寸的数据块可以存储于固态硬盘中。
在本实施例中，每个存储服务器中可以包括多个固态硬盘，将分割后的待存储数据按照次序先存储于第一个存储服务器中的固态硬盘中，当第一个存储服务器中的所有固态硬盘都存储满后再将未存储的数据块发送到下一个存储服务器中进行存储，按照上述过程对待存储数据进行存储直到数据服务器接收到的待存储数据全部存储完成。
在本实施例中，若待存储数据的大小小于或等于分割器中设置的阈值，则可以确定待存储数据可以直接存储于存储服务器中的固态硬盘中，不需要对该待存储数据进行分割。
S240、根据保存到第一层数据存储目录中的待存储数据的访问次数以及在数据轮询器中设定的数值，确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件。
其中，数据轮询器可以为一种能够定时查询数据访问次数的器件。
在本实施例中，可以通过数据轮询器确定存储到第一层数据存储目录中的待存储数据是否满足预设条件，具体的，数据轮询器可以定时查询第一层数据存储目录中存储的待存储数据的访问次数，根据访问次数和轮询器中的设定值确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件。
其中，定时查询可以理解为在设定时间查询，可选的，定时查询可以设置为每隔两天查询一次或设置为每10分钟检查一次。数据轮询器可以定时查询待存储数据在预设时间内的访问次数，示例性的，预设时间可以为一个月，还可以为一天。可以理解的是，可以根据存储到第一层数据存储目录中的待存储数据的数据量确定预设时间，例如若待存储数据的数据量较少，则可以将预设时间设置为一个月，即一次可以查询一个月内存储的待存储数据；若待存储数据的数量较大，则可以将预设时间设置为一天，即一次可以查询一天内存储的待存储数据。
进一步的，所述根据保存到第一层数据存储目录中的待存储数据的访问次数以及数据轮询器中的设定值确定存储到第一层数据存储目录中的待存储数据是否满足预设条件，包括：将存储到第一层数据存储目录中的待存储数据的访问次数与数据轮询器中的设定值进行比较；若所述访问次数小于所述设定值，则确定所述存储到第一层数据存储目录中的待存储数据满足预设条件；否则确定所述存储到第一层数据存储目录中的待存储数据不满足预设条件。
在本实施例中，在数据轮询器中可以预先设置一个数值，当数据轮询器查询到存储到第一层数据存储目录中的待存储数据的访问次数小于该数值时，可以确定满足预设条件，当数据轮询器查询到存储到第一层数据存储目录中的待存储数据的访问次数大于或等于该数值时，可以确定不满足预设条件。
S250、若是，则将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中。
在本实施例中，确定满足预设条件的待存储数据后，可以将该数据发送到对应的存储服务器，以存储到存储服务器中的串口硬盘中。其中，每个存储服务器可以包括多个串口硬盘。
可以理解的是，将满足预设条件的待存储数据发送至存储服务器时需要按照发送次序发送，将满足预设条件的待存储数据发送至第一个存储服务器后，若该存储服务器中的串口硬盘足够存储满足预设条件的待存储数据，则可以将所有满足预设条件的待存储数据发送到第一个存储服务器进行存储；若该存储服务器中的串口硬盘不能无法将预设条件的待存储数据全部进行存储，则可以将满足预设条件的待存储数据中未存储的数据发送至下一个存储服务器进行存储，直到所有的满足预设条件的待存储数据全部存储到串口硬盘中。
需要说明的是，对不满足预设条件的待存储数据不做任何处理，不满足预设条件的待存储数据依然存储在存储服务器的固态硬盘中。
本发明实施例二提供的一种数据存储方法，该方法中通过数据分割器将待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中；然后通过数据轮询器确定待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至是存储服务器，以存储到第二层数据存储目录中。该方法通过将待存储数据并行存储在多个存储服务器中一方面可以解决现有技术中存储容量不足的问题，另一方面还可以解决现有技术中存储速度不足的问题。此外，该方法通过将存储在固态硬盘中的待存储数据转存到串口硬盘中，可以解决现有技术中数据存储不均衡的问题。
实施例三
本发明实施例三在上述各实施例的技术方案的基础上，提供了一种具体的实施方式。图3为本发明实施例三所提供的一种数据存储方法的示例流程图。
示例性的，当接收到待存储数据时可以将待存储数据先通过数据分割器，与数据分割器中设置的阈值比较，当待存储数据的大小小于分割器中设置的阈值时直接将待存储数据保存到第一层数据存储目录；当待存储数据的大小大于或等于分割器中设置的阈值时，待存储数据将被分割成若干分存储到第一层数据存储目录中。其中，第一层数据存储目录是由若干个SSD并行存储组成。数据轮询器可以不定时查询待存储数据的访问次数，如果待存储数据的访问次数小于数据轮询器预设阈值，待存储数据将被保存到第二层数据存储目录，如果待存储数据的访问次数大于数据轮询器预设阈值，则对待存储数据不做处理。其中，第二层数据存储目录是由若干个SATA并行存储组成。
图4为本发明实施例三所提供的一种数据存储方法中的数据分割器工作流程示意图，如图4所示，将待存储数据与数据分割器中的预设阈值进行比较，若待存储数据的大小小于预设阈值，则待存储数据不进行分割，将待存储数据直接保存到第一层数据存储目录中。若待存储数据的大小大于或等于预设阈值，则需要将待存储数据中超出预设阈值的待存储数据分割成多个预设大小的数据块保存到第一层数据存储目录中。
图5为本发明实施例三所提供的一种数据存储方法中的数据轮询器工作流程示意图，如图5所示，数据轮询器可以定时检查待存储数据在每月的访问次数，如果待存储数据的访问次数大于预定阈值，则待存储数据依然存储在第二层数据存储目录中。
本发明实施例三所提供的一种数据存储方法，能够有效提升数据存储的读写效率和存储的使用率。
实施例四
图6为本发明实施例四所提供的一种数据存储装置的结构示意图，该装置可适用于对大量数据进行存储的情况，其中该装置可由软件和/或硬件实现，并一般集成在数据服务器设备上。
如图6所示，该装置包括：接收模块610、处理模块620以及确定模块630。
接收模块610，用于接收待存储数据；
处理模块620，用于将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；
确定模块630，用于确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。
在本实施例中，该装置首先通过接收模块610接收待存储数据；之后通过处理模块620将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；最后通过确定模块630确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。
本实施例提供了一种数据存储装置，不仅能够满足大容量的存储需求，而且还可以提高存储速度。
进一步的，处理模块620具体用于：通过数据分割器确定是否对所述待存储数据进行分割；若是，则将所述待存储数据分割成多个预设尺寸的数据块，并将所述预设尺寸的数据块发送至多个存储服务器，存储到第一层数据存储目录中；若否，则将所述待存储数据发送至多个存储服务器，以存储到第一层数据存储目录中。
进一步的，所述通过数据分割器确定是否对所述存储数据进行分割，包括：将所述待存储数据的大小与数据分割器中设置的阈值进行比较；若所述待存储数据的大小小于所述阈值，则不对所述存储数据进行分割；否则对所述待存储数据进行分割。
进一步的，确定模块630具体用于：根据保存到第一层数据存储目录中的待存储数据的访问次数以及在数据轮询器中设定的数值，确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件；若是，则将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中。
进一步的，所述根据保存到第一层数据存储目录中的待存储数据的访问次数以及数据轮询器中的设定值确定存储到第一层数据存储目录中的待存储数据是否满足预设条件，包括：将存储到第一层数据存储目录中的待存储数据的访问次数与数据轮询器中的设定值进行比较；若所述访问次数小于所述设定值，则确定所述存储到第一层数据存储目录中的待存储数据满足预设条件；否则确定所述存储到第一层数据存储目录中的待存储数据不满足预设条件。
上述数据存储装置可执行本发明任意实施例所提供的数据存储方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7为本发明实施五所提供的一种数据存储系统的结构示意图，如图7所示，数据存储系统包括数据服务器110、交换机120以及多个存储服务器130，交换机120分别与数据服务器110以及多个存储服务器130通信连接；
数据服务器110，用于确定待存储数据的存储目录，所述存储目录为第一层数据存储目录或第二层数据存储目录，所述第一层数据存储目录由多组固态硬盘并行存储组成，所述第二层数据存储目录由多组串口硬盘并行存储组成；交换机120，用于根据所确定的存储目录，将所述待存储数据发送至对应的存储服务器130；存储服务器130，用于对所述待存储数据进行存储。
在本实施例中，通过数据服务器110可以确定待存储数据是保存在第一层数据存储目录中还是保存在第二层数据存储目录中。数据服务器110首先可以对待存储数据进行处理，将处理后的待存储数据发送至多个存储服务器120保存在存储器120内的第一层数据存储目录中；然后数据服务器110可以进一步判断保存在第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据从第一层数据存储目录转存至第二层数据存储目录中进行存储。
其中，交换机120可以为一种高速网交换机，交换机120可以作为数据服务器110与存储服务器130的传输媒介，数据服务器110通过交换机将待存储数据发送至存储服务器130。交换机120可以同时将待存储数据发送至多个存储服务器130。
图8为本发明实施例五所提供的又一种数据存储系统的结构示意图，如图8所示，在图7的基础上，数据服务器110包括数据分割器111以及数据轮询器112，存储服务器130包括多个固态硬盘131以及多个串口硬盘132；
数据分割器111用于对所述待存储数据进行处理，并将处理后的待存储数据发送到多个固态硬盘131中进行存储；
数据轮询器112用于确定存储在固态硬盘131中的待存储数据是否满足预设条件，并将满足预设条件的待存储数据发送到多个串口硬盘132中进行存储。
在本实施例中，数据分割器111可以确定是否对待存储数据进行分割；若是，则将所述待存储数据分割成多个预设尺寸的数据块；若否，则对所述待存储数据不做处理。
其中，确定是否对待存储数据进行分割可以包括将待存储数据的大小与数据分割器中设置的阈值进行比较；若待存储数据的大小小于阈值，则不对存储数据进行分割；否则对待存储数据进行分割。
在本实施例中，数据轮询器112可以确定保存在第一层数据存储目录中的待存储数据是否满足预设条件。具体的，根据保存到第一层数据存储目录中的待存储数据的访问次数以及在数据轮询器中设定的数值，确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件。进一步的，将存储到第一层数据存储目录中的待存储数据的访问次数与数据轮询器中的设定值进行比较；若所述访问次数小于所述设定值，则确定所述存储到第一层数据存储目录中的待存储数据满足预设条件；否则确定所述存储到第一层数据存储目录中的待存储数据不满足预设条件。
本发明实施例五提供的一种数据存储系统，通过数据切割器以及数据论处器可以确定待存储数据的存储位置，该系统不仅能够满足大容量的存储需求，而且还可以提高存储速度。
实施例六
图9为本发明实施例六所提供的一种数据服务器的结构示意图。如图9所示，本发明实施例六提供的数据服务器包括：一个或多个处理器91和存储装置92；该数据服务器中的处理器91可以是一个或多个，图9中以一个处理器91为例；存储装置92用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器91执行，使得所述一个或多个处理器91实现如本发明实施例中任一项所述的数据存储方法。
所述数据服务器还可以包括：输入装置93和输出装置94。
数据服务器中的处理器91、存储装置92、输入装置93和输出装置94可以通过总线或其他方式连接，图9中以通过总线连接为例。
该数据服务器中的存储装置92作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供的数据存储法对应的程序指令/模块(例如，附图6所示的数据存储装置中的模块，包括：接收模块610、处理模块620以及确定模块630)。处理器91通过运行存储在存储装置92中的软件程序、指令以及模块，从而执行数据服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据存储方法。
存储装置92可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据数据服务器的使用所创建的数据等。此外，存储装置92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置92可进一步包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置93可用于接收输入的数字或字符信息，以及产生与数据服务器的用户设置以及功能控制有关的键信号输入。输出装置94可包括显示屏等显示设备。
并且，当上述数据服务器所包括一个或者多个程序被所述一个或者多个处理器91执行时，程序进行如下操作：
接收待存储数据；
将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行存储组成；
确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行存储组成。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行数据存储方法，该方法包括：
接收待存储数据；
将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行存储组成；
确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行存储组成。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的数据存储方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据存储方法，其特征在于，所述方法包括：
接收待存储数据；
将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；
确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。
2.根据权利要求1所述的方法，其特征在于，所述将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，包括：
通过数据分割器确定是否对所述待存储数据进行分割；
若是，则将所述待存储数据分割成多个预设尺寸的数据块，并将所述预设尺寸的数据块发送至多个存储服务器，存储到第一层数据存储目录中；
若否，则将所述待存储数据发送至多个存储服务器，以存储到第一层数据存储目录中。
3.根据权利要求2所述的方法，其特征在于，所述通过数据分割器确定是否对所述存储数据进行分割，包括：
将所述待存储数据的大小与数据分割器中设置的阈值进行比较；
若所述待存储数据的大小小于所述阈值，则不对所述存储数据进行分割；否则对所述待存储数据进行分割。
4.根据权利要求1所述的方法，其特征在于，所述确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，包括：
根据保存到第一层数据存储目录中的待存储数据的访问次数以及在数据轮询器中设定的数值，确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件；
若是，则将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中。
5.根据权利要求4所述的方法，其特征在于，所述根据保存到第一层数据存储目录中的待存储数据的访问次数以及数据轮询器中的设定值确定存储到第一层数据存储目录中的待存储数据是否满足预设条件，包括：
将存储到第一层数据存储目录中的待存储数据的访问次数与数据轮询器中的设定值进行比较；
若所述访问次数小于所述设定值，则确定所述存储到第一层数据存储目录中的待存储数据满足预设条件；否则确定所述存储到第一层数据存储目录中的待存储数据不满足预设条件。
6.一种数据存储装置，其特征在于，所述装置包括：
接收模块，用于接收待存储数据；
处理模块，用于将所述待存储数据进行处理后发送至多个存储服务器，以存储到第一层数据存储目录中，所述第一层数据存储目录由多组固态硬盘并行组成；
确定模块，用于确定存储到所述第一层数据存储目录中的待存储数据是否满足预设条件，将满足预设条件的待存储数据发送至所述多个存储服务器，以存储到第二层数据存储目录中，所述第二层数据存储目录由多组串口硬盘并行组成。
7.一种数据服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器用于执行权利要求1-5任一项所述的数据存储方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的数据存储方法。
9.一种数据存储系统，其特征在于，所述系统包括：如权利要求7所述的数据服务器、交换机以及多个存储服务器，所述交换机分别与所述数据服务器以及所述多个存储服务器通信连接；
所述数据服务器，用于确定待存储数据的存储目录，所述存储目录为第一层数据存储目录或第二层数据存储目录，所述第一层数据存储目录由多组固态硬盘并行组成，所述第二层数据存储目录由多组串口硬盘并行组成；
所述交换机，用于根据所确定的存储目录，将所述待存储数据发送至对应的存储服务器；
所述存储服务器，用于对所述待存储数据进行存储。
10.根据权利要求9所述的系统，其特征在于，所述数据服务器包括数据分割器以及数据轮询器，所述存储服务器包括多个固态硬盘以及多个串口硬盘；
所述数据分割器用于对所述待存储数据进行处理，并将处理后的待存储数据发送到所述多个固态硬盘中进行存储；
所述数据轮询器用于确定存储在所述固态硬盘中的待存储数据是否满足预设条件，并将满足预设条件的待存储数据发送到所述多个串口硬盘中进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111081779.0A CN113835630A (zh) | 2021-09-15 | 2021-09-15 | 一种数据存储方法、装置、数据服务器、存储介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111081779.0A CN113835630A (zh) | 2021-09-15 | 2021-09-15 | 一种数据存储方法、装置、数据服务器、存储介质及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113835630A true CN113835630A (zh) | 2021-12-24 |
Family
ID=78959550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111081779.0A Pending CN113835630A (zh) | 2021-09-15 | 2021-09-15 | 一种数据存储方法、装置、数据服务器、存储介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113835630A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193865A (zh) * | 2010-03-16 | 2011-09-21 | 联想(北京)有限公司 | 存储系统、存储方法和使用其的终端 |
| CN107193500A (zh) * | 2017-05-26 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种分布式文件系统分层存储方法及系统 |
| CN108829344A (zh) * | 2018-05-24 | 2018-11-16 | 北京百度网讯科技有限公司 | 数据存储方法、装置及存储介质 |
| CN109634916A (zh) * | 2018-12-10 | 2019-04-16 | 平安科技（深圳）有限公司 | 文件存储及下载方法、装置及存储介质 |
| CN112799584A (zh) * | 2019-11-13 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 一种数据存储方法及装置 |
| US20210271405A1 (en) * | 2018-11-21 | 2021-09-02 | Huawei Technologies Co., Ltd. | Data storage method and apparatus |
-
2021
- 2021-09-15 CN CN202111081779.0A patent/CN113835630A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193865A (zh) * | 2010-03-16 | 2011-09-21 | 联想(北京)有限公司 | 存储系统、存储方法和使用其的终端 |
| CN107193500A (zh) * | 2017-05-26 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种分布式文件系统分层存储方法及系统 |
| CN108829344A (zh) * | 2018-05-24 | 2018-11-16 | 北京百度网讯科技有限公司 | 数据存储方法、装置及存储介质 |
| US20210271405A1 (en) * | 2018-11-21 | 2021-09-02 | Huawei Technologies Co., Ltd. | Data storage method and apparatus |
| CN109634916A (zh) * | 2018-12-10 | 2019-04-16 | 平安科技（深圳）有限公司 | 文件存储及下载方法、装置及存储介质 |
| CN112799584A (zh) * | 2019-11-13 | 2021-05-14 | 杭州海康威视数字技术股份有限公司 | 一种数据存储方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8381230B2 (en) | Message passing with queues and channels | |
| US9210219B2 (en) | Systems and methods for consistent hashing using multiple hash rings | |
| US9400767B2 (en) | Subgraph-based distributed graph processing | |
| US11429566B2 (en) | Approach for a controllable trade-off between cost and availability of indexed data in a cloud log aggregation solution such as splunk or sumo | |
| US11500879B2 (en) | Method, device, and program product for managing index of streaming data storage system | |
| CN103491152A (zh) | 分布式文件系统中元数据获取方法、装置及系统 | |
| CN110119304B (zh) | 一种中断处理方法、装置及服务器 | |
| CN113364877B (zh) | 数据处理方法、装置、电子设备和介质 | |
| CN109254839A (zh) | 确定任务触发时间的方法、构建任务定时器的方法及系统 | |
| CN110784336A (zh) | 基于物联网的多设备智能定时延时场景设置方法及系统 | |
| US8543722B2 (en) | Message passing with queues and channels | |
| CN111813517A (zh) | 任务队列的分配方法、装置、计算机设备及介质 | |
| CN112052082A (zh) | 任务属性优化方法、装置、服务器及存储介质 | |
| US20210399986A1 (en) | Data communication method, server device, client device and medium | |
| CN114489997A (zh) | 定时任务调度方法、装置、设备和介质 | |
| AU2019241002A1 (en) | Transaction processing method and system, and server | |
| CN109726219A (zh) | 数据查询的方法及终端设备 | |
| CN112711564B (zh) | 合并处理方法以及相关设备 | |
| CN113835630A (zh) | 一种数据存储方法、装置、数据服务器、存储介质及系统 | |
| CN115617859A (zh) | 基于知识图谱集群的数据查询方法和装置 | |
| US10387416B2 (en) | Querying a specified data storage layer of a data storage system | |
| CN114518833B (zh) | 用于存储管理的方法、电子设备和计算机程序产品 | |
| US11435926B2 (en) | Method, device, and computer program product for managing storage system | |
| CN117093335A (zh) | 分布式存储系统的任务调度方法及装置 | |
| CN110879818B (zh) | 一种获取数据的方法、装置、介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |