CN115543185B - 数据存储管理方法及系统、装置、计算机可读存储介质 - Google Patents
数据存储管理方法及系统、装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN115543185B CN115543185B CN202210325563.2A CN202210325563A CN115543185B CN 115543185 B CN115543185 B CN 115543185B CN 202210325563 A CN202210325563 A CN 202210325563A CN 115543185 B CN115543185 B CN 115543185B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- type
- solid state
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 35
- 238000007726 management method Methods 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 65
- 239000007787 solid Substances 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 31
- 238000012546 transfer Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 239000003990 capacitor Substances 0.000 description 27
- 230000002457 bidirectional effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据存储管理方法及系统、装置、计算机可读存储介质，本申请提供的方案包括：接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据存储管理方法及系统、装置、计算机可读存储介质。
背景技术
大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上。目前在使用的储存设备多数为硬盘储存，集中储存，除了用电量、散热、读写损耗和初期设备购买成本，大规模采用昂贵的硬盘进行储存，一方面不利于扩大大数据管理系统扩容，另外一方面运营的成本较大。所以引用了大容量但是读写速度较低的磁带硬盘，但是此类数据的分类储存一直是大数据管理系统的难点，无法进行兼顾。
发明内容
本申请实施例的目的是提供一种数据存储管理方法及系统、装置、计算机可读存储介质，用于解决现有大数据存储管理存在的效率低问题。
为了解决上述技术问题，本说明书是这样实现的：
第一方面，提供了一种数据存储管理方法，包括：
接收云平台传输的数据并进行预存储；
根据预存储数据类型对应的提取频率确定所述数据的存储类型；
将所述数据存储到所述存储类型对应的存储硬盘中。
可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
确定所述数据的类型；
根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；
在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，其中，
在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；
根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
可选的，所述计算所述数据使用非固态硬盘存储的费效比，包括：
根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。
可选的，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
确定各非固态硬盘存储的费效比中的最低值；
确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
可选的，该方法还包括：
根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；
根据统计的提取频率和对应的数据类型确定所述映射关系。
可选的，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：
将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
第二方面，提供了一种数据存储管理系统，包括数据中转模块、存储类型确定模块和多个不同类型的存储硬盘，
所述数据中转模块，与云平台连接，用于接收云平台传输的数据并进行预存储；
所述存储类型确定模块，与所述数据中转模块连接，用于根据预存储数据类型对应的提取频率确定所述数据的存储类型，并指示所述数据中转模块将所述数据中转到所述存储类型对应的存储硬盘中；
存储硬盘，与所述数据中转模块连接，用于存储所述数据中转模块中转的数据。
第三方面，提供了一种数据存储管理装置，包括存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的方法的步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，通过接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中，由此可实现对不同提取频率的数据进行分类存储，将数据存储到合适的存储硬盘中，提高数据存储管理的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的数据存储管理方法的流程示意图。
图2是本申请实施例的数据存储管理系统的架构示意图。
图3是本申请实施例的云平台的网关模块的结构示意图。
图4至图5是本申请实施例的网关模块的电路结构示意图。
图6是本申请实施例的数据存储管理装置的结构方框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
为了解决现有技术中存在的问题，本申请实施例提供一种数据存储管理方法，图1是本申请实施例的数据存储管理方法的流程示意图。
如图1所示，包括以下步骤：
步骤102，接收云平台传输的数据并进行预存储；
步骤104，根据预存储数据类型对应的提取频率确定所述数据的存储类型；
步骤106，将所述数据存储到所述存储类型对应的存储硬盘中。
在步骤102中，云平台收集到的大数据可通过对应网关模块传输到中转数据库进行预储存。
在步骤104中，可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：确定所述数据的类型；根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
数据的类型包括但不限于客户数据、业务前端数据、日常数据等数据源，相同类型数据是运维分组的，每组数据为一份。接收到数据后，即可根据数据的类型标识直接得知该数据的数据类型。
提取频率表示单位时间内同一份数据被提取的次数，不同类型的数据的提取频率可以预先确定并存储，后续在接收到云平台传输的数据后，可根据该数据的类型进行对应提取频率的获取。
可选的，该方法还包括：根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；根据统计的提取频率和对应的数据类型确定所述映射关系。
在一个实施例中，采用单位时间内(例如365天)同一份数据的提取次数确定其对应的提取频率。
预设频率可以是确定当前接收的数据的存储类型的阈值，通过数据类型与预先统计的提取频率的映射关系确定该数据的提取频率，并与预设的频率阈值进行比对，即可以确定该当前接收的数据对应的存储类型。
在一个实施例中，预设频率为100-150次。高于预设频率的数据判断为常用数据，等于或低于预设频率的数据判断为非常用数据。对于不同提取频率的数据，对应的存储类型可能会存在不同。
以预设频率为110次为例，如果当前接收数据的提取频率超过110次，确定为常用数据；提取次数超过365次，确定为日常数据。由此，可直接确定上述数据的存储类型为固态硬盘存储。
固态硬盘不用磁头，寻道时间几乎为0，持续写入的速度非常惊人，固态硬盘持续读写速度超过了500MB/s，可达到2000MB/s、甚至4000MB/s以上，固态硬盘的快体现于持续读写上和随机读写速度上，与之相关的还有极低的存取时间，固态硬盘可以达到0.1毫秒甚至更低。固态硬盘具有的上述特点，适用于存储高提取频率的常用数据。
在步骤104中，可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型。其中，在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
在该实施例中，对于提取频率相对低或者说中长时间内不会提取的非常用数据，可以进一步结合磁带硬盘和机械硬盘等非固态硬盘存储的费效比，来综合确定当前接收数据的最佳存储类型。
仍以预设频率为110次为例，如果当前接收数据的提取频率低于110次，但是不低于1次，则确定为较少使用的数据，可以采用机械硬盘储存。如果单位时间内的提取频率低于1次时，确定是不常用数据，可结合非固态硬盘存储的费效比进行判断，选取该数据在磁带硬盘和机械硬盘中存储的费效比最低的方式进行储存。
磁带硬盘以磁带为存储介质，由磁带机及其控制器组成的存储设备，是计算机的一种辅助存储器，磁带机由磁带传动机构和磁头等组成，能驱动磁带相对磁头运动，用磁头进行电磁转换，在磁带上顺序地记录或读出数据。磁带硬盘是计算机外围设备之一，磁带控制器是中央处理器在磁带机上存取数据用的控制电路装置，磁带硬盘以顺序方式存取数据，存储数据的磁带可脱机保存和互换读出，读写速度快，采用闪存作为存储介质，读取速度相对机械硬盘更快。一般来说磁带硬盘的容量大，运营成本低。
机械硬盘即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。磁头可沿盘片的半径方向运动，加上盘片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置上进行数据的读写操作，信息通过离磁性表面很近的磁头，由电磁流来改变极性方式被电磁流写到磁盘上，信息可以通过相反的方式读取，硬盘作为精密设备，尘埃会影响其性能，所以进入硬盘的空气必须过滤。
可选的，所述计算所述数据使用非固态硬盘存储的费效比，包括：
根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。
存储单价是指磁带硬盘和机械硬盘的每千字节(KB)的储存单价，复写速率对应各硬盘的数据存储速率。存储的费效比与存储数据的大小、存储速率和存储总价有关，即存储时间和存储总价的比值。
可选的，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
确定各非固态硬盘存储的费效比中的最低值；
确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
例如10M-20M等小容量的数据存储，存储时间本身不会太长，存储成本低的硬盘对应的费效比较低，则可以为降低成本从磁带硬盘和机械硬盘中选择存储成本低的硬盘。对应更大容量的数据，如果选择存储成本低的硬盘，但是存储速率小导致存储时间太长，则费效比性价比高，存储速率大的硬盘对应的费效比较低，则可以综合考虑从磁带硬盘和机械硬盘中选择存储速率大的硬盘。
通过计算不同磁盘对应存储同一份数据量大小数据的费效比，可以为低提取频率的数据确定更合适的存储类型，提高数据存储的效率。
可选的，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
在数据存储到对应硬盘中之后，通过删除数据的服务器源文件、加密数据和数据的无损压缩，结合备份避免在正常的数据迁移过程，产生丢失的问题。由此，可以实现存储数据的高效数据操作。
在本申请实施例中，通过接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中，由此可实现对不同提取频率的数据进行分类存储，将数据存储到合适的存储硬盘中，提高数据存储管理的效率。
在本申请的一个实施例中，还提供了一种数据存储管理系统，图2是本申请实施例的数据存储管理系统的架构示意图。
需要说明的是，本申请实施例所提供的数据存储管理系统，其包含的数据存储管理的过程的基本原理及产生的技术效果和上述数据存储管理方法的实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
如图2所示，本申请实施例的数据存储管理系统1000包括数据中转模块1060、存储类型确定模块1040和多个不同类型的存储硬盘，例如固态硬盘1082、磁带硬盘1084和机械硬盘1086。
所述数据中转模块1060，与云平台1020连接，用于接收云平台1020传输的数据并进行预存储；
所述存储类型确定模块1040，与所述数据中转模块1060连接，用于根据预存储数据类型对应的提取频率确定所述数据的存储类型，并指示所述数据中转模块1060将所述数据中转到所述存储类型对应的存储硬盘中；
存储硬盘1082、1084、1086，与所述数据中转模块1060连接，用于存储所述数据中转模块1060中转的数据。
此外，如图2所示，数据存储管理系统1000还包括数据操作模块1100、数据管理中心平台1120和提取频率统计模块1140。
数据操作模块1100，用于在数据中转模块1060将所述数据存储到存储类型对应的存储硬盘中之后，将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
数据管理中心平台1120，用于对所述数据的存储过程进行监控以进行异常报错。
提取频率统计模块1140，用于根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；根据统计的提取频率和对应的数据类型确定二者之间的映射关系。
数据管理中心平台1210与云平台1020之间双向信号连接，可以实现对数据进行管理，保证传输的稳定性和列表管理。数据管理中心平台1210与存储类型确定模块1040之间双向信号连接，可以保证储存成本的计算和处理。数据管理中心平台1210与数据调取统计模块1140之间双向信号连接，可以实现对大数据的提取频率进行计算，提取数据的电力、网速和设备折算费用进行计算。数据管理中心平台1210与存储类型确定模块1040之间双向信号连接，用于对大数据的储存方式进行确定。数据中转模块1060分别与固态硬盘1082、磁带硬盘1084、机械硬盘1086之间双向信号连接，用于对数据进行暂时备份处理。数据操作模块1100分别与固态硬盘1082、磁带硬盘1084、机械硬盘1086之间双向信号连接，可以实现对数据进行转储存处理。
在一个实施例中，云平台1020包括网关模块，可以实现高效的数据传输。
参见图3至图5，网关模块为一种基于ARM的边缘计算网关模块，其包括CPU及分别与所述CPU电连接的存储器芯片、内存芯片、电源芯片、板对板连接器，所述CPU通过所述板对板连接器引出串口、以太网接口、USB接口、IIC接口、SPI接口、数字量输入接口、数字量输出接口、存储接口及扩展总线接口。
该基于ARM的边缘计算网关模块支持更换不同性能的ARM CPU(单核、双核、四核)及不同大小的内存(512MB、1GB、2GB)，以满足不同成本、不同计算需求的应用，引脚全兼容，用户基于模块设计的硬件和软件无需更改，更换软硬件完全兼容的模块即可实现不同性能等级的网关产品。
边缘计算网关模块仅80mm*60mm，扩展外设或其他功能接口极为方便，基于模块能够快速设计不同种类边缘计算网关。板对板连接器具有四组，每组所述板对板连接器具有80根信号管脚，四组所述板对板连接器具有的320根管脚一共引出1路千兆以太网接口、2路USB3.0接口、5路串口接口、1路PCIe接口、2路CAN接口、2路SD卡接口、4路IIC接口、3路SPI接口、70路GPIO接口、1路CSI接口、1路HDMI接口、1路LVDS接口、1路LCD接口、1路MIPI接口、1路扩展总线接口，这样在紧凑的空间上提供了更丰富的接口资源，支持了扩展总线(16位地址总线、32位数据总线)、USB、IIC、SPI，能够灵活扩展各种接口资源，解决了扩展性、集成度、稳定性的问题，从而使模块的功能扩展更方便。本实施例优选板对板连接器为DF30FC-80DP芯片。
如图4所示，基于ARM的边缘计算网关模块还包括复位电路，复位电路包括TPS3838芯片U1、74HC125芯片U2、按键S1、电阻R1、电阻R2；TPS3838芯片U1的引脚经按键S1接地，3.3V电源依次经电阻R1、74HC125芯片U2的输出端、74HC125芯片U2的输入端接地，74HC125芯片U2的控制端与TPS3838芯片U1的/>引脚相连，TPS3838芯片U1的/>引脚还经电阻R3接地，电阻R1、74HC125芯片U2的公共端与所述CPU的复位引脚相连。
本实施例的CPU在上电过程中，电源电压未达到正常工作电压时，逻辑电路会发生工作混乱。上电复位电路在电源电压上升过程中首先输出无效复位电平，直到电源电压达到系统规定的正常工作电压后才迅速产生一个有效复位电平，以对数字电路进行复位操作。
本实施例采用了电压监控芯片TPS3838，其复位延时为10ms或200ms，延时时间可选。3.3V电源也为CPU的电源，当TPS3838芯片U1的VDD电压低于复位门槛电压或TPS3838芯片U1的引脚为低电平时/>引脚输出有效复位电平。
本实施例中，按下按键S1，引脚接地，/>引脚输出有效复位低电平对CPU进行复位，从而提供了CPU的手动复位功能。TPS3838芯片U1的VDD电压低于复位门槛电压时，引脚输出有效复位低电平至74HC125芯片U2的控制端，74HC125芯片U2的输入端接地，从而74HC125芯片U2的输出端输出低电平对CPU进行复位，这样本实施例的复位电路可对CPU进行手动和自动复位，可靠性高。
可选的，如图4所示，所述复位电路还包括74HC125芯片U3、电阻R2，所述3.3V电源还依次经电阻R2、74HC125芯片U3的输出端、74HC125芯片U3的输入端接地，TPS3838芯片U1的引脚还与74HC125芯片U3的控制端相连，电阻R2、74HC125芯片U3的公共端与以太网控制器相连。以太网控制器一般同样采用3.3V供电，与CPU共用同一个3.3V电源，这样本实施例的复位电路还可对以太网控制器进行手动和自动复位，从而单个复位电路可同时对多个芯片进行复位操作，扩展性强。
如图4所示，所述复位电路还包括电容C1，3.3V电源经电容C1接地。电容C1用于对TPS3838芯片U1的供电电压进行滤波，以提高电压监控的准确性。
可选的，如图4所示，TPS3838芯片U1的CT引脚与所述3.3V电源相连。TPS3838芯片U1的复位延时通过CT引脚控制，若CT引脚接地，则复位延时10ms，若CT引脚与3.3V电源相连，则复位延时200ms，本实施例选择复位延时200m，以保证CPU充分完成上电过程。
可选的，如图5所示，所述复位电路还包括AMS1117芯片U4、电容C2、电容C3、电容C4、电容C5，AMS1117芯片U4的IN引脚接入5V电源，AMS1117芯片U4的IN引脚还分别经电容C2、电容C3接地，AMS1117芯片U4的OUT引脚输出所述3.3V电源，AMS1117芯片U4的OUT引脚还分别经电容C4、电容C5接地。
一般的，开关电源通常输出5V电压，而本实施例中CPU、以太网控制器均采用3.3V供电，需要将5V电压转化为3.3V。本实施例采用AMS1117-33芯片将5V电压转化为3.3V，以对CPU、以太网控制进行供电，从而提供复位电路的监控输入电压。其中，电容C2、电容C3为电压转化电压的输入滤波电容，电容C4、电容C5为电压转化电压的输出滤波电容，电容C2、电容C4为低频滤波电容，可为电解电容，电容C3、电容C5为高频滤波电容，可为瓷片电容。
可选的，如图5所示，所述复位电路还包括电感L1、电感L2，AMS1117芯片U4的OUT引脚经电感L1输出所述3.3V电源，电容C4、电容C5并联后经电感L2接地。电感L1、电感L2为隔离滤波电感，以输出稳定的3.3V电压供模拟电路使用。所述复位电路还包括二极管D1，二极管D1接入所述5V电源与AMS1117芯片U4的IN引脚之间，二极管D1的正极与所述5V电源相连。二极管D1用于防止电路反接。所述复位电路还包括发光二极管D2、电阻R4，所述5V电源经发光二极管D2的正极、发光二极管D2的负极、电阻R4接地。发光二极管D2用于直观的指示系统的上电状态，电阻R4用于对流经发光二极管D2的电流进行限流，起到保护作用。
可选的，本申请实施例还提供一种数据存储管理装置，如图6所示，数据存储管理装置2000包括存储器2200和与所述存储器2200电连接的处理器2400，所述存储器2200存储有可在所述处理器2400运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任意一种数据存储管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种数据存储管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (9)
1.一种数据存储管理方法，其特征在于，包括：
接收云平台传输的数据并进行预存储；
根据预存储数据类型对应的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，所述提取频率包括统计得到的对应类型的数据在单位时间内被提取的次数，所述提取频率是根据所述预存储数据类型从预先存储的提取频率中获取的；所述费效比是根据所述数据的数据量大小和非固态硬盘存储对应的存储单价、复写速率计算得到的，所述存储单价是非固态硬盘的每千字节的储存单价，所述复写速率对应非固态硬盘的数据存储速率；
将所述数据存储到所述存储类型对应的存储硬盘中。
2.如权利要求1所述的方法，其特征在于，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
确定所述数据的类型；
根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；
在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
3.如权利要求1所述的方法，其特征在于，其中，在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；
根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
4.如权利要求3所述的方法，其特征在于，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
确定各非固态硬盘存储的费效比中的最低值；
确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
5.如权利要求2所述的方法，其特征在于，还包括：
根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；
根据统计的提取频率和对应的数据类型确定所述映射关系。
6.如权利要求1所述的方法，其特征在于，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：
将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
7.一种数据存储管理系统，其特征在于，包括数据中转模块、存储类型确定模块和多个不同类型的存储硬盘，
所述数据中转模块，与云平台连接，用于接收云平台传输的数据并进行预存储；
所述存储类型确定模块，与所述数据中转模块连接，用于根据预存储数据类型对应的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，并指示所述数据中转模块将所述数据中转到所述存储类型对应的存储硬盘中，所述提取频率包括统计得到的对应类型的数据在单位时间内被提取的次数，所述提取频率是根据所述预存储数据类型从预先存储的提取频率中获取的；所述费效比是根据所述数据的数据量大小和非固态硬盘存储对应的存储单价、复写速率计算得到的，所述存储单价是非固态硬盘的每千字节的储存单价，所述复写速率对应非固态硬盘的数据存储速率；
存储硬盘，与所述数据中转模块连接，用于存储所述数据中转模块中转的数据。
8.一种数据存储管理装置，其特征在于，包括：存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210325563.2A CN115543185B (zh) | 2022-03-30 | 2022-03-30 | 数据存储管理方法及系统、装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210325563.2A CN115543185B (zh) | 2022-03-30 | 2022-03-30 | 数据存储管理方法及系统、装置、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115543185A CN115543185A (zh) | 2022-12-30 |
| CN115543185B true CN115543185B (zh) | 2023-12-19 |
Family
ID=84723657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210325563.2A Active CN115543185B (zh) | 2022-03-30 | 2022-03-30 | 数据存储管理方法及系统、装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115543185B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116483287B (zh) * | 2023-06-21 | 2024-02-06 | 宝德计算机系统股份有限公司 | 一种互联网用户的数据安全存储方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000029782A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | メモリ制御方法及び装置 |
| CN105608016A (zh) * | 2015-08-05 | 2016-05-25 | 上海磁宇信息科技有限公司 | Dram与mram结合的固态硬盘及使用mram的存储卡 |
| CN105630705A (zh) * | 2015-06-10 | 2016-06-01 | 上海磁宇信息科技有限公司 | 数据存储装置及使用块替换表的读写方法 |
| CN107506146A (zh) * | 2017-08-29 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种数据存储系统 |
| CN110543430A (zh) * | 2018-05-28 | 2019-12-06 | 上海磁宇信息科技有限公司 | 一种使用mram的存储装置 |
| WO2020098654A1 (zh) * | 2018-11-13 | 2020-05-22 | 杭州海康威视系统技术有限公司 | 基于云存储的数据存储方法、装置和存储介质 |
| CN112463074A (zh) * | 2020-12-14 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种数据分类存储方法、系统、终端及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4459250B2 (ja) * | 2007-04-20 | 2010-04-28 | 富士通株式会社 | 送信方法、画像送信システム、送信装置及びプログラム |
| US9881039B2 (en) * | 2009-05-26 | 2018-01-30 | International Business Machines Corporation | Rebalancing operation using a solid state memory device |
| KR102533207B1 (ko) * | 2018-08-30 | 2023-05-17 | 에스케이하이닉스 주식회사 | 데이터 저장 장치 및 동작 방법, 이를 포함하는 스토리지 시스템 |
-
2022
- 2022-03-30 CN CN202210325563.2A patent/CN115543185B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000029782A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | メモリ制御方法及び装置 |
| CN105630705A (zh) * | 2015-06-10 | 2016-06-01 | 上海磁宇信息科技有限公司 | 数据存储装置及使用块替换表的读写方法 |
| CN105608016A (zh) * | 2015-08-05 | 2016-05-25 | 上海磁宇信息科技有限公司 | Dram与mram结合的固态硬盘及使用mram的存储卡 |
| CN107506146A (zh) * | 2017-08-29 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种数据存储系统 |
| CN110543430A (zh) * | 2018-05-28 | 2019-12-06 | 上海磁宇信息科技有限公司 | 一种使用mram的存储装置 |
| WO2020098654A1 (zh) * | 2018-11-13 | 2020-05-22 | 杭州海康威视系统技术有限公司 | 基于云存储的数据存储方法、装置和存储介质 |
| CN112463074A (zh) * | 2020-12-14 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种数据分类存储方法、系统、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115543185A (zh) | 2022-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9176672B2 (en) | Input/output (I/O) command aggregation | |
| US10210196B2 (en) | Data storage device having internal hardware filter, data storage method and data storage system | |
| CN115543185B (zh) | 数据存储管理方法及系统、装置、计算机可读存储介质 | |
| EP2026184A1 (en) | Device, method, and program for selecting data storage destination from a plurality of tape recording devices | |
| CN109558334B (zh) | 垃圾数据回收方法及固态存储设备 | |
| US10884920B2 (en) | Metadata-based operations for use with solid state devices | |
| WO2018153051A1 (zh) | 一种存储系统的控制装置 | |
| DE112016000697T5 (de) | Identifizieren von Plattenlaufwerken und Verarbeiten von Datenzugriffsanforderungen | |
| WO2021035555A1 (zh) | 一种固态硬盘的数据存储方法、装置及固态硬盘ssd | |
| CN101957802A (zh) | 具有驱动程序的usb设备 | |
| CN105404596A (zh) | 一种数据传输方法、装置及系统 | |
| CN103309619A (zh) | 一种闪存数据存储方法 | |
| CN108874639A (zh) | 日志归档方法、电子装置及可读存储介质 | |
| CN201698255U (zh) | 具有磁盘高速读写功能的服务器 | |
| CN207851170U (zh) | 变频器黑匣子系统 | |
| CN113885803A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| CN100383721C (zh) | 一种异构双系统总线的对象存储控制器 | |
| US20050114570A1 (en) | Portable data storage device | |
| CN102722456A (zh) | 闪存存储设备的数据写入方法和闪存存储设备 | |
| CN107003932A (zh) | 多核处理器系统的缓存目录处理方法和目录控制器 | |
| CN103942013A (zh) | 一种arm平台下高速读写与大容量存储系统及其工作方法 | |
| CN116319878A (zh) | 一种数据传输的方法、设备和计算机存储介质 | |
| CN203204494U (zh) | 结合多功能高稳定性插槽结构与多功能插卡模块的系统 | |
| CN105631965B (zh) | 车载wtb报文记录仪 | |
| CN210776642U (zh) | 一种多个tf卡自动拼盘装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |