CN116521094A - 一种元数据存储方法、装置、计算机设备和存储介质 - Google Patents
一种元数据存储方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116521094A CN116521094A CN202310804460.9A CN202310804460A CN116521094A CN 116521094 A CN116521094 A CN 116521094A CN 202310804460 A CN202310804460 A CN 202310804460A CN 116521094 A CN116521094 A CN 116521094A
- Authority
- CN
- China
- Prior art keywords
- storage
- metadata
- time
- stored
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004590 computer program Methods 0.000 claims description 24
- 238000012217 deletion Methods 0.000 abstract description 22
- 230000037430 deletion Effects 0.000 abstract description 22
- 238000011084 recovery Methods 0.000 abstract description 13
- 239000012634 fragment Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0625—Power saving in storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种元数据存储方法、装置、计算机设备和存储介质。所述方法包括：根据应用需求设置元数据的存储基准时间；以存储基准时间为起点，根据待存储的元数据的数据类型以及待存储的元数据的存储周期，设置存储空间中的存储时间片；根据接收到的待存储的元数据的时间戳，将待存储的元数据存储至对应的存储时间片中。采用本方法能够解决现有的存储方式存在数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
Description
技术领域
本申请涉及一种数据存储技术领域，特别是涉及一种元数据存储方法、装置、计算机设备和存储介质。
背景技术
计算机存储技术无处不在，不管是分布式存储还是单机存储，或者是嵌入式领域，都离不开存储技术。虽然不同应用领域的存储技术特点各不相同，在主流存储介质主要是机械磁盘和固态硬盘（Solid State Drive，简称SSD）的背景下，几乎都面临着相同的存储技术优化目标，那就是如何高效优化磁盘空间利用率，节省磁盘空间，提升磁盘输入和输出速率。
为了提高磁盘利用率，往往采用数据循环覆盖的方式对数据进行存储。然而，当前的数据循环覆盖机制存在数据发生覆盖后数据删除慢，删除不彻底，残留过期数据不可估，数据删除消息队列阻塞导致缓冲区溢出等问题，致使存储空间的利用率低以及存储空间回收率低的问题。
然而，对于现有的存储方式存在数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题，仍没有得到解决。
发明内容
基于此，有必要针对上述技术问题，提供一种元数据存储方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种元数据存储方法。所述方法包括：
根据应用需求设置元数据的存储基准时间；
以所述存储基准时间为起点，根据待存储的所述元数据的数据类型以及待存储的所述元数据的存储周期，设置存储空间中的存储时间片；
根据接收到的待存储的所述元数据的时间戳，将待存储的所述元数据存储至对应的所述存储时间片中。
在其中一个实施例中，所述方法还包括：
当检测到所述元数据所在的所述存储时间片中的数据全部过期时，删除所述存储时间片中的所有数据。
在其中一个实施例中，所述存储基准时间和所述存储时间片所确定的元数据存储时间范围覆盖整个时间轴。
在其中一个实施例中，所述以所述存储基准时间为起点，根据待存储的所述元数据的数据类型以及待存储的所述元数据的存储周期，确定存储空间中的存储时间片，包括：
以所述存储基准时间为起点，根据待存储的所述元数据的数据类型，将存储空间按照时间维度划分为所述存储时间片；
根据待存储的所述元数据的存储周期，设置所述存储时间片的时间跨度，得到所述存储空间的存储时间片。
在其中一个实施例中，所述存储周期较长的所述元数据对应的存储时间片的时间跨度较大，所述存储周期较短的所述元数据对应的存储时间片的时间跨度较小。
在其中一个实施例中，所述根据接收到的待存储的所述元数据的时间戳，将待存储的所述元数据存储至对应的所述存储时间片中，包括：
接收待存储的所述元数据；
确定接收到的所述元数据的时间戳所属的存储时间片；
将待存储的所述元数据存储至其时间戳所属的所述存储时间片中。
第二方面，本申请还提供了一种元数据存储装置。所述装置包括：
第一设置模块，用于根据应用需求设置元数据的存储基准时间；
第二设置模块，用于以所述存储基准时间为起点，根据待存储的所述元数据的数据类型以及待存储的所述元数据的存储周期，设置存储空间中的存储时间片；
以及存储模块，用于根据接收到的待存储的所述元数据的时间戳，将待存储的所述元数据存储至对应的所述存储时间片中。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的元数据存储方法。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一个方面所述的元数据存储方法。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一个方面所述的元数据存储方法。
上述元数据存储方法、装置、计算机设备、存储介质和计算机程序产品，根据应用需求设置元数据的存储基准时间，通过待存储的元数据的类型以及待存储的元数据的存储周期，来设置存储空间中的存储时间片，并根据元数据的时间戳来将元数据存储到对应的存储时间片。这样在进行元数据的删除时，可以根据元数据的类型来删除对应的存储时间片。采用此种删除存储时间片的方式，能够实现彻底删除存储时间片中的数据，减少存储碎片，解决了现有技术存在的数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一实施例提供的元数据存储方法的终端的硬件结构框图；
图2为本申请一实施例提供的元数据存储方法的流程图；
图3为本申请一优选实施例提供的元数据存储方法的流程图；
图4为本申请一实施例提供的元数据存储装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的元数据存储方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的元数据存储方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种元数据存储方法，图2是本实施例的元数据存储方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，根据应用需求设置元数据的存储基准时间。
在本步骤中，上述元数据，可以是描述数据的数据。元数据可以提供数据的信息，如数据的结构、内容、格式、来源、质量、安全等方面的描述。元数据通常包括数据元素、数据字典、数据模型和数据文档等信息。上述应用需求，可以是系统的设计需求。上述元数据的存储基准时间，可以是预先设定的划分第一个存储时间片的开始时间。根据应用需求设置元数据的基准时间，例如，可以根据系统可设置的最小时间，设置元数据的存储基准时间与系统可设置的最小时间一致，或，设置元数据的存储基准时间小于系统可设置的最小时间。例如，有一款产品，根据系统的设计需求，系统可设置的最小时间为2000年1月1日00：00：00，那么可以设置元数据的存储基准时间为2000年1月1日00：00：00。
步骤S220，以存储基准时间为起点，根据待存储的元数据的数据类型以及待存储的元数据的存储周期，设置存储空间中的存储时间片。
具体地，上述元数据的数据类型，可以包括录像元数据和图像元数据，也可以包括告警元数据、事件元数据等。所述元数据的存储周期，可以指该类型的元数据在存储空间中预设的留存时间，可以用T表示，该类型的元数据在存储空间中留存时间超过T的部分视为过期数据，可以进行删除。其中，不同类型的元数据在存储空间的预设的留存时间，是根据应用需求来预先设定的。上述存储时间片，包括存储时间片的起始时间和存储时间片的结束时间。其中，存储时间片的结束时间和存储时间片的起始时间之间的时间差，就是存储时间片的时间跨度。上述以存储基准时间为起点，根据待存储的元数据的数据类型以及待存储的元数据的存储周期，设置存储空间中的存储时间片，可以是以存储基准时间为起点，根据待存储的元数据的数据类型，将存储空间按照时间维度划分为存储时间片，进而根据待存储的元数据的存储周期，设置存储时间片的时间跨度，得到存储空间的存储时间片。在本步骤中，通过待存储的元数据的数据类型以及待存储的元数据的存储周期，设置存储空间中的存储时间片，实现了对存储空间的存储时间片的划分，进而能够在存储时间片中的数据过期时，通过删除存储时间片的方式，能够实现彻底删除存储时间片中的数据，减少存储碎片。
步骤S230，根据接收到的待存储的元数据的时间戳，将待存储的元数据存储至对应的存储时间片中。
上述元数据的时间戳，指的是该条元数据产生的时间。例如，在实时系统中，元数据的时间戳等于该条元数据产生时的系统时间。上述根据接收到的待存储的元数据的时间戳，将待存储的元数据存储至对应的存储时间片中，可以是接收待存储的元数据，确定接收到的元数据的时间戳所属的存储时间片，将待存储的元数据存储至其时间戳所属的存储时间片中。具体地，根据待存储的元数据的时间戳所确定的时间，确认该时间所对应的存储时间片，进而将待存储的元数据存储至该时间所对应的存储时间片中。在本步骤中，通过将待存储的元数据存储至对应的存储时间片中，进而能够通过删除存储时间片的方式，实现彻底删除存储时间片中的数据，减少存储碎片。
上述步骤S210至步骤S230，首先根据应用需求设置元数据的存储基准时间，进而以元数据的存储基准时间为起点，根据元数据的类型以及元数据的存储周期设置存储时间片，并根据待存储的元数据的时间戳，将待存储的元数据存储至时间戳所对应的存储时间片中。采用此方式能够通过删除存储时间片的方式，实现彻底删除存储时间片中的数据，减少存储碎片。解决了现有技术存在的数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
在一个实施例中，提供了一种元数据存储方法，还包括以下步骤：
步骤S240，当检测到元数据所在的存储时间片中的数据全部过期时，删除存储时间片中的所有数据。
在本步骤中，上述检测到元数据所在的存储时间片中的数据全部过期，可以设定存储时间片的删除时间，判断元数据所在的存储时间片的结束时间是否小于存储时间片的删除时间，若元数据所在的存储时间片的结束时间小于存储时间片的删除时间，则认定元数据所在的存储时间片中的数据全部过期。具体地，可以首先设定存储时间片的删除时间，判断某种数据类型的元数据所在的存储时间片的结束时间是否小于存储时间片的删除时间，若此种数据类型的元数据所在的存储时间片的结束时间小于存储时间片的删除时间，则认定此种数据类型的元数据所在的存储时间片中的数据全部过期。在本步骤中，通过在判断到某种数据类型的存储时间片中的数据全部过期时，通过删除过期的数据所在的存储时间片的方式，实现过期数据的数据类型的数据的全部删除，减少存储碎片，解决了现有技术存在的数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
在一个实施例中，存储基准时间和存储时间片所确定的元数据存储时间范围覆盖整个时间轴。
其中，上述存储基准时间和存储时间片所确定的元数据存储时间范围，可以是以存储基准时间为起点，以各个存储时间片的存储时间范围的和所确定的时间范围。上述时间轴，可以是抽象的水平时间轴，用于抽象的表示整个存储时间范围。其中，时间轴以存储基准时间为原点，以时间为横坐标，用距离原点的长度表示距离存储基准时间的时间长度。其中，所有的元数据的时间戳，都能在时间轴上找到时间戳所对应的存储时间片。例如，时间轴的存储基准时间为2000年1月1日00：00：00，每一个存储时间片的时间跨度为1小时，若待存储的元数据的时间戳所对应的时间为2023年6月7日09：12：34，则通过元数据的时间戳，可以找到以2023年6月7日09：00：00为起始时间以2023年6月7日10：00：00为结束时间的存储时间片，进而将待存储的元数据存储于该存储时间片中。在本步骤中，通过存储基准时间和存储时间片所确定的元数据存储时间范围覆盖整个时间轴，可以根据待存储的元数据的时间戳，确定待存储的元数据的时间戳所对应的存储时间片，进而将待存储的元数据存储到待存储的元数据所对应的存储时间片中。
在一个实施例中，基于步骤S220，以存储基准时间为起点，根据待存储的元数据的数据类型以及待存储的元数据的存储周期，确定存储空间中的存储时间片，可以包括以下步骤：
步骤S222，以存储基准时间为起点，根据待存储的元数据的数据类型，将存储空间按照时间维度划分为存储时间片。
步骤S224，根据待存储的元数据的存储周期，设置存储时间片的时间跨度，得到存储空间的存储时间片。
其中，存储时间片的时间跨度，可以是存储时间片的开始时间与结束时间之间的时间长度。上述根据待存储的元数据的数据类型，将存储空间按照时间维度划分为存储时间片，可以是根据待存储的元数据的数据类型，确定待存储的元数据的数据产生频率，根据待存储的元数据的数据产生频率不同，将存储空间按照时间维度划分为不同时间跨度的存储时间片。待存储的元数据的数据产生频率越高，将存储空间按照时间维度划分的存储时间片的时间跨度越小，待存储的元数据的数据产生频率越低，将存储空间按照时间维度划分的存储时间片的时间跨度越大。上述根据待存储的元数据的存储周期，设置存储时间片的时间跨度，可以是根据元数据的存储周期来调整存储时间片的时间跨度。具体地，设置存储周期较长的元数据对应的存储时间片的时间跨度较大，设置存储周期较短的元数据对应的存储时间片的时间跨度较小。存储时间片的时间跨度越大，存储数据删除的粒度越大，存储时间片的时间跨度越小，存储数据删除的粒度越小。
具体地，根据元数据的类型确定元数据的数据产生频率，根据元数据的数据产生频率将存储空间划分为多个存储时间片，每个存储时间片有一个预设的时间跨度，当确定元数据的存储周期时，进一步根据元数据的存储周期来调整存储时间片的时间跨度，以调整元数据回收的细粒度。需要说明的是，存储时间片的时间跨度要小于元数据的存储周期。例如，待存储的录像的存储周期为三个月，根据元数据的类型，录像元数据的预设的存储时间片的时间跨度为六个月，则此时的录像元数据回收粒度最小为六个月，系统中最大残留过期数据时间长度为六个月（大于待存储的录像的存储周期）。此时，可以根据待存储的录像的存储周期来调整存储时间片的时间跨度为一个月，则录像元数据回收粒度为一个月，系统中最大残留过期数据时间长度不超过一个月，即进一步提高了磁盘空间利用率以及存储空间回收率。
步骤S222至步骤S224，划分存储时间片，并设置存储时间片的时间跨度，其通过元数据的类型和存储周期，来确定存储时间片的时间跨度，进而确定元数据删除回收的粒度。通过对元数据删除回收的粒度不同，进而能够灵活的删除过期的存储时间片的存储数据，减少存储碎片，解决了现有技术存在的数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
下面通过优选实施例对本实施例进行描述和说明。
图3是本申请一优选实施例提供的元数据存储方法的流程图。如图3所示，该元数据存储方法包括以下步骤：
步骤S310，根据应用需求设置元数据的存储基准时间；
步骤S320，以存储基准时间为起点，根据待存储的元数据的数据类型，将存储空间按照时间维度划分为存储时间片；
步骤S330，根据待存储的元数据的存储周期，设置存储时间片的时间跨度，得到存储空间的存储时间片；
步骤S340，接收待存储的元数据；
步骤S350，确定接收到的元数据的时间戳所属的存储时间片；
步骤S360，将待存储的元数据存储至其时间戳所属的存储时间片中；
步骤S370，当检测到元数据所在的存储时间片中的数据全部过期时，删除存储时间片中的所有数据。
本实施例中，根据应用需求设置元数据的存储基准时间，进而以元数据的存储基准时间为起点，根据元数据的类型以及元数据的存储周期设置存储时间片，并根据待存储的元数据的时间戳，将待存储的元数据存储至时间戳所对应的存储时间片中。进而能够通过删除存储时间片的方式，实现彻底删除存储时间片中的数据，减少存储碎片。解决了现有技术存在的数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，在本实施例中还提供了一种元数据存储装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，图4是本申请一实施例提供的元数据存储装置的结构框图，如图4所示，该元数据存储装置，包括：
第一设置模块42，用于根据应用需求设置元数据的存储基准时间；
第二设置模块44，用于以存储基准时间为起点，根据待存储的元数据的数据类型以及待存储的元数据的存储周期，设置存储空间中的存储时间片；
以及存储模块46，用于根据接收到的待存储的元数据的时间戳，将待存储的元数据存储至对应的存储时间片中。
上述元数据存储装置，其通过应用需求设置元数据的存储基准时间，进而以元数据的存储基准时间为起点，根据元数据的类型以及元数据的存储周期设置存储时间片，并根据待存储的元数据的时间戳，将待存储的元数据存储至时间戳所对应的存储时间片中。进而能够通过删除存储时间片的方式，实现彻底删除存储时间片中的数据，减少存储碎片。解决了现有技术存在的数据删除不彻底而导致的存储空间的利用率低以及存储空间回收率低的问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的任意一种元数据存储方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的任意一种元数据存储方法。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述实施例中的任意一种元数据存储方法。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种元数据存储方法，其特征在于，所述方法包括：
根据应用需求设置元数据的存储基准时间；
以所述存储基准时间为起点，根据待存储的所述元数据的数据类型以及待存储的所述元数据的存储周期，设置存储空间中的存储时间片；
根据接收到的待存储的所述元数据的时间戳，将待存储的所述元数据存储至对应的所述存储时间片中。
2.根据权利要求1所述的元数据存储方法，其特征在于，所述方法还包括：
当检测到所述元数据所在的所述存储时间片中的数据全部过期时，删除所述存储时间片中的所有数据。
3.根据权利要求1或权利要求2所述的元数据存储方法，其特征在于，所述存储基准时间和所述存储时间片所确定的元数据存储时间范围覆盖整个时间轴。
4.根据权利要求1或权利要求2所述的元数据存储方法，其特征在于，所述以所述存储基准时间为起点，根据待存储的所述元数据的数据类型以及待存储的所述元数据的存储周期，确定存储空间中的存储时间片，包括：
以所述存储基准时间为起点，根据待存储的所述元数据的数据类型，将存储空间按照时间维度划分为所述存储时间片；
根据待存储的所述元数据的存储周期，设置所述存储时间片的时间跨度，得到所述存储空间的存储时间片。
5.根据权利要求4所述的元数据存储方法，其特征在于，所述存储周期较长的所述元数据对应的存储时间片的时间跨度较大，所述存储周期较短的所述元数据对应的存储时间片的时间跨度较小。
6.根据权利要求1或权利要求2所述的元数据存储方法，其特征在于，所述根据接收到的待存储的所述元数据的时间戳，将待存储的所述元数据存储至对应的所述存储时间片中，包括：
接收待存储的所述元数据；
确定接收到的所述元数据的时间戳所属的存储时间片；
将待存储的所述元数据存储至其时间戳所属的所述存储时间片中。
7.一种元数据存储装置，其特征在于，所述装置包括：
第一设置模块，用于根据应用需求设置元数据的存储基准时间；
第二设置模块，用于以所述存储基准时间为起点，根据待存储的所述元数据的数据类型以及待存储的所述元数据的存储周期，设置存储空间中的存储时间片；
以及存储模块，用于根据接收到的待存储的所述元数据的时间戳，将待存储的所述元数据存储至对应的所述存储时间片中。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求6中任一项所述的元数据存储方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的元数据存储方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的元数据存储方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310804460.9A CN116521094B (zh) | 2023-07-03 | 2023-07-03 | 一种元数据存储方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310804460.9A CN116521094B (zh) | 2023-07-03 | 2023-07-03 | 一种元数据存储方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116521094A true CN116521094A (zh) | 2023-08-01 |
| CN116521094B CN116521094B (zh) | 2023-11-14 |
Family
ID=87390696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310804460.9A Active CN116521094B (zh) | 2023-07-03 | 2023-07-03 | 一种元数据存储方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116521094B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101641674A (zh) * | 2006-10-05 | 2010-02-03 | 斯普兰克公司 | 时间序列搜索引擎 |
| CN106599292A (zh) * | 2016-12-26 | 2017-04-26 | 东方网力科技股份有限公司 | 针对实时视频数据和图像数据进行存储的方法及系统 |
| CN107220248A (zh) * | 2016-03-21 | 2017-09-29 | 伊姆西公司 | 一种用于存储数据的方法和装置 |
| CN109144416A (zh) * | 2018-08-03 | 2019-01-04 | 华为技术有限公司 | 查询数据的方法和装置 |
| CN109241178A (zh) * | 2018-07-20 | 2019-01-18 | 华为技术有限公司 | 管理存储空间的方法和装置 |
| CN110427368A (zh) * | 2019-07-12 | 2019-11-08 | 深圳绿米联创科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111221468A (zh) * | 2018-11-26 | 2020-06-02 | 杭州海康威视系统技术有限公司 | 存储块数据删除方法、装置、电子设备及云存储系统 |
| CN112632129A (zh) * | 2020-12-31 | 2021-04-09 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN114048171A (zh) * | 2021-09-13 | 2022-02-15 | 江苏云从曦和人工智能有限公司 | 图像数据的存储方法、装置、介质和设备 |
| CN115292326A (zh) * | 2022-08-11 | 2022-11-04 | 北京百度网讯科技有限公司 | 数据索引建立方法、装置、电子设备和存储介质 |
-
2023
- 2023-07-03 CN CN202310804460.9A patent/CN116521094B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101641674A (zh) * | 2006-10-05 | 2010-02-03 | 斯普兰克公司 | 时间序列搜索引擎 |
| CN107220248A (zh) * | 2016-03-21 | 2017-09-29 | 伊姆西公司 | 一种用于存储数据的方法和装置 |
| CN106599292A (zh) * | 2016-12-26 | 2017-04-26 | 东方网力科技股份有限公司 | 针对实时视频数据和图像数据进行存储的方法及系统 |
| CN109241178A (zh) * | 2018-07-20 | 2019-01-18 | 华为技术有限公司 | 管理存储空间的方法和装置 |
| CN109144416A (zh) * | 2018-08-03 | 2019-01-04 | 华为技术有限公司 | 查询数据的方法和装置 |
| CN111221468A (zh) * | 2018-11-26 | 2020-06-02 | 杭州海康威视系统技术有限公司 | 存储块数据删除方法、装置、电子设备及云存储系统 |
| CN110427368A (zh) * | 2019-07-12 | 2019-11-08 | 深圳绿米联创科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112632129A (zh) * | 2020-12-31 | 2021-04-09 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN114048171A (zh) * | 2021-09-13 | 2022-02-15 | 江苏云从曦和人工智能有限公司 | 图像数据的存储方法、装置、介质和设备 |
| CN115292326A (zh) * | 2022-08-11 | 2022-11-04 | 北京百度网讯科技有限公司 | 数据索引建立方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| KINOSHITA, R. ET AL.: "Workload-aware Data-eviction Self-adjusting System of Multi-SCM Storage to Resolve Trade-off between SCM Data-retention Error and Storage System Performance", 2020 25TH ASIA AND SOUTH PACIFIC DESIGN AUTOMATION CONFERENCE (ASP-DAC). PROCEEDINGS * |
| 刘伟;黄鲁;徐俊;: "节约存储空间的远程视频监控系统", 传感器与微系统, no. 10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116521094B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8874700B2 (en) | Optimizing storage of data files | |
| CN108415952B (zh) | 用户数据存储方法、标签计算方法及计算设备 | |
| CN111475483B (zh) | 数据库迁移方法、装置及计算设备 | |
| CN107346270B (zh) | 基于实时计算的基数估计的方法和系统 | |
| US11093340B2 (en) | Summary file change log for faster forever incremental backup | |
| US10938773B2 (en) | Method and apparatus for synchronizing contact information and medium | |
| CN112069195A (zh) | 基于数据库的消息传输方法、装置、电子设备及存储介质 | |
| CN116521094B (zh) | 一种元数据存储方法、装置、计算机设备和存储介质 | |
| CN116108238B (zh) | 一种图数据库中多跳查询的优化方法、系统和装置 | |
| WO2015188618A1 (zh) | 基于网盘的用户消费提醒方法及装置 | |
| CN116594834A (zh) | 一种用于多协议服务器的运维数据处理方法及装置 | |
| CN110413684B (zh) | 一种数据库同步方法、装置及系统 | |
| CN110851398A (zh) | 垃圾数据的回收处理方法、装置及电子设备 | |
| CN115905168A (zh) | 自适应压缩方法和压缩装置、计算机设备、存储介质 | |
| CN111400327B (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
| CN114520807A (zh) | 文件上传下载方法、装置、计算机设备及存储介质 | |
| WO2021248316A1 (zh) | 事件处理方法、装置、电子设备以及存储介质 | |
| US11178413B1 (en) | Dynamically transitioning a digital video file between encoding states | |
| CN111723007B (zh) | 一种测试用例的合并方法、系统、设备以及介质 | |
| CN112184027A (zh) | 任务进度更新方法、装置及存储介质 | |
| CN111126572A (zh) | 一种模型参数处理方法、装置、电子设备及存储介质 | |
| CN108052648B (zh) | 一种网站图片删除方法、装置及电子设备 | |
| CN117950787B (zh) | 广告展示方法、装置、电子设备及存储介质 | |
| CN114253745B (zh) | 一种消息去重处理方法、装置、存储介质和电子设备 | |
| CN117112886A (zh) | 推广信息处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |