CN117950600B - 一种数据存储方法以及相关装置 - Google Patents

一种数据存储方法以及相关装置 Download PDF

Info

Publication number
CN117950600B
CN117950600B CN202410357722.6A CN202410357722A CN117950600B CN 117950600 B CN117950600 B CN 117950600B CN 202410357722 A CN202410357722 A CN 202410357722A CN 117950600 B CN117950600 B CN 117950600B
Authority
CN
China
Prior art keywords
data
storage
stored
determining
compressed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410357722.6A
Other languages
English (en)
Other versions
CN117950600A (zh
Inventor
蔡毅
夏映辉
刘刚
游东东
张建富
向海民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lichuang Information Technology Co ltd
Original Assignee
Guangdong Lichuang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Lichuang Information Technology Co ltd filed Critical Guangdong Lichuang Information Technology Co ltd
Priority to CN202410357722.6A priority Critical patent/CN117950600B/zh
Publication of CN117950600A publication Critical patent/CN117950600A/zh
Application granted granted Critical
Publication of CN117950600B publication Critical patent/CN117950600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3077—Sorting
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3086—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing a sliding window, e.g. LZ77
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Genetics & Genomics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据存储方法以及相关装置，属于数据处理技术领域。该方法包括：获得待存储数据，对待存储数据进行压缩获得待存储数据对应的压缩数据和冗余数据；计算压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据消耗能量值确定压缩数据进行数据存储时对应的目标存储节点；根据目标存储节点和压缩数据进行映射处理，将压缩数据映射到对应的目标存储节点中，获得压缩数据对应的第一存储结果；采用遗传算法对冗余数据进行分配，获得冗余数据对应的目标分配策略；根据目标分配策略将冗余数据进行数据存储，获得冗余数据对应的第二存储结果；根据第一存储结果和第二存储结果确定待存储数据对应的目标存储结果。

Description

一种数据存储方法以及相关装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据存储方法以及相关装置。
背景技术
随着互联网的发展，在工业环境中可通过不同类型的传感器或者监控设备获得工业设备对应的运行数据。工业设备产生的数据量通常非常庞大，需要能够高效的存储和管理这些大规模的数据，但是，在采集得到的运行数据中往往存在较多的冗余数据，相关技术中对大数据进行存储时，无法有效分配运行数据中存在的冗余数据，进而导致数据存储方法存在带宽占用率高和数据存储量低的问题。从而导致网络拥堵导致数据传输延迟增加，从而影响数据实时性的应用。此外，存储量低意味着无法容纳足够多的数据，可能导致部分数据被覆盖或删除，从而增加数据丢失的风险。如果发生数据丢失，可能会导致信息不完整或不准确，影响业务的正常运行和决策的准确性。
发明内容
本发明实施例的主要目的在于提供一种数据存储方法以及相关装置，旨在解决相关技术中对大数据进行存储时，无法有效分配运行数据中存在的冗余数据，进而导致数据存储方法存在带宽占用率高和数据存储量低的问题。
第一方面，本发明实施例提供一种数据存储方法，包括：
获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据；
计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点；
根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果；
采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略；
根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果；
根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果。
第二方面，本发明实施例提供一种数据存储装置，包括：
数据获取模块，用于获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据；
节点确认模块，用于计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点；
第一存储模块，用于根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果；
数据分配模块，用于采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略；
第二存储模块，用于根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果；
目标存储模块，用于根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果。
第三方面，本发明实施例还提供一种终端设备，所述终端设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明说明书提供的任一项数据存储方法的步骤。
第四方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项数据存储方法的步骤。
本发明实施例提供一种数据存储方法以及相关装置，该方法包括：获得待存储数据，对待存储数据进行压缩获得待存储数据对应的压缩数据和冗余数据；在对所述待存储数据进行重要性排序中，所述压缩数据的第一重要性大于所述冗余数据的第二重要性；计算压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据消耗能量值确定压缩数据进行数据存储时对应的目标存储节点；根据目标存储节点和压缩数据进行映射处理，将压缩数据映射到对应的目标存储节点中，获得压缩数据对应的第一存储结果；采用遗传算法对冗余数据进行分配，获得冗余数据对应的目标分配策略；根据目标分配策略将冗余数据进行数据存储，获得冗余数据对应的第二存储结果；根据第一存储结果和第二存储结果确定待存储数据对应的目标存储结果。本申请通过对待存储数据进行压缩，减少了存储所需的空间，从而减少了存储设备的能耗。通过计算压缩数据进行存储所消耗的能量，并根据消耗能量值确定目标存储节点，可以实现能量消耗的优化。此外，通过映射处理将压缩数据映射到目标存储节点中，以及采用遗传算法对冗余数据进行分配，可以优化存储资源的利用。这有助于提高存储系统的性能和效率，减少资源浪费。采用遗传算法对冗余数据进行分配，并将其存储在不同的目标节点中，可以实现数据的冗余备份。这有助于提高数据的可靠性和容错能力，防止数据丢失或损坏。最后得到的目标存储结果，可以确保待存储数据以最有效的方式进行存储。这有助于提高数据存储的效率和性能，保证数据的及时可用性和完整性。解决了相关技术中对大数据进行存储时，无法有效分配运行数据中存在的冗余数据，进而导致数据存储方法存在带宽占用率高和数据存储量低的问题。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据存储方法的流程示意图；
图2为本发明实施例提供的一种数据存储装置的模块结构示意图；
图3为本发明实施例提供的一种终端设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种数据存储方法以及相关装置。其中，该数据存储方法可应用于终端设备中，该终端设备可以平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。该终端设备可以为服务器，也可以为服务器集群。
下面结合附图，对本发明的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本发明实施例提供的一种数据存储方法的流程示意图。
如图1所示，该数据存储方法包括步骤S101至步骤S106。
步骤S101、获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据。
示例性地，在工业场景中，涉及到许多工业设备，如发动机，空压机等设备，为保证工业设备地正常运行，需要对工业设备的运行信息进行实时监测，从而采集到了工业设备对应的运行数据，进而为保证对工业设备的分析需要将运行数据进行存储。也即，可将工业设备对应的运行数据确定为待存储数据。
可选地，待存储设备可以是发动机的运行数据，也可以是空压机的运行数据等等，本申请不做具体限制，用户可根据实际需求自行选择。
示例性地，可选择Deflate压缩算法对待存储数据进行压缩。在压缩过程中，通常会生成压缩数据和一些冗余数据。进而根据压缩算法的特性和实现方式，将压缩数据和冗余数据分离出来。
可选地，压缩算法包括但不限于Lempel-Ziv-Welch（LZW）、Deflate（用于ZIP文件）、Gzip（用于网络传输）等。用户可根据数据的特点和需求选择合适的压缩算法。本申请不做具体限制，用户可根据实际需求自行选择。
在一些实施方式中，所述对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据，包括：确定滑动窗口，根据所述滑动窗口确定所述待存储数据对应的时空特征值和语义特征值；对所述时空特征值和所述语义特征值进行加权融合，确定所述待存储数据对应的重要性排序；根据所述重要性排序确定所述待存储数据对应的所述压缩数据和所述冗余数据。在对所述待存储数据进行重要性排序中，所述压缩数据的第一重要性大于所述冗余数据的第二重要性。
示例性地，通过确定滑动窗口将待存储数据分割成多个时间段或空间区域，以便更好地理解数据的时空分布特征。这有助于对数据进行更精细的分析和处理。从而根据滑动窗口确定的时间段或空间区域提取出数据的时空特征值和语义特征值。时空特征值反映了待存储数据在时间和空间上的分布规律，而语义特征值则反映了待存储数据的含义和内容。
示例性地，对提取出的时空特征值和语义特征值进行加权融合，可以综合考虑数据的时空分布和语义含义，从而确定数据的重要性排序。这有助于优先处理和存储对业务决策和应用影响较大的数据。从而根据确定的重要性排序，将数据分为压缩数据和冗余数据。重要性较高的数据可以选择存储为压缩数据以保留其重要信息，而重要性较低的数据则可以存储为冗余数据。
具体地，加权融合时空特征值和语义特征值排序确定待存储数据的重要性排序，从而根据重要性排序确定待存储数据对应的压缩数据和冗余数据，可以更有效地处理和存储数据，进而为后续提高数据存储的效率和性能提供支撑，同时确保了压缩数据得到充分利用。
步骤S102、计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点。
示例性地，了解每个初始存储节点在存储压缩数据时的能耗模型。这可能涉及存储设备的类型、功率特性、负载情况等。然后，根据压缩数据的大小和初始存储节点的能耗模型，计算在该节点上存储压缩数据所需的能量消耗。这可以通过模拟、实验或者理论计算等方式进行。
示例性地，根据计算得到的能量消耗值，确定对应的目标存储节点。通常情况下，选择能耗最低的存储节点作为目标存储节点，以实现能量消耗的最优化。
在一些实施方式中，所述计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，包括：对所述压缩数据利用一致性树分布存储算法进行数据存储，获得所述压缩数据对应的一致性树分布模型；根据所述一致性树分布模型确定所述压缩数据对应的子树，并根据所述子树确定所述压缩数据对应的初始存储节点的节点数量；根据所述节点数量和所述初始存储节点计算所述压缩数据在进行数据存储时所消耗的能量，获得所述消耗能量值；其中，根据下列公式计算所述消耗能量值：
；
v表示所述初始存储节点，t表示所述节点数量，表示所述压缩数据传送单位距离的能量消耗，/>表示所述初始存储节点向其他节点传输的感知数据与所述初始存储节点向其他节点传输的反馈数据之间的数量比值，/>表示单位时间内所述初始存储节点接收查询请求的次数；/>表示所述初始存储节点向其他节点传输的所述感知数据的大小；表示对所述感知数据进行处理消耗的能量；/>表示单位时间内所述初始存储节点处理查询请求的次数。
示例性地，利用Hadoop的HDFS（Hadoop Distributed File System）将数据分布到多个存储节点上，并维护一致性树来管理数据的存储和访问。从而根据所选的一致性树分布算法，确定压缩数据对应的一致性树分布模型。这个模型描述了数据在分布式存储系统中的存储方式和结构，包括数据的分布位置、副本数量等信息。从而根据一致性树分布模型，确定压缩数据对应的子树，并据此确定初始存储节点的数量。子树通常是一致性树中的一部分，用于存储特定数据块或数据片段。初始存储节点的数量取决于子树的结构和分布情况。
示例性地，根据确定的初始存储节点数量和一致性树分布模型，计算压缩数据在进行存储时所消耗的能量。这可以通过分析存储节点的能耗模型和数据传输过程中的能量消耗来实现。具体可根据下列公式计算消耗能量值：
；
v表示初始存储节点，t表示节点数量，表示压缩数据传送单位距离的能量消耗，/>表示初始存储节点向其他节点传输的感知数据与初始存储节点向其他节点传输的反馈数据之间的数量比值，/>表示单位时间内初始存储节点接收查询请求的次数；/>表示初始存储节点向其他节点传输的感知数据的大小；/>表示对感知数据进行处理消耗的能量；/>表示单位时间内初始存储节点处理查询请求的次数。
具体地，使用一致性树分布存储算法可以确保数据的一致性和可靠性，提高系统的稳定性和可靠性。从而通过合理的子树设计和存储节点分配，可以优化数据的存储效率，减少存储资源的浪费，进而通过计算消耗能量值并优化存储节点的分布和使用，为后续提高数据地存储性能提供了支撑。
在一些实施方式中，所述根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点，包括：根据所述消耗能量值对所述初始存储节点进行排序，获得排序存储节点；根据所述排序存储节点与预设规则确定所述压缩数据进行数据存储时对应的所述目标存储节点。
示例性地，根据计算得到的初始存储节点的消耗能量值，对这些初始存储节点进行排序，按照能量消耗从低到高或从高到低进行排列。这样可以找出能量消耗较低或较高的节点。进而根据预设规则，确定压缩数据在存储时应该选择的目标存储节点。这些规则可能包括但不限于：选择能耗最低的节点、选择距离最近的节点、选择负载最轻的节点等。根据系统需求和设计，确定适合的规则。
示例性地，预设规则为消耗能量值小于A，则将排序存储节点对应地消耗能量值小于A时，将对应地节点确定为压缩数据对应的目标存储节点。
具体地，根据能量消耗排序和预设规则，可以更精确地选择目标存储节点，从而优化数据存储的效率和性能。
步骤S103、根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果。
示例性地，根据确定的目标存储节点和压缩数据，进行映射处理。这通常涉及将数据分配到目标存储节点的过程，确保数据被正确地存储到相应的节点上。映射处理可能会涉及到一些算法，例如哈希函数、分布式文件系统的分配策略等。将压缩数据按照映射结果存储到对应的目标存储节点中，进而获得压缩数据对应的第一存储结果，即压缩数据已经成功存储到目标存储节点中的结果。
步骤S104、采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略。
示例性地，定义适应度函数，用于评估每个可能的分配策略的优劣程度。适应度函数应考虑到系统的性能指标，如数据冗余度、存储空间利用率、访问速度等，以及约束条件，如存储节点的容量限制等。适应度函数的设计应使得具有更好性能的分配策略对应的适应度值更高。
示例性地，将每个可能的分配策略编码成一个个体，通常使用二进制编码或其他适合的编码方式。这个编码过程应能够表示冗余数据的分配情况，例如哪些数据被存储在哪些存储节点上。随机生成一定数量的初始个体组成种群。初始个体的生成应考虑到问题的特点和约束条件，以增加算法搜索空间的广度。
示例性地，通过交叉、变异等遗传算法的操作，不断迭代优化种群中的个体，以寻找适应度函数值最优的分配策略。这个过程中，需要选择合适的遗传算法参数，如交叉概率、变异概率等，以及确定适当的停止条件，如达到最大迭代次数或满足一定的收敛条件。当算法停止迭代时，评估种群中最优个体对应的分配策略，即为所求的冗余数据目标分配策略。
在一些实施方式中，所述采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略，包括：确定所述冗余数据对应的初始分配策略；根据所述初始分配策略确定所述冗余数据对应的第一通信代价；将所述第一通信代价与预设代价值进行比较，当所述第一通信代价小于或者等于所述预设代价值时，则根据所述初始分配策略确定所述目标分配策略；当所述第一通信代价大于所述预设代价值时，则更新所述初始分配策略，并获得更新后的所述初始分配策略，直至获得所述目标分配策略。
示例性地，确定冗余数据的初始分配策略。这可能涉及到数据在不同存储节点上的分布情况，以及数据备份的策略等。从而根据初始分配策略，计算冗余数据对应的第一通信代价。第一通信代价可以包括冗余数据在存储节点之间的传输成本、延迟等。进而将计算得到的第一通信代价与预设代价值进行比较。如果第一通信代价小于或等于预设代价值，则初始分配策略即为目标分配策略，无需更新。
示例性地，如果第一通信代价大于预设代价值，则需要更新初始分配策略。可以通过调整数据在存储节点上的分布方式或者增加数据的备份等方式来降低通信代价。重复上述步骤，直到计算得到的第一通信代价小于或等于预设代价值为止。
示例性地，当计算得到的第一通信代价小于或等于预设代价值时，根据最终的初始分配策略确定目标分配策略，即为所求的目标分配策略。
具体地，根据预设代价值，动态地确定冗余数据的目标分配策略，从而优化通信代价，提高系统的性能和效率。
在一些实施方式中，可根据下列公式获得第一通信代价：
；
其中，cost表示第一通信代价，表示第j段冗余数据在数据存储过程中的通信代价，/>表示冗余数据在数据存储过程中的分类结果；/>表示在分配过程中第j段冗余数据产生的分类代价；/>表示在分配过程中第j段冗余数据产生的通信代价，/>表示表示第j段冗余数据。
示例性地，可根据下列公式计算第一通信代价：
；
其中，cost表示第一通信代价，表示第j段冗余数据在数据存储过程中的通信代价，/>表示冗余数据在数据存储过程中的分类结果；/>表示在分配过程中第j段冗余数据产生的分类代价；/>表示在分配过程中第j段冗余数据产生的通信代价，/>表示表示第j段冗余数据。
步骤S105、根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果。
示例性地，根据目标分配策略，确定每个冗余数据应存储在哪些存储节点上，以及是否需要备份等信息。进而根据目标分配策略，将冗余数据存储到相应的存储节点上。这可能涉及数据传输、存储节点的写入操作等。通过检查存储节点上的数据是否正确、是否完整来确保冗余数据按照目标分配策略被正确地存储到存储节点上后，即可获得冗余数据对应的第二存储结果。
步骤S106、根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果。
示例性地，将第一存储结果和第二存储结果共同确定为待存储数据的目标存储结果，从而保证数据存储的正确性和完整性。
在一些实施方式中，所述根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果，包括：根据所述压缩数据和所述冗余数据确定所述第一存储结果和所述第二存储结果之间的关联关系；根据所述关联关系融合所述第一存储结果和所述第二存储结果确定所述待存储数据对应的所述目标存储结果。
示例性地，根据压缩数据和冗余数据之间的对应关系，确定第一存储结果和第二存储结果之间的关联关系。从而根据确定的关联关系，将第一存储结果和第二存储结果进行融合。这可能包括合并数据、更新存储节点上的数据等操作，以确保目标存储结果包含了两个存储结果的信息，同时保持数据的完整性和一致性。
具体地，根据压缩数据和冗余数据之间的关联关系，确定待存储数据的目标存储结果，从而在保证待存储数据地完整存储地基础上，也解决了相关技术中对大数据进行存储时，无法有效分配运行数据中存在的冗余数据，进而导致数据存储方法存在带宽占用率高和数据存储量低的问题。
请参阅图2，图2为本申请实施例提供的一种数据存储装置200，该数据存储装置200包括数据获取模块201、节点确认模块202、第一存储模块203、数据分配模块204、第二存储模块205、目标存储模块206，其中，数据获取模块201，用于获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据；在对所述待存储数据进行重要性排序中，所述压缩数据的第一重要性大于所述冗余数据的第二重要性；节点确认模块202，用于计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点；第一存储模块203，用于根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果；数据分配模块204，用于采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略；第二存储模块205，用于根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果；目标存储模块206，用于根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果。
在一些实施方式中，数据获取模块201在所述对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据过程中，执行：
确定滑动窗口，根据所述滑动窗口确定所述待存储数据对应的时空特征值和语义特征值；
对所述时空特征值和所述语义特征值进行加权融合，确定所述待存储数据对应的重要性排序；
根据所述重要性排序确定所述待存储数据对应的所述压缩数据和所述冗余数据。
在一些实施方式中，节点确认模块202在所述计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值过程中，执行：
对所述压缩数据利用一致性树分布存储算法进行数据存储，获得所述压缩数据对应的一致性树分布模型；
根据所述一致性树分布模型确定所述压缩数据对应的子树，并根据所述子树确定所述压缩数据对应的初始存储节点的节点数量；
根据所述节点数量和所述初始存储节点计算所述压缩数据在进行数据存储时所消耗的能量，获得所述消耗能量值；
其中，根据下列公式计算所述消耗能量值：
；
v表示所述初始存储节点，t表示所述节点数量，表示所述压缩数据传送单位距离的能量消耗，/>表示所述初始存储节点向其他节点传输的感知数据与所述初始存储节点向其他节点传输的反馈数据之间的数量比值，/>表示单位时间内所述初始存储节点接收查询请求的次数；/>表示所述初始存储节点向其他节点传输的所述感知数据的大小；表示对所述感知数据进行处理消耗的能量；/>表示单位时间内所述初始存储节点处理查询请求的次数。
在一些实施方式中，节点确认模块202在所述根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点过程中，执行：
根据所述消耗能量值对所述初始存储节点进行排序，获得排序存储节点；
根据所述排序存储节点与预设规则确定所述压缩数据进行数据存储时对应的所述目标存储节点。
在一些实施方式中，数据分配模块204在所述采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略过程中，执行：
确定所述冗余数据对应的初始分配策略；
根据所述初始分配策略确定所述冗余数据对应的第一通信代价；
将所述第一通信代价与预设代价值进行比较，当所述第一通信代价小于或者等于所述预设代价值时，则根据所述初始分配策略确定所述目标分配策略；
当所述第一通信代价大于所述预设代价值时，则更新所述初始分配策略，并获得更新后的所述初始分配策略，直至获得所述目标分配策略。
在一些实施方式中，数据分配模块204根据下列公式获得所述第一通信代价：
；
其中，cost表示所述第一通信代价，表示第j段所述冗余数据在数据存储过程中的通信代价，/>表示所述冗余数据在数据存储过程中的分类结果；/>表示在分配过程中第j段所述冗余数据产生的分类代价；/>表示在分配过程中第j段所述冗余数据产生的通信代价，/>表示表示第j段所述冗余数据。
在一些实施方式中，目标存储模块206在所述根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果过程中，执行：
根据所述压缩数据和所述冗余数据确定所述第一存储结果和所述第二存储结果之间的关联关系；
根据所述关联关系融合所述第一存储结果和所述第二存储结果确定所述待存储数据对应的所述目标存储结果。
在一些实施方式中，数据存储装置200可应用于终端设备。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的数据存储装置200的具体工作过程，可以参考前述数据存储方法实施例中的对应过程，在此不再赘述。
请参阅图3，图3为本发明实施例提供的一种终端设备的结构示意性框图。
如图3所示，终端设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为I2C（Inter-integrated Circuit）总线。
具体地，处理器301用于提供计算和控制能力，支撑整个终端设备的运行。处理器301可以是中央处理单元 (Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器302可以是Flash芯片、只读存储器 (ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明实施例方案相关的部分结构的框图，并不构成对本发明实施例方案所应用于其上的终端设备的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的数据存储方法。
在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据；在对所述待存储数据进行重要性排序中，所述压缩数据的第一重要性大于所述冗余数据的第二重要性；
计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点；
根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果；
采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略；
根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果；
根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果。
在一些实施方式中，处理器301在所述对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据过程中，执行：
确定滑动窗口，根据所述滑动窗口确定所述待存储数据对应的时空特征值和语义特征值；
对所述时空特征值和所述语义特征值进行加权融合，确定所述待存储数据对应的重要性排序；
根据所述重要性排序确定所述待存储数据对应的所述压缩数据和所述冗余数据。
在一些实施方式中，处理器301在所述计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值过程中，执行：
对所述压缩数据利用一致性树分布存储算法进行数据存储，获得所述压缩数据对应的一致性树分布模型；
根据所述一致性树分布模型确定所述压缩数据对应的子树，并根据所述子树确定所述压缩数据对应的初始存储节点的节点数量；
根据所述节点数量和所述初始存储节点计算所述压缩数据在进行数据存储时所消耗的能量，获得所述消耗能量值；
其中，根据下列公式计算所述消耗能量值：
；
v表示所述初始存储节点，t表示所述节点数量，表示所述压缩数据传送单位距离的能量消耗，/>表示所述初始存储节点向其他节点传输的感知数据与所述初始存储节点向其他节点传输的反馈数据之间的数量比值，/>表示单位时间内所述初始存储节点接收查询请求的次数；/>表示所述初始存储节点向其他节点传输的所述感知数据的大小；表示对所述感知数据进行处理消耗的能量；/>表示单位时间内所述初始存储节点处理查询请求的次数。
在一些实施方式中，处理器301在所述根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点过程中，执行：
根据所述消耗能量值对所述初始存储节点进行排序，获得排序存储节点；
根据所述排序存储节点与预设规则确定所述压缩数据进行数据存储时对应的所述目标存储节点。
在一些实施方式中，处理器301在所述采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略过程中，执行：
确定所述冗余数据对应的初始分配策略；
根据所述初始分配策略确定所述冗余数据对应的第一通信代价；
将所述第一通信代价与预设代价值进行比较，当所述第一通信代价小于或者等于所述预设代价值时，则根据所述初始分配策略确定所述目标分配策略；
当所述第一通信代价大于所述预设代价值时，则更新所述初始分配策略，并获得更新后的所述初始分配策略，直至获得所述目标分配策略。
在一些实施方式中，处理器301根据下列公式获得所述第一通信代价：
；
其中，cost表示所述第一通信代价，表示第j段所述冗余数据在数据存储过程中的通信代价，/>表示所述冗余数据在数据存储过程中的分类结果；/>表示在分配过程中第j段所述冗余数据产生的分类代价；/>表示在分配过程中第j段所述冗余数据产生的通信代价，/>表示表示第j段所述冗余数据。
在一些实施方式中，处理器301在所述根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果过程中，执行：
根据所述压缩数据和所述冗余数据确定所述第一存储结果和所述第二存储结果之间的关联关系；
根据所述关联关系融合所述第一存储结果和所述第二存储结果确定所述待存储数据对应的所述目标存储结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述数据存储方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例说明书提供的任一项数据存储方法的步骤。
其中，所述存储介质可以是前述实施例所述的终端设备的内部存储单元，例如所述终端设备的硬盘或内存。所述存储介质也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种数据存储方法，其特征在于，所述方法包括：
获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据；在对所述待存储数据进行重要性排序中，所述压缩数据的第一重要性大于所述冗余数据的第二重要性；
计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点；
根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果；
采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略；
根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果；
根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果；
所述对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据，包括：
确定滑动窗口，根据所述滑动窗口确定所述待存储数据对应的时空特征值和语义特征值；
对所述时空特征值和所述语义特征值进行加权融合，确定所述待存储数据对应的重要性排序；
根据所述重要性排序确定所述待存储数据对应的所述压缩数据和所述冗余数据；
所述计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，包括：
对所述压缩数据利用一致性树分布存储算法进行数据存储，获得所述压缩数据对应的一致性树分布模型；
根据所述一致性树分布模型确定所述压缩数据对应的子树，并根据所述子树确定所述压缩数据对应的初始存储节点的节点数量；
根据所述节点数量和所述初始存储节点计算所述压缩数据在进行数据存储时所消耗的能量，获得所述消耗能量值；
其中，根据下列公式计算所述消耗能量值：
；
v表示所述初始存储节点，t表示所述节点数量，表示所述压缩数据传送单位距离的能量消耗，/>表示所述初始存储节点向其他节点传输的感知数据与所述初始存储节点向其他节点传输的反馈数据之间的数量比值，/>表示单位时间内所述初始存储节点接收查询请求的次数；/>表示所述初始存储节点向其他节点传输的所述感知数据的大小；/>表示对所述感知数据进行处理消耗的能量；/>表示单位时间内所述初始存储节点处理查询请求的次数；
所述根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点，包括：
根据所述消耗能量值对所述初始存储节点进行排序，获得排序存储节点；
根据所述排序存储节点与预设规则确定所述压缩数据进行数据存储时对应的所述目标存储节点；
所述采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略，包括：
确定所述冗余数据对应的初始分配策略；
根据所述初始分配策略确定所述冗余数据对应的第一通信代价；
将所述第一通信代价与预设代价值进行比较，当所述第一通信代价小于或者等于所述预设代价值时，则根据所述初始分配策略确定所述目标分配策略；
当所述第一通信代价大于所述预设代价值时，则更新所述初始分配策略，并获得更新后的所述初始分配策略，直至获得所述目标分配策略；
根据下列公式获得所述第一通信代价：
；
其中，cost表示所述第一通信代价，表示第j段所述冗余数据在数据存储过程中的通信代价，/>表示所述冗余数据在数据存储过程中的分类结果；/>表示在分配过程中第j段所述冗余数据产生的分类代价；/>表示在分配过程中第j段所述冗余数据产生的通信代价，/>表示第j段所述冗余数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果，包括：
根据所述压缩数据和所述冗余数据确定所述第一存储结果和所述第二存储结果之间的关联关系；
根据所述关联关系融合所述第一存储结果和所述第二存储结果确定所述待存储数据对应的所述目标存储结果。
3.一种数据存储装置，其特征在于，包括：
数据获取模块，用于获得待存储数据，对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据；在对所述待存储数据进行重要性排序中，所述压缩数据的第一重要性大于所述冗余数据的第二重要性；
节点确认模块，用于计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，并根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点；
第一存储模块，用于根据所述目标存储节点和所述压缩数据进行映射处理，将所述压缩数据映射到对应的所述目标存储节点中，获得所述压缩数据对应的第一存储结果；
数据分配模块，用于采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略；
第二存储模块，用于根据所述目标分配策略将所述冗余数据进行数据存储，获得所述冗余数据对应的第二存储结果；
目标存储模块，用于根据所述第一存储结果和所述第二存储结果确定所述待存储数据对应的目标存储结果；
所述对所述待存储数据进行压缩获得所述待存储数据对应的压缩数据和冗余数据，包括：
确定滑动窗口，根据所述滑动窗口确定所述待存储数据对应的时空特征值和语义特征值；
对所述时空特征值和所述语义特征值进行加权融合，确定所述待存储数据对应的重要性排序；
根据所述重要性排序确定所述待存储数据对应的所述压缩数据和所述冗余数据；
所述计算所述压缩数据进行数据存储时所消耗的能量，获得消耗能量值，包括：
对所述压缩数据利用一致性树分布存储算法进行数据存储，获得所述压缩数据对应的一致性树分布模型；
根据所述一致性树分布模型确定所述压缩数据对应的子树，并根据所述子树确定所述压缩数据对应的初始存储节点的节点数量；
根据所述节点数量和所述初始存储节点计算所述压缩数据在进行数据存储时所消耗的能量，获得所述消耗能量值；
其中，根据下列公式计算所述消耗能量值：
；
v表示所述初始存储节点，t表示所述节点数量，表示所述压缩数据传送单位距离的能量消耗，/>表示所述初始存储节点向其他节点传输的感知数据与所述初始存储节点向其他节点传输的反馈数据之间的数量比值，/>表示单位时间内所述初始存储节点接收查询请求的次数；/>表示所述初始存储节点向其他节点传输的所述感知数据的大小；/>表示对所述感知数据进行处理消耗的能量；/>表示单位时间内所述初始存储节点处理查询请求的次数；
所述根据所述消耗能量值确定所述压缩数据进行数据存储时对应的目标存储节点，包括：
根据所述消耗能量值对所述初始存储节点进行排序，获得排序存储节点；
根据所述排序存储节点与预设规则确定所述压缩数据进行数据存储时对应的所述目标存储节点；
所述采用遗传算法对所述冗余数据进行分配，获得所述冗余数据对应的目标分配策略，包括：
确定所述冗余数据对应的初始分配策略；
根据所述初始分配策略确定所述冗余数据对应的第一通信代价；
将所述第一通信代价与预设代价值进行比较，当所述第一通信代价小于或者等于所述预设代价值时，则根据所述初始分配策略确定所述目标分配策略；
当所述第一通信代价大于所述预设代价值时，则更新所述初始分配策略，并获得更新后的所述初始分配策略，直至获得所述目标分配策略；
根据下列公式获得所述第一通信代价：
；
其中，cost表示所述第一通信代价，表示第j段所述冗余数据在数据存储过程中的通信代价，/>表示所述冗余数据在数据存储过程中的分类结果；/>表示在分配过程中第j段所述冗余数据产生的分类代价；/>表示在分配过程中第j段所述冗余数据产生的通信代价，/>表示第j段所述冗余数据。
4.一种终端设备，其特征在于，所述终端设备包括处理器、存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1或2中任一项所述的数据存储方法。
5.一种计算机存储介质，用于计算机存储，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1或2中任一项所述的数据存储方法的步骤。
CN202410357722.6A 2024-03-27 2024-03-27 一种数据存储方法以及相关装置 Active CN117950600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410357722.6A CN117950600B (zh) 2024-03-27 2024-03-27 一种数据存储方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410357722.6A CN117950600B (zh) 2024-03-27 2024-03-27 一种数据存储方法以及相关装置

Publications (2)

Publication Number Publication Date
CN117950600A CN117950600A (zh) 2024-04-30
CN117950600B true CN117950600B (zh) 2024-06-04

Family

ID=90796630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410357722.6A Active CN117950600B (zh) 2024-03-27 2024-03-27 一种数据存储方法以及相关装置

Country Status (1)

Country Link
CN (1) CN117950600B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857710A (zh) * 2019-01-04 2019-06-07 平安科技（深圳）有限公司 文件存储方法及终端设备
CN114374392A (zh) * 2021-12-17 2022-04-19 深圳市优必选科技股份有限公司 一种数据压缩存储方法、装置、终端设备及可读存储介质
CN115599757A (zh) * 2021-07-08 2023-01-13 华为技术有限公司（Cn） 数据压缩方法、装置、计算设备及存储系统
CN117093131A (zh) * 2022-05-09 2023-11-21 中移系统集成有限公司 分布式的数据存储优化方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857710A (zh) * 2019-01-04 2019-06-07 平安科技（深圳）有限公司 文件存储方法及终端设备
CN115599757A (zh) * 2021-07-08 2023-01-13 华为技术有限公司（Cn） 数据压缩方法、装置、计算设备及存储系统
CN114374392A (zh) * 2021-12-17 2022-04-19 深圳市优必选科技股份有限公司 一种数据压缩存储方法、装置、终端设备及可读存储介质
CN117093131A (zh) * 2022-05-09 2023-11-21 中移系统集成有限公司 分布式的数据存储优化方法及装置

Also Published As

Publication number Publication date
CN117950600A (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
WO2021012783A1 (zh) 基于大数据的保单核保模型训练方法和核保风险评估方法
US8868494B2 (en) Systems and methods for selective data replication
US10929341B2 (en) Iterative object scanning for information lifecycle management
US11030001B2 (en) Scheduling requests based on resource information
US9912752B1 (en) Retention-based data management in a network-based data store
US10735545B2 (en) Routing vault access requests in a dispersed storage network
US20220292093A1 (en) Techniques For In Memory Key Range Searches
US20200204198A1 (en) Flexible system and method for combining erasure-coded protection sets
US10437470B1 (en) Disk space manager
US10701154B2 (en) Sharding over multi-link data channels
US20160154814A1 (en) Systems and methods for improving storage efficiency in an information handling system
CN110036381B (zh) 存储器内数据搜索技术
US10394630B2 (en) Estimating relative data importance in a dispersed storage network
US20220121531A1 (en) Automatic storage target recommendations using a storage classifier
US10275185B2 (en) Fail-in-place supported via decentralized or Distributed Agreement Protocol (DAP)
CN112685157B (zh) 任务处理方法、装置、计算机设备及存储介质
CN117950600B (zh) 一种数据存储方法以及相关装置
AU2013324640B2 (en) System and method for load distribution in a network
CN115964219A (zh) 推荐保护策略的方法、电子设备和计算机程序产品
CN110022348B (zh) 用于动态备份会话的系统和方法
CN113438678A (zh) 一种为网络切片分配云资源的方法及装置
CN114298203B (zh) 数据分类的方法、装置、设备和计算机可读介质
US10409522B2 (en) Reclaiming storage capacity in a dispersed storage network
CN114490170A (zh) 提高纠删码随机读取平均效率的方法、装置和计算机设备
CN118550465A (zh) 数据管理方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant