CN114063909B - 图片数据的智能分布式存储方法及系统 - Google Patents

图片数据的智能分布式存储方法及系统 Download PDF

Info

Publication number
CN114063909B
CN114063909B CN202111242989.3A CN202111242989A CN114063909B CN 114063909 B CN114063909 B CN 114063909B CN 202111242989 A CN202111242989 A CN 202111242989A CN 114063909 B CN114063909 B CN 114063909B
Authority
CN
China
Prior art keywords
data
storage
image
block
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111242989.3A
Other languages
English (en)
Other versions
CN114063909A (zh
Inventor
施鸿江
雷旸
刘静涛
桂严
赵慧
于楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 32 Research Institute
Original Assignee
CETC 32 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 32 Research Institute filed Critical CETC 32 Research Institute
Priority to CN202111242989.3A priority Critical patent/CN114063909B/zh
Publication of CN114063909A publication Critical patent/CN114063909A/zh
Application granted granted Critical
Publication of CN114063909B publication Critical patent/CN114063909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像数据的智能分布式存储方法及系统，包括图像存储模块、图像修复模块和图像读取解析模块；结合图像数据本身的空间冗余特点，在现有的冗余机制的基础上，结合智能算法来提供数据安全保障，本发明提升了图像数据在分布式存储中的空间可用度；提升图像存储数据块丢失后提升了数据的修复能力。

Description

图片数据的智能分布式存储方法及系统
技术领域
本发明涉及分布式存储的技术领域，具体地，涉及图片数据的智能分布式存储方法及系统。
背景技术
计算机技术不断地飞速发展带来了网络应用的飞速普及，数据信息量呈现出爆炸性的增长，特别是图像和视频数据占据了海量的空间。随着大数据时代的到来，日益增长的海量数据对存储系统提出了严峻的挑战。传统集中的文件系统已经无法满足大数据存储和处理的需求了，因此建立海量数据存储的新型文件系统已经成为大数据领域的一个重要研究课题。伴随着云计算技术的不断发展，分布式存储技术成为了一种有效的海量数据存储解决方案。分布式存储采用云计算的理念通过集群网格技术和分布式文件系统等功能，将分布在不同区域的独立存储设备通过网络联合起来进行协同工作，共同对用户提供数据存储和访问功能。
实际的大规模分布式文件系统通常采用廉价的商业计算机或者存储硬盘座位存储节点，存储开销较低且具有良好的扩展性。但是随着系统规模的不断扩大增加了系统故障发生的概率，例如节点离线、突发断电、磁盘损坏等，存储系统可靠性面临严峻的考验。为了保证数据的可靠性，大规模文件系统需要引入数据冗余机制。传统的基于数据拷贝的方案简单易于管理，并且支持高效的数据恢复。但是传统的数据备份机制的缺点在于存储开销大、存储效率低，特别是在存储大数据文件的时候，副本引起的开销是不可忽略的。
研究表明，在相同冗余信息的情况下，纠删码技术可以大幅地提高系统的存储效率。在当前基于纠删码的分布式存储系统中，编码方案通常采用MDS(Maximum Di stanceSeparable)码。具体来说，一个参数为(n,k)的MDS码将大小为M的原数据文件均分成k个大小相等的数据块，通过编码生成n个大小相等的编码块，并分别存储在n个不同的节点上，其中系统中任意k个节点存储的数据就可重构出原始文件。MDS编码技术能够在保证系统容错性的情况下降低存储开销，因此适合大文件存储和档案数据备份应用。RS(Reed-Solomon)码是一种典型的满足MDS特性的码字。
当存储系统中出现节点失效时，为了保持存储系统的完整性，需要恢复该小节点存储的数据并存储到提花节点中，该过程称为节点修复过程。对传统的MDS码，其修复过程首先需要从k个存储节点下载数据并重构出源文件，重新编码出丢失的数据并存储到新引入的节点上。
在公开号为CN112419202A的专利文献中公开了一种基于大数据及深度学习的野生动物图像自动识别系统，以野生动物监测图像数据库为主体，结合超分辨率图像恢复技术及野生动物自动识别算法实现对野生动物数据的处理及分析，并通过数据可视化搭建系统的前端界面。具体的，野生动物监测图像数据库用于野生动物图像及相关信息的存储管理，超分辨率图像恢复技术用于低质量压缩图像的恢复重建，自动识别算法是通过深度学习实现野生动物图像的自动识别与监测分析，从而实现图像的分类处理以及无效图像的剔除。
针对上述中的相关技术，发明人认为在当前的分布式存储中系统中，通常使用多副本和纠删码的数据容灾技术来提高数据的安全性，但多副本和纠删码都需要使用大量的额外存储空间来存储冗余信息，且海量图像数据在分布式存储中的存储空间可用度低，图像数据块丢失修复的问题。因此，需要提出一种技术方案以改善上述技术问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种图片数据的智能分布式存储方法及系统。
根据本发明提供的一种图片数据的智能分布式存储方法，包括图片存储步骤、图像修复步骤和图像读取解析步骤；图像存储步骤对图像数据进行根据其压缩算法特征的解析，并将解析数据和图像文件数据进行分布式存储；图像读取解析模块是从分布式存储系统中读取出指定目标图像，在读取解析的过程中发现目标图像文件受损，则调用图像修复模块进行受损区域修复。
优选地，所述图片存储步骤调用时包括如下步骤：
步骤S1：对原图片数据文件进行解析；
步骤S2：根据解析结果将图片数据划分得到若干个数据存储块；
步骤S3：对处理得到的数据存储块划分为不同的重要性等级的集合；
步骤S4：将不同重要性等级的编码块集合按照不同的配置存储到存储集群中。
优选地，所述步骤S1如下：
步骤S1.1：读取图片文件数据；
步骤S1.2：根据原数据和jpeg编码原理收集记录每张图片中每块8x8像素图像的Y、Cr、Cb三个分量存储的位数据起始地址和数据长度信息。
优选地，所述步骤S2包括如下步骤：
步骤S2.1：根据解析存储数据M，将每张图中的每块8x8像素的存储起始位置和长度，分别拆分并组合为Y分量数据和CrCb分量数据；
步骤S2.2：将每个图像块Y分量与CrCb分量分别叠加组合为Y分量存储块和CrCb分量存储块，并记录下其中每块数据的各个分量的新存储块的编号以及在块中的位置，将其添加入解析存储数据M中。
优选地，所述步骤S3为将各个分量的存储块划分不同的数据安全等级，Y分量存储块设为高重要级数据，Cr、Cb分量存储块设为低重要性数据；
所述步骤S4将数据不同重要等级的存储数据块分别分配不同的数据安全配置，并存入分布式存储系统中。
优选地，所述图像读取解析步骤包括如下步骤：
步骤a：根据图片解析与存储数据M，得到目标图片每个图像块各个分量数据的存储位置以及数据长度；
步骤b：读取每块数据的位置和长度，并根据图片解析与存储数据M按顺序拼接为原始图片文件；
步骤c：解码图像文件，若有受损图像块，先用0来填补其受损图像块的分量，然后调用图像修复模块将其修复，并返回修复图像；若没有受损图像块，直接将图像文件数据返回。
优选地，所述图像修复步骤包括如下步骤：
步骤1：判断受损图像数据的受损分量；
步骤2：根据不同的受损情况使用相应的修复算法。
本发明还提供一种图片数据的智能分布式存储系统，包括图片存储模块、图像修复模块和图像读取解析模块；所述图片存储模块调用时包括如下模块：
模块M1：对原图片数据文件进行解析；
模块M2：根据解析结果将图片数据划分得到若干个数据存储块；
模块M3：对处理得到的数据存储块划分为不同的重要性等级的集合；
模块M4：将不同重要性等级的编码块集合按照不同的配置存储到存储集群中；
模块M1.1：读取图片文件数据；
模块M1.2：根据原数据和jpeg编码原理收集记录每张图片中每块8x8像素图像的Y、Cr、Cb三个分量存储的位数据起始地址和数据长度信息；
模块M2.1：根据解析存储数据M，将每张图中的每块8x8像素的存储起始位置和长度，分别拆分并组合为Y分量数据和CrCb分量数据；
模块M2.2：将每个图像块Y分量与CrCb分量分别叠加组合为Y分量存储块和CrCb分量存储块，并记录下其中每块数据的各个分量的新存储块的编号以及在块中的位置，将其添加入解析存储数据M中；
所述模块M3为将各个分量的存储块划分不同的数据安全等级，Y分量存储块设为高重要级数据，Cr、Cb分量存储块设为低重要性数据；
所述模块M4将数据不同重要等级的存储数据块分别分配不同的数据安全配置，并存入分布式存储系统中。
优选地，所述图像读取解析模块包括如下模块：
模块a：根据图片解析与存储数据M，得到目标图片每个图像块各个分量数据的存储位置以及数据长度；
模块b：读取每块数据的位置和长度，并根据图片解析与存储数据M按顺序拼接为原始图片文件；
模块c：解码图像文件，若有受损图像块，先用0来填补其受损图像块的分量，然后调用图像修复模块将其修复，并返回修复图像；若没有受损图像块，直接将图像文件数据返回。
优选地，所述图像修复模块包括如下模块：
模块1：判断受损图像数据的受损分量；
模块2：根据不同的受损情况使用相应的修复算法。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提升了图片数据在分布式存储中的空间可用度；
2、本发明提升图像存储数据块丢失后提升了数据的修复能力。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程原理图；
图2为本发明存储单元流程图；
图3为本发明恢复处理单元流程图；
图4为本发明图像修复算法流程图；
图5为本发明示意图；
图6为本发明读取单元图；
图7为本发明定时修复单元流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供的一种图片数据的智能分布式存储方法及系统，解析图片文件将不同通道图片的数据分开存储，在图片块的部分通道数据丢失后使用智能图像处理算法将丢失内容恢复
本发明包括图片存储单元、图像修复单元和图像读取解析单元，图片存储单元调用时包括如下：
步骤S1：对原图片数据文件进行解析；步骤S1.1：读取图片文件数据；步骤S1.2：根据原数据和jpeg编码原理收集记录每张图片中每块8x8像素图像的Y、Cr、Cb三个分量存储的位数据起始地址和数据长度信息。
步骤S2：根据解析结果将图片数据划分得到若干个数据存储块；步骤S2.1：根据解析存储数据M，将每张图中的每块8x8像素的存储器是位置和长度，将他们分别拆分并组合为Y分量数据和CrCb分量数据，步骤S2.2：将每个图像块Y分量与CrCb分量分别叠加组合为Y分量存储块和CrCb分量存储块，并记录下其中每块数据的各个分量的新存储块的编号以及在块中的位置，将其添加入解析存储数据M中。
步骤S3：对处理得到的数据存储块划分为不同的重要性等级的集合；为将各个分量的存储块划分不同的数据安全等级，Y分量存储块设为高重要级数据，Cr、Cb分量存储块设为低重要性数据。
步骤S4：将不同重要性等级的编码块集合按照不同的配置存储到存储集群中；将数据不同重要等级的存储数据块分别分配不同的数据安全配置，并存入分布式存储系统中。
图像修复单元包括如下步骤：步骤1：解析得到受损图像；步骤2：判断受损图像数据的受损分量；步骤3：根据不同的受损情况使用相应的修复算法，修复算法流程如图所示。
图像读取解析模块包括如下步骤：步骤a：根据图像解析与存储数据M，得到目标图像每个图像块各个分量数据的存储位置以及数据长度。步骤b：读取每块数据的位置和长度，并根据图像解析与存储数据M将它们按顺序拼接为原始图像文件。步骤c：解码图像文件，若有受损图像块，先用0来填补其受损图像块的分量，然后调用图像修复模块将其修复，并返回修复图像；若没有受损图像块，直接将图像文件数据返回。
本发明还提供一种图片数据的智能分布式存储系统，包括图片存储模块、图像修复模块和图像读取解析模块；图片存储模块调用时包括如下模块：模块M1：对原图片数据文件进行解析；模块M1.1：读取图片文件数据；模块M1.2：根据原数据和jpeg编码原理收集记录每张图片中每块8x8像素图像的Y、Cr、Cb三个分量存储的位数据起始地址和数据长度信息。
模块M2：根据解析结果将图片数据划分得到若干个数据存储块；模块M2.1：根据解析存储数据M，将每张图中的每块8x8像素的存储器是位置和长度，分别拆分并组合为Y分量数据和CrCb分量数据；模块M2.2：将每个图像块Y分量与CrCb分量分别叠加组合为Y分量存储块和CrCb分量存储块，并记录下其中每块数据的各个分量的新存储块的编号以及在块中的位置，将其添加入解析存储数据M中。
模块M3：对处理得到的数据存储块划分为不同的重要性等级的集合；为将各个分量的存储块划分不同的数据安全等级，Y分量存储块设为高重要级数据，Cr、Cb分量存储块设为低重要性数据。
模块M4：将不同重要性等级的编码块集合按照不同的配置存储到存储集群中；将数据不同重要等级的存储数据块分别分配不同的数据安全配置，并存入分布式存储系统中。
图像修复模块包括如下模块：模块1：解析得到受损图像；模块2：判断受损图像数据的受损分量；模块3：根据不同的受损情况使用相应的修复算法。
图像读取解析模块包括如下模块：模块a：根据图片解析与存储数据M，得到目标图片每个图像块各个分量数据的存储位置以及数据长度；模块b：读取每块数据的位置和长度，并根据图片解析与存储数据M按顺序拼接为原始图片文件；模块c：解码图片文件，若有受损图像块，其受损分量用0来填补。
在大规模图像数据存放的场景，例如银行储存着用户图像以及合同图像。使用本发明的方式，当新的图像传输送入分布式存储中时，根据图像压缩的配置将图像各个块的Y、Cr、Cb分量分别放入不同的存储池中，对不同分量的存储池制定不同程度的冗余度。对Y分量的存储池使用k＝4，m＝2的纠删码机制，Cr与Cb分量的存储池不使用冗余机制，不产生额外的数据存储量。相比一般的ceph纠删码机制，存储系统的使用度将提高12.5％左右。在日常运行中，当磁盘发生故障时，首先根据存储配置信息判断丢失磁盘中存储的是什么分量的数据块。如果丢失的是Y分量的数据，则优先使用纠删码机制恢复数据，如果数据丢失程度超出了纠删码的恢复能力范围，则使用智能图像纹理恢复算法。如果丢失的是Cr或者Cb，直接使用智能图像色度恢复算法。等图像都恢复后再次将恢复后的数据重新放入存储池。由于Y分量使用了高冗余机制拥有较高的安全性，首先保证了图像纹理数据的安全性，适合于合同这类文档形图像注重纹理信息的图像。在保证了纹理数据的前提下，丢失的图像色彩信息能通过智能算法很好地恢复。此发明可以有效提高存储系统的可用度。
本发明提升了图片数据在分布式存储中的空间可用度；提升图像存储数据块丢失后提升了数据的修复能力。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种图片数据的智能分布式存储方法，其特征在于，包括图片存储步骤、图像修复步骤和图像读取解析步骤；图像存储步骤对图像数据进行根据其压缩算法特征的解析，并将解析数据和图像文件数据进行分布式存储；图像读取解析模块是从分布式存储系统中读取出指定目标图像，在读取解析的过程中发现目标图像文件受损，则调用图像修复模块进行受损区域修复；
所述图片存储步骤调用时包括如下步骤：
步骤S1：对原图片数据文件进行解析；
步骤S2：根据解析结果将图片数据划分得到若干个数据存储块；
步骤S3：对处理得到的数据存储块划分为不同的重要性等级的集合；
步骤S4：将不同重要性等级的编码块集合按照不同的配置存储到存储集群中；
所述步骤S1如下：
步骤S1.1：读取图片文件数据；
步骤S1.2：根据原数据和jpeg编码原理收集记录每张图片中每块8x8像素图像的Y、Cr、Cb三个分量存储的位数据起始地址和数据长度信息；
所述步骤S2包括如下步骤：
步骤S2.1：根据解析存储数据M，每张图中的每块8x8像素的存储起始位置和长度，分别拆分并组合为Y分量数据和CrCb分量数据；
步骤S2.2：将每个图像块Y分量与CrCb分量分别叠加组合为Y分量存储块和CrCb分量存储块，并记录下其中每块数据的各个分量的新存储块的编号以及在块中的位置，将其添加入解析存储数据M中；
所述步骤S3为将各个分量的存储块划分不同的数据安全等级，Y分量存储块设为高重要级数据，Cr、Cb分量存储块设为低重要性数据；
所述步骤S4将数据不同重要等级的存储数据块分别分配不同的数据安全配置，并存入分布式存储系统中；
当新的图像传输送入分布式存储中时，根据图像压缩的配置将图像各个块的Y、Cr、Cb分量分别放入不同的存储池中，对不同分量的存储池制定不同程度的冗余度；对Y分量的存储池使用k＝4，m＝2的纠删码机制，Cr与Cb分量的存储池不使用冗余机制，不产生额外的数据存储量。
2.根据权利要求1所述的图片数据的智能分布式存储方法，其特征在于，所述图像读取解析步骤包括如下步骤：
步骤a：根据图片解析与存储数据M，得到目标图片每个图像块各个分量数据的存储位置以及数据长度；
步骤b：读取每块数据的位置和长度，并根据图片解析与存储数据M按顺序拼接为原始图片文件；
步骤c：解码图像文件，若有受损图像块，先用0来填补其受损图像块的分量，然后调用图像修复模块将其修复，并返回修复图像；若没有受损图像块，直接将图像文件数据返回。
3.根据权利要求1所述的图片数据的智能分布式存储方法，其特征在于，所述图像修复步骤包括如下步骤：
步骤1：判断受损图像数据的受损分量；
步骤2：根据不同的受损情况使用相应的修复算法。
4.一种图片数据的智能分布式存储系统，其特征在于，包括图片存储模块、图像修复模块和图像读取解析模块；所述图片存储模块调用时包括如下模块：
模块M1：对原图片数据文件进行解析；
模块M2：根据解析结果将图片数据划分得到若干个数据存储块；
模块M3：对处理得到的数据存储块划分为不同的重要性等级的集合；
模块M4：将不同重要性等级的编码块集合按照不同的配置存储到存储集群中；
模块M1.1：读取图片文件数据；
模块M1.2：根据原数据和jpeg编码原理收集记录每张图片中每块8x8像素图像的Y、Cr、Cb三个分量存储的位数据起始地址和数据长度信息；
模块M2.1：根据解析存储数据M，将每张图中的每块8x8像素的存储起始位置和长度，分别拆分并组合为Y分量数据和CrCb分量数据；
模块M2.2：将每个图像块Y分量与CrCb分量分别叠加组合为Y分量存储块和CrCb分量存储块，并记录下其中每块数据的各个分量的新存储块的编号以及在块中的位置，将其添加入解析存储数据M中；
所述模块M3为将各个分量的存储块划分不同的数据安全等级，Y分量存储块设为高重要级数据，Cr、Cb分量存储块设为低重要性数据；
所述模块M4将数据不同重要等级的存储数据块分别分配不同的数据安全配置，并存入分布式存储系统中；
当新的图像传输送入分布式存储中时，根据图像压缩的配置将图像各个块的Y、Cr、Cb分量分别放入不同的存储池中，对不同分量的存储池制定不同程度的冗余度；对Y分量的存储池使用k＝4，m＝2的纠删码机制，Cr与Cb分量的存储池不使用冗余机制，不产生额外的数据存储量。
5.根据权利要求4所述的图片数据的智能分布式存储系统，其特征在于，所述图像读取解析模块包括如下模块：
模块a：根据图片解析与存储数据M，得到目标图片每个图像块各个分量数据的存储位置以及数据长度；
模块b：读取每块数据的位置和长度，并根据图片解析与存储数据M按顺序拼接为原始图片文件；
模块c：解码图像文件，若有受损图像块，先用0来填补其受损图像块的分量，然后调用图像修复模块将其修复，并返回修复图像；若没有受损图像块，直接将图像文件数据返回。
6.根据权利要求4所述的图片数据的智能分布式存储系统，其特征在于，所述图像修复模块包括如下模块：
模块1：判断受损图像数据的受损分量；
模块2：根据不同的受损情况使用相应的修复算法。
CN202111242989.3A 2021-10-25 2021-10-25 图片数据的智能分布式存储方法及系统 Active CN114063909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242989.3A CN114063909B (zh) 2021-10-25 2021-10-25 图片数据的智能分布式存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242989.3A CN114063909B (zh) 2021-10-25 2021-10-25 图片数据的智能分布式存储方法及系统

Publications (2)

Publication Number Publication Date
CN114063909A CN114063909A (zh) 2022-02-18
CN114063909B true CN114063909B (zh) 2023-12-08

Family

ID=80235436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242989.3A Active CN114063909B (zh) 2021-10-25 2021-10-25 图片数据的智能分布式存储方法及系统

Country Status (1)

Country Link
CN (1) CN114063909B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434419A2 (en) * 2002-12-26 2004-06-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN101771874A (zh) * 2009-12-31 2010-07-07 华中科技大学 一种卫星图像压缩方法及其实现装置
WO2010139007A1 (en) * 2009-06-04 2010-12-09 Peter Bayley Apparatus and methods for storing image with embedded information
CN102483863A (zh) * 2010-04-28 2012-05-30 新日铁系统集成株式会社 信息处理系统、信息处理方法和程序
CN106201363A (zh) * 2016-07-26 2016-12-07 四川大学 视频流像素级数据随机实时访问的存储器及存储方法
WO2019061475A1 (en) * 2017-09-30 2019-04-04 SZ DJI Technology Co., Ltd. IMAGE PROCESSING
CN111857581A (zh) * 2020-07-06 2020-10-30 浙江鸿泉电子科技有限公司 一种数据存储的处理方法及系统
CN111882489A (zh) * 2020-05-15 2020-11-03 东北石油大学 用于水下图像同时增强的超分辨率图形恢复方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434419A2 (en) * 2002-12-26 2004-06-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN1520149A (zh) * 2002-12-26 2004-08-11 佳能株式会社 图像处理装置和图像处理方法
WO2010139007A1 (en) * 2009-06-04 2010-12-09 Peter Bayley Apparatus and methods for storing image with embedded information
CN101771874A (zh) * 2009-12-31 2010-07-07 华中科技大学 一种卫星图像压缩方法及其实现装置
CN102483863A (zh) * 2010-04-28 2012-05-30 新日铁系统集成株式会社 信息处理系统、信息处理方法和程序
CN106201363A (zh) * 2016-07-26 2016-12-07 四川大学 视频流像素级数据随机实时访问的存储器及存储方法
WO2019061475A1 (en) * 2017-09-30 2019-04-04 SZ DJI Technology Co., Ltd. IMAGE PROCESSING
CN111882489A (zh) * 2020-05-15 2020-11-03 东北石油大学 用于水下图像同时增强的超分辨率图形恢复方法
CN111857581A (zh) * 2020-07-06 2020-10-30 浙江鸿泉电子科技有限公司 一种数据存储的处理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xiao weidong等.A fast JPEG image Compression algorithm based on DCT.2020 IEEE international conference on smart cloud.2020,第106-110页. *
刘静涛等.数据管理技术发展研究与思考.网络安全技术与应用.2020,第69-71页. *

Also Published As

Publication number Publication date
CN114063909A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
Karakus et al. Encoded distributed optimization
US8775860B2 (en) System and method for exact regeneration of a failed node in a distributed storage system
US11188404B2 (en) Methods of data concurrent recovery for a distributed storage system and storage medium thereof
CN103944981A (zh) 一种基于纠删码技术改进的云存储系统及实现方法
CN102937967A (zh) 数据冗余实现方法及装置
CN110109778A (zh) 一种大量小数据文件备份方法及恢复方法
CN107003933B (zh) 部分复制码的构建方法、装置及其数据修复的方法
CN113190377B (zh) 一种基于分布式存储系统的可靠冗余方法及设备
CN109412755B (zh) 一种多媒体数据处理方法、装置及存储介质
CN114900532B (zh) 电力数据容灾方法、系统、装置、计算机设备和存储介质
CN114546707A (zh) 数据处理方法及装置
KR101621752B1 (ko) 부분접속 복구 가능한 반복분할 부호를 이용한 분산 저장 장치 및 그 방법
CN113391946A (zh) 一种分布式存储中的纠删码的编解码方法
US7580959B2 (en) Apparatus, system, and method for providing efficient disaster recovery storage of data using differencing
CN114501029B (zh) 图像编码、图像解码方法、装置、计算机设备和存储介质
KR101254179B1 (ko) 분산 파일 시스템에서 효율적인 자료 복구 방법
CN114063909B (zh) 图片数据的智能分布式存储方法及系统
CN112418127B (zh) 一种用于视频行人重识别的视频序列编码与解码方法
CN117880518A (zh) 无损压缩方法和芯片、无损解压方法和芯片、芯片系统
CN107885615B (zh) 分布式存储数据的复原方法与系统
CN115543190A (zh) 视频数据的智能分布式存储方法及系统
CN111224747A (zh) 可降低修复带宽和磁盘读取开销的编码方法及其修复方法
CN104572987B (zh) 一种通过压缩提高简易再生码存储效率的方法和系统
CN110781024A (zh) 对称部分重复码的矩阵构造方法及故障节点修复方法
CN106911793B (zh) I/o优化的分布式存储数据修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant