CN105550352A - 一种基于图像的重复数据删除方法及装置 - Google Patents

一种基于图像的重复数据删除方法及装置 Download PDF

Info

Publication number
CN105550352A
CN105550352A CN201511000492.5A CN201511000492A CN105550352A CN 105550352 A CN105550352 A CN 105550352A CN 201511000492 A CN201511000492 A CN 201511000492A CN 105550352 A CN105550352 A CN 105550352A
Authority
CN
China
Prior art keywords
fingerprint
image
weak
block
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511000492.5A
Other languages
English (en)
Inventor
钟延辉
曾凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201511000492.5A priority Critical patent/CN105550352A/zh
Publication of CN105550352A publication Critical patent/CN105550352A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于图像的重复数据删除方法及装置,本发明实施例提供方法包括:获取待存储图像的像素矩阵;根据像素矩阵,分割待存储图像获得图像分块,并获得图像分块的弱分块指纹;判断指纹库中是否存在与弱分块指纹相同的弱参考指纹,当指纹库中存在与弱分块指纹相同的弱参考指纹时,获取弱参考指纹;根据弱参考指纹从图像库中获取第一参考图像分块;根据第一参考图像分块对图像分块进行压缩获得压缩图像分块,存储压缩图像分块;当指纹库中不存在与弱分块指纹相同的弱参考指纹时,则将弱分块指纹作为新的弱参考指纹存入指纹库,以及将图像分块存入图像库。本发明提供的一种基于图像的重复数据删除方法及装置,提高了图像重复数据的重删率,增加了图像的缩减比,提高了图像的存储、传输和处理速度。

Description

一种基于图像的重复数据删除方法及装置
技术领域
本发明涉及数据处理领域,特别是涉及一种基于图像的重复数据删除方法及装置。
背景技术
重复数据删除技术是应用于存储系统的一种数据缩减技术,旨在减少存储系统中使用的存储容量。通过查找不同文件中不同位置的重复可变大小数据块。重复的数据块只保留其中一份,其它用指示符取代,从而消除冗余数据,缩减存储的数据。高度冗余的数据集(例如备份数据)从数据重复删除技术的获益极大,用户可以实现10比1至50比1的缩减比。
但是类似图像这类数据,本身经过压缩编码,单纯使用现有的重复数据删除技术很难得到重删率,无法进行缩减。
发明内容
第一方面,本发明提供一种基于图像的重复数据删除方法,该方法包括:
获取待存储图像的像素矩阵;根据像素矩阵,分割待存储图像获得图像分块,并获得图像分块的弱分块指纹;判断指纹库中是否存在与弱分块指纹相同的弱参考指纹,当指纹库中存在与弱分块指纹相同的弱参考指纹时,获取弱参考指纹;根据弱参考指纹从图像库中获取第一参考图像分块,根据第一参考图像分块对图像分块进行压缩获得压缩图像分块,存储压缩图像分块;当在指纹库中没有查找到与弱分块指纹相同的弱参考指纹,则将弱分块指纹作为新的弱参考指纹存入指纹库,以及将弱分块指纹对应的图像分块存入图像库。
优选地,上述方法还包括:获取图像分块的强参考指纹;判断指纹库中是否存在与强分块指纹相同的强参考指纹,当指纹库中不存在与强分块指纹相同的强参考指纹时,将强分块指纹作为新的强参考指纹存入指纹库;然后,判断指纹库中是否存在与弱分块指纹相同的弱参考指纹。
优选地,上述方法还包括:比较压缩图像分块像素与弱图像分块像素,若压缩图像分块像素大于图像分块像素,则存储图像分块。
优选地,根据像素矩阵,分割待存储图像得到图像分块,并获得图像分块的弱分块指纹,包括:根据像素矩阵,获取水平滑动窗口和垂直滑动窗口内的像素子矩阵,并计算像素子矩阵的弱分块指纹;当弱分块指纹满足指纹边界条件时,将像素子矩阵作为图像分块并计算图像分块的强分块指纹。
优选地,指纹库用于存储多个强参考指纹和多个弱参考指纹,图像库用于存储多个参考图像分块,且强参考指纹和弱参考指纹与参考图像分块均存在对应关系。
第二方面,本发明提供一种基于图像的重复数据删除装置,包括:接收模块用于接收待存储图像,获取待存储图像的像素矩阵;分块模块用于根据像素矩阵,分割待存储图像获得多个图像分块,并获得图像分块的强分块指纹和弱分块指纹;第一获取模块用于判断指纹库中是否存在与弱分块指纹相同的弱参考指纹,当指纹库中存在与弱分块指纹相同的弱参考指纹时,获取弱参考指纹,并根据弱参考指纹从图像库中获得第一参考图像分块;存储模块用于根据第一参考图像分块对图像分块进行压缩获得压缩图像分块,存储压缩图像分块。
优选地,该装置还包括第二获取模块,用于获取图像分块的强参考指纹,判断指纹库中是否存在与强分块指纹相同的强参考指纹,当指纹库中不存在与强分块指纹相同的强参考指纹时,将强分块指纹作为新的强参考指纹存入指纹库,并产生第一获取信号,第一获取信号用于启动第一获取模块。
优选地,第一获取模块还用于:当指纹库中不存在与弱分块指纹相同的弱参考指纹时,则第一获取模块将弱分块指纹作为弱参考指纹存入指纹库,以及将弱分块指纹对应的图像分块存入图像库。
优选地,压缩图像分块像素大于图像分块像素。
优选地,水平滑动分割包括:第一步骤,根据像素矩阵,在待存储图像的第一分割位置采用水平滑动窗口获得水平像素子矩阵,并获得水平像素子矩阵的弱分块指纹,并执行第二步骤;第二步骤,判断弱分块指纹是否满足指纹边界条件:若指纹满足指纹边界条件,则直接将水平像素子矩阵作为图像分块;否则将水平滑动窗口从第一分割位置水平滑动至第二分割位置,执行第三步骤;第三步骤,判断第二分割位置是否满足第一边界条件:若满足,则获取水平滑动窗口在第二分割位置获得的像素矩阵作为图像分块,并获得图像分块弱分块指纹,以及将水平滑动窗口移动至第三分割位置,执行第四步骤;否则,将第二分割位置作为第一分割位置,并执行第一步骤;第四步骤,判断第三分割位置是否满足第二边界条件:若满足,则停止分割;否则,将第三分割位置作为第一分割位置,并执行第一步骤。
优选地,第二分割位置的垂直坐标与第一分割位置的垂直坐标相同,第二分割位置的水平坐标为第一分割位置的水平坐标加上水平滑动距离。第三分割位置的垂直坐标为第二分割位置的垂直坐标加上垂直移动距离,第三分割位置的水平坐标为初始分割位置的水平坐标。需要说明的是,对于水平滑动窗口的大小、水平滑动距离的值及垂直移动距离的值根据待存储图像及存储需要设定。
优选地,垂直滑动分割包括:第五步骤,根据像素矩阵,在待存储图像的第四分割位置采用垂直滑动窗口获得垂直像素子矩阵,并获得垂直像素子矩阵的指纹,并执行第六步骤;第六步骤,判断指纹是否满足指纹边界条件:若指纹满足指纹边界条件,则直接将垂直像素子矩阵作为图像分块;否则将垂直滑动窗口从第四分割位置垂直滑动至第五分割位置,执行第七步骤;第七步骤,判断第五分割位置是否满足第三边界条件:若满足,则获取在第五分割位置上的垂直滑动窗口内像素矩阵作为图像分块,并获得图像分块的弱分块指纹,以及将垂直滑动窗口移动至第六分割位置,执行第八步骤;否则,将第五分割位置作为第四分割位置,并执行第五步骤;第八步骤,判断第六分割位置是否满足第四边界条件:若满足,则停止分割;否则,将第六分割位置作为第四分割位置,并执行第五步骤。
优选地,第五分割位置的水平坐标与第四分割位置的水平坐标相同,第五分割位置的垂直坐标为第四分割位置的垂直坐标加垂直平滑动距离。第六分割位置的水平坐标为第五分割位置的水平坐标加上水平移动距离,第六分割位置的垂直坐标为初始分割位置的垂直坐标。需要说明的是,对于垂直滑动窗口的大小、垂直滑动距离的值及水平移动距离的值根据待存储图像及存储需要设定。
本发明将待存储图像根据像素矩阵分割为多个图像分块,采用水平与垂直两种方式进行分割,采用这样的分割方式有利于获得与待存储图像相似性更强的相似图像。而图像分块的大小则不作限定。
本发明所提供的一种基于图像的重复数据删除方法及装置,克服了现有技术的不足,增加了图像重复数据的重删率,增加了图像的缩减比,减少了图像的存储量,进一步节省了存储图像所需的存储空间,提高了图像的存储、传输和处理速度。
附图说明
图1为本发明实施例提供的一种基于图像的重复数据删除方法的流程示意图;
图2为本发明实施例待存储图像存储前后示意图;
图3为本发明实施例提供水平分割的分割过程示意图;
图4为本发明实施例提供水平分割的方法流程示意图;
图5为本发明实施例提供垂直分割的分割过程示意图;
图6为本发明实施例提供垂直分割的方法流程示意图;
图7为本发明实施例提供的一种基于图像的重复数据删除装置结构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
图1为本发明实施例提供的一种基于图像的重复数据删除方法的流程示意图,如图1所示,本方法包括步骤S101-步骤S104:
步骤S101,获得待存储的图像的像素矩阵;
步骤S102,根据像素矩阵,分割待存储图像获得多个图像分块,并获得图像分块的弱分块指纹,以及获得图像分块的强分块指纹;
需要说明的是,在本实施例所提供的方法中,获得多个图像分块需要通过水平滑动分割和垂直滑动分割两种方法实现对待存储图像的图像分块,水平分割的具体实现方式详见图3、图4及相关附图说明,垂直分割的具体实现方式详见图5、图6及相关附图说明。此处的描述的强分块指纹和弱分块指纹即为图像分块的哈希值。此步骤将待存储图像分割为规范大小的图像分块,对于图像分块的大小在本发明实施例中不予限定。
步骤S103,判断指纹库中是否存在与弱分块指纹相同的弱参考指纹,当指纹库中存在与弱分块指纹相同的弱参考指纹时,获取弱参考指纹;
此步骤还包括:若指纹库中不存在与弱分块指纹相同的弱参考指纹,则将弱分块指纹作为新的若参考指纹存入指纹库,以及将弱分块指纹对应的图像分块存入图像库。
具体过程为:比较弱分块指纹与指纹库中的弱参考指纹,确定二者是否相同:若二者相同,则记录弱分块指纹对应图像分块的分块位置及记录与弱分块指纹相同的弱参考指纹;若弱分块指纹与弱参考指纹不同,则将弱分块指纹作为弱参考指纹存储于指纹库,并将弱分块指纹所对应的图像分块存储至图像库。
步骤S104,根据弱参考指纹从图像库中获取弱参考指纹所对应的第一参考图像分块,根据第一参考图像分块对图像分块进行压缩获得压缩图像分块,存储压缩图像分块。
根据弱参考指纹从图像库中获得第一参考图像分块后,根据第一参考图像分块将图像分块进行delta压缩,获得压缩图像分块。可选的,比较压缩图像分块的像素与图像分块的像素,判断压缩效果,若压缩图像分块的像素小于图像分块的像素,则存储压缩图像分块,否则直接存储图像分块。
由于第一参考图像分块与图像分块具有一定的相似性,通过压缩的方式能够缩减图像分块的数据,本实施例所采用的压缩方式为差分delta压缩(差分delta压缩通过只存储相对于原始备份文件被修改的部分,来减小存储总量。例如:一个大约包含200G数据的文件组,与原始备份相比可能只有50M的数据是被修改过的,那么也只有这50M的数据会被存储起来)。需要说明的是,具体压缩方式本发明不予限定。
在步骤S103之前还包括步骤S1021,检索指纹库,判断指纹库中是否存在与强分块指纹相同的强参考指纹,当指纹库中不存在与强分块指纹相同的强参考指纹时,将强分块指纹作为新的强参考指纹存入指纹库,并执行步骤S103;当指纹库中存在与强分块指纹相同的强参考指纹时,根据强参考指纹从图像库中获取强参考指纹所对应的第二参考图像分块的第二存储地址,在该图像分块的分割位置标记第二存储地址。
需要说明的是,在本实施例步骤S101-步骤S104以及步骤S1021所提及的弱分块指纹及弱参考指纹均指代Rabin指纹(Rabin指纹指根据美国哈佛大学教授拉宾(Rabin)提出的方法获得的指纹),两个Rabin指纹不同,两个Rabin指纹所对应的两个图像分块也不相同,而两个Rabin指纹相同,两个Rabin指纹所对应的两个图像分块相似(包括完全相同)。可以预见,若使用的指纹计算函数不同,根据本实施例所提供的方法,也可以达到本实施例预期的目的。而强分块指纹及强参考指纹指代另外一种哈希值,并且哈希值相同,哈希值所对应的数据也相同。
图2为本发明实施例待存储图像存储前后示意图,如图2所示,待存储图像由图像分块C1-C9组成,存储的待存储图像由图像分块C1的存储地址、图像分块C2的存储地址、图像分块C3、压缩图像分块C4’、压缩图像分块C5’、图像分块C6的存储地址、图像分块C7、图像分块C8及压缩图像分块C9’组成。
为了进一步阐明水平滑动分割的具体实施方式,下面通过举例的方式对本方法进行阐述:
图3为本发明实施例所提供水平分割的分割过程示意图,如图3所示,待存储图像为N×M的像素矩阵,H为水平滑动窗口,且水平滑动窗口H的矩阵大小为X×Y,即:H=X×Y(X<N,Y<M);VH为水平滑动窗口H的运动方向,H1为水平滑动窗口H每次水平滑动的水平滑动距离,H2为水平滑动窗口H在垂直方向移动的垂直移动距离,(i,j)为分割位置,且(I,J)为初始分割位置。
需要说明的是,水平滑动窗口H的大小、水平滑动距离H1和垂直移动距离H2的大小没有限制,但可以预见的是,水平滑动窗口H的大小、水平滑动距离H1和垂直移动距离H2越小,对待存储图像像素的分割程度越大。
图4为本发明实施例提供水平分割法的方法流程示意图,如图4所示,水平分割法的具体分割过程为:
步骤201,获取像素子矩阵,计算该像素子矩阵的弱分块指纹;
水平滑动窗口H从位置(i,j)获取X×Y大小的像素子矩阵,计算该像素子矩阵的弱分块指纹。此步骤中水平滑动窗口R的位置即为第一步骤至第四步骤中的第一分割位置。
步骤202,判断弱分块指纹是否满足指纹边界条件,若弱分块指纹满足指纹边界条件,则执行步骤S203,否则执行步骤S204;
步骤S203,将像素子矩阵作为图像分块进行分割,并获得该图像分块的强分块指纹;
步骤S204,i=i+H1,并判断i+X是否大于N,若i+X>N则执行步骤S205,否则执行步骤S201;
此步骤将水平滑动窗口H水平滑动水平滑动距离H1,判断i+X是否大于N是为了判断水平滑动窗口H是否到达待存储图像像素矩阵的边界。此步骤中水平滑动窗口R所在位置即为第二步骤和第三步骤中描述的第二分割位置,i+X>N即为第三步骤中描述的第一边界条件。
步骤S205,分割获得图像分块。
获取水平滑动窗口H内的像素矩阵作为图像分块,获得该图像分块的强分块指纹、弱分块指纹;
步骤S206,令j=j+H2,i=I,并判断j+Y是否大于M,若j+Y>M,则执行步骤S207,否则执行步骤S201。
此步骤中水平滑动窗口所在位置即为第四步骤中描述的第三分割位置,j+Y>M即为第四步骤中的第二边界条件。
步骤S207,停止水平滑动分割。
图5为本发明实施例所提供垂直分割的分割过程示意图,如图5所示,待存储图像为N×M的像素矩阵,V为垂直滑动窗口,且垂直滑动窗口V的矩阵大小为P×Q,即:V=P×Q(P<N,Q<M);VV为垂直滑动窗口V的运动方向,V1为垂直滑动窗口V每次垂直滑动的垂直滑动距离,V2为垂直滑动窗口V在水平方向移动的水平移动距离,(i,j)为分割位置,且(I,J)为初始分割位置。
需要说明的是,垂直滑动窗口V的大小、垂直滑动距离V1和水平移动距离V2的大小没有限制,但可以预见的是,垂直滑动窗口V的大小、垂直滑动距离V1和水平移动距离V2越小,对待存储图像像素的分割程度越大。
图6为本发明实施例所提供垂直分割的方法流程示意图,如图6所示,垂直分割法的具体分割过程为:
步骤301,获取像素子矩阵,计算该像素子矩阵的弱分块指纹;
垂直滑动窗口V从位置(i,j)获取X×Y大小的像素子矩阵,计算该像素子矩阵的弱分块指纹。此步骤中垂直滑动窗口R的位置即为第五步骤至第八步骤中的第四分割位置。
步骤302,判断弱分块指纹是否满足指纹边界条件,若弱分块指纹满足边界条件,则执行步骤S303,否则执行步骤S304;
步骤S303,将像素子矩阵作为图像分块进行分割,获得该图像分块的强分块指纹;
步骤S304,令j=j+V2,并判断j+Q是否大于M,若j+Q>M,则执行步骤S305,否则执行步骤S301;
此步骤将垂直滑动窗口V垂直滑动垂直滑动距离V2,判断j+Q是否大于M是为了判断垂直滑动窗口V是否到达待存储图像像素矩阵的边界。此步骤中垂直滑动窗口R所在位置即为第六步骤和第七步骤中描述的第五分割位置,j+Q>M即为第七步骤中描述的第三边界条件。
步骤S305,分割获得数据分块;
获取垂直滑动窗口V内的像素矩阵作为图像分块,计算该图像分块的强分块指纹、弱分块指纹。
步骤S206,令j=J,i=i+V1,并判断i+P是否大于N,若i+P>N则执行步骤S307,否则执行步骤S301;
此步骤中垂直滑动窗口所在位置即为第八步骤中描述的第六分割位置,i+P>N即为第八步骤中的第四边界条件。
步骤S307,停止垂直滑动分割。
需要说明的是,对与待存储图像的分割方式并不仅限于本实施例所提个的方法,上述方法仅是本实施例的实现方式并不限定本发明的技术方案。
图7为本发明实施例提供的一种基于图像的重复数据删除装置结构示意图,如图7所示,该装置包括接收模块91,分块模块92、第二获取模块93、第一获取模块94和存储模块95;其中,
接收模块91,用于接收待存储图像F,获取待存储图像F的像素矩阵RGB;
分块模块92,用于根据像素矩阵RGB,分割待存储图像F获得多个图像分块HV,并获得所述图像分块HV的强分块指纹R1和弱分块指纹R2;
第二获取模块93,用于判断指纹库中是否存在与强分块指纹R1相同的强参考指纹,当指纹库中存在与强分块指纹R1相同的强参考指纹时,获取与强分块指纹R1相同的强参考指纹,根据强参考指纹从图像库中获得第二参考图像分块的第二存储地址AAD,当指纹库中不存在与强分块指纹R1相同的强参考指纹时,将强分块指纹R1作为新的强参考指纹存入指纹库,并产生第一获取信号GET1;
第一获取模块94,用于接收第一获取信号GET1,根据第一获取信号GET1开启模块判断指纹库中是否存在与弱分块指纹R2相同的弱参考指纹,当指纹库中存在与弱分块指纹R2相同的弱参考指纹时,从指纹库中获取与弱分块指纹R2相同的弱参考指纹,并根据弱参考指纹从图像库中获得第一参考图像分块hv;
存储模块95,用于根据第一参考图像分块hv对图像分块HV进行压缩获得压缩图像分块rHV,存储压缩图像分块,以及将第二存储地址AAD存储。
在上述装置中,指纹库用于存储强参考指纹和弱参考指纹,图像库用于存储参考图像分块,且指纹库中的强参考指纹和弱参考指纹与图像库中的参考图像分块存在对应关系。
在上述装置中,分块模块92采用水平滑动分割和垂直滑动分割(步骤S102获得图像分块的方法)对待存储图像F进行分割获得多个图像分块HV,并获得图像分块HV的强分块指纹R1和弱分块指纹R2。
在上述装置中,第一获取模块94还包括:当指纹库中不存在与弱分块指纹R2相同的弱参考指纹时,则第一获取模块94将弱分块指纹R2作为新的弱参考指纹存入指纹库,以及将弱分块指纹R2对应的图像分块HV存入图像库。
在上述装置中,第一获取模块94还包括:当每个弱分块指纹R2均不存在相同的弱参考指纹,则第二获取模块94将弱分块指纹R2作为弱参考指纹存入指纹库,以及将待存储图像F的多个图像分块存入图像库。
在上述装置中,存储模块95还包括:比较压缩图像分块rHV像素与图像分块HV像素,若压缩图像分块rHV像素大于图像分块HV像素,则存储图像分块HV;根据第二存储地址AAD存储图像分块HV指在图像分块HV的分割位置标记第二存储地址AAD。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像的重复数据删除方法,其特征在于,包括:
获取待存储图像的像素矩阵;
根据所述像素矩阵,分割所述待存储图像获得图像分块,并获得所述图像分块的弱分块指纹;
判断所述指纹库中是否存在与所述弱分块指纹相同的弱参考指纹,当所述指纹库中存在与所述弱分块指纹相同的弱参考指纹时,获取所述弱参考指纹;
根据所述弱参考指纹从图像库中获取所述弱参考指纹对应的第一参考图像分块,根据所述第一参考图像分块对所述图像分块进行压缩获得压缩图像分块,存储所述压缩图像分块;
当所述指纹库中不存在与所述弱分块指纹相同的弱参考指纹时,则将所述弱分块指纹作为新的弱参考指纹存入所述指纹库,以及将所述图像分块存入所述图像库。
2.根据权利要求1所述的方法,其特征在于,判断所述指纹库中是否存在与所述弱分块指纹相同的弱参考指纹之前,所述方法还包括:
获得所述图像分块的强分块指纹;
判断所述强分块指纹与所述指纹库中的强参考指纹不同;
将所述强分块指纹作为新的强参考指纹存入所述指纹库。
3.根据权利要求1所述的方法,其特征在于,所述根据所述像素矩阵,分割所述待存储图像获得图像分块,获得所述图像分块的弱分块指纹,包括:
根据所述像素矩阵,获取水平滑动窗口和垂直滑动窗口内的像素子矩阵,并计算所述像素子矩阵的弱分块指纹;
若所述弱分块指纹满足指纹边界条件,将所述像素子矩阵作为所述图像分块。
4.根据权利要求1所述的方法,其特征在于,所述压缩图像分块像素大于所述图像分块像素。
5.一种基于图像的重复数据删除装置,其特征在于,包括:
接收模块,用于接收待存储图像,获取所述待存储图像的像素矩阵;
分块模块,用于根据所述像素矩阵,分割所述待存储图像获得多个图像分块,并获得所述图像分块的弱分块指纹;
第一获取模块,用于判断指纹库中是否存在与所述弱分块指纹相同的弱参考指纹,当所述指纹库中存在与所述弱分块指纹相同的弱参考指纹时,获取所述弱参考指纹,并根据所述弱参考指纹从图像库中获得第一参考图像分块;
存储模块,用于根据所述第一参考图像分块对所述图像分块进行压缩获得压缩图像分块,存储所述压缩图像分块。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括第二获取模块,用于获取所述图像分块的强分块指纹,判断所述指纹库中是否存在与所述强分块指纹相同的强参考指纹,当所述指纹库中不存在与所述强分块指纹相同的强参考指纹时,将所述强分块指纹作为新的强参考指纹存入所述指纹库,并产生第一获取信号,所述第一获取信号用于启动所述第一获取模块。
7.根据权利要求5所述的装置,其特征在于,所述第一获取模块还用于:
当所述指纹库中不存在与所述弱分块指纹相同的弱参考指纹时,则所述第一获取模块将所述弱分块指纹作为新的弱参考指纹存入所述指纹库,以及将所述弱分块指纹对应的图像分块存入所述图像库。
CN201511000492.5A 2015-12-28 2015-12-28 一种基于图像的重复数据删除方法及装置 Pending CN105550352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511000492.5A CN105550352A (zh) 2015-12-28 2015-12-28 一种基于图像的重复数据删除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511000492.5A CN105550352A (zh) 2015-12-28 2015-12-28 一种基于图像的重复数据删除方法及装置

Publications (1)

Publication Number Publication Date
CN105550352A true CN105550352A (zh) 2016-05-04

Family

ID=55829541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511000492.5A Pending CN105550352A (zh) 2015-12-28 2015-12-28 一种基于图像的重复数据删除方法及装置

Country Status (1)

Country Link
CN (1) CN105550352A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775452A (zh) * 2016-11-18 2017-05-31 郑州云海信息技术有限公司 一种数据监管方法及系统
CN110634098A (zh) * 2019-06-13 2019-12-31 眸芯科技(上海)有限公司 无损稀疏图像的显示方法、装置及系统
CN113505253A (zh) * 2021-07-03 2021-10-15 北京中建建筑科学研究院有限公司 基于区块链的图片上传方法、装置、服务器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060112148A1 (en) * 2004-11-20 2006-05-25 International Business Machines Corporation Method, device and system for automatic retrieval of similar objects in a network of devices
CN102831222A (zh) * 2012-08-24 2012-12-19 华中科技大学 一种基于重复数据删除的差量压缩方法
CN104869425A (zh) * 2015-05-13 2015-08-26 信阳师范学院 一种基于纹理图像相似性的压缩和解压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060112148A1 (en) * 2004-11-20 2006-05-25 International Business Machines Corporation Method, device and system for automatic retrieval of similar objects in a network of devices
CN102831222A (zh) * 2012-08-24 2012-12-19 华中科技大学 一种基于重复数据删除的差量压缩方法
CN104869425A (zh) * 2015-05-13 2015-08-26 信阳师范学院 一种基于纹理图像相似性的压缩和解压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鱼滨 张善文 郭竟 谢泽奇: "《基于MATLAB和遗传算法的图像处理》", 30 September 2015, 西安电子科技大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775452A (zh) * 2016-11-18 2017-05-31 郑州云海信息技术有限公司 一种数据监管方法及系统
CN110634098A (zh) * 2019-06-13 2019-12-31 眸芯科技(上海)有限公司 无损稀疏图像的显示方法、装置及系统
CN113505253A (zh) * 2021-07-03 2021-10-15 北京中建建筑科学研究院有限公司 基于区块链的图片上传方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
WO2021103513A1 (en) Method, device, and apparatus for rendering point cloud scene
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
CN109344899B (zh) 多目标检测方法、装置和电子设备
US9851917B2 (en) Method for de-duplicating data and apparatus therefor
JP6250822B2 (ja) 分散トランスコーディングのためのコンテンツ適応的なチャンキング
US9576218B2 (en) Selecting features from image data
US20120185612A1 (en) Apparatus and method of delta compression
US10860489B2 (en) Byte select cache compression
CN105550352A (zh) 一种基于图像的重复数据删除方法及装置
CN106980680B (zh) 数据存储方法及存储设备
CN104199784A (zh) 一种基于分级存储的数据迁移方法及装置
CN105828081A (zh) 编码方法及编码装置
CN103500224A (zh) 一种数据写入方法及装置、数据读取方法及装置
US10496313B2 (en) Identification of content-defined chunk boundaries
US9232222B2 (en) Lossless color image compression adaptively using spatial prediction or inter-component prediction
US11430185B2 (en) Method and apparatus for processing three-dimensional data
US20150288973A1 (en) Method and device for searching for image
US20170140793A1 (en) Method for processing a video scene and corresponding device
US20140133772A1 (en) Electronic device and method for splitting image
CN104284195A (zh) 三维视频中的深度图预测方法、装置、编码器和解码器
CA2992930A1 (en) Method for choosing a compression algorithm depending on the image type
CN112200740B (zh) 一种基于图像边缘检测的图像分块去重方法和系统
CN104216666A (zh) 一种管理磁盘数据写入的方法及装置
CN104486524B (zh) 检测图像是否经历两次压缩质量相同的jpeg压缩的方法
US11488328B2 (en) Automatic data format detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160504

RJ01 Rejection of invention patent application after publication