CN112104725B - 容器镜像去重方法、系统、计算机设备及存储介质 - Google Patents
容器镜像去重方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112104725B CN112104725B CN202010939175.4A CN202010939175A CN112104725B CN 112104725 B CN112104725 B CN 112104725B CN 202010939175 A CN202010939175 A CN 202010939175A CN 112104725 B CN112104725 B CN 112104725B
- Authority
- CN
- China
- Prior art keywords
- processing unit
- file
- mirror image
- vector
- single file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 295
- 239000013598 vector Substances 0.000 claims abstract description 141
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供一种容器镜像去重的方法、系统、计算机设备及存储介质,所述方法包括:读取容器镜像文件,将容器镜像文件划分为不同类型的若干镜像段;将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;获取每个处理单元中各单个文件的影响力向量;基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;以及,将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。本公开的技术方案可以在使用少量处理资源的情况下,高效实现容器镜像文件的批量去重。
Description
技术领域
本公开属于服务器集群的信息处理领域,具体涉及一种容器镜像去重方法,一种容器镜像去重系统,一种计算机设备,以及一种计算机可读存储介质。
背景技术
随着容器及相关技术的逐渐成熟,近年来容器的使用量呈指数级增长,随之而来的就是各公司容器镜像所占存储空间急剧增长,但数据中心存储的海量镜像数据中存在大量重复数据,例如:同一镜像多备份;版本不同的同种操作系统;应用数据和用户数据不同,但操作系统相同等。因此,虚拟机镜像集群中存储了大量相似或相同的镜像,需要定期对容器镜像去重,但如何在不影响整个云环境性能的情况下高效的对容器镜像进行去重成为一大难点。
目前已有容器镜像去重方案为利用文件的信息摘要值进行比对,若存储系统中存在与对比文件的信息摘要值相同的文件,表明存储系统中已存在该对比文件,需执行文件的去重操作。但这种去重方案没有将文件进行切处理,导致文件过大,如超出可用内存大小会有很大的额外消耗,并且这种去重方案没有对摘要计算方式进行优化,原摘要向量计算方法中大文件的摘要信息量小,匹配结果不理想;而且,由于不同类型的镜像文件所存储的内容有很大的不同,计算摘要值并进行比对很大可能是不相符的,这种比对往往是无意义的,并不能得到摘要值相同的文件,导致容器镜像去重的效率较低。
因此,亟待提出一种能够克服上述问题的新的容器镜像去重方案。
发明内容
本公开提供一种容器镜像去重方法、系统、计算机设备及计算机可读存储介质,可以在使用少量处理资源的情况下,高效实现容器镜像文件的批量去重。
第一方面,本公开实施例提供一种容器镜像去重的方法,包括:
读取容器镜像文件,将容器镜像文件划分为不同类型的若干镜像段;
将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;
获取每个处理单元中各单个文件的影响力向量;
基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;以及,
将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。
进一步的,所述将容器镜像文件划分为不同类型的若干镜像段,包括:
将容器镜像文件划分为操作系统镜像段和应用数据镜像段;
将操作系统镜像段根据操作系统类别划分为windows镜像段、 Linux镜像段和Unix镜像段;以及,
将应用数据镜像段划分为软件类镜像段、数据类镜像段、配置类镜像段和其他类镜像段。
进一步的,所述获取每个处理单元中各单个文件的影响力向量,包括:
计算每个处理单元中各单个文件的摘要向量;
根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子;以及,
根据每个处理单元中各单个文件的摘要向量和影响因子得到该处理单元中各单个文件的影响力向量。
进一步的,所述每个处理单元中各单个文件的摘要向量使用 MD5摘要算法计算得出。
进一步的,所述根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子,采用如下公式:
其中,Ii为处理单元Cj中文件filei的影响因子,FSi为文件filei的大小,Ni为文件filei在处理单元Cj中出现的次数,CSj为处理单元Cj的大小。
进一步的,所述基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量,包括:
对每个处理单元中各单个文件的影响力向量求和得到该处理单元的序列串;以及,
对该处理单元的序列串进行降维处理得到该处理单元的摘要向量;
其中,对每个处理单元中各单个文件的影响力向量求和得到该处理单元的序列串采用如下公式:
其中,C[i]为处理单元的序列串的第i位的值,filej[i]为处理单元内第j个单个文件的影响力向量的第i位的值,n为处理单元内单个文件的总数。
进一步的,将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除,包括:
分别计算同一镜像段切分而成的各处理单元的摘要向量之间的海明距离,并根据所述海明距离计算各处理单元之间的差异值;
每当有两个处理单元之间的差异值低于预设阈值时,将其中一个处理单元判定为重复的处理单元,并将所述重复的处理单元删除。
进一步的,所述根据所述海明距离计算各处理单元之间的差异值,采样如下公式:
其中,S[a,b]表示处理单元Ca和处理单元Cb之间的差异值, HamingD(Ca,Cb)表示处理单元Ca的摘要向量和处理单元Cb的摘要向量之间的海明距离,La表示处理单元Ca的向量长度,Lb表示处理单元Cb的向量长度。
第二方面,本公开实施例提供一种容器镜像去重系统,包括:分类模块、切分模块、计算模块和去重模块;
所述分类模块设置为读取容器镜像文件,并将容器镜像文件划分为不同类型的若干镜像段;
所述切分模块设置为将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;
所述计算模块设置为获取每个处理单元中各单个文件的影响力向量;以及,
基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;
所述去重模块设置为将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。
第三方面,本公开实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行如第一方面中任一所述的容器镜像去重方法。
第四方面,本公开实施例还提供一种计算机可读存储介质,包括:计算机程序,当其在计算机上运行时,使得计算机执行如第一方面中任一所述的容器镜像去重方法。
有益效果:
本公开提供的容器镜像去重方法、系统、计算机设备及计算机可读存储介质,通过读取容器镜像文件,将容器镜像文件划分为不同类型的若干镜像段;再将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;然后获取每个处理单元中各单个文件的影响力向量;基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;再将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。本公开技术方案,通过对镜像文件分类成不同类型的镜像段,并将镜像段切分成处理单元,经过汇总计算得到处理单元的摘要向量;最后对同类型镜像段处理单元的摘要向量进行对比,不会额外占用系统内存,并且在同类型镜像段内对比,效率更高;从而实现在使用少量处理资源的情况下,高效实现容器镜像文件的批量去重。
附图说明
图1为本公开实施例一提供的一种容器镜像去重方法的流程图;
图2为本公开实施例二提供的一种容器镜像去重系统的架构图。
具体实施方式
为使本领域技术人员更好地理解本公开的技术方案,下面结合附图和实施例对本公开作进一步详细描述。
其中,在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚的表示其他含义。
在Docker(应用容器引擎)中,容器是一个标准化的软件单元,它将代码及其所有依赖关系打包,以便应用程序从一个计算环境可靠快速地运行到另一个计算环境。容器镜像是一个轻量的独立的可执行的软件包,包含应用程序运行时所需的各种资源,比如代码、运行时间、系统工具、系统库和设置等等。
近年来,随着容器及相关技术的逐渐成熟,容器的使用量呈指数级增长,随之而来的就是各公司容器镜像所占存储空间急剧增长,而且数据中心存储的海量镜像数据中存在大量重复数据,其原因包括:在镜像备份过程中,对同一镜像进行多次全备份,各个备份镜像之间大部分数据是相同的;不同的用户安装相同的操作系统,不同之处仅在于系统内的用户数据和应用程序;镜像中安装的操作系统属于同一种类,仅版本不同,如果镜像数据经过去重处理,可以节省系统大量的存储空间,因此,需要定期对存储的容器镜像进行去重。但现有的容器镜像去重方法还存在对内存额外消耗,摘要信息量小,匹配结果不理想;不同类型的镜像文件所存储的内容不同,进行摘要值计算比对无意义,导致容器镜像去重的效率较低等问题。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本公开实施例一提供的一种容器镜像去重的方法的流程图,如图1所示,所述方法包括:
步骤S101:读取容器镜像文件,将容器镜像文件划分为不同类型的若干镜像段;
步骤S102:将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;
步骤S103:获取每个处理单元中各单个文件的影响力向量;
步骤S104:基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;以及,
步骤S105:将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。
所谓镜像文件其实和ZIP压缩包类似,它将特定的一系列文件按照一定的格式制作成单一的文件,以方便用户下载和使用,通过读取容器镜像文件的文件分区表,将镜像文件按类型进行划分,划分为不同类型的镜像段,在同类型的文件中进行文件对比去重,可以减少不必要的去重查找,提高文件去重的效率,得到不同类型的镜像段后,将各个不同类型的镜像段都进行划分,将镜像段划分为同一大小且低于系统最大处理能力的处理单元,在一个镜像段内,处理单元的大小相同,但不要求在不同镜像段内的处理单元大小相同,去重操作需要将文件读取到内存中进行处理,当单文件超过可用内存大小时会有额外的交互性能损耗,所以根据去重系统可用资源能力限制,将各镜像段切分为相等大小且低于系统最大处理能力的处理单元,在文件系统中每个处理单元是由一定数量的单个文件file组成(处理单元C1={file1,file2, file3,......,filen}),划分时,可能会将大文件划分为多个处理单元中的单个文件,由于处理单元的大小低于系统最大处理能力,因此不会存在对内存额外消耗。处理单元由一定数量的单个文件组成,所述单个文件通过对文件进行划分得到;文件的摘要向量是将明文内容按某种规则生成一段哈希值,由一定长度的1和0组成的数组;通过单个文件的摘要向量和影响力得到单个文件的影响力向量;载将处理单元内各单个文件的影响力向量每一个位置求和得到处理单元该位置的合并值;即将各单个文件影响力向量的序列值累加,变成只有一个序列串,再根据该序列串中其数值的正负得到0或1的数值串,即为摘要向量,若累加值为正,则该位置为1,若累加值为负,则该位置为0。即所述得到处理单元摘要向量的过程包括:通过摘要算法得到各单个文件的摘要向量,得到hash值,再按照各单个文件的权重加权形成加权数字串得到影响力向量,将各单个文件的影响力向量的序列值累加,变成只有一个序列串,再进行降维,变成01的数字串,形成处理单元的摘要向量。再通过将同类型镜像段内各个处理单元的摘要向量进行对比,找出同类型镜像段内重复的处理单元,如果有重复的处理单元,则将其删除,在进行对比时,通过海明距离计算处理单元摘要向量之间的差异值,在信息编码中,两个合法代码对应位上编码不同的位数称为码距,又称海明距离,当差异值小于预设值时,就可认为其为重复处理单元。所述预设值根据实际情况进行设定,例如可以根据需要删除的处理单元的数量进行设定。
进一步的,所述将容器镜像文件划分为不同类型的若干镜像段,包括:
将容器镜像文件划分为操作系统镜像段和应用数据镜像段;
将操作系统镜像段根据操作系统类别划分为windows镜像段、 Linux镜像段和Unix镜像段;以及,
将应用数据镜像段划分为软件类镜像段、数据类镜像段、配置类镜像段和其他类镜像段。
在类型的镜像段之间进行去重操作,可以减少去重操作中的无效对比,提高去重效率。并且相似度高的镜像组内重复数据多,可以加快去重时间。
进一步的,所述获取每个处理单元中各单个文件的影响力向量,包括:
计算每个处理单元中各单个文件的摘要向量;
根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子;以及,
根据每个处理单元中各单个文件的摘要向量和影响因子得到该处理单元中各单个文件的影响力向量。
文件的摘要向量是将明文内容按某种规则生成一段哈希值,由一定长度的1和0组成的数组,例如file1={1,0,1,0,…,1,1}。组成处理单元的文件file有很大可能会重复出现多次,即flie1和 file3为相同的文件,对于处理单元来说文件file的占用空间越大、出现次数越多其对处理单元相似性的影响就越高;根据各单个文件的影响因子,对各单个文件的摘要向量进行重新计算,得到各单个文件的影响力向量,方法为对于文件file1原摘要向量中为1 的位数,将其设置为其影响因子的值,原摘要向量为0的位置设置为影响因子的负数(例如:file1原摘要向量为{1,0,1,0,…,1,1},影响因子为5,则其影响力向量为{5,-5,5,-5,…,5,5})。通过计算可以获得所以单个文件的影响力向量
进一步的,所述每个处理单元中各单个文件的摘要向量使用 MD5摘要算法计算得出。
MD5即Message-Digest Algorithm 5(信息-摘要算法5),用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一(又译摘要算法、哈希算法),主流编程语言普遍已有MD5实现。将数据运算为另一固定长度值数字串,由于MD5摘要算法在数据处理中已经得到成熟的运用,因此,此处计算各单个文件的摘要向量的过程不再赘述。
进一步的,所述根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子,采用如下公式:
其中,Ii为处理单元Cj中文件filei的影响因子,FSi为文件filei的大小,Ni为文件filei在处理单元Cj中出现的次数,CSj为处理单元Cj的大小。
处理单元来说文件file的占用空间越大、出现次数越多其对处理单元相似性的影响就越高,计算各单个文件文件大小与出现次数的乘积与处理单元大小的比值,可得到每一个单个文件的影响因子,得到各单个文件的影响因子,对各单个文件的摘要向量进行重新计算,得到各文件的影响力向量,方法为对于文件filei原摘要向量中为1的位数,将其设置为其影响因子Ii的值,原摘要向量为0的位置设置为影响因子的负数的值(-Ii)(例如:file1原摘要向量为{1,0,1,0,…,1,1},影响因子为5,则其影响力向量为{5,-5,5,-5,…,5,5})。
进一步的,所述基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量,包括:
对每个处理单元中各单个文件的影响力向量求和得到该处理单元的序列串;以及,
对该处理单元的序列串进行降维处理得到该处理单元的摘要向量;
其中,对每个处理单元中各单个文件的影响力向量求和得到该处理单元的序列串采用如下公式:
其中,C[i]为处理单元的序列串的第i位的值,filej[i]为处理单元内第j个单个文件的影响力向量的第i位的值,n为处理单元内单个文件的总数。
依次计算处理单元的序列串各个位置的值,将C[i]按数值的正负判断处理单元的摘要向量第i位为1还是0,得到处理单元的摘要向量,若C[i]为正,则该位置为1,若C[i]为负,则该位置为0。
进一步的,将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除,包括:
分别计算同一镜像段切分而成的各处理单元的摘要向量之间的海明距离,并根据所述海明距离计算各处理单元之间的差异值;
每当有两个处理单元之间的差异值低于预设阈值时,将其中一个处理单元判定为重复的处理单元,并将所述重复的处理单元删除。
两个摘要向量的海明距离越小,表示两个处理单元的重复度越高,将同类型镜像段内处理单元的摘要向量进行两两对比,得到各个处理单元摘要向量之间的海明距离,再根据所述海明距离计算处理单元之间的差异值,由于不同镜像段的处理单元的大小不同,因此需要得到单位文件大小的海明距离。对比过程在程序中进行,可以快速的找出处理单元的差异值。
进一步的,所述根据所述海明距离计算各处理单元之间的差异值,采样如下公式:
其中,S[a,b]表示处理单元Ca和处理单元Cb之间的差异值, HamingD(Ca,Cb)表示处理单元Ca的摘要向量和处理单元Cb的摘要向量之间的海明距离,La表示处理单元Ca的向量长度,Lb表示处理单元Cb的向量长度。
由于在同一镜像段内,处理单元的大小相同,因此La和Lb相同。而得到的S[a,b]对所有的镜像段来说,都是单元文件大小的海明距离,因此可以统一对处理单元的重复度进行判断,当两个处理单元的S[a,b]值低于预设定的阈值时,则判断其为重复部分进行删除操作。
本公开实施例通过对镜像文件分类成不同类型的镜像段,并将镜像段切分成处理单元,经过汇总计算得到处理单元的摘要向量;最后对同类型镜像段处理单元的摘要向量进行对比,通过对处理单元进行对比不会额外占用系统内存,并且在同类型镜像段内对比,效率更高;从而实现在使用少量处理资源的情况下,高效实现容器镜像文件的批量去重。
图2为本公开实施例提供的一种容器镜像去重的系统的架构图,如图2所示,包括:分类模块1、切分模块2、计算模块3和去重模块4;
所述分类模块1设置为读取容器镜像文件,并将容器镜像文件划分为不同类型的若干镜像段;
所述切分模块2设置为将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;
所述计算模块3设置为获取每个处理单元中各单个文件的影响力向量;以及,
基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;
所述去重模块4设置为将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。
进一步的,所述分类模块1具体设置为将容器镜像文件划分为操作系统镜像段和应用数据镜像段;
将操作系统镜像段根据操作系统类别划分为windows镜像段、 Linux镜像段和Unix镜像段;以及,
将应用数据镜像段划分为软件类镜像段、数据类镜像段、配置类镜像段和其他类镜像段。
进一步的,所述计算模块3包括第一计算单元;
所述第一计算单元设置为计算每个处理单元中各单个文件的摘要向量;以及
根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子;以及,
根据每个处理单元中各单个文件的摘要向量和影响因子得到该处理单元中各单个文件的影响力向量。
进一步的,所述计算模块3计算每个处理单元中各单个文件的摘要向量使用MD5摘要算法。
进一步的,所述计算模块3根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子,采用如下公式:
其中,Ii为处理单元Cj中文件filei的影响因子,FSi为文件filei的大小,Ni为文件filei在处理单元Cj中出现的次数,CSj为处理单元Cj的大小。
进一步的,所述计算模块3包括第二计算单元;
所述第二计算单元设置为对每个处理单元中各单个文件的影响力向量求和得到该处理单元的序列串;以及,
对该处理单元的序列串进行降维处理得到该处理单元的摘要向量;
其中,对每个处理单元中各单个文件的影响力向量求和得到该处理单元的序列串采用如下公式:
其中,C[i]为处理单元的序列串的第i位的值,filej[i]为处理单元内第j个单个文件的影响力向量的第i位的值,n为处理单元内单个文件的总数。
进一步的,所述去重模块4包括:
计算单元,其设置为分别计算同一镜像段切分而成的各处理单元的摘要向量之间的海明距离,并根据所述海明距离计算各处理单元之间的差异值;
删除单元,其设置为每当有两个处理单元之间的差异值低于预设阈值时,将其中一个处理单元判定为重复的处理单元,并将所述重复的处理单元删除。
进一步的,所述计算单元根据所述海明距离计算各处理单元之间的差异值,采样如下公式:
其中,S[a,b]表示处理单元Ca和处理单元Cb之间的差异值, HamingD(Ca,Cb)表示处理单元Ca的摘要向量和处理单元Cb的摘要向量之间的海明距离,La表示处理单元Ca的向量长度,Lb表示处理单元Cb的向量长度。
本公开实施例的容器镜像去重系统用于实施方法实施例一中的容器镜像去重方法,所以描述的较为简单,具体可以参见前面方法实施例一中的相关描述,此处不再赘述。
此外,本公开实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行上述各种可能的方法。
此外,本公开实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当用户设备的至少一个处理器执行该计算机执行指令时,用户设备执行上述各种可能的方法。
其中,计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC(Application Specific Integrated Circuit,专用集成电路) 中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。
可以理解的是,以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式,然而本公开并不局限于此。对于本领域内的普通技术人员而言,在不脱离本公开的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本公开的保护范围。
Claims (9)
1.一种容器镜像去重方法,其特征在于,包括:
读取容器镜像文件,将容器镜像文件划分为不同类型的若干镜像段;
将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;
计算每个处理单元中各单个文件的摘要向量,其中,单个文件的摘要向量是将该文件的明文内容按预设规则生成一段哈希值,由一定长度的1和0组成的数组;
采用如下公式(1)根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子;
其中,Ii为处理单元Cj中文件filei的影响因子,FSi为文件filei的大小,Ni为文件filei在处理单元Cj中出现的次数,CSj为处理单元Cj的大小;以及,
根据每个处理单元中各单个文件的摘要向量和影响因子得到该处理单元中各单个文件的影响力向量,其中,单个文件的影响力向量为在得到各单个文件的摘要向量,即得到哈希值,再按照各单个文件的权重加权形成的加权数字串;
基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;以及,
将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。
2.根据权利要求1所述的方法,其特征在于,所述将容器镜像文件划分为不同类型的若干镜像段,包括:
将容器镜像文件划分为操作系统镜像段和应用数据镜像段;
将操作系统镜像段根据操作系统类别划分为windows镜像段、Linux镜像段和Unix镜像段;以及,
将应用数据镜像段划分为软件类镜像段、数据类镜像段、配置类镜像段和其他类镜像段。
3.根据权利要求1所述的方法,其特征在于,所述每个处理单元中各单个文件的摘要向量使用MD5摘要算法计算得出。
5.根据权利要求1所述的方法,其特征在于,将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除,包括:
分别计算同一镜像段切分而成的各处理单元的摘要向量之间的海明距离,并根据所述海明距离计算各处理单元之间的差异值;
每当有两个处理单元之间的差异值低于预设阈值时,将其中一个处理单元判定为重复的处理单元,并将所述重复的处理单元删除。
7.一种容器镜像去重系统,其特征在于,包括:分类模块、切分模块、计算模块和去重模块;
所述分类模块设置为读取容器镜像文件,并将容器镜像文件划分为不同类型的若干镜像段;
所述切分模块设置为将各个镜像段分别切分为相同大小且低于系统最大处理能力的若干处理单元,每个处理单元包括一定数量的单个文件;
所述计算模块设置为计算每个处理单元中各单个文件的摘要向量,其中,单个文件的摘要向量是将该文件的明文内容按预设规则生成一段哈希值,由一定长度的1和0组成的数组;以及,
采用如下公式(1)根据每个处理单元中各单个文件的大小及其在该处理单元中出现的次数计算该处理单元中各单个文件的影响因子;
其中,Ii为处理单元Cj中文件filei的影响因子,FSi为文件filei的大小,Ni为文件filei在处理单元Cj中出现的次数,CSj为处理单元Cj的大小;以及,
根据每个处理单元中各单个文件的摘要向量和影响因子得到该处理单元中各单个文件的影响力向量,其中,单个文件的影响力向量为在得到各单个文件的摘要向量,即得到哈希值,再按照各单个文件的权重加权形成的加权数字串;以及,
基于每个处理单元中各单个文件的影响力向量之和得到该处理单元的摘要向量;
所述去重模块设置为将同一镜像段切分而成的各处理单元的摘要向量进行对比,找出同一镜像段内重复的处理单元,并将重复的处理单元删除。
8.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行根据权利要求1-6中任一项中所述的容器镜像去重方法。
9.一种计算机可读存储介质,包括:计算机程序,当其在计算机上运行时,使得计算机执行根据权利要求1-6中任一项所述的容器镜像去重方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010939175.4A CN112104725B (zh) | 2020-09-09 | 2020-09-09 | 容器镜像去重方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010939175.4A CN112104725B (zh) | 2020-09-09 | 2020-09-09 | 容器镜像去重方法、系统、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112104725A CN112104725A (zh) | 2020-12-18 |
CN112104725B true CN112104725B (zh) | 2022-05-27 |
Family
ID=73752190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010939175.4A Active CN112104725B (zh) | 2020-09-09 | 2020-09-09 | 容器镜像去重方法、系统、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112104725B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221116B (zh) * | 2021-04-12 | 2022-06-07 | 烽火通信科技股份有限公司 | 镜像的摘要计算方法、装置、设备及可读存储介质 |
CN113176886A (zh) * | 2021-04-29 | 2021-07-27 | 中国工商银行股份有限公司 | 一种镜像文件压缩运行方法及装置 |
US11681659B2 (en) | 2021-05-21 | 2023-06-20 | Red Hat, Inc. | Hybrid file compression model |
US11829240B2 (en) | 2022-01-06 | 2023-11-28 | Red Hat, Inc. | Preventing duplication of files in a storage device |
US11947498B2 (en) | 2022-05-12 | 2024-04-02 | International Business Machines Corporation | De-duplication of data in executable files in a container image |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408154A (zh) * | 2014-12-04 | 2015-03-11 | 华为技术有限公司 | 重复数据删除方法及装置 |
CN106066896A (zh) * | 2016-07-15 | 2016-11-02 | 中国人民解放军理工大学 | 一种应用感知的大数据重复删除存储系统及方法 |
CN108090125A (zh) * | 2017-11-14 | 2018-05-29 | 西北工业大学 | 一种非查询式的重复数据删除方法及装置 |
CN108415671A (zh) * | 2018-03-29 | 2018-08-17 | 上交所技术有限责任公司 | 一种面向绿色云计算的重复数据删除方法及系统 |
US10108544B1 (en) * | 2016-09-26 | 2018-10-23 | EMC IP Holding Company LLC | Dynamic duplication estimation for garbage collection |
CN109445703A (zh) * | 2018-10-26 | 2019-03-08 | 黄淮学院 | 一种基于块级数据去重的Delta压缩存储组件 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8321648B2 (en) * | 2009-10-26 | 2012-11-27 | Netapp, Inc | Use of similarity hash to route data for improved deduplication in a storage server cluster |
CN106095579B (zh) * | 2016-06-14 | 2019-06-07 | 中国联合网络通信集团有限公司 | 容器资源分配方法及装置 |
CN106446061A (zh) * | 2016-09-06 | 2017-02-22 | 上海云轴信息科技有限公司 | 用于存储虚拟机镜像的方法及设备 |
-
2020
- 2020-09-09 CN CN202010939175.4A patent/CN112104725B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408154A (zh) * | 2014-12-04 | 2015-03-11 | 华为技术有限公司 | 重复数据删除方法及装置 |
CN106066896A (zh) * | 2016-07-15 | 2016-11-02 | 中国人民解放军理工大学 | 一种应用感知的大数据重复删除存储系统及方法 |
US10108544B1 (en) * | 2016-09-26 | 2018-10-23 | EMC IP Holding Company LLC | Dynamic duplication estimation for garbage collection |
CN108090125A (zh) * | 2017-11-14 | 2018-05-29 | 西北工业大学 | 一种非查询式的重复数据删除方法及装置 |
CN108415671A (zh) * | 2018-03-29 | 2018-08-17 | 上交所技术有限责任公司 | 一种面向绿色云计算的重复数据删除方法及系统 |
CN109445703A (zh) * | 2018-10-26 | 2019-03-08 | 黄淮学院 | 一种基于块级数据去重的Delta压缩存储组件 |
Non-Patent Citations (2)
Title |
---|
"PSH: A probabilistic signature hash method with hash neighborhood candidate generation for fast edit-distance string comparison on big data";Joseph Jupin、Justin Y. Shi、Eduard C. Dragut;《2016 IEEE International Conference on Big Data (Big Data)》;IEEE;20170206;全文 * |
"云存储中集群重复数据删除系统的研究与设计";李志然;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;CNKI;20160815(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112104725A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112104725B (zh) | 容器镜像去重方法、系统、计算机设备及存储介质 | |
KR102007070B1 (ko) | 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법 | |
US8423520B2 (en) | Methods and apparatus for efficient compression and deduplication | |
US7797323B1 (en) | Producing representative hashes for segments of a file | |
US11163734B2 (en) | Data processing method and system and client | |
US8447120B2 (en) | Incremental feature indexing for scalable location recognition | |
US10938961B1 (en) | Systems and methods for data deduplication by generating similarity metrics using sketch computation | |
US20190379394A1 (en) | System and method for global data compression | |
CN112099725A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
EP3822795B1 (en) | Data storage and acquisition method and device | |
CN107852173B (zh) | 对无损简化的数据执行搜索和取回的方法以及装置 | |
US20220156233A1 (en) | Systems and methods for sketch computation | |
CN110837555A (zh) | 海量文本去重筛选的方法、设备和存储介质 | |
CN109716660B (zh) | 数据压缩装置和方法 | |
WO2021127245A1 (en) | Systems and methods for sketch computation | |
CN116010362A (zh) | 文件存储和文件读取的方法、装置及系统 | |
US20210191640A1 (en) | Systems and methods for data segment processing | |
CN112612790B (zh) | 卡号配置方法、装置、设备及计算机存储介质 | |
CN113839799A (zh) | 一种告警关联规则挖掘方法及装置 | |
Vikraman et al. | A study on various data de-duplication systems | |
CN114138552B (zh) | 数据动态重删方法、系统、终端及存储介质 | |
EP4068071A1 (en) | Data storage method in storage system and related device | |
CN113742288B (zh) | 用于数据索引的方法、电子设备和计算机程序产品 | |
CN110968575B (zh) | 一种大数据处理系统的去重方法 | |
CN117459070A (zh) | 一种数据聚类压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |