CN114090532B - 基于Linux操作系统跨体系构造镜像存储的方法及模块 - Google Patents
基于Linux操作系统跨体系构造镜像存储的方法及模块 Download PDFInfo
- Publication number
- CN114090532B CN114090532B CN202111327214.6A CN202111327214A CN114090532B CN 114090532 B CN114090532 B CN 114090532B CN 202111327214 A CN202111327214 A CN 202111327214A CN 114090532 B CN114090532 B CN 114090532B
- Authority
- CN
- China
- Prior art keywords
- file
- mirror image
- storage
- files
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013179 statistical model Methods 0.000 claims description 6
- 238000013468 resource allocation Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于Linux操作系统跨体系构造镜像存储的方法;S1、通过网关实现对跨体系平台进行连接;S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理;S3、形成docker镜像;S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行;S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理;基于Linux操作系统跨体系构造镜像存储的系统,包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块;本发明通过网关实现对数据信息进行有效的网络传输,能够有效的实现跨系统进行构建镜像存储,便于对数据信息进行操作控制,有效的实现对数据信息进行传输,对数据信息进行降噪和增益处理。
Description
技术领域
本发明属于镜像存储技术领域,具体涉及基于Linux操作系统跨体系构造镜像存储的方法及模块。
背景技术
镜像是一种文件存储形式,是冗余的一种类型,一个磁盘上的数据在另一个磁盘上存在一个完全相同的副本即为镜像。可以把许多文件做成一个镜像文件,与GHOST等程序放在一个盘里用GHOST等软件打开后,又恢复成许多文件,RAID1和RAID10使用的就是镜像。常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD,所谓镜像文件其实和ZIP压缩包类似,它将特定的一系列文件按照一定的格式制作成单一的文件,以方便用户下载和使用,例如一个测试版的操作系统、游戏等。镜像文件不仅具有ZIP压缩包的“合成”功能,它最重要的特点是可以被特定的软件识别并可直接刻录到光盘上。其实通常意义上的镜像文件可以再扩展一下,在镜像文件中可以包含更多的信息。比如说系统文件、引导文件、分区表信息等,这样镜像文件就可以包含一个分区甚至是一块硬盘的所有信息。使用这类镜像文件的经典软件就是Ghost,它同样具备刻录功能,不过它的刻录仅仅是将镜像文件本身保存在光盘上,而通常意义上的刻录软件都可以直接将支持的镜像文件所包含的内容刻录到光盘上,然而市面上各种的镜像存储仍存在各种各样的问题。
如授权公告号为CN103324474B所公开的基于Linux操作系统跨体系构造ISO的方法及模块,其虽然实现了通过将Linux操作系统中某一种体系下制作ISO安装文件的方法作为原型,然后进行二次开发与迁移以构造出一种适用于Linux操作系统中跨体系制作ISO安装文件的方法,但是并未解决现有镜像存储在跨系统上进行存储的启动和运行,并且不能够实现对数据文件进行有效的编辑和处理,以及进行传输等的问题,为此我们提出基于Linux操作系统跨体系构造镜像存储的方法及模块。
发明内容
本发明的目的在于提供基于Linux操作系统跨体系构造镜像存储的方法及模块,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:基于Linux操作系统跨体系构造镜像存储的方法,包括有以下方法步骤:
S1、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
S3、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器进行资源调配,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
优选的,所述S1中通过存储网关建立的共享文件网关是基于云平台建立的,且在建立云平台共享文件的时候,云存储网关要提供共享地址,并且进行挂载方式进行设定,挂载方式包括有读写和只读方式,云存储网关还提供挂载路径。
优选的,所述S2中的镜像文件格式包括有ISO、BIN、IMG、TAO、DAO、CIF和FCD,并且在进行格式转换的时候,被转换的镜像文件中包含有音、视频文件信息,则进行高级转换,选择所要转换的轨道,数据轨道将被转换为ISO文件,音乐轨道将被转换为WAV文件,视频轨道将被转换为DAT文件,且BIN格式和ISO格式能够实现相互转换。
优选的,所述S3中的lower层,也就是镜像层,它是一个只读层;在lower层右上层是一个upper层,upper层是容器的读写层,upper层采用了写实复制的机制,也就是说只有对某些文件需要进行修改的时候才会从lower层把这个文件拷贝上来,之后所有的修改操作都会对upper层的副本进行修改;upper层并列的有一个workdir层,workdir层的作用是充当一个中间层的作用,也就是说,当对upper层里面的副本进行修改时,会先放到workdir层内,然后再从workdir层移到upper层里面去;最上面的是mergedir层,是一个统一视图层,从mergedir层里面看到upper层和lower层中所有数据的整合,然后docker exec到容器里面,看到一个文件系统其实就是mergedir层的统一视图层。
优选的,所述docker镜像容器刚创建出来的时候,upper层其实是空的,这个时候如果去读的话,所有数据都是从lower层读来的,overlay的upper层有一个写实数据的机制,对一些文件需要进行操作的时候,overlay会去做一个copy up的动作,然后会把文件从lower层拷贝上来,之后的一些写修改都会对这个部分进行操作,overlay里面其实是没有真正的删除操作的,它所谓的删除其实是通过对文件进行标记,然后从最上层的统一视图层去看,看到这个文件如果做标记,就会让这个文件显示出来,然后就认为这个文件是被删掉的。
优选的,所述删除操作对文件进行标识,这个标记有两种方式:一种是whiteout的方式;第二种就是通过设置目录的一个扩展权限,通过设置扩展参数来做到目录的删除。
优选的,所述S4中的LXC工具启动容器进行资源调配的两种方法:
直接修改配置文件:
LXCLXC工具启动容器的配置文件是lxc.conf,LXC工具启动容器配置项都是以key=value的形式,LXC工具启动容器采用cgroup系统来对容器进行资源管理,因此cgroup的各个子系统均能够使用,一个完成的配置文件包括cgroup部分、network部分、rootfs部分;
使用相关命令行工具:
LXC工具启动容器采用cgroup来对容器进行资源管理,并且所有cgroup子系统的配置参数均通过lxc-cgroup命令进行动态获得或者调整。
优选的,所述S5中的添加文件:向镜像文件中添加文件的方法是,从资源管理器中拖动文件或文件夹至WinISO镜像文件处理工具的主程序窗口中,或单击“添加”按钮即可,最后单击工具栏的保存按钮保存镜像;
删除文件:从当前镜像文件中删除文件,首先选取要删除的文件或者文件夹,然后单击鼠标右键,执行“删除”命令,完成后,单击工具栏的保存按钮;
从ISO/BIN文件中提取文件:需要镜像文件中的某一个文件,那么就采用提取的方法,选中你需要的文件,然后点鼠标右键,或者是单击工具栏上的“提取”按钮,选“提取”,会打开一个“提取文件”对话框,单击按钮选择保存路径,并在下方“文件”栏中选择提取的类型为当前被“选择文件”,完成后单击“确定”按钮。
基于Linux操作系统跨体系构造镜像存储的系统,包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块,在运行的时候,通过LXC工具启动容器和WinISO镜像文件处理工具实现对镜像的数据文件进行处理,且LXC工具启动容器实现对数据传输通道进行启动,并且实现数据的传输,即通过LXC工具启动容器进行资源调配,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作,且WinISO镜像文件处理工具用于实现对数据信息进行编辑处理,实现对数据信息进行编辑文件、添加文件、删除文件和提取文件,即WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件,然后文件通过存储网关进行传输,且在进行存储网关进行传输的时候通过数据调用接口进行连接,并且在传输之前通过数据接收模块、数据除噪模块和数据增益进行处理,保持数据信息在进行传输时的稳定性。
优选的,所述数据除噪模块包括有人工检查、统计模型、分箱、聚类和回归;所述统计模型采用的是3个标准差原则进行去噪或使用四分位差,所述3个标准差原则的正态分布中,σ为标准差,μ为均值,x=μ为图像的对称轴,3σ准则为:
数值分布在(μ-σ,μ+σ)中的概率为0.6827;
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545;
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973;
认为,一个正态分布的数据集的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%;
所述数据增益模块的计算方法:假设有两个类,P和N,假设集合S中含有p个类别为P的样本,n个类别为N的样本,将S的熵:
假设使用属性A将把集合S划分成V份{S1,S2...SV},
如果Si中包含Pi个类别为P的样本,ni个类别为N的样本,那么熵就是:
在A上进行分枝所获得的编码信息,即信息增益为:
Gain(A)=I(p,n)-E(A)。
与现有技术相比,本发明的有益效果是:
(1)本发明通过网关实现对数据信息进行有效的网络传输,能够有效的实现跨系统进行构建镜像存储,并且设有WinISO镜像文件处理工具可以实现对需要镜像的数据信息进行有效的处理,使得数据信息能够便于进行操作控制,并且采用LXC工具启动容器进行有效的驱动,能够通过另一种方式实现对数据信息进行删除操作,进而能够有效的实现跨体系构造镜像存储的过程,能够实现对镜像进行操作使用。
(2)本发明能够有效的实现对数据信息进行传输,在进行数据信息传输的时候,能够通过存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块形成稳定的传输通道,并且能够实现对数据信息进行降噪和增益处理,进而有效的提高数据信息在进行镜像存储的时候,不会造成丢失和错乱。
附图说明
图1为本发明的方法步骤流程示意图;
图2为本发明的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:基于Linux操作系统跨体系构造镜像存储的方法,包括有以下方法步骤:
S1、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
S3、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器进行资源调配,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
为了实现对镜像存储能够形成共享,本实施例中,优选的,所述S1中通过存储网关建立的共享文件网关是基于云平台建立的,且在建立云平台共享文件的时候,云存储网关要提供共享地址,并且进行挂载方式进行设定,挂载方式包括有读写和只读方式,云存储网关还提供挂载路径。
为了实现对镜像存储的数据信息进行格式的转换,本实施例中,优选的,所述S2中的镜像文件格式包括有ISO、BIN、IMG、TAO、DAO、CIF和FCD,并且在进行格式转换的时候,被转换的镜像文件中包含有音、视频文件信息,则进行高级转换,选择所要转换的轨道,数据轨道将被转换为ISO文件,音乐轨道将被转换为WAV文件,视频轨道将被转换为DAT文件,且BIN格式和ISO格式能够实现相互转换。
为了有效的形成镜像存储空间,并且提高存储空间的利用效率和安全性,本实施例中,优选的,所述S3中的lower层,也就是镜像层,它是一个只读层;在lower层右上层是一个upper层,upper层是容器的读写层,upper层采用了写实复制的机制,也就是说只有对某些文件需要进行修改的时候才会从lower层把这个文件拷贝上来,之后所有的修改操作都会对upper层的副本进行修改;upper层并列的有一个workdir层,workdir层的作用是充当一个中间层的作用,也就是说,当对upper层里面的副本进行修改时,会先放到workdir层内,然后再从workdir层移到upper层里面去;最上面的是mergedir层,是一个统一视图层,从mergedir层里面看到upper层和lower层中所有数据的整合,然后docker exec到容器里面,看到一个文件系统其实就是mergedir层的统一视图层。
为了实现对对数据文件进行操作控制调节,本实施例中,优选的,所述docker镜像容器刚创建出来的时候,upper层其实是空的,这个时候如果去读的话,所有数据都是从lower层读来的,overlay的upper层有一个写实数据的机制,对一些文件需要进行操作的时候,overlay会去做一个copy up的动作,然后会把文件从lower层拷贝上来,之后的一些写修改都会对这个部分进行操作,overlay里面其实是没有真正的删除操作的,它所谓的删除其实是通过对文件进行标记,然后从最上层的统一视图层去看,看到这个文件如果做标记,就会让这个文件显示出来,然后就认为这个文件是被删掉的,所述删除操作对文件进行标识,这个标记有两种方式:一种是whiteout的方式;第二种就是通过设置目录的一个扩展权限,通过设置扩展参数来做到目录的删除。
为了实现对数据文件资源的调配具有多样性,本实施例中,优选的,所述S4中的LXC工具启动容器进行资源调配的两种方法:
直接修改配置文件:
LXCLXC工具启动容器的配置文件是lxc.conf,LXC工具启动容器配置项都是以key=value的形式,LXC工具启动容器采用cgroup系统来对容器进行资源管理,因此cgroup的各个子系统均能够使用,一个完成的配置文件包括cgroup部分、network部分、rootfs部分;
使用相关命令行工具:
LXC工具启动容器采用cgroup来对容器进行资源管理,并且所有cgroup子系统的配置参数均通过lxc-cgroup命令进行动态获得或者调整。
为了实现通过WinISO镜像文件处理工具对数据信息进行处理,本实施例中,优选的,所述S5中的添加文件:向镜像文件中添加文件的方法是,从资源管理器中拖动文件或文件夹至WinISO镜像文件处理工具的主程序窗口中,或单击“添加”按钮即可,最后单击工具栏的保存按钮保存镜像;
删除文件:从当前镜像文件中删除文件,首先选取要删除的文件或者文件夹,然后单击鼠标右键,执行“删除”命令,完成后,单击工具栏的保存按钮;
从ISO/BIN文件中提取文件:需要镜像文件中的某一个文件,那么就采用提取的方法,选中你需要的文件,然后点鼠标右键,或者是单击工具栏上的“提取”按钮,选“提取”,会打开一个“提取文件”对话框,单击按钮选择保存路径,并在下方“文件”栏中选择提取的类型为当前被“选择文件”,完成后单击“确定”按钮。
参考图2,基于Linux操作系统跨体系构造镜像存储的系统,包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块,在运行的时候,通过LXC工具启动容器和WinISO镜像文件处理工具实现对镜像的数据文件进行处理,且LXC工具启动容器实现对数据传输通道进行启动,并且实现数据的传输,即通过LXC工具启动容器进行资源调配,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作,且WinISO镜像文件处理工具用于实现对数据信息进行编辑处理,实现对数据信息进行编辑文件、添加文件、删除文件和提取文件,即WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件,然后文件通过存储网关进行传输,且在进行存储网关进行传输的时候通过数据调用接口进行连接,并且在传输之前通过数据接收模块、数据除噪模块和数据增益进行处理,保持数据信息在进行传输时的稳定性。
为了有效的实现对数据信息的传输进行降噪和增益处理,本实施例中,优选的,所述数据除噪模块包括有人工检查、统计模型、分箱、聚类和回归;所述统计模型采用的是3个标准差原则进行去噪或使用四分位差,所述3个标准差原则的正态分布中,σ为标准差,μ为均值,x=μ为图像的对称轴,3σ准则为:
数值分布在(μ-σ,μ+σ)中的概率为0.6827;
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545;
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973;
认为,一个正态分布的数据集的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%;
所述数据增益模块的计算方法:假设有两个类,P和N,假设集合S中含有p个类别为P的样本,n个类别为N的样本,将S的熵:
假设使用属性A将把集合S划分成V份{S1,S2...SV},
如果Si中包含Pi个类别为P的样本,ni个类别为N的样本,那么熵就是:
在A上进行分枝所获得的编码信息,即信息增益为:
Gain(A)=I(p,n)-E(A)。
本发明的工作原理及使用流程:
第一步、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
第二步、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
第三步、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
第四步、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
第五步、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.基于Linux操作系统跨体系构造镜像存储的方法,其特征在于,包括有以下方法步骤:
S1、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
S3、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器进行资源调配,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
2.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S1中通过存储网关建立的共享文件网关是基于云平台建立的,且在建立云平台共享文件的时候,云存储网关要提供共享地址,并且进行挂载方式进行设定,挂载方式包括有读写和只读方式,云存储网关还提供挂载路径。
3.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S2中的镜像文件格式包括有ISO、BIN、IMG、TAO、DAO、CIF和FCD,并且在进行格式转换的时候,被转换的镜像文件中包含有音、视频文件信息,则进行高级转换,选择所要转换的轨道,数据轨道将被转换为ISO文件,音乐轨道将被转换为WAV文件,视频轨道将被转换为DAT文件,且BIN格式和ISO格式能够实现相互转换。
4.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S3中的lower层,也就是镜像层,它是一个只读层;在lower层右上层是一个upper层,upper层是容器的读写层,upper层采用了写实复制的机制,也就是说只有对某些文件需要进行修改的时候才会从lower层把这个文件拷贝上来,之后所有的修改操作都会对upper层的副本进行修改;upper层并列的有一个workdir层,workdir层的作用是充当一个中间层的作用,也就是说,当对upper层里面的副本进行修改时,会先放到workdir层内,然后再从workdir层移到upper层里面去;最上面的是mergedir层,是一个统一视图层,从mergedir层里面看到upper层和lower层中所有数据的整合,然后docker exec到容器里面,看到一个文件系统其实就是mergedir层的统一视图层。
5.根据权利要求4所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述docker镜像容器刚创建出来的时候,upper层其实是空的,这个时候如果去读的话,所有数据都是从lower层读来的,overlay的upper层有一个写实数据的机制,对一些文件需要进行操作的时候,overlay会去做一个copy up的动作,然后会把文件从lower层拷贝上来,之后的一些写修改都会对这个部分进行操作,overlay里面其实是没有真正的删除操作的,它所谓的删除其实是通过对文件进行标记,然后从最上层的统一视图层去看,看到这个文件如果做标记,就会让这个文件显示出来,然后就认为这个文件是被删掉的。
6.根据权利要求5所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述删除操作对文件进行标识,这个标记有两种方式:一种是whiteout的方式;第二种就是通过设置目录的一个扩展权限,通过设置扩展参数来做到目录的删除。
7.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S4中的LXC工具启动容器进行资源调配的两种方法:
直接修改配置文件:
LXCLXC工具启动容器的配置文件是lxc.conf,LXC工具启动容器配置项都是以key=value的形式,LXC工具启动容器采用cgroup系统来对容器进行资源管理,因此cgroup的各个子系统均能够使用,一个完成的配置文件包括cgroup部分、network部分、rootfs部分;
使用相关命令行工具:
LXC工具启动容器采用cgroup来对容器进行资源管理,并且所有cgroup子系统的配置参数均通过lxc-cgroup命令进行动态获得或者调整。
8.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S5中的添加文件:向镜像文件中添加文件的方法是,从资源管理器中拖动文件或文件夹至WinISO镜像文件处理工具的主程序窗口中,或单击“添加”按钮即可,最后单击工具栏的保存按钮保存镜像;
删除文件:从当前镜像文件中删除文件,首先选取要删除的文件或者文件夹,然后单击鼠标右键,执行“删除”命令,完成后,单击工具栏的保存按钮;
从ISO/BIN文件中提取文件:需要镜像文件中的某一个文件,那么就采用提取的方法,选中你需要的文件,然后点鼠标右键,或者是单击工具栏上的“提取”按钮,选“提取”,会打开一个“提取文件”对话框,单击按钮选择保存路径,并在下方“文件”栏中选择提取的类型为当前被“选择文件”,完成后单击“确定”按钮。
9.基于Linux操作系统跨体系构造镜像存储的系统,其特征在于:包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块,在运行的时候,通过LXC工具启动容器和WinISO镜像文件处理工具实现对镜像的数据文件进行处理,且LXC工具启动容器实现对数据传输通道进行启动,并且实现数据的传输,即通过LXC工具启动容器进行资源调配,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作,且WinISO镜像文件处理工具用于实现对数据信息进行编辑处理,实现对数据信息进行编辑文件、添加文件、删除文件和提取文件,即WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件,然后文件通过存储网关进行传输,且在进行存储网关进行传输的时候通过数据调用接口进行连接,并且在传输之前通过数据接收模块、数据除噪模块和数据增益进行处理,保持数据信息在进行传输时的稳定性。
10.根据权利要求9所述的基于Linux操作系统跨体系构造镜像存储的系统,其特征在于:所述数据除噪模块包括有人工检查、统计模型、分箱、聚类和回归;所述统计模型采用的是3个标准差原则进行去噪或使用四分位差,所述3个标准差原则的正态分布中,σ为标准差,μ为均值,x=μ为图像的对称轴,3σ准则为:
数值分布在(μ-σ,μ+σ)中的概率为0.6827;
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545;
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973;
认为,一个正态分布的数据集的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%;
所述数据增益模块的计算方法:假设有两个类,P和N,假设集合S中含有p个类别为P的样本,n个类别为N的样本,将S的熵:
假设使用属性A将把集合S划分成V份{S1,S2...SV},
如果Si中包含Pi个类别为P的样本,ni个类别为N的样本,那么熵就是:
在A上进行分枝所获得的编码信息,即信息增益为:
Gain(A)=I(p,n)-E(A)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111327214.6A CN114090532B (zh) | 2021-11-10 | 2021-11-10 | 基于Linux操作系统跨体系构造镜像存储的方法及模块 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111327214.6A CN114090532B (zh) | 2021-11-10 | 2021-11-10 | 基于Linux操作系统跨体系构造镜像存储的方法及模块 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114090532A CN114090532A (zh) | 2022-02-25 |
CN114090532B true CN114090532B (zh) | 2024-05-14 |
Family
ID=80299581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111327214.6A Active CN114090532B (zh) | 2021-11-10 | 2021-11-10 | 基于Linux操作系统跨体系构造镜像存储的方法及模块 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114090532B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106091A (zh) * | 2013-01-31 | 2013-05-15 | 深圳市开立科技有限公司 | 一种基于可移动存储介质的操作系统的启动系统和方法 |
CN103324474A (zh) * | 2013-05-22 | 2013-09-25 | 中标软件有限公司 | 基于Linux操作系统跨体系构造ISO的方法及模块 |
CN105094924A (zh) * | 2015-08-21 | 2015-11-25 | 华为技术有限公司 | 镜像文件的导入方法及装置 |
CN109508225A (zh) * | 2018-11-15 | 2019-03-22 | 珠海市知安全科技有限公司 | 一种windows操作系统下的应用容器系统 |
CN111399865A (zh) * | 2020-04-21 | 2020-07-10 | 贵州新致普惠信息技术有限公司 | 一种基于容器技术自动构建目标文件的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10237118B2 (en) * | 2016-11-18 | 2019-03-19 | Sap Se | Efficient application build/deployment for distributed container cloud platform |
WO2021174141A1 (en) * | 2020-02-27 | 2021-09-02 | Falconstor, Inc. | Virtual storage container for data storage and archiving |
-
2021
- 2021-11-10 CN CN202111327214.6A patent/CN114090532B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106091A (zh) * | 2013-01-31 | 2013-05-15 | 深圳市开立科技有限公司 | 一种基于可移动存储介质的操作系统的启动系统和方法 |
CN103324474A (zh) * | 2013-05-22 | 2013-09-25 | 中标软件有限公司 | 基于Linux操作系统跨体系构造ISO的方法及模块 |
CN105094924A (zh) * | 2015-08-21 | 2015-11-25 | 华为技术有限公司 | 镜像文件的导入方法及装置 |
CN109508225A (zh) * | 2018-11-15 | 2019-03-22 | 珠海市知安全科技有限公司 | 一种windows操作系统下的应用容器系统 |
CN111399865A (zh) * | 2020-04-21 | 2020-07-10 | 贵州新致普惠信息技术有限公司 | 一种基于容器技术自动构建目标文件的方法 |
Non-Patent Citations (3)
Title |
---|
Abeni, L. et al..Container-based real-time scheduling in the Linux kernel.Journal information.2019,第33-38页. * |
张延冬 ; 邢艳芳 ; .基于Docker的运维平台设计.计算机时代.2018,(04),第16-18,22页. * |
耿朋 ; 陈伟 ; 魏峻 ; .面向Dockerfile的容器镜像构建工具.计算机系统应用.2016,(11),第14-21页. * |
Also Published As
Publication number | Publication date |
---|---|
CN114090532A (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6789094B2 (en) | Method and apparatus for providing extended file attributes in an extended attribute namespace | |
US8751604B2 (en) | Media file access and storage solution for multi-workstation/multi-platform non-linear video editing systems | |
CN104050216B (zh) | 用于定制化资源分配的文件系统管理器 | |
US7783686B2 (en) | Application program interface to manage media files | |
US8095678B2 (en) | Data processing | |
US9940331B1 (en) | Proactive scavenging of file system snaps | |
US8707005B2 (en) | Data control systems for virtual environments | |
US20180232396A1 (en) | Methods and systems for displaying virtual files side-by-side with non-virtual files and for instantaneous file transfer | |
US8090925B2 (en) | Storing data streams in memory based on upper and lower stream size thresholds | |
CN110008197B (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
US11720607B2 (en) | System for lightweight objects | |
US8103559B2 (en) | Maintenance of group shared inventories in a virtual universe | |
US8176087B2 (en) | Data processing | |
US10083052B1 (en) | Streamlined remote application streaming technology configuration and usage | |
CN114090532B (zh) | 基于Linux操作系统跨体系构造镜像存储的方法及模块 | |
CN107409086A (zh) | 通过多个邮箱在通信应用中进行海量数据管理 | |
CN113095778A (zh) | 通过多个邮箱在通信应用中进行海量数据管理的架构 | |
US10956387B2 (en) | Accessing historical content items of a content management system through placeholders | |
JP2006277771A (ja) | 計算機ネットワーク用の端末装置および操作履歴記録方法 | |
US20140189715A1 (en) | Conversion of lightweight object to a heavyweight object | |
CN110825715B (zh) | 基于Ceph对象存储的多对象数据秒合的实现方法 | |
CN110286940B (zh) | 智能电视日志生成方法 | |
CN114158258B (zh) | 实时动态地产生文件系统兼容性的方法 | |
US10997118B1 (en) | Generating a fresh machine image | |
KR100723747B1 (ko) | 미디어 서버에서의 데이터베이스 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |