CN114090532A - 基于Linux操作系统跨体系构造镜像存储的方法及模块 - Google Patents

基于Linux操作系统跨体系构造镜像存储的方法及模块 Download PDF

Info

Publication number
CN114090532A
CN114090532A CN202111327214.6A CN202111327214A CN114090532A CN 114090532 A CN114090532 A CN 114090532A CN 202111327214 A CN202111327214 A CN 202111327214A CN 114090532 A CN114090532 A CN 114090532A
Authority
CN
China
Prior art keywords
file
mirror image
layer
data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111327214.6A
Other languages
English (en)
Other versions
CN114090532B (zh
Inventor
周会群
王玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinyida Computing Technology Co ltd
Original Assignee
Nanjing Xinyida Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinyida Computing Technology Co ltd filed Critical Nanjing Xinyida Computing Technology Co ltd
Priority to CN202111327214.6A priority Critical patent/CN114090532B/zh
Publication of CN114090532A publication Critical patent/CN114090532A/zh
Application granted granted Critical
Publication of CN114090532B publication Critical patent/CN114090532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/176Support for shared access to files; File sharing support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45575Starting, stopping, suspending or resuming virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于Linux操作系统跨体系构造镜像存储的方法;S1、通过网关实现对跨体系平台进行连接;S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理;S3、形成docker镜像;S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行;S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理;基于Linux操作系统跨体系构造镜像存储的系统,包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块;本发明通过网关实现对数据信息进行有效的网络传输,能够有效的实现跨系统进行构建镜像存储,便于对数据信息进行操作控制,有效的实现对数据信息进行传输,对数据信息进行降噪和增益处理。

Description

基于Linux操作系统跨体系构造镜像存储的方法及模块
技术领域
本发明属于镜像存储技术领域,具体涉及基于Linux操作系统跨体系构造镜像存储的方法及模块。
背景技术
镜像是一种文件存储形式,是冗余的一种类型,一个磁盘上的数据在另一个磁盘上存在一个完全相同的副本即为镜像。可以把许多文件做成一个镜像文件,与GHOST等程序放在一个盘里用GHOST等软件打开后,又恢复成许多文件,RAID1和RAID10使用的就是镜像。常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD,所谓镜像文件其实和ZIP压缩包类似,它将特定的一系列文件按照一定的格式制作成单一的文件,以方便用户下载和使用,例如一个测试版的操作系统、游戏等。镜像文件不仅具有ZIP压缩包的“合成”功能,它最重要的特点是可以被特定的软件识别并可直接刻录到光盘上。其实通常意义上的镜像文件可以再扩展一下,在镜像文件中可以包含更多的信息。比如说系统文件、引导文件、分区表信息等,这样镜像文件就可以包含一个分区甚至是一块硬盘的所有信息。使用这类镜像文件的经典软件就是Ghost,它同样具备刻录功能,不过它的刻录仅仅是将镜像文件本身保存在光盘上,而通常意义上的刻录软件都可以直接将支持的镜像文件所包含的内容刻录到光盘上,然而市面上各种的镜像存储仍存在各种各样的问题。
如授权公告号为CN103324474B所公开的基于Linux操作系统跨体系构造ISO的方法及模块,其虽然实现了通过将Linux操作系统中某一种体系下制作ISO安装文件的方法作为原型,然后进行二次开发与迁移以构造出一种适用于Linux操作系统中跨体系制作ISO安装文件的方法,但是并未解决现有镜像存储在跨系统上进行存储的启动和运行,并且不能够实现对数据文件进行有效的编辑和处理,以及进行传输等的问题,为此我们提出基于Linux操作系统跨体系构造镜像存储的方法及模块。
发明内容
本发明的目的在于提供基于Linux操作系统跨体系构造镜像存储的方法及模块,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:基于Linux操作系统跨体系构造镜像存储的方法,包括有以下方法步骤:
S1、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
S3、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
优选的,所述S1中通过网关建立的共享文件网关是基于云平台建立的,且在建立云平台共享文件的时候,云存储网关要提供共享地址,并且进行挂载方式进行设定,挂载方式包括有读写和只读方式,云存储网关还提供挂载路径。
优选的,所述S2中的镜像文件格式包括有ISO、BIN、IMG、TAO、DAO、CIF和FCD,并且在进行格式转换的时候,被转换的镜像文件中包含有音、视频文件信息,则进行高级转换,选择所要转换的轨道,数据轨道将被转换为ISO文件,音乐轨道将被转换为WAV文件,视频轨道将被转换为DAT文件,且BIN格式和ISO格式能够实现相互转换。
优选的,所述S3中的lower层,也就是镜像层,它是一个只读层;在lower层右上层是一个upper层,upper层是容器的读写层,upper层采用了写实复制的机制,也就是说只有对某些文件需要进行修改的时候才会从lower层把这个文件拷贝上来,之后所有的修改操作都会对upper层的副本进行修改;upper层并列的有一个workdir层,workdir层的作用是充当一个中间层的作用,也就是说,当对upper层里面的副本进行修改时,会先放到workdir层内,然后再从workdir层移到upper层里面去;最上面的是mergedir层,是一个统一视图层,从mergedir层里面看到upper层和lower层中所有数据的整合,然后docker exec到容器里面,看到一个文件系统其实就是mergedir层的统一视图层。
优选的,所述docker镜像容器刚创建出来的时候,upper层其实是空的,这个时候如果去读的话,所有数据都是从lower层读来的,overlay的upper层有一个写实数据的机制,对一些文件需要进行操作的时候,overlay会去做一个copy up的动作,然后会把文件从lower层拷贝上来,之后的一些写修改都会对这个部分进行操作,overlay里面其实是没有真正的删除操作的,它所谓的删除其实是通过对文件进行标记,然后从最上层的统一视图层去看,看到这个文件如果做标记,就会让这个文件显示出来,然后就认为这个文件是被删掉的。
优选的,所述删除操作对文件进行标识,这个标记有两种方式:一种是whiteout的方式;第二种就是通过设置目录的一个扩展权限,通过设置扩展参数来做到目录的删除。
优选的,所述S4中的LXC工具启动容器进行资源调配的两种方法:
直接修改配置文件:
LXCLXC工具启动容器的配置文件是lxc.conf,LXC工具启动容器配置项都是以key=value的形式,LXC工具启动容器采用cgroup系统来对容器进行资源管理,因此cgroup的各个子系统均能够使用,一个完成的配置文件包括cgroup部分、network部分、rootfs部分;
使用相关命令行工具:
LXC工具启动容器采用cgroup来对容器进行资源管理,并且所有cgroup子系统的配置参数均通过lxc-cgroup命令进行动态获得或者调整。
优选的,所述S5中的添加文件:向镜像文件中添加文件的方法是,从资源管理器中拖动文件或文件夹至WinISO镜像文件处理工具的主程序窗口中,或单击“添加”按钮即可,最后单击工具栏的保存按钮保存镜像;
删除文件:从当前镜像文件中删除文件,首先选取要删除的文件或者文件夹,然后单击鼠标右键,执行“删除”命令,完成后,单击工具栏的保存按钮;
从ISO/BIN文件中提取文件:需要镜像文件中的某一个文件,那么就采用提取的方法,选中你需要的文件,然后点鼠标右键,或者是单击工具栏上的“提取”按钮,选“提取”,会打开一个“提取文件”对话框,单击按钮选择保存路径,并在下方“文件”栏中选择提取的类型为当前被“选择文件”,完成后单击“确定”按钮。
基于Linux操作系统跨体系构造镜像存储的系统,包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块,在运行的时候,通过LXC工具启动容器和WinISO镜像文件处理工具实现对镜像的数据文件进行处理,且LXC工具启动容器实现对数据传输通道进行启动,并且实现数据的传输,且WinISO镜像文件处理工具用于实现对数据信息进行编辑处理,实现对数据信息进行编辑文件、添加文件、删除文件和提取文件,然后文件通过存储网关进行传输,且在进行存储网关进行传输的时候通过数据调用接口进行连接,并且在传输之前通过数据接收模块、数据除噪模块和数据增益进行处理,保持数据信息在进行传输时的稳定性。
优选的,所述数据除噪模块包括有人工检查、统计模型、分箱、聚类和回归;所述统计模型采用的是3个标准差原则进行去噪或使用四分位差,所述3个标准差原则的正态分布中,σ为标准差,μ为均值,x=μ为图像的对称轴,3σ准则为:
数值分布在(μ-σ,μ+σ)中的概率为0.6827;
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545;
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973;
认为,一个正态分布的数据集的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%;
所述数据增益模块的计算方法:假设有两个类,P和N,假设集合S中含有p个类别为P的样本,n个类别为N的样本,将S的熵:
Figure BDA0003347321370000051
假设使用属性A将把集合S划分成V份{S1,S2...SV},
如果Si中包含Pi个类别为P的样本,ni个类别为N的样本,那么熵就是:
Figure BDA0003347321370000061
在A上进行分枝所获得的编码信息,即信息增益为:
Gain(A)=I(p,n)-E(A)。
与现有技术相比,本发明的有益效果是:
(1)本发明通过网关实现对数据信息进行有效的网络传输,能够有效的实现跨系统进行构建镜像存储,并且设有WinISO镜像文件处理工具可以实现对需要镜像的数据信息进行有效的处理,使得数据信息能够便于进行操作控制,并且采用LXC工具启动容器进行有效的驱动,能够通过另一种方式实现对数据信息进行删除操作,进而能够有效的实现跨体系构造镜像存储的过程,能够实现对镜像进行操作使用。
(2)本发明能够有效的实现对数据信息进行传输,在进行数据信息传输的时候,能够通过存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块形成稳定的传输通道,并且能够实现对数据信息进行降噪和增益处理,进而有效的提高数据信息在进行镜像存储的时候,不会造成丢失和错乱。
附图说明
图1为本发明的方法步骤流程示意图;
图2为本发明的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:基于Linux操作系统跨体系构造镜像存储的方法,包括有以下方法步骤:
S1、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
S3、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
为了实现对镜像存储能够形成共享,本实施例中,优选的,所述S1中通过网关建立的共享文件网关是基于云平台建立的,且在建立云平台共享文件的时候,云存储网关要提供共享地址,并且进行挂载方式进行设定,挂载方式包括有读写和只读方式,云存储网关还提供挂载路径。
为了实现对镜像存储的数据信息进行格式的转换,本实施例中,优选的,所述S2中的镜像文件格式包括有ISO、BIN、IMG、TAO、DAO、CIF和FCD,并且在进行格式转换的时候,被转换的镜像文件中包含有音、视频文件信息,则进行高级转换,选择所要转换的轨道,数据轨道将被转换为ISO文件,音乐轨道将被转换为WAV文件,视频轨道将被转换为DAT文件,且BIN格式和ISO格式能够实现相互转换。
为了有效的形成镜像存储空间,并且提高存储空间的利用效率和安全性,本实施例中,优选的,所述S3中的lower层,也就是镜像层,它是一个只读层;在lower层右上层是一个upper层,upper层是容器的读写层,upper层采用了写实复制的机制,也就是说只有对某些文件需要进行修改的时候才会从lower层把这个文件拷贝上来,之后所有的修改操作都会对upper层的副本进行修改;upper层并列的有一个workdir层,workdir层的作用是充当一个中间层的作用,也就是说,当对upper层里面的副本进行修改时,会先放到workdir层内,然后再从workdir层移到upper层里面去;最上面的是mergedir层,是一个统一视图层,从mergedir层里面看到upper层和lower层中所有数据的整合,然后docker exec到容器里面,看到一个文件系统其实就是mergedir层的统一视图层。
为了实现对对数据文件进行操作控制调节,本实施例中,优选的,所述docker镜像容器刚创建出来的时候,upper层其实是空的,这个时候如果去读的话,所有数据都是从lower层读来的,overlay的upper层有一个写实数据的机制,对一些文件需要进行操作的时候,overlay会去做一个copy up的动作,然后会把文件从lower层拷贝上来,之后的一些写修改都会对这个部分进行操作,overlay里面其实是没有真正的删除操作的,它所谓的删除其实是通过对文件进行标记,然后从最上层的统一视图层去看,看到这个文件如果做标记,就会让这个文件显示出来,然后就认为这个文件是被删掉的,所述删除操作对文件进行标识,这个标记有两种方式:一种是whiteout的方式;第二种就是通过设置目录的一个扩展权限,通过设置扩展参数来做到目录的删除。
为了实现对数据文件资源的调配具有多样性,本实施例中,优选的,所述S4中的LXC工具启动容器进行资源调配的两种方法:
直接修改配置文件:
LXCLXC工具启动容器的配置文件是lxc.conf,LXC工具启动容器配置项都是以key=value的形式,LXC工具启动容器采用cgroup系统来对容器进行资源管理,因此cgroup的各个子系统均能够使用,一个完成的配置文件包括cgroup部分、network部分、rootfs部分;
使用相关命令行工具:
LXC工具启动容器采用cgroup来对容器进行资源管理,并且所有cgroup子系统的配置参数均通过lxc-cgroup命令进行动态获得或者调整。
为了实现通过WinISO镜像文件处理工具对数据信息进行处理,本实施例中,优选的,所述S5中的添加文件:向镜像文件中添加文件的方法是,从资源管理器中拖动文件或文件夹至WinISO镜像文件处理工具的主程序窗口中,或单击“添加”按钮即可,最后单击工具栏的保存按钮保存镜像;
删除文件:从当前镜像文件中删除文件,首先选取要删除的文件或者文件夹,然后单击鼠标右键,执行“删除”命令,完成后,单击工具栏的保存按钮;
从ISO/BIN文件中提取文件:需要镜像文件中的某一个文件,那么就采用提取的方法,选中你需要的文件,然后点鼠标右键,或者是单击工具栏上的“提取”按钮,选“提取”,会打开一个“提取文件”对话框,单击按钮选择保存路径,并在下方“文件”栏中选择提取的类型为当前被“选择文件”,完成后单击“确定”按钮。
参考图2,基于Linux操作系统跨体系构造镜像存储的系统,包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块,在运行的时候,通过LXC工具启动容器和WinISO镜像文件处理工具实现对镜像的数据文件进行处理,且LXC工具启动容器实现对数据传输通道进行启动,并且实现数据的传输,且WinISO镜像文件处理工具用于实现对数据信息进行编辑处理,实现对数据信息进行编辑文件、添加文件、删除文件和提取文件,然后文件通过存储网关进行传输,且在进行存储网关进行传输的时候通过数据调用接口进行连接,并且在传输之前通过数据接收模块、数据除噪模块和数据增益进行处理,保持数据信息在进行传输时的稳定性。
为了有效的实现对数据信息的传输进行降噪和增益处理,本实施例中,优选的,所述数据除噪模块包括有人工检查、统计模型、分箱、聚类和回归;所述统计模型采用的是3个标准差原则进行去噪或使用四分位差,所述3个标准差原则的正态分布中,σ为标准差,μ为均值,x=μ为图像的对称轴,3σ准则为:
数值分布在(μ-σ,μ+σ)中的概率为0.6827;
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545;
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973;
认为,一个正态分布的数据集的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%;
所述数据增益模块的计算方法:假设有两个类,P和N,假设集合S中含有p个类别为P的样本,n个类别为N的样本,将S的熵:
Figure BDA0003347321370000101
假设使用属性A将把集合S划分成V份{S1,S2...SV},
如果Si中包含Pi个类别为P的样本,ni个类别为N的样本,那么熵就是:
Figure BDA0003347321370000111
在A上进行分枝所获得的编码信息,即信息增益为:
Gain(A)=I(p,n)-E(A)。
本发明的工作原理及使用流程:
第一步、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
第二步、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
第三步、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
第四步、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
第五步、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于Linux操作系统跨体系构造镜像存储的方法,其特征在于,包括有以下方法步骤:
S1、通过网关实现对跨体系平台进行连接:在需要进行构建镜像存储容器之前,先通过网关实现对平台进行连接,并且通过存储网关的共享实现创建一个文件网关,在Linux操作系统通过showmount命令,查看Linux客户端是否访问到云存储网关的nfs共享;
S2、建立WinISO镜像文件处理工具,实现对文件进行有效的处理:在Linux操作系统进行WinISO镜像文件处理工具的下载和运行,实现对镜像的文件进行有效的处理,使得镜像文件在进行传输处理的时候能够便捷快速的进行运行处理;
S3、形成docker镜像:联合文件系统对每一层文件系统设置三种权限,只读、读写和写出,但是docker镜像中每一层文件系统都是只读的,且docker镜像中包括有lower层、upper层、workdir层和mergedir层;
S4、采用LXC工具启动容器,实现对docker镜像的存储容器进行启动运行:通过LXC工具启动容器,使得docker镜像的存储容器能够实现写入,然后通过WinISO镜像文件处理工具,实现对Linux操作系统平台的上的存储树上的存储文件进行存储到docker镜像的存储容器,完成对镜像存储的操作;
S5、WinISO镜像文件处理工具对docker镜像的存储容器内的数据信息进行处理:WinISO镜像文件处理工具创建ISO文件,在WinISO镜像文件处理工具主界面创建新文件,并且将需要镜像存储的文件进行拖入,在再选择保存路径并命名后,WinISO镜像文件处理工具建立一个ISO文件了;编辑镜像文件,在编辑之前需要首先打开一个镜像文件,包括有添加文件、删除文件和提取文件。
2.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S1中通过网关建立的共享文件网关是基于云平台建立的,且在建立云平台共享文件的时候,云存储网关要提供共享地址,并且进行挂载方式进行设定,挂载方式包括有读写和只读方式,云存储网关还提供挂载路径。
3.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S2中的镜像文件格式包括有ISO、BIN、IMG、TAO、DAO、CIF和FCD,并且在进行格式转换的时候,被转换的镜像文件中包含有音、视频文件信息,则进行高级转换,选择所要转换的轨道,数据轨道将被转换为ISO文件,音乐轨道将被转换为WAV文件,视频轨道将被转换为DAT文件,且BIN格式和ISO格式能够实现相互转换。
4.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S3中的lower层,也就是镜像层,它是一个只读层;在lower层右上层是一个upper层,upper层是容器的读写层,upper层采用了写实复制的机制,也就是说只有对某些文件需要进行修改的时候才会从lower层把这个文件拷贝上来,之后所有的修改操作都会对upper层的副本进行修改;upper层并列的有一个workdir层,workdir层的作用是充当一个中间层的作用,也就是说,当对upper层里面的副本进行修改时,会先放到workdir层内,然后再从workdir层移到upper层里面去;最上面的是mergedir层,是一个统一视图层,从mergedir层里面看到upper层和lower层中所有数据的整合,然后docker exec到容器里面,看到一个文件系统其实就是mergedir层的统一视图层。
5.根据权利要求4所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述docker镜像容器刚创建出来的时候,upper层其实是空的,这个时候如果去读的话,所有数据都是从lower层读来的,overlay的upper层有一个写实数据的机制,对一些文件需要进行操作的时候,overlay会去做一个copy up的动作,然后会把文件从lower层拷贝上来,之后的一些写修改都会对这个部分进行操作,overlay里面其实是没有真正的删除操作的,它所谓的删除其实是通过对文件进行标记,然后从最上层的统一视图层去看,看到这个文件如果做标记,就会让这个文件显示出来,然后就认为这个文件是被删掉的。
6.根据权利要求5所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述删除操作对文件进行标识,这个标记有两种方式:一种是whiteout的方式;第二种就是通过设置目录的一个扩展权限,通过设置扩展参数来做到目录的删除。
7.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S4中的LXC工具启动容器进行资源调配的两种方法:
直接修改配置文件:
LXCLXC工具启动容器的配置文件是lxc.conf,LXC工具启动容器配置项都是以key=value的形式,LXC工具启动容器采用cgroup系统来对容器进行资源管理,因此cgroup的各个子系统均能够使用,一个完成的配置文件包括cgroup部分、network部分、rootfs部分;
使用相关命令行工具:
LXC工具启动容器采用cgroup来对容器进行资源管理,并且所有cgroup子系统的配置参数均通过lxc-cgroup命令进行动态获得或者调整。
8.根据权利要求1所述的基于Linux操作系统跨体系构造镜像存储的方法,其特征在于:所述S5中的添加文件:向镜像文件中添加文件的方法是,从资源管理器中拖动文件或文件夹至WinISO镜像文件处理工具的主程序窗口中,或单击“添加”按钮即可,最后单击工具栏的保存按钮保存镜像;
删除文件:从当前镜像文件中删除文件,首先选取要删除的文件或者文件夹,然后单击鼠标右键,执行“删除”命令,完成后,单击工具栏的保存按钮;
从ISO/BIN文件中提取文件:需要镜像文件中的某一个文件,那么就采用提取的方法,选中你需要的文件,然后点鼠标右键,或者是单击工具栏上的“提取”按钮,选“提取”,会打开一个“提取文件”对话框,单击按钮选择保存路径,并在下方“文件”栏中选择提取的类型为当前被“选择文件”,完成后单击“确定”按钮。
9.基于Linux操作系统跨体系构造镜像存储的系统,其特征在于:包括有存储网关、数据调用接口、数据接收模块、数据除噪模块和数据增益模块,在运行的时候,通过LXC工具启动容器和WinISO镜像文件处理工具实现对镜像的数据文件进行处理,且LXC工具启动容器实现对数据传输通道进行启动,并且实现数据的传输,且WinISO镜像文件处理工具用于实现对数据信息进行编辑处理,实现对数据信息进行编辑文件、添加文件、删除文件和提取文件,然后文件通过存储网关进行传输,且在进行存储网关进行传输的时候通过数据调用接口进行连接,并且在传输之前通过数据接收模块、数据除噪模块和数据增益进行处理,保持数据信息在进行传输时的稳定性。
10.根据权利要求9所述的基于Linux操作系统跨体系构造镜像存储的系统,其特征在于:所述数据除噪模块包括有人工检查、统计模型、分箱、聚类和回归;所述统计模型采用的是3个标准差原则进行去噪或使用四分位差,所述3个标准差原则的正态分布中,σ为标准差,μ为均值,x=μ为图像的对称轴,3σ准则为:
数值分布在(μ-σ,μ+σ)中的概率为0.6827;
数值分布在(μ-2σ,μ+2σ)中的概率为0.9545;
数值分布在(μ-3σ,μ+3σ)中的概率为0.9973;
认为,一个正态分布的数据集的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%;
所述数据增益模块的计算方法:假设有两个类,P和N,假设集合S中含有p个类别为P的样本,n个类别为N的样本,将S的熵:
Figure FDA0003347321360000051
假设使用属性A将把集合S划分成V份{S1,S2...SV},
如果Si中包含Pi个类别为P的样本,ni个类别为N的样本,那么熵就是:
Figure FDA0003347321360000052
在A上进行分枝所获得的编码信息,即信息增益为:
Gain(A)=I(p,n)-E(A)。
CN202111327214.6A 2021-11-10 2021-11-10 基于Linux操作系统跨体系构造镜像存储的方法及模块 Active CN114090532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111327214.6A CN114090532B (zh) 2021-11-10 2021-11-10 基于Linux操作系统跨体系构造镜像存储的方法及模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111327214.6A CN114090532B (zh) 2021-11-10 2021-11-10 基于Linux操作系统跨体系构造镜像存储的方法及模块

Publications (2)

Publication Number Publication Date
CN114090532A true CN114090532A (zh) 2022-02-25
CN114090532B CN114090532B (zh) 2024-05-14

Family

ID=80299581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111327214.6A Active CN114090532B (zh) 2021-11-10 2021-11-10 基于Linux操作系统跨体系构造镜像存储的方法及模块

Country Status (1)

Country Link
CN (1) CN114090532B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106091A (zh) * 2013-01-31 2013-05-15 深圳市开立科技有限公司 一种基于可移动存储介质的操作系统的启动系统和方法
CN103324474A (zh) * 2013-05-22 2013-09-25 中标软件有限公司 基于Linux操作系统跨体系构造ISO的方法及模块
CN105094924A (zh) * 2015-08-21 2015-11-25 华为技术有限公司 镜像文件的导入方法及装置
US20180146069A1 (en) * 2016-11-18 2018-05-24 Sap Se Efficient application build/deployment for distributed container cloud platform
CN109508225A (zh) * 2018-11-15 2019-03-22 珠海市知安全科技有限公司 一种windows操作系统下的应用容器系统
CN111399865A (zh) * 2020-04-21 2020-07-10 贵州新致普惠信息技术有限公司 一种基于容器技术自动构建目标文件的方法
US20210271657A1 (en) * 2020-02-27 2021-09-02 Falconstor, Inc. Virtual storage container for data storage and archiving

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106091A (zh) * 2013-01-31 2013-05-15 深圳市开立科技有限公司 一种基于可移动存储介质的操作系统的启动系统和方法
CN103324474A (zh) * 2013-05-22 2013-09-25 中标软件有限公司 基于Linux操作系统跨体系构造ISO的方法及模块
CN105094924A (zh) * 2015-08-21 2015-11-25 华为技术有限公司 镜像文件的导入方法及装置
US20180146069A1 (en) * 2016-11-18 2018-05-24 Sap Se Efficient application build/deployment for distributed container cloud platform
CN109508225A (zh) * 2018-11-15 2019-03-22 珠海市知安全科技有限公司 一种windows操作系统下的应用容器系统
US20210271657A1 (en) * 2020-02-27 2021-09-02 Falconstor, Inc. Virtual storage container for data storage and archiving
CN111399865A (zh) * 2020-04-21 2020-07-10 贵州新致普惠信息技术有限公司 一种基于容器技术自动构建目标文件的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABENI, L. ET AL.: "Container-based real-time scheduling in the Linux kernel", JOURNAL INFORMATION, pages 33 - 38 *
张延冬;邢艳芳;: "基于Docker的运维平台设计", 计算机时代, no. 04, pages 16 - 18 *
耿朋;陈伟;魏峻;: "面向Dockerfile的容器镜像构建工具", 计算机系统应用, no. 11, pages 14 - 21 *

Also Published As

Publication number Publication date
CN114090532B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US8965840B2 (en) Automatic synchronization conflict resolution
JP5349484B2 (ja) リアルタイムコラボレーションの間のデータ及びローカル計算のプライベートビュー
US8214406B2 (en) Backup of incremental metadata in block based backup systems
US7860907B2 (en) Data processing
US6789094B2 (en) Method and apparatus for providing extended file attributes in an extended attribute namespace
KR101099297B1 (ko) 전자파일의 제1 버전과 제2 버전을 동기화하기 위한 방법 및 컴퓨터 판독가능 기록 매체
CN104050216B (zh) 用于定制化资源分配的文件系统管理器
US20080215836A1 (en) Method of managing time-based differential snapshot
US20080256137A1 (en) Method and system for data processing with data replication for the same
CN102339321A (zh) 具有版本控制的网络文件系统及方法
CA2447516A1 (en) Management and synchronization application for network file system
US20080016107A1 (en) Data processing
US7499904B2 (en) System and method for client mastered replication of local files
US8090925B2 (en) Storing data streams in memory based on upper and lower stream size thresholds
US8707005B2 (en) Data control systems for virtual environments
JP5232406B2 (ja) 情報処理装置及び方法
EP1480130B1 (en) Method and apparatus for moving data between storage devices
CN110008197B (zh) 一种数据处理方法、系统及电子设备和存储介质
CN108427728A (zh) 元数据的管理方法、设备及计算机可读介质
CN106155832B (zh) 一种数据恢复的方法、装置及Android设备
CN114003569A (zh) 一种qcow2镜像文件增量更新方法及装置
CN100594480C (zh) 复制设备、复制方法和块标识数据获取方法
US8176087B2 (en) Data processing
CN110633250A (zh) 资源管理系统和方法
CN103841178A (zh) 网络附连存储环境的带内管理的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant