CN115037800A - 基于微隔离的生物信息学容器的构建系统及构建方法 - Google Patents
基于微隔离的生物信息学容器的构建系统及构建方法 Download PDFInfo
- Publication number
- CN115037800A CN115037800A CN202210953574.5A CN202210953574A CN115037800A CN 115037800 A CN115037800 A CN 115037800A CN 202210953574 A CN202210953574 A CN 202210953574A CN 115037800 A CN115037800 A CN 115037800A
- Authority
- CN
- China
- Prior art keywords
- resource
- server
- data
- software
- management server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
- G16B50/30—Data warehousing; Computing architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45587—Isolation or security of virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Biotechnology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种基于微隔离的生物信息学容器的构建系统及构建方法,构建系统至少包括:策略生成服务器、策略分发服务器、管理服务器和从服务器,策略生成服务器用于获取资源需求,并根据资源需求,确定与资源需求对应的资源访问策略;策略分发服务器用于对资源需求进行分类,得到不同类型资源,将与不同类型资源对应的资源访问策略发送至对应的管理服务器;管理服务器用于根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信,使用微隔离技术对数据进行分区,提升安全性;对软件进行隔离,提升兼容性;对计算资源进行隔离,保证计算资源的合法使用,按需连接各个隔离区,完成一系列的分析。
Description
技术领域
本申请属于生物信息技术领域,尤其涉及一种基于微隔离的生物信息学容器的构建系统及构建方法。
背景技术
目前生物信息学分析中遇到的问题包括:软件众多,软件在同一环境中易相互冲突;分析流程依赖于第三方软件,第三方软件相当于一个黑盒子,无法保证其不会修改重要数据,并且第三方软件可能占用过多的计算资源,导致别的程序,分析流程无法获得计算资源而分析受阻,目前解决以上几个问题主要的方法有:docker,conda,pbs等。
Docker是云计算环境中常用的应用容器,其依赖的技术是linux命名空间,控制组群cgroup和特有的存储驱动Union File System,通过命名空间和UnionFS为每个容器创建其独有的文件视图,通过控制组群限制容器内的CPU和内存资源使用。Docker又称为集装箱技术,提供的主要功能为在迁移软件时,将环境一并打包,提高了软件的可迁移性。但是docker的主要问题在于docker将文件和参考软件一起集成到同一个container中,用户难以自由选择软件与参考文件,并且许多生物信息学分析软件并没有提供docker版,要在docker安装需要耗费用户大量精力。
Conda是一个在生物分析领域和机器学习领域常用的软件管理和版本控制软件,主要用来隔离不同版本的软件和相互冲突的软件。其原理为对系统内环境变量的管理,conda通过环境管理所有软件,一个环境对应着系统变量,环境的切换相当于重置环境变量。包括软件的搜索路径,依赖库的默认路径等。将相互冲突的软件安装在不同环境内,根据上述原理,通过系统环境的不同屏蔽相互冲突的软件路径,从而达到软件兼容。但是conda只对软件进行管理,无法对数据进行管理,所以无法保证数据安全性。同时conda也无法限制各个流程计算资源,单个分析流程有可能占用整个系统的资源,导致别的一些流程饿死。
PBS是一个作业提交和调度系统,用于集群的作业提交和作业调度,用于管理cpu和内存资源,但是PBS依赖于公共存储,由于用了公共存储,公共存储里常出现软件冲突的问题,租户和用户提交任何分析流程时,整个公共存储对于流程都是可见的,数据安全性问题无法得到有效解决。同时PBS对于计算资源的限制是软限制,实际资源的使用量有可能会超过其申请的资源量。
发明内容
本申请意在提供一种基于微隔离的生物信息学容器的构建系统及构建方法,以解决现有技术中存在的不足,本申请要解决的技术问题通过以下技术方案来实现。
本申请实施例第一方面提供一种基于微隔离的生物信息学容器的构建系统,该构建系统至少包括:策略生成服务器、策略分发服务器、管理服务器和从服务器,其中,所述策略分发服务器分别与所述策略生成服务器和多个所述管理服务器相连,所述管理服务器与一个或多个从服务器相连;其中:
所述策略生成服务器用于获取资源需求,并根据所述资源需求,确定与所述资源需求对应的资源访问策略;
所述策略分发服务器用于对所述资源需求进行分类,得到不同类型资源,将与所述不同类型资源对应的资源访问策略发送至对应的管理服务器;
所述管理服务器用于根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信。
可选地,所述管理服务器至少包括数据管理服务器、软件管理服务器和计算资源管理服务器,所述数据管理服务器用于管理数据集群,所述数据集群存储着用户或租户需要用到的具体数据;所述软件管理服务器用于管理软件集群,所述软件集群存储着进行生物信息分析需要用到的软件,程序和脚本;所述计算资源管理服务器用于管理计算集群,所述计算集群用于提供计算时需要用到的硬件资源;
所述策略分发服务器用于将数据资源访问策略发送至所述数据管理服务器;将软件资源访问策略发送至所述软件管理服务器;将计算资源访问策略发送至所述计算资源服务器。
可选地,所述数据管理服务器上设置有数据隔离区,所述数据管理服务器用于管理数据并且执行数据资源访问策略,并根据资源需求 开放对应的数据隔离区,以使满足资源需求的数据包通过;
所述软件管理服务器上设置有软件隔离区,所述软件管理服务器用于对软件进行分析管理,执行软件资源访问策略,并根据资源需求开放所述软件隔离区;
所述计算资源管理服务器上设置有资源区,且所述资源区域与所述数据隔离区和所述软件隔离区相通,所述计算机资源管理服务器用于对计算机的处理单元和内存资源进行分析处理,并执行计算资源访问策略。
可选地,所述从服务器上设置有虚拟机,所述每个虚拟机为单一的隔离区。
可选地,所述数据管理服务器用于接收到数据资源访问策略后,执行所述数据资源访问策略,为数据隔离区开启传输层端口,执行数据访问控制规则。
可选地所述软件管理服务器用于接收到软件资源访问策略后,执行所述软件资源访问策略,为软件隔离区分配套接字端口,执行软件访问控制规则和认证服务,并生成环境初始化脚本。
可选地,所述计算资源管理服务器用于接收到计算资源访问策略,执行所述计算资源访问策略,从隔离区中划分相应的处理单元和内存资源,所述处理单元和所述内存资源用于构建生物信息学容器。
可选地,所述系统至少包括:身份认证服务器,所述身份认证服务器与所述策略生成服务器相连,所述身份认证服务器用于通过口令对租户终端或者用户终端进行身份验证和票据分发,并接收策略生成服务器返回的权限描述。
可选地,所述各个隔离区设置有宿主服务器,所述宿主服务器用于对隔离区的处理单元和内存资源进行监控,得到资源使用情况的数据文件,并将所述数据文件发送至对应的管理服务器。
本申请实施例第二方面提供一种第一方面所述的基于微隔离的生物信息学容器的构建系统的构建方法,所述方法包括:
在用户终端通过身份认证的情况下,获取资源需求;
根据所述资源需求,确定与所述资源需求对应的资源访问策略;
对所述资源需求进行分类,得到不同类型资源,将与所述不同类型资源对应的资源访问策略发送至对应的管理服务器,以使管理服务器根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信。
本申请实施例包括以下优点:
本申请实施例提供的基于微隔离的生物信息学容器的构建系统及构建方法,构建系统至少包括:策略生成服务器、策略分发服务器、管理服务器和从服务器,其中,策略分发服务器分别与策略生成服务器和多个管理服务器相连,管理服务器与一个或多个从服务器相连;其中:策略生成服务器用于获取资源需求,并根据资源需求,确定与资源需求对应的资源访问策略;策略分发服务器用于对资源需求进行分类,得到不同类型资源,将与不同类型资源对应的资源访问策略发送至对应的管理服务器;管理服务器用于根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信,使用微隔离技术对数据进行分区,提升安全性;对软件进行隔离,提升兼容性;对计算资源进行隔离,保证计算资源的合法使用,按需连接各个隔离区,完成一系列的分析。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例中一种基于微隔离的生物信息学容器的构建系统的结构示意图;
图2为本申请一实施例中基于微隔离技术的网络拓扑图;
图3为本申请一实施例中基于微隔离技术的生物学容器实例;
图4为本申请一实施例基于微隔离技术的生物学容器构建系统的用户使用流程。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请的一种基于微隔离的生物信息学容器的构建系统的结构示意图,构建系统至少包括:策略生成服务器101、策略分发服务器102、管理服务器103和从服务器104,其中,策略分发服务器分别与策略生成服务器和多个管理服务器相连,管理服务器与一个或多个从服务器相连;其中:
策略生成服务器用于获取资源需求,并根据资源需求,确定与资源需求对应的资源访问策略;
策略分发服务器用于对资源需求进行分类,得到不同类型资源,将与不同类型资源对应的资源访问策略发送至对应的管理服务器;
管理服务器用于根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信。
微隔离策略生成服务器接收用户需求,并且根据不同的用户需求即资源需求确定对应的资源访问策略,将不同的资源访问策略发送至微隔离策略执行服务器,微隔离策略执行服务器将各个具体策略分发给数据管理服务器,软件管理服务器,计算资源服务器,由具体的管理服务器执行具体的策略内容。
可选地,数据管理服务器上设置有数据隔离区,数据管理服务器用于管理数据并且执行数据资源访问策略,并根据资源需求 开放对应的数据隔离区,以使满足资源需求的数据包通过;
软件管理服务器上设置有软件隔离区,软件管理服务器用于对软件进行分析管理,执行软件资源访问策略,并根据资源需求开放软件隔离区;
计算资源管理服务器上设置有资源区,且资源区域与数据隔离区和软件隔离区相通,计算机资源管理服务器用于对计算机的处理单元和内存资源进行分析处理,并执行计算资源访问策略。
可选地,从服务器上设置有虚拟机,每个虚拟机为单一的隔离区。
可选地,数据管理服务器用于接收到数据资源访问策略后,执行数据资源访问策略,为数据隔离区开启传输层端口,执行数据访问控制规则。
数据管理服务器接收到策略执行服务器执行要求后,为相应的隔离区开启传输层端口,赋予实际的访问控制规则,同时设置认证服务。
可选地,软件管理服务器用于接收到软件资源访问策略后,执行软件资源访问策略,为软件隔离区分配套接字端口,执行软件访问控制规则和认证服务,并生成环境初始化脚本。
软件管理服务器接收到策略执行服务器的执行数据包后,为相应的隔离区分配套接字端口,赋予实际的访问控制规则和认证服务,同时生成环境初始化脚本。
可选地,计算资源管理服务器用于接收到计算资源访问策略,执行计算资源访问策略,从隔离区中划分相应的处理单元和内存资源,处理单元和内存资源用于构建生物信息学容器。
计算资源管理服务器收到执行服务器的执行数据包后,在相应的从隔离区中划分相应的CPU处理单元和内存资源用于构建生物信息学容器。
完成了CPU和内存资源的容器构建之后,进行相应软件隔离区和数据隔离区身份认证,并且将相应隔离区的资源通过网络导入到容器内,最后执行软件隔离区导出的软件初始化脚本。
可选地,该系统至少包括:身份认证服务器,身份认证服务器与策略生成服务器相连,身份认证服务器用于通过口令对租户终端或者用户终端进行身份验证和票据分发,并接收策略生成服务器返回的权限描述。
身份认证服务器,对租户或者用户进行身份验证和票据分发,租户和用户使用口令进行身份认证。而身份认证服务器以密文的形式将权限描述票据返回给租户或用户。
用户给获得身份认证服务器返回的权限信息和票据之后,将容器资源需求和票据信息发送微隔离策略生成服务器,微隔离策略生成服务器对比票据和用户需求,如果是不合法的需求则拒绝提供服务,如果认证通过,由于原来的架构中所需资源都处于隔离状态,为了构建容器,需要连通不同的隔离区,为此微隔离策略生成服务器则需要根据用户需求生成相互连通的策略,使得隔离区能进行数据通信。
可选地,各个隔离区设置有宿主服务器,宿主服务器用于对隔离区的处理单元和内存资源进行监控,得到资源使用情况的数据文件,并将数据文件发送至对应的管理服务器。
具体的,各个隔离区的宿主机对隔离区进行监控,包括,CPU和内存资源的监控,数据文件修改记录,用户登录记录,系统重要文件操作记录,网络流量IO使用情况。
各个隔离区的宿主服务器将监视相应的资源使用情况并且将各个操作细节记录成日志,并且反馈给相应的管理服务器;管理服务器实时监控资源使用情况,处理异常流量,入侵流量。
完成容器的构建之后,用户可以通过各种方式对容器进行访问,包括:ssh远程登录,流程描述语言wdl发送流程执行请求,网页端console shellinabox,VNC终端。
图2为本申请一实施例中基于微隔离技术的网络拓扑图;微隔离技术主要用来隔离数据中心内部不同服务器或不同虚拟机之间的数据流量,保证计算中心内部流量安全。而生物信息学中的分析通常需要的资源包括:
分析程序资源,其中包括有分析脚本,分析程序,分析软件,为了简单起见,以下统称为生物信息学分析软件,生物信息学分析软件提供了生物信息学分析的方法论,算法,同时提供具体实现方式,这一部分资源存放在软件从服务中的虚拟机内部,每一个虚拟机有着一套独特的软件环境,一个虚拟机内部软件不会相互冲突,软件的安装由专门的运维人员执行;
数据资源,包括有参考文件和用户输入输出文件,其中参考文件是存放的生物信息学分析中一些公用的变量,序列或者标准,为了保证后续分析的正确性,参考文件是只读文件,分析流程不能对参考文件进行修改;用户输入文件是租户或者用户进行分析时原始数据文件,输出文件则是结果文件,对于输入输出文件用户是归属于用户本身,用户应该拥有这些文件的所有权限,但是对于系统内的一些重要文件,或不属于当前用户的文件,将数据资源存放在数据从服务器当中的虚拟机当中;
计算资源,包括有CPU和内存资源,实际的计算力,不同的分析流程需要的计算资源不同,为了保证计算资源的安全,计算安全范畴,划分给用户无法使用超过其申请的资源,并且已分配给特定用户无法被强行夺走。
为了保证传输速率,各个服务器的网卡支持光模块,网络设备(交换机,路由器等)支持万兆网络。每个从服务器安装虚拟kvm,由管理员为软件,数据和计算资源进行划分,制造各个虚拟机实例,并将各个资源封装在虚拟机内,虚拟机的网络使用NAT模式,默认情况下外部机器无法访问,并且虚拟机相互之间无法访问。
微隔离策略生成服务器接收用户的资源需求,同时维护着整个计算中心的资源总体视图,包括整个计算中心内CPU使用情况,内存使用情况,服务器带宽,磁盘空间等,验证用户使用资源的限额是否超标,计算中心有剩余的资源是否满足用户需求,如果资源分配成功,则将资源需求写成多条目录发送到微隔离策略执行服务器中,例如,用户需求8个核的CPU,64G内存,参考文件hg38,40G的磁盘空间,其使用json作为数据格式,具体为:
{
{cpu:8},
{mem:64G},
{ref_file:hg38},
{disk: 40G}
}
微隔离策略执行服务器,获得微隔离策略生成服务器的信息后,将各个资源项抽离成单独的资源项,同时分发到各个管理服务器。
每个管理服务器管理着一个集群或几个集群,集群的每台机子都是从服务器,从服务器运行资源监控模块和代理网关服务器,资源监控分为两部分,一是虚拟机的文件系统,二是虚拟机的CPU使用率,内存使用率,硬盘IO,网络IO。实现也分为两部分,一是实时监控虚拟机文件系统的宿主文件,定时使用增量算法得到每个时间间隔文件系统内文件的改动情况;二是实现linux的一个模块,获得主机上的资源与kvm资源中的对应关系,并且写入到文件中,同时设置阈值报警的监控器,部分资源使用触碰到阈值的时候通过SMTP服务向管理员发送实时信息。对于代理网关服务器,用来执行微隔离策略执行服务器中发送过来的微隔离策略,验证策略的正确性之后,在从服务器中设置虚拟机的端口映射,并且设置访问权限。
每个管理服务器记录着其管理的从服务器的资源使用情况,计算管理服务器使用堆排序算法实现优先队列进行目标从服务器的选择,优先系数为:一个固定的系数除以从服务器正在使用的虚拟机数量乘以剩余资源的量化数值,遍历队列,找到第一个符合用户需求的从服务器,创建虚拟机。对于数据服务器,剩余资源量化值与IO使用量成反比,对于参考文件找到队列里第一个包含参考文件的,对于用户输入输出文件,找到第一个磁盘空间够的虚拟机且用户有访问权限的。由于对于软件资源,其带宽不需要很高,所以使用哈希算法即可得到用户需求;对于以上返回的资源,都需要进行权限检查。返回创建返回值给计算资源管理服务器和微隔离策略执行服务器,如果是创建成功,微策略执行服务器给每个虚拟机分配独立的ip和相应服务需要的端口,并且发送开放端口请求到相应的管理服务器,管理服务器再发送到从服务器,从服务器开放设置虚拟机的ip,并且进行将虚拟机网络设置成bridge模式,并且在代理网关中设置访问控制规则,使访问流量能通过代理网关。
微隔离策略生成服务器用于生成各个资源访问策略;
微隔离策略分发服务器用于将策略下发到执行服务器中。
可选地,管理服务器至少包括数据管理服务器、软件管理服务器和计算资源管理服务器,数据管理服务器用于管理数据集群,数据集群存储着用户或租户需要用到的具体数据;软件管理服务器用于管理软件集群,软件集群存储着进行生物信息分析需要用到的软件,程序和脚本;计算资源管理服务器用于管理计算集群,计算集群用于提供计算时需要用到的硬件资源;
策略分发服务器用于将数据资源访问策略发送至数据管理服务器;将软件资源访问策略发送至软件管理服务器;将计算资源访问策略发送至计算资源服务器。
所有管理服务器都管理着一个集群,集群内的机器称为从服务器,从服务器提供具体的资源;包括:数据管理服务器管理着数据集群,数据集群存储着用户或租户需要用到的具体数据;软件管理服务器管理着软件集群,软件集群存储着进行生物信息分析需要用到的软件,程序,脚本等;计算资源管理服务器管理计算集群,计算集群提供计算时需要用到的硬件资源,主要包括CPU,内存,缓存等,(计算资源管理服务器,所述计算资源管理服务器用于管理分析时所需的CPU和内存资源,并且执行CPU和内存相关的策略)。
通过微隔离提供数据访问控制规则,保证实现最小特权原则,用户只能操作需要用到的数据,对于无关数据通过微隔离对用户不可见;软件资源,通过微隔离技术,隔离相互不兼容的软件,提升了软件的兼容性;对于计算资源,通过微隔离技术保证最小特权原则,保证各个租户和用户无法看到和占用另外的资源,限制其计算能力。
将微隔离策略生成与微隔离策略执行进行功能性的解耦,用微隔离策略生成服务器处理策略生成任务,用微隔离策略执行服务器执行策略并监控策略实际的执行情况,提高需求处理能力和并发量,微隔离策略生成服务器实时响应用户,而微隔离执行服务器将执行策略,并且将需与管理服务器进行通信,分发策略执行任务,并且实时监控执行情况。
微隔离策略生成服务器将新增加的待执行策略下发到策略执行服务器中,策略执行服务器将策略内容进行分类,抽离成各个资源相关的消息,其中包括有数据相关资源,软件相关资源,和计算资源相关资源,并且将各自封装成相应的数据包,将各个数据包发送到各个管理服务器当中。
图3为本申请一实施例中基于微隔离技术的生物学容器实例;主体在资源虚拟机上,数据和软件都是通过网络连接,组成一套完整的系统,数据流量都通过代理网关,客户端通过计算管理代理网关连接到生物信息容器中,进行操作。
图4为本申请一实施例基于微隔离技术的生物学容器构建系统的用户使用流程。首先,用户通过用户认证服务器进行用户身份的验证,用户认证服务器使用kerbores协议用户或租户进行身份验证,用户提供用户名和账号信息,认证服务器将当前用户能使用的资源限额作为票据返回给用户,用户拿到资源限额票据之后,将票据和需求一同发给微隔离策略生成服务器,微隔离策略生成服务器发起生物信息学容器构建流程,并且将构建成功与否的结果返回给客户端,微隔离服务器进行外部端口申请,同时将访问端口返回给客户端。客户端可通过ssh,vnc等方式登入容器中,上传数据,进行生物信息学分析操作,完成分析后下载分析结果文件。
然后,通过一个服务进程记录用户对各个虚拟机的操作记录,每个记录保存3个月,方便问题发生时进行日志审核,并且对虚拟机设置触发器,当修改量到达一定时,进行快照操作,方便数据恢复,同理快照也是保存3个月。
本申请实施例还提供一种上述的基于微隔离的生物信息学容器的构建系统的构建方法,该方法包括:
在用户终端通过身份认证的情况下,获取资源需求;
根据资源需求,确定与资源需求对应的资源访问策略;
对资源需求进行分类,得到不同类型资源,将与不同类型资源对应的资源访问策略发送至对应的管理服务器,以使管理服务器根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信。
具体地,租户和用户使用口令向身份认证服务器发起身份认证;假如验证通过,身份认证服务器以密文的形式将权限描述票据返回给租户或用户。
租户或用户将资源需求发送至微隔离策略生成服务器;
微隔离策略生成服务器将新增策略发送至策略执行服务器;
微隔离执行服务器将资源相关进行分类抽离,并且将数据资源相关的策略发送至数据管理服务器;将软件资源相关的策略发送至软件管理服务器;将计算资源相关的策略发送至计算资源服务器;
数据管理服务器开放相应的数据隔离区,允许符合要求的访问流量通过;
软件管理服务器按需开放隔离区;
计算管理服务器划分新的资源区,并且与数据区和软件区相互连接,形成新的生物信息学分析容器;
用户通过终端登录到容器,提交生物分析流程;
各个资源隔离区的宿主机对资源使用情况进行记录。
本申请实施例提供的基于微隔离的生物信息学容器的构建系统及构建方法,构建系统至少包括:策略生成服务器、策略分发服务器、管理服务器和从服务器,其中,策略分发服务器分别与策略生成服务器和多个管理服务器相连,管理服务器与一个或多个从服务器相连;其中:策略生成服务器用于获取资源需求,并根据资源需求,确定与资源需求对应的资源访问策略;策略分发服务器用于对资源需求进行分类,得到不同类型资源,将与不同类型资源对应的资源访问策略发送至对应的管理服务器;管理服务器用于根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信,使用微隔离技术对数据进行分区,提升安全性;对软件进行隔离,提升兼容性;对计算资源进行隔离,保证计算资源的合法使用,按需连接各个隔离区,完成一系列的分析。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
应该指出,上述详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式。此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位,如旋转90度或处于其他方位,并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中,参考了附图,附图形成本文的一部分。在附图中,类似的符号典型地确定类似的部件,除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下,其他实施方案可以被使用,并且可以作其他改变。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于微隔离的生物信息学容器的构建系统,其特征在于,所述构建系统至少包括:策略生成服务器、策略分发服务器、管理服务器和从服务器,其中,所述策略分发服务器分别与所述策略生成服务器和多个所述管理服务器相连,所述管理服务器与一个或多个从服务器相连;其中:
所述策略生成服务器用于获取资源需求,并根据所述资源需求,确定与所述资源需求对应的资源访问策略;
所述策略分发服务器用于对所述资源需求进行分类,得到不同类型资源,将与所述不同类型资源对应的资源访问策略发送至对应的管理服务器;
所述管理服务器用于根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信。
2.根据权利要求1所述的构建系统,其特征在于, 所述管理服务器至少包括数据管理服务器、软件管理服务器和计算资源管理服务器,所述数据管理服务器用于管理数据集群,所述数据集群存储着用户或租户需要用到的具体数据;所述软件管理服务器用于管理软件集群,所述软件集群存储着进行生物信息分析需要用到的软件,程序和脚本;所述计算资源管理服务器用于管理计算集群,所述计算集群用于提供计算时需要用到的硬件资源;
所述策略分发服务器用于将数据资源访问策略发送至所述数据管理服务器;将软件资源访问策略发送至所述软件管理服务器;将计算资源访问策略发送至所述计算资源服务器。
3.根据权利要求2所述的构建系统,其特征在于, 所述数据管理服务器上设置有数据隔离区,所述数据管理服务器用于管理数据并且执行数据资源访问策略,并根据资源需求开放对应的数据隔离区,以使满足资源需求的数据包通过;
所述软件管理服务器上设置有软件隔离区,所述软件管理服务器用于对软件进行分析管理,执行软件资源访问策略,并根据资源需求开放所述软件隔离区;
所述计算资源管理服务器上设置有资源区,且所述资源区域与所述数据隔离区和所述软件隔离区相通,所述计算机资源管理服务器用于对计算机的处理单元和内存资源进行分析处理,并执行计算资源访问策略。
4.根据权利要求1所述的构建系统,其特征在于, 所述从服务器上设置有虚拟机,每个所述虚拟机为单一的隔离区。
5.根据权利要求3所述的构建系统,其特征在于, 所述数据管理服务器用于接收到数据资源访问策略后,执行所述数据资源访问策略,为数据隔离区开启传输层端口,执行数据访问控制规则。
6.根据权利要求3所述的构建系统,其特征在于, 所述软件管理服务器用于接收到软件资源访问策略后,执行所述软件资源访问策略,为软件隔离区分配套接字端口,执行软件访问控制规则和认证服务,并生成环境初始化脚本。
7.根据权利要求3所述的构建系统,其特征在于,所述计算资源管理服务器用于接收到计算资源访问策略,执行所述计算资源访问策略,从隔离区中划分相应的处理单元和内存资源,所述处理单元和所述内存资源用于构建生物信息学容器。
8.根据权利要求1所述的构建系统,其特征在于,所述系统至少包括:身份认证服务器,所述身份认证服务器与所述策略生成服务器相连,所述身份认证服务器用于通过口令对租户终端或者用户终端进行身份验证和票据分发,并接收策略生成服务器返回的权限描述。
9.根据权利要求3所述的构建系统,其特征在于,各个所述隔离区设置有宿主服务器,所述宿主服务器用于对隔离区的处理单元和内存资源进行监控,得到资源使用情况的数据文件,并将所述数据文件发送至对应的管理服务器。
10.一种基于如权利要求1至9任一所述的基于微隔离的生物信息学容器的构建系统的构建方法,其特征在于,所述方法包括:
在用户终端通过身份认证的情况下,获取资源需求;
根据所述资源需求,确定与所述资源需求对应的资源访问策略;
对所述资源需求进行分类,得到不同类型资源,将与所述不同类型资源对应的资源访问策略发送至对应的管理服务器,以使管理服务器根据预先设置的隔离区,与其他管理服务器上的隔离区进行数据通信。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210953574.5A CN115037800B (zh) | 2022-08-10 | 2022-08-10 | 基于微隔离的生物信息学容器的构建系统及构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210953574.5A CN115037800B (zh) | 2022-08-10 | 2022-08-10 | 基于微隔离的生物信息学容器的构建系统及构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115037800A true CN115037800A (zh) | 2022-09-09 |
CN115037800B CN115037800B (zh) | 2022-10-25 |
Family
ID=83129938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210953574.5A Active CN115037800B (zh) | 2022-08-10 | 2022-08-10 | 基于微隔离的生物信息学容器的构建系统及构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115037800B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105045656A (zh) * | 2015-06-30 | 2015-11-11 | 深圳清华大学研究院 | 基于虚拟容器的大数据存储与管理方法 |
US20170070504A1 (en) * | 2015-09-03 | 2017-03-09 | Vmware, Inc. | Access control policy management in a cloud services environment |
CN106559488A (zh) * | 2016-11-24 | 2017-04-05 | 天津市普迅电力信息技术有限公司 | 一种建立租户驱动的电网地理信息空间服务的方法 |
CN106664321A (zh) * | 2014-08-08 | 2017-05-10 | 甲骨文国际公司 | 基于放置策略的计算资源分配 |
US9754122B1 (en) * | 2014-03-21 | 2017-09-05 | Amazon Technologies, Inc. | Isolating tenants executing in multi-tenant software containers |
CN107566184A (zh) * | 2017-09-22 | 2018-01-09 | 天翼电子商务有限公司 | 一种资源统一管理方法及其系统 |
CN109561108A (zh) * | 2019-01-07 | 2019-04-02 | 中国人民解放军国防科技大学 | 一种基于策略的容器网络资源隔离控制方法 |
CN112433822A (zh) * | 2020-12-07 | 2021-03-02 | 北京远为软件有限公司 | 基于三权分立的跨域网络终端虚拟机的实现方法 |
CN114024704A (zh) * | 2020-10-28 | 2022-02-08 | 北京八分量信息科技有限公司 | 一种零信任架构中证书分发方法 |
CN114416301A (zh) * | 2022-01-20 | 2022-04-29 | 广东电网有限责任公司广州供电局 | 数据集合服务容器管理方法 |
-
2022
- 2022-08-10 CN CN202210953574.5A patent/CN115037800B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9754122B1 (en) * | 2014-03-21 | 2017-09-05 | Amazon Technologies, Inc. | Isolating tenants executing in multi-tenant software containers |
CN106664321A (zh) * | 2014-08-08 | 2017-05-10 | 甲骨文国际公司 | 基于放置策略的计算资源分配 |
CN105045656A (zh) * | 2015-06-30 | 2015-11-11 | 深圳清华大学研究院 | 基于虚拟容器的大数据存储与管理方法 |
US20170070504A1 (en) * | 2015-09-03 | 2017-03-09 | Vmware, Inc. | Access control policy management in a cloud services environment |
CN106559488A (zh) * | 2016-11-24 | 2017-04-05 | 天津市普迅电力信息技术有限公司 | 一种建立租户驱动的电网地理信息空间服务的方法 |
CN107566184A (zh) * | 2017-09-22 | 2018-01-09 | 天翼电子商务有限公司 | 一种资源统一管理方法及其系统 |
CN109561108A (zh) * | 2019-01-07 | 2019-04-02 | 中国人民解放军国防科技大学 | 一种基于策略的容器网络资源隔离控制方法 |
CN114024704A (zh) * | 2020-10-28 | 2022-02-08 | 北京八分量信息科技有限公司 | 一种零信任架构中证书分发方法 |
CN112433822A (zh) * | 2020-12-07 | 2021-03-02 | 北京远为软件有限公司 | 基于三权分立的跨域网络终端虚拟机的实现方法 |
CN114416301A (zh) * | 2022-01-20 | 2022-04-29 | 广东电网有限责任公司广州供电局 | 数据集合服务容器管理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115037800B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2020244491B2 (en) | Systems and methods for provisioning and managing an elastic computing infrastructure | |
US11347806B2 (en) | Discovery of containerized platform and orchestration services | |
EP3899752B1 (en) | Discovery of database and related services | |
US9614737B1 (en) | Appliance backnets in dedicated resource environment | |
US20200204443A1 (en) | Discovery of software bus architectures | |
US11265398B2 (en) | Managing client computing systems using distilled data streams | |
US10102018B2 (en) | Introspective application reporting to facilitate virtual machine movement between cloud hosts | |
US20160359911A1 (en) | Trusted public infrastructure grid cloud | |
US20130205028A1 (en) | Elastic, Massively Parallel Processing Data Warehouse | |
US11100199B2 (en) | Automatically detecting misuse of licensed software | |
WO2016018849A1 (en) | Method and system for providing automated self-healing virtual assets | |
US11652708B2 (en) | Policies for analytics frameworks in telecommunication clouds | |
US20120317287A1 (en) | System and method for management of devices accessing a network infrastructure via unmanaged network elements | |
RU2557476C2 (ru) | Аппаратно-вычислительный комплекс с повышенными надежностью и безопасностью в среде облачных вычислений | |
CN117319212B (zh) | 云环境下多租户隔离的密码资源自动化调度系统及其方法 | |
CA3183412A1 (en) | Methods and systems for managing computing virtual machine instances | |
AU2013266420B2 (en) | Pluggable allocation in a cloud computing system | |
Al-Ayyoub et al. | A novel framework for software defined based secure storage systems | |
Zhang et al. | Why do migrations fail and what can we do about it? | |
CN115037800B (zh) | 基于微隔离的生物信息学容器的构建系统及构建方法 | |
US11936544B2 (en) | Use of custom resource definitions for reporting network resource usage of a node cluster | |
US20230214253A1 (en) | Method and system for managing telemetry services for composed information handling systems | |
Marotta | Architectures and Algorithms for Resource Management in Virtualized Cloud Data Centers | |
Udayakumar | Plan and Prepare AVS | |
CN117459411A (zh) | 基于云平台扩展mec近端网管访问的方法和装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |