CN110908703A - 一种软件包仓库按需镜像方法、装置及系统 - Google Patents

Abstract

本发明公开了一种面向物理隔离网络环境的软件包仓库按需镜像方法、装置及系统，所述方法包括：在公网上部署一个门户服务器用于收集用户提交的软件包下载请求；在企业外网部署一个软件包仓库按需镜像装置定期生成需要导入内网的软件包增量集合；在企业内网部署一个监控代理用于将软件包增量集合上传合并到企业内网私有软件包仓库。本申请提供的方法和装置实现了官网软件包仓库的按需下载和增量包自动生成，实现了增量包到企业内网私有软件包仓库的自动合并，简化了物理隔离环境下企业内网私有软件包仓库按需镜像过程，为具有高安全保密要求的企业开展软件研发和运维工作带来便捷性。

Description

一种软件包仓库按需镜像方法、装置及系统

技术领域

本发明属于软件包仓库构建技术领域，主要涉及一种面向物理隔离网络环境的软件包仓库按需镜像方法、装置及系统。

背景技术

现代软件开发、运维过程中经常会用到各种各样的软件包，可能是某个成熟的中间件平台、开源框架、操作系统工具，或者第三方提供的功能模块、docker镜像，等等。这些软件包、模块或者容器镜像往往不是孤立的，大多数软件包需要依赖其它更基础的软件模块才能够正常工作；此外，为了彼此协同，软件包之间还必须满足复杂的版本匹配关系。软件包之间的传递依赖和复杂的版本匹配要求，为软件包的解析和获取带来极大复杂性，我们不仅需要确定下载哪些软件包，还需要解决不同依赖源传递依赖导致的软件包版本冲突问题。为了解决这些问题，不同的开发语言和操作系统发行方都建立了官方的软件包仓库并提供相应管理工具，常见的软件包仓库及包管理工具如表1所示：

表1常见软件包仓库及包管理工具

另一方面，官方软件仓库的可用性受到网络连通性和网络速度影响较大。为此，一些商业公司和开源社区还开发了多语言包管理服务软件，方便企业建立私有的软件包仓库，以加快软件包下载速度。常用的多语言包管理服务软件有JFrog公司的Artifactory、Sonatype公司的Nexus。

上述解决方案虽然在大多数情况下很好的解决了软件包的获取问题，但并不适用于内部网络离线的企业和公司。这些企业和公司由于安全保密要求，其内部办公环境与Internet网络物理隔离，因此无法通过包管理工具自动连接官方的软件包仓库。而在公司内网建立的Artifactory或Nexus软件仓库私服，本身缺少软件包，需要人工同步官网数据，这给日常工作带来非常大的不便。困难主要在于，软件仓库的数据存储容量通常都是TB级的，而且随着软件包的不断升级，容量还在不断增大，软件包之间的依赖关系也在不断变化。频繁从外网同步如此大量的数据到企业内网是不实际的；大量用不上的软件包同步到企业内网，也造成了不必要的浪费。

发明内容

本发明的目的在于寻求一种能根据用户需要以增量的方式，从Internet官方软件包仓库向企业内网私有软件仓库同步所需的软件包及其传递依赖包的技术方案，使企业用户能够以与外网完全一致的方式使用包管理工具下载所需软件资源。

为解决物理隔离网络环境下，私有软件包仓库与Internet网官方仓库数据按需同步问题，本发明提供一种面向物理隔离网络环境的软件包仓库按需镜像方法、装置及系统。

本发明第一方面，提出一种面向物理隔离网络环境的软件包仓库按需镜像方法，所述方法包括如下技术方案：

部署一个门户服务器用于收集并转发用户提交的软件包下载请求；

部署一个软件包仓库按需镜像装置接收从所述门户服务器转发过来的软件包下载请求，按需下载软件包并定期生成需要导入企业内网的软件包增量集合；

部署一个监控代理用于将软件包增量集合上传并合并到企业内网私有软件包仓库。

优选地，所述门户服务器部署在Internet公网，拥有公网IP，可以同时连接一个到多个所述软件包仓库按需镜像装置；所述软件包仓库按需镜像装置部署在企业外网，与公网相连但不需要公网IP；所述监控代理部署在企业内网，与公网和企业外网物理隔离。

优选地，所述门户服务器收集并转发用户提交的软件包下载请求，具体包括：

所述门户服务器获取用户许可信息，所述用户许可信息包括设备许可信息和在线连接许可信息；

所述设备许可信息用于所述软件包仓库按需镜像装置注册认证；所述门户服务器根据所述在线连接许可信息，为通过注册的所述软件包仓库按需镜像装置创建一个到多个客户端在线连接许可，所述客户端包括手机微信、手机专用APP和浏览器；所述门户服务器获取所述在线连接许可用于客户端用户身份认证；

所述门户服务器对认证客户端用户展示软件包检索界面，接收认证客户端用户提交的软件包类型信息和检索关键字，并显示符合检索条件的软件包列表；其中，所述显示符合检索条件的软件包列表包括显示软件包类型、名称、版本和软件包状态信息；所述软件包状态信息包括未下载、已下载、已导入；

所述门户服务器从所述认证客户端收集用户软件包下载请求，所述用户软件包下载请求包括从所述符合检索条件的软件包列表中选中的所有所述未下载状态的软件包类型、名称和版本；

所述门户服务器根据所述在线连接许可信息，选择将所述软件包下载请求转发给对应的所述软件包仓库按需镜像装置。

优选地，所述软件包仓库按需镜像装置接收从所述门户服务器转发过来的软件包下载请求，具体包括：

所述软件包仓库按需镜像装置自动与所述门户服务器建立逆向隧道；

所述软件包仓库镜像装置通过所述逆向隧道自动获取从所述门户服务器转发过来的用户软件包下载请求。

优选地，所述逆向隧道采用SSH远程端口转发的方式建立，所述软件包仓库镜像装置不需要公网IP即可通过所述逆向隧道从所述门户服务器获取用户软件包下载请求。

优选地，所述软件包仓库按需镜像装置按需下载软件包并定期生成需要导入企业内网的软件包增量集合，具体包括：

所述软件包仓库按需镜像装置针对各个类型的软件包配置对应的虚拟仓库；所述每个虚拟仓库由本地和远程两个子仓库组成，所述远程子仓库映射到对应语言的官方软件包仓库；

所述软件包仓库按需镜像装置将接收到的用户软件包下载请求转换为对虚拟仓库软件包获取服务的调用；

所述虚拟仓库软件包获取服务先查询本地子仓库，如果软件包已存在则直接返回；如果软件包不存在，所述虚拟仓库软件包获取服务解析软件包依赖关系，生成待下载软件包及其所有依赖软件包的列表，所述虚拟仓库软件包获取服务从远程子仓库映射的官方软件包仓库下载所需软件包及其所有依赖的软件包，并同步到本地子仓库中；

所述软件包仓库按需镜像装置定期自动更新所有本地子仓库中包含的软件包；

所述软件包仓库按需镜像装置定期将所有所述虚拟仓库本地子仓库的增量内容自动打包，并发送到指定的存储设备目录；

所述软件包仓库按需镜像装置向企业信息转换工作人员自动发送手机微信消息或邮件通知。

优选地，所述监控代理实时扫描指定的存储设备目录中的内容变化，当发现新的从外网导入的软件包增量集合时，自动将软件包增量集合上传合并到企业内网私有软件包仓库。

优选地，所述软件包仓库按需镜像装置实时向所述门户服务器发送用户请求软件包的下载和信息转换过程跟踪信息；所述门户服务器向用户实时推送软件包下载和信息转换过程的跟踪信息。

本发明第二方面，提供一种面向物理隔离网络环境的软件包仓库按需镜像装置，所述装置包括：

连接建立模块，用于向门户服务器发送用户许可信息，并建立逆向隧道；

软件包下载请求接收模块，用于接收从所述门户服务器转发过来的软件包下载请求，根据软件包类型信息，将所述软件包下载请求转换为对虚拟仓库软件包获取服务的调用；

软件包仓库存储模块，用于建立多种软件包类型的软件包仓库私服，为每种类型的软件包配置一个虚拟仓库，所述每个虚拟仓库包括本地子仓库和映射到对应语言官的方软件包仓库的远程子仓库；所述软件包的类型包括java、npm、python、docker、centos、debian；

虚拟仓库软件包获取服务，用于解析软件包依赖关系，查询本地子仓库免除不必要的下载，以及从远程子仓库中下载需要的软件包及其所有依赖软件包；

任务调度模块，用于定时或通过事件触发执行自定义任务；

自动同步更新任务，用于从官方软件包仓库自动更新所有本地子仓库中包含的软件包；

增量软件包生成模块，用于将所有虚拟仓库本地子仓库的增量内容自动打包，并发送到指定的存储设备目录；

消息通知模块，用于向信息转换工作人员发生通知消息。

本发明第三方面，提供一种面向物理隔离网络环境的软件包仓库按需镜像系统，所述系统包括：

本发明第二方面所述的软件包仓库按需镜像装置；

门户服务器，用于收集用户提交的软件包下载请求并转发至所述软件包仓库按需镜像装置；

监控代理模块，用于实时扫描指定的存储设备目录中的内容变化，当发现新的从外网导入的软件包增量集合时，自动将软件包增量集合上传合并到企业内网私有软件包仓库；

实时跟踪模块，用于向用户实时推送接收到的软件包下载和信息转换过程的跟踪信息。

本发明的有益效果是：

1、用户不需要建立完整的官方软件包仓库镜像，避免了存储资源浪费；每次仅需导入增量包，大大缩短了外网到内网的信息转换时间；

2、用户通过微信手机APP随时可以发送软件包下载请求，传递依赖的软件包都会一同下载，避免遗漏；

3、用户自己不需要参与外网到内网的信息转换过程，免除了审批流程，大大方便了用户；

4、用户可以通过手机实时跟踪软件包导入进度，免除与信息转换工作员的人工沟通成本，有助于提升用户工作效率；

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的面向物理隔离网络环境的软件包仓库按需镜像原理示意图；

图2为本发明提供的面向物理隔离网络环境的软件包仓库按需镜像装置结构示意图。

具体实施方式

本发明提供一种面向物理隔离网络环境的软件包仓库按需镜像方法、装置及系统，在公网上部署一个门户服务器用于收集用户提交的软件包下载请求；在企业外网部署一个软件包仓库按需镜像装置定期生成需要导入内网的软件包增量集合；在企业内网部署一个监控代理用于将软件包增量集合上传合并到企业内网私有软件包仓库；本发明实现了解决物理隔离网络环境下，私有软件包仓库与Internet网官方仓库数据按需同步。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明提供的面向物理隔离网络环境的软件包仓库按需镜像原理示意图，本发明提供一种面向物理隔离网络环境的软件包仓库按需镜像方法，所述方法包括：

S1、在公有云上部署一台拥有公网IP的门户服务器，该门户服务器由所有企业用户共享，用于收集并转发用户提交的软件包下载请求；；

S2、每个企业在其可以连上Internet网的信息室(企业外网)内部署一台所述软件包仓库按需镜像装置，用于接收从所述门户服务器转发过来的软件包下载请求，按需下载软件包并定期生成需要导入企业内网的软件包增量集合；

S3、在每个企业内网部署一个监控代理软件，用于将软件包增量集合上传并合并到企业内网私有软件包仓库。

进一步的，所述方法的具体实现过程可包括：

提供一个微信小程序和手机APP软件，所述微信小程序和手机APP软件用于用户提交软件包下载请求；所述提交软件包下载请求，其方式可以是通过关键字搜索需要的软件包，从返回结果中选择期望下载的软件包，本地仓库已经下载的软件包不会被重新提交下载请求；

在公有云上部署一台拥有公网IP的门户服务器，所述门户服务器用于收集从所述微信小程序或手机APP上发送过来的软件包下载请求；

在企业可联网的信息室内部署一个软件包仓库按需镜像装置，所述软件包仓库按需镜像装置通过授权许可证在所述门户服务器上进行认证，并自动与所述门户服务器之间建立一个加密的SSH逆向隧道。通过该逆向隧道，所述软件包仓库按需镜像装置不需要外网IP即可获取用户软件包下载请求；

所述软件包仓库镜像装置，其上建立了软件包仓库私服，为Java、Nodejs、Python、Debian Linux等不同类型的软件包分别配置一个虚拟仓库；所述每个虚拟仓库包括本地和远程两个子仓库，其中远程子仓库映射到对应语言的官方软件包仓库，所述每个虚拟仓库包含软件包获取服务模块，用于软件包查询和下载；

所述软件包仓库按需镜像装置将接收到的用户软件包下载请求，转换为对所述虚拟仓库软件包获取服务的调用。所述虚拟仓库软件包获取服务先查询本地子仓库，如果该软件包已存在，则直接返回；如果该软件包不存在，则从远程子仓库映射的官方软件包仓库下载所需软件包及其所有依赖的软件包，并同步到本地子仓库中；

所述软件包仓库按需镜像装置还包含任务调度模块，支持定期自动下载所有本地子仓库中已包含的软件包的最新版本；

所述软件包仓库按需镜像装置定期将所有所述虚拟仓库本地子仓库的增量内容自动打包，并发送到指定的存储设备目录。发送结束后，所述软件包仓库按需镜像装置向企业信息转换工作人员自动发送微信或企业邮件通知；

企业信息转换工作人员接收到通知后，在专门的输入输出中转机上将所述增量包导入企业内网指定的中间机；

所述软件包仓库按需镜像装置，通过逆向隧道实时向所述门户服务器发送用户请求软件包的下载和信息转换过程跟踪信息。所述门户服务器向用户微信小程序和手机APP实时推送软件包下载和信息转换过程的跟踪信息；

所述企业内网中间机上部署一个监控代理。所述监控代理在指定目录中发现新的从外网导入的增量数据包后，自动将增量数据包上传合并到企业内网私有软件包仓库。

图1中还标注了本发明的软件包仓库按需镜像方法的流程示意，包括：

①用户通过手机端或电脑端向公网上的门户服务器提交软件包下载请求；

②门户服务器转发所述下载请求至企业外网的软件包按需镜像装置；

③软件包按需镜像装置根据下载请求调用依赖包解析服务；

④从公网上对应语言的官方软件包仓库中下载软件包及其依赖包；

⑤打包并传送增量软件包至指定的存储设备目录；

⑥软件包仓库按需镜像装置向企业信息转换工作人员发送通知消息；

⑦企业信息转换工作人员上将所述增量包导入企业内网指定的中间机；

⑧内网中转机上的监控代理合并增量软件包并上传至内网软件包仓库私服。

请参阅图2，本发明还提供一种面向物理隔离网络环境的软件包仓库按需镜像装置200，所述装置包括：

连接建立模块210，用于向门户服务器发送用户许可信息，并建立逆向隧道；

软件包下载请求接收模块220，用于接收从所述门户服务器转发过来的软件包下载请求，根据软件包类型信息，将所述软件包下载请求转换为对虚拟仓库软件包获取服务的调用；

软件包仓库存储模块230，用于建立多种软件包类型的软件包仓库私服，为每种类型的软件包配置一个虚拟仓库，所述每个虚拟仓库包括本地子仓库和映射到对应语言官的方软件包仓库的远程子仓库；所述软件包的类型包括java、npm、python、docker、centos、debian；

虚拟仓库软件包获取服务240，用于解析软件包依赖关系，查询本地子仓库免除不必要的下载，以及从远程子仓库中下载需要的软件包及其所有依赖软件包；

任务调度模块250，用于定时或通过事件触发执行自定义任务；

自动同步更新260，用于根据任务调度模块250的调度从官方软件包仓库自动更新所有本地子仓库中包含的软件包；

增量软件包生成模块270，用于根据任务调度模块250的调度将所有虚拟仓库本地子仓库的增量内容自动打包，并发送到指定的存储设备目录；

消息通知模块280，用于根据增量软件包生成模块270的处理结果向信息转换工作人员发送通知消息。

基于以上所述面向物理隔离网络环境的软件包仓库按需镜像装置200，本发明还提供一种面向物理隔离网络环境的软件包仓库按需镜像系统，所述系统包括：

所述软件包仓库按需镜像装置200；

门户服务器100，用于收集用户提交的软件包下载请求并转发至所述软件包仓库按需镜像装置；

监控代理模块300，用于实时扫描指定的存储设备目录中的内容变化，当发现新的从外网导入的软件包增量集合时，自动将软件包增量集合上传合并到企业内网私有软件包仓库；

实时跟踪模块400，用于向用户实时推送接收到的软件包下载和信息转换过程的跟踪信息。

本发明提供的方法、装置、系统实现了官网软件包仓库的按需下载和增量包自动生成，实现了增量包到企业内网私有软件包仓库的自动合并，简化了物理隔离环境下企业内网私有软件包仓库按需镜像过程，为具有高安全保密要求的企业开展软件研发和运维工作带来便捷性。

以上系统实施例与方法实施例是一一对应的，系统实施例简略之处，参见方法实施例即可。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述，在此不再赘述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种软件包仓库按需镜像方法，其特征在于，所述方法包括：

部署一个门户服务器用于收集并转发用户提交的软件包下载请求；

部署一个软件包仓库按需镜像装置接收从所述门户服务器转发过来的软件包下载请求，按需下载软件包并定期生成需要导入企业内网的软件包增量集合；

部署一个监控代理用于将软件包增量集合上传并合并到企业内网私有软件包仓库。

2.根据权利要求1所述软件包仓库按需镜像方法，其特征在于，所述门户服务器部署在Internet公网，拥有公网IP，可以同时连接一个到多个所述软件包仓库按需镜像装置；所述软件包仓库按需镜像装置部署在企业外网，与公网相连但不需要公网IP；所述监控代理部署在企业内网，与公网和企业外网物理隔离。

3.根据权利要求1所述软件包仓库按需镜像方法，其特征在于，所述门户服务器收集并转发用户提交的软件包下载请求，具体包括：

所述门户服务器获取用户许可信息，所述用户许可信息包括设备许可信息和在线连接许可信息；

所述设备许可信息用于所述软件包仓库按需镜像装置注册认证；所述门户服务器根据所述在线连接许可信息，为通过注册的所述软件包仓库按需镜像装置创建一个到多个客户端在线连接许可，所述客户端包括手机微信、手机专用APP和浏览器；所述门户服务器获取所述在线连接许可用于客户端用户身份认证；

所述门户服务器对认证客户端用户展示软件包检索界面，接收认证客户端用户提交的软件包类型信息和检索关键字，并显示符合检索条件的软件包列表；其中，所述显示符合检索条件的软件包列表包括显示软件包类型、名称、版本和软件包状态信息；所述软件包状态信息包括未下载、已下载、已导入；

所述门户服务器从所述认证客户端收集用户软件包下载请求，所述用户软件包下载请求包括从所述符合检索条件的软件包列表中选中的所有所述未下载状态的软件包类型、名称和版本；

所述门户服务器根据所述在线连接许可信息，选择将所述软件包下载请求转发给对应的所述软件包仓库按需镜像装置。

4.根据权利要求1所述软件包仓库按需镜像方法，其，其特征在于，所述软件包仓库按需镜像装置接收从所述门户服务器转发过来的软件包下载请求，具体包括：

所述软件包仓库按需镜像装置自动与所述门户服务器建立逆向隧道；

所述软件包仓库镜像装置通过所述逆向隧道自动获取从所述门户服务器转发过来的用户软件包下载请求。

5.根据权利要求4所述软件包仓库按需镜像方法，其特征在于，所述逆向隧道采用SSH远程端口转发的方式建立，所述软件包仓库镜像装置不需要公网IP即可通过所述逆向隧道从所述门户服务器获取用户软件包下载请求。

6.根据权利要求1所述面向物理隔离网络环境的软件包仓库按需镜像方法，其特征在于，所述软件包仓库按需镜像装置按需下载软件包并定期生成需要导入企业内网的软件包增量集合，具体包括：

所述软件包仓库按需镜像装置针对各个类型的软件包配置对应的虚拟仓库；所述每个虚拟仓库由本地和远程两个子仓库组成，所述远程子仓库映射到对应语言的官方软件包仓库；

所述软件包仓库按需镜像装置将接收到的用户软件包下载请求转换为对所述虚拟仓库软件包获取服务的调用；

所述虚拟仓库软件包获取服务先查询本地子仓库，如果软件包已存在则直接返回；如果软件包不存在，所述虚拟仓库软件包获取服务解析软件包依赖关系，生成待下载软件包及其所有依赖软件包的列表，所述虚拟仓库软件包获取服务从远程子仓库映射的官方软件包仓库下载所需软件包及其所有依赖的软件包，并同步到本地子仓库中；

所述软件包仓库按需镜像装置定期自动更新所有本地子仓库中包含的软件包；

所述软件包仓库按需镜像装置定期将所有所述虚拟仓库本地子仓库的增量内容自动打包，并发送到指定的存储设备目录；

所述软件包仓库按需镜像装置向企业信息转换工作人员自动发送手机微信消息或邮件通知。

7.根据权利要求1所述软件包仓库按需镜像方法，其特征在于，所述监控代理实时扫描指定的存储设备目录中的内容变化，当发现新的从外网导入的软件包增量集合时，自动将软件包增量集合上传合并到企业内网私有软件包仓库。

8.根据权利要求4所述软件包仓库按需镜像方法，其特征在于，所述软件包仓库按需镜像装置通过逆向隧道实时向所述门户服务器发送用户请求软件包的下载和信息转换过程跟踪信息；所述门户服务器向用户实时推送软件包下载和信息转换过程的跟踪信息。

9.一种软件包仓库按需镜像装置，其特征在于，所述装置包括：

连接建立模块，用于向门户服务器发送用户许可信息，并建立逆向隧道；

软件包下载请求接收模块，用于接收从所述门户服务器转发过来的软件包下载请求，根据软件包类型信息，将所述软件包下载请求转换为对虚拟仓库软件包获取服务的调用；

软件包仓库存储模块，用于建立多种软件包类型的软件包仓库私服，为每种类型的软件包配置一个虚拟仓库，所述每个虚拟仓库包括本地子仓库和映射到对应语言官的方软件包仓库的远程子仓库；所述软件包的类型包括java、npm、python、docker、centos、debian；

虚拟仓库软件包获取服务，用于解析软件包依赖关系，查询本地子仓库免除不必要的下载，以及从远程子仓库中下载需要的软件包及其所有依赖软件包；

任务调度模块，用于定时或通过事件触发执行自定义任务；

自动同步更新任务，用于从官方软件包仓库自动更新所有本地子仓库中包含的软件包；

增量软件包生成模块，用于将所有虚拟仓库本地子仓库的增量内容自动打包，并发送到指定的存储设备目录；

消息通知模块，用于向信息转换工作人员发生通知消息。

10.一种使用如权利要求9所述的软件包仓库按需镜像装置的软件包仓库按需镜像系统，其特征在于，所述系统包括：

如权利要求9所述软件包仓库按需镜像装置；

门户服务器，用于收集用户提交的软件包下载请求并转发至所述软件包仓库按需镜像装置；

监控代理模块，用于实时扫描指定的存储设备目录中的内容变化，当发现新的从外网导入的软件包增量集合时，自动将软件包增量集合上传合并到企业内网私有软件包仓库；

实时跟踪模块，用于向用户实时推送软件包下载和信息转换过程的跟踪信息。

Images