CN109165191A - 一种基于ai云的容器卷数据上传方法和装置 - Google Patents
一种基于ai云的容器卷数据上传方法和装置 Download PDFInfo
- Publication number
- CN109165191A CN109165191A CN201811059966.7A CN201811059966A CN109165191A CN 109165191 A CN109165191 A CN 109165191A CN 201811059966 A CN201811059966 A CN 201811059966A CN 109165191 A CN109165191 A CN 109165191A
- Authority
- CN
- China
- Prior art keywords
- ftp service
- docker
- container
- data
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种基于人工智能AI云的容器卷数据上传方法和装置，该方法包括：识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录；创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。通过该实施例方案，使用户直接上传数据到容器卷中，方便了用户操作，便于大量数据上传，提高了算法工程师的训练效率。
Description
技术领域
本发明实施例涉及AI云数据处理技术，尤指一种基于AI云的容器卷数据上传方法和装置。
背景技术
在AI(Artificial Intelligence人工智能)时代，算法工程师需要进行大量深度学习任务，通常使用docker容器来作为训练环境，训练数据通常存放到持久化卷中供训练时读取，然后在创建训练环境时将卷挂载到容器中供后续使用；如何将训练数据提前上传到卷中时一个需要面临解决的问题。
发明内容
本发明实施例提供了一种基于AI云的容器卷数据上传方法和装置，能够使用户直接上传数据到容器卷中，方便用户操作，便于大量数据上传，提高算法工程师的训练效率。
为了达到本发明实施例目的，本发明实施例提供了一种基于人工智能AI云的容器卷数据上传方法，所述方法可以包括：
识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录；
创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；
对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。
可选地，在创建带有FTP服务的docker之前，所述方法还可以包括：根据关于docker的初始配置命令，创建所述FTP服务的登录账号，并指定所述FTP服务的可访问目录。
可选地，所述方法还可以包括：将所述FTP服务配置为能够自启动。
可选地，所述创建带有FTP服务的docker可以包括：从预设的镜像仓库中拉取默认的带有FTP服务的docker镜像，根据所述docker镜像创建所述带有FTP服务的docker。
可选地，在识别用户所选择的所述卷中用于存放数据的第一目录之前，所述方法还可以包括：识别出用户所选择的所述卷中的全部目录，供用户从所述全部目录中选出所述第一目录。
可选地，所述对外发布所述FTP服务可以包括：在所述docker创建完成后，启动所述docker时自动执行初始化命令，将所述FTP服务发布出去以映射外网。
本发明实施例还提供了一种基于人工智能AI云的容器卷数据上传装置，所述装置可以包括：卷目录自动识别模块和容器管理模块；
所述卷目录自动识别模块，用于识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录；
所述容器管理模块，用于创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；
所述容器管理模块，还用于对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。
可选地，所述装置还可以包括：容器自动配置模块；
所述容器自动配置模块，用于在所述容器管理模块创建带有FTP服务的docker之前，根据所述容器管理模块发送的关于docker的初始配置命令，创建所述FTP服务的登录账号，并指定所述FTP服务的可访问目录。
可选地，所述容器自动配置模块，还用于将所述FTP服务配置为能够自启动。
可选地，所述容器管理模块创建带有FTP服务的docker可以包括：从预设的镜像仓库中拉取默认的带有FTP服务的docker镜像，根据所述docker镜像创建所述带有FTP服务的docker。
可选地，所述卷目录自动识别模块，还用于在识别用户所选择的所述卷中用于存放数据的第一目录之前，识别出用户所选择的所述卷中的全部目录，供用户从所述全部目录中选出所述第一目录。
可选地，所述容器管理模块对外发布所述FTP服务包括：在所述docker创建完成后，启动所述docker时自动执行初始化命令，将所述FTP服务发布出去以映射外网。
本发明实施例可以包括：识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录；创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。通过该实施例方案，使用户直接上传数据到容器卷中，方便了用户操作，便于大量数据上传，提高了算法工程师的训练效率。
本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。
图1为本发明实施例的基于AI云的容器卷数据上传方法流程图；
图2为本发明实施例的基于AI云的容器卷数据上传装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了达到本发明实施例目的，本发明实施例提供了一种基于人工智能AI云的容器卷数据上传方法，如图1所示，所述方法可以包括S101-S103：
S101、识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录。
在本发明实施例中，当算法工程师要上传数据时，可以首先选择待存放数据的卷，本发明实施例方案可以自动识别出用户(如算法工程师)所选择的卷。
可选地，在识别用户所选择的所述卷中用于存放数据的第一目录之前，所述方法还可以包括：识别出用户所选择的所述卷中的全部目录，供用户从所述全部目录中选出所述第一目录。
在本发明实施例中，可以自动识别出卷中目录，算法工程师选择好数据存放目录，即第一目录，以便选定上传路径。
S102、创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录。
可选地，在创建带有FTP服务的docker之前，所述方法还可以包括：根据关于docker的初始配置命令，创建所述FTP服务的登录账号，并指定所述FTP服务的可访问目录。
在本发明实施例中，算法工程师选择好目录后，系统会自动为用户创建好一个FTP服务，具体地，可以配置好容器启动时要执行的初始化命令：创建FTP登录账号、指定可访问目录(算法工程师手动选择的目录)。
可选地，所述方法还可以包括：将所述FTP服务配置为能够自启动。
在本发明实施例中，配置FTP服务自启动，指定用户可访问目录，配置FTP登录用户名和密码等。
可选地，所述创建带有FTP服务的docker可以包括：从预设的镜像仓库中拉取默认的带有FTP服务的docker镜像，根据所述docker镜像创建所述带有FTP服务的docker。
在本发明实施例中，可以从镜像仓库或镜像仓库管理装置14拉取默认镜像创建容器。拉取的该默认镜像为带有FTP服务的镜像。
S103、对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。
可选地，所述对外发布所述FTP服务可以包括：在所述docker创建完成后，启动所述docker时自动执行初始化命令，将所述FTP服务发布出去以映射外网。
在本发明实施例中，创建好容器后，在容器启动时自动执行初始化命令，并对外发布服务(容器本身互联网协议IP是内部网络，如果外部可访问必须发布成服务映射外网)。
在本发明实施例中，服务发布后，算法工程师可以通过FTP工具将数据上传到卷中。
在本发明实施例中，本发明实施例方案当算法工程师要上传数据时，自动识别出卷中目录，待用户选定上传路径后，系统会自动为用户创建好一个FTP服务并发布出来，并且已经配置好了默认访问权限及访问路径，用户直接通过FTP工具将待上传数据快速上传到卷中目录即可。该实施例方案设计合理的FTP服务自动化发布方法，使得用户可以直接通过FTP工具就可以将大量待训练数据上传到卷中，简便了操作，提高了效率，提高了算法工程师训练速度。
本发明实施例还提供了一种基于人工智能AI云的容器卷数据上传装置1，如图2所示，所述装置可以包括：卷目录自动识别模块11和容器管理模块12；
所述卷目录自动识别模块11，用于识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录。
可选地，所述卷目录自动识别模块11，还用于在识别用户所选择的所述卷中用于存放数据的第一目录之前，识别出用户所选择的所述卷中的全部目录，供用户从所述全部目录中选出所述第一目录。
在本发明实施例中，卷目录自动识别模块11可以自动识别出卷中目录，算法工程师选择好数据存放目录，即第一目录，以便选定上传路径。
在本发明实施例中，当算法工程师要上传数据时，首先选择待存放数据的卷，然后卷目录自动识别模块11将自动识别出卷中目录，算法工程师选择好数据存放目录。
可选地，所述装置还可以包括：容器自动配置模块13；
所述容器自动配置模块13，用于在所述容器管理模块12创建带有FTP服务的docker之前，根据所述容器管理模块12发送的关于docker的初始配置命令，创建所述FTP服务的登录账号，并指定所述FTP服务的可访问目录。
在本发明实施例中，算法工程师选择好目录后，容器管理模块12向容器自动配置模块13获取容器初始配置命令，容器自动配置模块13配置好容器启动时要执行的初始化命令(即容器初始配置命令)：创建FTP登录账号、指定可访问目录(算法工程师手动选择的目录)；容器自动配置模块13配置好该命令后，向容器管理模块12返回容器初始配置命令。
可选地，所述容器自动配置模块13，还用于将所述FTP服务配置为能够自启动。
在本发明实施例中，容器自动配置模块13配置FTP服务自启动，指定用户可访问目录，配置FTP登录用户名和密码等。
可选地，所述容器管理模块12，用于创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录。
可选地，所述容器管理模块12创建带有FTP服务的docker可以包括：从预设的镜像仓库中拉取默认的带有FTP服务的docker镜像，根据所述docker镜像创建所述带有FTP服务的docker。
在本发明实施例中，容器管理模块12可以从镜像仓库管理装置拉取默认镜像创建容器。拉取的该默认镜像为带有FTP服务的镜像。
可选地，所述容器管理模块12，还用于对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。
可选地，所述容器管理模块12对外发布所述FTP服务可以包括：在所述docker创建完成后，启动所述docker时自动执行初始化命令，将所述FTP服务发布出去以映射外网。
在本发明实施例中，容器管理模块12创建好容器后，在容器启动时自动执行初始化命令，并对外发布服务(容器本身互联网协议IP是内部网络，如果外部可访问必须发布成服务映射外网)。
在本发明实施例中，服务发布后，算法工程师可以通过FTP工具将数据上传到卷中。
在本发明实施例中，通过本发明实施例方法和装置可以做到用户直接上传数据到容器卷中，方便用户操作，便于大量数据上传，提高了算法工程师的训练效率。
本发明实施例可以包括：识别用户所选择的待存放数据的卷以及用户所选择的所述卷中用于存放数据的第一目录；创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。通过该实施例方案，使用户直接上传数据到容器卷中，方便了用户操作，便于大量数据上传，提高了算法工程师的训练效率。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种基于人工智能AI云的容器卷数据上传方法，其特征在于，所述方法包括：
识别用户所选择的待存放数据的卷以及用户所选择的卷中用于存放数据的第一目录；
创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；
对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。
2.根据权利要求1所述的基于AI云的容器卷数据上传方法，其特征在于，在创建带有FTP服务的docker之前，所述方法还包括：根据关于docker的初始配置命令，创建所述FTP服务的登录账号，并指定所述FTP服务的可访问目录。
3.根据权利要求2所述的基于AI云的容器卷数据上传方法，其特征在于，所述方法还包括：将所述FTP服务配置为能够自启动。
4.根据权利要求1所述的基于AI云的容器卷数据上传方法，其特征在于，所述创建带有FTP服务的docker包括：从预设的镜像仓库中拉取默认的带有FTP服务的docker镜像，根据所述docker镜像创建所述带有FTP服务的docker。
5.根据权利要求1-4任意一项所述的基于AI云的容器卷数据上传方法，其特征在于，所述对外发布所述FTP服务包括：在所述docker创建完成后，启动所述docker时自动执行初始化命令，将所述FTP服务发布出去以映射外网。
6.一种基于人工智能AI云的容器卷数据上传装置，其特征在于，所述装置包括：卷目录自动识别模块和容器管理模块；
所述卷目录自动识别模块，用于识别用户所选择的待存放数据的卷以及用户所选择的卷中用于存放数据的第一目录；
所述容器管理模块，用于创建带有FTP服务的容器docker；其中，所述FTP服务指定的可访问目录为所述第一目录；
所述容器管理模块，还用于对外发布所述FTP服务，以使外网能访问所述docker，通过所述FTP服务将数据上传到所述卷中。
7.根据权利要求6所述的基于AI云的容器卷数据上传装置，其特征在于，所述装置还包括：容器自动配置模块；
所述容器自动配置模块，用于在所述容器管理模块创建带有FTP服务的docker之前，根据所述容器管理模块发送的关于docker的初始配置命令，创建所述FTP服务的登录账号，并指定所述FTP服务的可访问目录。
8.根据权利要求7所述的基于AI云的容器卷数据上传装置，其特征在于，所述容器自动配置模块，还用于将所述FTP服务配置为能够自启动。
9.根据权利要求6所述的基于AI云的容器卷数据上传装置，其特征在于，所述容器管理模块创建带有FTP服务的docker包括：从预设的镜像仓库中拉取默认的带有FTP服务的docker镜像，根据所述docker镜像创建所述带有FTP服务的docker。
10.根据权利要求6-9任意一项所述的基于AI云的容器卷数据上传装置，其特征在于，所述容器管理模块对外发布所述FTP服务包括：在所述docker创建完成后，启动所述docker时自动执行初始化命令，将所述FTP服务发布出去以映射外网。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811059966.7A CN109165191A (zh) | 2018-09-12 | 2018-09-12 | 一种基于ai云的容器卷数据上传方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811059966.7A CN109165191A (zh) | 2018-09-12 | 2018-09-12 | 一种基于ai云的容器卷数据上传方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109165191A true CN109165191A (zh) | 2019-01-08 |
Family
ID=64894768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811059966.7A Pending CN109165191A (zh) | 2018-09-12 | 2018-09-12 | 一种基于ai云的容器卷数据上传方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109165191A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112615937A (zh) * | 2020-12-28 | 2021-04-06 | 南方电网深圳数字电网研究院有限公司 | 数据传输、数据训练方法、服务器、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102447748A (zh) * | 2010-10-15 | 2012-05-09 | 华为技术有限公司 | 在nat穿越中分配外网互联网协议ip地址的方法及设备、系统 |
| CN105227692A (zh) * | 2015-09-17 | 2016-01-06 | 青岛海信电器股份有限公司 | 一种nat穿越方法及网关设备 |
| CN105630786A (zh) * | 2014-10-27 | 2016-06-01 | 航天信息股份有限公司 | 一种车购税电子档案上传、存储、查询的系统与方法 |
| CN108170511A (zh) * | 2017-12-26 | 2018-06-15 | 深信服科技股份有限公司 | 一种docker镜像获取方法、装置、设备及存储介质 |
| US20180205652A1 (en) * | 2017-01-13 | 2018-07-19 | Citrix Systems, Inc. | Systems and methods to run user space network stack inside docker container while bypassing container linux network stack |
| CN108304270A (zh) * | 2017-12-12 | 2018-07-20 | 中国电子科技集团公司电子科学研究院 | 一种通信方法、设备及计算机可读存储介质 |
-
2018
- 2018-09-12 CN CN201811059966.7A patent/CN109165191A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102447748A (zh) * | 2010-10-15 | 2012-05-09 | 华为技术有限公司 | 在nat穿越中分配外网互联网协议ip地址的方法及设备、系统 |
| CN105630786A (zh) * | 2014-10-27 | 2016-06-01 | 航天信息股份有限公司 | 一种车购税电子档案上传、存储、查询的系统与方法 |
| CN105227692A (zh) * | 2015-09-17 | 2016-01-06 | 青岛海信电器股份有限公司 | 一种nat穿越方法及网关设备 |
| US20180205652A1 (en) * | 2017-01-13 | 2018-07-19 | Citrix Systems, Inc. | Systems and methods to run user space network stack inside docker container while bypassing container linux network stack |
| CN108304270A (zh) * | 2017-12-12 | 2018-07-20 | 中国电子科技集团公司电子科学研究院 | 一种通信方法、设备及计算机可读存储介质 |
| CN108170511A (zh) * | 2017-12-26 | 2018-06-15 | 深信服科技股份有限公司 | 一种docker镜像获取方法、装置、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| CLARENCEP: "无需安装vsftpd,直接使用FTP来管理docker容器中的文件", 《CLARENCEP"S BLOG》 * |
| K. EGEVANG 等: "The IP Network Address Translator (NAT)", 《RFC 1631》 * |
| KK19810703: "常用docker镜像安装", 《CSDN》 * |
| QQ_42694361: "在docker里面搭建FTP服务器", 《CSDN》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112615937A (zh) * | 2020-12-28 | 2021-04-06 | 南方电网深圳数字电网研究院有限公司 | 数据传输、数据训练方法、服务器、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10671284B2 (en) | Placement and movement of sub-units of a storage unit in a tiered storage environment | |
| CN103873307B (zh) | 用于pppoe用户名和密码备份和还原的方法 | |
| US20130238772A1 (en) | Cloud bursting and management of cloud-bursted applications | |
| EP3166321A1 (en) | Playback system group playback control method and terminal | |
| CN108600632A (zh) | 拍照提示方法、智能眼镜及计算机可读存储介质 | |
| CN110427342A (zh) | 一种创建镜像库的方法、设备及可读介质 | |
| CN105187523B (zh) | 一种目录访问方法及装置 | |
| CN109101298B (zh) | Windows跨进程窗口管理方法、存储介质、电子设备及系统 | |
| CN109104317A (zh) | 基于Docker容器的大数据集群自动配置方法及装置 | |
| JP2020107347A (ja) | ファイルパスを記憶し、ローカルファイルにアクセスする方法及び装置 | |
| CN110347946A (zh) | 一种页面展示方法、装置、计算机设备及存储介质 | |
| CN109165191A (zh) | 一种基于ai云的容器卷数据上传方法和装置 | |
| CN104808953B (zh) | 控制数据存储的方法、装置及移动终端 | |
| CN104636102B (zh) | 显示控制方法及电子设备 | |
| CN106155719A (zh) | 一种利用USB装置实现openstack快速部署的方法及系统 | |
| CN108170511A (zh) | 一种docker镜像获取方法、装置、设备及存储介质 | |
| CN105847530A (zh) | 一种为移动终端更换壁纸的方法和装置 | |
| CN109729345A (zh) | 相机仿真调试测试方法及设备 | |
| WO2018152685A1 (en) | Image processing in a vr system | |
| US11289092B2 (en) | Text editing using speech recognition | |
| US20240013557A1 (en) | Systems, methods, and interfaces for identifying coating surfaces | |
| CN110417741A (zh) | 一种过滤安全组的方法和装置 | |
| CN108170688A (zh) | 自动化录入数据的方法及装置 | |
| US20160011814A1 (en) | Choosing a multipath i/o (mpio) path control module (pcm) for a logical unit number (lun) on a host that supports multiple pcms | |
| CN115563071A (zh) | 数据处理方法、系统、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190108 |