CN110991614A - 一种Linux下GPU神经网络深度学习测试方法和系统 - Google Patents
一种Linux下GPU神经网络深度学习测试方法和系统 Download PDFInfo
- Publication number
- CN110991614A CN110991614A CN201911203467.5A CN201911203467A CN110991614A CN 110991614 A CN110991614 A CN 110991614A CN 201911203467 A CN201911203467 A CN 201911203467A CN 110991614 A CN110991614 A CN 110991614A
- Authority
- CN
- China
- Prior art keywords
- gpu
- test
- deep learning
- model
- googlenet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000010998 test method Methods 0.000 title claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013136 deep learning model Methods 0.000 claims abstract description 8
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/24—Marginal checking or other specified testing methods not covered by G06F11/26, e.g. race tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种Linux下GPU神经网络深度学习测试方法，包括以下步骤：S1：搭建测试平台和测试环境的步骤；终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；S2：通过GoogLeNet训练模型的步骤；获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果；S3：编辑GPU卡配置信息的步骤，针对配置中GPU卡数量，编辑相关配置文件；S4：测试GPU卡性能的步骤，根据配置中GPU卡数量、计算运行caffeGooglenet测试时间，进行性能、压力、功耗测试。
Description
技术领域
本发明属于数据处理技术领域，具体涉及一种Linux下GPU神经网络深度学习测试方法和系统。
背景技术
目前服务器领域使用GPU越来越普遍，关于GPU高度的数据处理、浮点运算能力，衍生出神经网络深度学习方案。但是现有技术中的神经网络学习方案在图像识别、数据处理和浮点运算处理领域存在处理效率偏低，处理数据的准确率偏低。
此为现有技术中存在的缺陷和不足；有鉴于此，本申请提供一种Linux下GPU神经网络深度学习测试方法和系统；以解决现有技术中的上述缺陷，是非常有必要的。
发明内容
针对现有技术的上述不足，本发明提供一种Linux下GPU神经网络深度学习测试方法和系统，以解决上述技术问题。
为实现上述目的，本发明给出以下技术方案：
第一方面，本发明提供一种Linux下GPU神经网络深度学习测试方法，包括以下步骤：
S1：搭建测试平台和测试环境的步骤；具体步骤如下：
终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；
添加ulimit-s unlimited命令和nvidia-smi-pm 1命令至/root/.bashrc中；安装配置中GPU最新版驱动程序和CUDA环境；将docker环境copy到系统下，并安装rpm包，指令如下：
#rpm-ivh docker-engine-selinux-1.10.0-1.el7.centos.noarch.rpm；
启动docker环境，指令如下：
#systemctl start docker
#systemctl enable docker
#systemctl start nvidia-docker；
利用docker加载caffe镜像，指令如下：
#docker load-i caffe-mpi-1.tar
#查看镜像加载是否成功docker image；
运行docker caffe-mpi
#nvidia-docker run-it--rm-v/mnt/:/mnt caffe-mpi
注：上步是把物理机系统路径/mnt/共享到docker容器中的路径/mnt/下，目录根据实际环境配置；
进入docker后配置docker环境，指令如下：
#ulimit-s unlimited；
S2：通过GoogLeNet训练模型的步骤；具体包括以下步骤：
访问训练模型(Access the trained model),获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果；
S3：编辑GPU卡配置信息的步骤，具体包括以下步骤：
针对配置中GPU卡数量，编辑相关配置文件；
S4：测试GPU卡性能的步骤，具体包括以下步骤：
根据配置中GPU卡数量、计算运行caffe Googlenet测试时间，进行性能、压力、功耗测试。
第二方面，本发明提供一种Linux下GPU神经网络深度学习测试系统，包括：
搭建测试平台和测试环境模块；该模块中：终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；
添加ulimit-s unlimited命令和nvidia-smi-pm 1命令至/root/.bashrc中；安装配置中GPU最新版驱动程序和CUDA环境；将docker环境copy到系统下，并安装rpm包，指令如下：
#rpm-ivh docker-engine-selinux-1.10.0-1.el7.centos.noarch.rpm；
启动docker环境，指令如下：
#systemctl start docker
#systemctl enable docker
#systemctl start nvidia-docker；
利用docker加载caffe镜像，指令如下：
#docker load-i caffe-mpi-1.tar
#查看镜像加载是否成功docker image；
运行docker caffe-mpi
#nvidia-docker run-it--rm-v/mnt/:/mnt caffe-mpi
注：上步是把物理机系统路径/mnt/共享到docker容器中的路径/mnt/下，目录根据实际环境配置；
进入docker后配置docker环境，指令如下：
#ulimit-s unlimited；
GoogLeNet模型训练模块，该模块中：
访问训练模型(Access the trained model),获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果；
GPU卡配置信息编辑模块，该模块中：针对配置中GPU卡数量，编辑相关配置文件；
GPU卡性能测试模块，该模块中：根据配置中GPU卡数量、计算运行caffeGooglenet测试时间，进行性能、压力、功耗测试。
本发明的有益效果在于，发明针对GPU强大的数据处理、浮点运算能力；采用CAFFE框架中的独特GooleNet深度学习模型，caffe编译过程使用NCCL库，测试在1/2/4/8…卡配置下的深度学习性能、压力和功耗测试。在进行识别任务时，本发明能够降低错误率实现了更高的准确度，同时不需要大量的培训模型数据。新增了GPU卡在服务器领域独特的测试手法；同时增加多样化的方式来测试GPU卡在服务器领域中部件兼容性与应用能力；更能符合GPU在图形方面以及大型矩阵运算使用情景。此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种Linux下GPU神经网络深度学习测试方法的流程图。
图2是本发明提供的一种Linux下GPU神经网络深度学习测试系统的原理框图。
其中，1-搭建测试平台和测试环境模块，2-GoogLeNet模型训练模块，3-c，4-GPU卡性能测试模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供的一种Linux下GPU神经网络深度学习测试方法，包括以下步骤：
S1：搭建测试平台和测试环境的步骤；具体步骤如下：
终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；
添加ulimit-s unlimited命令和nvidia-smi-pm 1命令至/root/.bashrc中；安装配置中GPU最新版驱动程序和CUDA环境；将docker环境copy到系统下，并安装rpm包，指令如下：
#rpm-ivh docker-engine-selinux-1.10.0-1.el7.centos.noarch.rpm；
启动docker环境，指令如下：
#systemctl start docker
#systemctl enable docker
#systemctl start nvidia-docker；
利用docker加载caffe镜像，指令如下：
#docker load-i caffe-mpi-1.tar
#查看镜像加载是否成功docker image；
运行docker caffe-mpi
#nvidia-docker run-it--rm-v/mnt/:/mnt caffe-mpi
注：上步是把物理机系统路径/mnt/共享到docker容器中的路径/mnt/下，目录根据实际环境配置；
进入docker后配置docker环境，指令如下：
#ulimit-s unlimited；
S2：通过GoogLeNet训练模型的步骤；具体包括以下步骤：
访问训练模型(Access the trained model),获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果；
S3：编辑GPU卡配置信息的步骤，具体包括以下步骤：
针对配置中GPU卡数量，编辑相关配置文件；
S4：测试GPU卡性能的步骤，具体包括以下步骤：
根据配置中GPU卡数量、计算运行caffe Googlenet测试时间，进行性能、压力、功耗测试。
实施例2：
如图2所示，本实施例提供一种Linux下GPU神经网络深度学习测试系统，包括：
搭建测试平台和测试环境模块1；该模块中：终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；
添加ulimit-s unlimited命令和nvidia-smi-pm 1命令至/root/.bashrc中；安装配置中GPU最新版驱动程序和CUDA环境；将docker环境copy到系统下，并安装rpm包，指令如下：
#rpm-ivh docker-engine-selinux-1.10.0-1.el7.centos.noarch.rpm；
启动docker环境，指令如下：
#systemctl start docker
#systemctl enable docker
#systemctl start nvidia-docker；
利用docker加载caffe镜像，指令如下：
#docker load-i caffe-mpi-1.tar
#查看镜像加载是否成功docker image；
运行docker caffe-mpi
#nvidia-docker run-it--rm-v/mnt/:/mnt caffe-mpi
注：上步是把物理机系统路径/mnt/共享到docker容器中的路径/mnt/下，目录根据实际环境配置；
进入docker后配置docker环境，指令如下：
#ulimit-s unlimited；
GoogLeNet模型训练模块2，该模块中：
访问训练模型(Access the trained model),获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果；
GPU卡配置信息编辑模块3，该模块中：针对配置中GPU卡数量，编辑相关配置文件；
GPU卡性能测试模块4，该模块中：根据配置中GPU卡数量、计算运行caffeGooglenet测试时间，进行性能、压力、功耗测试。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种Linux下GPU神经网络深度学习测试方法，其特征在于，包括以下步骤：
S1：搭建测试平台和测试环境的步骤；
S2：通过GoogLeNet训练模型的步骤；
S3：编辑GPU卡配置信息的步骤，针对配置中GPU卡数量，编辑相关配置文件；
S4：测试GPU卡性能的步骤。
2.根据权利要求1所述的一种Linux下GPU神经网络深度学习测试方法，其特征在于，所述步骤S1具体包括以下步骤：
终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；
添加ulimit-s unlimited命令和nvidia-smi-pm 1命令至/root/.bashrc中；安装配置中GPU最新版驱动程序和CUDA环境；将docker环境copy到系统下，并安装rpm包。
3.根据权利要求2所述的一种Linux下GPU神经网络深度学习测试方法，其特征在于，所述步骤S2具体包括以下步骤：访问训练模型,获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果。
4.根据权利要求3所述的一种Linux下GPU神经网络深度学习测试方法，其特征在于，所述步骤S4具体包括以下步骤：根据配置中GPU卡数量、计算运行caffe Googlenet测试时间，进行性能、压力、功耗测试。
5.一种Linux下GPU神经网络深度学习测试系统，其特征在于，包括：
搭建测试平台和测试环境模块；该模块中：终止测试平台系统下的所有防火墙服务进程，永久性关闭系统的防火墙服务；
GoogLeNet模型训练模块，该模块中：
访问训练模型,获取模型的具体组成结构，采用CAFFE框架中的GooleNet深度学习模型，caffe编译过程使用NCCL库；将数据进行分类；显示处理GoogleNet问题及打印测试结果；
GPU卡配置信息编辑模块，该模块中：针对配置中GPU卡数量，编辑相关配置文件；
GPU卡性能测试模块，该模块中：根据配置中GPU卡数量、计算运行caffe Googlenet测试时间，进行性能、压力、功耗测试。
6.根据权利要求5所述的一种Linux下GPU神经网络深度学习测试系统，其特征在于，所述搭建测试平台和测试环境模块中，添加ulimit-s unlimited命令和nvidia-smi-pm 1命令至/root/.bashrc中；安装配置中GPU最新版驱动程序和CUDA环境；将docker环境copy到系统下，并安装rpm包。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911203467.5A CN110991614A (zh) | 2019-11-29 | 2019-11-29 | 一种Linux下GPU神经网络深度学习测试方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911203467.5A CN110991614A (zh) | 2019-11-29 | 2019-11-29 | 一种Linux下GPU神经网络深度学习测试方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110991614A true CN110991614A (zh) | 2020-04-10 |
Family
ID=70088413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911203467.5A Withdrawn CN110991614A (zh) | 2019-11-29 | 2019-11-29 | 一种Linux下GPU神经网络深度学习测试方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991614A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022105295A1 (zh) * | 2020-11-19 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 基于nGraph的GPU后端分布式训练方法和系统 |
| WO2022246705A1 (zh) * | 2021-05-26 | 2022-12-01 | 京东方科技集团股份有限公司 | 一种深度学习模型测试的方法、设备及计算机存储介质 |
| US12001960B2 (en) | 2020-11-19 | 2024-06-04 | Inspur Suzhou Intelligent Technology Co., Ltd. | NGraph-based GPU backend distributed training method and system |
-
2019
- 2019-11-29 CN CN201911203467.5A patent/CN110991614A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022105295A1 (zh) * | 2020-11-19 | 2022-05-27 | 苏州浪潮智能科技有限公司 | 基于nGraph的GPU后端分布式训练方法和系统 |
| US12001960B2 (en) | 2020-11-19 | 2024-06-04 | Inspur Suzhou Intelligent Technology Co., Ltd. | NGraph-based GPU backend distributed training method and system |
| WO2022246705A1 (zh) * | 2021-05-26 | 2022-12-01 | 京东方科技集团股份有限公司 | 一种深度学习模型测试的方法、设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106325970A (zh) | 编译方法和编译系统 | |
| US20130117855A1 (en) | Apparatus for automatically inspecting security of applications and method thereof | |
| Luo et al. | A survey of context simulation for testing mobile context-aware applications | |
| CN106371847A (zh) | Windows xp系统下CPCI总线RS422通信驱动方法及系统 | |
| CN110991614A (zh) | 一种Linux下GPU神经网络深度学习测试方法和系统 | |
| CN103631573A (zh) | 可迁移函数执行时间的获得方法及系统 | |
| CN112506779A (zh) | 软件接口测试方法、装置、电子设备及存储介质 | |
| CN109408101A (zh) | 一种用于编程的代码开发维护方法及电子设备 | |
| CN112559355A (zh) | 测试用例的生成方法、装置、电子设备及存储介质 | |
| CN114626069A (zh) | 威胁建模方法及装置 | |
| CN113377661A (zh) | 接口测试方法、装置、电子设备及存储介质 | |
| CN106843947A (zh) | 代码缺陷的处理方法和装置 | |
| CN110637521B (zh) | 一种基于模型仿真的数据实时存储方法和系统 | |
| CN116868193A (zh) | 固件组件标识和漏洞评估 | |
| CN104063306B (zh) | 智能终端软件测试中的自动登录方法、装置和系统 | |
| CN111176924B (zh) | 一种gpu掉卡模拟方法、系统、终端及存储介质 | |
| Ulrich et al. | Operator timing of task level primitives for use in computation-based human reliability analysis | |
| CN116540929A (zh) | 磁盘阵列的虚拟化读取方法、装置、电子设备及存储介质 | |
| CN114461531A (zh) | 测试用例的平台适应性测试方法、装置、设备及存储介质 | |
| CN110362324A (zh) | 一种网卡升级方法及装置 | |
| CN116069650A (zh) | 一种测试用例的生成方法及装置 | |
| CN109947466A (zh) | 一种逆向获取ue4全局对象表的方法及其装置 | |
| CN114398282A (zh) | 测试脚本的生成方法、装置、设备及存储介质 | |
| CN109146558A (zh) | 一种识别虚假运动步数的方法和装置 | |
| CN116775202A (zh) | 模糊测试方法、装置、介质、电子设备及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200410 |