CN114330708A - 基于点云数据的神经网络训练方法、系统、介质及设备 - Google Patents
基于点云数据的神经网络训练方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN114330708A CN114330708A CN202111606674.2A CN202111606674A CN114330708A CN 114330708 A CN114330708 A CN 114330708A CN 202111606674 A CN202111606674 A CN 202111606674A CN 114330708 A CN114330708 A CN 114330708A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- point cloud
- neural network
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 175
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于点云数据的神经网络训练方法、系统、介质及设备,方法包括:获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU;由CPU对第一训练数据进行处理,以得到体素数据,并将体素数据传输至GPU;在GPU中利用体素数据对神经网络进行训练;在训练过程中继续从剩余点云数据中提取预设量的点云数据作为第二训练数据,并将第二训练数据传输至CPU以进行处理;响应于由CPU对余下的预设量的点云数据进行处理以得到相应的体素数据并将其传输至GPU,在GPU中利用相应的体素数据对神经网络进行训练,以得到本轮训练结束的神经网络。本发明有效降低了神经网络的训练时间,提高了神经网络的训练效率。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于点云数据的神经网络训练方法、系统、介质及设备。
背景技术
准确的环境感知是自动驾驶汽车在复杂动态环境中能够进行安全驾驶的关键。传统上,相机捕获的图像数据能够提供二维语义和纹理信息,且低成本和高效率。但是图像数据缺少三维地理信息,因此由激光雷达收集的密集的、准确的、具有三维地理信息的点云数据也应用于感知任务中。此外,激光雷达对照明条件的变化不敏感,可以在白天和夜晚工作,即使有强光和阴影干扰。
近些年来,随着深度学习的不断突破和三维点云数据的可及性,3D深度学习在2D深度学习的基础上取得了一系列显著的成果,主要应用于自动驾驶汽车的几个相关任务,例如:语义分割和场景理解,目标检测和目标分类。3D点云目标检测任务主要是通过给定任意点云数据,目标检测能够定位和检测预定义类别的场景实例,并输出他们的三维位置、方向、和语义实例标签,这些信息可以用3D边界框粗略地表示。这些边界框通常由边界框(目标物)中心点三维坐标、边界框的长宽高、边界框的方向、以及它的语义标签表示。
基于激光雷达(lidar)的目标检测方法主要分为四类:基于BEV(bird’s eyeview)、基于camera view、基于point-wise feature和基于融合特征的目标检测方法。这些目标检测方法的流程可以分为如下3个部分:
1)lidar representation:激光雷达点云的特征表达,包括BEV图、camera/rangeview图、point-wise feature、融合特征;
2)network backbone:用于特征提取的主体结构,可以为resnet,vgg等,也包括增强特征的方式,如fpn;
3)Detection head:检测网络输出,包括目标的类别、位置、大小和姿态,以及速度预测等。
其中BEV图由激光雷达点云在XY坐标平面离散化后投影得到,其中需要人为规定离散化时的分辨率,即点云空间多大的长方体范围(Δl*Δw*Δh)对应离散化后的图像的一个像素点(或一组特征向量)。根据Δl*Δw*Δh来生成最后L*W*H大小的BEV特征图,该特征图是network backbone特征提取网络的输入。
现有的一些主流3D点云感知算法训练框架中,主要有参数设置、初始化、数据处理、模型训练这几个部分,但现有的3D点云感知算法训练框架速度较慢,存在优化空间;且在每个训练开始时数据加载较为耗时,导致在多卡训练中性能不佳,多卡扩展率较低。
发明内容
有鉴于此,本发明的目的在于提出一种基于点云数据的神经网络训练方法、系统、介质及设备,用以解决现有技术中用3D点云感知算法训练框架进行神经网络训练时耗时长,导致影响了多卡训练的性能的问题。
基于上述目的,本发明提供了一种基于点云数据的神经网络训练方法,包括以下步骤:
获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU;
由CPU对第一训练数据进行处理,以得到体素数据,并将体素数据传输至GPU;
在GPU中利用体素数据对神经网络进行训练;
在训练过程中继续从剩余点云数据中提取预设量的点云数据作为第二训练数据,并将第二训练数据传输至CPU以进行处理;
响应于由CPU对余下的预设量的点云数据进行处理以得到相应的体素数据并将其传输至GPU,在GPU中利用相应的体素数据对神经网络进行训练,以得到本轮训练结束的神经网络。
在一些实施例中,由CPU对第一训练数据进行处理,以得到体素数据包括:
由CPU对第一训练数据进行预处理,以得到样本数据,并对样本数据进行前向处理,以得到体素数据。
在一些实施例中,获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU包括:
获取点云数据且将其存储至硬盘中,并从硬盘中读取预设量的点云数据至内存中,且将其作为第一训练数据,并将第一训练数据传输至CPU。
在一些实施例中,方法还包括:
继续利用获取的点云数据对本轮训练结束的神经网络进行下一轮训练。
在一些实施例中,获取点云数据包括:
通过激光雷达扫描目标物以获取目标物的点云数据。
在一些实施例中,在GPU中利用体素数据对神经网络进行训练包括:
由GPU将体素数据输入至神经网络中,并经过神经网络的前向计算得到检测框的信息;
基于检测框的信息对神经网络进行训练。
在一些实施例中,检测框的信息包括目标物的位置信息、方向信息及类别信息中的至少一项。
本发明的另一方面,还提供了一种基于点云数据的神经网络训练系统,包括:
第一传输模块,配置用于获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU;
第二传输模块,配置用于由CPU对第一训练数据进行处理,以得到体素数据,并将体素数据传输至GPU;
训练模块,配置用于在GPU中利用体素数据对神经网络进行训练;
并行处理模块,配置用于在训练过程中继续从剩余点云数据中提取预设量的点云数据作为第二训练数据,并将第二训练数据传输至CPU以进行处理;以及
训练结束模块,配置用于响应于由CPU对余下的预设量的点云数据进行处理以得到相应的体素数据并将其传输至GPU,在GPU中利用相应的体素数据对神经网络进行训练,以得到本轮训练结束的神经网络。
本发明的又一方面,还提供了一种计算机可读存储介质,存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述方法。
本发明的再一方面,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该计算机程序被处理器执行时执行上述方法。
本发明至少具有以下有益技术效果:
本发明通过将点云数据转为体素数据的过程设置在CPU中处理,并在GPU利用第一训练数据的体素数据对神经网络进行训练的同时,在CPU中对第二训练数据进行处理,从而实现了异步并行,显著降低了神经网络的训练时间,提高了神经网络的训练效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的基于点云数据的神经网络训练方法的示意图;
图2为根据本发明实施例提供的基于点云数据的神经网络训练系统的示意图;
图3为根据本发明实施例提供的实现基于点云数据的神经网络训练方法的计算机可读存储介质的示意图;
图4为根据本发明实施例提供的执行基于点云数据的神经网络训练方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的,本发明实施例的第一个方面,提出了一种基于点云数据的神经网络训练方法的实施例。图1示出的是本发明提供的基于点云数据的神经网络训练方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:
步骤S10、获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU;
步骤S20、由CPU对第一训练数据进行处理,以得到体素数据,并将体素数据传输至GPU;
步骤S30、在GPU中利用体素数据对神经网络进行训练;
步骤S40、在训练过程中继续从剩余点云数据中提取预设量的点云数据作为第二训练数据,并将第二训练数据传输至CPU以进行处理;
步骤S50、响应于由CPU对余下的预设量的点云数据进行处理以得到相应的体素数据并将其传输至GPU,在GPU中利用相应的体素数据对神经网络进行训练,以得到本轮训练结束的神经网络。
CPU(central processing unit,中央处理器)作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元。
GPU(graphics processing unit,图形处理器),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖,并进行部分原本CPU的工作,尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等。
本发明实施例通过将点云数据转为体素数据的过程设置在CPU中处理,并在GPU利用第一训练数据的体素数据对神经网络进行训练的同时,在CPU中对第二训练数据进行处理,从而实现了异步并行,降低了神经网络的训练时间,提高了神经网络的训练效率。
在一些实施例中,由CPU对第一训练数据进行处理,以得到体素数据包括:由CPU对第一训练数据进行预处理,以得到样本数据,并对样本数据进行前向处理,以得到体素数据。
具体在实现时,可以按照如下步骤:
1、原本的点云数据的输出为X={X点云,X标签,X其它},现将点云输出接口做修改,将点云数据单独提取出来,则输出变为X={X标签,X其它}和X点云;
2、将X点云输入进bev generator模块,得到x体素;
3、将x体素与数据X的格式对齐,转换为X体素,加入到X中,最后得到X={X体素,X标签,X其它},输入给神经网络;
4、另一端神经网络部分,数据输入部分将X中的X体素转换为x体素格式,与bevgenerator模块的输出格式对齐,这样保证后续的network backbone可以接收到可识别的数据格式。
本实施例中,体素是指体积元素(Volume Pixel),包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。一如其名,是数字数据于三维空间分割上的最小单位,体素用于三维成像、科学数据与医学影像等领域。概念上类似二维空间的最小单位——像素,像素用在二维计算机图像的影像数据上。如同像素,体素本身并不含有空间中位置的数据(即它们的坐标),却可以从它们相对于其它体素的位置来推敲,意即它们在构成单一张体积影像的数据结构中的位置。体素用恒定的标量或者向量表示一个立体的区域,体素的边界在于相邻晶格的中间位置。这样,体素仅仅用来表示最邻近的插值,而不用来表示如三次线性、立方等等高次插值,这些情况可以用单元体积分支来表示。
在一些实施例中,获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU包括:获取点云数据且将其存储至硬盘中,并从硬盘中读取预设量的点云数据至内存中,且将其作为第一训练数据,并将第一训练数据传输至CPU。
在一些实施例中,方法还包括:继续利用获取的点云数据对本轮训练结束的神经网络进行下一轮训练。
本实施例中,对获取的点云数据可以进行多轮迭代训练,以将神经网络训练到最佳。
在一些实施例中,获取点云数据包括:通过激光雷达扫描目标物以获取目标物的点云数据。
本实施例中,点云数据应表示为具有N行和至少3列的numpy(Numerical Python,Python的一种开源的数值计算扩展)数组。每行对应于单个点,其在空间(x,y,z)中的位置使用至少3个值表示。如果点云数据来自激光雷达传感器,那么它可能具有每个点的附加值,例如“反射率”,其是在该位置中障碍物反射多少激光光束的量度。在这种情况下,点云数据可能是Nx4阵列。
在一些实施例中,在GPU中利用体素数据对神经网络进行训练包括:由GPU将体素数据输入至神经网络中,并经过神经网络的前向计算得到检测框的信息;基于检测框的信息对神经网络进行训练。
本实施例中,前向计算包括network backbone(骨干网络)和detection head(检测头)。network backbone的过程主要是:体素数据经过卷积神经网络,进行特征提取得到特征图。detection head的过程主要是:特征图经过神经网络,得到n个检测框的参数信息(格式与特征图相像,h*w*7,7维代表边框信息x、y、z、h、w、l、角度)。接下来是损失函数(loss)计算:根据损失函数,将之前计算得到的预测的检测框与真实的检测框进行损失函数计算,得到loss值。最后是神经网络反向计算:由loss值对神经网络中的参数进行反向求导,得到梯度,根据梯度对参数进行更新,从而得到本次训练的神经网络。
在一些实施例中,检测框的信息包括目标物的位置信息、方向信息及类别信息中的至少一项。
在另一实施例中,针对现有框架在每个训练Epoch开始时数据加载较为耗时的问题,设计了新的数据处理方式。一般的数据读取流程中,原始数据存储在磁盘中,首先由CPU对数据进行预处理,为了提高训练效果,需将数据顺序打乱,此时会生成随机数来作为数据读取的索引,从而实现随机读取数据的效果。因为数据从磁盘中直接读取到显卡耗费时间太长,因此在内存中建立缓存池来暂存一部分数据,显卡从内存中读取数据的时间会大大缩短,在训练过程中,缓存池会一边从磁盘中读取数据并作预处理,一边会将处理好的数据传输给显卡,并且缓存池的容量大于训练1个batch所需的数据量(可以是预设量的点云数据),这里设缓存池的容量为2个batch的数据量,当训练进行时,缓存池已提前读取并处理好下一个batch的数据,从而使训练得到加速。
目前现有的数据处理方式,在第一个epoch开始训练时,数据会按照数据打乱后的顺序读取一部分到缓存池,由迭代器不断从缓存池中读取一个batch的数据给模型训练,而缓存池被拿走数据后会再继续从数据库中读取数据,这样可以减少迭代器直接从内存读取数据的时间,但是第一个训练迭代步读取数据时需要等待数据从内存到缓存池到迭代器的过程,所以在epoch开始训练时数据处理的时间会较长,后面的训练迭代步进行时缓存池已经预先读取了数据,所以数据处理时间很短甚至可以忽略不计;当第一个epoch快要结束时,缓存池已将数据全部读取完,不再读取数据,此时这一轮epoch的数据处理已经完成,缓存池不再读取数据,等待迭代器将缓存池的数据读取完后,这一轮epoch训练结束;而当第二个epoch开始时,缓存池会重新开始对数据库进行随机打乱读取,在第一个训练迭代步读取数据时又需要重新等待数据从内存到缓存池到迭代器的过程,所以在每个epoch训练开始时花费的时间会变长。
现有框架之所以在每个epoch都要重新建立一个缓存池,是因为每个epoch都要对数据重新随机打乱,这样才能保证模型训练的泛化能力。针对这一问题,本发明的另一实施例设计了一种新的数据处理方式,即——让所有的epoch共用一个缓存池,但是当上一个epoch的缓存池读取完数据后会生成随机数,返回给缓存池,缓存池根据生成的随机数来作为数据的索引,对数据进行读取,从而实现每个epoch对数据进行不同顺序打乱的读取。同时该方法不需要重新创建缓存池,在上一个epoch快要结束的最后几个训练迭代步时就开始对下一个epoch的数据读取,从而减少甚至消除每个训练Epoch开始时数据加载较为耗时的问题。
该方法减少了每轮epoch训练的时间,对于单卡训练而言,这个时间占比不大,但是对于多卡训练来说,卡数越多,每个epoch的训练时间越短,这部分的时间占比会越来越大导致多卡训练的扩展效率降低,所以该方法提高了多卡训练性能。
上述实施例针对每个训练epoch开始时的数据处理过长问题,优化数据缓存池,并通过提前生成随机数来保证下一轮epoch的数据打乱顺序不同,在不影响模型训练结果的前提下,减少了每个训练epoch开始时的数据处理时间,提高了多卡训练扩展效率。
采用本发明实施例的方法,利用开源数据集KITTI中的点云数据,测试优化前后模型单机多卡的训练实际性能。具体地,优化前测试结果如下:
GPUs | BS/GPU | Sec/Epoch | Images/s | 性能扩展 |
1 | 32 | 269.928 | 27.56 | 1 |
2 | 32 | 231.416 | 51.95 | 1.88 |
4 | 32 | 77.60 | 94.45 | 3.43 |
8 | 32 | 42.86 | 173.22 | 6.29 |
Sec/Epoch是训练的1个Epoch所消耗的平均时间,Images/s是模型每秒可以训练的数据数量,可以看出八卡的性能扩展只达到6.29,扩展效率较低。
通过本发明实施例优化后的测试结果如下:
GPUs | BS/GPU | Sec/Epoch | Images/s | 性能扩展 |
1 | 32 | 189.224 | 39.23 | 1 |
2 | 32 | 96.308 | 77.09 | 1.96 |
4 | 32 | 49.328 | 150.50 | 3.84 |
8 | 32 | 26.505 | 280.10 | 7.14 |
可以看出八卡的性能扩展提高到7.14,优化后扩展性得到提高,并且单卡多卡的训练速度都得到提高。
本发明实施例的第二个方面,还提供了一种基于点云数据的神经网络训练系统。图2示出的是本发明提供的基于点云数据的神经网络训练系统的实施例的示意图。如图2所示,一种基于点云数据的神经网络训练系统包括:第一传输模块10,配置用于获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将第一训练数据传输至CPU;第二传输模块20,配置用于由CPU对第一训练数据进行处理,以得到体素数据,并将体素数据传输至GPU;训练模块30,配置用于在GPU中利用体素数据对神经网络进行训练;并行处理模块40,配置用于在训练过程中继续从剩余点云数据中提取预设量的点云数据作为第二训练数据,并将第二训练数据传输至CPU以进行处理;以及训练结束模块50,配置用于响应于由CPU对余下的预设量的点云数据进行处理以得到相应的体素数据并将其传输至GPU,在GPU中利用相应的体素数据对神经网络进行训练,以得到本轮训练结束的神经网络。
在一些实施例中,第二传输模块20包括体素数据获得模块,配置用于由CPU对第一训练数据进行预处理,以得到样本数据,并对样本数据进行前向处理,以得到体素数据。
在一些实施例中,第一传输模块10进一步配置用于获取点云数据且将其存储至硬盘中,并从硬盘中读取预设量的点云数据至内存中,且将其作为第一训练数据,并将第一训练数据传输至CPU。
在一些实施例中,系统还包括下一轮训练模块,配置用于继续利用获取的点云数据对本轮训练结束的神经网络进行下一轮训练。
在一些实施例中,第一传输模块10包括获取模块,配置用于通过激光雷达扫描目标物以获取目标物的点云数据。
在一些实施例中,训练模块30进一步配置用于由GPU将体素数据输入至神经网络中,并经过神经网络的前向计算得到检测框的信息;基于检测框的信息对神经网络进行训练。
在一些实施例中,检测框的信息包括目标物的位置信息、方向信息及类别信息中的任意一项或多项。
本发明实施例的第三个方面,还提供了一种计算机可读存储介质,图3示出了根据本发明实施例提供的实现基于点云数据的神经网络训练方法的计算机可读存储介质的示意图。如图3所示,计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
应当理解,在相互不冲突的情况下,以上针对根据本发明的基于点云数据的神经网络训练方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的基于点云数据的神经网络训练系统和存储介质。
本发明实施例的第四个方面,还提供了一种计算机设备,包括如图4所示的存储器402和处理器401,该存储器402中存储有计算机程序,该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
如图4所示,为本发明提供的执行基于点云数据的神经网络训练方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例,在该计算机设备中包括一个处理器401以及一个存储器402,并还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息,以及产生与基于点云数据的神经网络训练系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的基于点云数据的神经网络训练方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储基于点云数据的神经网络训练方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的基于点云数据的神经网络训练方法。
最后需要说明的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种基于点云数据的神经网络训练方法,其特征在于,包括以下步骤:
获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将所述第一训练数据传输至CPU;
由所述CPU对所述第一训练数据进行处理,以得到体素数据,并将所述体素数据传输至GPU;
在所述GPU中利用所述体素数据对神经网络进行训练;
在训练过程中继续从剩余点云数据中提取所述预设量的点云数据作为第二训练数据,并将所述第二训练数据传输至所述CPU以进行处理;
响应于由所述CPU对余下的所述预设量的点云数据进行处理以得到相应的体素数据并将其传输至所述GPU,在所述GPU中利用所述相应的体素数据对所述神经网络进行训练,以得到本轮训练结束的神经网络。
2.根据权利要求1所述的方法,其特征在于,由所述CPU对所述第一训练数据进行处理,以得到体素数据包括:
由所述CPU对所述第一训练数据进行预处理,以得到样本数据,并对所述样本数据进行前向处理,以得到体素数据。
3.根据权利要求1所述的方法,其特征在于,获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将所述第一训练数据传输至CPU包括:
获取点云数据且将其存储至硬盘中,并从所述硬盘中读取预设量的点云数据至内存中,且将其作为第一训练数据,并将所述第一训练数据传输至CPU。
4.根据权利要求1所述的方法,其特征在于,还包括:
继续利用获取的所述点云数据对所述本轮训练结束的神经网络进行下一轮训练。
5.根据权利要求1所述的方法,其特征在于,获取点云数据包括:
通过激光雷达扫描目标物以获取所述目标物的点云数据。
6.根据权利要求5所述的方法,其特征在于,在所述GPU中利用所述体素数据对神经网络进行训练包括:
由所述GPU将所述体素数据输入至神经网络中,并经过所述神经网络的前向计算得到检测框的信息;
基于所述检测框的信息对所述神经网络进行训练。
7.根据权利要求6所述的方法,其特征在于,所述检测框的信息包括所述目标物的位置信息、方向信息及类别信息中的至少一项。
8.一种基于点云数据的神经网络训练系统,其特征在于,包括:
第一传输模块,配置用于获取点云数据,并提取其中预设量的点云数据作为第一训练数据,并将所述第一训练数据传输至CPU;
第二传输模块,配置用于由所述CPU对所述第一训练数据进行处理,以得到体素数据,并将所述体素数据传输至GPU;
训练模块,配置用于在所述GPU中利用所述体素数据对神经网络进行训练;
并行处理模块,配置用于在训练过程中继续从剩余点云数据中提取所述预设量的点云数据作为第二训练数据,并将所述第二训练数据传输至所述CPU以进行处理;以及
训练结束模块,配置用于响应于由所述CPU对余下的所述预设量的点云数据进行处理以得到相应的体素数据并将其传输至所述GPU,在所述GPU中利用所述相应的体素数据对所述神经网络进行训练,以得到本轮训练结束的神经网络。
9.一种计算机可读存储介质,其特征在于,存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111606674.2A CN114330708A (zh) | 2021-12-26 | 2021-12-26 | 基于点云数据的神经网络训练方法、系统、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111606674.2A CN114330708A (zh) | 2021-12-26 | 2021-12-26 | 基于点云数据的神经网络训练方法、系统、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114330708A true CN114330708A (zh) | 2022-04-12 |
Family
ID=81013279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111606674.2A Pending CN114330708A (zh) | 2021-12-26 | 2021-12-26 | 基于点云数据的神经网络训练方法、系统、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114330708A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393496A (zh) * | 2022-10-25 | 2022-11-25 | 之江实验室 | 一种多激光雷达仿真点云的快速绘制方法和装置 |
-
2021
- 2021-12-26 CN CN202111606674.2A patent/CN114330708A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393496A (zh) * | 2022-10-25 | 2022-11-25 | 之江实验室 | 一种多激光雷达仿真点云的快速绘制方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111328396B (zh) | 用于图像中的对象的姿态估计和模型检索 | |
CN112052839B (zh) | 图像数据处理方法、装置、设备以及介质 | |
CN109960742B (zh) | 局部信息的搜索方法及装置 | |
US20210264144A1 (en) | Human pose analysis system and method | |
EP3499414B1 (en) | Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification | |
Yang et al. | A multi-task Faster R-CNN method for 3D vehicle detection based on a single image | |
CN111127631B (zh) | 基于单图像的三维形状和纹理重建方法、系统及存储介质 | |
CN109919145B (zh) | 一种基于3d点云深度学习的矿卡检测方法及系统 | |
Bui et al. | Point-based rendering enhancement via deep learning | |
US20220319146A1 (en) | Object detection method, object detection device, terminal device, and medium | |
CN112651881A (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
CN114330708A (zh) | 基于点云数据的神经网络训练方法、系统、介质及设备 | |
CN114820463A (zh) | 点云检测和分割方法、装置,以及,电子设备 | |
CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
CN114170231A (zh) | 基于卷积神经网络的图像语义分割方法、装置及电子设备 | |
US20220301176A1 (en) | Object detection method, object detection device, terminal device, and medium | |
CN116403062A (zh) | 一种点云目标检测方法、系统、设备及介质 | |
CN113840169B (zh) | 一种视频处理方法、装置、计算设备和存储介质 | |
CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
CN116152334A (zh) | 图像处理方法及相关设备 | |
CN115221910A (zh) | 二维码识别方法、装置、设备及计算机可读存储介质 | |
Li et al. | 3D face point cloud super-resolution network | |
CN115984583B (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 | |
Singer et al. | Attention Focused Generative Network for Reducing Self-Occlusions in Aerial LiDAR | |
Lupinetti et al. | GPU-Accelerating Hierarchical Descriptors for Point Set Registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |