CN112163643A - 样本生成、神经网络的训练、数据处理方法及装置 - Google Patents

样本生成、神经网络的训练、数据处理方法及装置 Download PDF

Info

Publication number
CN112163643A
CN112163643A CN202011194001.6A CN202011194001A CN112163643A CN 112163643 A CN112163643 A CN 112163643A CN 202011194001 A CN202011194001 A CN 202011194001A CN 112163643 A CN112163643 A CN 112163643A
Authority
CN
China
Prior art keywords
point cloud
cloud data
target
target detection
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011194001.6A
Other languages
English (en)
Inventor
杨霁晗
史少帅
王哲
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202011194001.6A priority Critical patent/CN112163643A/zh
Publication of CN112163643A publication Critical patent/CN112163643A/zh
Priority to PCT/CN2021/102678 priority patent/WO2022088720A1/zh
Priority to JP2022514192A priority patent/JP2023502834A/ja
Priority to KR1020227007014A priority patent/KR20220058900A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种样本生成、神经网络的训练、数据处理方法及装置，通过对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。这种方法提高了生成的样本数据的可靠性，从而提高了训练后得到的目标检测模型的检测精度。

Description

样本生成、神经网络的训练、数据处理方法及装置
技术领域
本公开涉及机器学习技术领域，具体而言，涉及一种样本生成、神经网络的训练、数据处理、智能行驶装置的行驶控制方法、装置、计算机设备及存储介质。
背景技术
目前，目标检测神经网络在例如自动驾驶、机器人搬运等领域有广泛的应用。以自动驾驶为例，利用激光雷达对目标场景进行数据采集后，可以对得到的点云数据进行标注，并利用经过标注的点云数据训练目标检测神经网络；该目标检测神经能够用于自动驾驶过程中的障碍物检测。
当前目标检测神经网络在训练时存在检测精度低的问题。
发明内容
本公开实施例至少提供一种样本生成、神经网络的训练、数据处理、智能行驶装置的行驶控制方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种样本生成方法，包括：
对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
这样，可以提高生成的样本数据的可靠性，从而提高了训练后得到的目标检测模型的检测精度。
一种可选的实施方式中，所述第一目标检测结果包括：所述每帧第一点云数据中的目标的置信度；所述第一置信度阈值大于所述第二置信度阈值；
基于所述每帧第一点云数据分别对应的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据，包括：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；
将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
这样，利用用于表征第一点云数据中确定存在目标对象的可能程度的第一概率阈值、以及第二概率阈值，可以对第一点云数据进行筛选，忽略部分不能准确确定目标检测结果是否可信的数据，因此可以提高第一目标点云数据的分类准确度。
一种可选的实施方式中，利用预训练的目标检测神经网络对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练；在利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行k轮训练之后，得到训练后的目标检测神经网络；k为正整数；
利用所述训练后的目标检测神经网络，确定所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足迭代停止条件的情况下，基于每帧第一点云数据的第二目标检测结果，生成所述样本数据。
这样，由于利用第一目标点云数据训练预训练的目标检测神经网络的过程中，得到的训练后的目标检测神经网络学习到第一目标点云数据中的特征，因此，利用训练后的目标检测神经网络再对第一点云数据进行目标检测处理，较之预训练的目标检测神经网络具有更高的准确度。
一种可选的实施方式中，还包括：在不满足迭代停止条件的情况下，基于所述每帧第一点云数据的第二目标检测结果、所述第一置信度阈值、以及所述第二置信度阈值，从所述多帧第一点云数据中，确定第二目标点云数据；
将第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第二目标点云数据的新的第一目标检测结果，以及将所述训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练的步骤。
这样，第一点云数据的目标检测结果不断更新，并在更新过程中，不断提升精度，使得最终得到的样本数据具有较高的标注精度。
一种可选的实施方式中，所述迭代停止条件包括下述至少一种：
得到所述训练后的目标检测神经网络的次数达到预设次数；所述预设次数为k的整数倍；
每帧第一点云数据的第一目标检测结果、和第二目标检测结果之间的相似度，大于预设的相似度阈值。
一种可选的实施方式中，还包括：
对所述第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于所述第一目标点云数据对应的第一目标检测结果，生成所述第三目标点云数据的第三目标检测结果；
所述基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
基于所述第一目标点云数据、所述第一目标点云数据的第一目标检测结果、所述第三目标点云数据、所述第三目标点云数据的第三目标检测结果，生成所述样本数据。
这样，可以避免在第一目标点云数据的数据量较小的情况下，对目标检测神经网络的训练带来的影响；或者，可以使训练得到的目标检测神经网络具有更强的泛化能力。
一种可选的实施方式中，所述数据增强处理，包括下述至少一种：
随机缩放场景处理、随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
第二方面，本公开实施例提供了一种神经网络的训练方法，包括：
利用本发明实施例第一方面或者第一方面的任一一种可选的实施方式中的样本生成方法生成样本数据；
利用所述样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
第三方面，本公开实施例提供了一种数据处理方法，包括：
获取待处理的点云数据；
利用第二方面任一项所述的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
第四方面，本公开实施例提供了一种智能行驶装置的行驶控制方法，包括：
获取智能行驶装置在行驶过程中采集的点云数据；
利用第二方面任一项所述的神经网络的训练方法生成的神经网络，检测所述点云数据中的目标对象；
基于检测的目标对象，控制所述智能行驶装置。
第五方面，本公开实施例还提供一种样本生成装置，包括：
第一检测模块，用于对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
确定模块，用于基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
第一生成模块，用于基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
第六方面，本公开实施例还提供一种神经网络的训练装置，包括：
第二生成模块，用于利用本公开实施例的第一方面或者第一方面任意一种可选的实施方式所述的样本生成方法生成样本数据；
模型训练模块，用于利用所述样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
第七方面，本公开实施例还提供一种数据处理装置，包括：
第一获取模块，用于获取待处理的点云数据；
处理模块，用于利用基于第二方面任一项所述的神经网络的生成方法生成的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
第八方面，本公开实施例还提供一种智能行驶装置的行驶控制装置，包括：
第二获取模块，用于获取智能行驶装置在行驶过程中采集的点云数据；
第二检测模块，用于利用基于第二方面任一项所述的神经网络的生成方法生成的神经网络，检测所述点云数据中的目标对象；
控制模块，用于基于检测的目标对象，控制所述智能行驶装置。
第九方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面、第二方面、第三方面或第四方面中任一种可能的实施方式中的步骤。
第十方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面、第二方面、第三方面或第四方面中任一种可能的实施方式中的步骤。
关于上述样本生成装置、计算机设备、及计算机可读存储介质的效果描述参见上述样本生成方法的说明；关于上述神经网络的训练装置、计算机设备、及计算机可读存储介质的效果描述参见上述神经网络的训练方法的说明；关于上述数据处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述数据处理方法的说明；关于上述智能行驶装置的行驶装置、计算机设备、及计算机可读存储介质的效果描述参见上述智能行驶装置的行驶方法的说明，这里均不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种样本生成方法的流程图；
图2示出了本公开实施例所提供的一种基于确定的第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果生成样本数据的具体方法的流程图；
图3示出了本公开实施例所提供的一种神经网络的训练方法的流程图；
图4示出了本公开实施例所提供的一种数据处理方法的流程图；
图5示出了本公开实施例所提供的一种智能行驶装置的行驶控制方法的流程图；
图6示出了本公开实施例所提供的一种样本生成装置的示意图；
图7示出了本公开实施例所提供的一种神经网络的训练装置的示意图；
图8示出了本公开实施例所提供的一种数据处理装置的示意图；
图9示出了本公开实施例所提供的一种智能行驶装置的行驶控制装置的示意图；
图10示出了本公开实施例所提供的一种计算机设备结构的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的帧件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，随着自动驾驶领域的不断发展，激光雷达的种类越来越多，然而激光雷达的使用和数据采集并没有一个统一的规范；目前的激光雷达数据集，大都使用不同种类的雷达获取；除此之外，每个雷达点云数据集所采集的城市，天气情况，自车高度等均有差异。以上情况都导致了在一个激光雷达数据集上训练好的目标检测模型，可能在另一个数据集上就会有较大的性能下降。因此，对于每一种新的激光雷达，为了得到能够适应新的激光雷达的目标检测模型，需要针对新的激光雷达收集检测数据并对收集的雷达检测数据进行标注，然后采用经过标注的雷达检测数据，训练目标检测模型，造成数据标注的成本过大。为了实现减少数据标注的成本开支，目前通常利用完成标注的数据，对未标注的数据进行标注；但是由于已经完成标注的数据和未完成标注的数据之间存在一定的特征差异，导致了利用该种数据标注方法生成的标注，和真实结果之间存在较大的差异，利用这种样本训练得到的目标检测神经网络的精度值较低。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种样本生成方法进行详细介绍，本公开实施例所提供的样本生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该样本生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的样本生成方法加以说明。
参见图1所示，为本公开实施例提供的一种样本生成方法的流程图，所述样本生成方法包括步骤S101～S103，其中：
S101：对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
S102：基于每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从多帧第一点云数据中，确定第一目标点云数据；
S103：基于第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果，生成样本数据。
本公开实施例在对多帧第一点云数据中的每帧点云数据进行目标检测处理后，利用预先设置的表征第一点云数据中存在目标的第一置信度阈值与第二置信度阈值确定第一目标点云数据，然后利用第一目标点云数据及其对应的第一目标检测结果生成样本数据；在确定第一目标点云数据的过程中选择检测结果中目标置信度更高，例如更接近1的第一点云数据，以及选择第一目标检测结果中目标置信度更低，例如，更接近0的第一点云数据作为第一目标点云数据，而不选择检测结果中目标置信度更接近于中间值的第一点云数据作为第一目标点云数据，从而提高生成的样本数据的可靠性。
下面对上述S101～S103加以详细说明。
针对上述S101，第一点云数据例如可以是利用雷达、深度相机、彩色相机等中至少一种采集设备对第一目标空间进行采集得到的点云数据。其中，目标空间例如包括含有目标的空间，目标空间中的目标例如可以包括障碍物。
示例性的，在利用雷达获取目标空间的点云数据时，雷达能够发射探测信号，对目标空间进行探测，并基于探测结果，得到目标空间的第一点云数据。
在利用深度相机获取目标空间的点云数据时，例如可以利用结构光、双目视觉、光飞行时间法等的一种或者多种得到目标空间的深度图像，然后基于该深度图像，得到目标空间的第一点云数据。
在利用彩色相机获取目标空间的点云数据时，彩色相机能够采集目标空间的二维图像；基于二维图像进行三维空间的重构，得到目标空间的第一点云数据。
本公开实施例以利用雷达获取目标空间的第一点云数据进行说明。
在利用预训练的目标神经网络对多帧第一点云数据中的每帧第一点云数据进行目标检测处理的情况下，预训练的目标检测神经网络例如包括贝叶斯神经网络(BayesianNetwork，BN)或者人工神经网络(Artificial Neural Network，ANN)。其中，预训练的目标检测神经网络是利用具有标注信息的第二点云数据训练得到的。
在一种可能的实施方式中，可以先获取第二点云数据，获取的第二点云数据通常具有标注信息；此处，具体获取第二点云数据的雷达，例如可以与获取第一点云数据的雷达不同；其中，可以是雷达参数不同、雷达类型不同、雷达安装位姿不同、雷达应用的区域不同等中至少一种；具体在此不再赘述。标注信息例如可以包括“障碍物”以及“非障碍物”，以及在有障碍物的情况下，障碍物在第二点云数据中的位置信息，如障碍物所对应的标注框在第二点云数据中的坐标、尺寸、障碍物类别、以及属于某种障碍物的可信度分数。
利用预训练的目标检测神经网络得到的第一点云数据的第一目标检测结果中，也包括了：目标在第一点云数据中的坐标、尺寸、障碍物类别、以及属于某种障碍物类别的可信度分数；此处，可信度分数例如可以展现为预测概率的形式。
在确定具有标注信息的第二点云数据的情况下，即可以利用具有标注信息的第二点云数据训练得到预训练的目标检测神经网络。
利用第二点云数据得到预训练的目标检测神经网络，对第二点云数据具有良好的处理性能；利用预训练的目标检测神经网络对多帧第一点云数据中的每帧第一点云数据进行目标检测处理，得到每帧第一点云数据对应的第一目标检测结果。
针对上述S102，由于预训练的目标检测神经网络是使用的具有标注信息的第二点云数据训练得到的，其对于与第二样本点云数据具有相似特征分布的点云数据具有良好的处理性能；但由于第一点云数据和第二点云数据在特征域上具有一定的差异，因此基于第二点云数据预训练的目标检测网络对第一点云数据进行处理，得到第一点云数据对应的第一目标检测结果时，该第一目标预测结果与第一点云数据对应的真实目标检测结果，具有一定的差异。为了减小该差异，提升基于第一点云数据生成的样本的可信度，要基于本公开S102对第一点云数据进行筛选，从多个第一点云数据中，确定第一目标点云数据。
在从第一点云数据中筛选第一目标点云数据时，可以通过预先设置的用于表征第一点云数据中存在目标的第一置信度阈值、以及第二置信度阈值，从多帧第一点云数据中确定分类结果具有更高可信度的第一目标点云数据。其中，第一置信度阈值、以及第二置信度阈值用于表征第一点云数据中确定存在目标的可能程度；在从第一点云数据中筛选第一目标点云数据的时候，选择第一目标检测结果中目标置信度更高，例如更接近1的第一点云数据，以及选择第一目标检测结果中目标置信度更低，例如，更接近0的第一点云数据作为第一目标点云数据，而不选择第一目标检测结果中目标置信度更接近于中间值的第一点云数据作为第一目标点云数据，从而提高生成的样本数据的可靠性。
示例性的，第一置信度阈值高于第二置信度阈值，第一置信度阈值例如可以表示为P1，第二置信度阈值例如可以表示为P2。
示例性的，可以设置第一置信度阈值P1为70％、第二置信度阈值P2为30％，也即认为在第一目标检测结果的置信度低于30％的情况下一定不存在目标，在第一目标检测结果的置信度超过70％的情况下一定存在目标。
此处，上述第一置信度阈值和第二置信度阈值均为举例说明，在设置第一置信度阈值与第二置信度阈值的具体数值时，可以依据经验设置，或者按照对目标检测处理结果的精度要求确定，具体的可以根据实际情况确定，在此不再赘述。
在确定第一置信度阈值、以及第二置信度阈值的情况下，在从多帧第一点云数据中确定第一目标点云数据时，例如可以采用下述方式：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
示例性的，在多帧第一点云数据中包括N(N为大于1的整数)帧第一点云数据的情况下，N帧不同第一点云数据中的目标的置信度，例如可以表示为pi,i∈[1,N]。
以第i帧第一点云数据中的目标的置信度pi为例，置信度pi与与第一置信度阈值P1与第二置信度阈值P2进行比对得到的结果包括下述一种：
pi＜P2、P2≤pi≤P1、以及P1＜pi。
在pi＜P2的情况下，认为第i帧点云数据中一定不包括目标；在P1＜pi的情况下，认为第i帧点云数据中一定包括目标；此时，将第i帧点云数据确定为第一目标点云数据。在P2≤pi≤P1的情况下，无法较为准确的判断第i帧点云数据中是否存在目标，则将第i帧点云数据确定为缓冲域(即第一置信度阈值和第二置信度阈值之间区域)中的点云数据。
由于第一目标点云数据是忽略了部分不能准确确定目标检测结果是否可信的数据，因此筛选出的样本数据的目标检测结果更加准确。此时，从第一目标点云数据中筛选得到的多帧第一目标点云数据均能较为准确的确定是否包含目标，因此在基于第一目标点云数据训练目标检测神经网络时，由于为第一目标点云数据生成的第一目标检测结果的可信度均较高，可以排除可信度较低的点云数据对目标检测神经网络的负面影响，使得目标检测神经网络具有更高的精度。
针对上述S103，如图2所示，在确定第一目标点云数据的情况下，基于确定的第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果生成样本数据时，例如可以采用下述方式：
S1031：利用第一目标点云数据、以及第一目标点云数据的第一目标检测结果，对预训练的目标检测神经网络进行训练。
S1032：利用第一目标点云数据、以及第一目标点云数据的第一目标检测结果，对预训练的目标检测神经网络进行k轮训练，得到训练后的目标检测神经网络；k为正整数。
S1033：利用训练后的目标检测神经网络，确定多帧第一点云数据中每帧第一点云数据的第二目标检测结果。
S1034：判断是否满足迭代停止条件；若是，则跳转至S1037，若否，则跳转至S1035。
S1035：基于每帧第一点云数据的第二目标检测结果、第一置信度阈值、以及第二置信度阈值，从多帧第一点云数据中，确定第二目标点云数据。
S1036：将所述第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第二目标点云数据的新的第一目标检测结果，以及将训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至S1031。
S1037：基于每帧第一点云数据的第二目标检测结果，生成样本数据。
此时，由于利用第一目标点云数据训练预训练的目标检测神经网络的过程中，得到的训练后的目标检测神经网络学习到第一目标点云数据中的特征，因此，利用训练后的目标检测神经网络再对第一点云数据进行目标检测处理，较之预训练的目标检测神经网络具有更高的准确度。
其中，在迭代停止条件包括得到训练后的目标检测神经网络的次数达到预设次数的情况下，预设次数例如为5次、7次、及10次。在预设次数较小的情况下，迭代次数较少，可以在允许的误差范围内较快的训练得到目标检测神经网络；在预设次数较大的情况下，可以确定更为准确的目标检测神经网络进行目标检测。
在迭代停止条件包括预设次数为k的整数倍的情况下，预设次数例如为N×k次，其中，N为正整数。示例性的，在希望多帧第一点云数据中每帧第一点云数据对应的第一目标检测结果的可信度更高的情况下，可以将N设置为较大的正整数，例如为5或者6；在希望更快得到目标检测神经网络的情况下，也即减少对预训练的目标检测神经网络的训练时间以提高效率的情况下，可以将N设置为较小的正整数，例如为2或者3。
具体的预设次数可以按照实际情况进行确定，在此不再赘述。
经过上述多轮迭代的过程，最终使得第一点云数据的目标检测结果不断进行更新，并在更新过程中，不断提升精度，使得最终得到的样本数据具有较高的标注精度。
在利用第二目标检测结果不断更新第一目标点云数据的情况下，由于第二目标检测结果相较于最近一次得到的第一目标检测结果更为准确，因此利用第二目标点云数据与第一置信度阈值、以及第二置信度阈值进行比对后，得到的第一目标点云数据中的点云数据可能会增多，使得在下一次训练目标检测神经网络时有更丰富的训练样本；或者，在利用第一置信度阈值、以及第二置信度阈值确定第一目标点云数据时，包含目标的置信度位于第一置信度阈值及第二置信度阈值之间的第一目标检测结果的数量减少，也即利用第一目标检测结果确定第一点云数据对应位置是否有目标时的可信度更高。
在一种可能的实施方式中，在例如第一目标点云数据的数据量较小的情况下，或者希望训练得到的目标检测神经网络具有更强的泛化能力的情况下，本公开实施例提供的样本生成方法中，还可以对第一目标点云数据进行数据增强处理，生成第二目标点云数据，以及基于第一点云数据对应的第一目标检测结果，生成第二目标点云数据的第三目标检测结果。
其中，数据增强处理包括下述至少一种：随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
以利用随机旋转场景处理方法作为数据增强处理方法为例对生成样本数据的情况进行说明：
随机旋转场景处理例如包括对第一目标点云数据中部分点云数据对应的坐标轴进行旋转，并基于旋转后得到的坐标轴确定此部分点云点对应的新坐标值，利用新坐标值更新第一目标点云数据确定第二目标点云数据。
此时，由于仅对第一目标点云数据中的部分点云数据的坐标值做出了改变，并不影响第一点云数据中是否存在目标的实际情况，因此相应的对第一目标点云数据的第一目标检测结果进行调整，生成第二目标点云数据的第三目标检测结果。
利用其他数据增强方法生成样本数据的方法与上述利用随机旋转场景处理方法生成样本数据的方法相似，在此不再赘述。
在利用基于第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果，生成样本数据时，例如可以采用下述方式：
基于第一目标点云数据、第一目标点云数据对应的第一目标检测结果、第二目标点云数据、第二目标点云数据对应的第三目标检测结果，生成样本数据。
其中，利用第一目标点云数据、第一目标点云数据对应的第一目标检测结果、第二目标点云数据、第二目标点云数据对应的第三目标检测结果，生成样本数据的具体方式，例如可以包括：
利用所述第一目标点云数据、所述第一目标点云数据对应的第一目标检测结果、第二目标点云数据、以及第二目标点云数据对应的第三目标检测结果，训练所述预训练的目标检测神经网络，得到训练后的目标检测神经网络；
利用所述训练后的目标检测神经网络，获取所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足迭代停止条件的情况下，基于所述多帧第一点云数据分别对应的所述第二目标检测结果，生成所述样本数据；或者，基于所述多帧第一点云数据分别对应的所述第二目标检测结果、以及多帧第二目标点云数据分别对应的第三目标检测结果，生成样本数据。
具体的实现过程与上述图2对应的实施例类似，在此不再赘述。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的神经网络的训练方法。
参见图3所示，为本公开实施例提供的一种神经网络的训练方法的流程图，训练方法包括步骤S301～S304，其中：
S301：对多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
S302：基于每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从多帧第一点云数据中，确定第一目标点云数据；
S303：基于第一目标点云数据、以及第一目标点云数据对应的第一目标检测结果，生成样本数据；
S304：利用样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
在具体实施中，目标检测神经网络可以与上述样本生成方法中的预训练的目标检测神经网络相同，或者，重新选取一个目标检测神经网络进行训练。同样的，在重新选取一个目标检测神经网络的情况下，目标检测神经网络例如可以包括贝叶斯神经网络(Bayesian Network，BN)或者人工神经网络(Artificial Neural Network，ANN)，此处，重新确定的待训练的目标检测神经网络的结构，与预训练的目标检测神经网络的结构相同，初始参数不同。
利用样本数据，可以对待训练的目标检测神经网络进行训练，以得到目标检测神经网络。其中，上述S301～S303对应的生成样本数据的具体方法与上述S101～S103对应的样本生成方法相似，在此不再赘述。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的数据处理方法。
参见图4所示，为本公开实施例提供的一种数据处理方法的流程图，数据处理方法包括步骤S401～S402，其中：
S401：获取待处理的点云数据；
S402：利用本公开实施例提供的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
其中，待处理的点云数据例如可以包括第一点云数据，或者不具有标注信息的点云数据。具体获取待处理的点云数据的方法与上述S101中获取第一点云数据的方法相似，在此不再赘述。
在利用确定的目标检测神经网络即可以对待处理的点云数据进行处理的情况下，得到的待处理的点云数据的数据处理结果例如可以包括与待处理的点云数据对应的目标检测结果，也即为待处理的点云数据确定对应位置是否包含目标对象的标注信息。
此时，由于得到的目标检测神经网络在对任一点云数据进行目标检测时得到的目标检测结果准确性更高，因此利用目标检测神经网络对待处理的点云数据进行目标检测处理后得到的数据处理结果的准确性更高。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的智能行驶装置的行驶控制方法。
参见图5所示，为本公开实施例提供的一种智能行驶装置的行驶控制方法的流程图，智能行驶装置的行驶方法包括步骤S501～S503，其中：
S501：获取智能行驶装置在行驶过程中采集的点云数据；
S502：利用本公开实施例提供的神经网络的训练方法训练的神经网络，检测点云数据中的目标对象；
S503：基于检测的目标对象，控制智能行驶装置。
在具体实施中，行驶装置例如但不限于下述任一种：自动驾驶车辆、装有高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)的车辆、或者机器人等。
控制行驶装置，例如包括控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
在将表征对应位置存在障碍物的点云数据作为目标对象的情况下，可以基于目标对象确定目标空间中障碍物的具体位置，从而控制智能行驶装置避开目标空间中的障碍物行进；在将表征对应位置不存在障碍物的点云数据作为目标对象的情况下，可以基于目标对象确定目标空间中可以行驶的道路的具体位置，从而控制智能行驶装置在可以行驶的道路的范围内行驶。
由于利用本公开实施例提供的神经网络的训练方法得到的目标检测神经网络具有更高的精度，因此在利用该神经网络的训练方法得到的目标检测神经网络对待处理的点云数据进行目标检测时，得到的目标检测结果准确性更高，从而在判断目标空间中是否存在障碍物时有更准确的判断结果，使得在控制智能行驶装置行驶时避障的能力更强，安全性更高。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的样本生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述样本生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图6所示，为本公开实施例提供的一种样本生成装置的示意图，所述装置包括：第一检测模块61、确定模块62、第一生成模块63；其中，
第一检测模块61，用于对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
确定模块62，用于基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
第一生成模块63，用于基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
一种可选的实施方式中，所述第一目标检测结果包括：所述每帧第一点云数据中的目标的置信度；所述第一置信度阈值大于所述第二置信度阈值；
所述确定模块62在基于所述每帧第一点云数据分别对应的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据时，用于：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；
将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
一种可选的实施方式中，所述第一生成模块63在利用预训练的目标检测神经网络对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据时，用于：
利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练；在利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行k轮训练之后，得到训练后的目标检测神经网络；k为正整数；
利用所述训练后的目标检测神经网络，确定所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足迭代停止条件的情况下，基于每帧第一点云数据的第二目标检测结果，生成所述样本数据。
一种可选的实施方式中，所述第一生成模块63还用于：在不满足迭代停止条件的情况下，基于所述每帧第一点云数据的第二目标检测结果、所述第一置信度阈值、以及所述第二置信度阈值，从所述多帧第一点云数据中，确定第二目标点云数据；
将第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第二目标点云数据的新的第一目标检测结果，以及将所述训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练的步骤。
一种可选的实施方式中，所述迭代停止条件包括下述至少一种：
得到所述训练后的目标检测神经网络的次数达到预设次数；所述预设次数为k的整数倍；
每帧第一点云数据的第一目标检测结果、和第二目标检测结果之间的相似度，大于预设的相似度阈值。
一种可选的实施方式中，还包括数据增强处理模块，用于：
对所述第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于所述第一目标点云数据对应的第一目标检测结果，生成所述第三目标点云数据的第三目标检测结果；
所述第一生成模块63在基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据时，用于：
基于所述第一目标点云数据、所述第一目标点云数据的第一目标检测结果、所述第三目标点云数据、所述第三目标点云数据的第三目标检测结果，生成所述样本数据。
一种可选的实施方式中，所述数据增强处理，包括下述至少一种：
随机缩放场景处理、随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一发明构思，本公开实施例中还提供了与样本生成方法对应的样本生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述样本生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种神经网络的训练装置的示意图，所述装置包括：第二生成模块71、模型训练模块72；其中，
第二生成模块71，用于利用本公开实施例提供的任一种样本生成方法生成样本数据；
模型训练模块72，用于利用所述样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
基于同一发明构思，本公开实施例中还提供了与神经网络的训练方法对应的神经网络的训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络的训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例提供的一种数据处理装置的示意图，所述装置包括：第一获取模块81、处理模块82；其中，
第一获取模块81，用于获取待处理的点云数据；
处理模块82，用于利用基于本公开实施例提供的任一种神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一发明构思，本公开实施例中还提供了与数据处理方法对应的数据处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图9所示，为本公开实施例提供的一种智能行驶装置的行驶控制装置的示意图，所述装置包括：第二获取模块91、检测模块92、控制模块93；其中，
第二获取模块91，用于获取智能行驶装置在行驶过程中采集的点云数据；
第二检测模块92，用于利用基于本公开实施例提供的任一种神经网络的训练方法训练的神经网络，检测所述点云数据中的目标对象；
控制模块93，用于基于检测的目标对象，控制所述智能行驶装置。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图10所示，为本公开实施例提供的计算机设备结构的示意图，包括：
处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
或者，处理器10执行下述步骤：
利用本公开实施例提供的任一种样本生成方法生成样本数据；
利用样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
或者，处理器10执行下述步骤：
获取待处理的点云数据；
利用本公开实施例提供的任一种神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
或者，处理器10执行下述步骤：
获取智能行驶装置在行驶过程中采集的点云数据；
利用本公开实施例提供的任一种神经网络的训练方法生成的神经网络，检测所述点云数据中的目标对象；
基于检测的目标对象，控制所述智能行驶装置。
上述存储器20包括内存2021和外部存储器2022；这里的内存2021也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器2022交换的数据，处理器10通过内存2021与外部存储器2022进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中分别对应的所述的样本生成、神经网络的训练、数据处理、智能行驶装置的行驶方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中分别对应的所述的样本生成、神经网络的训练、数据处理、智能行驶装置的行驶方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中分别对应的所述的样本生成、神经网络的训练训练、数据处理、智能行驶装置的行驶方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种样本生成方法，其特征在于，包括：
对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
2.根据权利要求1所述的样本生成方法，其特征在于，所述第一目标检测结果包括：所述每帧第一点云数据中的目标的置信度；所述第一置信度阈值大于所述第二置信度阈值；
基于所述每帧第一点云数据分别对应的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据，包括：
将每帧第一点云数据中的目标的置信度分别与所述第一置信度阈值和所述第二置信度阈值进行比对；
将包含置信度大于所述第一置信度阈值，或者小于所述第二置信度阈值的目标的第一点云数据确定为所述第一目标点云数据。
3.根据权利要求1所述的样本生成方法，其特征在于，利用预训练的目标检测神经网络对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练；在利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行k轮训练之后，得到训练后的目标检测神经网络；k为正整数；
利用所述训练后的目标检测神经网络，确定所述多帧第一点云数据中每帧第一点云数据的第二目标检测结果；
在满足迭代停止条件的情况下，基于每帧第一点云数据的第二目标检测结果，生成所述样本数据。
4.根据权利要求3所述的样本生成方法，其特征在于，还包括：在不满足迭代停止条件的情况下，基于所述每帧第一点云数据的第二目标检测结果、所述第一置信度阈值、以及所述第二置信度阈值，从所述多帧第一点云数据中，确定第二目标点云数据；
将第二目标点云数据作为新的第一目标点云数据，并将第二目标点云数据的第二目标检测结果作为新的第二目标点云数据的新的第一目标检测结果，以及将所述训练后的目标检测神经网络作为预训练的目标检测神经网络，返回至利用所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，对所述预训练的目标检测神经网络进行训练的步骤。
5.根据权利3或4所述的样本生成方法，其特征在于，所述迭代停止条件包括下述至少一种：
得到所述训练后的目标检测神经网络的次数达到预设次数；所述预设次数为k的整数倍；
每帧第一点云数据的第一目标检测结果、和第二目标检测结果之间的相似度，大于预设的相似度阈值。
6.根据权利要求1-5任一项所述的样本生成方法，其特征在于，还包括：
对所述第一目标点云数据进行数据增强处理，生成第三目标点云数据，以及基于所述第一目标点云数据对应的第一目标检测结果，生成所述第三目标点云数据的第三目标检测结果；
所述基于所述第一目标点云数据、以及所述第一目标点云数据的第一目标检测结果，生成样本数据，包括：
基于所述第一目标点云数据、所述第一目标点云数据的第一目标检测结果、所述第三目标点云数据、所述第三目标点云数据的第三目标检测结果，生成所述样本数据。
7.根据权利要求6所述的样本生成方法，其特征在于，所述数据增强处理，包括下述至少一种：
随机缩放场景处理、随机旋转场景处理、随机沿坐标轴翻转场景处理、随机物体缩放处理、随机物体旋转处理、随机沿坐标轴采样点云处理。
8.一种神经网络的训练方法，其特征在于，包括：
利用权利要求1-7任一项所述的样本生成方法生成样本数据；
利用所述样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
9.一种数据处理方法，其特征在于，包括：
获取待处理的点云数据；
利用基于权利要求8所述的神经网络的训练方法训练的神经网络，对所述待处理的点云数据进行目标检测，得到目标检测结果。
10.一种智能行驶装置的行驶控制方法，其特征在于，包括：
获取智能行驶装置在行驶过程中采集的点云数据；
利用基于权利要求8所述的神经网络的训练方法训练的神经网络，检测所述点云数据中的目标对象；
基于检测的目标对象，控制所述智能行驶装置。
11.一种样本生成装置，其特征在于，包括：
第一检测模块，用于对所述多帧第一点云数据中的每帧第一点云数据进行目标检测，得到每帧第一点云数据的第一目标检测结果；
确定模块，用于基于所述每帧第一点云数据的第一目标检测结果、表征点云数据中存在目标的第一置信度阈值、以及表征点云数据中不存在目标的第二置信度阈值，从所述多帧第一点云数据中，确定第一目标点云数据；
第一生成模块，用于基于所述第一目标点云数据、以及所述第一目标点云数据对应的第一目标检测结果，生成样本数据。
12.一种神经网络的训练装置，其特征在于，包括：
第二生成模块，用于利用权利要求1-7任一项所述的样本生成方法生成样本数据；
模型训练模块，用于利用所述样本数据，训练待训练的目标检测神经网络，得到目标检测神经网络。
13.一种数据处理装置，其特征在于，包括：
第一获取模块，用于获取待处理的点云数据；
处理模块，用于利用基于权利要求8所述的神经网络的生成方法生成的神经网络，对所述待处理的点云数据进行处理，得到所述待处理的点云数据的数据处理结果。
14.一种智能行驶装置的行驶控制装置，其特征在于，包括：
第二获取模块，用于获取智能行驶装置在行驶过程中采集的点云数据；
第二检测模块，用于利用基于权利要求8所述的神经网络的生成方法生成的神经网络，检测所述点云数据中的目标对象；
控制模块，用于基于检测的目标对象，控制所述智能行驶装置。
15.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的样本生成方法的步骤；或者权利要求8所述的神经网络的训练方法的步骤；或者权利要求9所述的数据处理方法的步骤；或者权利要求10所述的智能行驶装置的行驶控制方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任一项所述的样本生成方法的步骤；或者权利要求8所述的神经网络的训练方法的步骤；或者权利要求9所述的数据处理方法的步骤；或者权利要求10所述的智能行驶装置的行驶控制方法的步骤。
CN202011194001.6A 2020-10-30 2020-10-30 样本生成、神经网络的训练、数据处理方法及装置 Pending CN112163643A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011194001.6A CN112163643A (zh) 2020-10-30 2020-10-30 样本生成、神经网络的训练、数据处理方法及装置
PCT/CN2021/102678 WO2022088720A1 (zh) 2020-10-30 2021-06-28 样本生成、神经网络的训练、数据处理方法及装置
JP2022514192A JP2023502834A (ja) 2020-10-30 2021-06-28 サンプル生成、ニューラルネットワーク訓練、データ処理の方法及び装置
KR1020227007014A KR20220058900A (ko) 2020-10-30 2021-06-28 샘플 생성, 신경망의 트레이닝, 데이터 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011194001.6A CN112163643A (zh) 2020-10-30 2020-10-30 样本生成、神经网络的训练、数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN112163643A true CN112163643A (zh) 2021-01-01

Family

ID=73866303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011194001.6A Pending CN112163643A (zh) 2020-10-30 2020-10-30 样本生成、神经网络的训练、数据处理方法及装置

Country Status (4)

Country Link
JP (1) JP2023502834A (zh)
KR (1) KR20220058900A (zh)
CN (1) CN112163643A (zh)
WO (1) WO2022088720A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990200A (zh) * 2021-03-31 2021-06-18 上海商汤临港智能科技有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN113253299A (zh) * 2021-06-09 2021-08-13 深圳市速腾聚创科技有限公司 障碍物检测方法、装置及存储介质
WO2022088720A1 (zh) * 2020-10-30 2022-05-05 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
WO2022205644A1 (zh) * 2021-03-29 2022-10-06 上海商汤临港智能科技有限公司 一种目标检测方法、装置、计算机设备和存储介质
US11624831B2 (en) 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994589B (zh) * 2023-03-23 2023-05-23 北京易控智驾科技有限公司 训练方法和装置、目标检测方法、电子设备和存储介质
CN116721399B (zh) * 2023-07-26 2023-11-14 之江实验室 一种量化感知训练的点云目标检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN109919302A (zh) * 2019-02-28 2019-06-21 新华三技术有限公司 一种神经网络训练方法及装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532948B (en) * 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN109919302A (zh) * 2019-02-28 2019-06-21 新华三技术有限公司 一种神经网络训练方法及装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088720A1 (zh) * 2020-10-30 2022-05-05 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
WO2022205644A1 (zh) * 2021-03-29 2022-10-06 上海商汤临港智能科技有限公司 一种目标检测方法、装置、计算机设备和存储介质
CN112990200A (zh) * 2021-03-31 2021-06-18 上海商汤临港智能科技有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN113253299A (zh) * 2021-06-09 2021-08-13 深圳市速腾聚创科技有限公司 障碍物检测方法、装置及存储介质
US11624831B2 (en) 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium
US11927672B2 (en) 2021-06-09 2024-03-12 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium

Also Published As

Publication number Publication date
WO2022088720A1 (zh) 2022-05-05
KR20220058900A (ko) 2022-05-10
JP2023502834A (ja) 2023-01-26

Similar Documents

Publication Publication Date Title
CN112163643A (zh) 样本生成、神经网络的训练、数据处理方法及装置
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
Li et al. Deep neural network for structural prediction and lane detection in traffic scene
CN110226186B (zh) 表示地图元素的方法和装置以及定位的方法和装置
CN111368788A (zh) 图像识别模型的训练方法、装置及电子设备
US12073575B2 (en) Object-centric three-dimensional auto labeling of point cloud data
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN114088099B (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
CN112200889A (zh) 样本图像生成、图像处理、智能行驶控制方法及装置
CN113011364B (zh) 神经网络训练、目标对象检测、行驶控制方法及装置
CN112926395A (zh) 目标检测方法、装置、计算机设备及存储介质
CN111783557B (zh) 一种基于深度视觉的可穿戴导盲设备及服务器
Chen et al. An attention based YOLOv5 network for small traffic sign recognition
CN112926461A (zh) 神经网络训练、行驶控制方法及装置
CN114111813B (zh) 高精地图元素更新方法、装置、电子设备及存储介质
US20240185590A1 (en) Method for training object detection model, object detection method and apparatus
CN116523970B (zh) 基于二次隐式匹配的动态三维目标跟踪方法及装置
EP4379669A1 (en) Processing method for image recognition model, and related product
CN113450459B (zh) 目标物的三维模型构建方法及装置
US20230082079A1 (en) Training agent trajectory prediction neural networks using distillation
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
Kang et al. ETLi: Efficiently annotated traffic LiDAR dataset using incremental and suggestive annotation
CN112800971B (zh) 神经网络训练及点云数据处理方法、装置、设备和介质
US20220355824A1 (en) Predicting near-curb driving behavior on autonomous vehicles
CN114118413A (zh) 网络训练及设备的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038767

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101