CN116071621A - 针对感知算法的训练样本生成和验证方法、设备和介质 - Google Patents

针对感知算法的训练样本生成和验证方法、设备和介质 Download PDF

Info

Publication number
CN116071621A
CN116071621A CN202310243674.3A CN202310243674A CN116071621A CN 116071621 A CN116071621 A CN 116071621A CN 202310243674 A CN202310243674 A CN 202310243674A CN 116071621 A CN116071621 A CN 116071621A
Authority
CN
China
Prior art keywords
data
sample
current
perception
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310243674.3A
Other languages
English (en)
Other versions
CN116071621B (zh
Inventor
赵帅
刘子毅
赵鹏超
陈蔯
胡鑫
翟洋
沈永旺
周博林
刘诗曼
张凌翔
李晓婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongqi Zhilian Technology Co ltd
Original Assignee
Zhongqi Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongqi Zhilian Technology Co ltd filed Critical Zhongqi Zhilian Technology Co ltd
Priority to CN202310243674.3A priority Critical patent/CN116071621B/zh
Publication of CN116071621A publication Critical patent/CN116071621A/zh
Application granted granted Critical
Publication of CN116071621B publication Critical patent/CN116071621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数据处理技术领域，公开了一种针对感知算法的训练样本生成和验证方法、设备和介质。该方法包括：通过真实感知环境构建虚拟仿真环境，读取针对真实物体的各对抗样本或各普通样本对应的导入文件，在虚拟仿真环境中更新显示导入的各样本，进而通过虚拟环境相机和虚拟激光雷达获取样本的感知数据，通过感知数据构建原始训练样本集，并通过各感知数据之间的差异确定目标训练样本集，进而对算法进行训练，在训练完成后对其进行验证，并返回继续读取新的导入文件以生成新的目标训练样本集，实现了对包含对抗样本的感知数据的训练样本集的生成，以及对感知算法的迭代训练，解决了人工标注成本高、效率低、难以满足算法更新迭代需求的问题。

Description

针对感知算法的训练样本生成和验证方法、设备和介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种针对感知算法的训练样本生成和验证方法、设备和介质。
背景技术
目前，感知算法已经在目标识别、位置识别、形状和尺寸检查等方面取得了大量的应用，深度学习的发展使得感知算法更能适应复杂场景与低质量图像并获得更高的精准度。但目前包含神经网络在内的感知算法对含有对抗性样本的识别精度较差，通过对数据集中的样本施加微小但有意的扰动生成对抗样本，从而可以误导神经网络模型输出一个高置信度错误答案。
因此，感知算法需要不断根据生成的对抗样本进行更新与迭代，用以提升感知算法的鲁棒性。在感知算法的训练过程中，需要高数量级、多元化的样本数据集，但是在数据集生成过程中采集与标注需要投入大量人员，难以满足功能的更新需要。并且在物理世界中生成对抗样本进行感知攻击的周期较长，难以满足感知算法更新迭代的需要。
有鉴于此，特提出本发明。
发明内容
为了解决上述技术问题，本发明提供了一种针对感知算法的训练样本生成和验证方法、设备和介质，以生成包含对抗样本的感知数据的训练样本集，在降低训练成本的同时，保证对感知算法的训练精度，提高感知算法的迭代速度。
本发明实施例提供了一种针对感知算法的训练样本生成和验证方法，该方法包括：
基于真实感知环境构建虚拟仿真环境，其中，所述真实感知环境包括真实环境相机、真实激光雷达以及各真实物体；
读取所述真实物体的各对抗样本或各普通样本对应的导入文件，在所述虚拟仿真环境中更新显示各所述对抗样本或各所述普通样本，基于所述虚拟仿真环境中的虚拟环境相机和虚拟激光雷达，获取各所述对抗样本或各所述普通样本的感知数据；
根据各所述对抗样本以及各所述普通样本的感知数据，构建与待验证感知算法对应的原始训练样本集，根据所述原始训练样本集中各感知数据之间的差异确定目标训练样本集；
基于所述目标训练样本集对所述待验证感知算法进行训练，在训练完成后基于所述目标训练样本集中各所述对抗样本的感知数据，对所述待验证感知算法进行验证，并返回读取所述真实物体的新的导入文件，以重新生成所述待验证感知算法对应的目标训练样本集并进行验证。
本发明实施例提供了一种电子设备，所述电子设备包括：
处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的针对感知算法的训练样本生成和验证方法的步骤。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的针对感知算法的训练样本生成和验证方法的步骤。
本发明实施例具有以下技术效果：
通过真实感知环境构建虚拟仿真环境，读取针对真实感知环境中的真实物体的各对抗样本或各普通样本对应的导入文件，在虚拟仿真环境中更新显示各对抗样本或各普通样本，进而通过虚拟仿真环境中的虚拟环境相机和虚拟激光雷达，获取样本的感知数据，通过感知数据构建与待验证感知算法对应的原始训练样本集，并通过其中各感知数据之间的差异确定目标训练样本集，通过目标训练样本集对算法进行训练，在训练完成后通过各对抗样本的感知数据对其进行验证，并返回继续读取新的导入文件以生成新的目标训练样本集，实现了对包含对抗样本的感知数据的训练样本集的生成，并通过生成的训练样本集对算法进行训练，解决了人工标注成本高、效率低、难以满足算法更新迭代需求的问题，在降低训练成本的同时，保证对感知算法的训练精度，提高感知算法的迭代速度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种针对感知算法的训练样本生成和验证方法的流程图；
图2为本发明实施例提供的一种仰角和方位的侧视示意图；
图3为本发明实施例提供的一种仰角和方位的俯视示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
本发明实施例提供的针对感知算法的训练样本生成和验证方法，主要适用于通过生成包含对样样本的感知数据训练样本集，对感知算法进行迭代训练的情况。本发明实施例提供的针对感知算法的训练样本生成和验证方法可以由集成在计算机、智能手机等电子设备中的装置执行。
图1为本发明实施例提供的一种针对感知算法的训练样本生成和验证方法的流程图。参见图1，该针对感知算法的训练样本生成和验证方法具体包括：
S110、基于真实感知环境构建虚拟仿真环境，其中，真实感知环境包括真实环境相机、真实激光雷达以及各真实物体。
其中，真实感知环境可以是针对自动驾驶控制系统中感知算法进行预测的真实道路环境。示例性的，自动驾驶控制系统中感知算法包括但不限于信号灯检测算法、障碍物检测算法、交通标识检测算法、车辆识别算法、行人识别算法、目标跟踪算法、可行驶区域检测算法、地面标识检测算法、目标测距算法、目标测速算法、图像质量检测算法、复杂路况检测算法等。
具体的，可以对真实感知环境进行环境映射，得到虚拟仿真环境。其中，真实感知环境中的真实环境相机、真实激光雷达，经过映射后可以得到虚拟仿真环境中的虚拟环境相机、虚拟激光雷达。
在本发明实施例中，可以选择真实感知环境中的真实环境相机以及真实激光雷达，作为真实感知环境的环境信息获取来源。首先，可以将真实感知环境中的真实环境相机与真实激光雷达进行联合标定，其中，设真实环境相机获得的像素坐标为( u， v)，真实环境相机的相机坐标为( X rc ， Y rc ， Z rc )， f为相机参数，设真实激光雷达获得的点云数据的坐标为( X rp ， Y rp ， Z rp )，通过相机的成像原理可得相机像素坐标与相机坐标之间的关系为：
；
设真实环境相机坐标( X rc ， Y rc ， Z rc )与点云数据的坐标( X rp ， Y rp ， Z rp )之间的转换关系为：
；
式中， R为旋转矩阵， t为平移矩阵；
最终，可得真实环境相机获取的像素坐标与点云数据的坐标之间的转换关系为：
；
因此，可以通过上述转换关系，将真实环境相机获取的某一像素点的RGB值赋予给点云数据中对应的点。例如，针对一个点云数据，可以通过真实环境相机获取的像素坐标与点云数据的坐标之间的转换关系，确定出对应的像素坐标，进而将该像素坐标对应的RGB值与该点云数据组合，得到该点云数据的映射环境信息。如，点云数据与对应的RGB值组合为 P( X p ， Y p ， Z p ， R p ， G p ， B p )。假设真实感知环境中针对一个映射对象可以获取的点的数量为N，则获取到的该对象的映射环境信息可表示为： P i ={( X pi ， Y pi ， Z pi ， R pi ， G pi ， B pi )， i N}。
进一步的，真实感知环境中映射对象的质心可以表示为：
；
由于映射对象由多边网格组成，设网格边数为E，组成真实感知环境的网格数量为M，则映射得到的单一网格的RGB取值为：
；
其中，。
最终，可以根据真实感知环境中的各个映射对象的映射环境信息，完成对真实感知环境的映射，由各个映射对象组成整个映射环境。其中，映射对象可以是诸如环境中的背景物、道路设备、车辆、障碍物等真实物体。
S120、读取真实物体的各对抗样本或各普通样本对应的导入文件，在虚拟仿真环境中更新显示各对抗样本或各普通样本，基于虚拟仿真环境中的虚拟环境相机和虚拟激光雷达，获取各对抗样本或各普通样本的感知数据。
其中，普通样本可以是真实物体的真实样本，对抗样本可以是对真实物体的真实样本添加干扰后的样本。例如，真实物体可以是道路中的三角锥，普通样本可以是描述三角锥的图像、模型，对抗样本可以是在描述三角锥的图像或模型中添加干扰噪声后的图像或模型。
示例性的，可以通过FGSM(Fast Gradient SignMethod，快速梯度算法)、JSMA(Jacobian-based SaliencyMap Attack，基于雅可比矩阵的显着性图攻击方法)、PGD(ProjectedGradient Descent Attack，投影梯度下降攻击方法 )等，生成真实物体的各对抗样本。
具体的，在构建虚拟仿真环境后，可以通过读取各对抗样本对应的导入文件，将各对抗样本导入至虚拟仿真环境，或者，读取各普通样本对应的导入文件，将各普通样本导入至虚拟仿真环境。其中，导入文件可以是描述一个或多个对抗样本的样本参数的文件。
示例性的，对抗样本可以分为：对抗样本-2D面片；对抗样本-3D模型；对抗样本-pbr（Physically Based Rendering，基于物理的光照渲染着色）模型。导入文件可以包括配置文件、模型文件以及渲染着色文件（pbr文件）。
不同种类的对抗样本的命名规则为：（1）ID名称不能重复，且需要与配置文件和实时状态更新文件相对应；（2）ID名称命名方式为’id_’+’2d/3d/3dPBR’+_+’任意字节’。配置文件的书写规则为：1）Paths:定义根目录文件，对抗样本2D、3D、pbr模型文件夹；（2）ID命名：FbxFile：对抗样本ID名称；TextureFile：2D图片名称；BaseColor\Metallic\Normal\Roughness\Displacement：pbr文件及初色、金属度、法线、粗糙度、置换图片。
配置文件、模型文件以及渲染着色文件在导入后，可以进一步生成实时状态更新文件，以便于将导入的对抗样本或普通样本更新显示在虚拟仿真环境中。实时状态更新文件的书写规则为：（1）Visable：对抗样本是否显示；（2）Location：对抗样本质心坐标；（3）Rotation：对抗样本位姿信息；（4）Scale：对抗样本缩放信息。
例如，可以通过读取包含一个或多个对抗样本的导入文件，将对抗样本的三种模型导入至虚拟仿真环境，并对各对抗样本的显示状态、位置、姿态、缩放信息进行更新。
在一种具体的实施方式中，读取真实物体的各对抗样本或各普通样本对应的导入文件，在虚拟仿真环境中更新显示各对抗样本或各普通样本，包括：读取包含真实物体的各对抗样本或各普通样本的配置文件，将配置文件中关于各样本的数据写入至结构体数组；遍历结构体数组，导入对抗样本或所述普通样本的模型文件，并导入对抗样本或普通样本的渲染着色文件；在虚拟仿真环境中确定出与对抗样本或普通样本标识相同的模型，基于配置文件中的模型属性信息，对标识相同的模型进行更新。
即，可以读取包含针对真实物体的各对抗样本的配置文件，或者，读取包含针对真实物体的各普通样本的配置文件，将配置文件中关于各样本的数据依次写入至结构体数组。进一步的，遍历结构体数组，依次导入各对抗样本的模型文件，或者，导入各普通样本的模型文件。进一步的，依次导入各对抗样本的渲染着色文件，或者，导入各普通样本的渲染着色文件。
进一步的，需要对虚拟仿真环境中与导入的对抗样本或普通样本相同的模型进行更新，以将导入的对抗样本或普通样本显示于虚拟仿真环境中。具体的，可以通过读取结构体数组，在虚拟仿真环境中找到与导入的对抗样本或普通样本相同的ID模型，每帧读取配置文件中的模型属性信息，完成对该模型的更新。其中，模型属性信息可以描述模型的显示信息，如，模型的放置位置、模型的放置角度等。
通过上述方式，实现了对一个导入文件中各普通样本或各对抗样本的导入，在完成对一个导入文件中各对抗样本或普通样本的导入后，通过虚拟环境相机和虚拟激光雷达采集到相应的数据之后，可以返回继续读取下一个导入文件，以依次将各个导入文件中的样本导入至虚拟仿真环境，采集大量对抗样本和普通样本的数据，以进一步实现包含大量对抗样本的感知数据的训练样本集的生成，无需人为构建，提高了训练样本集的生成效率。
在本发明实施例中，在将导入的各对抗样本或各普通样本更新显示于虚拟仿真环境后，可以通过映射的虚拟环境相机采集导入的样本的图像数据，通过映射的虚拟激光雷达采集导入的样本的点云数据，构成感知数据。
在一种具体的实施方式中，感知数据包括训练样本图片以及与训练样本图片对应的标注信息，基于虚拟仿真环境中的虚拟环境相机，获取各对抗样本或各所述普通样本的感知数据，包括如下步骤：
步骤121、基于虚拟环境相机的坐标轴位置以及坐标轴方向，确定虚拟环境相机的视图变换矩阵，基于对抗样本或普通样本的包围六面体的坐标范围，确定虚拟环境相机的投影矩阵，基于虚拟环境相机的屏幕尺寸确定虚拟环境相机的视口矩阵；
步骤122、基于对抗样本或普通样本的六面体顶点的世界坐标、视图变换矩阵、投影矩阵以及视口矩阵，确定六面体顶点在虚拟环境相机的坐标系下的映射坐标；
步骤123、基于六面体顶点的映射坐标，确定虚拟环境相机采集到的训练样本图片中对抗样本或普通样本对应的边框坐标；
步骤124、根据边框坐标以及对抗样本或普通样本对应的标注名称，确定与训练样本图片对应的标注信息。
其中，虚拟环境相机的视图变换可以由转置矩阵以及平移矩阵构成。平移矩阵可以是虚拟环境相机的坐标系平移到世界坐标原点位置的矩阵，假设虚拟环境相机的坐标轴的位置为（ X e ， Y e ， Z e ），虚拟环境相机的坐标轴的方向分别为（ X g ， Y g ， Z g ）、（ X h ， Y h ， Z h ）、（ X t ， Y t ， Z t ），则平移矩阵可以根据坐标轴位置和坐标轴方向确定，可以用如下公式表示，平移矩阵为：
；
转置矩阵可以是世界坐标旋转到虚拟环境相机的坐标系的旋转矩阵的逆矩阵，如，旋转矩阵可以根据坐标轴方向确定，可以用如下公式表示，旋转矩阵为：
；
由于旋转矩阵为正交矩阵，所以其逆矩阵等于转置矩阵，如，转置矩阵为：
；
进一步的，虚拟环境相机的坐标系的视图变换矩阵为： M v = R v T v 。
假设导入的对抗样本或普通样本的包围六面体的坐标范围为：X轴：[ X l ， X r ]，Y轴：[ Y t ， Y b ]，Z轴：[ Z n ， Z f ]。则可以根据包围六面体的坐标范围，确定虚拟环境相机的投影矩阵，如，投影矩阵为：
；
并且，根据虚拟环境相机的屏幕尺寸，还可以确定视口矩阵。其中，屏幕尺寸包括虚拟环境相机的屏幕的宽（ width）与高（ heigth）。如，视口矩阵为：
；
在得到视图变换矩阵、投影矩阵以及视口矩阵后，可以针对导入的对抗样本或普通样本，计算出对应的六面体顶点在虚拟环境相机的坐标下的映射坐标。假设六面体顶点的世界坐标为P，则映射坐标为： S= MvMpMsP。需要说明的是，导入的样本对应的六面体顶点的数量可以是多个，因此，可以分别计算每一个六面体顶点的映射坐标。
进一步的，根据导入的对抗样本或普通样本对应的各个六面体顶点的映射坐标，即可确定虚拟环境相机采集到的训练样本图片中该样本对应的边框范围。其中，边框范围可以由各个边框坐标表示。
如： X min =min( S x )， Y min =min( S y )， X max =max( S x )， Y max =max( S y )， X min 表示样本在X方向的起始点， Y min 表示样本在Y方向的起始点， X max 表示样本在X方向的终点， Y max 表示样本在Y方向的终点。具体的，通过各个边框坐标，即可在虚拟环境相机针对导入的对抗样本或普通样本所采集的训练样本图片中，标注出导入样本的位置。
进一步的，可以将虚拟环境相机针对导入的对抗样本或普通样本所采集的图像作为训练样本图片，将边框坐标以及标注名称作为训练样本图片对应的标注信息。其中，标注名称可以是样本的分类名称，如，三角锥，具体可以根据配置文件确定或者由用户设置。标注信息可以理解为训练样本图片对应的标签。
示例性的，训练样本图片以及对应的标注信息可以构成训练样本文件，训练样本文件Image Recognition Training Sample.XML的书写规则可以是：
（1）Folder：存储训练样本的文件夹名称；
（2）FileName：每个训练样本对应的文件名称；
（3）Path：训练样本图片存储的位置；
（4）Size：训练样本图片尺寸，其中：
Width：训练样本图片宽度；
Heigth：训练样本图片高度；
Depth：训练样本图片深度。
训练样本文件中的标注信息Object可以包括：Name：标注对象；Xmin：标注对象在X方向起始点；Ymin：标注对象在Y方向起始点；Xmax：标注对象在X方向终点；Ymax：标注对象在Y方向起始点。
通过上述方式，实现了在虚拟仿真环境下的训练样本图片以及对应的标注信息的确定，进而实现了针对虚拟环境相机对导入的样本的感知数据的获取。
在一种具体的实施方式中，感知数据还包括训练点云数据以及与训练点云数据对应的标注信息，基于虚拟仿真环境中的虚拟激光雷达，获取各对抗样本或各所述普通样本的感知数据，包括如下步骤：
步骤125、以虚拟激光雷达为起点，在视场角范围内发送射线，基于射线确定虚拟激光雷达与对抗样本或普通样本的交点；
步骤126、根据交点对应的距离、仰角以及方位，确定交点的世界坐标，将各交点的世界坐标确定为训练点云数据，并根据对抗样本或普通样本对应的标注名称，确定与训练点云数据对应的标注信息。
具体的，虚拟激光雷达可以对应真实激光雷达中每个激光束的角度，在虚拟仿真环境的视场角范围内发送射线，确定出射线与导入的对抗样本或普通样本之间的交点。示例性的，根据真实激光雷达构建的16线虚拟激光雷达，设虚拟仿真环境中虚拟激光雷达的垂直方向视场角为正负15度，水平方向视场角为360度，垂直分辨率为2度，水平分辨率为0.36度，频率为20Hz。
进一步的，可以根据交点与虚拟激光雷达之间的距离、交点的仰角以及方位，计算交点的世界坐标。示例性的，假设交点对应的距离为 r，仰角为，方位为，则世界坐标为：
；
式中， R为旋转矩阵， t为平移矩阵。示例性的，参见图2-图3，图2为本发明实施例提供的一种仰角和方位的侧视示意图，图3为本发明实施例提供的一种仰角和方位的俯视示意图，从侧视和俯视的方向，展示了以虚拟激光雷达为起点，导入的样本对应的方位和仰角。
进一步的，可以将虚拟激光雷达发出的射线与导入的样本之间的各个交点的世界坐标，作为该样本的训练点云数据，并根据对应的标注名称，确定训练点云数据对应的标注信息。其中，标注名称可以由配置文件确定，也可以由用户设置。
示例性的，训练点云数据以及对应的标注信息可以构成训练样本文件，训练样本文件Semantic Segmentation Training Sample.XML的书写规则可以是：（1）Type：记录样本种类，即标注名称；（2）Pointcloud：记录训练点云数据。
通过上述方式，实现了在虚拟仿真环境下的训练点云数据以及对应的标注信息的确定，进而实现了针对虚拟激光雷达对导入的样本的感知数据的获取。
需要说明的是，采用虚拟环境相机采集的训练样本图片和虚拟激光雷达采集的训练点云数据作为感知数据的目的在于：由于感知算法是基于相机或激光雷达采集到的感知数据进行预测的，即感知算法的输入数据为感知数据，因此，为了实现对感知算法的训练和验证，需要获取相机和激光雷达针对导入的对抗样本和普通样本所采集到的感知数据，以此来对感知算法进行训练和验证。
S130、根据各对抗样本以及各普通样本的感知数据，构建与待验证感知算法对应的原始训练样本集，根据原始训练样本集中各感知数据之间的差异确定目标训练样本集。
具体的，在得到导入的每一个对抗样本以及每一个普通样本的感知数据后，可以构建原始训练样本集。其中，原始训练样本集包括各对抗样本的感知数据以及各普通样本的感知数据。
为了保证训练样本集中各感知数据之间的差异性，以在保证训练精度的同时提高训练，在本发明实施例中，还可以从原始训练样本集筛选出部分样本的感知数据构成目标训练样本集。
示例性的，可以通过计算各感知数据之间的差异，将差异小的两个感知数据中的其中一个感知数据剔除。其中，各感知数据之间的差异，可以通过样本与虚拟环境相机之间的距离，或样本与虚拟激光雷达之间的距离衡量。
在一种具体的实施方式中，根据原始训练样本集中各感知数据之间的差异确定目标训练样本集，包括如下步骤：
步骤131、针对原始训练样本集中的各感知数据，将首项数据作为当前第一数据；
步骤132、将当前第一数据存储至目标训练样本集，并将当前第一数据的下一项数据作为当前第二数据；
步骤133、确定当前第一数据与当前第二数据之间的差异，若差异满足预设差异条件，则将当前第二数据作为当前第一数据，返回将当前第一数据存储至目标训练样本集的步骤，直至当前第二数据为原始训练样本集中的最后一项数据。
即，从原始训练样本集中的第一个感知数据作为当前第一数据，进而将当前第一数据写入至目标训练样本集，并将该当前第一数据的下一项感知数据作为当前第二数据。
进一步的，比对当前第一数据与当前第二数据之间的差异，若差异满足预设差异条件，则表示当前第一数据与当前第二数据之间的差异较大，可以将当前第二数据作为当前第一数据，返回执行步骤132，以将新的当前第一数据写入至目标训练样本集，并继续与下一项数据进行比对，直至当前第二数据为原始训练样本集中的最后一项数据。
针对上述步骤133，可选的，在确定当前第一数据与当前第二数据之间的差异之后，还包括：若差异不满足预设差异条件，则将当前第二数据的下一项数据作为当前第二数据，并返回确定当前第一数据与当前第二数据之间的差异的步骤，直至当前第二数据为原始训练样本集中的最后一项数据。
即，如果当前第一数据与当前第二数据之间的差异不满足预设差异条件，则表示二者之间的差异较小，无需将当前第二数据写入至目标训练样本集，继续将当前第二数据的下一项数据作为当前第二数据，返回执行步骤133，以比对当前第一数据与新的当前第二数据，直至当前第二数据为原始训练样本集中的最后一项数据。
通过上述实施方式，可以实现对原始训练样本集中感知数据之间的比对，避免遗漏感知数据，并且，保证了写入目标训练样本集中的各感知数据之间的差异性。
针对上述步骤133，可选的，差异包括传感器距离差异、传感器角度差异以及样本距离差异，确定当前第一数据与当前第二数据之间的差异，包括：
确定当前第一数据、当前第二数据中的传感器位置、传感器方向以及样本位置；基于当前第一数据中的传感器位置与当前第二数据中的传感器位置，确定传感器距离差异；基于当前第一数据中的传感器方向与当前第二数据中的传感器方向，确定传感器角度差异；基于当前第一数据中的样本位置与当前第二数据中的样本位置，确定样本距离差异；其中，传感器为虚拟环境相机或虚拟激光雷达。
在本发明实施例中，由于虚拟仿真环境中的虚拟环境相机和虚拟激光雷达可以以不同的角度、距离对导入的样本，采集样本的感知数据，即，针对导入的一个对抗样本或普通样本，可以通过改变虚拟环境相机或虚拟激光雷达的角度、距离，采集不同的感知数据。因此，在衡量感知数据之间的差异时，可以结合虚拟环境相机或虚拟激光雷达等传感器的距离差异、传感器的角度差异，以及导入的样本之间的距离差异。
具体的，可以根据当前第一数据中的传感器位置与当前第二数据中的传感器位置，计算两个感知数据中的传感器的距离差异。根据当前第一数据中的传感器方向与当前第二数据中的传感器方向，计算两个感知数据中的传感器的角度差异。根据当前第一数据中的样本位置与当前第二数据中的样本位置，计算两个感知数据对应的样本的距离差距。
在上述实施方式中，通过传感器距离差异、传感器角度差异以及样本距离差异，衡量两个感知数据之间的差异，保证了最终构建的目标训练样本集中各感知数据的传感器差异以及样本差异，在保证训练精度的同时，极大提高了感知算法的训练速度。
可选的，基于当前第一数据中的传感器位置与当前第二数据中的传感器位置，确定传感器距离差异，满足如下公式：
；
基于当前第一数据中的传感器方向与当前第二数据中的传感器方向，确定传感器角度差异，满足如下公式：
；
基于当前第一数据中的样本位置与当前第二数据中的样本位置，确定样本距离差异，满足如下公式：
；
式中，、、分别为传感器距离差异、传感器角度差异、样本距离差异；当前第一数据中的传感器位置表示为，当前第二数据中的传感器位置表示为；当前第一数据中的传感器方向表示为，当前第二数据中的传感器方向表示为；当前第一数据中的样本位置表示为，当前第二数据中的样本位置表现为。在上述公式中，若当前第二数据为当前第一数据的下一项数据，则c等于1,。
通过上述公式，可以实现对传感器距离差异、传感器角度差异、样本距离差异的准确计算，进而便于比对各感知数据之间的差异，保证了最终构建的目标训练样本集中各感知数据之间的差异性。
在本发明实施例中，预设差异条件可以包括：传感器距离差异大于第一预设值，传感器角度差异小于第二预设值，以及样本距离差异大于第三预设值。示例性的，预设差异条件为：
；
式中，、、为加权系数，D、A、S为预设数值，预设数值与加权系数相乘后，可以分别表示第一预设值、第二预设值以及第三预设值。
S140、基于目标训练样本集对待验证感知算法进行训练，在训练完成后基于目标训练样本集中各对抗样本的感知数据，对待验证感知算法进行验证，并返回读取真实物体的新的导入文件，以重新生成待验证感知算法对应的目标训练样本集并进行验证。
具体的，在构建包含对抗样本和普通样本的感知数据的目标训练样本集后，可以通过目标训练样本集对待验证感知算法进行训练。示例性的，可以按照TCP（TransmissionControlProtocol，传输控制协议）/IP（Internet Protocol，网际互连协议）输出目标训练样本集，进而待验证感知算法可以通过局域网获取后进行训练与验证。例如，传输目标训练样本集中的感知数据可以如表1-表3所示。
表1 虚拟激光雷达检测的感知数据的传输协议
表2 虚拟激光雷达的感知数据的数据结构
表3 虚拟环境相机检测的感知数据的传输协议
在使用目标训练样本集对待验证感知算法进行训练时，训练的步骤可以是：将目标训练样本集中的各感知数据输入至待验证感知算法，根据待验证感知算法输出的预测结果以及感知数据对应的标注信息，对损失函数进行计算，根据损失函数计算结果反向调整待验证感知算法中的参数，如神经网络模型的模型参数，直至损失函数计算结果满足迭代停止条件。其中，迭代停止条件可以是迭代次数达到设定次数，或损失函数的计算结果收敛。
进一步的，可以使用目标训练样本集中各对抗样本的感知数据，对待验证感知算法进行验证，以确定待验证感知算法是否会针对对抗样本输出错误的预测结果。如，若待验证感知算法针对对抗样本的感知数据输出的预测结果与标注信息不符，则可以确定待验证感知算法输出错误的预测结果；若待验证感知算法针对对抗样本的感知数据输出的预测结果与标注信息一致，则可以确定待验证感知算法输出正确的预测结果。
具体的，在完成一次对待验证感知算法的训练和验证后，可以重新生成新的对抗样本，以返回S120，读取新的导入文件，以生成新的目标训练样本集继续对待验证感知算法进行训练和验证，以实现对待验证感知算法的更新迭代，不断提升待验证感知算法的抗干扰能力，进而提高待验证感知算法的预测准确性。
在本发明实施例中，还可以根据待验证感知算法输出的错误的预测结果的比例，确定是否需要调整生成对抗样本的干扰强度。例如，若错误的预测结果的比例小于设定值，则表示待验证感知算法具备良好的对抗干扰的能力，此时可以增强生成对抗样本的干扰强度，以生成新的干扰强度更大的对抗样本，进而读取对应的导入文件，以生成新的目标训练样本集对算法进行训练与验证。
又比如，若错误的预测结果的比例大于设定值，则表示待验证感知算法的对抗干扰的能力较差，此时可以降低生成对抗样本的干扰强度，以生成新的干扰强度更低的对抗样本，逐步训练待验证感知算法的抗干扰能力，进而读取对应的导入文件，以生成新的目标训练样本集对算法进行训练与验证。
在本发明实施例中，还可以设置针对待验证感知算法的训练验证终止条件，即在训练和验证的迭代次数达到一定值时，可以终止对待验证感知算法的训练和验证。
本发明具有以下技术效果：通过真实感知环境构建虚拟仿真环境，读取针对真实感知环境中的真实物体的各对抗样本或各普通样本对应的导入文件，在虚拟仿真环境中更新显示各对抗样本或各普通样本，进而通过虚拟仿真环境中的虚拟环境相机和虚拟激光雷达，获取样本的感知数据，通过感知数据构建与待验证感知算法对应的原始训练样本集，并通过其中各感知数据之间的差异确定目标训练样本集，通过目标训练样本集对算法进行训练，在训练完成后通过各对抗样本的感知数据对其进行验证，并返回继续读取新的导入文件以生成新的目标训练样本集，实现了对包含对抗样本的感知数据的训练样本集的生成，并通过生成的训练样本集对算法进行训练，解决了人工标注成本高、效率低、难以满足算法更新迭代需求的问题，在降低训练成本的同时，保证对感知算法的训练精度，提高感知算法的迭代速度。
图4为本发明实施例提供的一种电子设备的结构示意图。如图4所示，电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本发明任意实施例的针对感知算法的训练样本生成和验证方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备400中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的针对感知算法的训练样本生成和验证方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的针对感知算法的训练样本生成和验证方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种针对感知算法的训练样本生成和验证方法，其特征在于，包括：
基于真实感知环境构建虚拟仿真环境，其中，所述真实感知环境包括真实环境相机、真实激光雷达以及各真实物体；
读取所述真实物体的各对抗样本或各普通样本对应的导入文件，在所述虚拟仿真环境中更新显示各所述对抗样本或各所述普通样本，基于所述虚拟仿真环境中的虚拟环境相机和虚拟激光雷达，获取各所述对抗样本或各所述普通样本的感知数据；
根据各所述对抗样本以及各所述普通样本的感知数据，构建与待验证感知算法对应的原始训练样本集，根据所述原始训练样本集中各感知数据之间的差异确定目标训练样本集；
基于所述目标训练样本集对所述待验证感知算法进行训练，在训练完成后基于所述目标训练样本集中各所述对抗样本的感知数据，对所述待验证感知算法进行验证，并返回读取所述真实物体的新的导入文件，以重新生成所述待验证感知算法对应的目标训练样本集并进行验证。
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始训练样本集中各感知数据之间的差异确定目标训练样本集，包括：
针对所述原始训练样本集中的各感知数据，将首项数据作为当前第一数据；
将所述当前第一数据存储至目标训练样本集，并将所述当前第一数据的下一项数据作为当前第二数据；
确定所述当前第一数据与所述当前第二数据之间的差异，若所述差异满足预设差异条件，则将所述当前第二数据作为当前第一数据，返回将所述当前第一数据存储至目标训练样本集的步骤，直至所述当前第二数据为所述原始训练样本集中的最后一项数据。
3.根据权利要求2所述的方法，其特征在于，所述差异包括传感器距离差异、传感器角度差异以及样本距离差异，所述确定所述当前第一数据与所述当前第二数据之间的差异，包括：
确定所述当前第一数据、所述当前第二数据中的传感器位置、传感器方向以及样本位置；
基于所述当前第一数据中的传感器位置与所述当前第二数据中的传感器位置，确定传感器距离差异；
基于所述当前第一数据中的传感器方向与所述当前第二数据中的传感器方向，确定传感器角度差异；
基于所述当前第一数据中的样本位置与所述当前第二数据中的样本位置，确定样本距离差异；
其中，所述传感器为虚拟环境相机或虚拟激光雷达。
4.根据权利要求3所述的方法，其特征在于，所述基于所述当前第一数据中的传感器位置与所述当前第二数据中的传感器位置，确定传感器距离差异，满足如下公式：
；
所述基于所述当前第一数据中的传感器方向与所述当前第二数据中的传感器方向，确定传感器角度差异，满足如下公式：
；
所述基于所述当前第一数据中的样本位置与所述当前第二数据中的样本位置，确定样本距离差异，满足如下公式：
；
式中，、、分别为传感器距离差异、传感器角度差异、样本距离差异；当前第一数据中的传感器位置表示为，当前第二数据中的传感器位置表示为；当前第一数据中的传感器方向表示为，当前第二数据中的传感器方向表示为；当前第一数据中的样本位置表示为，当前第二数据中的样本位置表现为。
5.根据权利要求2所述的方法，其特征在于，在所述确定所述当前第一数据与所述当前第二数据之间的差异之后，还包括：
若所述差异不满足预设差异条件，则将所述当前第二数据的下一项数据作为当前第二数据，并返回确定所述当前第一数据与所述当前第二数据之间的差异的步骤，直至所述当前第二数据为所述原始训练样本集中的最后一项数据。
6.根据权利要求1所述的方法，其特征在于，所述感知数据包括训练样本图片以及与训练样本图片对应的标注信息，基于所述虚拟仿真环境中的虚拟环境相机，获取各所述对抗样本或各所述普通样本的感知数据，包括：
基于所述虚拟环境相机的坐标轴位置以及坐标轴方向，确定所述虚拟环境相机的视图变换矩阵，基于所述对抗样本或所述普通样本的包围六面体的坐标范围，确定所述虚拟环境相机的投影矩阵，基于所述虚拟环境相机的屏幕尺寸确定所述虚拟环境相机的视口矩阵；
基于所述对抗样本或所述普通样本的六面体顶点的世界坐标、所述视图变换矩阵、所述投影矩阵以及所述视口矩阵，确定所述六面体顶点在所述虚拟环境相机的坐标系下的映射坐标；
基于所述六面体顶点的映射坐标，确定所述虚拟环境相机采集到的训练样本图片中所述对抗样本或所述普通样本对应的边框坐标；
根据所述边框坐标以及所述对抗样本或所述普通样本对应的标注名称，确定与训练样本图片对应的标注信息。
7.根据权利要求6所述的方法，其特征在于，所述感知数据还包括训练点云数据以及与训练点云数据对应的标注信息，基于所述虚拟仿真环境中的虚拟激光雷达，获取各所述对抗样本或各所述普通样本的感知数据，包括：
以所述虚拟激光雷达为起点，在视场角范围内发送射线，基于射线确定所述虚拟激光雷达与所述对抗样本或所述普通样本的交点；
根据所述交点对应的距离、仰角以及方位，确定所述交点的世界坐标，将各所述交点的世界坐标确定为训练点云数据，并根据所述对抗样本或所述普通样本对应的标注名称，确定与训练点云数据对应的标注信息。
8.根据权利要求1所述的方法，其特征在于，所述读取所述真实物体的各对抗样本或各普通样本对应的导入文件，在所述虚拟仿真环境中更新显示各所述对抗样本或各所述普通样本，包括：
读取包含所述真实物体的各对抗样本或各普通样本的配置文件，将所述配置文件中关于各样本的数据写入至结构体数组；
遍历所述结构体数组，导入所述对抗样本或所述普通样本的模型文件，并导入所述对抗样本或所述普通样本的渲染着色文件；
在所述虚拟仿真环境中确定出与所述对抗样本或所述普通样本标识相同的模型，基于所述配置文件中的模型属性信息，对所述标识相同的模型进行更新。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至8任一项所述的针对感知算法的训练样本生成和验证方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至8任一项所述的针对感知算法的训练样本生成和验证方法的步骤。
CN202310243674.3A 2023-03-15 2023-03-15 针对感知算法的训练样本生成和验证方法、设备和介质 Active CN116071621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310243674.3A CN116071621B (zh) 2023-03-15 2023-03-15 针对感知算法的训练样本生成和验证方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310243674.3A CN116071621B (zh) 2023-03-15 2023-03-15 针对感知算法的训练样本生成和验证方法、设备和介质

Publications (2)

Publication Number Publication Date
CN116071621A true CN116071621A (zh) 2023-05-05
CN116071621B CN116071621B (zh) 2023-06-23

Family

ID=86175094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310243674.3A Active CN116071621B (zh) 2023-03-15 2023-03-15 针对感知算法的训练样本生成和验证方法、设备和介质

Country Status (1)

Country Link
CN (1) CN116071621B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070139A (zh) * 2019-04-28 2019-07-30 吉林大学 面向自动驾驶环境感知的小样本在环学习系统和方法
CN113159146A (zh) * 2021-04-08 2021-07-23 浙江天行健智能科技有限公司 样本生成、目标检测模型训练、目标检测方法及装置
CN113192175A (zh) * 2021-04-14 2021-07-30 武汉联影智融医疗科技有限公司 模型训练方法、装置、计算机设备和可读存储介质
KR20210124111A (ko) * 2021-03-25 2021-10-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 모델을 훈련하기 위한 방법, 장치, 기기, 매체 및 프로그램 제품
CN113610141A (zh) * 2021-08-02 2021-11-05 清华大学 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113610172A (zh) * 2021-08-13 2021-11-05 北京地平线信息技术有限公司 神经网络模型训练方法和装置、传感数据融合方法和装置
CN113762286A (zh) * 2021-09-16 2021-12-07 平安国际智慧城市科技股份有限公司 数据模型训练方法、装置、设备及介质
CN114187483A (zh) * 2021-10-25 2022-03-15 北京邮电大学 生成对抗样本的方法、检测器的训练方法及相关设备
CN114359658A (zh) * 2021-12-15 2022-04-15 深圳市优必选科技股份有限公司 训练数据的生成方法、装置、终端设备及存储介质
CN115205610A (zh) * 2021-04-08 2022-10-18 阿里巴巴新加坡控股有限公司 感知模型的训练方法、训练装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070139A (zh) * 2019-04-28 2019-07-30 吉林大学 面向自动驾驶环境感知的小样本在环学习系统和方法
KR20210124111A (ko) * 2021-03-25 2021-10-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 모델을 훈련하기 위한 방법, 장치, 기기, 매체 및 프로그램 제품
CN113159146A (zh) * 2021-04-08 2021-07-23 浙江天行健智能科技有限公司 样本生成、目标检测模型训练、目标检测方法及装置
CN115205610A (zh) * 2021-04-08 2022-10-18 阿里巴巴新加坡控股有限公司 感知模型的训练方法、训练装置及电子设备
CN113192175A (zh) * 2021-04-14 2021-07-30 武汉联影智融医疗科技有限公司 模型训练方法、装置、计算机设备和可读存储介质
CN113610141A (zh) * 2021-08-02 2021-11-05 清华大学 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113610172A (zh) * 2021-08-13 2021-11-05 北京地平线信息技术有限公司 神经网络模型训练方法和装置、传感数据融合方法和装置
CN113762286A (zh) * 2021-09-16 2021-12-07 平安国际智慧城市科技股份有限公司 数据模型训练方法、装置、设备及介质
CN114187483A (zh) * 2021-10-25 2022-03-15 北京邮电大学 生成对抗样本的方法、检测器的训练方法及相关设备
CN114359658A (zh) * 2021-12-15 2022-04-15 深圳市优必选科技股份有限公司 训练数据的生成方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黎隽男，吕佳: "基于近邻密度和半监督KNN的集成自训练方法", 《计算机工程与应用》, vol. 54, no. 20, pages 132 - 138 *

Also Published As

Publication number Publication date
CN116071621B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112085840B (zh) 语义分割方法、装置、设备及计算机可读存储介质
CA2887763C (en) Systems and methods for relating images to each other by determining transforms without using image acquisition metadata
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN109801374B (zh) 一种通过多角度图像集重构三维模型的方法、介质及系统
CN112444242A (zh) 一种位姿优化方法及装置
KR20130138247A (ko) 신속 3ｄ 모델링
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
US11282180B1 (en) Object detection with position, pose, and shape estimation
CN112312113B (zh) 用于生成三维模型的方法、装置和系统
CN111462249A (zh) 一种交通摄像头的标定数据获取方法、标定方法及装置
CN113916130A (zh) 一种基于最小二乘法的建筑物位置测量方法
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN109766896B (zh) 一种相似度度量方法、装置、设备和存储介质
CN117036612A (zh) 一种基于神经辐射场的三维重建方法
CN114202622A (zh) 虚拟建筑生成方法、装置、设备及计算机可读存储介质
CN114187589A (zh) 一种目标检测方法、装置、设备和存储介质
CN117315372A (zh) 一种基于特征增强的三维感知方法
CN115527016A (zh) 一种三维gis视频融合注册方法、系统、介质、设备及终端
CN116071621B (zh) 针对感知算法的训练样本生成和验证方法、设备和介质
Tian et al. Registration and occlusion handling based on the FAST ICP-ORB method for augmented reality systems
JP7375149B2 (ja) 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
CN114004874B (zh) 占用栅格地图的获取方法和装置
CN115273038A (zh) 路面元素识别方法和系统、电子设备和存储介质
CN114972530A (zh) 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
WO2022011560A1 (zh) 图像裁剪方法与装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant