CN114118286A - 一种汽车雷达点云数据的处理方法 - Google Patents

一种汽车雷达点云数据的处理方法 Download PDF

Info

Publication number
CN114118286A
CN114118286A CN202111452252.4A CN202111452252A CN114118286A CN 114118286 A CN114118286 A CN 114118286A CN 202111452252 A CN202111452252 A CN 202111452252A CN 114118286 A CN114118286 A CN 114118286A
Authority
CN
China
Prior art keywords
point cloud
data
cloud data
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111452252.4A
Other languages
English (en)
Inventor
李经善
李启达
徐锦锦
张小磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Seecar Information System Co ltd
Original Assignee
Suzhou Seecar Information System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Seecar Information System Co ltd filed Critical Suzhou Seecar Information System Co ltd
Priority to CN202111452252.4A priority Critical patent/CN114118286A/zh
Publication of CN114118286A publication Critical patent/CN114118286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供一种汽车雷达点云数据的处理方法,包括步骤:S1,将点云原始数据进行标注,根据不同的车型选择相应的轴数,标注后的点云数据一部分作为训练数据,另一部分作为测试数据;S2,利用S1的训练数据进行模型训练,先对点云数据进行对齐并进行深度学习迭代训练,再对提取的特征信息进行聚合,同时进行深度学习迭代训练得到训练好的模型;S3,利用S1的测试数据采用S2训练好的模型进行模型推理,将模型输出的预测的轮轴类型与标注的真值对比,得到正确率;S4,正确率大于设定的目标准确率则通过,正确率小于等于设定的目标准确率则增加标注的点云数据的数量,循环步骤S1‑S4直至正确率大于设定的目标准确率。

Description

一种汽车雷达点云数据的处理方法
技术领域
本发明涉及点云数据处理的技术领域,更具体地,涉及一种汽车雷达点云数据的处理方法。
背景技术
汽车的雷达数据是以点云的形式存放的,而点云数据是一个集合,对数据的顺序是不敏感的。这就意味着处理点云数据的模型需要对数据的不同排列保持不变性。汽车点云数据由特定空间内的一定数量的点云构成,也就是说这些点云之间存在空间关系。汽车点云数据所代表的目标对某些空间转换应该具有不变性,如旋转和平移。因为上述特性,可以采用点云分类识别算法来进行轮轴的五分类任务。
为了对数据的不同排列保持不变性,目前文献中使用的方法包括:(1)将无序的数据重排序,这种方法是不直接处理三维的点云数据,而是通过投影等方式,运算复杂;(2)用数据的所有排列进行数据增强然后使用RNN模型,这种方法也是不直接处理三维的点云数据,而是通过投影等方式,运算复杂。
有鉴于此,本发明提供一种汽车雷达点云数据的处理方法,采用对称函数的方式来保证排列不变性,能够直接处理三维的点云数据,简洁且容易在模型中实现。
发明内容
本发明的目的在于,提供一种汽车雷达点云数据的处理方法,采用对称函数的方式来保证排列不变性,能够直接处理三维的点云数据,简洁且容易在模型中实现。
一种汽车雷达点云数据的处理方法,包括步骤:
S1,将点云原始数据进行标注,根据不同的车型选择相应的轴数,标注后的点云数据一部分作为训练数据,另一部分作为测试数据;
S2,利用S1的训练数据进行模型训练,先对点云数据进行对齐并进行深度学习迭代训练,再对提取的特征信息进行聚合,同时进行深度学习迭代训练得到训练好的模型;
S3,利用S1的测试数据采用S2训练好的模型进行模型推理,将模型输出的预测的轮轴类型与标注的真值对比,得到正确率;
S4,正确率大于设定的目标准确率则通过,正确率小于等于设定的目标准确率则增加标注的点云数据的数量,循环步骤S1-S4直至正确率大于设定的目标准确率。
在一些实施方式中,在步骤S1中,轴数包括:两轴、三轴、四轴、五轴、六轴及以上,经过雷达点云数据的检测跟踪和聚类,得到我们的输入:一帧或者多帧叠加的一辆车的点云数据集合,然后经过随机降采样,不同对象选取相同数量的点,降采样后的点云数据作为模型输入数据。
在一些实施方式中,在步骤S2中,点云数据的对齐是通过变换矩阵T(T-Net结构)得到转换矩阵、并将该转换矩阵和输入点云数据相乘来实现,保证模型对特定空间转换的不变性。
进一步的,变换矩阵T初始值为随机值,但是在神经网络迭代训练过程中,由于loss的约束,使得T矩阵训练会学习到最有利于最终分类的变换,如把点云旋转到正面。
进一步的,分别在输入数据后和第一层特征中使用了T矩阵,大小为3x3和64x64;其中第二个T矩阵由于参数过多,考虑添加正则项,使其接近于正交矩阵,减少点云的信息丢失。
在一些实施方式中,在步骤S2中,将局部特征和全局特征进行串联的方式来聚合信息。
进一步的,通过多次激活对各点云数据进行特征提取,再通过变换矩阵T(T-Net结构)对特征进行对齐;采用对称函数算法对特征在各个维度上执行最大池化操作来得到最终的全局特征;将全局特征激活得到最后的分类分数,分数最大的车轴类别即为预测的车轴数。
进一步的,通过三次卷积+批归一化+激活(mpl)进行特征抽取,然后将经过激活的tensor乘以上述通过T-Net求得的矩阵来进行特征对齐;所述对称函数算法包括maxpooling,maxpooling在2500*1024的tensor的第二维度上取最大的那个值的得到2500*1的tensor;1*1024的tensor通过三次卷积+批归一化+激活(mpl),得到1*5矩阵,从而得到最后的分类分数。
在一些实施方式中,在步骤S2中,神经网络迭代训练经过800-1300轮得到有一个模型权重文件。
在一些实施方式中,在步骤S3中,将S2得到的权重文件带入模型中,输入为S1中标注好的测试数据,输出为各个数据预测的轮轴类型,与标注的真值对比,进行正确的百分比统计,预测和真值结果一致的数据记为1,否则计0,累计各个数据的得分除以测试总数,得到正确率。
附图说明
结合以下附图一起阅读时,将会更加充分地描述本申请内容的上述和其他特征。可以理解,这些附图仅描绘了本申请内容的若干实施方式,因此不应认为是对本申请内容范围的限定。通过采用附图,本申请内容将会得到更加明确和详细地说明。
图1为本申请的汽车雷达点云数据的处理方法的流程图。
图2为本申请的汽车雷达点云数据的处理方法的二轴点云数据图。
图3为本申请的汽车雷达点云数据的处理方法的三轴点云数据图。
图4为本申请的汽车雷达点云数据的处理方法的四轴点云数据图。
图5为本申请的汽车雷达点云数据的处理方法的五轴点云数据图。
图6为本申请的汽车雷达点云数据的处理方法的六轴点云数据图。
具体实施方式
描述以下实施例以辅助对本申请的理解,实施例不是也不应当以任何方式解释为限制本申请的保护范围。
在以下描述中,本领域的技术人员将认识到,在本论述的全文中,组件可描述为单独的功能单元(可包括子单元),但是本领域的技术人员将认识到,各种组件或其部分可划分成单独组件,或者可整合在一起(包括整合在单个的系统或组件内)。
同时,组件或系统之间的连接并不旨在限于直接连接。相反,在这些组件之间的数据可由中间组件修改、重格式化、或以其它方式改变。另外,可使用另外或更少的连接。还应注意,术语“联接”、“连接”、或“输入”“固定”应理解为包括直接连接、通过一个或多个中间媒介来进行的间接的连接或固定。
实施例1:
一种汽车雷达点云数据的处理方法,如图1-图6所示,包括步骤:S1,将点云原始数据进行标注,根据不同的车型选择相应的轴数,标注后的点云数据一部分作为训练数据,另一部分作为测试数据;S2,利用S1的训练数据进行模型训练,先对点云数据进行对齐并进行深度学习迭代训练,再对提取的特征信息进行聚合,同时进行深度学习迭代训练得到训练好的模型;S3,利用S1的测试数据采用S2训练好的模型进行模型推理,将模型输出的预测的轮轴类型与标注的真值对比,得到正确率;S4,正确率大于设定的目标准确率则通过,正确率小于等于设定的目标准确率则增加标注的点云数据的数量,循环步骤S1-S4直至正确率大于设定的目标准确率。
将不同车型数据按照自身车型类别分别放到两轴、三轴、四轴、五轴、六轴(包含六轴以上的车)文件夹下,4/5的数据划分为训练数据,剩余的1/5的数据划分为测试数据。经过雷达点云数据的检测跟踪和聚类,得到我们的输入:一帧或者多帧叠加的一辆车的点云数据集合,然后经过随机降采样,不同对象的点云数目不等,均随机取其中2500个点,得到2500*3的tensor,其中2500代表点云数量,3对应xyz坐标,降采样后的点云数据作为模型输入数据。
点云数据的对齐是通过变换矩阵T(T-Net结构)来得到转换矩阵,并将该转换矩阵和输入点云数据相乘来实现,来保证模型对特定空间转换的不变性。其中,变换矩阵T初始值为随机值,但是在神经网络迭代训练过程中,由于loss的约束,使得T矩阵训练会学习到最有利于最终分类的变换,如把点云旋转到正面。分别在输入数据后和第一层特征中使用了T矩阵,大小为3x3和64x64。其中第二个T矩阵由于参数过多,考虑添加正则项,使其接近于正交矩阵,减少点云的信息丢失。
将局部特征和全局特征进行串联的方式来聚合信息。通过多次激活(mlp)对各点云数据进行特征提取后,再用一个变换矩阵T对特征进行对齐。具体的,通过三次卷积+批归一化+激活(mpl)进行特征抽取,然后将经过激活的tensor乘以上述通过T-Net求得的矩阵来进行特征对齐。使用maxpooling这个对称函数算法来提取点云数据的特征,这里在特征的各个维度上执行最大池化(maxpooling)操作来得到最终的全局特征,这里的maxpooling在2500*1024的tensor的第二维度上取最大的那个值的得到2500*1的tensor。最终通过将全局特征经过激活(mlp)输出1*5的tensor,1*1024的tensor通过三次卷积+批归一化+激活(mpl),得到1*5矩阵,从而得到最后的分类分数,分数最大的车轴类别即为预测的车轴数。神经网络迭代训练经过1000轮得到有一个模型权重文件。
将得到的权重文件带入模型中,输入为S1中标注好的测试数据,输出为各个数据预测的轮轴类型,与标注的真值对比,进行正确的百分比统计,预测和真值结果一致的数据记为1,否则计0,累计各个数据的得分除以测试总数,得到正确率。判断正确率是否大于我们设定的目标准确率,正确率大于等于设定的目标准确率则通过,项目结束,例如要求正确率为99%以上,那么正确率>99%则通过,否则不通过;正确率小于等于设定的目标准确率则增加标注的点云数据的数量,循环步骤S1-S4直至正确率大于等于设定的目标准确率。
尽管本申请已公开了多个方面和实施方式,但是其它方面和实施方式对本领域技术人员而言将是显而易见的,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。本申请公开的多个方面和实施方式仅用于举例说明,其并非旨在限制本申请,本申请的实际保护范围以权利要求为准。

Claims (10)

1.一种汽车雷达点云数据的处理方法,其特征在于,包括步骤:
S1,将点云原始数据进行标注,根据不同的车型选择相应的轴数,标注后的点云数据一部分作为训练数据,另一部分作为测试数据;
S2,利用S1的训练数据进行模型训练,先对点云数据进行对齐并进行深度学习迭代训练,再对提取的特征信息进行聚合,同时进行深度学习迭代训练得到训练好的模型;
S3,利用S1的测试数据采用S2训练好的模型进行模型推理,将模型输出的预测的轮轴类型与标注的真值对比,得到正确率;
S4,正确率大于设定的目标准确率则通过,正确率小于等于设定的目标准确率则增加标注的点云数据的数量,循环步骤S1-S4直至正确率大于设定的目标准确率。
2.如权利要求1所述的汽车雷达点云数据的处理方法,其特征在于,在步骤S1中,轴数包括:两轴、三轴、四轴、五轴、六轴及以上,经过雷达点云数据的检测跟踪和聚类,得到我们的输入:一帧或者多帧叠加的一辆车的点云数据集合,然后经过随机降采样,不同对象选取相同数量的点,降采样后的点云数据作为模型输入数据。
3.如权利要求1所述的汽车雷达点云数据的处理方法,其特征在于,在步骤S2中,点云数据的对齐是通过变换矩阵T得到转换矩阵、并将该转换矩阵和输入点云数据相乘来实现,保证模型对特定空间转换的不变性。
4.如权利要求3所述的汽车雷达点云数据的处理方法,其特征在于,变换矩阵T初始值为随机值,但是在神经网络迭代训练过程中,由于loss的约束,使得T矩阵训练会学习到最有利于最终分类的变换,如把点云旋转到正面。
5.如权利要求4所述的汽车雷达点云数据的处理方法,其特征在于,分别在输入数据后和第一层特征中使用了T矩阵,大小为3x3和64x64;其中第二个T矩阵由于参数过多,考虑添加正则项,使其接近于正交矩阵,减少点云的信息丢失。
6.如权利要求1所述的汽车雷达点云数据的处理方法,其特征在于,在步骤S2中,将局部特征和全局特征进行串联的方式来聚合信息。
7.如权利要求6所述的汽车雷达点云数据的处理方法,其特征在于,通过多次激活对各点云数据进行特征提取,再通过变换矩阵T对特征进行对齐;采用对称函数算法对特征在各个维度上执行最大池化操作来得到最终的全局特征;将全局特征激活得到最后的分类分数,分数最大的车轴类别即为预测的车轴数。
8.如权利要求7所述的汽车雷达点云数据的处理方法,其特征在于,通过三次卷积+批归一化+激活进行特征抽取,然后将经过激活的tensor乘以上述通过T-Net求得的矩阵来进行特征对齐。
9.如权利要求1所述的汽车雷达点云数据的处理方法,其特征在于,在步骤S2中,神经网络迭代训练经过800-1300轮得到有一个模型权重文件。
10.如权利要求1所述的汽车雷达点云数据的处理方法,其特征在于,在步骤S3中,将S2得到的权重文件带入模型中,输入为S1中标注好的测试数据,输出为各个数据预测的轮轴类型,与标注的真值对比,进行正确的百分比统计,预测和真值结果一致的数据记为1,否则计0,累计各个数据的得分除以测试总数,得到正确率。
CN202111452252.4A 2021-12-01 2021-12-01 一种汽车雷达点云数据的处理方法 Pending CN114118286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111452252.4A CN114118286A (zh) 2021-12-01 2021-12-01 一种汽车雷达点云数据的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111452252.4A CN114118286A (zh) 2021-12-01 2021-12-01 一种汽车雷达点云数据的处理方法

Publications (1)

Publication Number Publication Date
CN114118286A true CN114118286A (zh) 2022-03-01

Family

ID=80369350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111452252.4A Pending CN114118286A (zh) 2021-12-01 2021-12-01 一种汽车雷达点云数据的处理方法

Country Status (1)

Country Link
CN (1) CN114118286A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051925A (zh) * 2023-01-04 2023-05-02 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097556A (zh) * 2019-04-29 2019-08-06 东南大学 基于PointNet的大规模点云语义分割算法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110807774A (zh) * 2019-09-30 2020-02-18 广东工业大学 一种点云分类与语义分割方法
CN112819830A (zh) * 2021-01-24 2021-05-18 南京林业大学 基于深度学习与机载激光点云的单株树冠分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097556A (zh) * 2019-04-29 2019-08-06 东南大学 基于PointNet的大规模点云语义分割算法
CN110197223A (zh) * 2019-05-29 2019-09-03 北方民族大学 基于深度学习的点云数据分类方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110807774A (zh) * 2019-09-30 2020-02-18 广东工业大学 一种点云分类与语义分割方法
CN112819830A (zh) * 2021-01-24 2021-05-18 南京林业大学 基于深度学习与机载激光点云的单株树冠分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
点云PCL: "结合代码理解Pointnet网络结构", 《HTTPS://CLOUD.TENCENT.COM/DEVELOPER/ARTICLE/1605590》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051925A (zh) * 2023-01-04 2023-05-02 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质
CN116051925B (zh) * 2023-01-04 2023-11-10 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN108647700B (zh) 基于深度学习的多任务车辆部件识别模型、方法和系统
CN104850845A (zh) 一种基于非对称卷积神经网络的交通标志识别方法
JP2022547460A (ja) コンピュートインメモリアレイの列しきい値を調整することによってxnor等価演算を実施すること
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
CN112614187A (zh) 回环检测方法、装置、终端设备和可读存储介质
CN114118286A (zh) 一种汽车雷达点云数据的处理方法
CN115690522A (zh) 一种基于多池化融合通道注意力的目标检测方法及其应用
WO2021083126A1 (zh) 目标检测、智能行驶方法、装置、设备及存储介质
CN114821251B (zh) 一种点云上采样网络的确定方法及确定装置
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
CN107066980B (zh) 一种图像变形检测方法及装置
CN108846414A (zh) 基于决策级融合思想的sar图像子类别分类方法
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
CN101216878A (zh) 基于广义非线性判别分析的人脸识别方法
CA3002100A1 (en) Unsupervised domain adaptation with similarity learning for images
CN115758245A (zh) 一种多模态数据分类方法、装置、设备和存储介质
Li et al. POLSAR Target Recognition Using a Feature Fusion Framework Based on Monogenic Signal and Complex-Valued Nonlocal Network
CN115423090A (zh) 一种面向细粒度识别的类增量学习方法
CN113837100A (zh) 交通标志识别模型的生成方法
CN114005002A (zh) 基于核操作的核全连接神经网络的图像识别方法
CN116912920B (zh) 表情识别方法及装置
Mohd Ali et al. Performance comparison between ANN and PCA techniques for road signs recognition
CN117198065B (zh) 一种汽车智能限速器
Papliński Rotation invariant categorization of visual objects using Radon transform and self-organizing modules
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220301

RJ01 Rejection of invention patent application after publication