CN117315372A - 一种基于特征增强的三维感知方法 - Google Patents

一种基于特征增强的三维感知方法 Download PDF

Info

Publication number
CN117315372A
CN117315372A CN202311429741.7A CN202311429741A CN117315372A CN 117315372 A CN117315372 A CN 117315372A CN 202311429741 A CN202311429741 A CN 202311429741A CN 117315372 A CN117315372 A CN 117315372A
Authority
CN
China
Prior art keywords
point
point cloud
information
bounding box
centroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311429741.7A
Other languages
English (en)
Inventor
匡平
郭浩然
李凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202311429741.7A priority Critical patent/CN117315372A/zh
Publication of CN117315372A publication Critical patent/CN117315372A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征增强的三维感知方法，包括：将获取到的RGB图像输入至2D检测器进行目标检测，得到作为区域建议的包围框信息，每个包围框信息针对于一个目标；得到原始点云在RGB图像上的前景点；得到从RGB图像到3D空间形成的截锥体；得到特征补全后的补全点云；将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云；将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息。本发明利用球查询策略进行关键信息补全，意在基于原始点云，为下采样后实例物体附近的点云进行信息补全；同时基于多级连接的特征扩充策略，为特征提取后的每个点提供额外语义信息，提升了回归网络的包围盒回归效果。

Description

一种基于特征增强的三维感知方法
技术领域
本发明涉及3D目标检测领域，尤其涉及一种基于特征增强的三维感知方法。
背景技术
目前3D目标检测方法主要有Voxel-based方法与Point-based两大类。Voxel-based方法将大规模的点云数据划分为一个个体素块进行特征提取，这种策略会带来不可避免的信息损失，这主要由于每个体素内的点的数量最后是一个固定值，如果一个体素内的点的数量超过了限制，就会把多余的点直接过滤掉。Point-based直接使用原始点云进行特征提取，可以保留更精确的点的信息，但由于原始点云中点的无序性和庞大的数量级，导致计算开销很大。
我们认为特征的信息完整度对于三维感知起到关键作用。举例如下：(1)在真实场景点云中背景点的数量一般会比前景点的数量多得多，参考2D目标检测网络RetinaNet中的思想，在训练阶段使用focal loss可以小幅度减小这一现象的影响。但一些基于原始点云的模型在实现下采样时均采用随机下采样的策略，因此会导致物体相关信息丢失较严重。(2)针对基于体素的模型的缺陷，一些研究者们通过平衡体素大小、插值、结合使用点云和体素等方式来减轻由于体素划分导致的信息丢失问题。
综上所述，“完善特征”的策略在两类模型中对于提升三维感知的效果都是有益的，但现有模型在提升三维感知效果方面更多关注于优化模型架构，“完善特征”只简单作为小的提升指标的辅助手段，并未显著针对这一方向进行深入研究。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于特征增强的三维感知方法。
本发明的目的是通过以下技术方案来实现的：
本发明的第一方面，提供一种基于特征增强的三维感知方法，用于对通过雷达传感器采集的原始点云和通过相机采集的RGB图像进行处理，其特征在于：包括以下步骤：
将获取到的RGB图像输入至2D检测器进行目标检测，得到作为区域建议的包围框信息，每个包围框信息针对于一个目标；
使用原始点云获取前景点，并通过雷达传感器坐标和相机坐标进行的转换关系，对原始点云的前景点做投影变换，得到原始点云在RGB图像上的前景点；
结合区域建议和前景点，筛选出处于区域建议内的前景点，将筛选出的前景点再反投影变换到3D空间，得到从RGB图像到3D空间形成的截锥体；
找到物体质心位置后使用球查询操作，将获取到的各个质心位置的半径范围球内的原始点云信息补充进截锥体，得到特征补全后的补全点云；
将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云；
将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息。
进一步地，所述对原始点云的前景点做投影变换，公式如下：
式中，X为原始点云坐标即(x,y,z,1)T，Y为投影变换后得到的像素坐标系坐标即(u,v,1)T；为第i个相机的投影矩阵，/>表示0号相机的修正矩阵，/>表示雷达传感器坐标系到相机坐标系的旋转平移矩阵。
进一步地，所述找到物体质心位置，采用投票机制获取物体的大致质心位置，包括：
利用编码器提取截锥体的点云特征，生成一系列种子点，即为由浅层特征通过下采样逐步得到深层特征的过程；
将这些种子点输入至投票层，所述投票层先对每一个种子点的256维特征通过mlp+bn层来生成一个3+256维特征向量，网络学习该种子点到物体中心点的空间偏移量和特征偏移量以此通过每个点投票获得中心点，即由真实值距物体中心的和网络输出的投票Δxi之差进行监督；
对投票层得到的聚集中心进行聚类，得到物体质心位置。
进一步地，所述编码器使用顺次连接的set abstraction即SA层和FeaturePropagation即FP层对截锥体的点进行特征提取。
进一步地，在所述由浅层特征通过下采样逐步得到深层特征的过程中，引入了质心感知下采样策略，即将更接近质心的点赋予更高的权重掩码Maski公式如下：
其中，f、b、l、r、u、d分别表示一个点到地面真实边界框的6个曲面的距离，6个曲面分别为前面、后面、左面、右面、上面和下面。
进一步地，在采用投票机制获取物体的大致质心位置的过程中，设置第一检测头，通过由物体中心点与预测的质心的位置差异进行监督。
进一步地，所述使用球查询操作为使用自适应球查询操作，包括以下步骤：
将每个获得的质心位置形成球体的中心点，通过人工设置半径后将每个球体内的点作为局部区域用于特征提取；
其中，人工设置的半径根据投票层获取的质心位置的深度自适应设置；由于雷达传感器具有近大远小的特点，因此将距离雷达传感器越远的物体设置越小的半径；半径的基线标准由实际测量得到，根据相似三角形原理计算得到任意深度下的半径。
进一步地，所述将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云，其中：
拼接点云包括八个维度，分别为补全点云的点云信息的四个维度、区域建议信息的三个维度和质心信息的一个维度；
所述补全点云的点云信息的四个维度分别为对应点的x轴坐标、y轴坐标、z轴坐标和反射强度r；
所述区域建议信息的三个维度分别为对应点的掩码信息、类别标签和索引标签；所述掩码信息表示该点属于前景点或背景点，通过结合原始点云使用投影变换和边界判断来确定；所述类别标签表示该点所属的2D边界框的类别；所述索引标签表示每个点所属的2D边界框的数量；
所述质心信息的一个维度表示由投票层最终聚类得到的质心与当前点的距离，用于提供给分割网络额外信息，即距离质心越近的点越有可能是构成目标物体的点。
进一步地，所述将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息，包括：
使用PointNet分割网络对每个截锥体内的拼接点云进行实例分割，所述实例分割为二分类，即每个点属于物体点或背景点；
将物体相关点分离后，输入第二检测头进行3D包围盒回归，其中第二检测头需要回归的参数包括朝向角、3D包围盒尺寸、以及通过角点位置和中心位置得到的角点损失。
进一步地，所述3D包围盒回归的损失函数以带权累加的方式实现，包括质心感知下采样损失Lseg_aware、物体中心感知损失Lvote-reg、包围盒回归损失；其中：
质心感知下采样损失Lseg_aware为利用权重掩码Maski融合在分割任务的损失函数中达到隐式地结合到网络训练中的效果，公式如下：
式中，si表示预测点的类别，表示预测点属于该类别的概率；
物体中心感知损失Lvote-reg即所述由真实值距物体中心的和网络输出的投票Δxi之差进行监督，公式如下：
式中，N表示物体表面投票点的个数，对每个投票点学习一个3D空间的偏置Δxi，为了使得移动之后的点更接近物体的质心，采用了L1 loss去监督移动后的点和物体质心之间的距离，即l[pointi on object]表示投票点是否在物体上；
包围盒回归损失包括朝向角损失Lhead、3D包围盒尺寸损失Lsize、角点损失Lcorner三项，朝向角损失Lhead和3D包围盒尺寸损失Lsize的公式均如下：
其中yi为真实值，为预测值，δ为超参数；
角点损失Lcorner的公式如下：
其中和/>分别表示预测和地面真实的包围盒角点，/>表示翻转地面真实包围盒得到的角点。
本发明的有益效果是：
本发明一示例性实施例采用一种结合使用2D图像来辅助3D目标感知的策略，用截锥体的形式将两个维度的信息进行结合，其中每个截锥体内只针对一个目标送入网络进行感知，该模型在提升感知精度的同时大幅降低了计算量。2D图像在提供辅助区域建议信息的同时还可以额外为三维感知网络提供补充特征信息。
在现有技术中，由于场景点云数量庞大，因此在送入特征提取网络前需要经过下采样操作，因此会导致物体相关信息丢失较严重；而采用本示例性实施例中的该种方式，利用球查询策略进行关键信息补全，球查询操作意在基于原始点云，为下采样后实例物体附近的点云进行信息补全。
同时，本示例性实施例中的方法，基于多级连接的特征扩充策略，为特征提取后的每个点提供额外语义信息，提升了回归网络的包围盒回归效果。
附图说明
图1为本发明一示例性实施例中提供的一种基于特征增强的三维感知方法的流程图；
图2为本发明一示例性实施例中提供的截锥体提取过程的示意图
图3为本发明一示例性实施例中提供的自适应球查询示意图；
图4为本发明一示例性实施例中提供的特征扩充示意图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
参见图1，图1示出了本发明一示例性实施例中提供的一种基于特征增强的三维感知方法的流程图，用于对通过雷达传感器采集的原始点云和通过相机采集的RGB图像进行处理，包括以下步骤：
将获取到的RGB图像输入至2D检测器进行目标检测，得到作为区域建议的包围框信息，每个包围框信息针对于一个目标；
使用原始点云获取前景点，并通过雷达传感器坐标和相机坐标进行的转换关系，对原始点云的前景点做投影变换，得到原始点云在RGB图像上的前景点；
结合区域建议和前景点，筛选出处于区域建议内的前景点，将筛选出的前景点再反投影变换到3D空间，得到从RGB图像到3D空间形成的截锥体；
找到物体质心位置后使用球查询操作，将获取到的各个质心位置的半径范围球内的原始点云信息补充进截锥体，得到特征补全后的补全点云；
将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云；
将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息。
具体地，在本示例性实施例中，首先输入RGB图像并使用2D检测器进行检测。其次将得到的包围框信息作为区域建议，结合使用原始点云提取截锥体，截锥体内的点云即原始点云投影至RGB图像后在包围框内的点云。而由于在2D检测器会具有偏差，导致生成的截锥体不能完整包含实例物体信息，因此使用补全操作将物体信息补全。其中，在补全之前需要找到物体大致位置，接着使用球查询操作，在质心位置的半径范围球内的原始点云信息补充进截锥体。接着使用特征扩充，将区域建议和质心估计得到的额外辅助信息，与截锥体内的点云进行维度拼接。最后将具有扩充信息的点云送入分割网络，输出实例目标的3D包围盒信息。
针对现有技术Point-based方法计算量大的问题，本发明一示例性实施例采用一种结合使用2D图像来辅助3D目标感知的策略，用截锥体的形式将两个维度的信息进行结合，其中每个截锥体内只针对一个目标送入网络进行感知，该模型在提升感知精度的同时大幅降低了计算量。2D图像在提供辅助区域建议信息的同时还可以额外为三维感知网络提供补充特征信息。
另外，在现有技术中，由于场景点云数量庞大，因此在送入特征提取网络前需要经过下采样操作，因此会导致物体相关信息丢失较严重；而采用本示例性实施例中的该种方式，利用球查询策略进行关键信息补全，球查询操作意在基于原始点云，为下采样后实例物体附近的点云进行信息补全。
同时，本示例性实施例中的方法，基于多级连接的特征扩充策略，为特征提取后的每个点提供额外语义信息(即将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云)，提升了回归网络的包围盒回归效果。
更优地，在一示例性实施例中，所述对原始点云的前景点做投影变换，公式如下：
式中，X为原始点云坐标即(x,y,z,1)T，Y为投影变换后得到的像素坐标系坐标即(u,v,1)T；为第i个相机的投影矩阵，/>表示0号相机的修正矩阵(KITTI数据集有多个相机，但均以0号相机为基准进行变换)，/>表示雷达传感器坐标系到相机坐标系的旋转平移矩阵(例如，3行4列，前3行3列为旋转矩阵，第4列为平移矩阵)。
具体地，截锥体提取过程需要结合使用原始点云和RGB图片。首先将RGB图像输入进2D检测器执行目标检测，将得到的包围框称为区域建议。然后使用原始点云获取前景点，由于雷达传感器的坐标、相机坐标参数以及坐标系转换关系均在数据集(KITTI)当中给出，因此可以通过矩阵计算做投影变换的方式，得到原始点云在RGB图像上的前景点。结合区域建议和前景点，可以筛选出处于区域建议内的前景点，将这些点再重新变换(反投影)到3D空间，则如图2所示，我们可以从图像到3D空间形成一系列截锥体(其中一个截锥体只针对单一目标)。最终将截锥体内的点云用于后续网络的分类或分割。
更优地，在一示例性实施例中，所述找到物体质心位置，采用投票机制获取物体的大致质心位置，包括：
所述找到物体质心位置，采用投票机制获取物体的大致质心位置，包括：
利用编码器提取截锥体的点云特征，生成一系列种子点，即为由浅层特征通过下采样逐步得到深层特征的过程；
将这些种子点输入至投票层，所述投票层先对每一个种子点的256维特征通过mlp+bn层来生成一个3+256维特征向量，网络学习该种子点到物体中心点的空间偏移量和特征偏移量以此通过每个点投票获得中心点，即由真实值距物体中心的和网络输出的投票Δxi之差进行监督；
对投票层得到的聚集中心进行聚类，得到物体质心位置。
具体地，在本示例性实施例中，使用投票机制获取物体的大致质心位置，并且本示例性实施例不需要找到物体的精确质心，只需要找到粗略质心来使用球查询算法，因此在编码阶段可以牺牲部分网络精度和深度。在一优选示例性实施例中，编码器使用传统PointNet的主干(Set Abstraction和Feature Propagation)进行特征提取(所述编码器使用顺次连接的set abstraction即SA层和Feature Propagation即FP层对截锥体的点进行特征提取)，投票层对于每一个点的256维特征通过mlp+bn层来生成一个3+256维特征向量，并设置对于所有属于该物体的投票点，真实值距物体中心的和网络输出的投票之差作为损失来约束投票，最终对于投票层得到的聚集中心进行聚类。
更优地，在一示例性实施例中，在所述由浅层特征通过下采样逐步得到深层特征的过程中，引入了质心感知下采样策略，即将更接近质心的点赋予更高的权重掩码Maski公式如下：
其中，f、b、l、r、u、d分别表示一个点到地面真实边界框的6个曲面的距离，6个曲面分别为前面、后面、左面、右面、上面和下面。
更优地，在一示例性实施例中，在采用投票机制获取物体的大致质心位置的过程中，设置第一检测头，通过由物体中心点与预测的质心的位置差异进行监督。
更优地，在一示例性实施例中，如图3所示，所述使用球查询操作为使用自适应球查询操作，包括以下步骤：
将每个获得的质心位置形成球体的中心点，通过人工设置半径后将每个球体内的点作为局部区域用于特征提取；此操作是为了结合新扩充的信息，进一步特征提取，使传入包围盒预测网络的特征更丰富。由于在投票层已经通过SA和FP得到了先验特征图，这里在对特征扩充后的点云进行额外一次特征提取操作(保证尺度与先验特征图相同)，在将二者通过add的方式进行求和运算，即可在先验特征的基础上融入新的特征。
其中，人工设置的半径根据投票层获取的质心位置的深度自适应设置；由于雷达传感器具有近大远小的特点，因此将距离雷达传感器越远的物体设置越小的半径；半径的基线标准由实际测量得到，根据相似三角形原理计算得到任意深度下的半径。其中，深度表示在相机坐标系下，某点距离相机的距离。
具体地，在本示例性实施例中，方法旨在提高局部特征提取的能力，主要思想是将每个获得的中心点通过人工设置半径形成球体的中心点，将每个球体内的点作为局部区域用于特征提取。
更优地，在一示例性实施例中，所述将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云，其中：
如图4所示，拼接点云包括八个维度，分别为补全点云的点云信息的四个维度、区域建议信息的三个维度和质心信息的一个维度，且这种拼接的信息不受任何数据增强的影响；
所述补全点云的点云信息的四个维度分别为对应点的x轴坐标、y轴坐标、z轴坐标和反射强度r；
所述区域建议信息的三个维度分别为对应点的掩码信息seg、类别标签cls和索引标签idx；所述掩码信息表示该点属于前景点或背景点，通过结合原始点云使用投影变换和边界判断来确定；所述类别标签表示该点所属的2D边界框的类别；所述索引标签表示每个点所属的2D边界框的数量；
所述质心信息ctr的一个维度表示由投票层最终聚类得到的质心与当前点的距离，用于提供给分割网络额外信息，即距离质心越近的点越有可能是构成目标物体的点。
更优地，在一示例性实施例中，所述将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息，包括：
所述将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息，包括：
使用PointNet分割网络对每个截锥体内的拼接点云进行实例分割，所述实例分割为二分类，即每个点属于物体点或背景点；
将物体相关点分离后，输入第二检测头进行3D包围盒回归，其中第二检测头需要回归的参数包括朝向角、3D包围盒尺寸、以及通过角点位置和中心位置得到的角点损失。
其中，需要说明的是，朝向角和包围盒尺寸由包围盒预测网络直接回归得到，朝向角表示预测的包围盒与相机坐标系向上轴的夹角。角点损失是预测盒和地面真实盒的八个角之间的距离之和。由于角的位置是由中心、大小和方向共同决定的，角损失能够使这些参数的多任务训练正规化，公式为：
其中和/>分别表示预测和地面真实的包围盒角点，/>表示翻转地面真实包围盒得到的角点，意在为了避免翻转航向估计带来的巨大损失，i、j、k分别表示尺寸、朝向、角点的索引。
更优地，在一示例性实施例中，所述3D包围盒回归的损失函数以带权累加的方式实现，包括质心感知下采样损失Lseg_aware、物体中心感知损失Lvote-reg(即图1中的Head1)、包围盒回归损失(即图1中的Head2)；其中：
质心感知下采样损失Lseg_aware为利用权重掩码Maski融合在分割任务的损失函数中达到隐式地结合到网络训练中的效果，公式如下：
式中，si表示预测点的类别，表示预测点属于该类别的概率；
物体中心感知损失Lvote-reg即所述由真实值距物体中心的和网络输出的投票Δxi之差进行监督，公式如下：
式中，N表示物体表面投票点的个数，对每个投票点学习一个3D空间的偏置Δxi，为了使得移动之后的点更接近物体的质心，采用了L1 loss去监督移动后的点和物体质心之间的距离，即l[pointi on object]表示投票点是否在物体上；
包围盒回归损失包括朝向角损失Lhead、3D包围盒尺寸损失Lsize、角点损失Lcorner三项，朝向角损失Lhead和3D包围盒尺寸损失Lsize的公式均如下：
其中yi为真实值，为预测值，δ为超参数；
角点损失Lcorner的公式如下：
其中和/>分别表示预测和地面真实的包围盒角点，/>表示翻转地面真实包围盒得到的角点。
与上述示例性实施例具有相同的发明构思，本发明的又一示例性实施例提供一种基于特征增强的三维感知方法，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的一种基于特征增强的三维感知方法的步骤。
电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理单元、上述至少一个存储单元、连接不同系统组件(包括存储单元和处理单元)的总线。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元执行，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元可以执行如图1中所示方法。
存储单元可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
存储单元还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本示例性实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本示例性实施例的方法。
与上述示例性实施例具有相同的发明构思，本发明的又一示例性实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的一种基于特征增强的三维感知方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品(程序产品)的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于特征增强的三维感知方法，用于对通过雷达传感器采集的原始点云和通过相机采集的RGB图像进行处理，其特征在于：包括以下步骤：
将获取到的RGB图像输入至2D检测器进行目标检测，得到作为区域建议的包围框信息，每个包围框信息针对于一个目标；
使用原始点云获取前景点，并通过雷达传感器坐标和相机坐标进行的转换关系，对原始点云的前景点做投影变换，得到原始点云在RGB图像上的前景点；
结合区域建议和前景点，筛选出处于区域建议内的前景点，将筛选出的前景点再反投影变换到3D空间，得到从RGB图像到3D空间形成的截锥体；
找到物体质心位置后使用球查询操作，将获取到的各个质心位置的半径范围球内的原始点云信息补充进截锥体，得到特征补全后的补全点云；
将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云；
将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息。
2.根据权利要求1所述的一种基于特征增强的三维感知方法，其特征在于：所述对原始点云的前景点做投影变换，公式如下：
式中，X为原始点云坐标即(x,y,z,1)T，Y为投影变换后得到的像素坐标系坐标即(u,v,1)T；为第i个相机的投影矩阵，/>表示0号相机的修正矩阵，/>表示雷达传感器坐标系到相机坐标系的旋转平移矩阵。
3.根据权利要求1所述的一种基于特征增强的三维感知方法，其特征在于：所述找到物体质心位置，采用投票机制获取物体的大致质心位置，包括：
利用编码器提取截锥体的点云特征，生成一系列种子点，即为由浅层特征通过下采样逐步得到深层特征的过程；
将这些种子点输入至投票层，所述投票层先对每一个种子点的256维特征通过mlp+bn层来生成一个3+256维特征向量，网络学习该种子点到物体中心点的空间偏移量和特征偏移量以此通过每个点投票获得中心点，即由真实值距物体中心的和网络输出的投票Δxi之差进行监督；
对投票层得到的聚集中心进行聚类，得到物体质心位置。
4.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：所述编码器使用顺次连接的set abstraction即SA层和Feature Propagation即FP层对截锥体的点进行特征提取。
5.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：在所述由浅层特征通过下采样逐步得到深层特征的过程中，引入了质心感知下采样策略，即将更接近质心的点赋予更高的权重掩码Maski公式如下：
其中，f、b、l、r、u、d分别表示一个点到地面真实边界框的6个曲面的距离，6个曲面分别为前面、后面、左面、右面、上面和下面。
6.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：在采用投票机制获取物体的大致质心位置的过程中，设置第一检测头，通过由物体中心点与预测的质心的位置差异进行监督。
7.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：所述使用球查询操作为使用自适应球查询操作，包括以下步骤：
将每个获得的质心位置形成球体的中心点，通过人工设置半径后将每个球体内的点作为局部区域用于特征提取；
其中，人工设置的半径根据投票层获取的质心位置的深度自适应设置；由于雷达传感器具有近大远小的特点，因此将距离雷达传感器越远的物体设置越小的半径；半径的基线标准由实际测量得到，根据相似三角形原理计算得到任意深度下的半径。
8.根据权利要求3所述的一种基于特征增强的三维感知方法，其特征在于：所述将补全点云的点云信息、区域建议信息和质心信息进行维度拼接，得到拼接点云，其中：
拼接点云包括八个维度，分别为补全点云的点云信息的四个维度、区域建议信息的三个维度和质心信息的一个维度；
所述补全点云的点云信息的四个维度分别为对应点的x轴坐标、y轴坐标、z轴坐标和反射强度r；
所述区域建议信息的三个维度分别为对应点的掩码信息、类别标签和索引标签；所述掩码信息表示该点属于前景点或背景点，通过结合原始点云使用投影变换和边界判断来确定；所述类别标签表示该点所属的2D边界框的类别；所述索引标签表示每个点所属的2D边界框的数量；
所述质心信息的一个维度表示由投票层最终聚类得到的质心与当前点的距离，用于提供给分割网络额外信息，即距离质心越近的点越有可能是构成目标物体的点。
9.根据权利要求5所述的一种基于特征增强的三维感知方法，其特征在于：所述将拼接点云送入分割网络进行实例分割，输出实例目标的3D包围盒信息，包括：
使用PointNet分割网络对每个截锥体内的拼接点云进行实例分割，所述实例分割为二分类，即每个点属于物体点或背景点；
将物体相关点分离后，输入第二检测头进行3D包围盒回归，其中第二检测头需要回归的参数包括朝向角、3D包围盒尺寸、以及通过角点位置和中心位置得到的角点损失。
10.根据权利要求9所述的一种基于特征增强的三维感知方法，其特征在于：所述3D包围盒回归的损失函数以带权累加的方式实现，包括质心感知下采样损失Lseg_aware、物体中心感知损失Lvote-reg、包围盒回归损失；其中：
质心感知下采样损失Lseg_aware为利用权重掩码Maski融合在分割任务的损失函数中达到隐式地结合到网络训练中的效果，公式如下：
式中，si表示预测点的类别，表示预测点属于该类别的概率；
物体中心感知损失Lvote-reg即所述由真实值距物体中心的和网络输出的投票Δxi之差进行监督，公式如下：
式中，N表示物体表面投票点的个数，对每个投票点学习一个3D空间的偏置Δxi，为了使得移动之后的点更接近物体的质心，采用了L1 loss去监督移动后的点和物体质心之间的距离，即l[pointi on object]表示投票点是否在物体上；
包围盒回归损失包括朝向角损失Lhead、3D包围盒尺寸损失Lsize、角点损失Lcorner三项，朝向角损失Lhead和3D包围盒尺寸损失Lsize的公式均如下：
其中yi为真实值，为预测值，δ为超参数；
角点损失Lcorner的公式如下：
其中和/>分别表示预测和地面真实的包围盒角点，/>表示翻转地面真实包围盒得到的角点。
CN202311429741.7A 2023-10-31 2023-10-31 一种基于特征增强的三维感知方法 Pending CN117315372A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311429741.7A CN117315372A (zh) 2023-10-31 2023-10-31 一种基于特征增强的三维感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311429741.7A CN117315372A (zh) 2023-10-31 2023-10-31 一种基于特征增强的三维感知方法

Publications (1)

Publication Number Publication Date
CN117315372A true CN117315372A (zh) 2023-12-29

Family

ID=89288427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311429741.7A Pending CN117315372A (zh) 2023-10-31 2023-10-31 一种基于特征增强的三维感知方法

Country Status (1)

Country Link
CN (1) CN117315372A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557993A (zh) * 2024-01-12 2024-02-13 杭州像素元科技有限公司 一种双框架交互感知3d关联检测模型的构建方法及应用

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557993A (zh) * 2024-01-12 2024-02-13 杭州像素元科技有限公司 一种双框架交互感知3d关联检测模型的构建方法及应用
CN117557993B (zh) * 2024-01-12 2024-03-29 杭州像素元科技有限公司 一种双框架交互感知3d关联检测模型的构建方法及应用

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
Rahman et al. Notice of violation of IEEE publication principles: Recent advances in 3D object detection in the era of deep neural networks: A survey
CN108805979B (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN110097553A (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
EP4365841A1 (en) Object pose detection method and apparatus, computer device, and storage medium
CN117315372A (zh) 一种基于特征增强的三维感知方法
KR20210022703A (ko) 운동 물체 검출 및 지능형 운전 제어 방법, 장치, 매체 및 기기
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
Cui et al. Dense depth-map estimation based on fusion of event camera and sparse LiDAR
KR20230156400A (ko) 모델 주입을 사용한 포인트 클라우드 데이터 증강을 위한 장치, 시스템, 방법 및 매체
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN110706332B (zh) 一种基于噪声点云的场景重建方法
CN114926316A (zh) 距离测量方法、装置、电子设备及存储介质
Beltrán et al. A method for synthetic LiDAR generation to create annotated datasets for autonomous vehicles perception
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
Huang et al. Overview of LiDAR point cloud target detection methods based on deep learning
CN117496515A (zh) 点云数据标注方法、存储介质和电子设备
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
Tao et al. An efficient 3D object detection method based on fast guided anchor stereo RCNN
Lyu et al. 3DOPFormer: 3D occupancy perception from multi-camera images with directional and distance enhancement
CN116704112A (zh) 一种用于对象重建的3d扫描系统
Ding et al. [Retracted] Animation Design of Multisensor Data Fusion Based on Optimized AVOD Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination