CN115965928B - 点云特征增强、目标检测方法、设备、介质及车辆 - Google Patents

点云特征增强、目标检测方法、设备、介质及车辆 Download PDF

Info

Publication number
CN115965928B
CN115965928B CN202310254846.7A CN202310254846A CN115965928B CN 115965928 B CN115965928 B CN 115965928B CN 202310254846 A CN202310254846 A CN 202310254846A CN 115965928 B CN115965928 B CN 115965928B
Authority
CN
China
Prior art keywords
point cloud
feature
forward view
cloud data
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310254846.7A
Other languages
English (en)
Other versions
CN115965928A (zh
Inventor
熊子钰
何欣栋
任广辉
彭祎
姚卯青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202310254846.7A priority Critical patent/CN115965928B/zh
Publication of CN115965928A publication Critical patent/CN115965928A/zh
Application granted granted Critical
Publication of CN115965928B publication Critical patent/CN115965928B/zh
Priority to PCT/CN2023/138982 priority patent/WO2024187868A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于智能驾驶技术领域,具体提供一种点云特征增强、目标检测方法、设备、介质及车辆,旨在解决如何增强点云数据的语义特征的问题。为此目的,本发明的方法包括:获取原始点云数据的前向视图,并通过第一特征提取网络对前向视图进行特征融合和提取得到前向视图特征图,再将原始点云数据和前向视图特征图进行特征维度的拼接,得到特征增强后的点云数据,并用于目标检测。通过本发明的方法,前向视图特征图中增强的特征数据会被无损保留到鸟瞰图,并与原始点云数据中的特征数据共同用于目标检测,弥补了鸟瞰图的因点云栅格化与采样过程导致的点云语义缺失,从而提升了目标检测性能,并且对小目标检测性能的增益更为显著。

Description

点云特征增强、目标检测方法、设备、介质及车辆
技术领域
本发明属于智能驾驶技术领域,具体提供一种点云特征增强、目标检测方法、设备、介质及车辆。
背景技术
随着计算技术、传感技术等技术的发展,具有辅助/自动驾驶的车辆正逐步进入人们的生活。在辅助/自动驾驶应用中,通过车载激光雷达获取点云数据,并基于点云数据的处理结果,可以使车辆随时感知周围的环境,进行静态、动态物体目标的检测,为辅助/自动驾驶控制提供关键数据。因此,基于点云数据的目标检测方法越来越受到关注。
当前的点云目标检测算法大多采用鸟瞰图方法,以获取点云的无遮挡表示。但由于栅格化后的点云数据具有不均匀特点,使鸟瞰图方法存在不可避免的稀疏性;并且体素采样的离散化过程对于密集点云分布的区域存在明显的信息损失,从而导致目标的几何语义和结构表达可能存在欠缺。因此,如何增强原始点云数据的语义特征,以弥补鸟瞰图方法的因点云数据栅格化与采样过程导致的点云语义缺失,从而提升目标检测性能,已成为函待解决的问题。
相应地,本领域需要一种新的方案来解决上述问题。
发明内容
本发明旨在解决或部分解决上述技术问题,即,如何增强原始点云数据的语义特征,以弥补鸟瞰图方法的因点云数据栅格化与采样过程导致的点云语义缺失的问题。
在第一方面,本发明提出了一种点云特征增强方法,所述方法包括:
获取原始点云数据;
获取所述原始点云数据的前向视图;
通过第一特征提取网络获取所述前向视图的前向视图特征图;
基于所述原始点云数据和所述前向视图特征图,获取特征增强后的点云数据。
在上述点云特征增强方法的一个实施方式中,“获取所述原始点云数据的前向视图”包括:
获取所述原始点云数据中的点云点与所述前向视图中的前向视图点之间的位置索引;
依据所述位置索引,将所述原始点云数据中的点云点的特征数据填入该点云点在所述前向视图中对应位置的所述前向视图点,得到所述点云前向视图;
其中,所述原始点云数据中的点云点的特征维度和所述前向视图点的特征维度相同。
在上述点云特征增强方法的一个实施方式中,“获取所述原始点云数据中的点云点与所述前向视图中的前向视图点之间的位置索引”包括:
基于所述原始点云数据的获取设备的分辨率及预设的视野范围,获取所述前向视图的尺寸;
根据所述原始点云数据中的点云点与所述前向视图中的前向视图点之间的坐标关系,得到所述位置索引。
在上述点云特征增强方法的一个实施方式中,“通过第一特征提取网络获取所述前向视图的前向视图特征图”包括:
通过UNet网络获取所述前向视图特征图;
其中,所述前向视图特征图的尺寸与所述前向视图的尺寸相同。
在上述点云特征增强方法的一个实施方式中,“基于所述原始点云数据和所述前向视图特征图,获取特征增强后的点云数据”包括:
基于所述位置索引,将所述原始点云数据中的点云点和所述前向视图特征图中的特征点进行特征数据拼接,得到所述特征增强后的点云数据;
所述特征增强后的点云数据中的点云点的特征维度为所述原始点云数据中的点云点的特征维度与所述前向视图特征图中的特征点的特征维度之和。
在第二方面,本发明提出了一种目标检测方法,所述方法包括:
基于上述任一项方案所述的点云特征增强方法获取特征增强后的点云数据;
基于所述特征增强后的点云数据进行目标检测。
在上述目标检测方法的一个实施方式中,“基于所述特征增强后的点云数据进行目标检测”包括:
通过第二特征提取网络获取栅格化的所述特征增强后的点云数据对应的鸟瞰图;
基于所述鸟瞰图进行目标检测。
在第三方面,本发明提出了一种计算机设备,所述计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述任一项方案所述的点云特征增强方法和/或目标检测方法。
在第四方面,本发明提出了一种存储介质,所述存储介质适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述任一项方案所述的点云特征增强方法和/或目标检测方法。
在第五方面,本发明提出了一种车辆,所述车辆设置有上述方案所述的计算机设备,并且/或者,基于上述任一项方案所述的目标检测方法进行目标检测。
本发明通过获取原始点云数据的前向视图,并通过第一特征提取网络对前向视图进行特征融合和提取,得到前向视图特征图,再将原始点云数据和前向视图特征图进行点级别的特征数据拼接,得到特征增强后的点云数据,并用于目标检测。通过本发明的方法,前向视图特征图中增强的特征数据会被无损保留到鸟瞰图,并与原始点云数据中的特征数据共同用于目标检测,弥补了鸟瞰图的因点云栅格化与采样过程导致的点云语义缺失,从而提升了目标检测的性能,特别是对小目标检测的性能增益更为显著。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是本发明的实施例的点云特征增强方法的主要步骤流程图。
图2是本发明的实施例的原始点云数据中的点云点与前向视图中的前向视图点之间的坐标系、位置索引的示意图。
图3是本发明的实施例的基于本发明的目标检测方法的鸟瞰图法目标检测模型的结构示意图。
图4(a)为原始点云数据未进行特征增强所对应的目标检测结果示意图;图4(b)为原始点云数据进行特征增强后所对应的目标检测结果示意图。
图5是本发明的实施例的计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将参照附图,对本发明实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。本领域技术人员可以根据需要对其做出调整,以便适应具体的应用场合。
首先阅读图1,图1是本发明的实施例的点云特征增强方法的主要步骤流程图。如图1所示,本发明的点云特征增强方法包括:
步骤S101:获取原始点云数据;
步骤S102:获取原始点云数据的前向视图;
步骤S103:通过第一特征提取网络获取前向视图的前向视图特征图;
步骤S104:基于原始点云数据和前向视图特征图,获取特征增强后的点云数据。
步骤S101中,优选地,通过车载激光雷达获取原始点云数据。车载激光雷达坐标系(直角坐标系)如图2所述,作为示例,可选车载激光雷达的中点为车载激光雷达坐标系的原点
Figure SMS_1
,当车辆置于水平面时,车辆正前方为x轴的正方向,车辆正前方顺时针旋转90度为y轴的正方向,且x轴和y轴均与水平面,垂直水平面向上的为z轴的正方向。
原始点云数据中的点云点的特征数据至少包括点云的位置信息,还可以包括激光反射率、点云点的航向信息等,本领域技术人员可根据实际情况,选择其中的部分或全部特征作为前向视图中的前向视图点的特征。
在本发明的实施例中,
Figure SMS_2
为点云点的特征维度,点云点的特征包括点云点在车载激光雷达坐标系中的坐标x,y,z及激光雷达反射率R,因此/>
Figure SMS_3
在步骤S102中,首先需要根据车载激光雷达的角度分辨率和对应的视野范围,计算得到前向视图所对应的二维特征图(以下称前向视图)为
Figure SMS_4
其中,
Figure SMS_5
为前向视图在水平方向的大小,/>
Figure SMS_6
为前向视图在俯仰方向的大小,/>
Figure SMS_7
为车载激光雷达水平角(azimuth,θ)的分辨率,/>
Figure SMS_8
为车载激光雷达俯仰角(inclination,φ)的分辨率,Θ为视野范围中的水平角数值,Φ为视野范围中的俯仰角数值角,/>
Figure SMS_9
为前向视图的第一维度。
Figure SMS_10
、/>
Figure SMS_11
、Θ、Φ均为系统常数,/>
Figure SMS_12
、/>
Figure SMS_13
由车载激光雷达的设备参数决定,Θ和Φ可以是用户设定的雷达有效检测区域范围,也可以是车载激光雷达的激光扫描范围。
建立前向视图坐标系(直角坐标系),在本发明的实施例中,选择前向视图的左上顶点作为前向视图坐标系的原点
Figure SMS_14
如图2所示,h轴为前向视图中与车载激光雷达的水平角方向对应的坐标轴,与车载激光雷达坐标系的y轴平行;w轴为前向视图中与车载激光雷达的俯仰角方向对应的坐标,与车载激光雷达坐标系的z轴平行。
作为示例,
Figure SMS_15
为任意一束激光,点P0为原始点云数据中的一个点云点。点云点P0在车载激光雷达坐标系(直角坐标系)中的坐标系为(x,y,z)。
当建立与车载激光雷达坐标系原点相同的球面坐标系时,点云点P0在球面坐标系中的坐标为(r,θ,φ),其中,r为原点
Figure SMS_16
和点云点P0之间的距离,θ为激光束/>
Figure SMS_17
的水平角,φ为激光束/>
Figure SMS_18
的俯仰角。
进一步地,直角坐标系(笛卡尔坐标系)与球面坐标系之间存在以下对应关系,
Figure SMS_19
,/>
Figure SMS_20
,/>
Figure SMS_21
在本发明的实施例中,点P为点云点P0在前向视图上对应的前向视图点,前向视图点P同样位于激光束
Figure SMS_22
上,其在前向视图坐标系中的坐标为(h,w)。
根据前述的直角坐标系与球面坐标系之间的对应关系,并考虑到车载激光雷达的扫描角度相对于车载激光雷达坐标系的y轴和z轴均为对称工作,可设定车载激光雷达坐标系的原点
Figure SMS_23
在前向视图坐标系中对应位置的坐标为(/>
Figure SMS_24
)。
推导可得如式1和式2所示的前向视图点P与点云点P0之间的坐标变换公式,得到原始点云数据中的点云点与其对应的前向视图中的前向视图点之间的坐标关系。具体公式推导过程为本领域技术人员所公知,在此不再赘述。
Figure SMS_25
(式1)
Figure SMS_26
(式2)
基于式1和式2逐一计算原始点云数据中的每个点云点与其对应的前向视图点的坐标,建立原始点云数据中的点云点与前向视图中的前向视图点之间的位置索引。
需要说明的是,位置索引所依据的坐标变换公式(式1和式2)并不是唯一的形式,当车载激光雷达坐标系的原点与前视图坐标系的原点之间的相对位置变化时,位置索引所依据的坐标变换公式的表达式也会发生变化,作为示例,同样可根据上述的根据直角坐标系(笛卡尔坐标系)与球面坐标系之间的对应关系进行求解。本领域技术人员可根据实际情况设定车载激光雷达坐标系的原点与前视图坐标系的原点之间的相对位置,从而得到其它形式的位置索引所依据的坐标变换表达式,但是这种变化不应认为超出本发明的范围。
依据位置索引,逐一将原始点云数据中的点云点的特征数据填入该点云点在前向视图中对应位置的前向视图点,直到全部点云点均处理完毕,得到原始点云数据的前向视图。
作为示例,图2中点云点P0的特征数据为
Figure SMS_28
、/>
Figure SMS_31
/>
Figure SMS_32
和/>
Figure SMS_29
,点云点P0的坐标为(x,y,z),根据位置索引,得到前向视图点P的坐标为(h,w),将点云点P0的特征数据/>
Figure SMS_30
/>
Figure SMS_33
/>
Figure SMS_34
和/>
Figure SMS_27
填入前向视图点P(h,w)的位置。
由上可得,前向视图点的特征维度与原始点云数据中的点云点的特征维度相同,均为第一维度,即
Figure SMS_35
在步骤S103中,优选地,通过UNet网络获取前向视图的前向视图特征图。UNet网络为深度学习的编码-解码器网络,其通过两个近似对称的网络结构与同级网络直连结构,完成特征的融合与提取。
作为示例,将UNet网络的特征通道数设计为16,输出特征图的尺寸大小与输入的前向视图的相同。
UNet网络输出的前向视图特征图的尺寸为:水平方向的大小为
Figure SMS_36
,俯仰方向的大小为/>
Figure SMS_37
,与前向视图的相同。前向视图特征图的特征点的特征维度为第二维度/>
Figure SMS_38
,第二维度等于特征通道数,即/>
Figure SMS_39
参照前向视图坐标系,为前向视图特征图建立相同的直角坐标系,此时,相同坐标位置的前向视图特征图中的特征点和前向视图中的前向视图点存在一一对应关系。
在步骤S104中,基于已获取的原始点云数据中的点云点与前向视图点之间的位置索引,并结合前向视图点与前向视图特征图中的特征点之间的一一对应关系,可通过前向视图点的坐标建立与原始点云数据中的点云点的特征数据、前向视图特征图中的特征点的特征数据的双射对应关系。
将原始点云数据和前向视图特征图进行特征维度的拼接,即进行点级别的数据拼接,得到特征增强后的点云数据。特征增强后的点云数据中的点云点的特征维度为第三维度
Figure SMS_40
作为示例,以前向视图点
Figure SMS_41
为例,/>
Figure SMS_42
为其原始点云数据中对应的点云点,/>
Figure SMS_43
为其前向视图特征图中对应的特征点,/>
Figure SMS_44
为特征增强后的点云数据中的点云点。
原始点云数据中
Figure SMS_45
,根据点/>
Figure SMS_46
索引值(h,w)得到其对应的UNet输出的前向视图特征图中/>
Figure SMS_47
,则拼接后得到的特征增强后的点云数据中/>
Figure SMS_48
,即第三维度等于第一维度和第二维度之和,/>
Figure SMS_49
特征增强后的点云数据既包含原始点云数据,还同时包含经UNet网络进行特征融合与提取后得到的新的特征,将特征更加丰富的点云数据作为后续目标识别的输入数据,可以提升目标检测的整体性能。
在本发明的实施例中,使用UNet网络对前向视图进行了升维的特征提取,得到维度更高的前向视图的前向视图特征图,经特征维度拼接得到了特征增强后的点云数据。本领域技术人员也可根据实际情况,使用特征提取网络对前向视图进行降维的特征提取,此时经特征维度拼接得到的点云数据同样可以实现特征增强。
在另一实施例中,原始点云数据中的点云点的特征维度为4。参照上述方法,得到的前向视图点的特征维度(第一维度
Figure SMS_50
)与原始点云数据中的点云点的特征维度相同,即
Figure SMS_51
=4。
第一特征提取网络可使用ResNet网络,并且将ResNet网络的输出通道数设计为2。通过该ResNet网络得到前向视图的前向视图特征图中的特征点的第二维度
Figure SMS_52
。经特征维度拼接得到的新的点云数据中的点云点的第三维度/>
Figure SMS_53
由上可知,新的点云数据中的点云点的特征维度
Figure SMS_54
为6,而原始点云数据中的点云点的特征维度/>
Figure SMS_55
为4,/>
Figure SMS_56
大于/>
Figure SMS_57
。在保留原特征的情况下,同样引入了新的特征,使点云数据特征得到增强。
需要说明的是,在本发明的实施例中,虽然以UNet或ResNet作为第一特征提取网络,但是本领域技术人员能够理解的是,第一特征提取网络不限这两种网络,无论对前向视图进行特征的升维、降维或保持维度不变,只要该网络模型可以实现特征融合与提取,并保持输出的特征图的尺寸大小不变即可。本领域技术人员可根据实际情况选择合适的网络模型,但是这种变化不应认为超出本发明的范围。
在其它实施例中,获取原始点云数据的方法,还可以通过超声波传感器、毫米波传感器、图像传感器等方式得到。本领域技术人员可根据实际情况选择合适的点云数据获取设备,但是这种变化不应认为超出本发明的范围。
进一步,本发明还提供了一种目标检测方法。如图3所示的基于本发明的目标检测方法的鸟瞰图法目标检测模型结构示意图,在通过车载激光雷达获取原始点云数据后,使用上述步骤S102中的所述方法,通过坐标变换,建立原始点云数据中的点云点与前向视图中的前向视图点之间的位置索引,并根据位置索引逐一将全部原始点云数据的特征数据填入对应位置,得到前向视图。
通过上述步骤S103中的所述方法,通过UNet网络进行特征升维,得到前向视图对应的稠密语义的前向视图特征图。
再通过上述步骤S104的所述方法,对原始点云数据和前向视图特征图进行特征维度的拼接,得到特征增强后的点云数据。
栅格化特征增强后的点云数据,并通过第二特征提取网络获取具有稠密语义特征的鸟瞰图,基于鸟瞰图通过目标检测网络进行目标检测,得到目标检测结果。
在另一实施例中,也可通过网格化直接获取鸟瞰图,再通过第二特征提取网络和目标检测网络进行目标检测。
第二特征提取网络和目标检测网络的具体网络模型本发明不做限定。作为示例,第二特征提取网络可选用VoxelNet,目标检测网络可采用VGG+检测头网络的形式,本领域技术人员也可根据实际情况选用其它适合的网络模型。
如图3所示的基于鸟瞰图方法的目标检测模型结构,在第二特征提取网络和目标检测网络均采用相同类型的网络模型的情况下,图4(a)为原始点云数据未进行特征增强所对应的目标检测结果示意图;图4(b)为原始点云数据进行特征增强后所对应的目标检测结果示意图。
由于鸟瞰图操作仅对点云数据的坐标维度进行操作,所以前向视图特征图中的增强的特征数据会被无损保留,与原始点云中的特征数据共同用于目标检测,弥补了鸟瞰图的因点云栅格化与采样过程导致的点云语义缺失,从而提升了目标检测的性能,并且对小目标检测性能的增益更为显著。
作为示例,如图4(a)和图4(b)中的稀疏语义目标1和小目标2,由于采用本发明的点云特征增强方法,使得在图4(a)中目标1和目标2可以被检测出,而在图4(b)中目标1和目标2均无法检出。
并且,当应用本发明的点云数据增强方法对已有的目标检测模型进行改造时,无需对已有的目标检测模型结构进行较大改动,通常只需根据新的特征数据维度,调整相关网络模型的输入、输出通道,即可提上目标检测的性能,因此,本发明的方法具有较高的通用性和实用性。
进一步,本发明还提供了一种计算机设备,图5是根据本发明的一个计算机设备实施例的主要结构示意图。如图5所示,本发明实施例中的计算机设备主要包括存储装置11和处理器12,存储装置11可以被配置成存储执行上述方法实施例的点云特征增强方法和/或目标检测方法的程序,处理器12可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的点云特征增强方法和/或目标检测方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置11和多个处理器12。而执行上述方法实施例的点云特征增强方法和/或目标检测方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的点云特征增强方法和/或目标检测方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置11中,每个处理器12可以被配置成用于执行一个或多个存储装置11中的程序,以共同实现上述方法实施例的点云特征增强方法和/或目标检测方法,即每个处理器12分别执行上述方法实施例的点云特征增强方法和/或目标检测方法的不同步骤,来共同实现上述方法实施例的点云特征增强方法和/或目标检测方法。
上述多个处理器12可以是部署于同一设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器12可以是该高性能设备上配置的处理器。此外,上述多个处理器12也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器12可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种存储介质,该存储介质可以被配置成存储执行上述方法实施例的点云特征增强方法和/或目标检测方法的程序,该程序可以由处理器加载并运行来实现上述点云特征增强方法和/或目标检测方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该存储介质可以是包括各种电子设备形成的存储装置设备,可选地,本发明实施例中存储介质是非暂时性的可读写存储介质。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
进一步,本发明还提供了一种车辆,该车辆包括上述计算机设备,该计算机设备包括处理器和存储装置,存储装置可以被配置成存储执行上述方法实施例的点云特征增强方法或目标检测方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的点云特征增强方法或目标检测方法的程序。可选地,该车辆为配置有车载激光雷达的新能源汽车。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等序数词仅用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
另外,在本申请的描述中,术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种点云特征增强方法,其特征在于,所述方法包括:
获取原始点云数据;
获取所述原始点云数据的前向视图;
通过第一特征提取网络获取所述前向视图的前向视图特征图;
基于所述原始点云数据和所述前向视图特征图,获取特征增强后的点云数据;
所述基于所述原始点云数据和所述前向视图特征图,获取特征增强后的点云数据包括:
基于已获取的所述原始点云数据中的点云点与所述前向视图中的前向视图点之间的位置索引,并结合所述前向视图点与所述前向视图特征图中的特征点之间的一一对应关系,将所述原始点云数据中的点云点和所述前向视图特征图中的特征点进行特征数据拼接,得到所述特征增强后的点云数据。
2.根据权利要求1所述的点云特征增强方法,其特征在于,所述获取所述原始点云数据的前向视图包括:
获取所述原始点云数据中的点云点与所述前向视图点之间的所述位置索引;
依据所述位置索引,将所述原始点云数据中的点云点的特征数据填入该点云点在所述前向视图中对应位置的所述前向视图点,得到所述点云前向视图;
其中,所述原始点云数据中的点云点的特征维度和所述前向视图点的特征维度相同。
3.根据权利要求2所述的点云特征增强方法,其特征在于,所述获取所述原始点云数据中的点云点与所述前向视图点之间的所述位置索引包括:
基于所述原始点云数据的获取设备的分辨率及预设的视野范围,获取所述前向视图的尺寸;
根据所述原始点云数据中的点云点与所述前向视图点之间的坐标关系,得到所述位置索引。
4.根据权利要求2所述的点云特征增强方法,其特征在于,所述通过第一特征提取网络获取所述前向视图的前向视图特征图包括:
通过UNet网络获取所述前向视图特征图;
其中,所述前向视图特征图的尺寸与所述前向视图的尺寸相同。
5.根据权利要求2至4中任一项所述的点云特征增强方法,其特征在于,所述特征增强后的点云数据中的点云点的特征维度为所述原始点云数据中的点云点的特征维度与所述前向视图特征图中的特征点的特征维度之和。
6.一种目标检测方法,其特征在于,所述方法包括:
基于权利要求1至5中任一项所述的点云特征增强方法获取特征增强后的点云数据;
基于所述特征增强后的点云数据进行目标检测。
7.根据权利要求6所述的目标检测方法,其特征在于,所述基于所述特征增强后的点云数据进行目标检测包括:
通过第二特征提取网络获取栅格化的所述特征增强后的点云数据对应的鸟瞰图;
基于所述鸟瞰图进行目标检测。
8.一种计算机设备,所述计算机设备包括处理器和存储装置,其特征在于,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的点云特征增强方法或权利要求6或7所述的目标检测方法。
9.一种存储介质,其特征在于,所述存储介质适于存储多条程序代码,所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的点云特征增强方法或权利要求6或7所述的目标检测方法。
10.一种车辆,其特征在于,所述车辆设置有权利要求8所述的计算机设备。
CN202310254846.7A 2023-03-16 2023-03-16 点云特征增强、目标检测方法、设备、介质及车辆 Active CN115965928B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310254846.7A CN115965928B (zh) 2023-03-16 2023-03-16 点云特征增强、目标检测方法、设备、介质及车辆
PCT/CN2023/138982 WO2024187868A1 (zh) 2023-03-16 2023-12-15 点云特征增强、目标检测方法、设备、介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310254846.7A CN115965928B (zh) 2023-03-16 2023-03-16 点云特征增强、目标检测方法、设备、介质及车辆

Publications (2)

Publication Number Publication Date
CN115965928A CN115965928A (zh) 2023-04-14
CN115965928B true CN115965928B (zh) 2023-07-07

Family

ID=85897919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310254846.7A Active CN115965928B (zh) 2023-03-16 2023-03-16 点云特征增强、目标检测方法、设备、介质及车辆

Country Status (2)

Country Link
CN (1) CN115965928B (zh)
WO (1) WO2024187868A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965928B (zh) * 2023-03-16 2023-07-07 安徽蔚来智驾科技有限公司 点云特征增强、目标检测方法、设备、介质及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163065A (zh) * 2018-12-04 2019-08-23 腾讯科技(深圳)有限公司 点云数据处理方法、点云数据加载方法、及装置和设备
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN114155414A (zh) * 2021-11-19 2022-03-08 江苏大学 面向无人驾驶的新型特征层数据融合的方法、系统及目标检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048964B2 (en) * 2018-09-28 2021-06-29 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program
CN109493407B (zh) * 2018-11-19 2022-03-25 腾讯科技(深圳)有限公司 实现激光点云稠密化的方法、装置及计算机设备
CN112183393A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 激光雷达点云目标检测方法、系统及装置
US11430218B2 (en) * 2020-12-31 2022-08-30 Toyota Research Institute, Inc. Using a bird's eye view feature map, augmented with semantic information, to detect an object in an environment
CN113205515B (zh) * 2021-05-27 2023-04-18 上海高德威智能交通系统有限公司 目标检测方法、装置、及计算机存储介质
CN113240038B (zh) * 2021-05-31 2024-02-09 西安电子科技大学 基于高度-通道特征增强的点云目标检测方法
CN113408454B (zh) * 2021-06-29 2024-02-06 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN115965928B (zh) * 2023-03-16 2023-07-07 安徽蔚来智驾科技有限公司 点云特征增强、目标检测方法、设备、介质及车辆

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163065A (zh) * 2018-12-04 2019-08-23 腾讯科技(深圳)有限公司 点云数据处理方法、点云数据加载方法、及装置和设备
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN114155414A (zh) * 2021-11-19 2022-03-08 江苏大学 面向无人驾驶的新型特征层数据融合的方法、系统及目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D场景表征—神经辐射场(NeRF)近期成果综述;朱方 等;中国传媒大学学报;全文 *
Machine Learning Based VoxelNet and LUNET architectures for object detection using LiDAR Cloud Point;B Roja Reddy et al.;IEEE;全文 *
基于车载激光点云的高精地图矢量化成图;赵焰 等;测绘通报;全文 *

Also Published As

Publication number Publication date
WO2024187868A1 (zh) 2024-09-19
CN115965928A (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
US10699134B2 (en) Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line
JP2022540109A (ja) クロスモーダルセンサデータの位置合わせ
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN115965928B (zh) 点云特征增强、目标检测方法、设备、介质及车辆
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN108169729A (zh) 激光雷达的视场的调整方法、介质、激光雷达系统
US20240070972A1 (en) Rendering new images of scenes using geometry-aware neural networks conditioned on latent variables
US11182942B2 (en) Map generation system and method for generating an accurate building shadow
US20210364637A1 (en) Object localization using machine learning
WO2021056516A1 (zh) 目标检测方法、设备及可移动平台
CN115164919B (zh) 基于双目相机的空间可行驶区域地图构建方法及装置
CN114445597B (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN117197339A (zh) 一种基于dem的模型展示方法、装置、设备及存储介质
CN114612544A (zh) 图像处理方法、装置、设备和存储介质
CN116245730A (zh) 图像拼接的方法、装置、设备以及存储介质
CN114675274A (zh) 障碍物检测方法、装置、存储介质及电子设备
CN113902927A (zh) 一种融合了图像与点云信息的综合信息处理方法
CN111765892A (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
KR20190113669A (ko) 3차원 객체 표면 복원을 위한 데이터 관리 장치 및 그 방법
CN115438712B (zh) 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质
CN115527074B (zh) 一种车辆检测框的生成方法、生成装置及计算机设备
US12125298B2 (en) Efficient three-dimensional object detection from point clouds
Liu et al. Fusing multiscale charts into 3D ENC systems based on underwater topography and remote sensing image
US20220156483A1 (en) Efficient three-dimensional object detection from point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant