CN111709923B - 一种三维物体检测方法、装置、计算机设备和存储介质 - Google Patents

一种三维物体检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111709923B
CN111709923B CN202010524825.9A CN202010524825A CN111709923B CN 111709923 B CN111709923 B CN 111709923B CN 202010524825 A CN202010524825 A CN 202010524825A CN 111709923 B CN111709923 B CN 111709923B
Authority
CN
China
Prior art keywords
dimensional object
frame
object side
block diagram
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010524825.9A
Other languages
English (en)
Other versions
CN111709923A (zh
Inventor
高延熹
吕颖
杨化伟
庞竹吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202010524825.9A priority Critical patent/CN111709923B/zh
Publication of CN111709923A publication Critical patent/CN111709923A/zh
Application granted granted Critical
Publication of CN111709923B publication Critical patent/CN111709923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T3/067
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维物体检测方法、装置、计算机设备和存储介质,该方法包括:获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。使用本发明的技术方案,可以实现快速、全面、准确地检测图像中的三维物体。

Description

一种三维物体检测方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种三维物体检测方法、装置、计算机设备和存储介质。
背景技术
三维物体的检测是计算机视觉技术中的一个重要研究领域,可以广泛应用于智能汽车、智能交通以及智能视频监控等领域。
现有技术中,研究者通常采用图像和激光雷达点云融合的方式,检测图像中的三维物体。
发明人在实现本发明的过程中,发现现有技术存在以下缺陷:采用根据激光雷达点云生成鸟瞰图和前视图,在鸟瞰图上获取三维物体候选框,再对三维物体候选框投射到鸟瞰图、前视图和图像平面的特征进行深度融合的方式,时间复杂度较高,检测速度较慢;采用对图像和激光雷达点云生成的鸟瞰图进行特征融合生成三维物体候选框,再对三维物体候选框进行边框回归和分类的方式,物体的检测精度较低;采用根据图像生成二维物体边界框,提取二维边界框内的点云,再进行实例分割和边框回归的方式,检测速度较慢,并且容易产生漏检的情况。
发明内容
本发明实施例提供一种三维物体检测方法、装置、计算机设备和存储介质,以实现快速、全面、准确地检测图像中的三维物体。
第一方面,本发明实施例提供了一种三维物体检测方法,该方法包括:
获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
第二方面,本发明实施例还提供了一种三维物体检测装置,该装置包括:
图像获取模块,用于获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
二维物体边框图获取模块,用于获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
鸟瞰投影图生成模块,用于获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
三维物体检测结果获取模块,用于将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的三维物体检测方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的三维物体检测方法。
本发明实施例通过获取待检测区域的目标识别图像,和根据待检测区域的点云数据生成的鸟瞰图,生成图像二维物体边框图和点云二维物体边框图,根据图像二维物体边框图获取三维物体边框图,并将三维物体边框图的鸟瞰投影图与点云二维物体边框图匹配,根据匹配结果更新三维物体边框图,得到与待检测区域匹配的三维物体检测结果。解决了现有技术中的三维物体检测方法,时间复杂度较高,检测速度较慢的问题,以及检测精度较低,容易产生漏检的问题,实现了快速、全面、准确地检测图像中的三维物体的效果。
附图说明
图1a是本发明实施例一中的一种三维物体检测方法的流程图;
图1b是适用于本发明实施例中的一种图像二维物体边框图的示意图;
图1c是适用于本发明实施例中的一种点云二维物体边框图的示意图;
图1d是适用于本发明实施例中的一种三维物体边框图的结构示意图;
图2a是本发明实施例二中的一种三维物体检测方法的流程图;
图2b是本发明具体适用场景一中的一种三维物体检测方法的流程图;
图3是本发明实施例三中的一种三维物体检测装置的结构示意图;
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种三维物体检测方法的流程图,本实施例可适用于检测待检测区域内的三维物体的情况,该方法可以由三维物体检测装置来执行,该装置可以由软件和/或硬件来实现,并一般集成在计算机设备中,典型的,该计算机设备可以装载在智能汽车中,并与车载激光雷达配合使用。
如图1a所示,本发明实施例的技术方案,具体包括如下步骤:
S110、获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图。
其中,待检测区域是需要进行三维物体检测的区域,在本发明实施例中,待检测区域可以是智能汽车行驶过程中的前方区域。目标识别图像是待检测区域的平面图像,目标识别图像可以通过车载拍摄装置获取,但本实施例对目标识别图像的来源不进行限制。
点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以x、y、z三维坐标的形式表示,而且一般主要用来代表一个物体的外表面形状。在本发明实施例中,点云数据是待检测区域内多个点的坐标,点云数据可以通过激光雷达获取,但本实施例对点云数据的获取方式不进行限制。鸟瞰图是将待检测区域的点云投影到鸟瞰平面得到的图像。
在本发明一个可选的实施例中,根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图,可以包括:根据所述点云数据生成点云鸟瞰投影图;对所述点云鸟瞰投影图进行栅格化,并对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码,获得鸟瞰图。
其中,点云鸟瞰投影图是将点云数据对应的点云投影到鸟瞰平面生成的图像。栅格化是指将向量图形转换成位图的过程,在本发明实施例中,栅格化是指将点云鸟瞰投影图转换为包含多个单元格的图像的过程,示例性的,可以以0.1米/pixel的分辨率对点云鸟瞰投影图进行栅格化。高度层体现点云中各点的高度,密度层体现点云中点的密度分布,反射强度层体现点云中点的反射率,进行高度层、密度层以及反射强度层编码的目的,是用于获取二维物体边框对应的物体的朝向角。
S120、获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图。
其中,图像二维物体边框图是根据目标识别图像生成的,包含若干二维物体边框的图像,二维物体边框用于框出目标识别图像中的物体。点云二维物体边框图是根据鸟瞰图生成的,包含若干二维物体边框的图像,二维物体边框用于框出鸟瞰图中的物体。
示例性的,图1b提供了一种图像二维物体边框图的示意图,如图1b所示,图像二维物体边框图包括若干二维物体边框,并标示了二维物体边框对应的物体的类别。图1c提供了一种点云二维物体边框图的示意图,如图1c所示,点云二维物体边框图与图1b中的图像二维物体边框图对应同一待检测区域,图1b为行车视角,图1c为鸟瞰视角。点云二维物体边框图包含若干二维物体边框,并标示了二维物体边框对应的物体的类别。
在本发明实施例中,根据目标识别图像和鸟瞰图生成对应的图像二维物体边框图和点云二维物体边框图,可以通过图像识别算法实现,也可以通过训练检测模型实现,本发明实施例对根据目标识别图像和鸟瞰图生成对应的图像二维物体边框图和点云二维物体边框图的具体方式不进行限制。
在本发明一个可选的实施例中,图像二维物体边框图和点云二维物体边框图中分别包括至少一个二维物体边框,以及与各二维物体边框对应的边框参数和类别;图像二维物体边框图对应的边框参数可以包括以下至少一项:边框中心坐标、边框高度以及边框宽度,点云二维物体边框图对应的边框参数可以包括以下至少一项:边框中心坐标、边框高度、边框宽度以及朝向角。
在本发明实施例中,图像二维物体边框图和点云二维物体边框图中的各二维物体边框还对应边框参数和类别,类别是二维物体边框对应的物体的类别,例如,汽车、行人等。图像二维物体边框图对应的边框参数是边框中心的二维坐标、边框高度以及边框宽度。由于点云二维物体边框图是根据鸟瞰图生成的,鸟瞰图中进行了高度层、密度层以及反射强度层编码,因此,点云二维物体边框图对应的边框参数除上述之外,还包括二维物体边框对应的物体的朝向角。
S130、获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图。
其中,三维物体边框图是根据图像二维物体边框图生成的,对图像二维物体边框图中各二维物体边框内的点云进行边框回归而得到的图像。鸟瞰投影图是将三维物体边框图投影到鸟瞰平面得到的图像。
在本发明一个可选的实施例中,所述三维物体边框图中可以包括至少一个三维物体边框,以及与各三维物体边框对应的边框参数和类别;所述边框参数可以包括以下至少一项:边框中心坐标、边框高度、边框宽度、边框长度以及朝向角。
其中,边框中心坐标为三维坐标。
S140、将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
其中,匹配结果可以是鸟瞰投影图中的目标三维物体边框与点云二维物体边框图中的目标二维物体边框相匹配,此时,直接保留与目标三维物体边框对应的三维物体边框图中的三维物体边框。匹配结果也可以是鸟瞰投影图中包含的目标三维物体边框,点云二维物体边框图中的任何二维物体边框都无法与其匹配,此时,同样直接保留与目标三维物体边框对应的三维物体边框图中的三维物体边框。匹配结果还可以是点云二维物体边框图中包含的目标二维物体边框,鸟瞰投影图中的任何三维物体边框都无法与其匹配。此时,说明三维物体边框图中存在漏检的情况,需要根据点云二维物体边框图中包含的目标二维物体边框,对三维物体边框图进行更新。
示例性的,图1d提供了一种三维物体边框图的示意图,如图1d所示,三维物体边框图包含若干三维物体边框,各三维物体边框为立体框,并标示了各三维物体边框对应的物体类别。
在本发明实施例中,将鸟瞰投影图与点云二维物体边框图进行匹配,可以有效减少漏检的情况,提高三维物体检测结果的准确率和全面度。
本实施例的技术方案,通过获取待检测区域的目标识别图像,和根据待检测区域的点云数据生成的鸟瞰图,生成图像二维物体边框图和点云二维物体边框图,根据图像二维物体边框图获取三维物体边框图,并将三维物体边框图的鸟瞰投影图与点云二维物体边框图匹配,根据匹配结果更新三维物体边框图,得到与待检测区域匹配的三维物体检测结果。解决了现有技术中的三维物体检测方法,时间复杂度较高,检测速度较慢的问题,以及检测精度较低,容易产生漏检的问题,实现了快速、全面、准确地检测图像中的三维物体的效果。
实施例二
图2a是本发明实施例二提供的一种三维物体检测方法的流程图,本发明实施例在上述实施例的基础上,对生成鸟瞰图的过程、生成图像二维物体边框图和点云二维物体边框图的过程、获取三维物体边框图的过程,以及对三维物体边框图进行更新的过程进行了进一步的具体化。
相应的,如图2a所示,本发明实施例的技术方案,具体包括如下步骤:
S210、获取与待检测区域匹配的目标识别图像和点云数据。
S220、根据所述点云数据生成点云鸟瞰投影图,并对所述点云鸟瞰投影图进行栅格化。
S230、获取目标单元格中各点的点云数据的最高值,并对所述最高值进行归一化处理,获得与目标单元格匹配的高度层信息。
在本发明实施例中,对于栅格化后的点云鸟瞰投影图,包含若干个单元格,对各个单元格,获取其中高度值最大的点,对其高度值进行归一化处理,示例性的,可以归一到0~255之间,将归一化后的高度值作为各单元格的高度层信息。
S240、将目标单元格中点的数量作为与目标单元格匹配的密度层信息。
在本发明实施例中,获取各单元格内点的数量,将点的数量作为各个单元格的密度层信息。
S250、获取目标单元格的各点中高度值最大的目标点,并将所述目标点的反射率值作为反射强度层信息。
在本发明实施例中,对各个单元格,将其中高度值最大的点的反射率值作为反射强度层信息。反射率是指物体反射的辐射能量占总辐射能量的百分比,在本发明实施例中,点的像素值除以10000,得到的数值即为反射率值。
S260、根据所述高度层信息、所述密度层信息以及所述反射强度层信息,对栅格化后的点云鸟瞰投影图进行编码。
获取各单元格的高度层信息、密度层信息以及反射强度层信息之后,各单元格可以用三个值来表示,将生成的三通道点云鸟瞰投影图作为鸟瞰图。
S270、判断是否完成对栅格化后的点云鸟瞰投影图中全部单元格的处理,如果是,则执行S280,否则执行S230。
S280、获得鸟瞰图。
S290、将目标识别图像输入至预先训练的图像目标检测模型中,并获取图像目标检测模型输出的图像二维物体边框图。
其中,图像目标检测模型用于检测出目标识别图像中的二维物体,示例性的,图像目标检测模型可以是单阶段快速目标检测模型YOLO(You Only Look Once)V3,YOLO模型是一种基于深度卷积神经网络的物体检测模型,YOLO v3是YOLO模型的第三个版本,YOLO v3可以在快速检测物体的同时,保证检测精度。但本发明实施例对图像目标检测模型具体采用的模型架构不进行限制。
S2100、将鸟瞰图输入至预先训练的鸟瞰图目标检测模型中,并获取鸟瞰图目标检测模型输出的点云二维物体边框图。
其中,鸟瞰图目标检测模型用于检测鸟瞰图中的物体。示例性的,鸟瞰图目标检测模型可以是YOLO-BEV模型,YOLO-BEV模型是基于YOLO模型的,用于检测鸟瞰图的模型。本发明实施例对鸟瞰图目标检测模型具体采用的模型架构不进行限制。
S2110、根据图像二维物体边框图中,各二维物体边框的边框中心坐标,以及点云中点的坐标与边框中心坐标之间的转换关系,获取与各二维物体边框匹配的目标点云。
在本发明实施例中,根据点的坐标与边框中心坐标之间的转换关系,在点云中获取与图像二维物体边框图中的各二维物体边框相匹配的目标点云。
可选的,获取目标点云之后,还可以将目标点云输入至点云分割模型,去除目标点云中不属于物体的杂点,这样设置的好处在于,可以提高物体检测的精度。
S2120、将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,生成三维物体边框图。
在本发明实施例中,三维边框回归模型的输入为点云,输出为根据点云得到的三维物体边框的边框参数和类别,根据三维物体边框的边框参数和类别生成三维物体边框图。
S2130、生成与所述三维物体边框图匹配的鸟瞰投影图。
S2140、判断所述鸟瞰投影图中,是否存在三维物体边框与点云二维物体边框图中的目标二维物体边框匹配,如果是,则执行S2170,否则执行S2150。
S2150、获取目标二维物体边框的边框中心坐标,并根据点云中点的坐标与边框中心坐标之间的转换关系,获取与目标二维物体边框匹配的目标点云。
在本发明实施例中,当点云二维物体边框图中包含的目标二维物体边框,鸟瞰投影图中的任何三维物体边框都无法与其匹配时,说明三维物体边框图中存在漏检的情况,需要根据目标二维物体边框,对三维物体边框图进行更新。
获取目标二维物体边框的边框中心坐标,根据点的坐标与边框中心坐标之间的转换关系,获取与目标二维物体边框匹配的目标点云,将目标点云输入至三维边框回归模型,三维边框回归模型输出与目标点云匹配的三维物体边框的边框参数和类别,根据三维物体边框的边框参数,在三维物体边框图中添加新的三维物体边框,并标示边框参数和类别。这样设置,可以补全三维物体边框图中漏检的三维物体边框,减少物体漏检的情况,提高三维物体检测的准确度。
S2160、将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,对三维物体边框图进行更新。
S2170、判断是否完成对点云二维物体边框图中全部二维物体边框的处理,如果是,则执行S2180,否则执行S2140。
S2180、得到与所述待检测区域匹配的三维物体检测结果。
本实施例的技术方案,通过获取待检测区域的目标识别图像,和根据待检测区域的点云数据生成的鸟瞰图,生成图像二维物体边框图和点云二维物体边框图,根据图像二维物体边框图获取三维物体边框图,并将三维物体边框图的鸟瞰投影图与点云二维物体边框图匹配,根据匹配结果更新三维物体边框图,得到与待检测区域匹配的三维物体检测结果。解决了现有技术中的三维物体检测方法,时间复杂度较高,检测速度较慢的问题,以及检测精度较低,容易产生漏检的问题,实现了快速、全面、准确地检测图像中的三维物体的效果,提高了检测速度和检测精度,减少了三维物体的漏检率。
具体适用场景一
图2b是本发明具体适用场景一提供的一种三维物体检测方法的流程图,如图2b所示,该方法的步骤包括:
S1、获取目标识别图像,将目标识别图像裁剪为特定尺寸,并输入至图像目标检测模型,获取图像目标检测模型输出的图像二维物体边框图,图像二维物体边框图包括至少一个二维物体边框,以及与各二维物体边框对应的边框参数和类别。
S2、选取待检测区域内的点云,并将点云投影到鸟瞰平面,获得点云鸟瞰投影图,对点云鸟瞰投影图进行栅格化,并进行高度层、密度层和反射强度层编码,获得预设尺寸的鸟瞰图。
S3、将鸟瞰图输入至鸟瞰图目标检测模型,获取鸟瞰图目标检测模型输出的点云二维物体边框图,点云二维物体边框图包括至少一个二维物体边框,以及与各二维物体边框对应的边框参数和类别。
S4、根据图像二维物体边框图,以及点云和图像之间的坐标系转换关系,获取能够投影到图像二维物体边框图中各二维物体边框中的目标点云,将目标点云输入至三维边框回归模型,获得三维物体边框图。
S5、将三维物体边框图投影到鸟瞰平面,获取鸟瞰投影图,将鸟瞰投影图和点云二维物体边框图进行匹配,获取能够投影到点云二维物体边框图中的目标二维物体边框内的目标点云,将目标点云输入至三维边框回归模型,更新三维物体边框图。
其中,鸟瞰投影图中不包括与目标二维物体边框匹配的三维物体边框。三维物体边框图中包括至少一个三维物体边框图,以及与三维物体边框图对应的边框参数和类别。
本具体适用场景的技术方案,通过获取待检测区域的目标识别图像,和根据待检测区域的点云数据生成的鸟瞰图,生成图像二维物体边框图和点云二维物体边框图,根据图像二维物体边框图获取三维物体边框图,并将三维物体边框图的鸟瞰投影图与点云二维物体边框图匹配,根据匹配结果更新三维物体边框图,得到与待检测区域匹配的三维物体检测结果。解决了现有技术中的三维物体检测方法,时间复杂度较高,检测速度较慢的问题,以及检测精度较低,容易产生漏检的问题,实现了快速、全面、准确地检测图像中的三维物体的效果。
实施例三
图3是本发明实施例三提供的一种三维物体检测装置的结构示意图,该装置可以由软件和/或硬件来实现,并一般集成在计算机设备中,典型的,该计算机设备可以装载在智能汽车中,并与车载激光雷达配合使用。该装置包括:图像获取模块310、二维物体边框图获取模块320、鸟瞰投影图生成模块330以及三维物体检测结果获取模块340。其中:
图像获取模块310,用于获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
二维物体边框图获取模块320,用于获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
鸟瞰投影图生成模块330,用于获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
三维物体检测结果获取模块340,用于将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
本实施例的技术方案,通过获取待检测区域的目标识别图像,和根据待检测区域的点云数据生成的鸟瞰图,生成图像二维物体边框图和点云二维物体边框图,根据图像二维物体边框图获取三维物体边框图,并将三维物体边框图的鸟瞰投影图与点云二维物体边框图匹配,根据匹配结果更新三维物体边框图,得到与待检测区域匹配的三维物体检测结果。解决了现有技术中的三维物体检测方法,时间复杂度较高,检测速度较慢的问题,以及检测精度较低,容易产生漏检的问题,实现了快速、全面、准确地检测图像中的三维物体的效果。
在上述实施例的基础上,图像获取模块310,包括:
点云鸟瞰投影图生成单元,用于根据所述点云数据生成点云鸟瞰投影图;
鸟瞰图获取单元,用于对所述点云鸟瞰投影图进行栅格化,并对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码,获得鸟瞰图。
在上述实施例的基础上,鸟瞰图获取单元,具体用于:
获取目标单元格中各点的点云数据的最高值,并对所述最高值进行归一化处理,获得与目标单元格匹配的高度层信息;
将目标单元格中点的数量作为与目标单元格匹配的密度层信息;
获取目标单元格的各点中高度值最大的目标点,并将所述目标点的反射率值作为反射强度层信息;
根据所述高度层信息、所述密度层信息以及所述反射强度层信息,对栅格化后的点云鸟瞰投影图进行编码。
在上述实施例的基础上,二维物体边框图获取模块320,包括:
图像二维物体边框图获取单元,用于将目标识别图像输入至预先训练的图像目标检测模型中,并获取图像目标检测模型输出的图像二维物体边框图;
点云二维物体边框图获取单元,用于将鸟瞰图输入至预先训练的鸟瞰图目标检测模型中,并获取鸟瞰图目标检测模型输出的点云二维物体边框图。
在上述实施例的基础上,图像二维物体边框图和点云二维物体边框图中分别包括至少一个二维物体边框,以及与各二维物体边框对应的边框参数和类别;
图像二维物体边框图对应的边框参数包括以下至少一项:边框中心坐标、边框高度以及边框宽度,点云二维物体边框图对应的边框参数包括以下至少一项:边框中心坐标、边框高度、边框宽度以及朝向角;
所述三维物体边框图中包括至少一个三维物体边框,以及与各三维物体边框对应的边框参数和类别;
所述边框参数包括以下至少一项:边框中心坐标、边框高度、边框宽度、边框长度以及朝向角。
在上述实施例的基础上,鸟瞰投影图生成模块330,包括:
第一目标点云获取单元,用于根据图像二维物体边框图中,各二维物体边框的边框中心坐标,以及点云中点的坐标与边框中心坐标之间的转换关系,获取与各二维物体边框匹配的目标点云;
三维物体边框图获取单元,用于将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,生成三维物体边框图。
在上述实施例的基础上,三维物体检测结果获取模块340,包括:
第二目标点云获取单元,用于如果所述鸟瞰投影图中,不存在三维物体边框与点云二维物体边框图中的目标二维物体边框匹配,则获取目标二维物体边框的边框中心坐标,并根据点云中点的坐标与边框中心坐标之间的转换关系,获取与目标二维物体边框匹配的目标点云;
三维物体边框图更新单元,用于将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,对三维物体边框图进行更新。
本发明实施例所提供的三维物体检测装置可执行本发明任意实施例所提供的三维物体检测方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图,如图4所示,该计算机设备包括处理器70、存储器71、输入装置72和输出装置73;计算机设备中处理器70的数量可以是一个或多个,图4中以一个处理器70为例;计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器71作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的三维物体检测方法对应的模块(例如,三维物体检测装置中的图像获取模块310、二维物体边框图获取模块320、鸟瞰投影图生成模块330以及三维物体检测结果获取模块340)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的三维物体检测方法。该方法包括:
获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
存储器71可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器71可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器71可进一步包括相对于处理器70远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种三维物体检测方法,该方法包括:
获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的三维物体检测方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述三维物体检测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种三维物体检测方法,其特征在于,包括:
获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
图像二维物体边框图和点云二维物体边框图中分别包括至少一个二维物体边框,以及与各二维物体边框对应的边框参数和类别;
图像二维物体边框图对应的边框参数包括以下至少一项:边框中心坐标、边框高度以及边框宽度,点云二维物体边框图对应的边框参数包括以下至少一项:边框中心坐标、边框高度、边框宽度以及朝向角;
所述三维物体边框图中包括至少一个三维物体边框,以及与各三维物体边框对应的边框参数和类别;
所述边框参数包括以下至少一项:边框中心坐标、边框高度、边框宽度、边框长度以及朝向角;
获取与图像二维物体边框图对应的三维物体边框图,包括:
根据图像二维物体边框图中,各二维物体边框的边框中心坐标,以及点云中点的坐标与边框中心坐标之间的转换关系,获取与各二维物体边框匹配的目标点云;
将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,生成三维物体边框图;
将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
2.根据权利要求1所述的方法,其特征在于,根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图,包括:
根据所述点云数据生成点云鸟瞰投影图;
对所述点云鸟瞰投影图进行栅格化,并对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码,获得鸟瞰图。
3.根据权利要求2所述的方法,其特征在于,对栅格化后的点云鸟瞰投影图进行高度层、密度层以及反射强度层编码,包括:
获取目标单元格中各点的点云数据的最高值,并对所述最高值进行归一化处理,获得与目标单元格匹配的高度层信息;
将目标单元格中点的数量作为与目标单元格匹配的密度层信息;
获取目标单元格的各点中高度值最大的目标点,并将所述目标点的反射率值作为反射强度层信息;
根据所述高度层信息、所述密度层信息以及所述反射强度层信息,对栅格化后的点云鸟瞰投影图进行编码。
4.根据权利要求1所述的方法,其特征在于,获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图,包括:
将目标识别图像输入至预先训练的图像目标检测模型中,并获取图像目标检测模型输出的图像二维物体边框图;
将鸟瞰图输入至预先训练的鸟瞰图目标检测模型中,并获取鸟瞰图目标检测模型输出的点云二维物体边框图。
5.根据权利要求1所述的方法,其特征在于,根据匹配结果,对三维物体边框图进行更新,包括:
如果所述鸟瞰投影图中,不存在三维物体边框与点云二维物体边框图中的目标二维物体边框匹配,则获取目标二维物体边框的边框中心坐标,并根据点云中点的坐标与边框中心坐标之间的转换关系,获取与目标二维物体边框匹配的目标点云;
将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,对三维物体边框图进行更新。
6.一种三维物体检测装置,其特征在于,包括:
图像获取模块,用于获取与待检测区域匹配的目标识别图像和点云数据,并根据所述点云数据,生成与所述待检测区域匹配的鸟瞰图;
二维物体边框图获取模块,用于获取与所述目标识别图像对应的图像二维物体边框图,以及与所述鸟瞰图对应的点云二维物体边框图;
鸟瞰投影图生成模块,用于获取与图像二维物体边框图对应的三维物体边框图,并生成与所述三维物体边框图匹配的鸟瞰投影图;
图像二维物体边框图和点云二维物体边框图中分别包括至少一个二维物体边框,以及与各二维物体边框对应的边框参数和类别;
图像二维物体边框图对应的边框参数包括以下至少一项:边框中心坐标、边框高度以及边框宽度,点云二维物体边框图对应的边框参数包括以下至少一项:边框中心坐标、边框高度、边框宽度以及朝向角;
所述三维物体边框图中包括至少一个三维物体边框,以及与各三维物体边框对应的边框参数和类别;
所述边框参数包括以下至少一项:边框中心坐标、边框高度、边框宽度、边框长度以及朝向角;
鸟瞰投影图生成模块,包括:
第一目标点云获取单元,用于根据图像二维物体边框图中,各二维物体边框的边框中心坐标,以及点云中点的坐标与边框中心坐标之间的转换关系,获取与各二维物体边框匹配的目标点云;
三维物体边框图获取单元,用于将目标点云输入至三维边框回归模型,并根据三维边框回归模型输出的三维物体边框的边框参数和类别,生成三维物体边框图;
三维物体检测结果获取模块,用于将所述鸟瞰投影图与所述点云二维物体边框图进行匹配,并根据匹配结果,对三维物体边框图进行更新,得到与所述待检测区域匹配的三维物体检测结果。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一所述的三维物体检测方法。
8.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的三维物体检测方法。
CN202010524825.9A 2020-06-10 2020-06-10 一种三维物体检测方法、装置、计算机设备和存储介质 Active CN111709923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010524825.9A CN111709923B (zh) 2020-06-10 2020-06-10 一种三维物体检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010524825.9A CN111709923B (zh) 2020-06-10 2020-06-10 一种三维物体检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111709923A CN111709923A (zh) 2020-09-25
CN111709923B true CN111709923B (zh) 2023-08-04

Family

ID=72539844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010524825.9A Active CN111709923B (zh) 2020-06-10 2020-06-10 一种三维物体检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111709923B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258631B (zh) * 2020-10-20 2023-12-08 河海大学常州校区 一种基于深度神经网络的三维目标检测方法及系统
CN112711034B (zh) * 2020-12-22 2022-10-14 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN115049700A (zh) * 2021-03-09 2022-09-13 华为技术有限公司 一种目标检测方法及装置
CN113011317B (zh) * 2021-03-16 2022-06-14 青岛科技大学 三维目标检测方法及检测装置
CN114463685A (zh) * 2022-02-15 2022-05-10 平安科技(深圳)有限公司 行为识别方法、装置、电子设备及存储介质
CN115222791B (zh) * 2022-07-15 2023-08-15 小米汽车科技有限公司 目标关联方法、装置、可读存储介质及芯片
CN116416223B (zh) * 2023-03-20 2024-01-09 北京国信会视科技有限公司 一种复杂装备调试方法、系统、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201120987D0 (en) * 2011-12-06 2012-01-18 Toshiba Res Europ Ltd A reconstruction system and method
JP2013090005A (ja) * 2011-10-13 2013-05-13 Aisin Seiki Co Ltd 画像生成装置
WO2013129355A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 立体物検出装置
JPWO2013094242A1 (ja) * 2011-12-19 2015-04-27 日産自動車株式会社 立体物検出装置
CN106323176A (zh) * 2016-08-09 2017-01-11 鞍钢集团矿业有限公司 一种露天矿边坡的三维位移监测方法
CN106529573A (zh) * 2016-10-14 2017-03-22 北京联合大学 一种结合三维点云分割和局部特征匹配的实时物体检测方法
CN109191509A (zh) * 2018-07-25 2019-01-11 广东工业大学 一种基于结构光的虚拟双目三维重建方法
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技(上海)有限公司 三维目标检测方法、装置及电子设备
CN111178250A (zh) * 2019-12-27 2020-05-19 深圳市越疆科技有限公司 物体识别定位方法、装置及终端设备
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
CN111213153A (zh) * 2019-01-30 2020-05-29 深圳市大疆创新科技有限公司 目标物体运动状态检测方法、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063593A1 (en) * 2003-09-19 2005-03-24 Nelson James M. Scalable method for rapidly detecting potential ground vehicle under cover using visualization of total occlusion footprint in point cloud population
JP5650091B2 (ja) * 2011-10-28 2015-01-07 株式会社三共 遊技機

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090005A (ja) * 2011-10-13 2013-05-13 Aisin Seiki Co Ltd 画像生成装置
GB201120987D0 (en) * 2011-12-06 2012-01-18 Toshiba Res Europ Ltd A reconstruction system and method
JPWO2013094242A1 (ja) * 2011-12-19 2015-04-27 日産自動車株式会社 立体物検出装置
WO2013129355A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 立体物検出装置
CN106323176A (zh) * 2016-08-09 2017-01-11 鞍钢集团矿业有限公司 一种露天矿边坡的三维位移监测方法
CN106529573A (zh) * 2016-10-14 2017-03-22 北京联合大学 一种结合三维点云分割和局部特征匹配的实时物体检测方法
CN109191509A (zh) * 2018-07-25 2019-01-11 广东工业大学 一种基于结构光的虚拟双目三维重建方法
CN111213153A (zh) * 2019-01-30 2020-05-29 深圳市大疆创新科技有限公司 目标物体运动状态检测方法、设备及存储介质
CN110264416A (zh) * 2019-05-28 2019-09-20 深圳大学 稀疏点云分割方法及装置
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110689008A (zh) * 2019-09-17 2020-01-14 大连理工大学 一种面向单目图像的基于三维重建的三维物体检测方法
CN111079545A (zh) * 2019-11-21 2020-04-28 上海工程技术大学 一种基于图像修复的三维目标检测方法和系统
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111178250A (zh) * 2019-12-27 2020-05-19 深圳市越疆科技有限公司 物体识别定位方法、装置及终端设备
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技(上海)有限公司 三维目标检测方法、装置及电子设备
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bin Yang 等.PIXOR: Real-time 3D Object Detection from Point Clouds.《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》.2018,第7652-7660页. *

Also Published As

Publication number Publication date
CN111709923A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111709923B (zh) 一种三维物体检测方法、装置、计算机设备和存储介质
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
US10891500B2 (en) Method and apparatus for acquiring traffic sign information
Wang et al. Real-time vehicle detection algorithm based on vision and lidar point cloud fusion
CN111353512B (zh) 障碍物分类方法、装置、存储介质和计算机设备
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
CN112613378A (zh) 3d目标检测方法、系统、介质及终端
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
Nguyen et al. Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
Li et al. Road markings extraction based on threshold segmentation
CN109840463A (zh) 一种车道线识别方法和装置
WO2024002014A1 (zh) 交通标线的识别方法、装置、计算机设备和存储介质
CN115019273A (zh) 一种目标检测方法、装置、汽车及存储介质
CN113420637A (zh) 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN116681932A (zh) 一种对象识别方法、装置、电子设备及存储介质
Panda Road boundary detection using 3d-to-2d transformation of lidar data and conditional generative adversarial networks
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN114693862A (zh) 三维点云数据模型重建方法、目标重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant