CN114648639B - 一种目标车辆的检测方法、系统及装置 - Google Patents

一种目标车辆的检测方法、系统及装置 Download PDF

Info

Publication number
CN114648639B
CN114648639B CN202210541555.1A CN202210541555A CN114648639B CN 114648639 B CN114648639 B CN 114648639B CN 202210541555 A CN202210541555 A CN 202210541555A CN 114648639 B CN114648639 B CN 114648639B
Authority
CN
China
Prior art keywords
target vehicle
pose
model
vehicle
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210541555.1A
Other languages
English (en)
Other versions
CN114648639A (zh
Inventor
王之睿
王一夫
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Vision Intelligent Technology Wuhan Co ltd
Original Assignee
Magic Vision Intelligent Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Vision Intelligent Technology Wuhan Co ltd filed Critical Magic Vision Intelligent Technology Wuhan Co ltd
Priority to CN202210541555.1A priority Critical patent/CN114648639B/zh
Publication of CN114648639A publication Critical patent/CN114648639A/zh
Application granted granted Critical
Publication of CN114648639B publication Critical patent/CN114648639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明公开了一种目标车辆的检测方法、系统及装置，其中所述方法包括：针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。本发明提供的技术方案，能够减少目标车辆检测过程中所投入的成本。

Description

一种目标车辆的检测方法、系统及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种目标车辆的检测方法、系统及装置。
背景技术
自动驾驶技术由于其便利性，目前成为热门的研究方向之一。对车辆运行环境的实时感知与定位是自动驾驶系统实施决策和控制的基础。环境感知主要包括三个方面，路面、静态物体和动态物体，其中动静态车辆的检测是自动驾驶感知过程的核心问题之一，与自动驾驶的避障绕行等功能的实现尤为相关。精确且稳定的车辆检测是一项极具挑战性的技术，该技术已受到学术界和工业界的重点关注。
为满足实时性与可靠性要求，自动驾驶车辆通常配备有视觉相机、惯性测量单元（Inertial Measurement Unit，IMU）、激光雷达和轮速计等多种传感器。其中，相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息（如：道路、行人、交通标识等），因此视觉相机是自动驾驶车辆通常的基本配置。在自动驾驶技术的环境感知功能模块中，车辆检测是感知过程的核心问题之一。该经典的目标检测问题通常可被分为2D车辆目标检测和3D车辆目标检测两类。2D车辆目标检测需要识别出基于相机获得的二维图像上存在的车辆，并将车辆的位置通过最小包围框（Bounding box）的方式给出。目前学术界和工业界常用的多种目标检测框架如FasterRCNN、YOLO等已经可以较好地处理一般的目标检测问题，给出精度较高的检测结果。但是应用于自动驾驶技术中时，车辆检测局限在二维图像空间中，无法有效估计车辆在现实三维空间中的位置和姿态等信息。
3D检测通常基于相机获得的二维图像或激光雷达获得的三维点云。相较于2D目标检测，3D检测可以获取物体在三维空间中的位置和类别信息。其中激光雷达获得的三维点云数据相较于二维图像数据，具有更加丰富的几何信息，检测结果更加精确稳定，因此基于激光雷达的3D目标检测技术相较基于视觉的解决方案更具优势，涌现了很多经典算法，例如PointNet、VoxelNet、PointRCNN等。但由于激光雷达目前成本较高，目前很难广泛普及在乘用车终端上，而视觉相机凭借便宜的特点，有着其他传感器无法替代的优越性。
发明内容
有鉴于此，本发明实施方式提供了一种目标车辆的检测方法、系统及装置，能够减少目标车辆检测过程中所投入的成本。
本发明提供了一种目标车辆的检测方法，所述方法包括：针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
在一个实施方式中，根据语义分割结果拟合所述目标车辆的立体模型包括：从语义分割结果中识别所述目标车辆的尺寸信息，并根据所述尺寸信息，构建立体拟合参数；通过所述立体拟合参数生成所述目标车辆的椭球模型，并将所述椭球模型作为所述目标车辆的立体模型。
在一个实施方式中，所述立体模型在所述目标车辆的车体坐标系下生成；将所述立体模型投影为平面模型包括：根据所述目标车辆相对于所述当前车辆的初始相对位姿，将所述立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数；通过所述变换拟合参数，将所述椭球模型椭球面上的三维空间点映射至所述相机坐标系下；将所述相机坐标系下的三维空间点投影至图像坐标系中，得到由所述图像坐标系中的投影点构成的平面模型。
在一个实施方式中，所述立体模型按照以下方式表示：
Figure 669811DEST_PATH_IMAGE001
，
其中，
Figure 997018DEST_PATH_IMAGE002
表示所述立体模型中各个点的位置，
Figure 923386DEST_PATH_IMAGE003
为
Figure 3337DEST_PATH_IMAGE002
的转置，
Figure 888117DEST_PATH_IMAGE004
表示所述 立体模型中的立体拟合参数，
Figure 702620DEST_PATH_IMAGE005
、
Figure 963837DEST_PATH_IMAGE006
、
Figure 649028DEST_PATH_IMAGE007
分别表示所述目标车辆的长、宽、高，
Figure 439129DEST_PATH_IMAGE008
为利用椭 球这一几何形状来拟合目标车辆的3D边界框时产生的；所述平面模型按照以下方式表示：
Figure 990196DEST_PATH_IMAGE010
其中，
Figure 274678DEST_PATH_IMAGE011
，
Figure 860380DEST_PATH_IMAGE012
表示所述平面模型中的各个投影点的位置，
Figure 86962DEST_PATH_IMAGE013
为
Figure 887776DEST_PATH_IMAGE012
的转置，
Figure 225217DEST_PATH_IMAGE014
表示第
Figure 416158DEST_PATH_IMAGE015
帧图像数据对应的平面模型的平面拟合参数，
Figure 813641DEST_PATH_IMAGE016
表示第
Figure 73721DEST_PATH_IMAGE015
帧 图像数据中所述立体拟合参数转换得到的变换拟合参数，
Figure 700006DEST_PATH_IMAGE017
表示第
Figure 994721DEST_PATH_IMAGE015
帧图像数据中所 述目标车辆相对于所述当前车辆的初始相对位姿，
Figure 48259DEST_PATH_IMAGE018
为
Figure 795635DEST_PATH_IMAGE019
的转置，下标
Figure 943719DEST_PATH_IMAGE020
表 示矩阵第4列的1-3行构成的
Figure 827362DEST_PATH_IMAGE021
向量，
Figure 301068DEST_PATH_IMAGE022
为矩阵第4列第4个元素，
Figure 20894DEST_PATH_IMAGE023
表示求范 数。
在一个实施方式中，所述误差函数按照以下方式构建：
Figure 972669DEST_PATH_IMAGE025
其中，
Figure 976397DEST_PATH_IMAGE026
表示第
Figure 355426DEST_PATH_IMAGE015
帧图像数据中所述外轮廓点集中的第
Figure 562548DEST_PATH_IMAGE027
个点，
Figure 318014DEST_PATH_IMAGE028
表示第
Figure 441828DEST_PATH_IMAGE015
帧图像数据对应的平面模型的平面拟合参数，
Figure 8070DEST_PATH_IMAGE029
表示所述目标车辆的初始位姿中的旋 转分量，
Figure 951755DEST_PATH_IMAGE030
表示所述目标车辆的初始位姿中的平移分量，
Figure 245333DEST_PATH_IMAGE031
表示图像数据的总帧数，
Figure 223653DEST_PATH_IMAGE032
表示所述外轮廓点集中包含的总点数。
在一个实施方式中，所述目标车辆的初始位姿按照以下方式确定：识别所述目标车辆相对于所述当前车辆的初始相对位姿；获取所述当前车辆在世界坐标系下的实际位姿，并根据所述实际位姿和所述初始相对位姿，计算所述目标车辆在所述世界坐标系下的初始位姿。
在一个实施方式中，识别所述目标车辆相对于所述当前车辆的初始相对位姿包括：从所述语义分割结果中识别所述目标车辆的接地点，并确定所述接地点对应的方向向量；根据相机相对于地面的高度和所述方向向量，确定所述接地点相对于所述当前车辆的位姿，并将确定的所述位姿作为所述目标车辆相对于所述当前车辆的初始相对位姿。
在一个实施方式中，所述初始相对位姿按照以下方式计算：
Figure 960796DEST_PATH_IMAGE034
其中，
Figure 391778DEST_PATH_IMAGE035
表示第
Figure 489047DEST_PATH_IMAGE015
帧图像数据中目标车辆相对于当前车辆的初始相对位姿，
Figure 56294DEST_PATH_IMAGE036
表示相机相对于地面的高度，
Figure 229918DEST_PATH_IMAGE037
为单位矩阵，
Figure 413774DEST_PATH_IMAGE038
为所述方向向量，
Figure 49155DEST_PATH_IMAGE039
为所述方向向 量中的第三个元素，
Figure 487221DEST_PATH_IMAGE041
表示相机的标定平移外参。
在一个实施方式中，所述系统包括：立体模型拟合单元，用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；误差函数构建单元，用于将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；迭代优化单元，用于修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
在一个实施方式中，所述目标车辆的检测装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述目标车辆的检测方法。
本申请提供的技术方案，通过确定目标车辆的初始位姿，并对初始位姿进行修正，在误差满足指定条件时确定目标车辆相对于当前车辆的相对位姿以达到对目标车辆的检测。可见，本申请的技术方案通过单目相机采集目标车辆图像并确定目标车辆的初始位姿，并根据目标车辆相对当前车辆的相对位姿对目标车辆进行检测，相比于现有技术中用激光雷达获得的三维点云数据获取目标车辆在三维空间中的位置，显然具备更低的投入成本。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明一个实施方式中相机安装示意图；
图2示出了本发明一个实施方式中目标车辆检测的步骤；
图3示出了本发明一个实施方式中目标车辆检测系统的功能模块示意图；
图4示出了本发明一个实施方式中目标车辆检测装置的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本申请提供的目标车辆的检测方法，由于航迹推算任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机相对于车体后轴中心的外参数进行标定和各相机内参数提前进行标定，相机之间通过硬件触发进行同步采集。
可以应用于图1所示的系统中。在图1中，矩形框表示车体，在车体的前后左右可以各安装一路单目车载相机（圆形所示）。当然，在实际应用中，根据车体配置的不同，也可以安装更多路的车载相机，本申请对此并不做限定，下文仅以四个车载相机为例进行阐述本申请的技术方案，更多路的车载相机对应的技术方案可以类推。
在图1所示的系统中，可以先定义各个不同的坐标系。这些坐标系可以包括车体坐标系、相机原始坐标系和图像坐标系。这些坐标系都可以是右手系的坐标系。其中，车体坐标系的原点为车体后轴中心，y轴垂直车体后轴中心向下指向地面，x轴指向车体行进方向的右侧，z轴指向车体行进方向。相机原始坐标系的原点为车载相机的光心，z轴指向车载相机的朝向，x轴平行于图像平面且指向图像右侧，y轴垂直于图像平面且指向地面。图像坐标系是一个二维直角坐标系，反映了相机CCD芯片中像素的排列情况。其原点位于图像的左上角，其它两个坐标轴分别与图像的两条边重合。当然，在实际应用中，可以根据车辆的实际构造，灵活地调整相机的分布，并且相机的类型也可以根据实际应用场景的需求灵活调整。
请参阅图2，本申请一个实施方式提供的目标车辆的检测方法，可以包括以下多个步骤。
S1：针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型。
S3：将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定。
S5：修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
在一个实施方式中，图像数据在进行采集时帧率可控。通过计算机视觉领域中常 用的图像处理方法，检测每个相机获得图像中的某一类型2D特征点并对其追踪，包括但不 限于SIFT、SURF、ORB或深度学习方法提取的superpoint等类型的特征点，并通过计算机视 觉中常用的Brute Force Matching、FLANN或基于深度学习方法的SuperGlue的匹配方法获 得相邻帧之间匹配特征点，该特征点用于计算帧间目标车辆的相对位姿。同时，通过深度学 习的2D语义分割方法，获得相机采集图像中分割出的车辆对应的像素位置信息，并利用目 标跟踪的方法建立相邻帧之间分割结果的关联关系。记在当前第
Figure 815434DEST_PATH_IMAGE015
帧下分割结果的外轮 廓边缘的点集为
Figure 221007DEST_PATH_IMAGE042
，即外轮廓点集，
Figure 676391DEST_PATH_IMAGE043
表示外轮廓点集中的总点数。为规避目 标车辆3D边界框由于观测过少产生的姿态歧义性，车辆需连续行驶一段时间，且每个检测 目标被至少2帧图片观测。
在一个实施方式中，根据上述语义分割结果拟合目标车辆的立体模型包括：
S101：从语义分割结果中识别目标车辆的尺寸信息，并根据所述尺寸信息，构建立体拟合参数。
S103：通过所述立体拟合参数生成所述目标车辆的椭球模型，并将所述椭球模型作为所述目标车辆的立体模型。
在本实施方式中，语义分割结果中包含目标车辆的2D物体框和关键点，将这些2D 物体框和关键点与数据库中的多种3D车辆CAD模型分别进行匹配，选择相似度最高的模型 作为3D物体检测的输出，此时可以得到目标车辆的尺寸信息，如车辆的长、宽、高。根据目标 车辆的尺寸信息构建立体拟合参数
Figure 218230DEST_PATH_IMAGE044
，具体为：
Figure 717345DEST_PATH_IMAGE045
其中
Figure 344635DEST_PATH_IMAGE046
为目标车辆的长，
Figure 72551DEST_PATH_IMAGE047
为目标车辆的宽，
Figure 734477DEST_PATH_IMAGE048
为目标车辆的高，
Figure 404492DEST_PATH_IMAGE049
为利用椭球 这一几何形状来拟合目标车辆的3D边界框时产生的。
根据椭球方程：
Figure 519079DEST_PATH_IMAGE050
构建目标车辆的椭球模型，目标车辆的椭球模型可以表示为：
Figure 50685DEST_PATH_IMAGE051
，
将该椭球模型作为目标车辆的立体模型，该立体模型是在目标车辆的车体坐标系 下生成的。其中
Figure 567117DEST_PATH_IMAGE052
表示立体模型中各个点的位置即目标车辆3D边界框各个点在目标车 辆坐标系中的位置，
Figure 408034DEST_PATH_IMAGE053
为
Figure 9917DEST_PATH_IMAGE052
的转置，
Figure 345215DEST_PATH_IMAGE054
，
Figure 716153DEST_PATH_IMAGE055
为立体模型中的立体拟合 参数，即上述的根据目标车辆的尺寸信息构建的立体拟合参数，
Figure 727971DEST_PATH_IMAGE046
为目标车辆的长，
Figure 551571DEST_PATH_IMAGE047
为 目标车辆的宽，
Figure 690559DEST_PATH_IMAGE048
为目标车辆的高。
在一个实施方式中，将所述立体模型投影为平面模型包括：
S301：根据目标车辆相对于当前车辆的初始相对位姿，将立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数。
在本实施方式中，目标车辆相对于当前车辆的初始相对位姿按以下方式获取：
根据语义分割的结果，把目标车辆的图像中分割部分的位置最低点作为目标车辆 的接地点，即分割区域的y像素坐标最大值对应的2D点。定义
Figure 916004DEST_PATH_IMAGE056
为对应接地点的2D像素点 通过相机内参数计算出来的方向向量。其中
Figure 98724DEST_PATH_IMAGE057
为相机拍摄到目标车辆的第
Figure 675199DEST_PATH_IMAGE057
帧，
Figure 352299DEST_PATH_IMAGE058
为对应 的帧中目标车辆的外边框上的点。
本实施方式还需要获取相机相对于地面的高度。具体地，利用已标定好的相机相 对于后轴中心的外参数
Figure 432250DEST_PATH_IMAGE059
和
Figure 51451DEST_PATH_IMAGE041
以及后轴相对地面的高度
Figure 849642DEST_PATH_IMAGE060
，可以获取相机相对于 地面的高度，其表达式可以表示为：
Figure 53135DEST_PATH_IMAGE062
上述的
Figure 253173DEST_PATH_IMAGE059
是一个
Figure 43274DEST_PATH_IMAGE063
的单位矩阵，
Figure 63183DEST_PATH_IMAGE041
是标定后的相机平移外参，
Figure 331353DEST_PATH_IMAGE064
表示标定后的相机平移外参中的第三个元素。
根据上述的相机相对于地面的高度和上述的方向向量计算可以得到当前第
Figure 136629DEST_PATH_IMAGE057
帧 时目标车辆的接地点相对于当前车辆的位姿，将这个位姿确定为目标车辆相对于当前车辆 的初始相对位姿。
在本实施方式中，初始相对位姿按如下方式进行计算：
Figure 832053DEST_PATH_IMAGE034
其中，
Figure 604837DEST_PATH_IMAGE065
表示第
Figure 676698DEST_PATH_IMAGE057
帧图像数据中目标车辆相对于当前车辆的初始相对位姿，
Figure 336480DEST_PATH_IMAGE066
表示相机相对于地面的高度，
Figure 468384DEST_PATH_IMAGE067
为单位矩阵，
Figure 462885DEST_PATH_IMAGE068
为所述方向向量，
Figure 338437DEST_PATH_IMAGE069
为所述方向向 量中的第三个元素，
Figure 852726DEST_PATH_IMAGE041
表示标定后的相机平移外参。
目标车辆在世界坐标系下与当前车辆的初始位姿获取：
S111：获取所述当前车辆在世界坐标系下的实际位姿。
利用计算机视觉中针对多相机系统的相对位姿估计算法，计算两帧之间自身车体坐标系的相对位姿，并与车载惯性测量单元（IMU）和轮速计、GPS等信息进行融合，获得自身车辆在第帧时在世界坐标系下的位姿，而非任意时刻在世界坐标系下的位姿。
S113：根据所述实际位姿和所述初始相对位姿，计算所述目标车辆在所述世界坐标系下的初始位姿。
目标车辆在世界坐标系下初始位姿根据从步骤S111航迹推算模块中获得在
Figure 155532DEST_PATH_IMAGE057
帧 时车辆位置信息
Figure 637329DEST_PATH_IMAGE070
，和在
Figure 50992DEST_PATH_IMAGE057
帧时目标车辆相对于当前车辆的初始相对位姿
Figure 950947DEST_PATH_IMAGE071
，依据几 何关系
Figure 893495DEST_PATH_IMAGE072
，可获得目标车辆在世界坐标系下的初始位姿
Figure 862588DEST_PATH_IMAGE073
，
Figure 79942DEST_PATH_IMAGE073
中包含旋 转矢量
Figure 568824DEST_PATH_IMAGE074
和平移量
Figure 213432DEST_PATH_IMAGE075
。
在本实施方式中，将立体拟合参数转换为当前车辆的相机坐标系下的变换拟合参 数，其表达式为
Figure 669821DEST_PATH_IMAGE076
，其中
Figure 425287DEST_PATH_IMAGE077
表示第
Figure 34254DEST_PATH_IMAGE057
帧图像中立体拟合参数转换为当前车 辆的相机坐标系下的变换拟合参数，
Figure 849764DEST_PATH_IMAGE071
表示第
Figure 527870DEST_PATH_IMAGE057
帧图像数据中目标车辆相对于当前车辆 的初始相对位姿，
Figure 87027DEST_PATH_IMAGE078
为第
Figure 550500DEST_PATH_IMAGE057
帧图像中立体拟合参数。
S303：通过所述变换拟合参数，将椭球模型椭球面上的三维空间点映射至所述相机坐标系下。
椭球模型椭球面上的三维空间点映射至所述相机坐标系下的位置用
Figure 536911DEST_PATH_IMAGE079
表示。在 相机坐标系下的点应满足
Figure 967892DEST_PATH_IMAGE080
。
S305：将所述相机坐标系下的三维空间点投影至图像坐标系中，得到由所述图像坐标系中的投影点构成的平面模型。
在本实施方式中，图像坐标系是一个二维平面，三维空间中的椭球在二维平面上的投影为椭圆，将上述相机坐标系下的三位空间点投影至图像坐标系中，可得到图像坐标系中的投影点构成的平面模型。
具体地，三维空间中的椭球投影到图像平面上椭圆
Figure 65161DEST_PATH_IMAGE081
上的点
Figure 383141DEST_PATH_IMAGE082
所构成的平面模型按以下方式进行表示：
Figure 540453DEST_PATH_IMAGE083
，
其中，
Figure 193151DEST_PATH_IMAGE084
，
Figure 359690DEST_PATH_IMAGE085
表示所述平面模型中的各个投影点的位置，
Figure 797756DEST_PATH_IMAGE086
为
Figure 125969DEST_PATH_IMAGE085
的转置，
Figure 265964DEST_PATH_IMAGE087
表示第
Figure 721347DEST_PATH_IMAGE088
帧图像数据对应的平面模型的平面拟合参数，
Figure 263187DEST_PATH_IMAGE089
表示第帧图 像数据中所述立体拟合参数转换得到的变换拟合参数，
Figure 762301DEST_PATH_IMAGE090
表示第
Figure 389592DEST_PATH_IMAGE088
帧图像数据中所述目 标车辆相对于所述当前车辆的初始相对位姿，
Figure 383086DEST_PATH_IMAGE091
为
Figure 45012DEST_PATH_IMAGE092
的转置，下标
Figure 715028DEST_PATH_IMAGE093
表示矩 阵第4列的1-3行构成的
Figure 298456DEST_PATH_IMAGE094
向量，
Figure 344909DEST_PATH_IMAGE095
为矩阵第4列第4个元素，
Figure 612074DEST_PATH_IMAGE096
表示求范数。
在一个实施方式中，根据所述平面模型中的平面拟合参数和所述语义分割结果中 的外轮廓点集，构建误差函数，其中，所述平面拟合参数根据所述目标车辆的初始位姿
Figure 452991DEST_PATH_IMAGE097
确定。
误差函数按照如下方式进行构建：
Figure 54873DEST_PATH_IMAGE025
其中，
Figure 390171DEST_PATH_IMAGE098
表示第
Figure 761109DEST_PATH_IMAGE088
帧图像数据中所述外轮廓点集中的第i个点，
Figure 38507DEST_PATH_IMAGE099
表示第
Figure 127686DEST_PATH_IMAGE088
帧 图像数据对应的平面模型的平面拟合参数，
Figure 1095DEST_PATH_IMAGE100
表示所述目标车辆的初始位姿中的旋转分 量，
Figure 492119DEST_PATH_IMAGE101
表示所述目标车辆的初始位姿中的平移分量，
Figure 674839DEST_PATH_IMAGE102
表示图像数据的总帧数，
Figure 985734DEST_PATH_IMAGE103
表 示所述外轮廓点集中包含的总点数。下标1和2分别表示向量中的第一个元素和第二个元 素。
其中，
Figure 928414DEST_PATH_IMAGE104
从
Figure 539524DEST_PATH_IMAGE105
和
Figure 921175DEST_PATH_IMAGE106
得到，而
Figure 719367DEST_PATH_IMAGE105
通过
Figure 449425DEST_PATH_IMAGE106
得到，
Figure 915042DEST_PATH_IMAGE106
通过
Figure 190296DEST_PATH_IMAGE107
和
Figure 475784DEST_PATH_IMAGE108
得到，而
Figure 9534DEST_PATH_IMAGE108
是个固定的，而
Figure 64077DEST_PATH_IMAGE107
是不准确的，修正初始位姿，以对所述误差函数进行迭代优化，在迭 代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所 述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
本申请提供的技术方案，通过确定目标车辆的初始位姿，并对初始位姿进行修正，在误差满足指定条件时确定目标车辆相对于当前车辆的相对位姿以达到对目标车辆的检测。可见，本申请的技术方案通过单目相机采集目标车辆图像并确定目标车辆的初始位姿，并根据目标车辆相对当前车辆的相对位姿对目标车辆进行检测，相比于现有技术中用激光雷达获得的三维点云数据获取目标车辆在三维空间中的位置，显然具备更低的投入成本。
请参阅图3，本申请一个实施方式还提供一种目标车辆的检测系统，所述系统包括：
立体模型拟合单元，用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；
误差函数构建单元，用于将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；
迭代优化单元，用于修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿
请参阅图4，本申请一个实施方式还提供一种目标车辆的检测装置，所述目标车辆的检测装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的目标车辆检测方法。
其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random AccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种目标车辆的检测方法，其特征在于，所述方法包括：
针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型，其中，根据语义分割结果拟合所述目标车辆的立体模型包括：
从语义分割结果中识别所述目标车辆的尺寸信息，并根据所述尺寸信息，构建立体拟合参数；
通过所述立体拟合参数生成所述目标车辆的椭球模型，并将所述椭球模型作为所述目标车辆的立体模型；
将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定，其中，所述目标车辆的初始位姿按照以下方式确定：
识别所述目标车辆相对于所述当前车辆的初始相对位姿；
获取所述当前车辆在世界坐标系下的实际位姿，并根据所述实际位姿和所述初始相对位姿，计算所述目标车辆在所述世界坐标系下的初始位姿；
其中，识别所述目标车辆相对于所述当前车辆的初始相对位姿包括：
从所述语义分割结果中识别所述目标车辆的接地点，并确定所述接地点对应的方向向量；
根据相机相对于地面的高度和所述方向向量，确定所述接地点相对于所述当前车辆的位姿，并将确定的所述位姿作为所述目标车辆相对于所述当前车辆的初始相对位姿；
其中，所述立体模型按照以下方式表示：
Figure 928951DEST_PATH_IMAGE001
Figure 439567DEST_PATH_IMAGE002
其中，
Figure 688146DEST_PATH_IMAGE003
表示所述立体模型中各个点的位置，
Figure 145672DEST_PATH_IMAGE004
为
Figure 54985DEST_PATH_IMAGE003
的转置，
Figure 346289DEST_PATH_IMAGE005
表示所述立体模 型中的立体拟合参数，a、b、c分别表示所述目标车辆的长、宽、高，d为利用椭球这一几何形 状来拟合目标车辆的3D边界框时产生的；
所述平面模型按照以下方式表示：
Figure 675639DEST_PATH_IMAGE006
Figure 202435DEST_PATH_IMAGE007
Figure 340155DEST_PATH_IMAGE008
其中，
Figure 661415DEST_PATH_IMAGE009
表示所述平面模型中的各个投影点的位置，
Figure 245106DEST_PATH_IMAGE010
为
Figure 450959DEST_PATH_IMAGE011
的转 置，
Figure 302240DEST_PATH_IMAGE012
表示第k帧图像数据对应的平面模型的平面拟合参数，
Figure 325560DEST_PATH_IMAGE013
表示第k帧图像数据中所述 立体拟合参数转换得到的变换拟合参数，
Figure 770448DEST_PATH_IMAGE014
表示第k帧图像数据中所述目标车辆相对于所 述当前车辆的初始相对位姿，
Figure 373467DEST_PATH_IMAGE015
为
Figure 846299DEST_PATH_IMAGE016
的转置，下标(1:3:4)表示矩阵第4列的1-3行构成的 3*1向量，(4,4)为矩阵第4列第4个元素，norm表示求范数；
修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
2.根据权利要求1所述的方法，其特征在于，所述立体模型在所述目标车辆的车体坐标系下生成；
将所述立体模型投影为平面模型包括：
根据所述目标车辆相对于所述当前车辆的初始相对位姿，将所述立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数；
通过所述变换拟合参数，将所述椭球模型椭球面上的三维空间点映射至所述相机坐标系下；
将所述相机坐标系下的三维空间点投影至图像坐标系中，得到由所述图像坐标系中的投影点构成的平面模型。
3.根据权利要求1所述的方法，其特征在于，所述误差函数按照以下方式构建：
Figure 650307DEST_PATH_IMAGE018
其中，
Figure 972704DEST_PATH_IMAGE019
表示第k帧图像数据中所述外轮廓点集中的第i个点，
Figure 379415DEST_PATH_IMAGE020
表示第k帧图像数 据对应的平面模型的平面拟合参数，
Figure 80655DEST_PATH_IMAGE021
表示所述目标车辆的初始位姿中的旋转分量，
Figure 180198DEST_PATH_IMAGE022
表示所述目标车辆的初始位姿中的平移分量，M表示图像数据的总帧数，N表示所述外轮廓 点集中包含的总点数。
4.根据权利要求1所述的方法，其特征在于，所述初始相对位姿按照以下方式计算：
Figure 225776DEST_PATH_IMAGE023
其中，
Figure 311544DEST_PATH_IMAGE024
表示第k帧图像数据中目标车辆相对于当前车辆的初始相对位姿，h表示相机 相对于地面的高度，R为单位矩阵，
Figure 991924DEST_PATH_IMAGE025
为所述方向向量，
Figure 262368DEST_PATH_IMAGE026
为所述方向向量中的第 三个元素，
Figure 28199DEST_PATH_IMAGE027
表示相机的标定平移外参。
5.一种目标车辆的检测系统，其特征在于，所述系统包括：
立体模型拟合单元，用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型，其中，根据语义分割结果拟合所述目标车辆的立体模型包括：
从语义分割结果中识别所述目标车辆的尺寸信息，并根据所述尺寸信息，构建立体拟合参数；
通过所述立体拟合参数生成所述目标车辆的椭球模型，并将所述椭球模型作为所述目标车辆的立体模型；
误差函数构建单元，用于将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定，其中，所述目标车辆的初始位姿按照以下方式确定：
识别所述目标车辆相对于所述当前车辆的初始相对位姿；
获取所述当前车辆在世界坐标系下的实际位姿，并根据所述实际位姿和所述初始相对位姿，计算所述目标车辆在所述世界坐标系下的初始位姿；
其中，识别所述目标车辆相对于所述当前车辆的初始相对位姿包括：
从所述语义分割结果中识别所述目标车辆的接地点，并确定所述接地点对应的方向向量；
根据相机相对于地面的高度和所述方向向量，确定所述接地点相对于所述当前车辆的位姿，并将确定的所述位姿作为所述目标车辆相对于所述当前车辆的初始相对位姿；
其中，所述立体模型按照以下方式表示：
Figure 917658DEST_PATH_IMAGE001
Figure 207869DEST_PATH_IMAGE002
其中，
Figure 649215DEST_PATH_IMAGE003
表示所述立体模型中各个点的位置，
Figure 777708DEST_PATH_IMAGE004
为
Figure 329912DEST_PATH_IMAGE003
的转置，
Figure 453726DEST_PATH_IMAGE028
表示所述立体模 型中的立体拟合参数，a、b、c分别表示所述目标车辆的长、宽、高，d为利用椭球这一几何形 状来拟合目标车辆的3D边界框时产生的；
所述平面模型按照以下方式表示：
Figure 833017DEST_PATH_IMAGE006
Figure 714385DEST_PATH_IMAGE007
Figure 70280DEST_PATH_IMAGE008
其中，
Figure 720704DEST_PATH_IMAGE029
表示所述平面模型中的各个投影点的位置，
Figure 238274DEST_PATH_IMAGE010
为
Figure 465993DEST_PATH_IMAGE011
的转 置，
Figure 595885DEST_PATH_IMAGE012
表示第k帧图像数据对应的平面模型的平面拟合参数，
Figure 366395DEST_PATH_IMAGE030
表示第k帧图像数据中所述 立体拟合参数转换得到的变换拟合参数，
Figure 54865DEST_PATH_IMAGE031
表示第k帧图像数据中所述目标车辆相对于所 述当前车辆的初始相对位姿，
Figure 35459DEST_PATH_IMAGE015
为
Figure 467578DEST_PATH_IMAGE016
的转置，下标(1:3:4)表示矩阵第4列的1-3行构成的 3*1向量，(4,4)为矩阵第4列第4个元素，norm表示求范数；
迭代优化单元，用于修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
6.一种目标车辆的检测装置，其特征在于，所述目标车辆的检测装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至4中任一所述的方法。
CN202210541555.1A 2022-05-19 2022-05-19 一种目标车辆的检测方法、系统及装置 Active CN114648639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541555.1A CN114648639B (zh) 2022-05-19 2022-05-19 一种目标车辆的检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541555.1A CN114648639B (zh) 2022-05-19 2022-05-19 一种目标车辆的检测方法、系统及装置

Publications (2)

Publication Number Publication Date
CN114648639A CN114648639A (zh) 2022-06-21
CN114648639B true CN114648639B (zh) 2022-08-23

Family

ID=81996735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541555.1A Active CN114648639B (zh) 2022-05-19 2022-05-19 一种目标车辆的检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114648639B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523010B (zh) * 2024-01-05 2024-04-09 深圳市欧冶半导体有限公司 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN112150538A (zh) * 2019-06-27 2020-12-29 北京初速度科技有限公司 一种在三维地图构建过程中车辆位姿的确定方法和装置
CN113420661A (zh) * 2021-06-23 2021-09-21 杭州海康威视数字技术股份有限公司 一种位姿确定方法、装置及设备
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN113793297A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 位姿确定方法、装置、电子设备及可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2540084A1 (en) * 2003-10-30 2005-05-12 Nec Corporation Estimation system, estimation method, and estimation program for estimating object state
CN102663353A (zh) * 2012-03-26 2012-09-12 北京博康智能信息技术有限公司 一种基于单帧图像的车辆识别方法及装置
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
CN109087323A (zh) * 2018-07-25 2018-12-25 武汉大学 一种基于精细cad模型的图像车辆三维姿态估计方法
US10839234B2 (en) * 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
CN110378202B (zh) * 2019-06-05 2022-12-09 魔视智能科技(上海)有限公司 一种基于鱼眼镜头的全方位行人碰撞预警方法
CN112116654A (zh) * 2019-06-20 2020-12-22 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
CN114119749A (zh) * 2021-11-24 2022-03-01 同济大学 一种基于密集关联的单目3d车辆检测方法
CN114427863A (zh) * 2022-04-01 2022-05-03 天津天瞳威势电子科技有限公司 车辆定位方法及系统、自动泊车方法及系统、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150538A (zh) * 2019-06-27 2020-12-29 北京初速度科技有限公司 一种在三维地图构建过程中车辆位姿的确定方法和装置
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN113420661A (zh) * 2021-06-23 2021-09-21 杭州海康威视数字技术股份有限公司 一种位姿确定方法、装置及设备
CN113793297A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 位姿确定方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN114648639A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
US10580164B2 (en) Automatic camera calibration
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
Honegger et al. Embedded real-time multi-baseline stereo
EP3293700B1 (en) 3d reconstruction for vehicle
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
Song et al. End-to-end learning for inter-vehicle distance and relative velocity estimation in adas with a monocular camera
CN115147328A (zh) 三维目标检测方法及装置
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
CN114549542A (zh) 视觉语义分割方法、装置及设备
CN110197104B (zh) 基于车辆的测距方法及装置
CN111833443A (zh) 自主机器应用中的地标位置重建
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
Madake et al. Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion
CN112529011A (zh) 目标检测方法及相关装置
John et al. Sensor fusion and registration of lidar and stereo camera without calibration objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant