CN114648639A - 一种目标车辆的检测方法、系统及装置 - Google Patents
一种目标车辆的检测方法、系统及装置 Download PDFInfo
- Publication number
- CN114648639A CN114648639A CN202210541555.1A CN202210541555A CN114648639A CN 114648639 A CN114648639 A CN 114648639A CN 202210541555 A CN202210541555 A CN 202210541555A CN 114648639 A CN114648639 A CN 114648639A
- Authority
- CN
- China
- Prior art keywords
- target vehicle
- pose
- model
- vehicle
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种目标车辆的检测方法、系统及装置,其中所述方法包括:针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型;将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定;修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。本发明提供的技术方案,能够减少目标车辆检测过程中所投入的成本。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种目标车辆的检测方法、系统及装置。
背景技术
自动驾驶技术由于其便利性,目前成为热门的研究方向之一。对车辆运行环境的实时感知与定位是自动驾驶系统实施决策和控制的基础。环境感知主要包括三个方面,路面、静态物体和动态物体,其中动静态车辆的检测是自动驾驶感知过程的核心问题之一,与自动驾驶的避障绕行等功能的实现尤为相关。精确且稳定的车辆检测是一项极具挑战性的技术,该技术已受到学术界和工业界的重点关注。
为满足实时性与可靠性要求,自动驾驶车辆通常配备有视觉相机、惯性测量单元(Inertial Measurement Unit,IMU)、激光雷达和轮速计等多种传感器。其中,相机能够感知的外界信息最为丰富,如车辆周边景物的色彩、结构、纹理以及一些语义信息(如:道路、行人、交通标识等),因此视觉相机是自动驾驶车辆通常的基本配置。在自动驾驶技术的环境感知功能模块中,车辆检测是感知过程的核心问题之一。该经典的目标检测问题通常可被分为2D车辆目标检测和3D车辆目标检测两类。2D车辆目标检测需要识别出基于相机获得的二维图像上存在的车辆,并将车辆的位置通过最小包围框(Bounding box)的方式给出。目前学术界和工业界常用的多种目标检测框架如FasterRCNN、YOLO等已经可以较好地处理一般的目标检测问题,给出精度较高的检测结果。但是应用于自动驾驶技术中时,车辆检测局限在二维图像空间中,无法有效估计车辆在现实三维空间中的位置和姿态等信息。
3D检测通常基于相机获得的二维图像或激光雷达获得的三维点云。相较于2D目标检测,3D检测可以获取物体在三维空间中的位置和类别信息。其中激光雷达获得的三维点云数据相较于二维图像数据,具有更加丰富的几何信息,检测结果更加精确稳定,因此基于激光雷达的3D目标检测技术相较基于视觉的解决方案更具优势,涌现了很多经典算法,例如PointNet、VoxelNet、PointRCNN等。但由于激光雷达目前成本较高,目前很难广泛普及在乘用车终端上,而视觉相机凭借便宜的特点,有着其他传感器无法替代的优越性。
发明内容
有鉴于此,本发明实施方式提供了一种目标车辆的检测方法、系统及装置,能够减少目标车辆检测过程中所投入的成本。
本发明提供了一种目标车辆的检测方法,所述方法包括:针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型;将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定;修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
在一个实施方式中,根据语义分割结果拟合所述目标车辆的立体模型包括:从语义分割结果中识别所述目标车辆的尺寸信息,并根据所述尺寸信息,构建立体拟合参数;通过所述立体拟合参数生成所述目标车辆的椭球模型,并将所述椭球模型作为所述目标车辆的立体模型。
在一个实施方式中,所述立体模型在所述目标车辆的车体坐标系下生成;将所述立体模型投影为平面模型包括:根据所述目标车辆相对于所述当前车辆的初始相对位姿,将所述立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数;通过所述变换拟合参数,将所述椭球模型椭球面上的三维空间点映射至所述相机坐标系下;将所述相机坐标系下的三维空间点投影至图像坐标系中,得到由所述图像坐标系中的投影点构成的平面模型。
在一个实施方式中,所述立体模型按照以下方式表示:
其中,表示所述立体模型中各个点的位置,为的转置,表示所述立
体模型中的立体拟合参数,、、分别表示所述目标车辆的长、宽、高,为利用椭球这
一几何形状来拟合目标车辆的3D边界框时产生的;所述平面模型按照以下方式表示:
其中,,表示所述平面模型中的各个投影点的位置,为的
转置,表示第帧图像数据对应的平面模型的平面拟合参数,表示第帧图像数据
中所述立体拟合参数转换得到的变换拟合参数,表示第帧图像数据中所述目标车辆
相对于所述当前车辆的初始相对位姿,为的转置,下标表示矩阵第4列的
1-3行构成的向量,为矩阵第4列第4个元素,表示求范数。
在一个实施方式中,所述误差函数按照以下方式构建:
其中,表示第帧图像数据中所述外轮廓点集中的第个点,表示第帧
图像数据对应的平面模型的平面拟合参数,表示所述目标车辆的初始位姿中的旋转分
量,表示所述目标车辆的初始位姿中的平移分量,表示图像数据的总帧数,表示
所述外轮廓点集中包含的总点数。
在一个实施方式中,所述目标车辆的初始位姿按照以下方式确定:识别所述目标车辆相对于所述当前车辆的初始相对位姿;获取所述当前车辆在世界坐标系下的实际位姿,并根据所述实际位姿和所述初始相对位姿,计算所述目标车辆在所述世界坐标系下的初始位姿。
在一个实施方式中,识别所述目标车辆相对于所述当前车辆的初始相对位姿包括:从所述语义分割结果中识别所述目标车辆的接地点,并确定所述接地点对应的方向向量;根据相机相对于地面的高度和所述方向向量,确定所述接地点相对于所述当前车辆的位姿,并将确定的所述位姿作为所述目标车辆相对于所述当前车辆的初始相对位姿。
在一个实施方式中,所述初始相对位姿按照以下方式计算:
在一个实施方式中,所述系统包括:立体模型拟合单元,用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型;误差函数构建单元,用于将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定;迭代优化单元,用于修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
在一个实施方式中,所述目标车辆的检测装置包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述目标车辆的检测方法。
本申请提供的技术方案,通过确定目标车辆的初始位姿,并对初始位姿进行修正,在误差满足指定条件时确定目标车辆相对于当前车辆的相对位姿以达到对目标车辆的检测。可见,本申请的技术方案通过单目相机采集目标车辆图像并确定目标车辆的初始位姿,并根据目标车辆相对当前车辆的相对位姿对目标车辆进行检测,相比于现有技术中用激光雷达获得的三维点云数据获取目标车辆在三维空间中的位置,显然具备更低的投入成本。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明一个实施方式中相机安装示意图;
图2示出了本发明一个实施方式中目标车辆检测的步骤;
图3示出了本发明一个实施方式中目标车辆检测系统的功能模块示意图;
图4示出了本发明一个实施方式中目标车辆检测装置的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
本申请提供的目标车辆的检测方法,由于航迹推算任务通常要求将多相机的信息转换到同一个坐标系下进行描述,因此需要对多相机相对于车体后轴中心的外参数进行标定和各相机内参数提前进行标定,相机之间通过硬件触发进行同步采集。
可以应用于图1所示的系统中。在图1中,矩形框表示车体,在车体的前后左右可以各安装一路单目车载相机(圆形所示)。当然,在实际应用中,根据车体配置的不同,也可以安装更多路的车载相机,本申请对此并不做限定,下文仅以四个车载相机为例进行阐述本申请的技术方案,更多路的车载相机对应的技术方案可以类推。
在图1所示的系统中,可以先定义各个不同的坐标系。这些坐标系可以包括车体坐标系、相机原始坐标系和图像坐标系。这些坐标系都可以是右手系的坐标系。其中,车体坐标系的原点为车体后轴中心,y轴垂直车体后轴中心向下指向地面,x轴指向车体行进方向的右侧,z轴指向车体行进方向。相机原始坐标系的原点为车载相机的光心,z轴指向车载相机的朝向,x轴平行于图像平面且指向图像右侧,y轴垂直于图像平面且指向地面。图像坐标系是一个二维直角坐标系,反映了相机CCD芯片中像素的排列情况。其原点位于图像的左上角,其它两个坐标轴分别与图像的两条边重合。当然,在实际应用中,可以根据车辆的实际构造,灵活地调整相机的分布,并且相机的类型也可以根据实际应用场景的需求灵活调整。
请参阅图2,本申请一个实施方式提供的目标车辆的检测方法,可以包括以下多个步骤。
S1:针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型。
S3:将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定。
S5:修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
在一个实施方式中,图像数据在进行采集时帧率可控。通过计算机视觉领域中常
用的图像处理方法,检测每个相机获得图像中的某一类型2D特征点并对其追踪,包括但不
限于SIFT、SURF、ORB或深度学习方法提取的superpoint等类型的特征点,并通过计算机视
觉中常用的Brute Force Matching、FLANN或基于深度学习方法的SuperGlue的匹配方法获
得相邻帧之间匹配特征点,该特征点用于计算帧间目标车辆的相对位姿。同时,通过深度学
习的2D语义分割方法,获得相机采集图像中分割出的车辆对应的像素位置信息,并利用目
标跟踪的方法建立相邻帧之间分割结果的关联关系。记在当前第帧下分割结果的外轮廓
边缘的点集为,即外轮廓点集,表示外轮廓点集中的总点数。为规避目标车
辆3D边界框由于观测过少产生的姿态歧义性,车辆需连续行驶一段时间,且每个检测目标
被至少2帧图片观测。
在一个实施方式中,根据上述语义分割结果拟合目标车辆的立体模型包括:
S101:从语义分割结果中识别目标车辆的尺寸信息,并根据所述尺寸信息,构建立体拟合参数。
S103:通过所述立体拟合参数生成所述目标车辆的椭球模型,并将所述椭球模型作为所述目标车辆的立体模型。
在本实施方式中,语义分割结果中包含目标车辆的2D物体框和关键点,将这些2D
物体框和关键点与数据库中的多种3D车辆CAD模型分别进行匹配,选择相似度最高的模型
作为3D物体检测的输出,此时可以得到目标车辆的尺寸信息,如车辆的长、宽、高。根据目标
车辆的尺寸信息构建立体拟合参数,具体为:
根据椭球方程:
构建目标车辆的椭球模型,目标车辆的椭球模型可以表示为:
将该椭球模型作为目标车辆的立体模型,该立体模型是在目标车辆的车体坐标系
下生成的。其中表示立体模型中各个点的位置即目标车辆3D边界框各个点在目标车辆
坐标系中的位置,为的转置,,为立体模型中的立体拟合参数,即
上述的根据目标车辆的尺寸信息构建的立体拟合参数,为目标车辆的长,为目标车辆
的宽,为目标车辆的高。
在一个实施方式中,将所述立体模型投影为平面模型包括:
S301:根据目标车辆相对于当前车辆的初始相对位姿,将立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数。
在本实施方式中,目标车辆相对于当前车辆的初始相对位姿按以下方式获取:
根据语义分割的结果,把目标车辆的图像中分割部分的位置最低点作为目标车辆
的接地点,即分割区域的y像素坐标最大值对应的2D点。定义为对应接地点的2D像素点
通过相机内参数计算出来的方向向量。其中为相机拍摄到目标车辆的第帧,为对应的
帧中目标车辆的外边框上的点。
在本实施方式中,初始相对位姿按如下方式进行计算:
目标车辆在世界坐标系下与当前车辆的初始位姿获取:
S111:获取所述当前车辆在世界坐标系下的实际位姿。
利用计算机视觉中针对多相机系统的相对位姿估计算法,计算两帧之间自身车体坐标系的相对位姿,并与车载惯性测量单元(IMU)和轮速计、GPS等信息进行融合,获得自身车辆在第帧时在世界坐标系下的位姿,而非任意时刻在世界坐标系下的位姿。
S113:根据所述实际位姿和所述初始相对位姿,计算所述目标车辆在所述世界坐标系下的初始位姿。
目标车辆在世界坐标系下初始位姿根据从步骤S111航迹推算模块中获得在帧
时车辆位置信息,和在帧时目标车辆相对于当前车辆的初始相对位姿,依据几何
关系,可获得目标车辆在世界坐标系下的初始位姿,中包含旋转矢量和平移量。
在本实施方式中,将立体拟合参数转换为当前车辆的相机坐标系下的变换拟合参
数,其表达式为,其中表示第帧图像中立体拟合参数转换为当前车辆的
相机坐标系下的变换拟合参数,表示第帧图像数据中目标车辆相对于当前车辆的初
始相对位姿,为第帧图像中立体拟合参数。
S303:通过所述变换拟合参数,将椭球模型椭球面上的三维空间点映射至所述相机坐标系下。
S305:将所述相机坐标系下的三维空间点投影至图像坐标系中,得到由所述图像坐标系中的投影点构成的平面模型。
在本实施方式中,图像坐标系是一个二维平面,三维空间中的椭球在二维平面上的投影为椭圆,将上述相机坐标系下的三位空间点投影至图像坐标系中,可得到图像坐标系中的投影点构成的平面模型。
其中,,表示所述平面模型中的各个投影点的位置,为的
转置,表示第帧图像数据对应的平面模型的平面拟合参数,表示第帧图像数据中
所述立体拟合参数转换得到的变换拟合参数,表示第帧图像数据中所述目标车辆相
对于所述当前车辆的初始相对位姿,为的转置,下标表示矩阵第4列的1-3
行构成的向量,为矩阵第4列第4个元素,表示求范数。
误差函数按照如下方式进行构建:
其中,表示第帧图像数据中所述外轮廓点集中的第i个点,表示第帧图
像数据对应的平面模型的平面拟合参数,表示所述目标车辆的初始位姿中的旋转分量,表示所述目标车辆的初始位姿中的平移分量,表示图像数据的总帧数,表示所述
外轮廓点集中包含的总点数。下标1和2分别表示向量中的第一个元素和第二个元素。
其中,从和得到,而通过得到,通过和得到,而是个
固定的,而是不准确的,修正初始位姿,以对所述误差函数进行迭代优化,在迭代优化后
的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后
的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
本申请提供的技术方案,通过确定目标车辆的初始位姿,并对初始位姿进行修正,在误差满足指定条件时确定目标车辆相对于当前车辆的相对位姿以达到对目标车辆的检测。可见,本申请的技术方案通过单目相机采集目标车辆图像并确定目标车辆的初始位姿,并根据目标车辆相对当前车辆的相对位姿对目标车辆进行检测,相比于现有技术中用激光雷达获得的三维点云数据获取目标车辆在三维空间中的位置,显然具备更低的投入成本。
请参阅图3,本申请一个实施方式还提供一种目标车辆的检测系统,所述系统包括:
立体模型拟合单元,用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型;
误差函数构建单元,用于将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定;
迭代优化单元,用于修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿
请参阅图4,本申请一个实施方式还提供一种目标车辆的检测装置,所述目标车辆的检测装置包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的目标车辆检测方法。
其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解,实现上述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施方式的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种目标车辆的检测方法,其特征在于,所述方法包括:
针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型;
将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定;
修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
2.根据权利要求1所述的方法,其特征在于,根据语义分割结果拟合所述目标车辆的立体模型包括:
从语义分割结果中识别所述目标车辆的尺寸信息,并根据所述尺寸信息,构建立体拟合参数;
通过所述立体拟合参数生成所述目标车辆的椭球模型,并将所述椭球模型作为所述目标车辆的立体模型。
3.根据权利要求2所述的方法,其特征在于,所述立体模型在所述目标车辆的车体坐标系下生成;
将所述立体模型投影为平面模型包括:
根据所述目标车辆相对于所述当前车辆的初始相对位姿,将所述立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数;
通过所述变换拟合参数,将所述椭球模型椭球面上的三维空间点映射至所述相机坐标系下;
将所述相机坐标系下的三维空间点投影至图像坐标系中,得到由所述图像坐标系中的投影点构成的平面模型。
4.根据权利要求1所述的方法,其特征在于,所述立体模型按照以下方式表示:
所述平面模型按照以下方式表示:
6.根据权利要求1所述的方法,其特征在于,所述目标车辆的初始位姿按照以下方式确定:
识别所述目标车辆相对于所述当前车辆的初始相对位姿;
获取所述当前车辆在世界坐标系下的实际位姿,并根据所述实际位姿和所述初始相对位姿,计算所述目标车辆在所述世界坐标系下的初始位姿。
7.根据权利要求6所述的方法,其特征在于,识别所述目标车辆相对于所述当前车辆的初始相对位姿包括:
从所述语义分割结果中识别所述目标车辆的接地点,并确定所述接地点对应的方向向量;
根据相机相对于地面的高度和所述方向向量,确定所述接地点相对于所述当前车辆的位姿,并将确定的所述位姿作为所述目标车辆相对于所述当前车辆的初始相对位姿。
9.一种目标车辆的检测系统,其特征在于,所述系统包括:
立体模型拟合单元,用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割,并根据语义分割结果拟合所述目标车辆的立体模型;
误差函数构建单元,用于将所述立体模型投影为平面模型,并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集,构建误差函数;其中,所述平面拟合参数根据所述目标车辆的初始位姿确定;
迭代优化单元,用于修正所述初始位姿,以对所述误差函数进行迭代优化,在迭代优化后的误差函数满足指定条件的情况下,确定所述目标车辆修正后的位姿,并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
10.一种目标车辆的检测装置,其特征在于,所述目标车辆的检测装置包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至8中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210541555.1A CN114648639B (zh) | 2022-05-19 | 2022-05-19 | 一种目标车辆的检测方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210541555.1A CN114648639B (zh) | 2022-05-19 | 2022-05-19 | 一种目标车辆的检测方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114648639A true CN114648639A (zh) | 2022-06-21 |
CN114648639B CN114648639B (zh) | 2022-08-23 |
Family
ID=81996735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210541555.1A Active CN114648639B (zh) | 2022-05-19 | 2022-05-19 | 一种目标车辆的检测方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114648639B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117523010A (zh) * | 2024-01-05 | 2024-02-06 | 深圳市欧冶半导体有限公司 | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2004285183A1 (en) * | 2003-10-30 | 2005-05-12 | Nec Corporation | Estimation system, estimation method, and estimation program for estimating object state |
CN102663353A (zh) * | 2012-03-26 | 2012-09-12 | 北京博康智能信息技术有限公司 | 一种基于单帧图像的车辆识别方法及装置 |
US20170243369A1 (en) * | 2016-02-23 | 2017-08-24 | Murata Machinery, Ltd. | Object state identification method, object state identification apparatus, and carrier |
CN109087323A (zh) * | 2018-07-25 | 2018-12-25 | 武汉大学 | 一种基于精细cad模型的图像车辆三维姿态估计方法 |
CN110378202A (zh) * | 2019-06-05 | 2019-10-25 | 魔视智能科技(上海)有限公司 | 一种基于鱼眼镜头的全方位行人碰撞预警方法 |
CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
WO2020253842A1 (zh) * | 2019-06-20 | 2020-12-24 | 杭州海康威视数字技术股份有限公司 | 一种车辆位姿确定方法、装置及电子设备 |
CN112150538A (zh) * | 2019-06-27 | 2020-12-29 | 北京初速度科技有限公司 | 一种在三维地图构建过程中车辆位姿的确定方法和装置 |
CN112955897A (zh) * | 2018-09-12 | 2021-06-11 | 图森有限公司 | 用于三维(3d)对象检测的系统和方法 |
CN113420661A (zh) * | 2021-06-23 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种位姿确定方法、装置及设备 |
CN113554698A (zh) * | 2020-04-23 | 2021-10-26 | 杭州海康威视数字技术股份有限公司 | 车辆位姿信息生成方法、装置及电子设备、存储介质 |
CN113793297A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备及可读存储介质 |
CN114119749A (zh) * | 2021-11-24 | 2022-03-01 | 同济大学 | 一种基于密集关联的单目3d车辆检测方法 |
CN114427863A (zh) * | 2022-04-01 | 2022-05-03 | 天津天瞳威势电子科技有限公司 | 车辆定位方法及系统、自动泊车方法及系统、存储介质 |
-
2022
- 2022-05-19 CN CN202210541555.1A patent/CN114648639B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2004285183A1 (en) * | 2003-10-30 | 2005-05-12 | Nec Corporation | Estimation system, estimation method, and estimation program for estimating object state |
CN102663353A (zh) * | 2012-03-26 | 2012-09-12 | 北京博康智能信息技术有限公司 | 一种基于单帧图像的车辆识别方法及装置 |
US20170243369A1 (en) * | 2016-02-23 | 2017-08-24 | Murata Machinery, Ltd. | Object state identification method, object state identification apparatus, and carrier |
CN109087323A (zh) * | 2018-07-25 | 2018-12-25 | 武汉大学 | 一种基于精细cad模型的图像车辆三维姿态估计方法 |
CN112955897A (zh) * | 2018-09-12 | 2021-06-11 | 图森有限公司 | 用于三维(3d)对象检测的系统和方法 |
CN110378202A (zh) * | 2019-06-05 | 2019-10-25 | 魔视智能科技(上海)有限公司 | 一种基于鱼眼镜头的全方位行人碰撞预警方法 |
WO2020253842A1 (zh) * | 2019-06-20 | 2020-12-24 | 杭州海康威视数字技术股份有限公司 | 一种车辆位姿确定方法、装置及电子设备 |
CN112150538A (zh) * | 2019-06-27 | 2020-12-29 | 北京初速度科技有限公司 | 一种在三维地图构建过程中车辆位姿的确定方法和装置 |
CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
CN113554698A (zh) * | 2020-04-23 | 2021-10-26 | 杭州海康威视数字技术股份有限公司 | 车辆位姿信息生成方法、装置及电子设备、存储介质 |
CN113420661A (zh) * | 2021-06-23 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种位姿确定方法、装置及设备 |
CN113793297A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 位姿确定方法、装置、电子设备及可读存储介质 |
CN114119749A (zh) * | 2021-11-24 | 2022-03-01 | 同济大学 | 一种基于密集关联的单目3d车辆检测方法 |
CN114427863A (zh) * | 2022-04-01 | 2022-05-03 | 天津天瞳威势电子科技有限公司 | 车辆定位方法及系统、自动泊车方法及系统、存储介质 |
Non-Patent Citations (3)
Title |
---|
SHANXIN ZHANG等: "Vehicle global 6-DoF pose estimation under traffic surveillance camera", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
ZHANPENG OUYANG等: "Online calibration of exterior orientations of a vehicle-mounted surround-view camera system", 《2020 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 * |
许凌志等: "基于三维模型的单目车辆位姿估计", 《光学精密工程》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117523010A (zh) * | 2024-01-05 | 2024-02-06 | 深圳市欧冶半导体有限公司 | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 |
CN117523010B (zh) * | 2024-01-05 | 2024-04-09 | 深圳市欧冶半导体有限公司 | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114648639B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112292711B (zh) | 关联lidar数据和图像数据 | |
US10580164B2 (en) | Automatic camera calibration | |
WO2018177159A1 (zh) | 运动物体的位置确定方法及系统 | |
US9513108B2 (en) | Sensor system for determining distance information based on stereoscopic images | |
Honegger et al. | Embedded real-time multi-baseline stereo | |
EP3293700B1 (en) | 3d reconstruction for vehicle | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
US11842440B2 (en) | Landmark location reconstruction in autonomous machine applications | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
Song et al. | End-to-end learning for inter-vehicle distance and relative velocity estimation in ADAS with a monocular camera | |
CN116310673A (zh) | 一种基于点云与图像特征融合的三维目标检测方法 | |
CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
CN114662587A (zh) | 一种基于激光雷达的三维目标感知方法、装置及系统 | |
CN114549542A (zh) | 视觉语义分割方法、装置及设备 | |
CN110717457A (zh) | 用于车辆的行人位姿解算方法 | |
WO2023283929A1 (zh) | 双目相机外参标定的方法及装置 | |
CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
Madake et al. | Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion | |
Akın et al. | Challenges in determining the depth in 2-d images | |
John et al. | Sensor fusion and registration of lidar and stereo camera without calibration objects | |
Wen et al. | Vehicle localization and navigation on region with disappeared lane line marking | |
Ruf et al. | FaSS-MVS--Fast Multi-View Stereo with Surface-Aware Semi-Global Matching from UAV-borne Monocular Imagery | |
CN114648576B (zh) | 一种目标车辆的定位方法、装置以及系统 | |
CN113763560B (zh) | 点云数据的生成方法、系统、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |