CN110910453A - 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 - Google Patents

基于无重叠视域多相机系统的车辆位姿估计方法及其系统 Download PDF

Info

Publication number
CN110910453A
CN110910453A CN201911186355.3A CN201911186355A CN110910453A CN 110910453 A CN110910453 A CN 110910453A CN 201911186355 A CN201911186355 A CN 201911186355A CN 110910453 A CN110910453 A CN 110910453A
Authority
CN
China
Prior art keywords
vehicle
camera
pose
objective function
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911186355.3A
Other languages
English (en)
Other versions
CN110910453B (zh
Inventor
王一夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Vision Intelligent Technology (shanghai) Co Ltd
Original Assignee
Magic Vision Intelligent Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Vision Intelligent Technology (shanghai) Co Ltd filed Critical Magic Vision Intelligent Technology (shanghai) Co Ltd
Priority to CN201911186355.3A priority Critical patent/CN110910453B/zh
Publication of CN110910453A publication Critical patent/CN110910453A/zh
Application granted granted Critical
Publication of CN110910453B publication Critical patent/CN110910453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于无重叠视域多相机系统的车辆位姿估计方法，包括：通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片；检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对；通过相邻两帧之间单个车载单目相机的相对平移量与所有方向向量对构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数；将第一优化目标函数中的变量通过第二优化目标函数转换到多相机系统中心坐标系下进行表达；通过迭代估计算法对第二优化目标函数进行迭代优化，获得车辆位姿。本发明能适应低成本硬件且准确度高。

Description

基于无重叠视域多相机系统的车辆位姿估计方法及其系统
技术领域
本发明属于多相机系统技术领域，尤其涉及一种基于无重叠视域多相机系统的车辆位姿估计方法及其系统。
背景技术
作为当今世界最具潜力之一的技术，无人驾驶是指汽车在不需要人为操作的情况下，通过自身配备的传感器感知周围环境并完成导航任务。普华永道预测无人驾驶技术的普及将使整体交通事故减少百分之九十；毕马威汽车研究中心预测，无人驾驶技术将驱使生产力与能源效率将能获得改善，并会出现新的商业模式。
与传统的人工驾驶作业原理相同，对车辆运行环境的实时感知与定位是无人驾驶系统实施决策和控制的基础，相关的感知技术和车辆位姿估计方法也是学术界和工业界的关注重点。
为满足实时性、准确性、鲁棒性、可靠性等要求，无人驾驶车辆通常配备有视觉相机、惯性测量单元(IMU)、激光雷达和全球定位系统(GPS)等多种传感器。其中，视觉相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息(如：道路、行人、交通标识等)，因此视觉相机是无人驾驶车辆的基本配置。
相比于人类驾驶员在同一时刻只能观测某一方向的交通状况，无人驾驶技术更期望实现对车辆周边环境的360度全方位无死角实时感知。由于单个相机的视场角有限，因此无人驾驶系统越来越多的采用由多个视觉相机组成全景成像系统。
为便于对多相机成像系统采集的图像信息进行分析与运算，需要将多个相机的图像信息转换到同一个坐标系下进行描述。在保证相机环视无死角的前提下，为降低系统成本，通常会将有限数量的相机以环绕的方式安装在车身上，在此配置下各相机之间一般没有(或只有很小的)视野重叠区域。
无重叠视域车载全景多相机系统的车辆位姿估计算法在业内还少有研究，目前多采用基于现有传统单相机或者有视野重叠区的多相机的车辆位姿估计算法来处理无重叠视域车载全景多相机系统的车辆位姿估计问题。由于相机安装位置之间会有较大间隔且相机朝向不同，各相机之间没有(或只有很小的)视野重叠区，这些实际情况使得无重叠视域相机系统的位姿估计区别于传统单目和双目相机运动估计算法。
若简单的照搬现有算法，在实际应用中会产生诸多问题。例如运算效率低、算法鲁棒性差、计算结果准确度差等缺陷。具体表现为：(1)传统6 点法会获得64组解且没有利用车辆运动模型约束，计算复杂度较高，不适用于实时处理。(2)传统17点法使用过多特征点，对噪声及外点容忍度较差，算法鲁棒性不足。(3)基于车辆运动模型的1点算法和其延伸的2点算法，利用的运动模型过于理想，在实际应用中准确度较差。
经国内专利检索，发现公开号为CN109116397A，名称为一种车载多相机视觉定位方法、装置、设备及存储介质的发明专利申请。
该申请公开了一种车载多相机视觉定位方法，其采用多个双目相机同时进行图像获取；双目相机包括车辆上安装的前置双目相机、后置双目相机、左置双目相机和右置双目相机；对双目相机获取的图像进行处理，获得双目相机的位姿数据；将双目相机的位姿数据转换到车辆坐标系下，输出车辆坐标系下的第一车辆位姿数据；通过视觉融合算法将第一车辆位姿数据、通过车载惯性测量单元得到的第二车辆位姿数据和车载GPS输出的车辆初始全局定位数据进行融合，得到车辆全局定位信息。
该车载多相机视觉定位方法虽然可以满足定位需求，但存在以下问题：一是该方法依靠成本大大高于普通相机的4个双目相机获取数据，并且需要与车载惯性测量单元的信息进行位姿数据融合，其硬件成本较高；二是该方法采用对4个双目相机单独计算位姿之后再进行视觉融合处理得到车辆位姿，需要车载计算机具备较强的运算能力才能满足无人驾驶系统实时视觉定位的要求，而现有车规级嵌入式处理器还难以胜任；三是该方法未提及对视觉定位算法的优化，如以现有公开的定位算法进行数据处理，根据我们对现有各种优化方法的实际评估和测试(参见图4)，其定位准确度和效率还有待提高。
综上所述，无人驾驶系统对于环境感知和车辆位姿估计技术的实时性、准确性、鲁棒性、普适性和可靠性有着苛刻的要求。以现有公开的技术方案和优化算法实现多相机系统的车辆位姿估计，由于现有算法与无重叠视域全景多相机系统的硬件匹配度低，造成算法的准确度、实时性和可靠性不足，与实际应用需求还存在一定差距。
发明内容
基于此，针对上述技术问题，提供一种基于无重叠视域多相机系统的车辆位姿估计方法及其系统。
为解决上述技术问题，本发明采用如下技术方案：
一种基于无重叠视域多相机系统的车辆位姿估计方法，包括：
S101、通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片；
S102、检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对；
S103、通过车载单目相机的内参数，计算出与特征点对对应的三维特征点pi在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对
Figure RE-GDA0002362136930000031
相邻两帧之间单个相机的相对旋转量
Figure RE-GDA0002362136930000032
相对平移量
Figure RE-GDA0002362136930000033
与相应的方向向量对
Figure RE-GDA0002362136930000034
满足对极几何约束
Figure RE-GDA0002362136930000035
通过相邻两帧之间单个车载单目相机的相对平移量
Figure RE-GDA0002362136930000036
与所有方向向量对
Figure RE-GDA0002362136930000037
构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数：
Figure RE-GDA0002362136930000038
Figure RE-GDA0002362136930000039
为第i个方向向量对
Figure RE-GDA00023621369300000310
构成的对极平面的法向量；
S104、将所述第一优化目标函数中的变量
Figure RE-GDA00023621369300000311
通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：
Figure RE-GDA00023621369300000312
其中，
Figure RE-GDA0002362136930000041
Figure RE-GDA0002362136930000047
为车载单目相机j到所述多相机系统中心的相对旋转量，由外参数计算获得， Rb为在相邻两帧时刻之间所述多相机系统中心的相对旋转量，λ为矩阵Mj的特征值，Wj为权重，初始为1，
Figure RE-GDA0002362136930000048
为矩阵Mj的最小特征值。
S105、通过迭代估计算法对所述第二优化目标函数进行迭代优化，获得最小特征值对应的Rb，此时车载单目相机j的矩阵Mj的最小特征值对应的特征向量即为该相机在相邻两帧时刻之间的相对平移量
Figure RE-GDA0002362136930000042
进而通过该相机的外参数解得在相邻两帧时刻之间所述多相机系统中心的相对平移量tb，即获得车辆位姿Rb和tb。
本方案还包括步骤S106、通过随机采样一致性算法筛选步骤S102中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对
Figure RE-GDA0002362136930000043
之间的异面直线距离作为几何误差，以步骤S105获得的车辆位姿作为初值，建立第三优化目标函数：
Figure RE-GDA0002362136930000044
并以所述几何误差为能量值，通过迭代估计算法对所述车辆位姿进一步优化，
Figure RE-GDA0002362136930000045
为相邻两帧之间单个相机的相对平移量
Figure RE-GDA0002362136930000046
的方向向量。
本方案还包括步骤S107、将所述步骤S106优化后的车辆位姿作为初值，通过迭代估计算法对车辆前后侧或者左右侧的车载单目相机的第二优化目标函数进行迭代优化，若优化得到车辆位姿与步骤S106优化后的车辆位姿差小于等于设定阈值，则所述步骤S106优化后的车辆位姿为最优解，否则，则降低车辆左右侧的车载单目相机在所述第二优化目标函数中的权重，并依次通过步骤S105-S107重新对车辆位姿进行优化。
所述迭代估计算法采用Levenberg-Marquard算法，所述随机采样一致性算法采用RANSAC算法。
本方案还涉及一种基于无重叠视域多相机系统的车辆位姿估计系统，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
S101、通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片；
S102、检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对；
S103、通过车载单目相机的内参数，计算出与特征点对对应的三维特征点pi在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对
Figure RE-GDA0002362136930000051
相邻两帧之间单个相机的相对旋转量
Figure RE-GDA0002362136930000052
相对平移量
Figure RE-GDA0002362136930000053
与相应的方向向量对
Figure RE-GDA0002362136930000054
满足对极几何约束
Figure RE-GDA0002362136930000055
通过相邻两帧之间单个车载单目相机的相对平移量
Figure RE-GDA0002362136930000056
与所有方向向量对
Figure RE-GDA0002362136930000057
构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数：
Figure RE-GDA0002362136930000058
Figure RE-GDA00023621369300000519
为第i个方向向量对
Figure RE-GDA0002362136930000059
构成的对极平面的法向量；
S104、将所述第一优化目标函数中的变量
Figure RE-GDA00023621369300000510
通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：
Figure RE-GDA00023621369300000511
其中，
Figure RE-GDA00023621369300000512
Figure RE-GDA00023621369300000513
为车载单目相机j到所述多相机系统中心的相对旋转量，由外参数计算获得， Rb为在相邻两帧时刻之间所述多相机系统中心的相对旋转量，λ为矩阵Mj的特征值，Wj为权重，初始为1，
Figure RE-GDA00023621369300000520
为矩阵Mj的最小特征值。
S105、通过迭代估计算法对所述第二优化目标函数进行迭代优化，获得最小特征值对应的Rb，此时车载单目相机j的矩阵Mj的最小特征值对应的特征向量即为该相机在相邻两帧时刻之间的相对平移量
Figure RE-GDA00023621369300000514
进而通过该相机的外参数解得在相邻两帧时刻之间所述多相机系统中心的相对平移量tb，即获得车辆位姿Rb和tb。
本方案还包括步骤S106、通过随机采样一致性算法筛选步骤S102中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对
Figure RE-GDA00023621369300000515
之间的异面直线距离作为几何误差，以步骤S105获得的车辆位姿作为初值，建立第三优化目标函数：
Figure RE-GDA00023621369300000516
并以所述几何误差为能量值，通过迭代估计算法对所述车辆位姿进一步优化，
Figure RE-GDA00023621369300000517
为相邻两帧之间单个相机的相对平移量
Figure RE-GDA00023621369300000518
的方向向量。
本方案还包括步骤S107、将所述步骤S106优化后的车辆位姿作为初值，通过迭代估计算法对车辆前后侧或者左右侧的车载单目相机的第二优化目标函数进行迭代优化，若优化得到车辆位姿与步骤S106优化后的车辆位姿差小于等于设定阈值，则所述步骤S106优化后的车辆位姿为最优解，否则，则降低车辆左右侧的车载单目相机在所述第二优化目标函数中的权重，并依次通过步骤S105-S107重新对车辆位姿进行优化。
所述迭代估计算法采用Levenberg-Marquard算法，所述随机采样一致性算法采用RANSAC算法。
本发明提出一种专门针对无重叠视域车载全景多相机系统的车辆位姿估计方法，能适应低成本硬件且准确度高，仅需4台单目相机也可达到较高的准确度，算法效率高，可在大部分终端上实现实时处理。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明实施例的流程图；
图2为本发明的特征点追踪效果图；
图3为本发明的相邻帧之间的几何关系示意图；
图4为本发明方法和现有方法在实际测试中解算位姿与相机真实旋转量的结果对比示意图。
具体实施方式
如图1所示，一种基于无重叠视域多相机系统的车辆位姿估计方法，包括：
S101、通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片。
在本实施例中，通过硬件触发的方式实现同步采集，并且采集时帧率可控。
S102、通过现有的图像处理方法，检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对。两个特征点对应同一个三维特征点，则这两个特征点构成特征点对。
在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。
图2为特征点追踪效果图，其中黑色线段为对应特征点在相邻帧上的位置变化。
S103、通过车载单目相机的内参数，计算出与特征点对对应的三维特征点pi在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对
Figure RE-GDA0002362136930000071
相邻两帧之间单个相机的相对旋转量
Figure RE-GDA0002362136930000072
相对平移量
Figure RE-GDA0002362136930000073
与相应的方向向量对
Figure RE-GDA0002362136930000074
满足对极几何约束
Figure RE-GDA0002362136930000075
如图3所示，通过相邻两帧之间单个车载单目相机的相对平移量
Figure RE-GDA0002362136930000076
与所有方向向量对
Figure RE-GDA0002362136930000077
构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数(对极几何约束的变形)：
Figure RE-GDA0002362136930000078
Figure RE-GDA0002362136930000079
为第i个方向向量对
Figure RE-GDA00023621369300000710
构成的对极平面的法向量。
方向向量对
Figure RE-GDA00023621369300000711
的计算公式为
Figure RE-GDA00023621369300000712
其中，K为相机内参数矩阵，xi、x′i为三维特征点pi在相邻帧上的二维坐标。
如图3所示，三维特征点pi的方向向量对
Figure RE-GDA00023621369300000713
构成一个对极平面，多个三维特征点的方向向量对构成多个对极平面，多个对极平面具有共同的边相对平移量
Figure RE-GDA00023621369300000714
每个对极平面经过相对平移量
Figure RE-GDA00023621369300000715
的法向量
Figure RE-GDA00023621369300000716
均与该相对平移量
Figure RE-GDA00023621369300000717
垂直，构成上述的正交关系，那么找到第一优化目标函数最优解时的变量
Figure RE-GDA00023621369300000718
就找到了单个相机的相对平移量
Figure RE-GDA00023621369300000719
S104、将第一优化目标函数中的变量
Figure RE-GDA00023621369300000720
通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：
Figure RE-GDA00023621369300000721
其中，
Figure RE-GDA00023621369300000722
Figure RE-GDA00023621369300000723
为车载单目相机j到多相机系统中心的相对旋转量，由外参数计算获得，Rb为在相邻两帧时刻之间多相机系统中心的相对旋转量，λ为矩阵Mj的特征值， Wj为权重，初始为1，
Figure RE-GDA00023621369300000810
为矩阵Mj的最小特征值。
本步骤的目的是利用预先标定好的相机外参数，将单个相机位姿的优化问题变为对多相机系统中心位姿的优化问题，可以省略传统方法中先对单个相机位姿计算后再利用视觉融合算法获得多相机系统中心位姿的步骤，一方面消除了融合时产生的位姿误差，提升了算法准确度，另一方面提高了算法效率。
S105、通过迭代估计算法对第二优化目标函数进行迭代优化，获得最小特征值对应的Rb，此时车载单目相机j的矩阵Mj的最小特征值对应的特征向量即为该相机在相邻两帧时刻之间的相对平移量
Figure RE-GDA0002362136930000081
进而通过该相机的外参数解得在相邻两帧时刻之间所述多相机系统中心的相对平移量tb，即获得车辆位姿Rb和tb。
其中，相对平移量tb的具体计算公式如下：
Figure RE-GDA0002362136930000082
简化为
Figure RE-GDA0002362136930000083
Rb以及
Figure RE-GDA0002362136930000084
已经求得，tcj为相机外参数的平移量，将所有相机的
Figure RE-GDA0002362136930000085
和tcj带入简化后的公式，联立得到Ax＝b形式的非齐次线性方程组，进而利用奇异值分解(Singular Value Decomposition)的方法，可解得相对平移量tb。
步骤S106、通过随机采样一致性算法筛选步骤S102中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对
Figure RE-GDA0002362136930000086
之间的异面直线距离作为几何误差，以步骤S105获得的车辆位姿作为初值，建立第三优化目标函数：
Figure RE-GDA0002362136930000087
并以上述几何误差为能量值，通过迭代估计算法对车辆位姿进一步优化，可以取代传统算法中后端最小化重投影误差的非线性优化方法，能够在保证相似准确度的前提下最大程度减少计算所需时间，从而达到提升计算效率的目的。其中，
Figure RE-GDA0002362136930000088
为相邻两帧之间单个相机的相对平移量
Figure RE-GDA0002362136930000089
的方向向量。
步骤S107、将步骤S106优化后的车辆位姿作为初值，通过迭代估计算法对车辆前后侧或者左右侧的车载单目相机的第二优化目标函数进行迭代优化，若优化得到车辆位姿与步骤S106优化后的车辆位姿差小于等于设定阈值，则步骤S106优化后的车辆位姿为最优解，否则，则降低车辆左右侧的车载单目相机在第二优化目标函数中的权重Wj，并依次通过步骤 S105-S107重新对车辆位姿进行优化。
车载多相机系统存在多视图几何中定义的相机的旋转-平移模糊缺陷，本发明通过步骤S107来确保得到的位姿是最优解。
在本实施例中，迭代估计算法采用Levenberg-Marquard算法，随机采样一致性算法采用RANSAC算法。
本方案还涉及一种基于无重叠视域多相机系统的车辆位姿估计系统，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
S101、通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片。
在本实施例中，通过硬件触发的方式实现同步采集，并且采集时帧率可控。
S102、通过现有的图像处理方法，检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对。两个特征点对应同一个三维特征点，则这两个特征点构成特征点对。
在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用，图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。
图2为特征点追踪效果图，其中黑色线段为对应特征点在相邻帧上的位置变化。
S103、通过车载单目相机的内参数，计算出与特征点对对应的三维特征点pi在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对
Figure RE-GDA0002362136930000091
相邻两帧之间单个相机的相对旋转量
Figure RE-GDA0002362136930000092
相对平移量
Figure RE-GDA0002362136930000093
与相应的方向向量对
Figure RE-GDA0002362136930000094
满足对极几何约束
Figure RE-GDA0002362136930000095
如图3所示，通过相邻两帧之间单个车载单目相机的相对平移量
Figure RE-GDA0002362136930000096
与所有方向向量对
Figure RE-GDA0002362136930000097
构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数(对极几何约束的变形)：
Figure RE-GDA0002362136930000101
Figure RE-GDA0002362136930000102
为第i个方向向量对
Figure RE-GDA0002362136930000103
构成的对极平面的法向量。
方向向量对
Figure RE-GDA0002362136930000104
的计算公式为
Figure RE-GDA0002362136930000105
其中，K为相机内参数矩阵，xi、x′i为三维特征点pi在相邻帧上的二维坐标。
如图3所示，三维特征点pi的方向向量对
Figure RE-GDA0002362136930000106
构成一个对极平面，多个三维特征点的方向向量对构成多个对极平面，多个对极平面具有共同的边相对平移量
Figure RE-GDA0002362136930000107
每个对极平面经过相对平移量
Figure RE-GDA0002362136930000108
的法向量
Figure RE-GDA0002362136930000109
均与该相对平移量
Figure RE-GDA00023621369300001010
垂直，构成上述的正交关系，那么找到第一优化目标函数最优解时的变量
Figure RE-GDA00023621369300001011
就找到了单个相机的相对平移量
Figure RE-GDA00023621369300001012
S104、将第一优化目标函数中的变量
Figure RE-GDA00023621369300001013
通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：
Figure RE-GDA00023621369300001014
其中，
Figure RE-GDA00023621369300001015
Figure RE-GDA00023621369300001016
为车载单目相机j到多相机系统中心的相对旋转量，由外参数计算获得，Rb为在相邻两帧时刻之间多相机系统中心的相对旋转量，λ为矩阵Mj的特征值， Wj为权重，初始为1，
Figure RE-GDA00023621369300001021
为矩阵Mj的最小特征值。
本步骤的目的是利用预先标定好的相机外参数，将单个相机位姿的优化问题变为对多相机系统中心位姿的优化问题，可以省略传统方法中先对单个相机位姿计算后再利用视觉融合算法获得多相机系统中心位姿的步骤，一方面消除了融合时产生的位姿误差，提升了算法准确度，另一方面提高了算法效率。
S105、通过迭代估计算法对第二优化目标函数进行迭代优化，获得最小特征值对应的Rb，此时车载单目相机j的矩阵Mj的最小特征值对应的特征向量即为该相机在相邻两帧时刻之间的相对平移量
Figure RE-GDA00023621369300001017
进而通过该相机的外参数解得在相邻两帧时刻之间所述多相机系统中心的相对平移量tb，即获得车辆位姿Rb和tb。
其中，相对平移量tb的具体计算公式如下：
Figure RE-GDA00023621369300001018
简化为
Figure RE-GDA00023621369300001019
Rb以及
Figure RE-GDA00023621369300001020
已经求得，tcj为相机外参数的平移量，将所有相机的
Figure RE-GDA0002362136930000111
和tcj带入简化后的公式，联立得到Ax＝b形式的非齐次线性方程组，进而利用奇异值分解(Singular Value Decomposition)的方法，可解得相对平移量tb。
步骤S106、通过随机采样一致性算法筛选步骤S102中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对
Figure RE-GDA0002362136930000112
之间的异面直线距离作为几何误差，以步骤S105获得的车辆位姿作为初值，建立第三优化目标函数：
Figure RE-GDA0002362136930000113
并以上述几何误差为能量值，通过迭代估计算法对车辆位姿进一步优化，可以取代传统算法中后端最小化重投影误差的非线性优化方法，能够在保证相似准确度的前提下最大程度减少计算所需时间，从而达到提升计算效率的目的。其中，
Figure RE-GDA0002362136930000114
为相邻两帧之间单个相机的相对平移量
Figure RE-GDA0002362136930000115
的方向向量。
步骤S107、将步骤S106优化后的车辆位姿作为初值，通过迭代估计算法对车辆前后侧或者左右侧的车载单目相机的第二优化目标函数进行迭代优化，若优化得到车辆位姿与步骤S106优化后的车辆位姿差小于等于设定阈值，则步骤S106优化后的车辆位姿为最优解，否则，则降低车辆左右侧的车载单目相机在第二优化目标函数中的权重Wj，并依次通过步骤 S105-S107重新对车辆位姿进行优化。
车载多相机系统存在多视图几何中定义的相机的旋转-平移模糊缺陷，本发明通过步骤S107来确保得到的位姿是最优解。
在本实施例中，迭代估计算法采用Levenberg-Marquard算法，随机采样一致性算法采用RANSAC算法。
本发明提出一种专门针对无重叠视域车载全景多相机系统的车辆位姿估计方法及其系统，能适应低成本硬件且准确度高，仅需4台单目相机也可达到较高的准确度，算法效率高，可在大部分终端上实现实时处理。
本发明将单个相机位姿的优化问题变成对多相机系统中心位姿的优化问题，即先解出Rb，然后再依次解出
Figure RE-GDA0002362136930000116
以及tb，不需要按传统的方式先解出每个单相机的位姿再进行视觉融合，消除了使用视觉融合算法时产生的位姿误差积累，提高了计算准确度；利用车辆平面运动特性，减少计算位姿时相机系统的自由度(由于车辆只在地面行驶，不需要考虑相机在上下方向的平移以及旋转)，进而达到提升计算效率的目的；可以用相对较少的特征点进行初始位姿估计(步骤S105为初始位姿估计)，能够更好的适配随机采样一致性方法进行不良匹配点对的筛除，提升了本方法的鲁棒性；利用特定的几何误差为判断依据，用迭代优化的方式对初始位姿进一步优化，提升了效率。
此外，本发明提出了利用旋转-平移模糊缺陷来验证计算位姿结果准确性的防火墙策略，有效避免最终位姿计算结果受到左右侧相机的旋转-平移模糊缺陷的影响。
图4为本发明和现有方法在实际测试中解算位姿与相机真实旋转量的结果对比示意图，其中，x轴代表时间(秒)，y轴代表位姿中的旋转量，2pt、 17pt为学术界现有针对多相机系统的算法计算结果，其中2pt方法利用Ackermann约束(非完整运动)来对多相机系统进行系统位姿估计，17pt方法采用17组匹配特征点对的方法采用线性求解的方式来进行系统位姿估计， ME为本专利方法的计算结果，groundtruth为外部测量系统测得的相机系统真实旋转值，从图中可以看到，本发明方法的计算结果与真实值非常接近，甚至存在部分的重合，而现有的2pt、17pt方法的计算结果则与真实值还有较大的偏差。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (8)

1.一种基于无重叠视域多相机系统的车辆位姿估计方法，其特征在于，包括：
S101、通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片；
S102、检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对；
S103、通过车载单目相机的内参数，计算出与特征点对对应的三维特征点pi在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对
Figure RE-FDA0002362136920000018
相邻两帧之间单个相机的相对旋转量
Figure RE-FDA00023621369200000111
相对平移量
Figure RE-FDA00023621369200000112
与相应的方向向量对
Figure RE-FDA0002362136920000019
满足对极几何约束
Figure RE-FDA00023621369200000110
通过相邻两帧之间单个车载单目相机的相对平移量
Figure RE-FDA00023621369200000113
与所有方向向量对
Figure RE-FDA00023621369200000114
构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数：
Figure RE-FDA0002362136920000011
Figure RE-FDA0002362136920000012
为第i个方向向量对
Figure RE-FDA0002362136920000013
构成的对极平面的法向量；
S104、将所述第一优化目标函数中的变量
Figure RE-FDA0002362136920000014
通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：
Figure RE-FDA0002362136920000015
其中，
Figure RE-FDA0002362136920000016
Figure RE-FDA0002362136920000017
为车载单目相机j到所述多相机系统中心的相对旋转量，由外参数计算获得，Rb为在相邻两帧时刻之间所述多相机系统中心的相对旋转量，λ为矩阵Mj的特征值，Wj为权重，初始为1，
Figure RE-FDA00023621369200000115
为矩阵Mj的最小特征值；
S105、通过迭代估计算法对所述第二优化目标函数进行迭代优化，获得最小特征值对应的Rb，此时车载单目相机j的矩阵Mj的最小特征值对应的特征向量即为该相机在相邻两帧时刻之间的相对平移量
Figure RE-FDA00023621369200000116
进而通过该相机的外参数解得在相邻两帧时刻之间所述多相机系统中心的相对平移量tb，即获得车辆位姿Rb和tb。
2.根据权利要求1所述的一种基于无重叠视域多相机系统的车辆位姿估计方法，其特征在于，还包括步骤S106、通过随机采样一致性算法筛选步骤S102中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对
Figure RE-FDA0002362136920000024
之间的异面直线距离作为几何误差，以步骤S105获得的车辆位姿作为初值，建立第三优化目标函数：
Figure RE-FDA0002362136920000021
并以所述几何误差为能量值，通过迭代估计算法对所述车辆位姿进一步优化，
Figure RE-FDA0002362136920000022
为相邻两帧之间单个相机的相对平移量
Figure RE-FDA0002362136920000023
均方向向量。
3.根据权利要求2所述的一种基于无重叠视域多相机系统的车辆位姿估计方法，其特征在于，还包括步骤S107、将所述步骤S106优化后的车辆位姿作为初值，通过迭代估计算法对车辆前后侧或者左右侧的车载单目相机的第二优化目标函数进行迭代优化，若优化得到车辆位姿与步骤S106优化后的车辆位姿差小于等于设定阈值，则所述步骤S106优化后的车辆位姿为最优解，否则，则降低车辆左右侧的车载单目相机在所述第二优化目标函数中的权重，并依次通过步骤S105-S107重新对车辆位姿进行优化。
4.根据权利要求3所述的一种基于无重叠视域多相机系统的车辆位姿估计方法，其特征在于，所述迭代估计算法采用Levenberg-Marquard算法，所述随机采样一致性算法采用RANSAC算法。
5.一种基于无重叠视域多相机系统的车辆位姿估计系统，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：
S101、通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片；
S102、检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对；
S103、通过车载单目相机的内参数，计算出与特征点对对应的三维特征点pi在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对
Figure RE-FDA0002362136920000031
相邻两帧之间单个相机的相对旋转量
Figure RE-FDA00023621369200000310
相对平移量
Figure RE-FDA00023621369200000311
与相应的方向向量对
Figure RE-FDA00023621369200000312
满足对极几何约束
Figure RE-FDA0002362136920000032
通过相邻两帧之间单个车载单目相机的相对平移量
Figure RE-FDA00023621369200000320
与所有方向向量对
Figure RE-FDA00023621369200000313
构成的对极平面法向量的正交关系获得对于单个相机位姿的第一优化目标函数：
Figure RE-FDA0002362136920000033
Figure RE-FDA0002362136920000034
为第i个方向向量对
Figure RE-FDA0002362136920000035
构成的对极平面的法向量；
S104、将所述第一优化目标函数中的变量
Figure RE-FDA00023621369200000314
通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：
Figure RE-FDA0002362136920000036
其中，
Figure RE-FDA0002362136920000037
Figure RE-FDA0002362136920000038
为车载单目相机j到所述多相机系统中心的相对旋转量，由外参数计算获得，Rb为在相邻两帧时刻之间所述多相机系统中心的相对旋转量，λ为矩阵Mj的特征值，Wj为权重，初始为1，
Figure RE-FDA00023621369200000315
为矩阵Mj的最小特征值；
S105、通过迭代估计算法对所述第二优化目标函数进行迭代优化，获得最小特征值对应的Rb，此时车载单目相机j的矩阵Mj的最小特征值对应的特征向量即为该相机在相邻两帧时刻之间的相对平移量
Figure RE-FDA00023621369200000316
进而通过该相机的外参数解得在相邻两帧时刻之间所述多相机系统中心的相对平移量tb，即获得车辆位姿Rb和tb。
6.根据权利要求5所述的一种基于无重叠视域多相机系统的车辆位姿估计系统，其特征在于，还包括步骤S106、通过随机采样一致性算法筛选步骤S102中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对
Figure RE-FDA00023621369200000317
之间的异面直线距离作为几何误差，以步骤S105获得的车辆位姿作为初值，建立第三优化目标函数：
Figure RE-FDA0002362136920000039
并以所述几何误差为能量值，通过迭代估计算法对所述车辆位姿进一步优化，
Figure RE-FDA00023621369200000319
为相邻两帧之间单个相机的相对平移量
Figure RE-FDA00023621369200000318
的方向向量。
7.根据权利要求6所述的一种基于无重叠视域多相机系统的车辆位姿估计系统，其特征在于，还包括步骤S107、将所述步骤S106优化后的车辆位姿作为初值，通过迭代估计算法对车辆前后侧或者左右侧的车载单目相机的第二优化目标函数进行迭代优化，若优化得到车辆位姿与步骤S106优化后的车辆位姿差小于等于设定阈值，则所述步骤S106优化后的车辆位姿为最优解，否则，则降低车辆左右侧的车载单目相机在所述第二优化目标函数中的权重，并依次通过步骤S105-S107重新对车辆位姿进行优化。
8.根据权利要求7所述的一种基于无重叠视域多相机系统的车辆位姿估计系统，其特征在于，所述迭代估计算法采用Levenberg-Marquard算法，所述随机采样一致性算法采用RANSAC算法。
CN201911186355.3A 2019-11-28 2019-11-28 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 Active CN110910453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911186355.3A CN110910453B (zh) 2019-11-28 2019-11-28 基于无重叠视域多相机系统的车辆位姿估计方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911186355.3A CN110910453B (zh) 2019-11-28 2019-11-28 基于无重叠视域多相机系统的车辆位姿估计方法及其系统

Publications (2)

Publication Number Publication Date
CN110910453A true CN110910453A (zh) 2020-03-24
CN110910453B CN110910453B (zh) 2023-03-24

Family

ID=69819770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911186355.3A Active CN110910453B (zh) 2019-11-28 2019-11-28 基于无重叠视域多相机系统的车辆位姿估计方法及其系统

Country Status (1)

Country Link
CN (1) CN110910453B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524192A (zh) * 2020-04-20 2020-08-11 北京百度网讯科技有限公司 车载相机外参的标定方法、装置、系统及存储介质
CN113191329A (zh) * 2021-05-26 2021-07-30 超级视线科技有限公司 一种基于单目视觉图片的车辆泊位匹配方法及系统
CN113484863A (zh) * 2021-07-07 2021-10-08 上海商汤临港智能科技有限公司 一种车辆及其车载传感器系统、以及行车数据采集方法
CN113763560A (zh) * 2021-08-02 2021-12-07 纵目科技（上海）股份有限公司 点云数据的生成方法、系统、设备及计算机可读存储介质
CN113916223A (zh) * 2021-09-29 2022-01-11 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN114092564A (zh) * 2021-10-29 2022-02-25 上海科技大学 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
CN114119761A (zh) * 2022-01-28 2022-03-01 杭州宏景智驾科技有限公司 多相机机动车定位方法和装置、电子设备和存储介质
CN114648639A (zh) * 2022-05-19 2022-06-21 魔视智能科技(武汉)有限公司 一种目标车辆的检测方法、系统及装置
CN114897988A (zh) * 2022-07-14 2022-08-12 苏州魔视智能科技有限公司 一种铰链式车辆中的多相机定位方法、装置及设备
CN116228875A (zh) * 2022-11-30 2023-06-06 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质
CN116823954A (zh) * 2023-08-29 2023-09-29 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220173A1 (en) * 2009-02-20 2010-09-02 Google Inc. Estimation of Panoramic Camera Orientation Relative to a Vehicle Coordinate Frame
WO2013149149A1 (en) * 2012-03-29 2013-10-03 Honda Motor Co., Ltd Method to identify driven lane on map and improve vehicle position estimate
CN107871327A (zh) * 2017-10-23 2018-04-03 武汉大学 基于特征点线的单目相机位姿估计和优化方法及系统
CN108151713A (zh) * 2017-12-13 2018-06-12 南京航空航天大学 一种单目vo快速位姿估计方法
CN108257161A (zh) * 2018-01-16 2018-07-06 重庆邮电大学 基于多相机的车辆环境三维重构和运动估计系统及方法
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100220173A1 (en) * 2009-02-20 2010-09-02 Google Inc. Estimation of Panoramic Camera Orientation Relative to a Vehicle Coordinate Frame
WO2013149149A1 (en) * 2012-03-29 2013-10-03 Honda Motor Co., Ltd Method to identify driven lane on map and improve vehicle position estimate
US20190204084A1 (en) * 2017-09-29 2019-07-04 Goertek Inc. Binocular vision localization method, device and system
CN107871327A (zh) * 2017-10-23 2018-04-03 武汉大学 基于特征点线的单目相机位姿估计和优化方法及系统
CN108151713A (zh) * 2017-12-13 2018-06-12 南京航空航天大学 一种单目vo快速位姿估计方法
CN108257161A (zh) * 2018-01-16 2018-07-06 重庆邮电大学 基于多相机的车辆环境三维重构和运动估计系统及方法
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
岳晓奎等: "基于视觉信息的航天器位姿估计迭代算法", 《西北工业大学学报》 *
许允喜等: "多摄像机系统位姿估计的广义正交迭代算法", 《光学学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524192B (zh) * 2020-04-20 2023-10-03 阿波罗智能技术(北京)有限公司 车载相机外参的标定方法、装置、系统及存储介质
CN111524192A (zh) * 2020-04-20 2020-08-11 北京百度网讯科技有限公司 车载相机外参的标定方法、装置、系统及存储介质
CN113191329A (zh) * 2021-05-26 2021-07-30 超级视线科技有限公司 一种基于单目视觉图片的车辆泊位匹配方法及系统
CN113484863A (zh) * 2021-07-07 2021-10-08 上海商汤临港智能科技有限公司 一种车辆及其车载传感器系统、以及行车数据采集方法
CN113763560A (zh) * 2021-08-02 2021-12-07 纵目科技（上海）股份有限公司 点云数据的生成方法、系统、设备及计算机可读存储介质
CN113763560B (zh) * 2021-08-02 2024-02-09 纵目科技（上海）股份有限公司 点云数据的生成方法、系统、设备及计算机可读存储介质
CN113916223A (zh) * 2021-09-29 2022-01-11 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN114092564A (zh) * 2021-10-29 2022-02-25 上海科技大学 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
CN114092564B (zh) * 2021-10-29 2024-04-09 上海科技大学 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
CN114119761A (zh) * 2022-01-28 2022-03-01 杭州宏景智驾科技有限公司 多相机机动车定位方法和装置、电子设备和存储介质
CN114648639A (zh) * 2022-05-19 2022-06-21 魔视智能科技(武汉)有限公司 一种目标车辆的检测方法、系统及装置
CN114648639B (zh) * 2022-05-19 2022-08-23 魔视智能科技(武汉)有限公司 一种目标车辆的检测方法、系统及装置
CN114897988A (zh) * 2022-07-14 2022-08-12 苏州魔视智能科技有限公司 一种铰链式车辆中的多相机定位方法、装置及设备
CN116228875A (zh) * 2022-11-30 2023-06-06 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质
CN116228875B (zh) * 2022-11-30 2023-12-08 苏州魔视智能科技有限公司 一种多相机车载系统的标定方法、装置、系统及存储介质
CN116823954A (zh) * 2023-08-29 2023-09-29 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质
CN116823954B (zh) * 2023-08-29 2023-12-08 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN110910453B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
EP2757527B1 (en) System and method for distorted camera image correction
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
WO2013133129A1 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
Fan et al. Computer stereo vision for autonomous driving
CN110636263A (zh) 全景环视图生成方法、车载设备及车载系统
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
US10866427B2 (en) Method and apparatus for outputting pose information
CN111402328B (zh) 一种基于激光里程计的位姿计算方法及装置
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
CN111260733B (zh) 车载环视多相机系统的外参数估计方法及其系统
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
KR102361133B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
KR102372298B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
CN116740681B (zh) 目标检测方法、装置、车辆和存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116665166A (zh) 一种适用于不平坦路面场景的智能车辆3d目标检测方法
CN113834463B (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
Pagel et al. Extrinsic camera calibration in vehicles with explicit ground estimation
Cai et al. A target tracking and location robot system based on omnistereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Vehicle pose estimation method and system based on non overlapping field of view multi camera system

Granted publication date: 20230324

Pledgee: China Minsheng Banking Corp Shanghai branch

Pledgor: MOTOVIS TECHNOLOGY (SHANGHAI) CO.,LTD.

Registration number: Y2024310000414

PE01 Entry into force of the registration of the contract for pledge of patent right