CN108257161B - 基于多相机的车辆环境三维重构和运动估计系统及方法 - Google Patents

基于多相机的车辆环境三维重构和运动估计系统及方法 Download PDF

Info

Publication number
CN108257161B
CN108257161B CN201810040543.4A CN201810040543A CN108257161B CN 108257161 B CN108257161 B CN 108257161B CN 201810040543 A CN201810040543 A CN 201810040543A CN 108257161 B CN108257161 B CN 108257161B
Authority
CN
China
Prior art keywords
camera
dimensional
vehicle
dimensional reconstruction
motion estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810040543.4A
Other languages
English (en)
Other versions
CN108257161A (zh
Inventor
冯明驰
贾祥
郑太雄
岑明
彭文冠
陈国喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810040543.4A priority Critical patent/CN108257161B/zh
Publication of CN108257161A publication Critical patent/CN108257161A/zh
Application granted granted Critical
Publication of CN108257161B publication Critical patent/CN108257161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明请求保护一种基于多相机的车辆环境三维重构和运动估计系统及方法，其中双目视觉三维重构是将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配，从而得到稠密的三维点云，同时获得车辆的运动估计；单目视觉三维重构是对每台标定过的单目摄像头采集的图像进行特征点提取与匹配，再利用双目视觉三维重构模块中得到的车辆运动估计，获得精确的三维稠密点云；整车环境三维重构是将前面双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接，并通过光束法平差方法对每个三维坐标点进行优化，从而获得优化后的整车环境的精确的三维环境重构结果；本发明操作流程简单、易于实施、成本低。

Description

基于多相机的车辆环境三维重构和运动估计系统及方法
技术领域
本发明属于计算机视觉、三维重构技术领域，尤其涉及一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法。
背景技术
三维重构技术包括基于主动视觉的三维重构技术和基于被动视觉的三维重构技术。其中基于被动视觉的三维重构技术又包括双目(立体)视觉法和单目视觉法。双目视觉三维重构是采用两台相机,从左、右两个视点拍摄同一场景,然后通过左右图像间的匹配点恢复出场景中目标物体的三维信息。立体视觉方法重构效果较好，适应性强,使用范围广。不足的是运算量偏大,并且在基线距离较大的情况下重构效果不好。单目视觉三维重构是仅使用一台相机来进行三维重构,这种方法简单方便、灵活可靠、使用范围广。将双目视觉三维重构与单目视觉三维重构方法融合，并且把双目视觉三维重构过程中获得的车辆位姿信息传输给单目视觉系统，从而提高单目视觉三维重构的精度，实现重构效果好，成本低。经过检索，和本发明最接近的对比文件如下：
1.Urban S,Wursthorn S,Leitloff J,et al.MultiCol Bundle Adjustment:AGeneric Method for Pose Estimation,Simultaneous Self-Calibration andReconstruction for Arbitrary Multi-Camera Systems[J].International Journal ofComputer Vision,2017,121(2):234-252.
2.Urban S,Hinz S.MultiCol-SLAM-A Modular Real-Time Multi-Camera SLAMSystem[J].2016.
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提高单目视觉的重构精度、降低成本的多相机车辆环境三维重构和运动估计系统及方法。本发明的技术方案如下：
一种多相机车辆环境三维重构和运动估计系统，其特征在于，包括：双目视觉三维重构模块、单目视觉三维重构模块及整车环境三维重构模块；其中，
双目视觉三维重构模块：用于将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配，从而得到稠密的三维点云，同时对双目摄像头拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配，获得车辆的运动估计，并传输给单目视觉三维重构模块；
单目视觉三维重构模块：用于对每台标定过的单目摄像头采集的图像进行特征点提取与匹配，并利用双目视觉三维重构系统得到的车辆运动估计，可以求得单目相机前后时刻的旋转平移参数，再对前后帧图像上的特征点进行匹配，获得精确的三维稠密点云；
整车环境三维重构模块：用于将所述双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接，并通过光束法平差方法对每个三维坐标点进行优化，从而获得优化后的整车环境的三维环境重构结果。
进一步的，所述双目摄像头有两个摄像头，用于拍摄车前的场景，单目摄像头有3个摄像头，分别用于拍摄行车右、后、左边的场景。
进一步的，所述双目摄像头和单目摄像头均为广角摄像头。
进一步的，所述车辆的速度在0.1s内呈线性变化。
进一步的，所述双目视觉三维重构模块将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取算法具体包括步骤：尺度空间的极值检测；特征点定位；特征方向赋值；特征点描述。
进一步的，所述对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配具体包括；左、右匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上，前、后匹配则在竖直方向上增大搜索范围。
进一步的，根据匹配好的特征点及其3D坐标，利用重投影方法获得估计坐标值，再将估计的坐标值与实际的坐标值进行参数优化，获得前后两个时刻相机的运动，从而得到车辆当前的运动估计；利用匹配结果对双目相机拍摄的车辆前方的场景进行三维重构，获得以左相机光学中心为坐标原点的稠密的三维点云。
进一步的，所述单目视觉三维重构模块对于每台单目相机拍摄的场景，由于双目相机相对于车身的位姿为已知，并且根据每台相机之间的旋转平移参数，可以求得每台单目相机相对于车身的位姿，再利用获得的车辆当前的运动估计，得到每台单目相机的运动估计，再对前后帧图像进行特征点检测与匹配，从而获得精确的稠密三维点云。
一种基于所述系统的多相机车辆环境三维重构和运动估计方法，其包括以下步骤：
步骤1、对5个摄像头分别进行标定，获得每台相机的内参，以及各台相机之间的旋转平移参数，并对获取的图像进行畸变矫正；
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取；
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配；其中左、右匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上，前、后匹配则在竖直方向上增大搜索范围，；
步骤4、根据步骤3中匹配好的特征点及其3D坐标，利用重投影方法获得估计坐标值，再将估计的坐标值与实际的坐标值进行参数优化，获得前后两个时刻相机的运动，从而得到车辆当前的运动估计；
步骤5、利用步骤三中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构，获得以左相机光学中心为坐标原点的稠密的三维点云；
步骤6、对于每台单目相机拍摄的场景，由于双目相机相对于车身的位姿为已知，并且每台相机之间的旋转平移参数可由步骤一标定中得到，因此，可以求得每台单目相机相对于车身的位姿，再利用步骤4中获得的车辆当前的运动估计，可以得到每台单目相机的运动估计，再对前后帧图像进行特征点检测与匹配，从而获得精确的稠密三维点云；
步骤7、根据已知的双目相机相对于车身的位姿，可以得到双目相机在车身坐标系O下的三维稠密点云；并且，根据步骤6中获得的每台单目相机相对于车身的位姿，获得单目相机在车身坐标系O下的三维稠密点云，所得即为整车环境的三维重构地图；
步骤8、利用光束法平差方法对每一个三维空间点进行优化，消除噪声。
进一步的，所述步骤7中，将双目相机相机1坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X1',Y1',Z1')＝(R1,T1)·(X1,Y1,Z1)，R1和T1分别表示相机1坐标系到车身坐标系的旋转参数矩阵和平移参数矩阵，(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点)；
将相机3坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X3',Y3',Z3')＝(R3,T3)·(X3,Y3,Z3)
将相机4坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X'4,Y4',Z'4)＝(R4,T4)·(X4,Y4,Z4)
将相机5坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X5',Y5',Z5')＝(R5,T5)·(X5,Y5,Z5)
其中，(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点)；(X3,Y3,Z3)为单目视觉系统中相机3(C3)重构出的一个三维空间点，其余点类似。
本发明的优点及有益效果如下：
1、本发明中的单目视觉三维重构模块将双目视觉三维重构模块中获得的车辆的运动估计(步骤四)运用于单目视觉的三维重构，获得更精确的三维稠密点云，提高重构精度。本发明避免了使用的雷达造成的高成本，并且在低成本的条件下，能够实现整车环境的三维重构。
附图说明
图1是本发明提供优选实施例方法的流程简图；
图2为本发明中车辆摄像头布置示意图；
图3为本发明中坐标系转换示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明的目的是提供一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法，通过5个摄像头(其中车前侧2个摄像头，车右侧1个摄像头，车后侧一个摄像头，车左侧一个摄像头)采集车辆周围图像信息进行处理，获取稠密三维点云，并记录了车辆的运动估计，从而实现整车环境的三维重构与车辆运动估计功能。为了达到上述目的，本发明采用如下技术方案：一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法，包括：
双目视觉三维重构：将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配，从而得到稠密的三维点云，同时对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配，获得车辆的运动运动估计。
单目视觉三维重构：对每台标定过的单目摄像头采集的图像进行特征点提取与匹配，并利用双目视觉三维重构系统得到的车辆运动估计，获得精确的三维稠密点云。
整车环境三维重构：将前面双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接，并通过光束法平差方法对每个三维坐标点进行优化，从而获得优化后的整车环境的三维环境重构结果。
可选的，所述一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法包括五个摄像头，其中车前侧2个摄像头拍摄车前的路面场景，车右侧1个摄像头拍摄车右侧的路面场景，车后侧一个摄像头拍摄车后侧的路面场景，车左侧一个摄像头拍摄车左侧的路面场景。
可选的，所述一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法所采用的摄像头为广角摄像头。
可选的，所述一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法包括一组双目摄像头，拍摄车前的路面场景。
如图1所示，本发明的技术方案是一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法，包括如下步骤：
步骤1、对5个摄像头分别进行标定，获得每台相机的内参，以及各台相机之间的旋转平移参数，并对获取的图像进行畸变矫正；
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取；
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配；其中左、右(立体)匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上，前、后匹配则在竖直方向上增大搜索范围，；
步骤4、根据步骤3中匹配好的特征点及其3D坐标，利用重投影方法获得估计坐标值，再将估计的坐标值与实际的坐标值进行参数优化，获得前后两个时刻相机的运动，从而得到车辆当前的运动估计；
步骤5、利用步骤三中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构，获得以左相机光学中心为坐标原点的稠密的三维点云；
步骤6、对于每台单目相机拍摄的场景，由于双目相机相对于车身的位姿为已知，并且每台相机之间的旋转平移参数可由步骤一标定中得到，因此，可以求得每台单目相机相对于车身的位姿，再利用步骤4中获得的车辆当前的运动估计，可以得到每台单目相机的运动估计，再对前后帧图像进行特征点检测与匹配，从而获得精确的稠密三维点云；
步骤7、根据已知的双目相机相对于车身的位姿，可以得到双目相机在车身坐标系O下的三维稠密点云；并且，根据步骤六中获得的每台单目相机相对于车身的位姿，获得单目相机在车身坐标系O下的三维稠密点云，所得即为整车环境的三维重构地图；
将相机1坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X1',Y1',Z1')＝(R1,T1)·(X1,Y1,Z1)
将相机3坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X3',Y3',Z3')＝(R3,T3)·(X3,Y3,Z3)
将相机4坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X'4,Y4',Z'4)＝(R4,T4)·(X4,Y4,Z4)
将相机5坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X5',Y5',Z5')＝(R5,T5)·(X5,Y5,Z5)
其中，(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点)；(X3,Y3,Z3)为单目视觉系统中相机3(C3)重构出的一个三维空间点，其余点类似。
步骤8、利用光束法平差方法对每一个三维空间点进行优化，消除噪声。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种多相机车辆环境三维重构和运动估计系统，其特征在于，包括：双目视觉三维重构模块、单目视觉三维重构模块及整车环境三维重构模块；其中，
双目视觉三维重构模块：用于将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配，从而得到稠密的三维点云，同时对双目摄像头拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配，获得车辆的运动估计，并传输给单目视觉三维重构模块；
单目视觉三维重构模块：用于对每台标定过的单目摄像头采集的图像进行特征点提取，并利用双目视觉三维重构系统得到的车辆运动估计，可以求得单目相机前后时刻的旋转平移参数，再对前后帧图像上的特征点进行匹配，从而获得精确的三维稠密点云；
整车环境三维重构模块：用于将所述双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接，并通过光束法平差方法对每个三维坐标点进行优化，从而获得优化后的整车环境的三维环境重构结果；
三维重构和运动估计具体包括以下步骤：
步骤1、对5个摄像头分别进行标定，获得每台相机的内参，以及各台相机之间的旋转平移参数，并对获取的图像进行畸变矫正；
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取；
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配；其中左、右匹配利用极线约束将对应特征点的搜索范围缩小到一条直线上，前、后匹配则在竖直方向上增大搜索范围；
步骤4、根据步骤3中匹配好的特征点及其3D坐标，利用重投影方法获得估计坐标值，再将估计的坐标值与实际的坐标值进行参数优化，获得前后两个时刻相机的运动，从而得到车辆当前的运动估计；
步骤5、利用步骤3中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构，获得以左相机光学中心为坐标原点的稠密的三维点云；
步骤6、对于每台单目相机拍摄的场景，由于双目相机相对于车身的位姿为已知，并且每台相机之间的旋转平移参数可由步骤1标定中得到，因此，可以求得每台单目相机相对于车身的位姿，再利用步骤4中获得的车辆当前的运动估计，可以得到每台单目相机的运动估计，再对前后帧图像进行特征点检测与匹配，从而获得精确的稠密三维点云；
步骤7、根据已知的双目相机相对于车身的位姿，可以得到双目相机在车身坐标系O下的三维稠密点云；并且，根据步骤6中获得的每台单目相机相对于车身的位姿，获得单目相机在车身坐标系O下的三维稠密点云，所得即为整车环境的三维重构地图；
步骤8、利用光束法平差方法对每一个三维空间点进行优化，消除噪声。
2.根据权利要求1所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述双目摄像头有两个摄像头，用于拍摄车前的场景，单目摄像头有3个摄像头，分别用于拍摄行车右、后、左边的场景。
3.根据权利要求1所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述双目摄像头和单目摄像头均为广角摄像头。
4.根据权利要求1-3之一所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述车辆的速度在0.1s内呈线性变化。
5.根据权利要求1-3之一所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述双目视觉三维重构模块将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取算法具体包括步骤：尺度空间的极值检测；特征点定位；特征方向赋值；特征点描述。
6.根据权利要求5所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配具体包括；左、右匹配利用极线约束将对应特征点的搜索范围缩小到一条直线上，前、后匹配则在竖直方向上增大搜索范围。
7.根据权利要求6所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，根据匹配好的特征点及其3D坐标，利用重投影方法获得估计坐标值，再将估计的坐标值与实际的坐标值进行参数优化，获得前后两个时刻相机的运动，从而得到车辆当前的运动估计；利用匹配结果对双目相机拍摄的车辆前方的场景进行三维重构，获得以左相机光学中心为坐标原点的稠密的三维点云。
8.根据权利要求7所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述单目视觉三维重构模块对于每台单目相机拍摄的场景，由于双目相机相对于车身的位姿为已知，并且根据每台相机之间的旋转平移参数，可以求得每台单目相机相对于车身的位姿，再利用获得的车辆当前的运动估计，得到每台单目相机的运动估计，再对前后帧图像进行特征点检测与匹配，从而获得精确的稠密三维点云。
9.根据权利要求1所述的一种多相机车辆环境三维重构和运动估计系统，其特征在于，所述步骤7中，将双目相机1坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X′1,Y′1,Z′1)＝(R1,T1)·(X1,Y1,Z1)，(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点，以左相机C1为坐标原点；R1和T1分别表示相机1坐标系到车身坐标系的旋转参数矩阵和平移参数矩阵；
将相机3坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X'3,Y′3,Z′3)＝(R3,T3)·(X3,Y3,Z3)，将相机4坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X'4,Y′4,Z'4)＝(R4,T4)·(X4,Y4,Z4)
将相机5坐标系下的三维点云转到车身坐标系O下，可由如下公式计算：
(X'5,Y′5,Z′5)＝(R5,T5)·(X5,Y5,Z5)
其中，(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点；(X3,Y3,Z3)为单目视觉系统中相机3重构出的一个三维空间点。
CN201810040543.4A 2018-01-16 2018-01-16 基于多相机的车辆环境三维重构和运动估计系统及方法 Active CN108257161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810040543.4A CN108257161B (zh) 2018-01-16 2018-01-16 基于多相机的车辆环境三维重构和运动估计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810040543.4A CN108257161B (zh) 2018-01-16 2018-01-16 基于多相机的车辆环境三维重构和运动估计系统及方法

Publications (2)

Publication Number Publication Date
CN108257161A CN108257161A (zh) 2018-07-06
CN108257161B true CN108257161B (zh) 2021-09-10

Family

ID=62726607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810040543.4A Active CN108257161B (zh) 2018-01-16 2018-01-16 基于多相机的车辆环境三维重构和运动估计系统及方法

Country Status (1)

Country Link
CN (1) CN108257161B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345591B (zh) * 2018-10-12 2021-12-24 北京双髻鲨科技有限公司 一种车辆自身姿态检测方法和装置
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN109490890B (zh) * 2018-11-29 2023-06-02 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN109887087B (zh) * 2019-02-22 2021-02-19 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN110136047B (zh) * 2019-05-22 2022-12-27 长沙莫之比智能科技有限公司 一种车载单目图像中静止目标三维信息获取方法
CN110728199A (zh) * 2019-09-23 2020-01-24 北京华捷艾米科技有限公司 一种基于mr的智能驾考练车系统及方法
CN110779933A (zh) * 2019-11-12 2020-02-11 广东省智能机器人研究院 基于3d视觉传感阵列的表面点云数据获取方法和系统
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN112734908B (zh) * 2020-12-31 2023-09-01 大连海事大学 一种面向行驶车辆的汽车底盘三维重建系统及其工作方法
CN115147805A (zh) * 2021-03-31 2022-10-04 欧特明电子股份有限公司 自动泊车建图与定位的系统及其方法
CN114638858A (zh) * 2022-03-21 2022-06-17 浙江大学 一种基于车载双相机系统的运动目标位置与速度估计方法
CN115457841A (zh) * 2022-07-26 2022-12-09 南京清湛人工智能研究院有限公司 一种实验教具
CN117409149A (zh) * 2023-12-07 2024-01-16 武汉中测晟图遥感技术有限公司 基于立体约束的光束法平差方程的三维建模方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123960A1 (en) * 2006-11-28 2008-05-29 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN102160385A (zh) * 2008-07-23 2011-08-17 阿特里尔视象有限公司 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程
CN102510512A (zh) * 2011-11-17 2012-06-20 杭州电子科技大学 基于双目视觉节点的动态三维多媒体传感网络自定位方法
CN102654391A (zh) * 2012-01-17 2012-09-05 深圳大学 基于光束平差原理的条纹投影三维测量系统及其标定方法
US20120249408A1 (en) * 2006-11-23 2012-10-04 Renaud Moliton Opto-electronic display assembly
CN103413298A (zh) * 2013-07-17 2013-11-27 宁波大学 一种基于视觉特性的立体图像质量客观评价方法
US20140078258A1 (en) * 2012-09-17 2014-03-20 Nec Laboratories America, Inc. Real-time monocular visual odometry
CN104111036A (zh) * 2013-04-18 2014-10-22 中国科学院沈阳自动化研究所 一种基于双目视觉的镜面物体测量装置及方法
US9280821B1 (en) * 2008-05-20 2016-03-08 University Of Southern California 3-D reconstruction and registration
US20160093101A1 (en) * 2013-05-23 2016-03-31 Mta Szamitastechnikai Es Automatizalasi Kutato Intezet Method And System For Generating A Three-Dimensional Model
CN106447766A (zh) * 2016-09-28 2017-02-22 成都通甲优博科技有限责任公司 一种基于移动设备单目相机的场景重建方法及装置
CN106920276A (zh) * 2017-02-23 2017-07-04 华中科技大学 一种三维重建方法和系统
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249408A1 (en) * 2006-11-23 2012-10-04 Renaud Moliton Opto-electronic display assembly
US20080123960A1 (en) * 2006-11-28 2008-05-29 Samsung Electronics Co., Ltd. Image processing method and apparatus
US9280821B1 (en) * 2008-05-20 2016-03-08 University Of Southern California 3-D reconstruction and registration
CN102160385A (zh) * 2008-07-23 2011-08-17 阿特里尔视象有限公司 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程
CN102510512A (zh) * 2011-11-17 2012-06-20 杭州电子科技大学 基于双目视觉节点的动态三维多媒体传感网络自定位方法
CN102654391A (zh) * 2012-01-17 2012-09-05 深圳大学 基于光束平差原理的条纹投影三维测量系统及其标定方法
US20140078258A1 (en) * 2012-09-17 2014-03-20 Nec Laboratories America, Inc. Real-time monocular visual odometry
CN104111036A (zh) * 2013-04-18 2014-10-22 中国科学院沈阳自动化研究所 一种基于双目视觉的镜面物体测量装置及方法
US20160093101A1 (en) * 2013-05-23 2016-03-31 Mta Szamitastechnikai Es Automatizalasi Kutato Intezet Method And System For Generating A Three-Dimensional Model
CN103413298A (zh) * 2013-07-17 2013-11-27 宁波大学 一种基于视觉特性的立体图像质量客观评价方法
CN106447766A (zh) * 2016-09-28 2017-02-22 成都通甲优博科技有限责任公司 一种基于移动设备单目相机的场景重建方法及装置
CN106920276A (zh) * 2017-02-23 2017-07-04 华中科技大学 一种三维重建方法和系统
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《3D Reconstruction of Plant/Tree Canopy Using Monocular and Binocular Vision》;Zhijiang Ni，et al;《Journal of Imaging》;20161231;全文 *
《Global Calibration of Multi-Cameras Based on Refractive Projection and Ray Tracing》;Mingchi Feng,et al;《preprints201710.0077.v1》;20171012;全文 *

Also Published As

Publication number Publication date
CN108257161A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108257161B (zh) 基于多相机的车辆环境三维重构和运动估计系统及方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN108428255B (zh) 一种基于无人机的实时三维重建方法
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN106780590B (zh) 一种深度图的获取方法及系统
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN111260773B (zh) 小障碍物的三维重建方法、检测方法及检测系统
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
JP2018527554A (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
CN104318561A (zh) 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN111210481A (zh) 多波段立体相机的深度估计加速方法
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN111260715B (zh) 深度图的处理方法、小障碍物检测方法及系统
CN111080709A (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN110706329A (zh) 一种三维场景重构方法和装置
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN114638897B (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant