CN108257161A - 基于多相机的车辆环境三维重构和运动估计系统及方法 - Google Patents
基于多相机的车辆环境三维重构和运动估计系统及方法 Download PDFInfo
- Publication number
- CN108257161A CN108257161A CN201810040543.4A CN201810040543A CN108257161A CN 108257161 A CN108257161 A CN 108257161A CN 201810040543 A CN201810040543 A CN 201810040543A CN 108257161 A CN108257161 A CN 108257161A
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- dimensionalreconstruction
- dimensional
- monocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于多相机的车辆环境三维重构和运动估计系统及方法,其中双目视觉三维重构是将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配,从而得到稠密的三维点云,同时获得车辆的运动估计;单目视觉三维重构是对每台标定过的单目摄像头采集的图像进行特征点提取与匹配,再利用双目视觉三维重构模块中得到的车辆运动估计,获得精确的三维稠密点云;整车环境三维重构是将前面双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接,并通过光束法平差方法对每个三维坐标点进行优化,从而获得优化后的整车环境的精确的三维环境重构结果;本发明操作流程简单、易于实施、成本低。
Description
技术领域
本发明属于计算机视觉、三维重构技术领域,尤其涉及一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法。
背景技术
三维重构技术包括基于主动视觉的三维重构技术和基于被动视觉的三维重构技术。其中基于被动视觉的三维重构技术又包括双目(立体)视觉法和单目视觉法。双目视觉三维重构是采用两台相机,从左、右两个视点拍摄同一场景,然后通过左右图像间的匹配点恢复出场景中目标物体的三维信息。立体视觉方法重构效果较好,适应性强,使用范围广。不足的是运算量偏大,并且在基线距离较大的情况下重构效果不好。单目视觉三维重构是仅使用一台相机来进行三维重构,这种方法简单方便、灵活可靠、使用范围广。将双目视觉三维重构与单目视觉三维重构方法融合,并且把双目视觉三维重构过程中获得的车辆位姿信息传输给单目视觉系统,从而提高单目视觉三维重构的精度,实现重构效果好,成本低。经过检索,和本发明最接近的对比文件如下:
1.Urban S,Wursthorn S,Leitloff J,et al.MultiCol Bundle Adjustment:AGeneric Method for Pose Estimation,Simultaneous Self-Calibration andReconstruction for Arbitrary Multi-Camera Systems[J].International Journal ofComputer Vision,2017,121(2):234-252.
2.Urban S,Hinz S.MultiCol-SLAM-A Modular Real-Time Multi-Camera SLAMSystem[J].2016.
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提高单目视觉的重构精度、降低成本的多相机车辆环境三维重构和运动估计系统及方法。本发明的技术方案如下:
一种多相机车辆环境三维重构和运动估计系统,其特征在于,包括:双目视觉三维重构模块、单目视觉三维重构模块及整车环境三维重构模块;其中,
双目视觉三维重构模块:用于将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配,从而得到稠密的三维点云,同时对双目摄像头拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配,获得车辆的运动估计,并传输给单目视觉三维重构模块;
单目视觉三维重构模块:用于对每台标定过的单目摄像头采集的图像进行特征点提取与匹配,并利用双目视觉三维重构系统得到的车辆运动估计,可以求得单目相机前后时刻的旋转平移参数,再对前后帧图像上的特征点进行匹配,获得精确的三维稠密点云;
整车环境三维重构模块:用于将所述双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接,并通过光束法平差方法对每个三维坐标点进行优化,从而获得优化后的整车环境的三维环境重构结果。
进一步的,所述双目摄像头有两个摄像头,用于拍摄车前的场景,单目摄像头有3个摄像头,分别用于拍摄行车右、后、左边的场景。
进一步的,所述双目摄像头和单目摄像头均为广角摄像头。
进一步的,所述车辆的速度在0.1s内呈线性变化。
进一步的,所述双目视觉三维重构模块将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取算法具体包括步骤:尺度空间的极值检测;特征点定位;特征方向赋值;特征点描述。
进一步的,所述对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配具体包括;左、右匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围。
进一步的,根据匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;利用匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云。
进一步的,所述单目视觉三维重构模块对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且根据每台相机之间的旋转平移参数,可以求得每台单目相机相对于车身的位姿,再利用获得的车辆当前的运动估计,得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云。
一种基于所述系统的多相机车辆环境三维重构和运动估计方法,其包括以下步骤:
步骤1、对5个摄像头分别进行标定,获得每台相机的内参,以及各台相机之间的旋转平移参数,并对获取的图像进行畸变矫正;
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取;
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配;其中左、右匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围,;
步骤4、根据步骤3中匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;
步骤5、利用步骤三中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云;
步骤6、对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且每台相机之间的旋转平移参数可由步骤一标定中得到,因此,可以求得每台单目相机相对于车身的位姿,再利用步骤4中获得的车辆当前的运动估计,可以得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云;
步骤7、根据已知的双目相机相对于车身的位姿,可以得到双目相机在车身坐标系O下的三维稠密点云;并且,根据步骤6中获得的每台单目相机相对于车身的位姿,获得单目相机在车身坐标系O下的三维稠密点云,所得即为整车环境的三维重构地图;
步骤8、利用光束法平差方法对每一个三维空间点进行优化,消除噪声。
进一步的,所述步骤7中,将双目相机相机1坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X1',Y1',Z1')=(R1,T1)·(X1,Y1,Z1),R1和T1分别表示相机1坐标系到车身坐标系的旋转参数矩阵和平移参数矩阵,(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点);
将相机3坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X3',Y3',Z3')=(R3,T3)·(X3,Y3,Z3)
将相机4坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X'4,Y4',Z'4)=(R4,T4)·(X4,Y4,Z4)
将相机5坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X5',Y5',Z5')=(R5,T5)·(X5,Y5,Z5)
其中,(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点);(X3,Y3,Z3)为单目视觉系统中相机3(C3)重构出的一个三维空间点,其余点类似。
本发明的优点及有益效果如下:
1、本发明中的单目视觉三维重构模块将双目视觉三维重构模块中获得的车辆的运动估计(步骤四)运用于单目视觉的三维重构,获得更精确的三维稠密点云,提高重构精度。本发明避免了使用的雷达造成的高成本,并且在低成本的条件下,能够实现整车环境的三维重构。
附图说明
图1是本发明提供优选实施例方法的流程简图;
图2为本发明中车辆摄像头布置示意图;
图3为本发明中坐标系转换示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
本发明的目的是提供一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法,通过5个摄像头(其中车前侧2个摄像头,车右侧1个摄像头,车后侧一个摄像头,车左侧一个摄像头)采集车辆周围图像信息进行处理,获取稠密三维点云,并记录了车辆的运动估计,从而实现整车环境的三维重构与车辆运动估计功能。为了达到上述目的,本发明采用如下技术方案:一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法,包括:
双目视觉三维重构:将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配,从而得到稠密的三维点云,同时对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配,获得车辆的运动运动估计。
单目视觉三维重构:对每台标定过的单目摄像头采集的图像进行特征点提取与匹配,并利用双目视觉三维重构系统得到的车辆运动估计,获得精确的三维稠密点云。
整车环境三维重构:将前面双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接,并通过光束法平差方法对每个三维坐标点进行优化,从而获得优化后的整车环境的三维环境重构结果。
可选的,所述一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法包括五个摄像头,其中车前侧2个摄像头拍摄车前的路面场景,车右侧1个摄像头拍摄车右侧的路面场景,车后侧一个摄像头拍摄车后侧的路面场景,车左侧一个摄像头拍摄车左侧的路面场景。
可选的,所述一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法所采用的摄像头为广角摄像头。
可选的,所述一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法包括一组双目摄像头,拍摄车前的路面场景。
如图1所示,本发明的技术方案是一种基于双目视觉与单目视觉的多相机车辆环境三维重构和运动估计方法,包括如下步骤:
步骤1、对5个摄像头分别进行标定,获得每台相机的内参,以及各台相机之间的旋转平移参数,并对获取的图像进行畸变矫正;
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取;
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配;其中左、右(立体)匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围,;
步骤4、根据步骤3中匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;
步骤5、利用步骤三中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云;
步骤6、对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且每台相机之间的旋转平移参数可由步骤一标定中得到,因此,可以求得每台单目相机相对于车身的位姿,再利用步骤4中获得的车辆当前的运动估计,可以得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云;
步骤7、根据已知的双目相机相对于车身的位姿,可以得到双目相机在车身坐标系O下的三维稠密点云;并且,根据步骤六中获得的每台单目相机相对于车身的位姿,获得单目相机在车身坐标系O下的三维稠密点云,所得即为整车环境的三维重构地图;
将相机1坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X1',Y1',Z1')=(R1,T1)·(X1,Y1,Z1)
将相机3坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X3',Y3',Z3')=(R3,T3)·(X3,Y3,Z3)
将相机4坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X'4,Y4',Z'4)=(R4,T4)·(X4,Y4,Z4)
将相机5坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X5',Y5',Z5')=(R5,T5)·(X5,Y5,Z5)
其中,(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点);(X3,Y3,Z3)为单目视觉系统中相机3(C3)重构出的一个三维空间点,其余点类似。
步骤8、利用光束法平差方法对每一个三维空间点进行优化,消除噪声。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.一种多相机车辆环境三维重构和运动估计系统,其特征在于,包括:双目视觉三维重构模块、单目视觉三维重构模块及整车环境三维重构模块;其中,
双目视觉三维重构模块:用于将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配,从而得到稠密的三维点云,同时对双目摄像头拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配,获得车辆的运动估计,并传输给单目视觉三维重构模块;
单目视觉三维重构模块:用于对每台标定过的单目摄像头采集的图像进行特征点提取,并利用双目视觉三维重构系统得到的车辆运动估计,可以求得单目相机前后时刻的旋转平移参数,再对前后帧图像上的特征点进行匹配,从而获得精确的三维稠密点云;
整车环境三维重构模块:用于将所述双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接,并通过光束法平差方法对每个三维坐标点进行优化,从而获得优化后的整车环境的三维环境重构结果。
2.根据权利要求1所述的多相机车辆环境三维重构和运动估计系统,其特征在于,所述双目摄像头有两个摄像头,用于拍摄车前的场景,单目摄像头有3个摄像头,分别用于拍摄行车右、后、左边的场景。
3.根据权利要求1所述的多相机车辆环境三维重构和运动估计系统,其特征在于,所述双目摄像头和单目摄像头均为广角摄像头。
4.根据权利要求1-3之一所述的多相机车辆环境三维重构和运动估计系统,其特征在于,所述车辆的速度在0.1s内呈线性变化。
5.根据权利要求1-3之一所述的多相机车辆环境三维重构和运动估计系统,其特征在于,所述双目视觉三维重构模块将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取算法具体包括步骤:尺度空间的极值检测;特征点定位;特征方向赋值;特征点描述。
6.根据权利要求5所述的多相机车辆环境三维重构和运动估计系统,其特征在于,所述对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配具体包括;左、右匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围。
7.根据权利要求6所述的多相机车辆环境三维重构和运动估计系统,其特征在于,根据匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;利用匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云。
8.根据权利要求7所述的多相机车辆环境三维重构和运动估计系统,其特征在于,所述单目视觉三维重构模块对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且根据每台相机之间的旋转平移参数,可以求得每台单目相机相对于车身的位姿,再利用获得的车辆当前的运动估计,得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云。
9.一种基于权利要求8所述系统的多相机车辆环境三维重构和运动估计方法,其特征在于,包括以下步骤:
步骤1、对5个摄像头分别进行标定,获得每台相机的内参,以及各台相机之间的旋转平移参数,并对获取的图像进行畸变矫正;
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取;
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配;其中左、右匹配利用极限约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围,;
步骤4、根据步骤3中匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;
步骤5、利用步骤三中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云;
步骤6、对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且每台相机之间的旋转平移参数可由步骤一标定中得到,因此,可以求得每台单目相机相对于车身的位姿,再利用步骤4中获得的车辆当前的运动估计,可以得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云;
步骤7、根据已知的双目相机相对于车身的位姿,可以得到双目相机在车身坐标系O下的三维稠密点云;并且,根据步骤6中获得的每台单目相机相对于车身的位姿,获得单目相机在车身坐标系O下的三维稠密点云,所得即为整车环境的三维重构地图;
步骤8、利用光束法平差方法对每一个三维空间点进行优化,消除噪声。
10.根据权利要求9所述的多相机车辆环境三维重构和运动估计方法,其特征在于,所述步骤7中,将双目相机1坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X′1,Y′1,Z′1)=(R1,T1)·(X1,Y1,Z1),R1和T1分别表示相机1坐标系到车身坐标系的旋转参数矩阵和平移参数矩阵,(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点);
将相机3坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X′3,Y′3,Z′3)=(R3,T3)·(X3,Y3,Z3)
将相机4坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X′4,Y′4,Z′4)=(R4,T4)·(X4,Y4,Z4)
将相机5坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X′5,Y′5,Z′5)=(R5,T5)·(X5,Y5,Z5)
其中,(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点(以左相机C1为坐标原点);(X3,Y3,Z3)为单目视觉系统中相机3(C3)重构出的一个三维空间点,其余点类似。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810040543.4A CN108257161B (zh) | 2018-01-16 | 2018-01-16 | 基于多相机的车辆环境三维重构和运动估计系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810040543.4A CN108257161B (zh) | 2018-01-16 | 2018-01-16 | 基于多相机的车辆环境三维重构和运动估计系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108257161A true CN108257161A (zh) | 2018-07-06 |
CN108257161B CN108257161B (zh) | 2021-09-10 |
Family
ID=62726607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810040543.4A Active CN108257161B (zh) | 2018-01-16 | 2018-01-16 | 基于多相机的车辆环境三维重构和运动估计系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108257161B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345591A (zh) * | 2018-10-12 | 2019-02-15 | 北京双髻鲨科技有限公司 | 一种车辆自身姿态检测方法和装置 |
CN109374008A (zh) * | 2018-11-21 | 2019-02-22 | 深动科技(北京)有限公司 | 一种基于三目摄像头的图像采集系统及方法 |
CN109490890A (zh) * | 2018-11-29 | 2019-03-19 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
CN109887087A (zh) * | 2019-02-22 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
CN110136047A (zh) * | 2019-05-22 | 2019-08-16 | 长沙莫之比智能科技有限公司 | 一种车载单目图像中静止目标三维信息获取方法 |
CN110728199A (zh) * | 2019-09-23 | 2020-01-24 | 北京华捷艾米科技有限公司 | 一种基于mr的智能驾考练车系统及方法 |
CN110779933A (zh) * | 2019-11-12 | 2020-02-11 | 广东省智能机器人研究院 | 基于3d视觉传感阵列的表面点云数据获取方法和系统 |
CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
CN111559314A (zh) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
CN112364793A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于长短焦多相机车辆环境下的目标检测和融合方法 |
CN112734908A (zh) * | 2020-12-31 | 2021-04-30 | 大连海事大学 | 一种面向行驶车辆的汽车底盘三维重建系统及其工作方法 |
CN114638858A (zh) * | 2022-03-21 | 2022-06-17 | 浙江大学 | 一种基于车载双相机系统的运动目标位置与速度估计方法 |
CN115147805A (zh) * | 2021-03-31 | 2022-10-04 | 欧特明电子股份有限公司 | 自动泊车建图与定位的系统及其方法 |
CN115457841A (zh) * | 2022-07-26 | 2022-12-09 | 南京清湛人工智能研究院有限公司 | 一种实验教具 |
CN117409149A (zh) * | 2023-12-07 | 2024-01-16 | 武汉中测晟图遥感技术有限公司 | 基于立体约束的光束法平差方程的三维建模方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080123960A1 (en) * | 2006-11-28 | 2008-05-29 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
CN102160385A (zh) * | 2008-07-23 | 2011-08-17 | 阿特里尔视象有限公司 | 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程 |
CN102510512A (zh) * | 2011-11-17 | 2012-06-20 | 杭州电子科技大学 | 基于双目视觉节点的动态三维多媒体传感网络自定位方法 |
CN102654391A (zh) * | 2012-01-17 | 2012-09-05 | 深圳大学 | 基于光束平差原理的条纹投影三维测量系统及其标定方法 |
US20120249408A1 (en) * | 2006-11-23 | 2012-10-04 | Renaud Moliton | Opto-electronic display assembly |
CN103413298A (zh) * | 2013-07-17 | 2013-11-27 | 宁波大学 | 一种基于视觉特性的立体图像质量客观评价方法 |
US20140078258A1 (en) * | 2012-09-17 | 2014-03-20 | Nec Laboratories America, Inc. | Real-time monocular visual odometry |
CN104111036A (zh) * | 2013-04-18 | 2014-10-22 | 中国科学院沈阳自动化研究所 | 一种基于双目视觉的镜面物体测量装置及方法 |
US9280821B1 (en) * | 2008-05-20 | 2016-03-08 | University Of Southern California | 3-D reconstruction and registration |
US20160093101A1 (en) * | 2013-05-23 | 2016-03-31 | Mta Szamitastechnikai Es Automatizalasi Kutato Intezet | Method And System For Generating A Three-Dimensional Model |
CN106447766A (zh) * | 2016-09-28 | 2017-02-22 | 成都通甲优博科技有限责任公司 | 一种基于移动设备单目相机的场景重建方法及装置 |
CN106920276A (zh) * | 2017-02-23 | 2017-07-04 | 华中科技大学 | 一种三维重建方法和系统 |
CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
-
2018
- 2018-01-16 CN CN201810040543.4A patent/CN108257161B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120249408A1 (en) * | 2006-11-23 | 2012-10-04 | Renaud Moliton | Opto-electronic display assembly |
US20080123960A1 (en) * | 2006-11-28 | 2008-05-29 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
US9280821B1 (en) * | 2008-05-20 | 2016-03-08 | University Of Southern California | 3-D reconstruction and registration |
CN102160385A (zh) * | 2008-07-23 | 2011-08-17 | 阿特里尔视象有限公司 | 用于将双目立体信息包含进代表性媒体的组合结构、机制和过程 |
CN102510512A (zh) * | 2011-11-17 | 2012-06-20 | 杭州电子科技大学 | 基于双目视觉节点的动态三维多媒体传感网络自定位方法 |
CN102654391A (zh) * | 2012-01-17 | 2012-09-05 | 深圳大学 | 基于光束平差原理的条纹投影三维测量系统及其标定方法 |
US20140078258A1 (en) * | 2012-09-17 | 2014-03-20 | Nec Laboratories America, Inc. | Real-time monocular visual odometry |
CN104111036A (zh) * | 2013-04-18 | 2014-10-22 | 中国科学院沈阳自动化研究所 | 一种基于双目视觉的镜面物体测量装置及方法 |
US20160093101A1 (en) * | 2013-05-23 | 2016-03-31 | Mta Szamitastechnikai Es Automatizalasi Kutato Intezet | Method And System For Generating A Three-Dimensional Model |
CN103413298A (zh) * | 2013-07-17 | 2013-11-27 | 宁波大学 | 一种基于视觉特性的立体图像质量客观评价方法 |
CN106447766A (zh) * | 2016-09-28 | 2017-02-22 | 成都通甲优博科技有限责任公司 | 一种基于移动设备单目相机的场景重建方法及装置 |
CN106920276A (zh) * | 2017-02-23 | 2017-07-04 | 华中科技大学 | 一种三维重建方法和系统 |
CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
Non-Patent Citations (2)
Title |
---|
MINGCHI FENG,ET AL: "《Global Calibration of Multi-Cameras Based on Refractive Projection and Ray Tracing》", 《PREPRINTS201710.0077.V1》 * |
ZHIJIANG NI,ET AL: "《3D Reconstruction of Plant/Tree Canopy Using Monocular and Binocular Vision》", 《JOURNAL OF IMAGING》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345591A (zh) * | 2018-10-12 | 2019-02-15 | 北京双髻鲨科技有限公司 | 一种车辆自身姿态检测方法和装置 |
CN109345591B (zh) * | 2018-10-12 | 2021-12-24 | 北京双髻鲨科技有限公司 | 一种车辆自身姿态检测方法和装置 |
CN109374008A (zh) * | 2018-11-21 | 2019-02-22 | 深动科技(北京)有限公司 | 一种基于三目摄像头的图像采集系统及方法 |
CN109490890A (zh) * | 2018-11-29 | 2019-03-19 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
CN109490890B (zh) * | 2018-11-29 | 2023-06-02 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
CN109887087B (zh) * | 2019-02-22 | 2021-02-19 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
CN109887087A (zh) * | 2019-02-22 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
CN110136047A (zh) * | 2019-05-22 | 2019-08-16 | 长沙莫之比智能科技有限公司 | 一种车载单目图像中静止目标三维信息获取方法 |
CN110136047B (zh) * | 2019-05-22 | 2022-12-27 | 长沙莫之比智能科技有限公司 | 一种车载单目图像中静止目标三维信息获取方法 |
CN110728199A (zh) * | 2019-09-23 | 2020-01-24 | 北京华捷艾米科技有限公司 | 一种基于mr的智能驾考练车系统及方法 |
CN110779933A (zh) * | 2019-11-12 | 2020-02-11 | 广东省智能机器人研究院 | 基于3d视觉传感阵列的表面点云数据获取方法和系统 |
CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
CN110910453B (zh) * | 2019-11-28 | 2023-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
CN111559314B (zh) * | 2020-04-27 | 2021-08-24 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
CN111559314A (zh) * | 2020-04-27 | 2020-08-21 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
CN112364793A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于长短焦多相机车辆环境下的目标检测和融合方法 |
CN112734908A (zh) * | 2020-12-31 | 2021-04-30 | 大连海事大学 | 一种面向行驶车辆的汽车底盘三维重建系统及其工作方法 |
CN112734908B (zh) * | 2020-12-31 | 2023-09-01 | 大连海事大学 | 一种面向行驶车辆的汽车底盘三维重建系统及其工作方法 |
CN115147805A (zh) * | 2021-03-31 | 2022-10-04 | 欧特明电子股份有限公司 | 自动泊车建图与定位的系统及其方法 |
CN114638858A (zh) * | 2022-03-21 | 2022-06-17 | 浙江大学 | 一种基于车载双相机系统的运动目标位置与速度估计方法 |
CN115457841A (zh) * | 2022-07-26 | 2022-12-09 | 南京清湛人工智能研究院有限公司 | 一种实验教具 |
CN117409149A (zh) * | 2023-12-07 | 2024-01-16 | 武汉中测晟图遥感技术有限公司 | 基于立体约束的光束法平差方程的三维建模方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108257161B (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108257161A (zh) | 基于多相机的车辆环境三维重构和运动估计系统及方法 | |
CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
CN106780590B (zh) | 一种深度图的获取方法及系统 | |
CN110285793B (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
US11176704B2 (en) | Object pose estimation in visual data | |
CN108534782B (zh) | 一种基于双目视觉系统的地标地图车辆即时定位方法 | |
Liu et al. | Continuous depth estimation for multi-view stereo | |
US11783443B2 (en) | Extraction of standardized images from a single view or multi-view capture | |
CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
CN104318561A (zh) | 基于双目立体视觉与光流融合的车辆运动信息检测方法 | |
KR20180054487A (ko) | Dvs 이벤트 처리 방법 및 장치 | |
CN104539928A (zh) | 一种光栅立体印刷图像合成方法 | |
CN108663026A (zh) | 一种振动测量方法 | |
CN112598706B (zh) | 无需精确时空同步的多相机运动目标三维轨迹重建方法 | |
CN114638897B (zh) | 基于无重叠视域的多相机系统的初始化方法、系统及装置 | |
CN106534833A (zh) | 一种联合空间时间轴的双视点立体视频稳定方法 | |
CN115346016A (zh) | 点云模型处理方法、装置及可读存储介质 | |
CN102778684B (zh) | 基于fpga的嵌入式单目被动目标跟踪定位系统及方法 | |
CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
Kang et al. | Progressive 3D model acquisition with a commodity hand-held camera | |
CN113850293B (zh) | 基于多源数据和方向先验联合优化的定位方法 | |
CN115761164A (zh) | 逆透视ipm图像生成的方法和装置 | |
CN106846469B (zh) | 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置 | |
Lasang et al. | Combining high resolution color and depth images for dense 3D reconstruction | |
CN114241441B (zh) | 基于特征点的动态障碍物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |