CN111462172A - 一种基于行驶场景估计的三维全景影像自适应生成方法 - Google Patents

一种基于行驶场景估计的三维全景影像自适应生成方法 Download PDF

Info

Publication number
CN111462172A
CN111462172A CN202010111963.4A CN202010111963A CN111462172A CN 111462172 A CN111462172 A CN 111462172A CN 202010111963 A CN202010111963 A CN 202010111963A CN 111462172 A CN111462172 A CN 111462172A
Authority
CN
China
Prior art keywords
feature points
optical flow
fisheye
projection model
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010111963.4A
Other languages
English (en)
Other versions
CN111462172B (zh
Inventor
姜光
郑涛
马全盟
白子轩
贾静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010111963.4A priority Critical patent/CN111462172B/zh
Publication of CN111462172A publication Critical patent/CN111462172A/zh
Application granted granted Critical
Publication of CN111462172B publication Critical patent/CN111462172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开的基于行驶场景估计的三维全景影像自适应生成方法，涉及图像处理与计算机视觉技术领域，通过对四个鱼眼相机以及标定场景进行标定，预先设计多组参数的五平面投影模型以及固定参数的碗状投影模型，得到多组映射表，固定间隔获取图像，计算鱼眼相机与环境主平面的间距，确定投影模型，根据环境参数匹配查找表，根据查找表，将四个鱼眼视频画面进行纹理映射，得到车辆行驶场景的三维全景图像，提高了三维全景影像生成的灵活性，降低了成本。

Description

一种基于行驶场景估计的三维全景影像自适应生成方法
技术领域
本发明涉及图像处理与计算机视觉技术领域，具体涉及一种基于 行驶场景估计的三维全景影像自适应生成方法。
背景技术
近年来，随着车辆数量急剧增加，行车安全问题日益凸显。针对 这一问题，各种辅助驾驶系统开始被装配到车辆上，而全景环视影像 系统就是高级辅助驾驶系统的重要组成部分。传统的辅助驾驶系统提 供的图像信息有限，为了提高行车的安全性，驾驶员就必须能实时直 观地感知汽车四周环境。
当前的全景环视图生成方案，大都通过安装在车辆前、后、左右 后视镜的四个超广角摄像头，感知车辆周围环境。通过虚拟视角重投 影技术，实现包括2D全景鸟瞰图、3D全景视图等多种虚拟视角的图 像，为驾驶员提供全方位的车辆周边图像信息，消除传统驾驶员视觉 死区，使驾驶更安全、便捷。
传统的基于四摄像头实现的3D全景图，虽然也能够生成一个完 整的全景画面，用于车主观察车身周围的情况，但其存在三维投影模 型参数固定、对不同场景不能自适应显示等缺点。比如富士通公司发 布的第一个基于“碗型”3D模型的第三人称视角的车载360全景3D 成像系统Fujitsu:360Wrap-Around Video Imaging Technology、文献 Yi Gao,Chunyu Lin,Yao Zhao.3-D Surround View for Advanced Driver Assistance Systems[J].IEEE Transactions on Intelligent Transportation Systems,2017,19(1):320–328中提出的船状3D投影模型。而文献 Iljoo Baek,Akshit Kanda,Tzu Chieh Tai,etal.Thin-Plate Spline-based Adaptive 3D Surround View[J].IEEE IntelligentVehicles Symposium, 2019.9(12):586-593中提及的模型参数自适应方法，需要采用激光雷 达对周围环境进行感知和估计，成本高昂。
发明内容
为解决现有技术的不足，本发明实施例提供了一种基于行驶场景 估计的三维全景影像自适应生成方法，该方法包括以下步骤：
(1)对四个鱼眼相机以及标定场景进行标定，包括：
(11)标定四个鱼眼相机，得到鱼眼相机的内参矩阵K和畸变系数 D；
(12)布置标定场景，得到鱼眼相机在标定场景下的外参矩阵R0及T、投影矩阵P以及顶视图坐标系下的对应点的单应性变换矩阵M；
(2)预先设计多组参数的五平面投影模型以及固定参数的碗状投 影模型，根据步骤(1)的计算结果，得到多组映射表，包括：
(21)计算四个鱼眼相机图像平面上的点的反向投影；
(22)分别计算所述反向投影与所述五平面投影模型及所述碗状投 影模型的交点；
(23)设置虚拟摄像机的位姿，将所述交点映射到虚拟鱼眼相机上， 生成多组映射表；
(3)在车辆行驶时对四个鱼眼相机采集的视频进行处理，固定间 隔获取图像，计算鱼眼相机与环境主平面的间距，确定投影模型，包括：
(31)对左右两侧鱼眼相机采集的视频进行光流跟踪和匹配，根据 光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三 角化，得到所述特征点的相对深度值；
(32)将左右两侧鱼眼相机采集的图像转换为顶视图，对地面 特征点进行光流跟踪并恢复鱼眼相机位姿,根据标定布尺寸与顶视图 尺寸的对应关系，确定尺度因子；
(33)根据所述尺度因子，将相对深度值映射到实际尺度下， 得到投影模型中的环境参数；
(4)根据所述环境参数匹配查找表，根据所述查找表，将四个 鱼眼视频画面进行纹理映射，得到车辆行驶场景的三维全景图像；
(5)循环步骤(4)，得到车辆周围360度的动态3D全景影像。
优选地，对左右两侧鱼眼相机采集的视频进行光流跟踪和匹配， 根据光流的变化规律确定侧视障碍物主平面上的特征点包括：
根据所述视频中的物体与车辆距离不同，光流大小和变化规律不 同，计算感兴趣区域内的特征点的光流值u及v，其中，u为特征点 光流的水平分量，v为特征点光流的垂直分量；
根据依据同一主平面上的特征点光流值较大且集中分布于图像 中间部分且光流水平分量较大的特点，对u、v值进行统计，将u值 大于设定阈值且v值小于设定阈值、数量大于设定阈值的特征点作为 待选特征点；
根据主平面上的特征点分布具有跨度且光流水平分量相近的特 点，在所述待选特征点中取出像素坐标点分布跨度大于设定阈值的特 征点作为主平面上的特征点。
优选地，计算鱼眼相机与环境主平面的间距，确定投影模型包括：
判断所述间距是否大于设定的阈值，若是，则确定车辆行驶场景为 开阔场景，选取所述碗状投影模型为本次投影模型；
否则，从所述五平面投影模型中选取与主平面距离值最接近的平面 投影模型为本次投影模型。
优选地，将左右两侧鱼眼相机采集的图像转换为顶视图包括：
利用单应性变换矩阵M，将所述图像转换为顶视图。
本发明实施例提供的基于行驶场景估计的三维全景影像自适应生成 方法，具有以下有益效果：
(1)与传统的固定参数下的三维全景图相比，可以动态获取环境场 景信息，确定投影模型，实现了投影模型的自适应，使得更加灵活地呈 现全景图像；
(2)对车辆周围环境的感知是基于鱼眼相机视频的跟踪分析结果计 算得到的，不需要引入激光雷达等额外传感器设备，成本低。
附图说明
图1为本发明实施例提供的基于行驶场景估计的三维全景影像自 适应生成方法的流程图；
图2为本发明实施例提供的顶视图坐标系示意图；
图3a为本发明实施例提供的标定场景效果示意图；
图3b为本发明实施例提供的图像效果示意图；
图3c为本发明实施例提供的去畸变后的图像效果示意图；
图3d为本发明实施例提供的将四个摄像头的画面投影到的五平 面投影模型上的效果示意图；
图3e为车辆行驶场景在碗状投影模型下的投影效果示意图；
图3f为车辆行驶场景在五平面投影模型的投影结果效果示意图；
图3g为车辆行驶场景在采用本发明实施例提供的三维全景影像 自适应生成方法下的投影结果。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示，本发明提供的实施例提供的基于行驶场景估计的三 维全景影像自适应生成方法，包括以下步骤：
S101，对四个鱼眼相机以及标定场景进行标定，包括：
S1011标定四个鱼眼相机，得到鱼眼相机的内参矩阵K和畸变系数 D；
S1012布置标定场景，得到鱼眼相机在标定场景下的外参矩阵R0及 T、投影矩阵P以及顶视图坐标系下的对应点的单应性变换矩阵M。
作为一个具体的实施例，使用棋盘格图案的标定板，检测每一张采样 图像上标定板的角点，利用鱼眼镜头模型计算得到摄像头的内参矩阵K 和畸变系数D，其中：
Figure BDA0002390337170000051
D＝[d0 d1 d2 d3 d4]T (2)
其中，fx＝f/dx为采样图像上u轴的归一化焦距，dx表示传感器u轴 上单位像素的尺寸大小，fy＝f/dy为采样图像上v轴的归一化焦距，dy表 示传感器v轴上单位像素的尺寸大小，f是鱼眼相机的焦距，ux和uy表示 光学中心的横坐标和纵坐标，该光学中心是摄像机光轴与图像平面的交 点；d0、d1、d2、d3和d4分别表示鱼眼镜头模型中入射光线与鱼眼相机光轴之间夹角θ的多项近似式θd的前5项系数。
作为一个具体的实施例，布置如图3a所示的标定场景并采集如图3b 所示的四副图像，使用之前标定好的内参矩阵K和畸变系数D对该四副 图像进行去畸变，根据测量的实际场景中的标定布的各角点坐标和图像 上检测的角点坐标，求解摄像头在标定场景下的外参矩阵R0、T，计算出 单应性矩阵H以及投影矩阵P，其中，投影矩阵P可表示为：
P＝K[R1 R2 R3 T] (3)
其中，R1、R2、R3为R的三列对于地面上的点X的z坐标为0，即 X＝[x y 01]T。则在P的作用下得到的齐次图像点为m为：
Figure RE-GDA0002499951070000061
其中，λ为尺度因子。令单应性矩阵H为：
H＝[h1 h2 h3]＝λ·K·[R1 R2 T] (5)
则可以推导得到：
Figure BDA0002390337170000062
作为一个具体的实施例，定义一个如图2所示的顶视图坐标系，圆点 表示顶视图坐标系中角点的对应的位置；测量的实际场景中的标定布的 各角点坐标和定义的顶视图像上检测的角点坐标，畸变校正后的图像和 顶视图之间满足单应性变换关系，通过对应点的坐标，计算得到畸变校 正后的图像上的定标板角点投影到顶视图对应点的单应性变换矩阵M， 具体计算过程包括：
设畸变校正图像上的角点点集的齐次坐标矩阵为： XS＝[XS1 XS2 … XSi … XSn]，其中XSi是XS的第i列，XSi＝[xSi ySi 1]T， xSi为角点的横坐标，ySi为纵坐标，n为检测到的角点数目；
设顶视图坐标系下对应的角点集齐次坐标矩阵为 XT＝[XT1 XT2 … XTi … XTn]，其中XTi是XT的第i列，XTi＝[xTi yTi 1]T， xTi为对应的点的横坐标，yTi为对应的点的纵坐标；
根据XS与XT满足单应性变换关系：XT＝M·XS，求解单应性变换矩阵 M，其中，
Figure BDA0002390337170000071
推导得到：
Am＝0，
其中，A是一个2n×9的矩阵,n为定标板上检测到的角点数目：
Figure BDA0002390337170000072
m＝[h11 h12 h13 h21 h22 h23 h31 h32 1]T，
其中，h11、h12、h13分别表示单应性变换矩阵M中的第1行的第1列、 第2列和第3列，h21、h22、h23分别表示单应性变换矩阵M中的第2行的 第1列、第2列和第3列，h31、h32分别表示单应性变换矩阵M中的第3 行的第1列和第2列；
使用奇异值分解将矩阵A分解为两个正交矩阵UA和VA，以及一个奇 异值矩阵SA,奇异值矩阵SA中最小的奇异值对应的第二个正交矩阵VA中 的奇异向量即为最小二乘解,也就是上述向量m的解，进而得到单应性变 换矩阵M。
S102，预先设计多组参数的五平面投影模型以及固定参数的碗状投 影模型，根据步骤S101的计算结果，得到多组映射表，包括：
S1021计算四个鱼眼相机图像平面上的点的反向投影。
其中，反向投影就是通过图像平面的点m求解在摄像机矩阵P的 作用下所有能投影成为点m的三维空间点集合，即lb＝{X|m＝PX}。显然， 图像上点m的反向投影lb是一条从光心出发过m的射线。为了确定其在 世界坐标系中的方程，除端点外还需要确定一个射线上的点，令射线过 X∞＝(dT,0)T，则PX∞＝m。像求解摄像机原点坐标一样，令P＝(H,p4)则
PX∞＝(H,p4)X∞＝Hd＝m (9)
所以，d＝H-1m，得到lb参数方程为：
Figure BDA0002390337170000081
S1022分别计算反向投影与五平面投影模型及碗状投影模型的交 点。
其中，本发明实施例由于使用三维投影模型将全景图像卷起，驾驶 员就可以观察到更远的范围，也能看到立于地面的物体，增加了全景图 的信息量和实用性。
作为一个具体的实施例，如图3d所示，将四个摄像头的画面投影到 的五平面投影模型上，其中，五平面投影模型见表达式(11)，联立该 试可求解交点X(x,y,z)。
Figure BDA0002390337170000091
在式(11)表示的投影模型中，参数a和b的选取的选择会给最终结 果产生影响。参数过大相当于把场景投影在水平面上，这样高出地面的 物体畸变会很大，视觉效果不好。而参数过小则可以观察到的范围会变 小。所以怎样选择一个适当的参数至关重要。预设了多组模型参数，根 据后续的估计结果自适应选择模型参数。
在开阔场景下，切换到碗状投影模型下，碗状投影模型表达式见 式(12)所示。同样联立可求解交点X(x,y,z)。
Figure BDA0002390337170000092
S1023设置虚拟摄像机的位姿，将所述交点映射到虚拟鱼眼相机上， 生成多组映射表。
作为一个具体的实施例，为了得到不同角度的全景图，需要设置虚 拟摄像机的位姿，从而更加直观地进行设置和调整，采用欧拉角对位姿 进行设置。欧拉角可以通过章动角θ、进动角ψ和自转角φ唯一地被确 定出来。将欧拉角转换为旋转矩阵R以便于后面的运算。章动角θ、进 动角ψ和自转角φ到旋转矩阵R的转换关系如式(13)所示。
Figure BDA0002390337170000101
然后根据需要设置虚拟摄像机光心C的坐标。则虚拟相机的投影外参 数矩阵为：
Figure RE-GDA0002499951070000102
求得图像上任一点的反向投影射线与投影模型的交点后，将图像纹 理投影到投影模型上。然后通过放置一个第三人称的虚拟摄像机，在设 置的虚拟摄像机的位姿去观察这个投影模型，将投影模型上的点映射到 虚拟相机上，生成从原始鱼眼视频图像到虚拟相机的纹理映射表，在实 际应用中将通过查表合成伪三维全景图像。
S103，在车辆行驶时，对四个鱼眼相机采集的视频进行处理，固定 间隔获取图像，计算鱼眼相机与环境主平面的间距，确定投影模型，包 括：
S1031对左右两侧鱼眼相机采集的视频进行光流跟踪和匹配，根据 光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三 角化，得到特征点的相对深度值。
作为一个具体的实施例，根据对极几何计算本质矩阵E与基础矩 阵F，通过本质矩阵恢复摄像机矩阵并分解得到帧间运动位姿R和t。
设三维点X经过P＝K[R|t]的摄像机矩阵投影后的图像点x，其归 一化坐标为：
Figure BDA0002390337170000103
其中，K-1P＝[R|t]称为归一化摄像机矩阵。归一化摄像机矩阵 P＝[I|0]和P'＝[R|t]的基础矩阵定义为本质矩阵E，即
Figure BDA0002390337170000111
由x'TFx＝0得
E＝K'TFK (17)
本质矩阵E＝[t]×R，对E进行分解判断即可得到相机的帧间运动位 姿R，t。
设x1，x2为两个对应帧间特征点的归一化坐标，s1，s2为两个特 征点的深度值，那么它们满足：
s1x1＝s2Rx2+t (18)
上式两侧左乘一个x1 ∧得：
Figure BDA0002390337170000112
由式(19)，可求出特征点的相对深度值(s1或s2)。
S1032将左右两侧鱼眼相机采集的图像转换为顶视图，对地面特征 点进行光流跟踪并恢复鱼眼相机位姿,根据标定布尺寸与顶视图尺寸的 对应关系，确定尺度因子。
作为一个具体的实施例，顶视图坐标系下只存在旋转和平移，且旋转 只有一个自由度，平移只有两个自由度的关系，根据跟踪匹配到的特征 点对，使用最小二乘的方法求解两相邻帧的旋转矩阵Rtop和平移向量ttop， 其实现过程如下：
设前一帧匹配的点集坐标为XP＝[XP1 XP2 … XPi … XPm]，其中XPi是点集坐标XP的第i列，XPi＝[xPi yPi]T，xPi为匹配到的特征点在前一帧 图像中的横坐标，yPi为纵坐标，m为匹配的点数；
设当前帧匹配的点集坐标为XC＝[XC1 XC2 … XCi … XCm]，其中XCi是点集坐标XC的第i列，XCi＝[xCi yCi]T,xCi为匹配到的特征点在当前帧图 像中的横坐标，yCi为纵坐标；
根据XP和XC满足旋转和平移关系：XC＝Rtop·XP+ttop，求解旋转矩阵和 平移向量
Figure BDA0002390337170000121
Figure BDA0002390337170000122
其中，θ为前一帧图像到当前帧图像的旋转角度，tx和ty分别为前一帧图 像与当前帧图像位移的横坐标和纵坐标；
对方程组XC＝Rtop·XP+ttop进行推导，得到齐次线性方程组：
Bn＝0，
其中B是一个2m×7的矩阵，m为当前帧图像与前一帧图像特征点匹 配的数目，
Figure BDA0002390337170000123
n＝[cosθ sinθ -sinθ cosθ tx ty 1]T (23)
使用奇异值分解将上述2m×7的矩阵B分解为两个正交矩阵UB和VB， 以及一个奇异值矩阵SB,奇异值矩阵SB中最小的奇异值对应的第二个正 交矩阵VB中的奇异向量即为最小二乘解,也就是上述向量n的解，进而得 到旋转矩阵Rtop和平移向量ttop；
根据顶视图尺寸与实际距离的对应关系，顶视图像素距离与实际距 离间的尺度因子λ是已知量。Dreal为顶视区域的实际宽度(设定值)，Dtop为顶视图的宽度(设定值)。
Figure BDA0002390337170000131
得到水平真实位移量dx＝λtx，其中，tx为水平平移量。
对E进行分解得到的相机的帧间运动位姿R、t以及深度值s，tx0为对 应的水平平移量，为真实距离sreal，那么：
Figure BDA0002390337170000132
根据上式就可以得到主平面的距离sreal，即平面模型参数值。
S1033根据尺度因子，将相对深度值映射到实际尺度下，得到投影 模型中的环境参数。
S104，根据环境参数匹配查找表，根据查找表，将四个鱼眼视 频画面进行纹理映射，得到车辆行驶场景的三维全景图像。
作为一个具体的实施例，如图3e、图3f及图3g所示，分别是在碗 状投影模型、五平面投影模型及自适应参数五平面投影模型下的投影结 果。由图可以看出，碗状模型在开阔场景中效果较好，五平面模型得到 的全景图在狭窄场景下表现更好，并且自适应参数模型下，可以让周围 的物体的形变更小。
S105，循环步骤S104，得到车辆周围360度的动态三维全景影像。
可选地，对左右两侧鱼眼相机采集的视频进行光流跟踪和匹配，根 据光流的变化规律确定侧视障碍物主平面上的特征点包括：
根据视频中的物体与车辆距离不同，光流大小和变化规律不同，计 算感兴趣区域内的特征点的光流值u及v，其中，u为特征点光流的水平 分量，v为特征点光流的垂直分量；
根据依据同一主平面上的特征点光流值较大且集中分布于图像中 间部分且光流水平分量较大的特点，对u、v值进行统计，将u值大于设 定阈值且v值小于设定阈值、数量大于设定阈值的特征点作为待选特征 点；
根据主平面上的特征点分布具有跨度且光流水平分量相近的特点， 在待选特征点中取出像素坐标点分布跨度大于设定阈值的特征点作为主 平面上的特征点。
可选地，计算鱼眼相机与环境主平面的间距，确定投影模型包括：
判断间距是否大于设定的阈值，若是，则确定车辆行驶场景为开阔 场景，选取碗状投影模型为本次投影模型；
若否，则从五平面投影模型中选取与主平面距离值最接近的平面投 影模型为本次投影模型。
可选地，将左右两侧鱼眼相机采集的图像转换为顶视图包括：
利用单应性变换矩阵M，将所述图像转换为顶视图。
本发明实施例提供的基于行驶场景估计的三维全景影像自适应生成 方法，通过对四个鱼眼相机以及标定场景进行标定，预先设计多组参数 的五平面投影模型以及固定参数的碗状投影模型，得到多组映射表，固 定间隔获取图像，计算鱼眼相机与环境主平面的间距，确定投影模型， 根据环境参数匹配查找表，根据查找表，将四个鱼眼视频画面进行纹理 映射，得到车辆行驶场景的三维全景图像，提高了三维全景影像生成的 灵活性，降低了成本。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例 中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁， 上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实 施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它 设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根 据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本 发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言 实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为 了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随 机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM) 或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系 统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用 存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上 实施的计算机程序产品的形式。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、 输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取 存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪 存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体 可以由任何方法或技术来实现信息存储。信息可以是计算机可读指 令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包 括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动 态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、 只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪 记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多 功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设 备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑 可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体 意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、 商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要 素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。 在没有更多限制的情况下，由语句“包括一个……”限定的要素，并 不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同 要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或 计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实 施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在 一个或多个其中包含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计 算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领 域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神 和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请 的权利要求范围之内。

Claims (4)

1.一种基于行驶场景估计的三维全景影像自适应生成方法，其特征在于，包括：
(1)对四个鱼眼相机以及标定场景进行标定，包括：
(11)标定四个鱼眼相机，得到鱼眼相机的内参矩阵K和畸变系数D；
(12)布置标定场景，得到鱼眼相机在标定场景下的外参矩阵R0及T、投影矩阵P以及顶视图坐标系下的对应点的单应性变换矩阵M；
(2)预先设计多组参数的五平面投影模型以及固定参数的碗状投影模型，根据步骤(1)的计算结果，得到多组映射表，包括：
(21)计算四个鱼眼相机图像平面上的点的反向投影；
(22)分别计算所述反向投影与所述五平面投影模型及所述碗状投影模型的交点；
(23)设置虚拟摄像机的位姿，将所述交点映射到虚拟鱼眼相机上，生成多组映射表；
(3)在车辆行驶时，对四个鱼眼相机采集的视频进行处理，固定间隔获取图像，计算鱼眼相机与环境主平面的间距，确定投影模型，包括：
(31)对左右两侧鱼眼相机采集的视频进行光流跟踪和匹配，根据光流的变化规律确定侧视障碍物主平面上的特征点，根据对极几何和三角化，得到所述特征点相对深度值；
(32)将左右两侧鱼眼相机采集的图像转换为顶视图，对地面特征点进行光流跟踪并恢复鱼眼相机位姿,根据标定布尺寸与顶视图尺寸的对应关系，确定尺度因子；
(33)根据所述尺度因子，将相对深度值映射到实际尺度下，得到投影模型中的环境参数；
(4)根据与所述环境参数匹配的查找表，将四个鱼眼视频画面进行纹理映射，得到车辆行驶场景的三维全景图像；
(5)循环步骤(4)，得到车辆周围360度的动态三维全景影像。
2.根据权利要求1所述的基于行驶场景估计的三维全景影像自适应生成方法，其特征在于，对左右两侧鱼眼相机采集的视频进行光流跟踪和匹配，根据光流的变化规律确定侧视障碍物主平面上的特征点包括：
根据所述视频中的物体与车辆距离不同，光流大小和变化规律不同，计算感兴趣区域内的特征点的光流值u及v，其中，u为特征点光流的水平分量，v为特征点光流的垂直分量；
根据依据同一主平面上的特征点光流值较大且集中分布于图像中间部分且光流水平分量较大的特点，对u、v值进行统计，将u值大于设定阈值且v值小于设定阈值、数量大于设定阈值的特征点作为待选特征点；
根据主平面上的特征点分布具有跨度且光流水平分量相近的特点，在所述待选特征点中取出像素坐标点分布跨度大于设定阈值的特征点作为主平面上的特征点。
3.根据权利要求1所述的基于行驶场景估计的三维全景影像自适应生成方法，其特征在于，计算鱼眼相机与环境主平面的间距，确定投影模型包括：
判断所述间距是否大于设定的阈值，若是，则确定车辆行驶场景为开阔场景，选取所述碗状投影模型为本次投影模型；
否则，从所述五平面投影模型中选取与主平面距离值最接近的平面投影模型为本次投影模型。
4.根据权利要求1所述的基于行驶场景估计的三维全景影像自适应生成方法，其特征在于，将左右两侧鱼眼相机采集的图像转换为顶视图包括：
利用单应性变换矩阵M，将所述图像转换为顶视图。
CN202010111963.4A 2020-02-24 2020-02-24 一种基于行驶场景估计的三维全景影像自适应生成方法 Active CN111462172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111963.4A CN111462172B (zh) 2020-02-24 2020-02-24 一种基于行驶场景估计的三维全景影像自适应生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111963.4A CN111462172B (zh) 2020-02-24 2020-02-24 一种基于行驶场景估计的三维全景影像自适应生成方法

Publications (2)

Publication Number Publication Date
CN111462172A true CN111462172A (zh) 2020-07-28
CN111462172B CN111462172B (zh) 2023-03-24

Family

ID=71681479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111963.4A Active CN111462172B (zh) 2020-02-24 2020-02-24 一种基于行驶场景估计的三维全景影像自适应生成方法

Country Status (1)

Country Link
CN (1) CN111462172B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813290A (zh) * 2020-09-09 2020-10-23 武汉中科通达高新技术股份有限公司 一种数据处理方法、装置以及电子设备
CN111968184A (zh) * 2020-08-24 2020-11-20 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN112001266A (zh) * 2020-07-30 2020-11-27 上海交通大学 一种大型无人运输车监控方法及系统
CN112802109A (zh) * 2021-02-07 2021-05-14 的卢技术有限公司 一种汽车鸟瞰全景图生成方法
CN114167866A (zh) * 2021-12-02 2022-03-11 桂林电子科技大学 一种智能物流机器人及控制方法
CN114234808A (zh) * 2021-12-17 2022-03-25 湖南大学 回转类磁脉冲压接件变形区域的尺寸测量方法及装置
CN114757824A (zh) * 2022-03-18 2022-07-15 北京百度网讯科技有限公司 图像拼接的方法、装置、设备以及存储介质
EP4131164A1 (en) * 2021-08-05 2023-02-08 Hyundai Mobis Co., Ltd. Method and apparatus for image registration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
US20190012804A1 (en) * 2017-07-10 2019-01-10 Nokia Technologies Oy Methods and apparatuses for panoramic image processing
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
US20190012804A1 (en) * 2017-07-10 2019-01-10 Nokia Technologies Oy Methods and apparatuses for panoramic image processing
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李剑等: "基于双目鱼眼相机的柱状投影全景行车记录仪", 《电子测量技术》 *
石皓等: "一种用于鱼眼PTZ主从监控系统的标定方法", 《系统仿真学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001266B (zh) * 2020-07-30 2023-01-17 上海交通大学 一种大型无人运输车监控方法及系统
CN112001266A (zh) * 2020-07-30 2020-11-27 上海交通大学 一种大型无人运输车监控方法及系统
CN111968184A (zh) * 2020-08-24 2020-11-20 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN111968184B (zh) * 2020-08-24 2024-04-02 北京茵沃汽车科技有限公司 一种在全景环视系统中实现视图随动的方法、装置及介质
CN111813290A (zh) * 2020-09-09 2020-10-23 武汉中科通达高新技术股份有限公司 一种数据处理方法、装置以及电子设备
CN112802109A (zh) * 2021-02-07 2021-05-14 的卢技术有限公司 一种汽车鸟瞰全景图生成方法
CN112802109B (zh) * 2021-02-07 2024-05-10 的卢技术有限公司 一种汽车鸟瞰全景图生成方法
EP4131164A1 (en) * 2021-08-05 2023-02-08 Hyundai Mobis Co., Ltd. Method and apparatus for image registration
CN114167866B (zh) * 2021-12-02 2024-04-12 桂林电子科技大学 一种智能物流机器人及控制方法
CN114167866A (zh) * 2021-12-02 2022-03-11 桂林电子科技大学 一种智能物流机器人及控制方法
CN114234808B (zh) * 2021-12-17 2022-10-28 湖南大学 回转类磁脉冲压接件变形区域的尺寸测量方法及装置
CN114234808A (zh) * 2021-12-17 2022-03-25 湖南大学 回转类磁脉冲压接件变形区域的尺寸测量方法及装置
CN114757824A (zh) * 2022-03-18 2022-07-15 北京百度网讯科技有限公司 图像拼接的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN111462172B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111462172B (zh) 一种基于行驶场景估计的三维全景影像自适应生成方法
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN111750820B (zh) 影像定位方法及其系统
US10594941B2 (en) Method and device of image processing and camera
US8355565B1 (en) Producing high quality depth maps
CN106846409B (zh) 鱼眼相机的标定方法及装置
US7929801B2 (en) Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
JP2014520337A (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN110363838B (zh) 基于多球面相机模型的大视野图像三维重构优化方法
JP2007192832A (ja) 魚眼カメラの校正方法。
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
US20200294269A1 (en) Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift
KR20190086964A (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
US20230025058A1 (en) Image rectification method and device, and electronic system
CN112634379B (zh) 一种基于混合视域光场的三维定位测量方法
CN113538587A (zh) 一种相机坐标变换方法、终端以及存储介质
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN104735351A (zh) 一种高分辨率光场图片重建方法与成像装置
Li et al. Spherical stereo for the construction of immersive VR environment
WO2021116078A1 (en) A method for measuring the topography of an environment
CN114926316A (zh) 距离测量方法、装置、电子设备及存储介质
CN210986289U (zh) 四目鱼眼相机及双目鱼眼相机
CN113469886A (zh) 一种基于三维重构的图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant