CN108198133B - 一种车辆全景图像快速拼接方法 - Google Patents

一种车辆全景图像快速拼接方法 Download PDF

Info

Publication number
CN108198133B
CN108198133B CN201711274898.1A CN201711274898A CN108198133B CN 108198133 B CN108198133 B CN 108198133B CN 201711274898 A CN201711274898 A CN 201711274898A CN 108198133 B CN108198133 B CN 108198133B
Authority
CN
China
Prior art keywords
camera
panoramic
parameters
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711274898.1A
Other languages
English (en)
Other versions
CN108198133A (zh
Inventor
杨钊
王汝欣
林旭
王志葵
杜烨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan United Visual Technology Co ltd
Original Assignee
Yunnan United Visual Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan United Visual Technology Co ltd filed Critical Yunnan United Visual Technology Co ltd
Priority to CN201711274898.1A priority Critical patent/CN108198133B/zh
Publication of CN108198133A publication Critical patent/CN108198133A/zh
Application granted granted Critical
Publication of CN108198133B publication Critical patent/CN108198133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种车辆全景图像拼接方法，包括以下步骤：(1)对车辆前后左右四个超广角摄像头进行畸变校正，得到摄像头的内部参数和校正系数。(2)将广角摄像头安装在车身的周围并记录安装位置和角度。(3)建立全景图像相机模型，通过周围相机的位置参数实现各个侧方摄像头原始畸变图像到全景图像的映射并实现初步拼接。(4)动态调整每个摄像头的位置与角度参数，实现精细的全景拼接。本发明能够简化车辆全景图像拼接的步骤，并生成高质量的全景图像视频。

Description

一种车辆全景图像快速拼接方法
技术领域
本发明涉一种全景拼接方法，尤其是一种车辆快速全景拼接方法，属于汽车电子技术领域。
背景技术
随着汽车保有量的不断增加，司机驾车和停车的环境变得越来越复杂。给车辆安装全景视频系统能够提高驾驶的安全性，一定程度上减少车辆摩擦事故的发生。车辆全景视频系统通常是在车辆的周围安装4个超广角摄像头，然后通过全景拼接算法将周围每个摄像头的图像进行畸变校正并映射到全景图像中，驾驶员通过全景视频可以方便实时地查看车身周围的情况，达到辅助驾驶的目的。
通常全景拼接算法包括摄像头的畸变校正和图像映射两个部分。摄像头校正主要是得到超广角摄像头的内部参数和畸变参数，图像映射主要是利用摄像头的参数和位置信息将车辆周围的原始图像对应地映射到全景图像中。传统的方法需要在车身周围放置多组标记点，通过分析计算标记点的位置来计算周围相机图像与全景图像的映射关系，来实现全景拼接。由于标记点的位置需要精心设计，并需要人工选点进行分析，通常这一过程操作相对复杂。
发明内容
本发明的主要目的在于减少传统车辆全景拼接方法复杂的缺点，提出了一种车辆全景图像快速拼接的方法。
本发明的目的可以通过采取如下技术方案达到：
本发明提供的一种车辆全景图像快速拼接方法，其步骤如下：
1.分别对要安装在车身周围的多个摄像头采用鱼眼镜头模型进行畸变校正，得到每个摄像头的内部参数和畸变参数，内部参数包括以像素为单位的焦距fX,fY及中心轴坐标uX,uY，鱼眼镜头模型采用等距模型来表示，畸变参数为[k1 k2 k3 k4]。一般情况是前后左右共4个摄像头，校正后可以分别得到每个摄像头的参数，设前方摄像头参数为{[fFx fFy uFxuFy],[kF1 kF2 kF3 kF4]}，后方摄像头的参数为{[fBx fBy uBx uBy],[kB1 kB2 kB3 kB4]}，左方摄像头参数为{[fLx fLy uLx uLy],[kL1 kL2 kL3 kL4]}，右方摄像头参数为：{[fRx fRy uRx uRy],[kR1 kR2 kR3 kR4]}。
2.将校正好的摄像头对应地安装在车辆的前后左右，根据安装情况记录各个摄像头的安装位置和角度。
3.以车辆的中心位置建立全景摄像机模型。根据实际情况指定全景的视野范围，全景图像的尺寸以及全景相机模型的高度。假设全景视频实际视野范围宽为W，高为H，单位为mm；全景视频图像尺寸为W0，H0，单位为像素；全景相机模型的高度为L。则可以得到全景相机模型的参数为：
Figure GDA0003183034560000021
其中
Figure GDA0003183034560000022
u0＝(W0-1)×0.5，v0＝(H0-1)×0.5
以车辆的中心建立三维坐标系，地平面水平向右为X轴，水平向下为Y轴，垂直地平面向下为Z轴。根据周围每个摄像头的安装位置，可以初步得到它们的三维位置坐标，设前后左右摄像头的坐标分别为：tF＝(xF,yF,zF)T，tB＝(xB,yB,zB)T，tL＝(xL,yL,zL)T，tR＝(xR,yR,zR)T。其次每个摄像头应朝下安装并向外有一定的倾斜角度，设前后左右摄像头的倾斜角度分为：
Figure GDA0003183034560000031
根据摄像头的旋转角度，可以分别计算前后左右摄像头坐标系对于全景相机模型坐标系的旋转矩阵：
Figure GDA0003183034560000032
Figure GDA0003183034560000033
得到每个侧方摄像头相对于全景相机模型的旋转平移参数以及相应摄像头的内部参数和畸变参数，则可以实现全景图像与侧方相机原始畸变图像的一一映射关系。考虑到每个侧方摄像头的映射具有相似性，下面仅仅给出前方相机与全景相机模型的映射关系推导。
设全景图像前方区域中的一像素点坐标为：PF＝(j,i,1)T，通过摄像头模型透射原理可以得到该点在全景图像模型中的坐标为：PRF＝L·inv(KF)·PF，根据前方相机与全景图像模型相机坐标系的关系可以得到，该点在前方相机坐标系下的坐标为：PFF＝RF(PRF-TF)，对该坐标进行归一化：x＝PFF(0)/PFF(2),y＝PFF(1)/PFF(2)，对该点进行校正得到原图像中的点。
Figure GDA0003183034560000034
θ＝atan(r)，θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)，
Figure GDA0003183034560000035
则可以得到全景图像中的点与原始畸变图像中的点的映射关系。
4.将每个摄像头的位置和角度作为可调参数，先利用初始值以及映射关系生成初步的全景视频，按一定的步进手动调整摄像机位置参数和角度参数，观察全景视频的变化，直到实现完全拼接。
本发明相对于现有技术具有如下的有效效果：
本发明提出了一种车辆全景图像快速拼接的方法，其操作简单，解决了传统全景拼接方法中计算侧方相机与全景相机模型之间旋转平移参数的难题，省去了图像标记点的过程。本方法通过安装位置及角度初步计算侧方相机相对于全景相机模型的位置关系，得到初步的全景视频，然后手动进行参数调节达到完好的全景拼接效果，提高了全景图像拼接的效率。
下面结合附图和具体实施方式本发明做进一步解释。
附图说明
图1为本发明框架示意图的示意图。
图2为本发明全景摄像机模型与侧方相机三维坐标关系的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。
本实施例的一种车辆全景快速拼接方法，其框架图如图1所示。具体实现包括以下步骤：
步骤1.制作一定大小的标定棋盘格，分别对前后左右的每个摄像头进行畸变校正。下面以对车头的摄像头校正进行说明，将摄像头对着标定板随机拍摄多组图像，然后选取多组棋盘格角点进行摄像头畸变校正，得到该摄像头的内部参数和畸变参数。同样对其他三个摄像头进行校正并记录参数。
步骤2.根据车辆的实际情况，将经过校正的摄像头安装在车的前后左右，每个摄像头稍向外倾斜安装以增大视野的范围，记录每个摄像头的安装高度与角度。
步骤3.以车辆的中心位置建立全景摄像机模型，根据实际需求指定全景视频的视野范围[W,H](单位为mm)，全景图像的尺寸[W0,H0](单位为像素)，全景相机模型的高度为L。则可以得到全景相机的模型参数
Figure GDA0003183034560000051
其中
Figure GDA0003183034560000052
u0＝(W0-1)×0.5，v0＝(H0-1)×0.5
以车辆在地平面位子中心建立三维坐标系，地平面水平向右为X轴，水平向下为Y轴，垂直地平面向下为Z轴。根据周围每个摄像头的安装位置，初步估算他们的位置坐标得到：tF＝(xF,yF,zF)T，tB＝(xB,yB,zB)T，tL＝(xL,yL,zL)T，tR＝(xR,yR,zR)T。根据每个摄像头的安装角度计算相应的旋转矩阵：
Figure GDA0003183034560000053
Figure GDA0003183034560000054
设全景图像前方区域中的一像素点坐标为：PF＝(j,i,1)T，通过摄像头模型透射原理可以得到该点在全景图像模型中的坐标为：PRF＝L·inv(KF)·PF，根据前方相机与全景图像模型相机坐标系的关系可以得到，该点在前方相机坐标系下的坐标为：PFF＝RF(PRF-TF)，对该坐标进行归一化：x＝PFF(0)/PFF(2),y＝PFF(1)/PFF(2)，对该点进行校正得到原图像中的点。
Figure GDA0003183034560000055
θ＝atan(r)，θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)，
Figure GDA0003183034560000056
则可以得到全景图像中的点与原始畸变图像中的点的映射关系。
步骤4.将每个摄像头的位置和角度作为可调参数，先利用初始值以及映射关系生成初步的全景视频。位置参数的调整可以选择以5mm为步进进行调节，角度参数以1度进行调节。在调节的过程中观察全景视频的变化，直到实现完全拼接。如果全景图像中没有明显的参照物，可以打印四张大小一致的棋盘格放置在车辆的四周，可以参考棋盘格的大小角度变化进行快速调节。
以上所述，仅为本发明专利发明较佳/优选的实施方式，但发明专利的保护范围不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (5)

1.一种车辆全景图像快速拼接方法，其特征在于周围广角摄像头位置参数由安装位置与角度进行初步估计并得到初始化的全景视频，然后人工动态调整参数同时观察全景视频的变化得到最后高质量的全景视频，包括以下步骤：
(1)对要安装在车辆上的每个广角摄像头采用鱼眼镜头模型进行畸变校正，得到每个摄像头的内部参数和畸变参数；
(2)将广角摄像头安装在车身的周围，根据实际安装情况记录各个摄像头的安装位置和角度；
(3)以车辆的中心位置建立全景摄像机模型，根据周围摄像头的安装位置，初步得到周围摄像机相对于全景摄像机模型的位置和角度参数；通过这些参数可以计算原始畸变图像到全景图像的映射，并实现初步全景拼接；
(4)动态调整每个摄像头的位置参数和角度参数，观察全景图像视频的变化，直到周围每个摄像头图像实现精确拼接；
步骤(3)所述的全景摄像机模型的建立需要指定全景的视野范围、相机模型高度和全景图像尺寸；假设全景视频实际视野范围宽为W，高为H，单位为mm；全景相机模型的高度为L；全景图像视频尺寸为W0，H0，单位为像素；则可以得到全景相机模型的参数为：
Figure FDA0003186835300000011
其中
Figure FDA0003186835300000012
u0＝(W0-1)×0.5，v0＝(H0-1)×0.5。
2.根据权利要求1所述的一种车辆全景图像快速拼接方法，其特征在于：步骤(1)所述的内部参数包括以像素为单位的焦距fX和fY，及中心轴坐标uX和vY；鱼眼镜头模型采用等距模型来表示，其畸变参数为[k1 k2 k3 k4]。
3.根据权利要求1所述的车辆全景图像快速拼接方法，其特征在于：步骤(3)所述的周围摄像机相对于全景摄像机模型的位置和角度参数，其具体估计方法为：以车辆的中心建立三维坐标系，地平面水平向右为X轴，水平向下为Y轴，垂直地平面向下为Z轴；根据周围每个摄像头的安装位置，可以初步得到它们的三维位置坐标，设前后左右摄像头的坐标分别为：TF＝(xF,yF,zF)T，TB＝(xB,yB,zB)T，TL＝(xL,yL,zL)T，TR＝(xR,yR,zR)T；其次每个摄像头应朝下安装并向外有一定的倾斜角度，设前后左右摄像头的倾斜角度分为：
Figure FDA0003186835300000021
则可以计算出周围摄像机坐标系相对于全景摄像机模型坐标系的旋转矩阵。
4.根据权利要求2所述的车辆全景图像快速拼接方法，其特征在于：步骤(3)所述的全景图像映射是指一旦侧方相机的位置确定，侧方相机原始畸变图像与全景图像相应区域图像具有一一对应关系；
下面以前方图像的映射进行具体说明：前方相机相当于绕X轴逆时针旋转
Figure FDA0003186835300000022
则旋转矩阵为：
Figure FDA0003186835300000023
设全景图像前方区域中的一像素点坐标为：PF＝(j,i,1)T，通过摄像头模型透射原理可以得到该点在全景图像模型坐标系中的坐标为：PRF＝L·inv(KF)·PF，根据前方相机与全景图像模型相机坐标系的关系可以得到，该点在前方相机坐标系下的坐标为：PFF＝RF(PRF-TF)，对该坐标进行归一化：x＝PFF(0)/PFF(2),y＝PFF(1)/PFF(2)，经过下面式子变换有：
Figure FDA0003186835300000024
θ＝atan(r)，θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)
Figure FDA0003186835300000025
u,v就是对应前方原始畸变图像点的坐标；同样的方式可以计算其他侧方相机图像与全景图像之间的映射关系，从而可以生产全景图像视频。
5.根据权利要求1所述的车辆全景图像快速拼接方法，其特征在于：步骤(4)所述的动态调整每个摄像头位置参数的具体方法为：将每个摄像头的位置和角度作为可调参数，先利用初始值以及映射关系生成初步的全景视频，按一定的步进手动调整摄像机位置参数和角度参数，观察全景视频的变化，直到实现完全拼接。
CN201711274898.1A 2017-12-06 2017-12-06 一种车辆全景图像快速拼接方法 Active CN108198133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711274898.1A CN108198133B (zh) 2017-12-06 2017-12-06 一种车辆全景图像快速拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711274898.1A CN108198133B (zh) 2017-12-06 2017-12-06 一种车辆全景图像快速拼接方法

Publications (2)

Publication Number Publication Date
CN108198133A CN108198133A (zh) 2018-06-22
CN108198133B true CN108198133B (zh) 2021-09-17

Family

ID=62573872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711274898.1A Active CN108198133B (zh) 2017-12-06 2017-12-06 一种车辆全景图像快速拼接方法

Country Status (1)

Country Link
CN (1) CN108198133B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523489B (zh) * 2018-11-28 2021-04-02 广州大学 一种生成俯视无畸变倒车影像的方法
CN111563840B (zh) * 2019-01-28 2023-09-05 北京魔门塔科技有限公司 分割模型的训练方法、装置、位姿检测方法及车载终端
GB2591857B (en) * 2019-08-23 2023-12-06 Shang Hai Yiwo Information Tech Co Ltd Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN110505463A (zh) * 2019-08-23 2019-11-26 上海亦我信息技术有限公司 基于拍照的实时自动3d建模方法
CN110706282B (zh) * 2019-10-31 2020-09-15 镁佳(北京)科技有限公司 全景系统自动标定方法、装置、可读存储介质及电子设备
CN111223038B (zh) * 2019-12-02 2023-06-09 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111942391A (zh) * 2020-09-15 2020-11-17 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械、全景环视系统及其标定方法
CN112581547B (zh) * 2020-12-30 2022-11-08 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的快速方法
CN113696815B (zh) * 2021-10-27 2022-04-22 江苏日盈电子股份有限公司 多旋翼无人机和车辆的交互方法、交互系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736634A (zh) * 2012-07-10 2012-10-17 浙江捷尚视觉科技有限公司 一种用于汽车全景图的摄像头角度调节方法
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992413B2 (en) * 2015-09-18 2018-06-05 Raytheon Company Method and system for creating a display with a distributed aperture system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736634A (zh) * 2012-07-10 2012-10-17 浙江捷尚视觉科技有限公司 一种用于汽车全景图的摄像头角度调节方法
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法

Also Published As

Publication number Publication date
CN108198133A (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN108198133B (zh) 一种车辆全景图像快速拼接方法
CN106952311B (zh) 基于全景拼接数据映射表的辅助泊车系统及方法
CN109712194B (zh) 车载环视系统及其立体标定方法和计算机可读存储介质
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
EP3374965B1 (en) Vehicle camera system with multiple-camera alignment
KR101592740B1 (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US9621798B2 (en) Grid-based image resolution enhancement for video processing module
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
US8134608B2 (en) Imaging apparatus
JP2008187566A (ja) カメラ校正装置及び方法並びに車両
CN102915525B (zh) 全幅鱼眼镜头桶形畸变图像校正方法
JP4857143B2 (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN110264395B (zh) 一种车载单目全景系统的镜头标定方法及相关装置
CN103247030A (zh) 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
TW201403553A (zh) 自動校正鳥瞰影像方法
CN108495066B (zh) 广角镜头的畸变矫正方法、装置及系统
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN108876719B (zh) 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法
JP2009120135A (ja) 撮像装置
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN109523489B (zh) 一种生成俯视无畸变倒车影像的方法
CN109472737A (zh) 一种车载六路摄像头的全景报警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant