CN109523489B - 一种生成俯视无畸变倒车影像的方法 - Google Patents

一种生成俯视无畸变倒车影像的方法 Download PDF

Info

Publication number
CN109523489B
CN109523489B CN201811430553.5A CN201811430553A CN109523489B CN 109523489 B CN109523489 B CN 109523489B CN 201811430553 A CN201811430553 A CN 201811430553A CN 109523489 B CN109523489 B CN 109523489B
Authority
CN
China
Prior art keywords
image
camera
coordinates
undistorted
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811430553.5A
Other languages
English (en)
Other versions
CN109523489A (zh
Inventor
杨钊
梁俊杰
王力
彭绍湖
赵赛
胡晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201811430553.5A priority Critical patent/CN109523489B/zh
Publication of CN109523489A publication Critical patent/CN109523489A/zh
Application granted granted Critical
Publication of CN109523489B publication Critical patent/CN109523489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明公开了一种生成俯视无畸变倒车影像的方法，包括步骤：对摄像头进行畸变校正得到内部参数和畸变系数；将摄像头安装在车辆尾部，在车辆后方地面放置多个标记点，拍摄含有该多个标记点的图像；通过内部参数对图像进行畸变校正，记录标记点位置坐标；建立包含多个标记点的矩形区域，确定倒车影像图像尺寸，利用矩形区域大小和倒车影像图像尺寸建立虚拟相机成像模型并得到虚拟相机参数；记录标记点实际位置坐标，利用实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R；通过R将原始畸变图像转化为俯视无畸变图像。本发明能实现对传统倒车影像进行倾斜和畸变校正，极大增强了倒车影像的直观性。

Description

一种生成俯视无畸变倒车影像的方法
技术领域
本发明涉及倒车影像生成技术，具体为一种生成俯视无畸变倒车影像的方法，属于汽车电子技术领域。
背景技术
为了提高驾驶员倒车的安全性，通常是在车辆的尾部安装一个摄像头来实时获取车尾的视频影像。摄像头通常以一定的倾斜角度朝外安装于车辆尾部，同时选用广角或鱼眼摄像头来增加可视范围。因此这种传统的倒车影像会存在两个明显缺点：视频的画面具有倾斜性和严重的畸变性。驾驶员需要结合实际经验并加以推断才能较好地利用倒车影像提供的视频信息。
发明内容
为了改善传统的倒车影像技术，本发明提出了一种生成俯视无畸变倒车影像的方法，即通过图像变换的方法将原始倾斜畸变视频转化为俯视的无畸变的倒车影像，使得驾驶员能够清晰直观地感受车尾的情况，提高倒车的直观性以及效率。
本发明采用以下技术方案来实现：一种生成俯视无畸变倒车影像的方法，包括以下步骤：
(1)对要安装的摄像头进行畸变校正，得到摄像头的内部参数和畸变系数；
(2)将校正好的摄像头安装在车辆尾部的合适位置，并在车辆后方地面区域放置多个标记点，用摄像头拍摄一组含有该多个标记点的图像；通过摄像头的内部参数对该图像进行畸变校正，并记录标记点的位置坐标；
(3)以车辆尾部为基准建立一个包含上述多个标记点的矩形区域，根据实际需要确定倒车影像图像的尺寸，利用矩形区域的大小和倒车影像图像尺寸建立虚拟相机成像模型并得到相应的虚拟相机参数；
(4)记录上述矩形区域中多个标记点的实际位置坐标，利用这些实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R；
(5)通过关系矩阵R将原始畸变图像转化为最终的俯视无畸变图像。
本发明相对于现有技术具有如下的效果：
本发明提出的一种生成俯视无畸变倒车影像的方法，是通过标记点和虚拟相机模型，直接计算出原始摄像机图像到俯视无畸变图像的转换关系，从而生成最终的倒车影像图像。该方法能够生成高精度、视角完好的倒车影像，极大地提高了倒车影像的直观性。
附图说明
图1为本发明的流程图。
图2为本发明车尾摄像机和虚拟相机位置关系的示意图。
图3中，(a)为本发明原始倾斜畸变图像，(b)为最终俯视无畸变图像。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。
本实施例的一种生成俯视无畸变倒车影像方法，其流程框架如图1所示，具体实现包括以下步骤：
步骤1、对要安装的广角或鱼眼摄像头进行畸变校正，得到该摄像头的内部参数和畸变系数，用于后续的图像计算。
其中，摄像头的内部参数记作为[fRx,fRy,uR0,vR0]，其中fRx,fRy表示以像素为单位在X轴和Y轴方向上的焦距，uR0,vR0表示中心轴的坐标。且相机的内部参数可以写成矩阵形式：
Figure GDA0002851144110000021
畸变系数记作为[k1,k2,k3,k4]，反映了该摄像头径向畸变情况。
步骤2、将校正好的摄像头安装在车辆尾部的合适位置，并在车辆后方地面区域放置四个标记点。用摄像头拍摄一组含有该四个标记点的图像，通过摄像头的内部参数对图像进行畸变校正。然后在校正图像中找到四个标记点，并记录四个标记点的位置坐标，设其中一个点P在校正图像中的坐标记作为：p＝(px,py)。即标记点的位置坐标是在校正图像中获取的。
步骤3、以车辆尾部为基准建立一个包含上述四个标记点的矩形区域，该矩形区域表示最终倒车影像要显示的范围。根据实际需要确定倒车影像图像的尺寸，利用矩形区域的大小和倒车影像图像的尺寸建立虚拟相机成像模型并得到相应的虚拟相机参数。
其中，虚拟相机参数由实际地面的矩形区域大小和最终显示的倒车影像图像尺寸大小来决定的，它们的长和宽应保持一致的比例。
由于该矩形区域最终是以无畸变无倾斜的方式呈现给驾驶员的，因此可以认为在车尾后面的正上方区域存在一个虚拟相机，该虚拟相机直接生成最终的倒车影像，如图2所示。设该矩形区域的实际尺寸为A×B，最终倒车影像图像尺寸为a×b，虚拟相机的高度为H，则可以得到尾部虚拟相机的参数矩阵为：
Figure GDA0002851144110000031
其中
Figure GDA0002851144110000032
u0＝(a-1)×0.5，v0＝(b-1)×0.5。
步骤4、记录上述矩形区域中四个标记点实际位置坐标，利用这些实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R。
假设上述四个标记点中的点P在实际地面区域中的坐标为(x,y)，根据虚拟相机成像模型，可以得到该点在虚拟相机坐标系下的坐标为：
Figure GDA0002851144110000033
由于虚拟相机与车尾摄像机的相对位置角度关系可以通过一个3×3矩阵R来描述，共8个未知数，其中第三行和第三列元素为1。因此P点在车尾相机下的坐标可以表示为：r＝R·v。对该坐标进行归一化得到norm(r)，norm(·)操作符表示对向量按第三个元素进行归一化。根据虚拟相机成像模型，可以得到点P归一化坐标norm(r)与校正图像中对应坐标的关系：
p＝KR·norm(r).
将r的表达式代入上式，可以得到点P具体的坐标关系：
Figure GDA0002851144110000034
上述关系式中，R为待求解的未知参数，共8个分量；p为点P在校正图像中的坐标，(x,y)为点P在实际地面区域中的坐标，通过标记的方式来得到，其他的参数均已知。因此一个标记点可以提供2个方程，4个标记点可以提供8个方程。可以采用求解线性方程组的方法计算出R矩阵。
步骤5、关系矩阵R表征了原始畸变图像和俯视无畸变图像所对应的坐标转换关系，通过关系矩阵R将原始畸变图像转化为最终的俯视无畸变图像。
设俯视无畸变图像上一像素点为d＝(j,i,1)T，通过虚拟相机成像模型可以得到该点d在虚拟相机坐标系下的坐标为dV＝H·inv(KV)·d。根据车尾相机与虚拟相机的位置关系，可以得到该点d在车尾相机下的坐标为dR＝R·dV，对该坐标进行归一化得到d1＝dV(0)/dV(2)，d2＝dV(1)/dV(2)。考虑到车尾相机的畸变特性，可以通过下列步骤计算该点d在原始畸变图像中的坐标(u,v)：
Figure GDA0002851144110000041
Figure GDA0002851144110000042
以上所述，仅为本发明优选的实施方式，但实用新型的保护范围不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (7)

1.一种生成俯视无畸变倒车影像的方法，其特征在于，包括以下步骤：
(1)对要安装的摄像头进行畸变校正，得到摄像头的内部参数和畸变系数；
(2)将校正好的摄像头安装在车辆尾部的合适位置，并在车辆后方地面区域放置多个标记点，用摄像头拍摄一组含有该多个标记点的图像；通过摄像头的内部参数对该图像进行畸变校正，并记录标记点的位置坐标；
(3)以车辆尾部为基准建立一个包含上述多个标记点的矩形区域，根据实际需要确定倒车影像图像的尺寸，利用矩形区域的大小和倒车影像图像尺寸建立虚拟相机成像模型并得到相应的虚拟相机参数；
(4)记录上述矩形区域中多个标记点的实际位置坐标，利用这些实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R；
(5)通过关系矩阵R将原始畸变图像转化为最终的俯视无畸变图像；
步骤(5)的转化过程如下：①将俯视无畸变图像的像素坐标转为虚拟相机坐标系下的坐标；②将虚拟相机坐标系下的坐标通过关系矩阵R转换为车尾相机下的坐标；③车尾相机下的坐标根据畸变系数转换为原始畸变图像中的坐标。
2.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(2)所述标记点的位置坐标是在校正图像中获取的。
3.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(3)所述虚拟相机参数由所述矩形区域的大小和所述倒车影像图像尺寸的大小来决定。
4.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(4)所述的位置参数矩阵为3×3矩阵，其中第三行和第三列元素为1。
5.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：摄像头的内部参数为[fRx,fRy,uR0,vR0]，其中fRx,fRy表示以像素为单位在X轴和Y轴方向上的焦距，uR0,vR0表示中心轴的坐标；畸变系数为[k1,k2,k3,k4]，反映了摄像头径向畸变情况。
6.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：设步骤(3)矩形区域的实际尺寸为A×B，倒车影像图像尺寸为a×b，虚拟相机的高度为H，则虚拟相机的参数矩阵为：
Figure FDA0002851144100000011
其中
Figure FDA0002851144100000021
u0＝(a-1)×0.5，v0＝(b-1)×0.5。
7.根据权利要求6所述的生成俯视无畸变倒车影像的方法，其特征在于：设多个标记点中的点P在实际地面区域中的坐标为(x,y)，根据虚拟相机成像模型，得到该点P在虚拟相机坐标系下的坐标为：
Figure FDA0002851144100000022
点P归一化坐标norm(r)与校正图像中对应坐标的关系：
Figure FDA0002851144100000023
CN201811430553.5A 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法 Active CN109523489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811430553.5A CN109523489B (zh) 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811430553.5A CN109523489B (zh) 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法

Publications (2)

Publication Number Publication Date
CN109523489A CN109523489A (zh) 2019-03-26
CN109523489B true CN109523489B (zh) 2021-04-02

Family

ID=65794477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811430553.5A Active CN109523489B (zh) 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法

Country Status (1)

Country Link
CN (1) CN109523489B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019110871A1 (de) * 2019-04-26 2020-10-29 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug
CN111932481B (zh) * 2020-09-11 2021-02-05 广州汽车集团股份有限公司 一种汽车倒车图像的模糊优化方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102745138A (zh) * 2012-07-23 2012-10-24 北京智华驭新汽车电子技术开发有限公司 一种双视场动态轨迹倒车影像系统
CN103325109A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院（有限公司） 适用于墙装式全景摄像机的鱼眼图像的畸变校正方法
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507131B (zh) * 2017-08-08 2021-02-23 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107933427A (zh) * 2017-11-09 2018-04-20 武汉华安科技股份有限公司 一种嵌入式大型车辆泊车辅助系统
CN108198133B (zh) * 2017-12-06 2021-09-17 云南联合视觉科技有限公司 一种车辆全景图像快速拼接方法
CN208069797U (zh) * 2018-01-04 2018-11-09 深圳市领航者汽车智能技术开发有限公司 一种倒车轨迹系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102745138A (zh) * 2012-07-23 2012-10-24 北京智华驭新汽车电子技术开发有限公司 一种双视场动态轨迹倒车影像系统
CN103325109A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院（有限公司） 适用于墙装式全景摄像机的鱼眼图像的畸变校正方法
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Also Published As

Publication number Publication date
CN109523489A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
US10594941B2 (en) Method and device of image processing and camera
JP4857143B2 (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
CN108198133B (zh) 一种车辆全景图像快速拼接方法
US8368761B2 (en) Image correction method for camera system
US20160300113A1 (en) Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
CN112819903B (zh) 基于l型标定板的相机和激光雷达联合标定的方法
JP2008187566A (ja) カメラ校正装置及び方法並びに車両
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP2009288152A (ja) 車載カメラのキャリブレーション方法
CN108876719B (zh) 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法
CN111559314B (zh) 深度与图像信息融合的3d增强全景环视系统及实现方法
KR20090078463A (ko) 왜곡 영상 보정 장치 및 방법
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN109523489B (zh) 一种生成俯视无畸变倒车影像的方法
JP2007150658A (ja) 車載周辺画像表示装置
CN115187798A (zh) 一种多无人机高精度匹配定位方法
CN112150561A (zh) 一种多相机标定方法
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
CN111710002B (zh) 一种基于Optitrack系统的相机外参标定方法
CN117078769A (zh) 一种电子后视镜cms摄像头外参数标定方法及系统
CN116117800B (zh) 补偿高度差的机器视觉处理方法、电子设备及存储介质
CN110910311A (zh) 一种基于二维码的多路环视相机自动拼接方法
CN111161143A (zh) 一种光学定位技术辅助的手术视野全景拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant