CN109523489A - 一种生成俯视无畸变倒车影像的方法 - Google Patents

一种生成俯视无畸变倒车影像的方法 Download PDF

Info

Publication number
CN109523489A
CN109523489A CN201811430553.5A CN201811430553A CN109523489A CN 109523489 A CN109523489 A CN 109523489A CN 201811430553 A CN201811430553 A CN 201811430553A CN 109523489 A CN109523489 A CN 109523489A
Authority
CN
China
Prior art keywords
image
camera
coordinate
reverse image
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811430553.5A
Other languages
English (en)
Other versions
CN109523489B (zh
Inventor
杨钊
梁俊杰
王力
彭绍湖
赵赛
胡晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201811430553.5A priority Critical patent/CN109523489B/zh
Publication of CN109523489A publication Critical patent/CN109523489A/zh
Application granted granted Critical
Publication of CN109523489B publication Critical patent/CN109523489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明公开了一种生成俯视无畸变倒车影像的方法，包括步骤：对摄像头进行畸变校正得到内部参数和畸变系数；将摄像头安装在车辆尾部，在车辆后方地面放置多个标记点，拍摄含有该多个标记点的图像；通过内部参数对图像进行畸变校正，记录标记点位置坐标；建立包含多个标记点的矩形区域，确定倒车影像图像尺寸，利用矩形区域大小和倒车影像图像尺寸建立虚拟相机成像模型并得到虚拟相机参数；记录标记点实际位置坐标，利用实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R；通过R将原始畸变图像转化为俯视无畸变图像。本发明能实现对传统倒车影像进行倾斜和畸变校正，极大增强了倒车影像的直观性。

Description

一种生成俯视无畸变倒车影像的方法
技术领域
本发明涉及倒车影像生成技术，具体为一种生成俯视无畸变倒车影像的方法，属于汽车电子技术领域。
背景技术
为了提高驾驶员倒车的安全性，通常是在车辆的尾部安装一个摄像头来实时获取车尾的视频影像。摄像头通常以一定的倾斜角度朝外安装于车辆尾部，同时选用广角或鱼眼摄像头来增加可视范围。因此这种传统的倒车影像会存在两个明显缺点：视频的画面具有倾斜性和严重的畸变性。驾驶员需要结合实际经验并加以推断才能较好地利用倒车影像提供的视频信息。
发明内容
为了改善传统的倒车影像技术，本发明提出了一种生成俯视无畸变倒车影像的方法，即通过图像变换的方法将原始倾斜畸变视频转化为俯视的无畸变的倒车影像，使得驾驶员能够清晰直观地感受车尾的情况，提高倒车的直观性以及效率。
本发明采用以下技术方案来实现：一种生成俯视无畸变倒车影像的方法，包括以下步骤：
(1)对要安装的摄像头进行畸变校正，得到摄像头的内部参数和畸变系数；
(2)将校正好的摄像头安装在车辆尾部的合适位置，并在车辆后方地面区域放置多个标记点，用摄像头拍摄一组含有该多个标记点的图像；通过摄像头的内部参数对该图像进行畸变校正，并记录标记点的位置坐标；
(3)以车辆尾部为基准建立一个包含上述多个标记点的矩形区域，根据实际需要确定倒车影像图像的尺寸，利用矩形区域的大小和倒车影像图像尺寸建立虚拟相机成像模型并得到相应的虚拟相机参数；
(4)记录上述矩形区域中多个标记点的实际位置坐标，利用这些实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R；
(5)通过关系矩阵R将原始畸变图像转化为最终的俯视无畸变图像。
本发明相对于现有技术具有如下的效果：
本发明提出的一种生成俯视无畸变倒车影像的方法，是通过标记点和虚拟相机模型，直接计算出原始摄像机图像到俯视无畸变图像的转换关系，从而生成最终的倒车影像图像。该方法能够生成高精度、视角完好的倒车影像，极大地提高了倒车影像的直观性。
附图说明
图1为本发明的流程图。
图2为本发明车尾摄像机和虚拟相机位置关系的示意图。
图3中，(a)为本发明原始倾斜畸变图像，(b)为最终俯视无畸变图像。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。
本实施例的一种生成俯视无畸变倒车影像方法，其流程框架如图1所示，具体实现包括以下步骤：
步骤1、对要安装的广角或鱼眼摄像头进行畸变校正，得到该摄像头的内部参数和畸变系数，用于后续的图像计算。
其中，摄像头的内部参数记作为[fRx,fRy,uR0,vR0]，其中fRx,fRy表示以像素为单位在X轴和Y轴方向上的焦距，uR0,vR0表示中心轴的坐标。且相机的内部参数可以写成矩阵形式：
畸变系数记作为[k1,k2,k3,k4]，反映了该摄像头径向畸变情况。
步骤2、将校正好的摄像头安装在车辆尾部的合适位置，并在车辆后方地面区域放置四个标记点。用摄像头拍摄一组含有该四个标记点的图像，通过摄像头的内部参数对图像进行畸变校正。然后在校正图像中找到四个标记点，并记录四个标记点的位置坐标，设其中一个点P在校正图像中的坐标记作为：p＝(px,py)。即标记点的位置坐标是在校正图像中获取的。
步骤3、以车辆尾部为基准建立一个包含上述四个标记点的矩形区域，该矩形区域表示最终倒车影像要显示的范围。根据实际需要确定倒车影像图像的尺寸，利用矩形区域的大小和倒车影像图像的尺寸建立虚拟相机成像模型并得到相应的虚拟相机参数。
其中，虚拟相机参数由实际地面的矩形区域大小和最终显示的倒车影像图像尺寸大小来决定的，它们的长和宽应保持一致的比例。
由于该矩形区域最终是以无畸变无倾斜的方式呈现给驾驶员的，因此可以认为在车尾后面的正上方区域存在一个虚拟相机，该虚拟相机直接生成最终的倒车影像，如图2所示。设该矩形区域的实际尺寸为A×B，最终倒车影像图像尺寸为a×b，虚拟相机的高度为H，则可以得到尾部虚拟相机的参数矩阵为：
其中u0＝(a-1)×0.5，v0＝(b-1)×0.5。
步骤4、记录上述矩形区域中四个标记点实际位置坐标，利用这些实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R。
假设上述四个标记点中的点P在实际地面区域中的坐标为(x,y)，根据虚拟相机成像模型，可以得到该点在虚拟相机坐标系下的坐标为：
由于虚拟相机与车尾摄像机的相对位置角度关系可以通过一个3×3矩阵R来描述，共8 个未知数，其中第三行和第三列元素为1。因此P点在车尾相机下的坐标可以表示为：r＝R·v。对该坐标进行归一化得到norm(r)，norm(·)操作符表示对向量按第三个元素进行归一化。根据虚拟相机成像模型，可以得到点P归一化坐标norm(r)与校正图像中对应坐标的关系：
p＝KR·norm(r).
将r的表达式代入上式，可以得到点P具体的坐标关系：
上述关系式中，R为待求解的未知参数，共8个分量；p为点P在校正图像中的坐标，(x,y) 为点P在实际地面区域中的坐标，通过标记的方式来得到，其他的参数均已知。因此一个标记点可以提供2个方程，4个标记点可以提供8个方程。可以采用求解线性方程组的方法计算出R矩阵。
步骤5、关系矩阵R表征了原始畸变图像和俯视无畸变图像所对应的坐标转换关系，通过关系矩阵R将原始畸变图像转化为最终的俯视无畸变图像。
设俯视无畸变图像上一像素点为d＝(j,i,1)T，通过虚拟相机成像模型可以得到该点d在虚拟相机坐标系下的坐标为dV＝H·inv(K)·d。根据车尾相机与虚拟相机的位置关系，可以得到该点d在车尾相机下的坐标为dR＝R·dV，对该坐标进行归一化得到d1＝dV(0)/dV(2)， d2＝dV(1)/dV(2)。考虑到车尾相机的畸变特性，可以通过下列步骤计算该点d在原始畸变图像中的坐标(u,v)：
以上所述，仅为本发明优选的实施方式，但发明的保护范围不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (8)

1.一种生成俯视无畸变倒车影像的方法，其特征在于，包括以下步骤：
(1)对要安装的摄像头进行畸变校正，得到摄像头的内部参数和畸变系数；
(2)将校正好的摄像头安装在车辆尾部的合适位置，并在车辆后方地面区域放置多个标记点，用摄像头拍摄一组含有该多个标记点的图像；通过摄像头的内部参数对该图像进行畸变校正，并记录标记点的位置坐标；
(3)以车辆尾部为基准建立一个包含上述多个标记点的矩形区域，根据实际需要确定倒车影像图像的尺寸，利用矩形区域的大小和倒车影像图像尺寸建立虚拟相机成像模型并得到相应的虚拟相机参数；
(4)记录上述矩形区域中多个标记点的实际位置坐标，利用这些实际位置坐标与校正图像中对应点坐标的相互关系，求解虚拟相机和车辆尾部相机的位置关系矩阵R；
(5)通过关系矩阵R将原始畸变图像转化为最终的俯视无畸变图像。
2.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(2)所述标记点的位置坐标是在校正图像中获取的。
3.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(3)所述虚拟相机参数由所述矩形区域的大小和所述倒车影像图像尺寸的大小来决定。
4.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(4)所述的位置参数矩阵为3×3矩阵，其中第三行和第三列元素为1。
5.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：步骤(5)的转化过程如下：①将俯视无畸变图像的像素坐标转为虚拟相机坐标系下的坐标；②将虚拟相机坐标系下的坐标通过关系矩阵R转换为车尾相机下的坐标；③车尾相机下的坐标根据畸变系数转换为原始畸变图像中的坐标。
6.根据权利要求1所述的生成俯视无畸变倒车影像的方法，其特征在于：摄像头的内部参数为[fRx,fRy,uR0,vR0]，其中fRx,fRy表示以像素为单位在X轴和Y轴方向上的焦距，uR0,vR0表示中心轴的坐标；畸变系数为[k1,k2,k3,k4]，反映了摄像头径向畸变情况。
7.根据权利要求6所述的生成俯视无畸变倒车影像的方法，其特征在于：设步骤(3)矩形区域的实际尺寸为A×B，倒车影像图像尺寸为a×b，虚拟相机的高度为H，则虚拟相机的参数矩阵为：
其中u0＝(a-1)×0.5，v0＝(b-1)×0.5。
8.根据权利要求7所述的生成俯视无畸变倒车影像的方法，其特征在于：设多个标记点中的点P在实际地面区域中的坐标为(x,y)，根据虚拟相机成像模型，得到该点P在虚拟相机坐标系下的坐标为：
点P归一化坐标norm(r)与校正图像中对应坐标的关系：
CN201811430553.5A 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法 Active CN109523489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811430553.5A CN109523489B (zh) 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811430553.5A CN109523489B (zh) 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法

Publications (2)

Publication Number Publication Date
CN109523489A true CN109523489A (zh) 2019-03-26
CN109523489B CN109523489B (zh) 2021-04-02

Family

ID=65794477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811430553.5A Active CN109523489B (zh) 2018-11-28 2018-11-28 一种生成俯视无畸变倒车影像的方法

Country Status (1)

Country Link
CN (1) CN109523489B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866446A (zh) * 2019-04-26 2020-10-30 梅克朗有限两合公司 车辆观察系统
CN111932481A (zh) * 2020-09-11 2020-11-13 广州汽车集团股份有限公司 一种汽车倒车图像的模糊优化方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102745138A (zh) * 2012-07-23 2012-10-24 北京智华驭新汽车电子技术开发有限公司 一种双视场动态轨迹倒车影像系统
CN103325109A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院（有限公司） 适用于墙装式全景摄像机的鱼眼图像的畸变校正方法
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107933427A (zh) * 2017-11-09 2018-04-20 武汉华安科技股份有限公司 一种嵌入式大型车辆泊车辅助系统
CN108198133A (zh) * 2017-12-06 2018-06-22 云南联合视觉科技有限公司 一种车辆全景图像快速拼接方法
CN208069797U (zh) * 2018-01-04 2018-11-09 深圳市领航者汽车智能技术开发有限公司 一种倒车轨迹系统
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102745138A (zh) * 2012-07-23 2012-10-24 北京智华驭新汽车电子技术开发有限公司 一种双视场动态轨迹倒车影像系统
CN103325109A (zh) * 2013-05-29 2013-09-25 山西绿色光电产业科学技术研究院（有限公司） 适用于墙装式全景摄像机的鱼眼图像的畸变校正方法
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107933427A (zh) * 2017-11-09 2018-04-20 武汉华安科技股份有限公司 一种嵌入式大型车辆泊车辅助系统
CN108198133A (zh) * 2017-12-06 2018-06-22 云南联合视觉科技有限公司 一种车辆全景图像快速拼接方法
CN208069797U (zh) * 2018-01-04 2018-11-09 深圳市领航者汽车智能技术开发有限公司 一种倒车轨迹系统
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAO YANG等: "A flexible vehicle surround view camera system by central-around coordinate mapping model", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866446A (zh) * 2019-04-26 2020-10-30 梅克朗有限两合公司 车辆观察系统
CN111866446B (zh) * 2019-04-26 2022-10-28 梅克朗有限两合公司 车辆观察系统
CN111932481A (zh) * 2020-09-11 2020-11-13 广州汽车集团股份有限公司 一种汽车倒车图像的模糊优化方法及装置
CN111932481B (zh) * 2020-09-11 2021-02-05 广州汽车集团股份有限公司 一种汽车倒车图像的模糊优化方法及装置

Also Published As

Publication number Publication date
CN109523489B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN109767474B (zh) 一种多目相机标定方法、装置及存储介质
CN104321224B (zh) 具有摄像机监控系统的机动车
CN103854335B (zh) 一种行车记录仪全景视频生成方法
CN108198133B (zh) 一种车辆全景图像快速拼接方法
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
CN111223038A (zh) 一种车载环视图像的自动拼接方法及显示装置
CN103177439A (zh) 一种基于黑白格角点匹配的自动标定方法
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
EP1336293A1 (en) System and method for camera calibration
CN105488766B (zh) 鱼眼镜头图像校正方法及装置
CN109948398A (zh) 全景泊车的图像处理方法及全景泊车装置
CN110264395B (zh) 一种车载单目全景系统的镜头标定方法及相关装置
CN103854272B (zh) 全景泊车系统自动找点匹配方法
KR20090078463A (ko) 왜곡 영상 보정 장치 및 방법
TW201403553A (zh) 自動校正鳥瞰影像方法
JP2011500407A (ja) 少なくとも１つの全方位カメラ及び光学的表示ユニットを備えた装置のキャリブレーション方法
CN106530212B (zh) 镜头影像变形校正装置
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN109523489A (zh) 一种生成俯视无畸变倒车影像的方法
CN107492125A (zh) 汽车鱼眼镜头环视图像的处理方法
CN109040565A (zh) 全景摄像系统
CN108876719A (zh) 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant