CN106127787B - 一种基于逆投影变换的相机标定方法 - Google Patents

一种基于逆投影变换的相机标定方法 Download PDF

Info

Publication number
CN106127787B
CN106127787B CN201610515543.6A CN201610515543A CN106127787B CN 106127787 B CN106127787 B CN 106127787B CN 201610515543 A CN201610515543 A CN 201610515543A CN 106127787 B CN106127787 B CN 106127787B
Authority
CN
China
Prior art keywords
image
camera
inverse
key point
inverse projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610515543.6A
Other languages
English (en)
Other versions
CN106127787A (zh
Inventor
蔡岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meixun Firstcall Mdt Infotech Ltd
Original Assignee
Beijing Meixun Firstcall Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meixun Firstcall Mdt Infotech Ltd filed Critical Beijing Meixun Firstcall Mdt Infotech Ltd
Priority to CN201610515543.6A priority Critical patent/CN106127787B/zh
Publication of CN106127787A publication Critical patent/CN106127787A/zh
Application granted granted Critical
Publication of CN106127787B publication Critical patent/CN106127787B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于逆投影变换的相机标定方法，包括如下步骤：通过相机采集应用场景图像；对采集的应用场景图像中的关键点进行检测，关键点至少包括车道线端点、交通标示符和车辆轮胎接地点；选定应用场景的图像，根据关键点及其在选定的应用场景图像中的位置对逆投影变换的参数进行估计；利用逆投影变换法对关键点进行重投影变换，获取与选定的应用场景图像对应的逆变换图像；将逆变换图像与选定的应用场景的图像进行匹配度计算，判断匹配度是否达到预设的阈值，是则标定完成，否则重新调整逆投影变换的参数。本发明的标定方法对外部环境的自适应性高，提高了系统的稳定性和适用性。

Description

一种基于逆投影变换的相机标定方法
技术领域
本发明属于计算机视觉技术领域，具体而言，涉及一种基于逆投影变换的相机标定方法。
背景技术
随着道路交通的迅猛发展以及人们安全意识的增加，能够帮助人们减少驾驶压力，提高安全系数的高级驾驶辅助系统(ADAS)收获了越来越多的关注。高级驾驶辅助系统是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。传统的ADAS标定方法存在如下问题：(1)对于摄像机的安装精度要求较高；(2)标定方法繁杂，人为工作量大；(3)对应用场景的要求高；(4)无法随着环境因素的改变实现自适应标定。例如公开号为CN103927754A的专利公开了一种相机的标定方法。该申请对摄像机的安装位置要求严格。同时，首次对标定点坐标的获取需要人为利用作图软件进行，第二次的标定需要进行复杂计算才能完成。
发明内容
为解决现有的相机标定方法计算复杂、对随环境的适应性差且标定精度差等的技术缺陷，本发明引入闭环反馈机制对关键点进行逆投影变换并通过重投影的结果估计误差，并生成反馈信号控制标定过程收敛到最优结果，以实现对所述相机的标定。
本发明提供了一种基于逆投影变换的相机标定方法，包括如下步骤：
通过相机采集应用场景的图像，选定所述应用场景的图像；
对选定的所述应用场景的图像中的关键点进行检测，所述关键点至少包括车道线端点、交通指示符和车辆轮胎接地点；
选定应用场景的图像，根据关键点及其在选定的应用场景图像中的位置对逆投影变换的参数进行估计，所述逆投影变换的参数包括相机的俯仰角、偏航角和相机离地的高度；
利用逆投影变换法对所述关键点进行转换，获取与选定的所述应用场景的图像对应的逆变换图像；
将所述逆变换图像与选定的所述应用场景的图像进行匹配度计算，判断所述匹配度是否达到预设的阈值，是则标定完成，否则重新调整逆投影变换的参数。
进一步，利用逆投影变换法对所述关键点进行转换，获取与选定的所述应用场景的图像对应的逆变换图像包括
定义世界坐标系、相机坐标系及图像像素坐标系；
对所述关键点进行逆投影变换；
根据逆投影变换后的关键点获取逆变换图像。
进一步，对所述关键点进行逆投影变换包括
获取所述关键点在所述采集图像上的像素点pi；
将所述像素点Pi通过逆投影变换矩阵Ti g进行变换，获取所述像素点Pi在所述世界坐标系中的投影点Pg。
进一步，所述变换矩阵
其中，fu、fv分别为所用相机的水平焦距、垂直焦距，Cu、Cv为相机的光心在所生成图像中的水平坐标和垂直坐标，C1＝cosα，C2＝cosβ，S1＝sinα，S2＝sinβ，α为相机的俯仰角、β为相机的偏航角，h为相机距离地面的高度。
综上，本发明的有益效果包括：1、标定方法十分简便，全程不需要人为进行干预；2、对外部环境的自适应性高，通过不断检测应用场景中的特定图案，实现相机标定数据的自动调整，从而提高运动过程中测距的精度；3、可在线快速修正相机姿态参数，将传统的开环系统改造为带反馈的闭环系统，自动地修正相机的外部参数，提高了系统的稳定性和适用性。
附图说明
图1为本发明所述的基于逆投影变换的相机标定方法的一个实施例的流程示意图；
图2为本发明所述的基于逆投影变换的相机标定方法中获取逆变换图像的一个实施例的流程示意图；
图3a为本发明所述的基于逆投影变换的相机标定方法中定义世界坐标系和相机坐标系的一个实施例的示意图；
图3b为本发明所述的基于逆投影变换的相机标定方法中定义图像像素坐标系的一个实施例的示意图；
图4a为本发明所述的基于逆投影变换的相机标定方法中相机的俯仰角的示意图；
图4b为本发明所述的基于逆投影变换的相机标定方法中相机的偏航角的示意图。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
相机采集的图像与原图像(即实际图像)存在一定的缩放与旋转，这就对ADAS系统的预测造成影响，因此需要对所述相机进行必要的标定，为ADAS系统提供可靠的显示参照，从而增加汽车驾驶的安全性。
为了解决上述问题，本发明提供了一种基于逆投影变换的相机标定方法。如图1所示，所述方法包括如下步骤：
S101、通过相机采集应用场景图像。
S102、对采集的所述应用场景图像中的关键点进行检测，所述关键点至少包括车道线端点、交通标示符和车辆轮胎接地点。
具体实施时，所述关键点包括车道线端点、车辆轮胎接地点、交通标示符、消失点、地平线等，本发明在此不一一列举。
S103、选定应用场景的图像，根据所述关键点及其在选定的所述应用场景图像中的位置对逆投影变换的参数进行估计，所述逆投影变换的参数包括相机的俯仰角、偏航角和相机距离地面的高度。
逆投影变换，是一种利用相机内参数和外参数对相机采集应用场景图像过程中存在的投影变换进行逆映射的一种变换方法。所述相机采集的应用场景的图像是世界坐标系下的各个物体的反光映射到所述相机平面得到的，逆投影变换是对相机采集的图像进行逆映射，得到世界坐标系下图像中物体的实际物理坐标。使得逆变换的图像和真实世界有着较强的一致性物理意义，但由于投影变换的原因，场景中的同一目标呈现出近大远小的不规则性，从图像的像素点位置Pi无法直接得到其物理尺寸。所以，若要将测量场景中目标的距离、宽度等重要信息提取出来，需要对逆投影变换设定精确的逆投影参数，即对成像系统的内部与外部参数进行精确估计。具体实施时，初始化的逆投影变换的参数可采用预设值进行。
本发明通过对S102中得到的关键点信息和其相关的空间距离，例如车道线的宽度或长度，车辆的宽度，消失点的空间位置、地平线的位置等，由此可估计出逆投影变换所需的参数。而逆投影变换的最优参数计算可按照如下公式进行：
其中，E是用来度量逆投影变换得到估计值与真实值之间的差异函数，例如欧式距离等测度函数。为所述场景图像中关键点的真实值，为所述场景图像中的关键点逆投影变换后的值。a*，b*，h*为逆投影变换的最优参数，分别为相机的俯仰角，偏航角以及相机的离地高度。
S104、利用逆投影变换法对所述关键点进行重投影变换，获取与选定的所述应用场景图像对应的逆变换图像。
S105、将所述逆变换图像与选定的所述应用场景的图像进行匹配度计算，判断所述匹配度是否达到阈值，是则标定完成，否则重新调整逆投影变换的参数。
逆投影变换的目的在于将所述相机采集的所在应用场景的图像进行变换后与实际图像(即采集的所述应用场景的图像)进行比较，判断逆投影变换的参数的取值是否恰当。本发明通过所述逆变换图像与选定的所述应用场景的图像的匹配度是否达到阈值实现判定，如果所述匹配度达到阈值，则标定完成。如果所述匹配度未达到阈值，则说明所用的相机参数与真实姿态不一致(即标定的结果不正确)，那么当前的逆投影变换的参数的取值并不合适，需要重新调整所述逆投影变换的参数，直至所述匹配度达到阈值则完成标定。本发明通过实时判断所述逆变换图像与选定的所述应用场景的图像的匹配度是否达到阈值，实现所述相机对外部环境的自适应。相比较传统的相机标定方法，本发明采用闭环反馈机制(即逆投影变换结果与真实场景的匹配度)，确保标定计算过程的收敛性，实现对外部环境的自适应。
进一步，如图2所示S104包括
S1041、定义世界坐标系、相机坐标系及图像像素坐标系；
S1042、对所述关键点进行逆投影变换；
S1043、根据逆投影变换后的关键点获取逆变换图像。
其中，对所述关键点进行逆投影变换包括
获取所述关键点在所述应用场景图像中的像素点的位置坐标；
将所述像素点Pi通过变换变换矩阵Ti g进行变换，获取所述像素点在所述世界坐标系中的投影点Pg。
进一步，所述变换矩阵
其中，fu、fv分别为所用相机的水平焦距、垂直焦距，Cu、Cv为相机的光心在所生成图像中的水平坐标和垂直坐标，C1＝cosα，C2＝cosβ，S1＝sinα，S2＝sinβ，α为相机的俯仰角、β为相机的偏航角，h为相机距离地面的高度。
本发明通过调整逆投影变换的参数实现了相机标定的自动化，提高了相机标定的效率。同时，由于本发明采用了反馈机制，在行车过程中如果相机姿态发生改变，能对相机姿态进行修正，从而提高精度。
逆投影变换的参数的偏差，会造成重投影的关键点和真实值差距较大。比如，重投影出来的道路线有10m长，车辆宽度大于5m，或者小于1m。因此通过这些比较可知道参数不合适，并根据与真实数据的差值，重新调整参数，提高重投影匹配度。
如图3a所示，定义一个原点在相机光心位置的世界坐标系(X，Y，Z)，在相机光心位置处设置一个相机坐标系，以及所述相机距离地面的高度height为如图3b所示，图像像素坐标系以图像左上角为原点建立坐标系。同时，如图4a，定义相机的俯仰角pitch的角度α；如图4b，相机的偏航角yaw的角度为β。
空间某点(即投影到地面的点)到其图像像素点的位置坐标的转换过程主要是通过上述三个坐标系的转换实现的。首先将世界坐标系进行平移和旋转得到所述相机坐标系，然后根据三角几何变换得到图像物理坐标系，最后根据像素和公制单位的比率得到图像像素坐标系。实际的应用过程是这个的逆过程，即由像素长度获知实际的长度，在此不做详述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于逆投影变换的相机标定方法，其特征在于，包括如下步骤：
通过相机采集应用场景图像；
对采集的所述应用场景图像中的关键点进行检测，所述关键点至少包括车道线端点、交通标示符和车辆轮胎接地点；
对所述所述关键点至少包括车道线端点、交通标示符和车辆轮胎接地点执行逆投影变换操作时的最优参数计算可按照如下公式进行：其中，E是用来度量逆投影变换得到估计值与真实值之间的差异函数，为所述场景图像中关键点的真实值，为所述场景图像中的关键点逆投影变换后的值， a*，b*，h*为逆投影变换的最优参数，分别为相机的俯仰角，偏航角以及相机的离地高度；
选定应用场景的图像，根据所述关键点及其在选定的所述应用场景图像中的位置对逆投影变换的参数进行估计，所述逆投影变换的参数包括相机的俯仰角、偏航角和相机距离地面的高度；
利用逆投影变换法对所述关键点进行重投影变换，获取与选定的所述应用场景图像对应的逆变换图像；
将所述逆变换图像与选定的所述应用场景的图像进行匹配度计算，判断所述匹配度是否达到预设的阈值，是则标定完成，否则重新调整逆投影变换的参数。
2.根据权利要求1所述的基于逆投影变换的相机的标定方法，其特征在于，利用逆投影变换法对所述关键点进行重投影转换，获取与选定的所述应用场景图像对应的逆变换图像包括
定义世界坐标系、相机坐标系及图像像素坐标系；
对所述关键点进行逆投影变换；
根据逆投影变换后的关键点获取逆变换图像。
3.根据权利要求2所述的基于逆投影变换的相机的标定方法，其特征在于，对所述关键点进行逆投影变换包括
获取所述关键点在所述应用场景图像中的像素点的位置坐标Pi；
将所述像素点Pi通过变换变换矩阵Ti g进行变换，获取所述像素点在所述世界坐标系中的投影点Pg。
4.根据权利要求3所述的基于逆投影变换的相机的标定方法，其特征在于,所述变换矩阵
其中，fu、fv分别为所用相机的水平焦距、垂直焦距；cu、cv为相机的光心在所生成图像中的水平坐标和垂直坐标，C1＝cosα,C2＝cosβ,S1＝sinα，S2＝sinβ，α为相机的俯仰角、β为相机的偏航角，h为相机距离地面的高度。
CN201610515543.6A 2016-07-01 2016-07-01 一种基于逆投影变换的相机标定方法 Expired - Fee Related CN106127787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610515543.6A CN106127787B (zh) 2016-07-01 2016-07-01 一种基于逆投影变换的相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610515543.6A CN106127787B (zh) 2016-07-01 2016-07-01 一种基于逆投影变换的相机标定方法

Publications (2)

Publication Number Publication Date
CN106127787A CN106127787A (zh) 2016-11-16
CN106127787B true CN106127787B (zh) 2019-04-02

Family

ID=57469180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610515543.6A Expired - Fee Related CN106127787B (zh) 2016-07-01 2016-07-01 一种基于逆投影变换的相机标定方法

Country Status (1)

Country Link
CN (1) CN106127787B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793223B1 (ko) * 2016-07-13 2017-11-03 모바일 어플라이언스 주식회사 차량 운전 보조장치
CN107330376B (zh) * 2017-06-06 2020-01-21 广州汽车集团股份有限公司 一种车道线识别方法及系统
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
WO2020132965A1 (zh) * 2018-12-26 2020-07-02 深圳市大疆创新科技有限公司 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110793544B (zh) * 2019-10-29 2021-12-14 北京百度网讯科技有限公司 路侧感知传感器参数标定方法、装置、设备及存储介质
CN111806354A (zh) * 2020-06-05 2020-10-23 北京嘀嘀无限科技发展有限公司 行车记录仪视角调节方法、存储介质及系统
CN112529966B (zh) * 2020-12-17 2023-09-15 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN114202745A (zh) * 2021-10-14 2022-03-18 杭州涿溪脑与智能研究所 一种弱监督单目车辆空间位置预测的方法及装置
CN114445505A (zh) * 2021-12-28 2022-05-06 中公高科养护科技股份有限公司 一种用于路面检测的相机标定系统及标定方法
CN115393442A (zh) * 2022-03-02 2022-11-25 深圳市深视智能科技有限公司 一种三维相机的标定方法、装置及标定系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN103308056A (zh) * 2013-05-23 2013-09-18 中国科学院自动化研究所 一种道路标线检测方法
CN103927754A (zh) * 2014-04-21 2014-07-16 大连理工大学 一种车载摄像机的标定方法
CN103978978A (zh) * 2014-05-26 2014-08-13 武汉理工大学 基于逆投影变换的车道保持方法
EP2983131A1 (en) * 2014-08-06 2016-02-10 Thomson Licensing Method and device for camera calibration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
CN103308056A (zh) * 2013-05-23 2013-09-18 中国科学院自动化研究所 一种道路标线检测方法
CN103927754A (zh) * 2014-04-21 2014-07-16 大连理工大学 一种车载摄像机的标定方法
CN103978978A (zh) * 2014-05-26 2014-08-13 武汉理工大学 基于逆投影变换的车道保持方法
EP2983131A1 (en) * 2014-08-06 2016-02-10 Thomson Licensing Method and device for camera calibration

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于定向二维插值的逆投影变换方法;郭磊 等;《清华大学学报（自然科学版）》;20060530;第46卷(第5期);第712-715页第1-4节
运用投影反馈的神经网络摄像机标定;郭政业 等;《计算机应用研究》;20151031;第32卷(第10期);第3179-3182,3195页第2节，图2

Also Published As

Publication number Publication date
CN106127787A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106127787B (zh) 一种基于逆投影变换的相机标定方法
CN105445721B (zh) 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法
CN104200086B (zh) 宽基线可见光相机位姿估计方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
US20140125774A1 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN104835115A (zh) 用于航空相机的图像成像方法及系统
CN101813465B (zh) 非接触精密测转角的单目视觉测量方法
CN112819903A (zh) 基于l型标定板的相机和激光雷达联合标定的方法
CN112233188B (zh) 一种激光雷达和全景相机的数据融合系统的标定方法
CN111443704B (zh) 用于自动驾驶系统的障碍物定位方法及装置
CN103578109A (zh) 一种监控摄像机测距方法及装置
CN108362205B (zh) 基于条纹投影的空间测距方法
CN105180830A (zh) 一种适用于ToF相机的三维点云自动配准方法及系统
CN104504680A (zh) 一种用于智能车的逆透视标定方法
CN102982551A (zh) 空间三条不平行直线线性求解抛物折反射摄像机内参数
CN104361603A (zh) 枪机图像目标标定方法及其系统
CN110555813A (zh) 一种无人机遥感影像的快速几何校正方法及系统
CN107527366A (zh) 一种面向深度相机的相机跟踪方法
CN102999895B (zh) 利用两个同心圆线性求解摄像机内参数
CN112255604A (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN117496467A (zh) 基于单目相机和3d lidar融合的异形车道线检测方法
CN116228539A (zh) 一种无人机遥感图像拼接的方法
CN112446915A (zh) 一种基于图像组的建图方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190402

Termination date: 20210701

CF01 Termination of patent right due to non-payment of annual fee