CN107103627A - 一种基于车道线的汽车全景摄像头外部参数标定方法 - Google Patents
一种基于车道线的汽车全景摄像头外部参数标定方法 Download PDFInfo
- Publication number
- CN107103627A CN107103627A CN201710286904.9A CN201710286904A CN107103627A CN 107103627 A CN107103627 A CN 107103627A CN 201710286904 A CN201710286904 A CN 201710286904A CN 107103627 A CN107103627 A CN 107103627A
- Authority
- CN
- China
- Prior art keywords
- lane line
- external parameter
- camera
- coordinate
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明是一种基于车道线的汽车全景摄像头外部参数标定方法，在用车道线进行标定前，需要对本车型的实车进行测量，得到外部参数的初值，让车辆在平整的车道上缓慢行驶，保持车辆与车道的相对位置不变，进入外部参数标定模式，属于汽车全景摄像头外部参数标定方法技术领域。目的是提供一种基于车道线的汽车全景摄像头外部参数标定方法。
Description
技术领域
本发明涉及一种汽车全景摄像头外部参数标定方法，特别是基于车道线的汽车全景摄像头外部参数标定方法。
背景技术
360度全景泊车系统需要对摄像头的外部参数进行标定，传统的方法是利用特定场地的棋盘格对摄像头进行标定。而现有的标定方法有两个主要问题：一、需要建立专门的场地来标定摄像头，且产品出厂前必须进行标定，既增加了场地成本，又增加了时间成本。二、标定的时候一般是空车，跟行车实际环境也有一定差异，因此行车效果也不是很理想。
发明内容
本发明的目的是在于解决现有的标定方法,一方面场地成本和时间成本较高，另外一方面行车的效果还不太理想，而提供一种基于车道线的汽车全景摄像头外部参数标定方法。
一种基于车道线的汽车全景摄像头外部参数标定方法，在用车道线进行标定前，需要对本车型的实车进行测量，得到外部参数的初值，让车辆在平整的车道上缓慢行驶，保持车辆与车道的相对位置不变，进入外部参数标定模式，所述的方法为：
A、从视频源里抓取四个摄像头的图像，并提取每个摄像头在车道线上的点，直到数据足够完成外部参数的标定；
B、从视频源里抓取一帧鱼眼图像；
C、根据摄像头内部参数和外部参数初值，计算得到鱼眼图像的带车道线区域的顶视图图像；
D、对顶视图图像用canny算子进行边缘提取；
E、对边缘点用hough变换进行直线检测，判断检测到的直线是否为车道线，如果是车道线，则保存此车道线上的关键点；
F、重复A至E的步骤，直到所有摄像头的对应车道线都找到；
G、根据找到的车道线上的点，对摄像头外部参数进行标定。
进一步的，在所述C步骤中顶视图图像确定的步骤如下：
（1）、生成一定密度的顶视图的所有点的物理坐标LUT；
（2）、根据鱼眼摄像头的成像公式，把所有物理坐标转化为图像坐标LUT；
（3）、根据图像坐标LUT，生成一个顶视图图像。
进一步的，在所述E步骤中判断车道线的标准如下：
（1）、一根车道线对应两条直线；
（2）、两条直线物理距离10至30厘米；
（3）、直线为距离车20至200厘米的最近的线。
进一步的，在所述G步骤中外部参数的标定如下：
（1）、标定前摄像头，通过A至F步骤，已经得到了前摄像头车道线上的点的图像x、y坐标，因这些点的物理X坐标不能确定，故假设车道位置，从而得到假设的物理X坐标，并对摄像头外部参数进行标定，得到各自的平方残差和，然后选择平方残差和最小的作为前摄像头的外部参数；
（2）、根据前摄像头的内部参数和外部参数，求得各车道线的准确X坐标；
（3）、标定其他摄像头参数。根据A至F步骤已经得到的车道线上的点的图像x、y坐标，上面又得到了车道线X坐标，直接对摄像头外部参数进行标定。
采用上述技术方案的有益效果是：通过车道线对摄像头外部参数进行标定，省掉了专门的标定场地，节约了成本，而且，可以选择在合适的条件下进行标定，保证的标定环境跟行车环境的一致性。
具体实施方式
以下列举本发明优选的具体实施例对本发明的内容作进一步地说明。所举实例只用于解释本发明，并非用于限定本发明的范围。
在本方案中，一种基于车道线的汽车全景摄像头外部参数标定方法，在用车道线进行标定前，需要对本车型的实车进行测量，得到外部参数的初值，让车辆在平整的车道上缓慢行驶，保持车辆与车道的相对位置不变，进入外部参数标定模式，所述的方法为：
第一步，从视频源里抓取四个摄像头的图像，并提取每个摄像头在车道线上的点，直到数据足够完成外部参数的标定；
第二步，从视频源里抓取一帧鱼眼图像；
第三步，根据摄像头内部参数和外部参数初值，计算得到鱼眼图像的带车道线区域的顶视图图像；顶视图图像的具体确定步骤如下：
（1）、生成一定密度的顶视图的所有点的物理坐标LUT；
（2）、根据鱼眼摄像头的成像公式，把所有物理坐标转化为图像坐标LUT；
（3）、根据图像坐标LUT，生成一个顶视图图像；
第四步，对顶视图图像用canny算子进行边缘提取；
第五步，对边缘点用hough变换进行直线检测，判断检测到的直线是否为车道线，如果是车道线，则保存此车道线上的关键点；判断是否是车道线的标准如下：
（1）、一根车道线对应两条直线；
（2）、两条直线物理距离10至30厘米；
（3）、直线为距离车20至200厘米的最近的线；
第六步，重复第一步至第五步的步骤，直到所有摄像头的对应车道线都找到；
第七步，根据找到的车道线上的点，对摄像头外部参数进行标定，在本方案中，所述参数的标定如下：
（1）、标定前摄像头，通过第一步至第六步的步骤，已经得到了前摄像头车道线上的点的图像x、y坐标，因这些点的物理X坐标不能确定，故假设车道位置，从而得到假设的物理X坐标，并对摄像头外部参数进行标定，得到各自的平方残差和，然后选择平方残差和最小的作为前摄像头的外部参数；
（2）、根据前摄像头的内部参数和外部参数，求得各车道线的准确X坐标；
（3）、标定其他摄像头参数。根据第一步至第六步的步骤已经得到的车道线上的点的图像x、y坐标，上面又得到了车道线X坐标，直接对摄像头外部参数进行标定。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于车道线的汽车全景摄像头外部参数标定方法，在用车道线进行标定前，需要对本车型的实车进行测量，得到外部参数的初值，让车辆在平整的车道上缓慢行驶，保持车辆与车道的相对位置不变，进入外部参数标定模式，其特征在于，所述的方法为：
从视频源里抓取四个摄像头的图像，并提取每个摄像头在车道线上的点，直到数据足够完成外部参数的标定；
B、从视频源里抓取一帧鱼眼图像；
C、根据摄像头内部参数和外部参数初值，计算得到鱼眼图像的带车道线区域的顶视图图像；
D、对顶视图图像用canny算子进行边缘提取；
E、对边缘点用hough变换进行直线检测，判断检测到的直线是否为车道线，如果是车道线，则保存此车道线上的关键点；
F、重复A至E的步骤，直到所有摄像头的对应车道线都找到；
G、根据找到的车道线上的点，对摄像头外部参数进行标定。
2.根据权利要求1所述的基于车道线的汽车全景摄像头外部参数标定方法，其特征在于，在所述C步骤中顶视图图像确定的步骤如下：
（1）、生成一定密度的顶视图的所有点的物理坐标LUT；
（2）、根据鱼眼摄像头的成像公式，把所有物理坐标转化为图像坐标LUT；
（3）、根据图像坐标LUT，生成一个顶视图图像。
3.根据权利要求1所述的基于车道线的汽车全景摄像头外部参数标定方法，其特征在于，在所述E步骤中判断车道线的标准如下：
（1）、一根车道线对应两条直线；
（2）、两条直线物理距离10至30厘米；
（3）、直线为距离车20至200厘米的最近的线。
4.根据权利要求1所述的基于车道线的汽车全景摄像头外部参数标定方法，其特征在于，在所述G步骤中外部参数的标定如下：
（1）、标定前摄像头，通过A至F步骤，已经得到了前摄像头车道线上的点的图像x、y坐标，因这些点的物理X坐标不能确定，故假设车道位置，从而得到假设的物理X坐标，并对摄像头外部参数进行标定，得到各自的平方残差和，然后选择平方残差和最小的作为前摄像头的外部参数；
（2）、根据前摄像头的内部参数和外部参数，求得各车道线的准确X坐标；
（3）、标定其他摄像头参数，根据A至F步骤已经得到的车道线上的点的图像x、y坐标，上面又得到了车道线X坐标，直接对摄像头外部参数进行标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710286904.9A CN107103627B (zh) | 2017-04-27 | 2017-04-27 | 一种基于车道线的汽车全景摄像头外部参数标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710286904.9A CN107103627B (zh) | 2017-04-27 | 2017-04-27 | 一种基于车道线的汽车全景摄像头外部参数标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107103627A true CN107103627A (zh) | 2017-08-29 |
| CN107103627B CN107103627B (zh) | 2020-12-11 |
Family
ID=59656844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710286904.9A Active CN107103627B (zh) | 2017-04-27 | 2017-04-27 | 一种基于车道线的汽车全景摄像头外部参数标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107103627B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117825A (zh) * | 2018-09-04 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 车道线处理方法和装置 |
| WO2019007263A1 (zh) * | 2017-07-06 | 2019-01-10 | 华为技术有限公司 | 车载传感器的外部参数标定的方法和设备 |
| CN109584305A (zh) * | 2017-09-29 | 2019-04-05 | 宝沃汽车（中国）有限公司 | 全景系统标定方法、装置及车辆 |
| CN110555884A (zh) * | 2018-05-31 | 2019-12-10 | 海信集团有限公司 | 一种车载双目相机的标定方法、装置及终端 |
| CN111563421A (zh) * | 2020-04-16 | 2020-08-21 | 汉腾汽车有限公司 | 一种基于车道线的全景影像系统的自动标定系统及其方法 |
| US10984588B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Obstacle distribution simulation method and device based on multiple models, and storage medium |
| US11047673B2 (en) | 2018-09-11 | 2021-06-29 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, device, apparatus and storage medium for detecting a height of an obstacle |
| US11126875B2 (en) | 2018-09-13 | 2021-09-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium |
| US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
| US11307302B2 (en) | 2018-09-07 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium |
| US11718318B2 (en) | 2019-02-22 | 2023-08-08 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for planning speed of autonomous vehicle, and storage medium |
| US11780463B2 (en) | 2019-02-19 | 2023-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419705A (zh) * | 2007-10-24 | 2009-04-29 | 深圳华为通信技术有限公司 | 摄像机标定的方法及装置 |
| CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
| KR20150112656A (ko) * | 2014-03-28 | 2015-10-07 | 주식회사 하나비전테크 | 카메라 캘리브레이션 방법 및 그 장치 |
| CN105976377A (zh) * | 2016-05-09 | 2016-09-28 | 西安电子科技大学 | 车载鱼眼摄像头自标定的方法 |
-
2017
- 2017-04-27 CN CN201710286904.9A patent/CN107103627B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419705A (zh) * | 2007-10-24 | 2009-04-29 | 深圳华为通信技术有限公司 | 摄像机标定的方法及装置 |
| KR20150112656A (ko) * | 2014-03-28 | 2015-10-07 | 주식회사 하나비전테크 | 카메라 캘리브레이션 방법 및 그 장치 |
| CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
| CN105976377A (zh) * | 2016-05-09 | 2016-09-28 | 西安电子科技大学 | 车载鱼眼摄像头自标定的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘明晴: "车载单目相机的在线自标定算法研究", 《中国优秀硕士学位论文全文数据库.工程科技Ⅱ辑》 * |
| 陈小燕: "基于单目视觉的车道线实时检测研究", 《中国优秀硕士学位论文全文数据库.工程科技Ⅱ辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11670193B2 (en) | 2017-07-06 | 2023-06-06 | Huawei Technologies Co., Ltd. | Extrinsic parameter of on-board sensor |
| WO2019007263A1 (zh) * | 2017-07-06 | 2019-01-10 | 华为技术有限公司 | 车载传感器的外部参数标定的方法和设备 |
| CN109584305A (zh) * | 2017-09-29 | 2019-04-05 | 宝沃汽车（中国）有限公司 | 全景系统标定方法、装置及车辆 |
| CN110555884A (zh) * | 2018-05-31 | 2019-12-10 | 海信集团有限公司 | 一种车载双目相机的标定方法、装置及终端 |
| CN110555884B (zh) * | 2018-05-31 | 2023-06-13 | 海信集团有限公司 | 一种车载双目相机的标定方法、装置及终端 |
| US11113546B2 (en) | 2018-09-04 | 2021-09-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Lane line processing method and device |
| CN109117825A (zh) * | 2018-09-04 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 车道线处理方法和装置 |
| US10984588B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Obstacle distribution simulation method and device based on multiple models, and storage medium |
| US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
| US11307302B2 (en) | 2018-09-07 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium |
| US11047673B2 (en) | 2018-09-11 | 2021-06-29 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, device, apparatus and storage medium for detecting a height of an obstacle |
| US11519715B2 (en) | 2018-09-11 | 2022-12-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device, apparatus and storage medium for detecting a height of an obstacle |
| US11126875B2 (en) | 2018-09-13 | 2021-09-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium |
| US11780463B2 (en) | 2019-02-19 | 2023-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle |
| US11718318B2 (en) | 2019-02-22 | 2023-08-08 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for planning speed of autonomous vehicle, and storage medium |
| CN111563421A (zh) * | 2020-04-16 | 2020-08-21 | 汉腾汽车有限公司 | 一种基于车道线的全景影像系统的自动标定系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107103627B (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107103627A (zh) | 一种基于车道线的汽车全景摄像头外部参数标定方法 | |
| WO2021004312A1 (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| CN103473762B (zh) | 一种车道线检测方法和装置 | |
| US10255509B2 (en) | Adaptive lane marker detection for a vehicular vision system | |
| CN103177439B (zh) | 一种基于黑白格角点匹配的自动标定方法 | |
| CN104732542B (zh) | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 | |
| CN103810685B (zh) | 一种深度图的超分辨率处理方法 | |
| CN102622767B (zh) | 双目非标定空间定位方法 | |
| CN103854335B (zh) | 一种行车记录仪全景视频生成方法 | |
| TWI521448B (zh) | Vehicle identification system and method | |
| JP2013134780A (ja) | 道路領域検知方法及び装置、並びに道路分離線検知方法及び装置 | |
| JPS59182688A (ja) | ステレオ視処理装置 | |
| JP2007234019A (ja) | 車両画像領域特定装置およびその方法 | |
| JP6544257B2 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN104506800A (zh) | 一种多方向电警摄像机场景合成及综合监控方法和装置 | |
| CA2889886A1 (en) | System and method of adaptive color correction for pill recognition in digital images | |
| TW201617252A (zh) | 自動追蹤防撞警示系統及其方法 | |
| Adamshuk et al. | On the applicability of inverse perspective mapping for the forward distance estimation based on the HSV colormap | |
| JP5548212B2 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
| CN104537627A (zh) | 一种深度图像的后处理方法 | |
| CN106803073A (zh) | 基于立体视觉目标的辅助驾驶系统及方法 | |
| JP2020095623A (ja) | 画像処理装置および画像処理方法 | |
| CN108122244B (zh) | 一种视频图像的视频测速方法及装置 | |
| CN111612812B (zh) | 目标物检测方法、检测装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |