CN106651963B - 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 - Google Patents
一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 Download PDFInfo
- Publication number
- CN106651963B CN106651963B CN201611241710.9A CN201611241710A CN106651963B CN 106651963 B CN106651963 B CN 106651963B CN 201611241710 A CN201611241710 A CN 201611241710A CN 106651963 B CN106651963 B CN 106651963B
- Authority
- CN
- China
- Prior art keywords
- image
- calibration object
- calibration
- vehicle
- projection matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000009434 installation Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 239000000284 extract Substances 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种用于驾驶辅助系统的车载摄像头的安装参数标定方法，包括：采集标定图像，提取图像的HSV；对V通道利用最大类间方差法生成分割图像的阈值，对图像进行二值化处理，通过二值化图像对标定物区域进行筛选和分割，得到每一个标定物的初选区域；提取标定物的边缘特征，得到边缘图像，通过对边缘图像进行处理，结合标定物初选二值化图像信息和标定物放置的几何约束关系，确定标定物在图像中的像素位置；根据标定物的图像坐标和物理坐标计算投影矩阵及其逆投影矩阵。将标定结果写入控制器中。该标定方法所需要的器材和设备成本较低，能够适用于不同类型车辆批量安装，可以兼容不同高度和拍摄角度，避免由于标定板尺寸不匹配造成的误差。
Description
技术领域
本发明属于汽车电子技术领域，具体地涉及一种用于驾驶辅助系统的车载摄像头的安装参数标定方法，可以适用于批量安装。
背景技术
利用计算机视觉技术对行车环境进行采集，识别各种障碍物的种类并进行测距和测速，可以有效地实现驾驶辅助功能，保障驾驶员行车安全。
为了准确地测量与前方障碍物之间的相对位置和相对速度，需要对前视摄像头进行安装参数标定，建立图像坐标系与世界坐标系之间的转换关系。
目前常用的摄像头标定方法，主要采用固定位置的标定板进行标定。这种方法需要分两步进行，首先标定摄像头内参数，然后利用内参和拍摄的标定板图像计算外参数(即安装参数)。这种方法存在的问题主要有：
1，标定板相对于车辆的摆放位置不容易精确确定，造成的误差会导致标定结果不准确。
2，同批次的摄像头在制造时也存在公差，批量安装时，将一次标定的内参结果套用至其他摄像头会存在误差。
3，针对乘用车和商用车的不同安装位置，对于标定板的要求不同，对于商用车需要较大尺寸的标定板，操作不方便。
4，无法有效完成从透视视图至俯视视图的投影转换。因此无法得到车辆在自车道的准确位置。
发明内容
针对上述存在的技术问题，本发明提供了一种用于驾驶辅助系统的车载摄像头的安装参数标定方法，该标定方法所需要的器材和设备成本较低，能够适用于不同类型车辆批量安装，可以兼容不同高度和拍摄角度的摄像头安装位置，避免由于标定板尺寸不匹配造成的误差。
本发明的技术方案是：
一种用于驾驶辅助系统的车载摄像头的安装参数标定方法，包括以下步骤：
S01：采集标定图像，提取图像的HSV；
S02：对V通道利用最大类间方差法(OSTU)生成分割图像的阈值，对图像进行二值化处理，通过二值化图像对标定物区域进行筛选和分割，得到每一个标定物的初选区域；
S03：提取标定物的边缘特征，得到边缘图像，通过对边缘图像进行处理，结合标定物初选二值化图像信息和标定物放置的几何约束关系，确定标定物在图像中的像素位置；
S04：根据标定物的图像坐标和物理坐标计算投影矩阵及其逆投影矩阵。
S05：将标定结果写入控制器中。
优选的，在步骤S01之前还包括，确定摄像头安装位置和角度，调整摄像头使地平线在画面中保持水平；确定车辆中轴线；沿车辆中轴线和其相隔固定距离的平行线处布置多个标志物。
优选的，所述标志物至少为9个。
优选的，所述步骤S02中生成分割图像的阈值之前还包括，通过H通道和S通道，对标定物区域进行初步筛选。
优选的，所述步骤S04具体包括：
(1)标定物的图像坐标为[u,v,1]，物理坐标为[x,y,z]，投影矩阵公式为：
对应的图像坐标为[X,Y]，其中X＝x/z，Y＝y/z；
(2)将9组标定物的对应坐标输入，通过矩阵奇异值分解(SVD)分解得到投影矩阵的值；
(3)交换标定物的图像坐标和物理坐标，计算逆投影矩阵；
(4)投影矩阵为：
其中表示线性变换，表示平移变换，[a31 a32]表示缩放变换。
与现有技术相比，本发明的优点是：
1、本发明的方法可以实现车载前视摄像头安装参数的自动标定。可以有效地得到图像像素坐标与真实世界坐标的对应关系。避免了由于摄像头制造公差而导致的相机内参数差异造成的标定误差。
2，本发明的方法可以兼容不同高度和拍摄角度的摄像头安装位置，避免由于标定板尺寸不匹配造成的误差。本发明使用可快速展开的便携式摄像头标定标志物。标定物具备清晰可见、易识别的特征。
3，本发明的方法所需要的器材和设备成本较低，操作便捷，可以适合于不同类型车辆的批量安装，简单易操作。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明用于驾驶辅助系统的车载摄像头的安装参数标定方法的流程图；
图2为摄像头采集画面位置分布示意图；
图3为利用激光光线确定车辆中轴线示意图；
图4为标定物布置示意图；
图5为采集的标定图片示意图；
图6为标定物区域初选结果；
图7为标定物边缘图像；
图8为标定物识别图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
如图1所示，具体操作如下：
1，确定摄像头安装位置和角度。调整画面中地平线至合适位置，如图2所示，使得地平线在画面中保持水平。摄像头优选的位置为汽车中部，距离地面高度可根据车型进行调整。推荐小型车辆为1.2～1.5m，卡车等大型车辆为1.5～2.2m左右。
2，通过车辆牌照固定点等特征，确定车头和车尾处中轴线位置，并利用铅锤将中点延伸至地平面。
利用放置在车头和车尾中点处的辅助隔板和激光笔，确定车辆中线。激光光点通过1号、2号两个辅助隔板的中缝并且延伸处即为车辆中轴线。如图3所示。
3，沿车辆中轴线和其相隔固定距离的平行线处布置标尺。在提前设定的固定点处放置1至9号标志物，如图4所示。标定物所选尺寸如下：
整体尺寸：200×1300(横×纵，cm)，标定物之间的间距为：100×300(横×纵，cm)。
4，系统采集标定图像，系统采集标定图片示例如图5所示。自动识别标志物在图像中的位置，转换为图像像素坐标。自动识别方法如下：
(1)将图像颜色空间从RGB模式转换为HSV模式。
(2)与周边环境相比，目标物具有可区分的色相值和饱和度值。通过H通道和S通道，进行目标物区域的筛选。
(3)对V通道利用最大类间方差法(OSTU)自动生成分割图像的阈值，对图像进行二值化处理。
记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。则图像的总平均灰度为：u＝w0*u0+w1*u1。
前景和背景图象的方差：
g＝w1·(u0-u)·(u0-u)+w2·(u1-u)·(u1-u)
＝W1·W2·(u0-u)·(u1-u)
当g取最大值时，此时的t即为分割阈值。
通过二值化图像对目标物区域进行进一步筛选和分割，得到每一个目标物的初选区域，如图6所示。
(4)提取目标物的边缘特征，对目标物进行精确定位。
使用Sobel边缘特征提取，采用如下卷积核：
通过Gx，Gy对图像进行卷积得到梯度图。对Gx和Gy通过以下公式可以得到该点的梯度幅值：
并且可以通过梯度公式计算得到梯度方向：
边缘图像如图7所示。通过对边缘图像进行处理，结合目标物初选二值化图像信息和目标物放置的几何约束关系，确定目标物在图像中的像素位置。自动识别示例图如图8所示。
5，系统根据目标物的识别结果，计算投影矩阵及其逆投影矩阵。
(1)设定标定物的图像坐标为[u,v,1]，物理坐标为[x,y,z]。则投影变换矩阵公式为：
对应的图像坐标为[X,Y]，其中X＝x/z，Y＝y/z。
(2)将9组目标标志物的对应坐标输入，通过矩阵奇异值分解(SVD)分解得到投影变换矩阵的值。
(3)交换目标标志物的图像坐标和物理坐标，用同样的方法可以得到逆投影变换矩阵。
(4)得到的变换矩阵为：
其中表示线性变换，如旋转和剪切。表示平移变换，[a31 a32]表示缩放变换。
6，将标定结果写入系统参数并保存。
基于前视摄像头的驾驶辅助系统在运行过程中调用该标定参数并实时对采集的视频信息进行投影转换。例如，根据投影矩阵及其逆矩阵，将前视摄像头的图像以及关键特征点从透视视图投影至俯视视图，从而得到目标物的空间信息。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (4)
1.一种用于驾驶辅助系统的车载摄像头的安装参数标定方法，其特征在于，包括以下步骤：
S01：采集标定图像，提取图像的HSV；
S02：对V通道利用最大类间方差法(OSTU)生成分割图像的阈值，对图像进行二值化处理，通过二值化图像对标定物区域进行筛选和分割，得到每一个标定物的初选区域；
S03：提取标定物的边缘特征，得到边缘图像，通过对边缘图像进行处理，结合标定物初选二值化图像信息和标定物放置的几何约束关系，确定标定物在图像中的像素位置；
S04：根据标定物的图像坐标和物理坐标计算投影矩阵及其逆投影矩阵；具体步骤包括：
(1)标定物的图像坐标为[u,v,1]，物理坐标为[x,y,z]，投影矩阵公式为：
对应的图像坐标为[X,Y]，其中X＝x/z，Y＝y/z；
(2)将9组标定物的对应坐标输入，通过矩阵奇异值分解(SVD)分解得到投影矩阵的值；
(3)交换标定物的图像坐标和物理坐标，计算逆投影矩阵；
(4)投影矩阵为：
其中表示线性变换，表示平移变换，[a31 a32]表示缩放变换；
S05：将标定结果写入控制器中。
2.根据权利要求1所述的用于驾驶辅助系统的车载摄像头的安装参数标定方法，其特征在于，在步骤S01之前还包括，确定摄像头安装位置和角度，调整摄像头使地平线在画面中保持水平；确定车辆中轴线；沿车辆中轴线和其相隔固定距离的平行线处布置多个标定物。
3.根据权利要求2所述的用于驾驶辅助系统的车载摄像头的安装参数标定方法，其特征在于，所述标定物至少为9个。
4.根据权利要求1所述的用于驾驶辅助系统的车载摄像头的安装参数标定方法，其特征在于，所述步骤S02中生成分割图像的阈值之前还包括，通过H通道和S通道，对标定物区域进行初步筛选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611241710.9A CN106651963B (zh) | 2016-12-29 | 2016-12-29 | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611241710.9A CN106651963B (zh) | 2016-12-29 | 2016-12-29 | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106651963A CN106651963A (zh) | 2017-05-10 |
| CN106651963B true CN106651963B (zh) | 2019-04-26 |
Family
ID=58836557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611241710.9A Active CN106651963B (zh) | 2016-12-29 | 2016-12-29 | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106651963B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107290738A (zh) * | 2017-06-27 | 2017-10-24 | 清华大学苏州汽车研究院（吴江） | 一种测量前方车辆距离的方法和装置 |
| CN113822939A (zh) | 2017-07-06 | 2021-12-21 | 华为技术有限公司 | 车载传感器的外部参数标定的方法和设备 |
| CN109509231A (zh) * | 2017-09-14 | 2019-03-22 | 宝沃汽车（中国）有限公司 | 全景系统标定设备 |
| CN110570475A (zh) * | 2018-06-05 | 2019-12-13 | 上海商汤智能科技有限公司 | 车载摄像头自标定方法及装置和车辆驾驶方法及装置 |
| CN109712196B (zh) * | 2018-12-17 | 2021-03-30 | 北京百度网讯科技有限公司 | 摄像头标定处理方法、装置、车辆控制设备及存储介质 |
| CN110374045B (zh) * | 2019-07-29 | 2021-09-28 | 哈尔滨工业大学 | 一种智能化除冰方法 |
| CN112986697B (zh) * | 2019-12-02 | 2024-04-26 | 联合汽车电子有限公司 | 智能钥匙的标定方法、标定系统及可读存储介质 |
| CN113034604A (zh) * | 2019-12-25 | 2021-06-25 | 南京极智嘉机器人有限公司 | 标定系统、方法及自导引机器人 |
| WO2023028880A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 车载相机的外部参数的标定方法及相关装置 |
| CN114194115B (zh) * | 2021-12-22 | 2024-03-15 | 数源科技股份有限公司 | 视觉盲区摄像装置安装方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4803449B2 (ja) * | 2006-11-17 | 2011-10-26 | アイシン精機株式会社 | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
| CN101763643A (zh) * | 2010-01-07 | 2010-06-30 | 浙江大学 | 一种结构光三维扫描仪系统自动标定方法 |
| FR3014553A1 (fr) * | 2013-12-11 | 2015-06-12 | Parrot | Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile |
| CN105321160B (zh) * | 2014-05-27 | 2019-03-22 | 穆阳 | 三维立体全景泊车的多摄像头标定方法 |
| CN104346833A (zh) * | 2014-10-28 | 2015-02-11 | 燕山大学 | 一种基于单目视觉的车辆重构算法 |
| CN105631853B (zh) * | 2015-11-06 | 2018-01-30 | 湖北工业大学 | 车载双目相机标定及参数验证方法 |
| CN105825203B (zh) * | 2016-03-30 | 2018-12-18 | 大连理工大学 | 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法 |
-
2016
- 2016-12-29 CN CN201611241710.9A patent/CN106651963B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106651963A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651963B (zh) | 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法 | |
| CN106408611B (zh) | 静态目标的路过式校准 | |
| CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
| KR102022388B1 (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
| EP2237988B1 (en) | Object detection and recognition system | |
| US10896310B2 (en) | Image processing device, image processing system, and image processing method | |
| CN109389650B (zh) | 一种车载相机的标定方法、装置、车辆和存储介质 | |
| CN110443225B (zh) | 一种基于特征像素统计的虚实车道线识别方法及其装置 | |
| CN107133985B (zh) | 一种基于车道线消逝点的车载摄像机自动标定方法 | |
| CN109949439B (zh) | 行车实景信息标注方法、装置、电子设备和介质 | |
| EP2924653A1 (en) | Image processing apparatus and image processing method | |
| CN108197523B (zh) | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 | |
| CN110203210A (zh) | 一种车道偏离预警方法、终端设备及存储介质 | |
| CN108596899B (zh) | 道路平坦性检测方法、装置及设备 | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN109635737A (zh) | 基于道路标记线视觉识别辅助车辆导航定位方法 | |
| US20200285913A1 (en) | Method for training and using a neural network to detect ego part position | |
| CN112257539A (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
| CN114419143A (zh) | 深度测量方法、深度测量设备及存储介质 | |
| CN110555885A (zh) | 一种车载相机的标定方法、装置及终端 | |
| Adamshuk et al. | On the applicability of inverse perspective mapping for the forward distance estimation based on the HSV colormap | |
| CN110751693A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN109472737B (zh) | 一种车载六路摄像头的全景报警方法 | |
| CN106503698B (zh) | 一种信号交叉口排队车辆静态间距快速测算方法 | |
| US20210327129A1 (en) | Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |