CN112465915A - 一种车载环视系统标定方法 - Google Patents

一种车载环视系统标定方法 Download PDF

Info

Publication number
CN112465915A
CN112465915A CN202011348517.1A CN202011348517A CN112465915A CN 112465915 A CN112465915 A CN 112465915A CN 202011348517 A CN202011348517 A CN 202011348517A CN 112465915 A CN112465915 A CN 112465915A
Authority
CN
China
Prior art keywords
calibration plate
camera
calibration
posture
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011348517.1A
Other languages
English (en)
Inventor
周德志
叶开
王玲
石锡敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharpvision Co ltd
Original Assignee
Sharpvision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharpvision Co ltd filed Critical Sharpvision Co ltd
Priority to CN202011348517.1A priority Critical patent/CN112465915A/zh
Publication of CN112465915A publication Critical patent/CN112465915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种车载环视系统标定方法，由车身周围设置至少四个摄像头，所述摄像头用于获取车身旁地面上多块标定板的图像，且相邻摄像头获取到的标定板图像中至少有一个标定板图像相同，获取相邻摄像头之间的姿态，提取获取到标定板图像的像素坐标，计算摄像头对应视图内每一块标定板的姿态，通过摄像头对应视图内每一块标定板的姿态和相邻摄像头之间的姿态，获取每个摄像头对同一参考标定板的姿态，依据每个摄像头对应同一块参考标定板的姿态，计算各摄像头之间的光学中心点坐标，并将光学中心点坐标投影至地面以获得车身世界坐标原点，将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态，以提高车载环视标定的精度。

Description

一种车载环视系统标定方法
技术领域
本发明涉及车载环视系统技术领域，具体为一种车载环视系统标定方法。
背景技术
传统的车载环视系统的标定方法需围绕车身铺设矩形框，以测量矩形框的长和宽，从而建立起以车辆中心地面投影点为原点的世界坐标系。在建立世界坐标系后，再选取车身前、后、左、右合适的位置铺设标定板(布),标定板需严格按照要求铺设，以确保提取的各参考点的世界坐标明确并已知，其具体的标定方式如图1所示。然而在实际的应用场景中，预建世界坐标系需花费大量的时间和人力成本，整个坐标系的搭建，标定板的铺设及其长和宽的测量，均需要依赖于人工干预，易引入误差。
发明内容
本发明目的在于提供一种无需预建地面世界坐标系以及确定的标定板铺设位置，以提高标定精度的车载环视系统标定方法。
本发明所述的一种车载环视系统标定方法，包括以下步骤：
车身周围设置至少四个摄像头，所述摄像头用于获取车身旁地面上多块标定板的图像，且相邻摄像头获取到的标定板图像中至少有一个标定板图像相同；
提取获取到标定板图像的像素坐标；
依据提取到的标定板图像的像素坐标，计算摄像头对应视图内每一块标定板的姿态；
通过相邻摄像头之间获取到的标定板图像中至少有一个标定板图像相同，获取相邻摄像头之间的姿态；
通过摄像头对应视图内每一块标定板的姿态和相邻摄像头之间的姿态，获取每个摄像头对同一参考标定板的姿态；
依据每个摄像头对应同一块参考标定板的姿态，计算各摄像头之间的光学中心点坐标，并将光学中心点坐标投影至地面以获得车身世界坐标原点；
将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态，即完成车载环视系统的标定。
所述的一种车载环视系统标定方法，由于该方案无需预先建车身的世界坐标系，也没有手动测量各个标定板的具体位置。因此需要两两摄像头拍摄到的图片中，均出现同一块标定板的图像。通过这块标定板间接地把摄像头的姿态相互关联，从而得到摄像头之间的姿态，最终建立一个统一的车身世界坐标系，以完成车载环视系统的标定，且标定板在车身旁地面上是随意摆放的，无需提前确定标定板铺设的位置，进而减少人工干预，以及可能引入的误差，从而有效提升车载环视系统标的精度，进而缩短了车载环视系统标定的时间，以及节约了人力成本。
附图说明
图1为背景技术中现有车载环视系统的标定方法的流程示意图；
图2为本发明车载环视系统标定方法的流程示意图；
图3为标定板铺设位置的示意图；
图4为对每个摄像头提取初始内参值的流程示意图。
具体实施方式
如图2所示，一种车载环视系统标定方法，包括以下步骤：
车身周围设置至少四个摄像头，所述摄像头用于获取车身旁地面上多块标定板的图像，且相邻摄像头获取到的标定板图像中至少有一个标定板图像相同；
提取获取到标定板图像的像素坐标；
依据提取到的标定板图像的像素坐标，计算摄像头对应视图内每一块标定板的姿态；
通过相邻摄像头之间获取到的标定板图像中至少有一个标定板图像相同，获取相邻摄像头之间的姿态；
通过摄像头对应视图内每一块标定板的姿态和相邻摄像头之间的姿态，获取每个摄像头对同一参考标定板的姿态；
依据每个摄像头对应同一块参考标定板的姿态，计算各摄像头之间的光学中心点坐标，并将光学中心点坐标投影至地面以获得车身世界坐标原点；
将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态，即完成车载环视系统的标定。
车载环视系统标定方法的步骤还包括对每个摄像头提取初始内参值，从而进一步提高标定的精度。
车载环视系统标定方法的步骤还包括在将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态后，通过迭代旋转的方式旋转世界坐标，使世界坐标的Y轴与车身前后方向的轴向一致。由于前期标定板的铺设没有严格要求，选取的参考标定板与车身之间可能存在一定角度的旋转，最后构建的世界坐标系的方向有可能不符合实际需求，因此这里采用迭代旋转的方式修正世界坐标的方向，可进一步实现更高的环视标定的精度。
标定板为图像旋转不对称的标定板或标定板为二维码标定板，由于标定板的图像拥有这种特性，因此可以确定标定板上特征点的顺序，进而区分不同摄像头相对于同一块标定板的位姿。
具体如下：标定板可以随意铺设在车辆的左前、右前、左后、右后四个区域，如图3所示，将左后的标定布标注为Tag0，同时按逆时针顺序标注各标定布为Tag1,Tag2,Tag3，车身周围的前、后、左、右分别安装对应的四个摄像头，各摄像头通道按照左右前后，分别标注为Cam0、Cam1、Cam2、Cam3, 其中Cam0可获取Tag0及Tag3的图像、Cam1可获取Tag1及Tag2的图像、Cam2 可获取Tag2及Tag3的图像、Cam3可获取Tag0及Tag1的图像。
摄像头采用的是鱼眼摄像头，其内参值的内参矩阵K的定义如公式所示：
Figure RE-GDA0002903552800000041
其中cx、cy代表摄像头光轴在图像坐标系中的偏移量，即图像中心点，fx，fy为像素尺度的镜头焦距。在全景环视系统中，主要使用水平视角大于170°的鱼眼摄像头，用于获取车辆周边场景视图。基于传统的相机标定理论，为获取相机的内参，需变换相机的安装姿态，获取多视角照片，才能实现相机的内参标定。鱼眼摄像头的成像模型为：
Figure RE-GDA0002903552800000042
其中设定鱼眼摄像头的最大视场角弧度值为π，鱼眼摄像头的有效图像的区域为四周带暗角的近圆形区域，圆的半径对应的入射角θ即为π/2,fx＝fy＝2r/ π，设定近圆形有效图像区域的圆心即图像中心点(cx cy),由此获取摄像头的初始内参值K,具体的摄像头初始内参值的获取步骤包括：摄像头获取车身周围的图像，将获取到的图像进行二值化，将二值化后的图像进行闭运算消除孔洞，提取图像的边缘轮廓，对提取边缘轮廓后的图像做圆拟合以获取图像的圆心及半径，以获得摄像头的初始内参。获取摄像头的初始内参的方法很多，有直接从摄像头出厂参数获得，有直接通过标定获得。该方案根据鱼眼镜头的特点，用检圆法获取摄像头的初始内参，这种方法在实施中没有人工干预，相对便捷。后续步骤使用了优化的方法对该摄像头的初始内参进行优化，因此称为初始内参值。该方案不限定获取摄像头的初始内参的方法，也不要求有精确度非常高的初始内参值。具体流程如图4所示。
提取各标定板的四个参考点像素坐标,参考点像素坐标分别为(0,0,0)、 (L,0,0)、(L,L,0)、(0,L,0),L为标定板尺寸，获取各摄像头分别对应两块标定板的摄像头的姿态T00、T03、T30、T31、T11、T12、T22、T23，如以下公式：
Figure RE-GDA0002903552800000051
Figure RE-GDA0002903552800000052
i代表摄像头的编号，j代表标定板的编号。利用T31、T30、 T11获取右视摄像头对Tag0姿态T10，利用T23、T03、T00获取前视摄像头对Tag0 姿态T20，如以下公式：
Figure RE-GDA0002903552800000053
利用各摄像头对Tag0姿态，获取 Tag0-Tag3的标定板初始位置参数τi(x,y,β)，其中(x,y)为各标定板第 1个基准点的以标定板Tag0基准点为原点的坐标点，β为旋转角，如以下公式：
Figure RE-GDA0002903552800000054
τi＝(xw0 yw0 β)
Figure RE-GDA0002903552800000055
车载环视系统标定方法的步骤还包括采用非线性最小二乘法，进行全局的非线性优化以获得优化后的摄像头内参值和每个摄像头对应同一块参考标定板的姿态。由于前面步骤获取的摄像头的初始内参值是粗略近似值，并且鱼眼镜头存在一定的畸变，用当前摄像头的初始内参和外参重新投影得到的世界坐标，与实际世界坐标存在误差。通过这个误差项构建代价函数，使用非线性优化得到修正后的摄像头内参值和每个摄像头对应同一块参考标定板的姿态，可有效进一步提升标定的精度。具体的优化过程如，采用重映射像素坐标与通过视图提取的标定板参考点像素坐标之间的误差的平方和作为优化的代价函数，进行全局的非线性优化来获得优化后的摄像头内参值K及每个摄像头对应同一块参考标定板的姿态Tc0(c＝0、1、2...)。N次迭代重映射像素坐标的计算：通过将n-1次迭代获得的标定板的位置参数，转换为板定板上的四个参考点的世界坐标点，利用n-1迭代获得的摄像头的姿态参数 Tc0(c＝0、1、2...)将世界坐标转换为摄像头的坐标，采用鱼眼等距投影模型及n-1次迭代获得的摄像头内参矩阵k计算出参考点的重映射像素坐标，代价函数为：
Figure RE-GDA0002903552800000061
Figure RE-GDA0002903552800000062
Figure RE-GDA0002903552800000063
Figure RE-GDA0002903552800000064
i代表摄像头的编号，j代表标定板的编号，m代表每一块标定板提取的四个参考点的编号，
Figure RE-GDA0002903552800000065
为各参考点实际像素坐标，
Figure RE-GDA0002903552800000066
为参考标定板第m个参考点的世界坐标，
Figure RE-GDA0002903552800000067
为第j块标定板的第 m个参考点的世界坐标，
Figure RE-GDA0002903552800000068
为第j块标定板的第m个参考点的像素坐标，
Figure RE-GDA0002903552800000069
为鱼眼等距投影重映射像。
依据每个摄像头对应同一块参考标定板的姿态，计算各摄像头之间的光学中心点坐标，并将光学中心点坐标投影至地面以获得车身世界坐标原点，具体计算公式为：
Figure RE-GDA00029035528000000610
此时，各摄像头之间的光学中心点坐标点为
Figure RE-GDA0002903552800000071
即xc＝yc＝zc＝0，
Figure RE-GDA0002903552800000072
(Xw,Yw,Zw)即为各摄像头光学中心世界坐标，将光学中心点坐标投影至地面以获得车身世界坐标原点的中心
Figure RE-GDA0002903552800000073
为世界坐标新的原点，然后将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态，修正公式为：
Figure RE-GDA0002903552800000074
其中offset为世界坐标中心点平移后的坐标偏移量，(R′i t′i)为修正后的每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态，
Figure RE-GDA0002903552800000075
为修正后的各摄像头的光学中心点坐标点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种车载环视系统标定方法，包括以下步骤：
车身周围设置至少四个摄像头，所述摄像头用于获取车身旁地面上多块标定板的图像，且相邻摄像头获取到的标定板图像中至少有一个标定板图像相同；
提取获取到标定板图像的像素坐标；
依据提取到的标定板图像的像素坐标，计算摄像头对应视图内每一块标定板的姿态；
通过相邻摄像头之间获取到的标定板图像中至少有一个标定板图像相同，获取相邻摄像头之间的姿态；
通过摄像头对应视图内每一块标定板的姿态和相邻摄像头之间的姿态，获取每个摄像头对同一参考标定板的姿态；
依据每个摄像头对应同一块参考标定板的姿态，计算各摄像头之间的光学中心点坐标，并将光学中心点坐标投影至地面以获得车身世界坐标原点；
将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态，即完成车载环视系统的标定。
2.根据权利要求1所述的车载环视系统标定方法，其特征在于，还包括对每个摄像头提取初始内参值。
3.根据权利要求2所述的车载环视系统标定方法，其特征在于，所述对每个摄像头提取初始内参值，包括以下步骤：
摄像头获取车身周围的图像；
将获取到的图像进行二值化；
将二值化后的图像进行闭运算消除孔洞，提取图像的边缘轮廓；
对提取边缘轮廓后的图像做圆拟合以获取图像的圆心及半径，以获得摄像头的初始内参值。
4.根据权利要求3所述的车载环视系统标定方法，其特征在于，还包括采用非线性最小二乘法，进行全局的非线性优化以获得优化后的摄像头内参值和每个摄像头对应同一块参考标定板的姿态。
5.根据权利要求1所述的车载环视系统标定方法，其特征在于，还包括在将每个摄像头对应同一块参考标定板的姿态修正为相对于车身世界坐标原点的姿态后，通过迭代旋转的方式旋转世界坐标，使世界坐标的Y轴与车身前后方向的轴向一致。
6.根据权利要求1-5任一所述的车载环视系统标定方法，其特征在于，所述标定板为图像旋转不对称的标定板。
7.根据权利要求6所述的车载环视系统标定方法，其特征在于，所述标定板为二维码标定板。
CN202011348517.1A 2020-11-26 2020-11-26 一种车载环视系统标定方法 Pending CN112465915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011348517.1A CN112465915A (zh) 2020-11-26 2020-11-26 一种车载环视系统标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011348517.1A CN112465915A (zh) 2020-11-26 2020-11-26 一种车载环视系统标定方法

Publications (1)

Publication Number Publication Date
CN112465915A true CN112465915A (zh) 2021-03-09

Family

ID=74808555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011348517.1A Pending CN112465915A (zh) 2020-11-26 2020-11-26 一种车载环视系统标定方法

Country Status (1)

Country Link
CN (1) CN112465915A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409396A (zh) * 2021-05-11 2021-09-17 广州敏视数码科技有限公司 一种adas单目相机的标定方法
CN113674361A (zh) * 2021-08-21 2021-11-19 深圳普捷利科技有限公司 一种车载环视校准实现方法及系统
CN113706627A (zh) * 2021-08-06 2021-11-26 武汉极目智能技术有限公司 车载环视中基于单张图的鱼眼相机内参标定方法
WO2023150961A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种标定方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063718A (zh) * 2010-12-24 2011-05-18 江南大学 一种点激光测量系统的现场标定和精密测量方法
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统
CN107633489A (zh) * 2017-09-18 2018-01-26 哈尔滨工业大学深圳研究生院 鱼眼镜头圆心重提取映射法畸变矫正方法
CN108596982A (zh) * 2018-04-24 2018-09-28 深圳市航盛电子股份有限公司 一种简易的车载多目摄像机环视系统标定方法及装置
CN108629811A (zh) * 2018-04-04 2018-10-09 广州市安晓科技有限责任公司 一种汽车环视全景的自动标定方法及系统
CN109712194A (zh) * 2018-12-10 2019-05-03 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质
CN111435540A (zh) * 2019-01-15 2020-07-21 苏州沃迈智能科技有限公司 一种车载环视系统的环视图拼接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063718A (zh) * 2010-12-24 2011-05-18 江南大学 一种点激光测量系统的现场标定和精密测量方法
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统
CN107633489A (zh) * 2017-09-18 2018-01-26 哈尔滨工业大学深圳研究生院 鱼眼镜头圆心重提取映射法畸变矫正方法
CN108629811A (zh) * 2018-04-04 2018-10-09 广州市安晓科技有限责任公司 一种汽车环视全景的自动标定方法及系统
CN108596982A (zh) * 2018-04-24 2018-09-28 深圳市航盛电子股份有限公司 一种简易的车载多目摄像机环视系统标定方法及装置
CN109712194A (zh) * 2018-12-10 2019-05-03 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质
CN111435540A (zh) * 2019-01-15 2020-07-21 苏州沃迈智能科技有限公司 一种车载环视系统的环视图拼接方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409396A (zh) * 2021-05-11 2021-09-17 广州敏视数码科技有限公司 一种adas单目相机的标定方法
CN113409396B (zh) * 2021-05-11 2024-03-29 广州敏视数码科技有限公司 一种adas单目相机的标定方法
CN113706627A (zh) * 2021-08-06 2021-11-26 武汉极目智能技术有限公司 车载环视中基于单张图的鱼眼相机内参标定方法
CN113674361A (zh) * 2021-08-21 2021-11-19 深圳普捷利科技有限公司 一种车载环视校准实现方法及系统
CN113674361B (zh) * 2021-08-21 2022-04-26 深圳普捷利科技有限公司 一种车载环视校准实现方法及系统
WO2023150961A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种标定方法及装置

Similar Documents

Publication Publication Date Title
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN112465915A (zh) 一种车载环视系统标定方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN109767476B (zh) 一种自动对焦双目摄像头标定及深度计算方法
KR102487546B1 (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN106780388B (zh) 一种线阵相机光学畸变矫正方法
CN105931222B (zh) 用低精度二维平面靶标实现高精度相机标定的方法
CN112562014B (zh) 相机标定方法、系统、介质及装置
CN110689581A (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN105379264A (zh) 用于成像设备建模与校准的系统和方法
CN110660105B (zh) 一种全景环视系统的标定参数优化方法及装置
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN104657982A (zh) 一种投影仪标定方法
CN110099267A (zh) 梯形校正系统、方法以及投影仪
CN113920205B (zh) 一种非同轴相机的标定方法
CN108305233B (zh) 一种针对微透镜阵列误差的光场图像校正方法
CN107527336B (zh) 镜头相对位置标定方法及装置
Von Gioi et al. Towards high-precision lens distortion correction
CN110136205B (zh) 多目相机的视差校准方法、装置及系统
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
KR101926258B1 (ko) Avm 시스템의 자동 캘리브레이션 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination