CN113570671A - 鱼眼摄像头标定方法、存储介质和电子设备 - Google Patents

鱼眼摄像头标定方法、存储介质和电子设备 Download PDF

Info

Publication number
CN113570671A
CN113570671A CN202110732268.4A CN202110732268A CN113570671A CN 113570671 A CN113570671 A CN 113570671A CN 202110732268 A CN202110732268 A CN 202110732268A CN 113570671 A CN113570671 A CN 113570671A
Authority
CN
China
Prior art keywords
external parameters
image
coordinates
calibration method
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110732268.4A
Other languages
English (en)
Inventor
卢金波
吕来辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Original Assignee
Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd filed Critical Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority to CN202110732268.4A priority Critical patent/CN113570671A/zh
Publication of CN113570671A publication Critical patent/CN113570671A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种鱼眼摄像头标定方法，其首先在原始图上进行特征区域匹配，得到对应特征点的图像坐标，再利用该图像坐标计算出摄像头的粗略外参，然后根据所述粗略外参对原始图的预设区域做视角变换得到变换图。接着，在变换图上进行特征点检测，并得到其对应的图像坐标，再根据该图像坐标计算出摄像头的高精外参。当该高精外参满足评价要求，则确认标定成功并将所述高精外参作为最终外参输出。本发明的鱼眼摄像头标定方法由于最终是在变换图上做特征点检测，不会受畸变影响，因此特征点检测更精准。由于初步计算粗略外参耗时很短，变换图依据计算出来的粗略外参生成的ROI区域，处理时间也很短，因此总体的时间损耗都很短，效率更高。

Description

鱼眼摄像头标定方法、存储介质和电子设备
技术领域
本发明涉及一种鱼眼摄像头标定方法、一种存储介质和一种电子设备。
背景技术
鱼眼摄像头因为其超大视场范围而广泛应用于自动驾驶、机器人导航、工程测量等领域，但是，鱼眼摄像头的超大视场范围使得拍摄的图像的边缘畸变较大，直接影响图像的成像效果。因此，鱼眼摄像头的数据处理模块都需要对鱼眼摄像头输出的原始图进行坐标转换，以得到标准尺寸的图像。实现坐标转换需要的参数包括摄像头的内参和摄像头的外参，而得到内参和外参的过程就是鱼眼摄像头标定。摄像头的内参是反应摄像机自身特性的参数，比如焦距、像素大小等。摄像头的外参是世界坐标系中的参数，比如相机的位置和旋转方向。
在标定的过程中，主要技术难点在于精确的寻找到特征点，通常关键的一些特征点会在视场角比较大的区域，而视场角比较大的区域图像畸变比较严重，给特征点的检测带来很多不便。作为比较常用的棋盘格标定板，有些方案是在原始图上做特征点检测，有些方案是在变换图上做特征点检测。在原始图上做特征点检测的缺陷是棋盘格严重畸变，给棋盘格的检测和角点的提取带来严重困扰，影响精度甚至直接导致检测失败。在变换图上做特征点检测是图像变换会占用一定时间，为了兼容一定的安装冗余，会设置比较大的ROI（Region of interest, ROI，感兴趣区域），处理时间会比较长。
发明内容
本发明的目的在于提供一种特征点检测更精准且处理时间快的鱼眼摄像头标定方法。
一种鱼眼摄像头标定方法，在计算摄像头的外参时，其包括如下步骤：
S1，在原始图上进行特征区域匹配；
S2，在匹配到的特征区域进行特征点检测，并得到对应特征点的图像坐标；
S3，利用所述特征点的图像坐标与对应的世界坐标的映射关系计算出摄像头的粗略外参；
S4，根据所述粗略外参对原始图的预设区域做视角变换得到变换图；
S5，在所述变换图上进行特征点检测，并得到其对应的图像坐标；
S6，根据所述步骤S5的图像坐标与对应的世界坐标的映射关系计算出摄像头的高精外参；以及
S7，对所述高精外参进行评价，满足要求则确认标定成功并将所述高精外参作为最终外参输出，否则根据预设的外参对原始图的预设区域做视角变换得到变换图，并继续执行步骤S5至S7。
优选的，在多次执行步骤S7后所述高精外参都不满足要求时，输出标定失败的信息。
作为一种实施方式，步骤S2中，得到所述对应特征点的图像坐标的方法包括：S21，得到所述特征点在匹配模板中的坐标，定义为预制坐标；以及S22，根据所述匹配到的特征区域的匹配位置和所述预制坐标，得到所述对应特征点的图像坐标。
本发明还提供了一种存储介质，所述存储介质包括指令，所述指令用于实现上述的鱼眼摄像头标定方法。
本发明还提供了一种电子设备，所述电子设备包括处理器和上述的存储介质，所述电子设备通过所述处理器调用所述存储介质的指令，以实现上述的鱼眼摄像头标定方法。
本发明的鱼眼摄像头标定方法由于最终是在变换图上做特征点检测，不会受畸变影响，因此特征点检测更精准。由于计算粗略外参耗时很短，变换图依据计算出来的粗略外参生成的ROI区域，处理时间也很短，因此总体的时间损耗都很短，效率更高。
附图说明
图1为一实施例中鱼眼摄像头标定方法处理的原始图。
图2为一实施例中进行特征区域匹配时使用的模板图。
图3为一实施例中进行特征区域匹配时得到的特征区域图。
图4为对图3的特征区域图提取特征点的示意图。
图5为一实施例中原始图的预设区域的示意图。
图6为对图5中的预设区域做视角变换得到变换图。
图7为对图6的变换图进行处理得到的优化的变换图。
具体实施方式
下面将结合具体实施例及附图对本发明鱼眼摄像头标定方法作进一步详细描述。
在进行鱼眼摄像头标定的过程中，会使用到以下坐标系：（1）世界坐标系，用于描述相机位置坐标的坐标系。比如以标定板建立世界坐标系或者以车辆坐标系作为世界坐标系；（2）相机坐标系，以光心为原点，以光轴为Zc轴，Xc与Yc分别和成像平面x轴、y轴平行；（3）图像坐标系，成像平面的2D坐标系，原点为光轴与成像面的交点，x轴、y轴与摄像头坐标系的Xc轴、Yc轴平行，光心为图像中点；（4）像素坐标系，最后呈现我们眼前的图像。左上角为原点，两个轴分别和图像坐标系平行。
本发明的鱼眼摄像头标定方法采用了二次标定法来取得外参。特别的，在计算摄像头的外参的过程中，采用了以下步骤：
步骤S1，在原始图上进行特征区域匹配，以找到期望的区域。本实施例中，这些区域是背景相对稳定、不会有干扰物的区域。可以通过模板匹配的方法匹配到特征区域。例如图1为一副原始图，图2为模板图，图3为进行模板匹配后得到的特征区域图。
步骤S2，在匹配到的特征区域中提取特征点。此时可以得到所述特征点在匹配到的特征区域中的坐标，可以取用对应特征点在模板中的坐标，在此被定义为特征点的预制坐标。本实施例中，可以取模板图中心的两个长方形的四个角点作为特征点，可以直接得到其预制坐标，请参考图4所示。
步骤S22，结合步骤S1匹配到的特征区域的匹配位置和步骤S2得到的特征点的预制坐标，得到所述特征点的图像坐标。特征点的预制坐标加上匹配区域相对整个图像的相对坐标即可得到特征点相对整个图像的坐标。
步骤S3，利用所述特征点的图像坐标和世界坐标的对应关系计算出摄像头的粗略外参。
步骤S4，根据所述粗略外参对原始图的预设区域做视角变换得到变换图。步骤S3的粗略外参是通过一种简单而快速的方法得到的，精度不够，但是可以利用粗略外参计算出任意世界坐标系下的某个区域映射在图像中的对应区域位置。因此，所述预设区域可以根据实际需要进行配置，可以是标定板的需要精确寻找特征点的任意区域。本实施例中，例如对图3中最左侧的两个黑色矩形所在的区域（图5中由黑白线段框住的区域）做视角变换可以得到如图6所示的变换图。
步骤S5，在所述变换图上进行特征点检测。一般来说，首先要将图6那样的变换图进行滤波，对比度处理，腐蚀处理等图片处理，可以得到如图7一样的清晰的图片，最后在图中找到与模板特征相符的特征，本实施例中就是找出两个相邻的矩形，最终根据这些特征的排序逻辑，找到每个矩形的角点作为特征点。
步骤S6，在获得特征点的图像坐标时结合对应的世界坐标点计算出摄像头的高精外参；以及
步骤S7，对所述高精外参进行评价，以评估根据所述高精外参进行图像拼接的效果是否满足要求，若满足要求则确认标定成功并将所述高精外参作为最终外参输出，否则根据预设的外参对原始图的预设区域做视角变换得到变换图，并继续执行步骤S5至S7。所述预设的外参是鱼眼摄像头的预期外参。在本实施例中，所述预设的外参是鱼眼摄像头的安装设计值。一般情况下摄像头的安装品质是有一定保证的，如果预设的外参也不行，那就表示摄像头的安装偏差很大，或者摄像头中某部件有问题，则标定失败。
因此，在第二次执行步骤S7时，如果基于预设的外参执行步骤S6得到的高精外参在步骤S7的评价中都不满足要求时，则输出标定失败的信息，避免进入死循环。
如此，由于最终是在变换图上做特征点检测，不会受畸变影响，因此特征点检测更精准。由于计算粗略外参耗时很短，变换图依据计算出来的粗略外参生成的ROI区域，处理时间也很短，总体来说，时间损耗都很短。在计算的过程中，就算有一些特殊原因导致计算粗略外参失败，本发明会采用预设的外参来进行变换，并进行特征点检测和外参标定，容错率会更高。
虽然对本发明的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化、是显而易见的。因此，所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。

Claims (5)

1.一种鱼眼摄像头标定方法，其特征在于，在计算摄像头的外参时，包括如下步骤：
S1，在原始图上进行特征区域匹配；
S2，在匹配到的特征区域进行特征点检测，并得到对应特征点的图像坐标；
S3，利用所述特征点的图像坐标与对应的世界坐标的映射关系计算出摄像头的粗略外参；
S4，根据所述粗略外参对原始图的预设区域做视角变换得到变换图；
S5，在所述变换图上进行特征点检测，并得到其对应的图像坐标；
S6，根据所述步骤S5的图像坐标与对应的世界坐标的映射关系计算出摄像头的高精外参；以及
S7，对所述高精外参进行评价，满足要求则确认标定成功并将所述高精外参作为最终外参输出，否则根据预设的外参对原始图的预设区域做视角变换得到变换图，并继续执行步骤S5至S7。
2.根据权利要求1所述的鱼眼摄像头标定方法，其特征在于，在多次执行步骤S7后所述高精外参都不满足要求时，输出标定失败的信息。
3.根据权利要求1所述的鱼眼摄像头标定方法，其特征在于，步骤S2中，得到所述对应特征点的图像坐标的方法包括：S21，得到所述特征点在匹配模板中的坐标，定义为预制坐标；以及S22，根据所述匹配到的特征区域的匹配位置和所述预制坐标，得到所述对应特征点的图像坐标。
4.一种存储介质，其特征在于，所述存储介质包括指令，所述指令用于实现如权利要求1至3项中任一项所述的鱼眼摄像头标定方法。
5.一种电子设备，其特征在于，所述电子设备包括处理器和如权利要求4所述的存储介质，所述电子设备通过所述处理器调用所述存储介质的指令，以实现如权利要求1至3项中任一项所述的鱼眼摄像头标定方法。
CN202110732268.4A 2021-06-30 2021-06-30 鱼眼摄像头标定方法、存储介质和电子设备 Withdrawn CN113570671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732268.4A CN113570671A (zh) 2021-06-30 2021-06-30 鱼眼摄像头标定方法、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732268.4A CN113570671A (zh) 2021-06-30 2021-06-30 鱼眼摄像头标定方法、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN113570671A true CN113570671A (zh) 2021-10-29

Family

ID=78163112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732268.4A Withdrawn CN113570671A (zh) 2021-06-30 2021-06-30 鱼眼摄像头标定方法、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN113570671A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075948A (ko) * 2000-01-21 2001-08-11 오길록 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법
CN102800123A (zh) * 2010-11-05 2012-11-28 浙江华震数字化工程有限公司 一种便携式图像全息三维重建系统
CN107767422A (zh) * 2017-09-18 2018-03-06 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
US20190041513A1 (en) * 2017-08-03 2019-02-07 Neusoft Corporation Method, apparatus, storage medium and program product for side vehicle positioning
CN109448060A (zh) * 2018-09-04 2019-03-08 惠州市德赛西威智能交通技术研究院有限公司 一种基于蝙蝠算法的相机标定参数优化方法
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN110992428A (zh) * 2019-10-29 2020-04-10 惠州市德赛西威智能交通技术研究院有限公司 一种摄像头一致性的智能检测方法和检测装置
CN111505606A (zh) * 2020-04-14 2020-08-07 武汉大学 多相机与激光雷达系统相对位姿检校方法及装置
WO2021004548A1 (zh) * 2019-07-08 2021-01-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010075948A (ko) * 2000-01-21 2001-08-11 오길록 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법
CN102800123A (zh) * 2010-11-05 2012-11-28 浙江华震数字化工程有限公司 一种便携式图像全息三维重建系统
US20190041513A1 (en) * 2017-08-03 2019-02-07 Neusoft Corporation Method, apparatus, storage medium and program product for side vehicle positioning
CN107767422A (zh) * 2017-09-18 2018-03-06 深圳开阳电子股份有限公司 一种鱼眼镜头的校正方法、装置及便携式终端
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
CN109448060A (zh) * 2018-09-04 2019-03-08 惠州市德赛西威智能交通技术研究院有限公司 一种基于蝙蝠算法的相机标定参数优化方法
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
WO2021004548A1 (zh) * 2019-07-08 2021-01-14 中原工学院 一种基于双目立体视觉系统的车辆智能测速方法
CN110992428A (zh) * 2019-10-29 2020-04-10 惠州市德赛西威智能交通技术研究院有限公司 一种摄像头一致性的智能检测方法和检测装置
CN111505606A (zh) * 2020-04-14 2020-08-07 武汉大学 多相机与激光雷达系统相对位姿检校方法及装置
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
EP3751519B1 (en) Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
CN107767422B (zh) 一种鱼眼镜头的校正方法、装置及便携式终端
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
WO2019184885A1 (zh) 一种相机外参标定方法、装置及电子设备
CN112017205B (zh) 一种激光雷达和相机传感器空间位置自动标定方法及系统
CN111145271B (zh) 相机参数的精确度的确定方法、装置、存储介质及终端
CN109902637A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110940312A (zh) 一种结合激光设备的单目相机测距方法及系统
CN112927306B (zh) 拍摄装置的标定方法、装置及终端设备
CN114067001B (zh) 车载相机角度标定方法、终端及存储介质
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN109828250B (zh) 一种雷达标定方法、标定装置及终端设备
CN112308931B (zh) 相机的标定方法、装置、计算机设备和存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
US12046008B2 (en) Pose calibration method, robot and computer readable storage medium
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
US20220028260A1 (en) Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
CN108520541B (zh) 一种广角摄像机的标定方法
CN113570671A (zh) 鱼眼摄像头标定方法、存储介质和电子设备
CN117036464A (zh) 基于实例分割技术的单目视觉引导agv避障测距方法和装置
TWI424259B (zh) 相機擺置角度校正法
US10215628B2 (en) Image calibrating method and device of testing apparatus for thin film transistor substrate
CN111462244A (zh) 车载环视系统在线标定方法、系统及装置
CN110346117B (zh) 一种鱼眼镜头超宽视场下光斑高精度定位方法
CN113269824A (zh) 一种基于图像的距离确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211029