CN111047651B - 畸变图像的矫正方法 - Google Patents

畸变图像的矫正方法 Download PDF

Info

Publication number
CN111047651B
CN111047651B CN201911273744.XA CN201911273744A CN111047651B CN 111047651 B CN111047651 B CN 111047651B CN 201911273744 A CN201911273744 A CN 201911273744A CN 111047651 B CN111047651 B CN 111047651B
Authority
CN
China
Prior art keywords
image
camera
distorted image
distortion
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911273744.XA
Other languages
English (en)
Other versions
CN111047651A (zh
Inventor
章盛
李培华
刘玉莉
钱名思
鲁兴平
褚浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC Huadong Photoelectric Co Ltd
Original Assignee
AVIC Huadong Photoelectric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC Huadong Photoelectric Co Ltd filed Critical AVIC Huadong Photoelectric Co Ltd
Priority to CN201911273744.XA priority Critical patent/CN111047651B/zh
Publication of CN111047651A publication Critical patent/CN111047651A/zh
Application granted granted Critical
Publication of CN111047651B publication Critical patent/CN111047651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种畸变图像的矫正方法,该畸变图像的矫正方法包括:在采用指定相机拍摄的棋盘格标定板的图像中存在畸变的情况下,获取所存在的畸变图像;通过相机标定工具对所述畸变图像进行标定以得到所述指定相机对应的内部参数及畸变参数;利用所述内部参数及畸变参数分别对所述畸变图像进行重映射及灰度重建以得到所述畸变图像对应的矫正图像。该畸变图像的矫正方法实现了在相机的参数未知的情况下,实现相机的标定及图像矫正。

Description

畸变图像的矫正方法
技术领域
本发明涉及计算机技术领域,具体地,涉及一种畸变图像的矫正方法。
背景技术
视觉、听觉和触觉是日常生活中获取现实场景信息的三种主要方式,在这些获取现实场景信息的主要方式中,通过视觉方式获得的现实场景信息约占70%,是最重要的获取现实场景信息的方式。通过镜头获取现实场景信息是最直接视觉获取方式之一,目前常用的镜头包括普通镜头、广角镜头和鱼眼镜头,其中,普通镜头的视角很小,约为30°至60°,广角镜头的视角比较宽,约为90°至140°,而鱼眼镜头属于广角镜头中的一种特殊镜头,它的视角达到或超出人眼所能看到的范围,一般可达到200°至230°。随着科学技术的发展,在军事、医疗、交通和防爆等领域,人们普遍使用广角镜头来获得更大更多的现实场景信息,但是由于受到很多因素的影响,使得通过广角镜头拍摄的画面在成像过程中会发生一定程度的畸变,从而影响图像的清晰度和观察效果,为了能够更好的发挥广角镜头的作用,需要对这一问题进行解决。
广角镜头的畸变矫正指对广角镜头产生的非线性畸变进行矫正,包括图像标定和图像矫正两个阶段,图像标定是指计算广角镜头的内外参和畸变参数,图像矫正指利用图像标定参数对畸变图像进行重映射和灰度重建以达到矫正效果。其中,畸变是对直线投影的一种偏移,简单来说直线投影即场景内的一条直线投影到图片上也保持为一条直线,但是畸变是一条直线投影到图片上不能保持为一条直线了,这是一种光学畸变,可能由于镜头的原因。畸变包括线性畸变和非线性畸变,前者包括透视畸变等,后者包括径向畸变、切向畸变和薄棱镜畸变等。径向畸变是指给定图像点从它的理想位置向内或向外的移动,它主要是由镜头表面部分在径向曲率的变化存在缺陷造成的,图像点的负向的径向位移就是所谓的桶形畸变,它将造成居于外侧的边沿点更加拥挤和成像比例减小,而正向的径向位移称为枕形畸变,它会造成外侧的点相对扩散和成像比例增加,径向畸变只产生径向偏差,光线在远离透镜中心的地方偏折更大。切向畸变和薄棱镜畸变既产生径向偏差,又产生切向偏差,切向畸变产生原因主要是透镜不完全平行于图像平面。薄棱镜畸变产生原因主要是由镜头设计和生产以及相机组装过程中的缺陷引起的,比如图像感应阵列或镜头部分的微小倾斜等。相关技术中,可以利用参数已知法进行图像的矫正,其中所述参数已知法是根据相机的某些参数,比如镜头的焦距、镜头的水平角度和垂直角度等,对广角畸变图像进行矫正处理。但是,采用该方法的前提是需要获知相机的某些参数,目前并不是所有相机都可以获取其相关参数的。
发明内容
本发明的目的是提供一种畸变图像的矫正方法,该畸变图像的矫正方法实现了在相机的参数未知的情况下,实现相机的标定及图像矫正。
为了实现上述目的,本发明提供了一种畸变图像的矫正方法,该畸变图像的矫正方法包括:在采用指定相机拍摄的棋盘格标定板的图像中存在畸变的情况下,获取所存在的畸变图像;通过相机标定工具对所述畸变图像进行标定以得到所述指定相机对应的内部参数及畸变参数;利用所述内部参数及畸变参数分别对所述畸变图像进行重映射及灰度重建以得到所述畸变图像对应的矫正图像。
优选地,所述通过相机标定工具对所述畸变图像进行标定以得到所述指定相机对应的内部参数及畸变参数包括:基于世界坐标系与所述相机坐标系的第一转换关系、所述相机坐标系与图像坐标系的第二转换关系、所述图像坐标系与像素坐标系的第三转换关系以及相机标定工具标定所述畸变图像得到的标定信息,确定所述指定相机对应的内部参数;基于径向矫正公式、切向矫正公式以及所述畸变图像对应的标定信息,确定所述指定相机对应的畸变参数;其中,所述径向矫正公式被配置为:
Figure BDA0002314948700000031
所述切向矫正公式被配置为:
Figure BDA0002314948700000032
所述x、y是畸变图像的坐标,所述xcorrected、ycorrected为矫正图像的坐标,所述r是图像半径,所述k1、k2、k3、p1及p2为畸变参数。
优选地,所述灰度重建被配置为采用双线性插值法。
优选地,所述棋盘格标定板被配置为预设尺寸的正方形。
优选地,在所述在采用指定相机拍摄的棋盘格标定板的图像中存在畸变图像的情况下,获取所存在的畸变图像之前,该畸变图像的矫正方法还包括:采用指定相机在预设范围区域内拍摄预设数量的棋盘格标定板的图像,其中所拍摄的各图像被配置为能够在叠加后完全覆盖所述预设范围区域。
根据上述技术方案,本发明的畸变图像的矫正方法利用设计的指定相机拍摄棋盘格标定板的图像,以在其图像存在畸变的情况下,将其作为畸变图像通过相机标定工具进行标定,以得到指定相机对应的内部参数及畸变参数。所述内部参数及畸变参数可以用于后续的矫正重建,在不需要获取相机相关参数的情况下,也可以实现畸变图像的矫正。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1(a-c)是本发明的一种优选实施方式的径向畸变、切向畸变的效果图;
图2是本发明的一种优选实施方式的广角镜头的成像过程坐标系;
图3是本发明的一种优选实施方式的相机坐标系与图像坐标系之间的关系图;
图4是本发明的一种优选实施方式的广角镜头的技术参数效果图;
图5(a-b)是本发明的一种优选实施方式的指定相机拍摄的棋盘格标定板的图像的效果图;
图6是本发明的一种优选实施方式的棋盘格标定板的图像的平均重映射误差柱状图;
图7是本发明的一种优选实施方式的棋盘格标定板的图像外部可视化图;
图8(a-b)是本发明的一种优选实施方式的棋盘格标定板的图像矫正后图像集;
图9是本发明的一种优选实施方式的畸变图像的矫正方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
在详细陈述本发明之前,先简单介绍本发明的适用平台,本发明使用Matlab2014、Qt5.5.1和OpenCV2.4.9作为实验软件平台,使用Intel Corei3-3240 CPU@3.40GHz四核、内存为4G、操作系统为32位Windows 7作为实验硬件平台。首先制作棋盘格标定板,棋盘格中格子的宽度和高度是40mm×40mm,然后用广角镜头采集棋盘格图形,组成棋盘格标定图集,一共27张图像,图像分辨率都为1920×1080。另外,所述径向畸变及切向畸变的原理如图1a-1c所示,其中,所述图1a为径向畸变和切向畸变的原理图,其中所述dr为径向畸变,dt为切向畸变;图1b是径向畸变的影响,其中所述图1b中的a、b指代畸变图像,而a、b中间的图像为正常图像;图1c是切向畸变的影响。
图9是本发明的一种畸变图像的矫正方法的流程图。如图9所示,本发明的一种畸变图像的矫正方法包括:S101,在采用指定相机拍摄的棋盘格标定板的图像中存在畸变图像的情况下,获取所存在的畸变图像。S102,通过相机标定工具对所述畸变图像进行标定以得到所述指定相机对应的内部参数及畸变参数。以及S103,利用所述内部参数及畸变参数分别对所述畸变图像进行重映射及灰度重建以得到所述畸变图像对应的矫正图像。
其中,所述棋盘格的尺寸采用上述的尺寸结构,所述棋盘格标定板被配置为预设尺寸的正方形。图2是镜头标定下的四个坐标系的效果图,如图2所示,广角镜头的成像过程要经历四个坐标系的转换,分别是世界坐标系、相机坐标系、图像坐标系和像素坐标系。世界坐标系也称真实坐标系或全局坐标系,它是客观世界的绝对坐标,由用户任意定义的三维空间坐标系,一般三维场景都用世界坐标系来表示如图2的Xw,Yw及Zw;相机坐标系是以小孔相机模型的聚焦中心为原点,以镜头光轴为Z轴建立的三维直角坐标系,X轴和Y轴与图像坐标系的x轴和y轴平行;图像坐标系的原点是透镜光轴与成像平面的交点,x轴与y轴分别平行于相机坐标系的X轴与Y轴,其是平面直角坐标系,单位为毫米;像素坐标系也称计算机图像坐标系,固定在图像上的以像素为单位的平面直角坐标系,其原点位于图像左上角,u轴和v轴平行于图像坐标系的x轴和y轴。
进一步优选地,基于世界坐标系与所述相机坐标系的第一转换关系、所述相机坐标系与图像坐标系的第二转换关系、所述图像坐标系与像素坐标系的第三转换关系以及相机标定工具标定所述畸变图像得到的标定信息,确定所述指定相机对应的内部参数。
其中,所述第一转换关系包括:
世界坐标系中的世界坐标点[Xw Yw Zw]T与相机坐标系中的相机坐标[XcYc Zc]T之间的转换关系如式(1)所示:
Figure BDA0002314948700000061
其中:[Xc Yc Zc 1]T是相机坐标系中的坐标点,[Xw Yw Zw 1]T是世界坐标系中的坐标点,矩阵R是3*3的旋转矩阵,矩阵T是3*1的平移矩阵,矩阵R满足约束条件,如式(2)所示:
Figure BDA0002314948700000062
其中:r11、r12、r13、r21、r22、r23、r31、r32、r33是旋转矩阵中元素,旋转矩阵实际上只含有三个独立变量rx、ry、rz,再加上平移矩阵中tx、ty、tz,总共六个参数决定了相机光轴在世界坐标系中的坐标,因此这六个参数称为镜头的外部参数。
所述第二转换关系如图3所示,其包括:
相机坐标系中的相机坐标点P[Xc Yc Zc]T在图像坐标系中的图像点为p[x y]T为:
由图3根据相似三角形可推出式(3):
Figure BDA0002314948700000071
由式(3)推出式(4):
Figure BDA0002314948700000072
由式(4)推出式(5):
Figure BDA0002314948700000073
由式(5)推出式(6):
Figure BDA0002314948700000074
由式(6)推出齐次坐标方程,如式(7)如式:
Figure BDA0002314948700000075
其中:f为相机的焦距,[Xc Yc Zc 1]T是相机坐标系中的相机坐标点,[xy 1]T是图像坐标系中的图像点。
其中,所述第三转换关系包括:
图像坐标系和像素坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点,图像坐标系的单位是mm,属于物理单位;像素坐标系的单位是pixel,平常描述一个像素点都是几行几列。二者之间的转换关系如下:其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm。
将图像坐标系进一步转化为图像坐标系,如式(8)所示:
Figure BDA0002314948700000081
其中:u0、v0是图像中心(光轴与图像平面的交点)的坐标,dx、dy分别为一个像素在x轴与y轴方向上的物理尺寸,sx=1/dx、sy=1/dy分别为x轴与y轴方向上的采样频率,即单位长度的像素个数,(x,y)是图像坐标系中的图像点,(u,v)是像素坐标系中的像素点。
由式(8)推出齐次坐标方程,如式(9)如式:
Figure BDA0002314948700000082
在相机坐标系与像素坐标系之间的转换关系中,相机焦距f、一个像素在x轴方向上的物理尺寸dx、一个像素在y轴方向上的物理尺寸dy、u0是图像中心(光轴与图像平面的交点)的u坐标、v0是图像中心(光轴与图像平面的交点)的v坐标,一共五个参数组成镜头的内部参数。
进一步优选地,径向畸变产生的原因:光线在远离透镜中心的地方偏折更大,矫正公式如式(10)所示:
Figure BDA0002314948700000091
其中:(x,y)是畸变图像的坐标点,(xcorrected,ycorrected)是矫正图像的坐标点,k1、k2、k3是畸变参数,r是图像半径。
切向畸变产生的原因:透镜不完全平行于图像平面,矫正公式如式(11)所示:
Figure BDA0002314948700000092
其中:(x,y)是畸变图像的坐标,(xcorrected,ycorrected)是矫正图像的坐标点,p1、p2是畸变参数,r是图像半径。由此可得相机的五个畸变参数:k1、k2、k3、p1、p2
其中,采用指定相机在预设范围区域内拍摄预设数量的棋盘格标定板的图像,其中所拍摄的各图像被配置为能够在叠加后完全覆盖所述预设范围区域。所述广角镜头的技术参数如图4所示,其具体展示了广角镜头的主要参数。所采集的图像如图5a-图5b,本实施例仅仅示出了2个图,实际上一共有27个图像。
在本实施例中,通过Matlab2014中相机标定工具得到相机的内部参数矩阵和畸变参数,同时得到棋盘格标定图像平均重映射误差柱状图和棋盘格标定图像外部可视化图,其中所述重映射误差柱状图如图6所示,棋盘格标定图像外部可视化图如图7所示。后续通过Qt5.5.1和OpenCV2.4.9实现重映射和灰度重建,得到棋盘格矫正图像集,矫正后的效果如图8所示。
进一步优选地,灰度重建目前有最近邻插值法、双线性插值法和立方卷积插值法,最近邻插值法精度不高,立方卷积插值法精度高但运算量大,双线性插值法可以折中最近邻插值法和立方卷积插值法,在精度和运算量方面达到最优,本专利根据上面流程得到相机的内部参数和畸变参数,首先进行重映射处理,然后采用双线性插值法进行灰度重建。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (4)

1.一种畸变图像的矫正方法,其特征在于,该畸变图像的矫正方法包括:
在采用指定相机拍摄的棋盘格标定板的图像中存在畸变的情况下,获取所存在的畸变图像;
通过相机标定工具对所述畸变图像进行标定以得到所述指定相机对应的内部参数及畸变参数;
利用所述内部参数及畸变参数分别对所述畸变图像进行重映射及灰度重建以得到所述畸变图像对应的矫正图像;
所述通过相机标定工具对所述畸变图像进行标定以得到所述指定相机对应的内部参数及畸变参数包括:
基于世界坐标系与所述相机坐标系的第一转换关系、所述相机坐标系与图像坐标系的第二转换关系、所述图像坐标系与像素坐标系的第三转换关系以及相机标定工具标定所述畸变图像得到的标定信息,确定所述指定相机对应的内部参数;
基于径向矫正公式、切向矫正公式以及所述畸变图像对应的标定信息,确定所述指定相机对应的畸变参数;
其中,所述径向矫正公式被配置为:
Figure FDA0004110282140000011
所述切向矫正公式被配置为:
Figure FDA0004110282140000012
所述x、y是畸变图像的坐标,所述xcorrected、ycorrected为矫正图像的坐标,所述r是图像半径,所述k1、k2、k3、p1及p2为畸变参数。
2.根据权利要求1所述的畸变图像的矫正方法,其特征在于,所述灰度重建被配置为采用双线性插值法。
3.根据权利要求1所述的畸变图像的矫正方法,其特征在于,所述棋盘格标定板被配置为预设尺寸的正方形。
4.根据权利要求1所述的畸变图像的矫正方法,其特征在于,在所述在采用指定相机拍摄的棋盘格标定板的图像中存在畸变图像的情况下,获取所存在的畸变图像之前,该畸变图像的矫正方法还包括:
采用指定相机在预设范围区域内拍摄预设数量的棋盘格标定板的图像,其中所拍摄的各图像被配置为能够在叠加后完全覆盖所述预设范围区域。
CN201911273744.XA 2019-12-12 2019-12-12 畸变图像的矫正方法 Active CN111047651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273744.XA CN111047651B (zh) 2019-12-12 2019-12-12 畸变图像的矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273744.XA CN111047651B (zh) 2019-12-12 2019-12-12 畸变图像的矫正方法

Publications (2)

Publication Number Publication Date
CN111047651A CN111047651A (zh) 2020-04-21
CN111047651B true CN111047651B (zh) 2023-04-18

Family

ID=70236216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273744.XA Active CN111047651B (zh) 2019-12-12 2019-12-12 畸变图像的矫正方法

Country Status (1)

Country Link
CN (1) CN111047651B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489114B (zh) * 2020-11-25 2024-05-10 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备
CN113066029B (zh) * 2021-03-31 2023-03-17 杭州三坛医疗科技有限公司 一种图像矫正方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN108269289A (zh) * 2018-01-16 2018-07-10 上海汇像信息技术有限公司 一种相机参数标定的两步优化方法
CN110458898A (zh) * 2019-08-15 2019-11-15 北京迈格威科技有限公司 相机标定板、标定数据采集方法、畸变校正方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN108269289A (zh) * 2018-01-16 2018-07-10 上海汇像信息技术有限公司 一种相机参数标定的两步优化方法
CN110458898A (zh) * 2019-08-15 2019-11-15 北京迈格威科技有限公司 相机标定板、标定数据采集方法、畸变校正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯为嘉 ; 张宝峰 ; 曹作良 ; .基于鱼眼镜头的全方位视觉参数标定与畸变矫正.天津大学学报.2011,(05),全文. *

Also Published As

Publication number Publication date
CN111047651A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN111750806B (zh) 一种多视角三维测量系统及方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN106716486A (zh) 用于包括若干光学通道的多孔径光学器件相对于图像传感器的相对定位的设备和方法
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
CN112013792A (zh) 一种复杂大构件机器人面扫描三维重建方法
US9652847B2 (en) Method for calibrating a digital optical imaging system having a zoom system, method for correcting aberrations in a digital optical imaging system having a zoom system, and digital optical imaging system
CN111199528A (zh) 一种鱼眼图像畸变矫正方法
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN111047651B (zh) 畸变图像的矫正方法
CN107527336B (zh) 镜头相对位置标定方法及装置
CN113160339A (zh) 一种基于沙姆定律的投影仪标定方法
CN110738608B (zh) 一种平面图像校正方法及系统
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN112750078B (zh) 基于面向电动平台的显微图像实时拼接方法及存储介质
CN109035170A (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
WO2019041794A1 (zh) 三维测量的畸变校正方法、装置、终端设备及存储介质
CN111429531A (zh) 标定方法、标定装置和非易失性计算机可读存储介质
CN110751601A (zh) 一种基于rc光学系统的畸变校正方法
Lijun et al. Correction method of image distortion of fisheye lens
CN112258581A (zh) 一种多鱼眼镜头全景相机的现场标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant