CN113643205B - 一种鱼眼镜头的全场图像畸变校正方法 - Google Patents

一种鱼眼镜头的全场图像畸变校正方法 Download PDF

Info

Publication number
CN113643205B
CN113643205B CN202110941153.6A CN202110941153A CN113643205B CN 113643205 B CN113643205 B CN 113643205B CN 202110941153 A CN202110941153 A CN 202110941153A CN 113643205 B CN113643205 B CN 113643205B
Authority
CN
China
Prior art keywords
liquid crystal
fisheye lens
crystal screen
phi
distortion correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110941153.6A
Other languages
English (en)
Other versions
CN113643205A (zh
Inventor
王玉伟
蔡家旭
刘路
周婷
张大山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202110941153.6A priority Critical patent/CN113643205B/zh
Publication of CN113643205A publication Critical patent/CN113643205A/zh
Application granted granted Critical
Publication of CN113643205B publication Critical patent/CN113643205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80—
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开了一种鱼眼镜头的全场图像畸变校正方法，具体包括以下步骤：步骤S1：搭建一个鱼眼镜头畸变校正系统，包括鱼眼镜头、摄像机和液晶屏幕；步骤S2：建立液晶屏幕坐标系XOY；步骤S3：设计动态标靶，包括五幅标靶图案In(x,y)，然后将五幅标靶图案In(x,y)依次显示于液晶屏幕上，同时摄像机依次采集五幅标靶图像Jn(u,v)；步骤S4：分别计算出水平方向和垂直方向上的截断相位φu(u,v)和φv(u,v)，并利用时域相位展开法分别恢复出绝对相位Φu(u,v)和Φv(u,v)；步骤S5：根据绝对相位Φu(u,v)和Φv(u,v)，建立摄像机的像素坐标(u,v)和液晶屏幕的像素坐标(x,y)的映射表(x,y)＝LUT(u,v)；步骤S6：利用安装鱼眼镜头的摄像机拍摄未校正的场景图像Jdistort(u,v)，将未校正的场景图像Jdistort(u,v)中所有像素映射至液晶屏幕坐标系XOY下，并通过插值运算获得校正的场景图像Icorrect(x,y)。

Description

一种鱼眼镜头的全场图像畸变校正方法
技术领域
本发明属于三维测量技术领域，具体地说，本发明涉及一种鱼眼镜头的全场图像畸变校正方法。
背景技术
鱼眼镜头通常由多层镜片组成，前镜片呈抛物状向前凸起，外观类似鼓起的鱼眼。鱼眼镜头视场内物体发出的入射光线，经过镜片组的数次折射，朝着与光轴夹角较小的方向偏转，折射光线最终落在摄像机的图像传感器上实现成像。鱼眼镜头成像系统具有体积较小、易于集成等优点，但同样存在图像畸变大、分辨率等问题。
目前，针对鱼眼镜头的图像畸变校正方法，一般假设鱼眼镜头满足特定的投影模型，并采用标靶标定出投影模型参数，最后利用投影模型校正图像畸变。由于鱼眼镜头存在制造和安装误差，某个特定的投影模型难以准确地描述鱼眼镜头的成像过程，同时投影模型的标定过程比较繁琐。
综上所述，如何实现像素级的图像畸变校正方法，具有重要的实际意义。
发明内容
本发明提供一种鱼眼镜头的全场图像畸变校正方法，以解决上述背景技术中存在的问题。
为了实现上述目的，本发明采取的技术方案为：一种鱼眼镜头的全场图像畸变校正方法，具体包括以下步骤：
步骤S1：搭建一个鱼眼镜头畸变校正系统，包括鱼眼镜头、摄像机和液晶屏幕，其中鱼眼镜头安装在摄像机前端，且鱼眼镜头的光轴垂直于液晶屏幕，并确保液晶屏幕能够覆盖鱼眼镜头的视场范围；
步骤S2：建立液晶屏幕坐标系XOY，原点位于液晶屏幕的平面左上角，X轴平行于液晶屏幕的长度方向，Y轴平行于液晶屏幕的宽度方向；
步骤S3：设计动态标靶，包括五幅标靶图案In(x,y)，然后将五幅标靶图案In(x,y)依次显示于液晶屏幕上，同时摄像机依次采集五幅标靶图像Jn(u,v)；
步骤S4：分别计算出水平方向和垂直方向上的截断相位φu(u,v)和φv(u,v)，并利用时域相位展开法分别恢复出绝对相位Φu(u,v)和Φv(u,v)；
步骤S5：根据绝对相位Φu(u,v)和Φv(u,v)，建立摄像机的像素坐标(u,v)和液晶屏幕的像素坐标(x,y)的映射表(x,y)＝LUT(u,v)；
步骤S6：利用安装鱼眼镜头的摄像机拍摄未校正的场景图像Jdistort(u,v)，根据上述映射表(x,y)＝LUT(u,v)，将未校正的场景图像Jdistort(u,v)中所有像素映射至液晶屏幕坐标系XOY下，并通过插值运算获得校正的场景图像Icorrect(x,y)＝Jdistort[LUT(u,v)]。
进一步的，所述步骤S3中，设计的五幅标靶图案可表示为：
I0(x,y)＝0.5；
I1(x,y)＝0.5+0.5cos(2πx/T)；
I2(x,y)＝0.5+0.5sin(2πx/T)；
I3(x,y)＝0.5+0.5cos(2πy/T)；
I4(x,y)＝0.5+0.5sin(2πy/T)；
式中：(x,y)表示液晶屏幕的像素坐标，T表示水平方向和竖直方向上的条纹周期。
进一步的，所述步骤S3中，采集的五幅标靶图像可表示为：
J0(u,v)＝A(u,v)；
J1(u,v)＝A(u,v)+B(u,v)cos[φu(u,v)]；
J2(u,v)＝A(u,v)+B(u,v)sin[φu(u,v)]；
J3(u,v)＝A(u,v)+B(u,v)cos[φv(u,v)]；
J4(u,v)＝A(u,v)+B(u,v)sin[φv(u,v)]；
式中：(u,v)表示摄像机的像素坐标，A(u,v)表示相移条纹的背景强度，B(u,v)表示相移条纹的调制度，φu(u,v)和φv(u,v)分别表示水平方向和竖直方向的相位分布。
进一步的，所述步骤S4中，水平方向和垂直方向上的截断相位φu(u,v)和φv(u,v)计算公式为：
上述两个公式均包含反正切运算，因此解算得到的截断相位取值范围为[-π,+π]。
进一步的，所述步骤S4中，时域相位展开法可采用多频、多波长、格雷码、相位编码的通用方法；
其中，水平方向和垂直方向上的绝对相位Φu(u,v)和Φv(u,v)计算公式为：
Φu(u,v)＝φu(u,v)+2πku(u,v)；
Φv(u,v)＝φv(u,v)+2πkv(u,v)；
式中：ku(u,v)和kv(u,v)分别表示水平方向和竖直方向上的条纹级次。
进一步的，所述步骤S5中，映射表(x,y)＝LUT(u,v)可通过以下公式建立：
进一步地换算，转换为如下形式：
通过上述关系式，便可以建立液晶屏幕的像素坐标(x,y)和摄像机的像素坐标(u,v)之间的一一映射关系。
采用以上技术方案的有益效果是：
1、本发明提供的一种鱼眼镜头的全场图像畸变校正方法，无需假设鱼眼镜头满足某个特定的投影模型。
2、本发明提供的一种鱼眼镜头的全场图像畸变校正方法，能够实现像素级的图像畸变校正，适用性强。
3、本发明提供的一种鱼眼镜头的全场图像畸变校正方法，图像畸变校正过程比较简单。
附图说明
图1为鱼眼镜头畸变校正系统示意图；
图2为液晶屏幕显示的五幅标靶图案In(x,y)；
图3为摄像机采集的五幅标靶图像Jn(u,v)；
图4为标靶图案I1(x,y)和I2(x,y)的绝对相位Φx(x,y)；标靶图案I3(x,y)和I4(x,y)的绝对相位Φy(x,y)；标靶图像J1(u,v)和J2(u,v)的绝对相位Φu(u,v)；标靶图像J3(u,v)和J4(u,v)的绝对相位Φv(u,v)；
图5为未校正的棋盘格图像Jdistort(u,v)和校正的棋盘格图像Icorrect(x,y)；
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
如图1至图5所示，本发明是一种鱼眼镜头的全场图像畸变校正方法，无需假设鱼眼镜头满足某个特定的投影模型；能够实现像素级的图像畸变校正，适用性强；图像畸变校正过程比较简单。
实施例1：
如图1至图5所示，本发明是一种鱼眼镜头的全场图像畸变校正方法，具体包括以下步骤：
步骤S1：搭建一个鱼眼镜头畸变校正系统，包括鱼眼镜头、摄像机和液晶屏幕，其中鱼眼镜头安装在摄像机前端，且鱼眼镜头的光轴垂直于液晶屏幕，并确保液晶屏幕能够覆盖鱼眼镜头的视场范围；图1展示了鱼眼镜头畸变校正系统示意图；
步骤S2：建立液晶屏幕坐标系XOY，原点位于液晶屏幕的平面左上角，X轴平行于液晶屏幕的长度方向，Y轴平行于液晶屏幕的宽度方向；如图1所示；
步骤S3：设计动态标靶，包括五幅标靶图案In(x,y)，然后将五幅标靶图案In(x,y)依次显示于液晶屏幕上，同时摄像机依次采集五幅标靶图像Jn(u,v)；图2展示了液晶屏幕显示的五幅标靶图案In(x,y)；图3展示了摄像机采集的五幅标靶图像Jn(u,v)；
步骤S4：分别计算出水平方向和垂直方向上的截断相位φu(u,v)和φv(u,v)，并利用时域相位展开法分别恢复出绝对相位Φu(u,v)和Φv(u,v)；图4为标靶图案I1(x,y)和I2(x,y)的绝对相位Φx(x,y)，标靶图案I3(x,y)和I4(x,y)的绝对相位Φy(x,y)，标靶图像J1(u,v)和J2(u,v)的绝对相位Φu(u,v)，标靶图像J3(u,v)和J4(u,v)的绝对相位Φv(u,v)；
步骤S5：根据绝对相位Φu(u,v)和Φv(u,v)，建立摄像机的像素坐标(u,v)和液晶屏幕的像素坐标(x,y)的映射表(x,y)＝LUT(u,v)；如图4所示，假设液晶屏幕坐标系下的P点和摄像机坐标系下的Q点是一对映射点，且P点在水平方向和竖直方向上绝对相位分别为Φx(xP,yP)和Φy(xP,yP)，Q点在水平方向和竖直方向上绝对相位分别为Φu(uQ,vQ)和Φv(uQ,vQ)，我们可建立如下两个等式Φx(xP,yP)＝Φu(uQ,vQ)和Φy(xP,yP)＝Φv(uQ,vQ)，通过进一步换算得到xP＝T/2π×Φu(uQ,vQ)，yP＝T/2π×Φv(uQ,vQ)，这样便可以建立液晶屏幕的像素坐标(x,y)和摄像机的像素坐标(u,v)之间的一一映射关系；
步骤S6：利用安装鱼眼镜头的摄像机拍摄未校正的场景图像Jdistort(u,v)，根据上述映射表(x,y)＝LUT(u,v)，将未校正的场景图像Jdistort(u,v)中所有像素映射至液晶屏幕坐标系下，并通过插值运算获得校正的场景图像Icorrect(x,y)＝Jdistort[LUT(u,v)]；以棋盘格为例，图5展示了未校正的棋盘格图像Jdistort(u,v)和校正的棋盘格图像Icorrect(x,y)。
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (6)

1.一种鱼眼镜头的全场图像畸变校正方法，其特征在于：具体包括以下步骤：
步骤S1：搭建一个鱼眼镜头畸变校正系统，包括鱼眼镜头、摄像机和液晶屏幕，其中鱼眼镜头安装在摄像机前端，且鱼眼镜头的光轴垂直于液晶屏幕，并确保液晶屏幕能够覆盖鱼眼镜头的视场范围；
步骤S2：建立液晶屏幕坐标系XOY，原点位于液晶屏幕的平面左上角，X轴平行于液晶屏幕的长度方向，Y轴平行于液晶屏幕的宽度方向；
步骤S3：设计动态标靶，包括五幅标靶图案In(x,y)，然后将五幅标靶图案In(x,y)依次显示于液晶屏幕上，同时摄像机依次采集五幅标靶图像Jn(u,v)；
步骤S4：分别计算出水平方向和垂直方向上的截断相位φu(u,v)和φv(u,v)，并利用时域相位展开法分别恢复出绝对相位Φu(u,v)和Φv(u,v)；
步骤S5：根据绝对相位Φu(u,v)和Φv(u,v)，建立摄像机的像素坐标(u,v)和液晶屏幕的像素坐标(x,y)的映射表(x,y)＝LUT(u,v)；
步骤S6：利用安装鱼眼镜头的摄像机拍摄未校正的场景图像Jdistort(u,v)，根据上述映射表(x,y)＝LUT(u,v)，将未校正的场景图像Jdistort(u,v)中所有像素映射至液晶屏幕坐标系XOY下，并通过插值运算获得校正的场景图像Icorrect(x,y)＝Jdistort[LUT(u,v)]。
2.根据权利要求1所述的一种鱼眼镜头的全场图像畸变校正方法，其特征在于：所述步骤S3中，设计的五幅标靶图案可表示为：
I0(x,y)＝0.5；
I1(x,y)＝0.5+0.5cos(2πx/T)；
I2(x,y)＝0.5+0.5sin(2πx/T)；
I3(x,y)＝0.5+0.5cos(2πy/T)；
I4(x,y)＝0.5+0.5sin(2πy/T)；
式中：(x,y)表示液晶屏幕的像素坐标，T表示水平方向和竖直方向上的条纹周期。
3.根据权利要求1所述的一种鱼眼镜头的全场图像畸变校正方法，其特征在于：所述步骤S3中，采集的五幅标靶图像可表示为：
J0(u,v)＝A(u,v)；
J1(u,v)＝A(u,v)+B(u,v)cos[φu(u,v)]；
J2(u,v)＝A(u,v)+B(u,v)sin[φu(u,v)]；
J3(u,v)＝A(u,v)+B(u,v)cos[φv(u,v)]；
J4(u,v)＝A(u,v)+B(u,v)sin[φv(u,v)]；
式中：(u,v)表示摄像机的像素坐标，A(u,v)表示相移条纹的背景强度，B(u,v)表示相移条纹的调制度，φu(u,v)和φv(u,v)分别表示水平方向和竖直方向的相位分布。
4.根据权利要求1所述的一种鱼眼镜头的全场图像畸变校正方法，其特征在于：所述步骤S4中，水平方向和垂直方向上的截断相位φu(u,v)和φv(u,v)计算公式为：
上述两个公式均包含反正切运算，因此解算得到的截断相位取值范围为[-π,+π]。
5.根据权利要求1所述的一种鱼眼镜头的全场图像畸变校正方法，其特征在于：所述步骤S4中，时域相位展开法可采用多频、多波长、格雷码、相位编码的通用方法；
其中，水平方向和垂直方向上的绝对相位Φu(u,v)和Φv(u,v)计算公式为：
Φu(u,v)＝φu(u,v)+2πku(u,v)；
Φv(u,v)＝φv(u,v)+2πkv(u,v)；
式中：ku(u,v)和kv(u,v)分别表示水平方向和竖直方向上的条纹级次。
6.根据权利要求1所述的一种鱼眼镜头的全场图像畸变校正方法，其特征在于：所述步骤S5中，映射表(x,y)＝LUT(u,v)可通过以下公式建立：
进一步地换算，转换为如下形式：
通过上述关系式，便可以建立液晶屏幕的像素坐标(x,y)和摄像机的像素坐标(u,v)之间的一一映射关系。
CN202110941153.6A 2021-08-17 2021-08-17 一种鱼眼镜头的全场图像畸变校正方法 Active CN113643205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110941153.6A CN113643205B (zh) 2021-08-17 2021-08-17 一种鱼眼镜头的全场图像畸变校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110941153.6A CN113643205B (zh) 2021-08-17 2021-08-17 一种鱼眼镜头的全场图像畸变校正方法

Publications (2)

Publication Number Publication Date
CN113643205A CN113643205A (zh) 2021-11-12
CN113643205B true CN113643205B (zh) 2024-03-22

Family

ID=78422236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110941153.6A Active CN113643205B (zh) 2021-08-17 2021-08-17 一种鱼眼镜头的全场图像畸变校正方法

Country Status (1)

Country Link
CN (1) CN113643205B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN102509261A (zh) * 2011-10-10 2012-06-20 宁波大学 一种鱼眼镜头的畸变校正方法
KR20140072470A (ko) * 2012-12-05 2014-06-13 광운대학교 산학협력단 어안 렌즈용 왜곡 영상 처리 방법
KR20160040330A (ko) * 2014-07-30 2016-04-14 동의대학교 산학협력단 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
KR101623828B1 (ko) * 2015-03-31 2016-05-24 주식회사 아이디스 연산 속도를 개선한 어안 카메라의 왜곡 영상 보정장치
WO2017092631A1 (zh) * 2015-11-30 2017-06-08 宁波舜宇光电信息有限公司 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN111199528A (zh) * 2020-01-15 2020-05-26 江苏北斗星通汽车电子有限公司 一种鱼眼图像畸变矫正方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN102509261A (zh) * 2011-10-10 2012-06-20 宁波大学 一种鱼眼镜头的畸变校正方法
KR20140072470A (ko) * 2012-12-05 2014-06-13 광운대학교 산학협력단 어안 렌즈용 왜곡 영상 처리 방법
KR20160040330A (ko) * 2014-07-30 2016-04-14 동의대학교 산학협력단 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
KR101623828B1 (ko) * 2015-03-31 2016-05-24 주식회사 아이디스 연산 속도를 개선한 어안 카메라의 왜곡 영상 보정장치
WO2017092631A1 (zh) * 2015-11-30 2017-06-08 宁波舜宇光电信息有限公司 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN111199528A (zh) * 2020-01-15 2020-05-26 江苏北斗星通汽车电子有限公司 一种鱼眼图像畸变矫正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于全景相机的3D坐标测量方法;王启超;张维光;任永平;;电子测量技术;20171215(12);全文 *
鱼眼图像畸变校正技术研究;周小康;饶鹏;朱秋煜;陈忻;;工业控制计算机;20171025(10);全文 *

Also Published As

Publication number Publication date
CN113643205A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN111750806B (zh) 一种多视角三维测量系统及方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
US9195121B2 (en) Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
Chen et al. Accurate calibration for a camera–projector measurement system based on structured light projection
CN111243033B (zh) 一种优化双目相机外参数的方法
WO2021082264A1 (zh) 一种基于双目视觉的投影图像自动校正方法及系统
CN113160339B (zh) 一种基于沙姆定律的投影仪标定方法
CN108020175B (zh) 一种多光栅投影双目视觉舌体表面三维整体成像方法
CN110793464B (zh) 大视场条纹投影视觉三维测量系统和方法
CN107610183B (zh) 一种条纹投影相位高度转换映射模型的标定方法
CN108592884B (zh) 一种通用线阵卫星核线影像生成方法
CN104537616A (zh) 鱼眼图像畸变的校正方法
CN103942830B (zh) 直接利用存在非线性误差的相位实现场景三维重建的方法
CN101321303A (zh) 非平面多投影显示的几何与光学校正方法
CN104036475A (zh) 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法
CN103727898A (zh) 利用查找表修正非线性畸变的快速三维测量系统及方法
CN105094507B (zh) 一种实现3d ui中圆角图标焦点套合方法及系统
CN107018402B (zh) 裸眼三维显示器的图像误差修正方法及装置
CN112734860A (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN108627121B (zh) 一种镜面面形检测装置及其检测方法
CN113108721B (zh) 基于多光束自适应互补匹配的高反光物体三维测量方法
CN104168467A (zh) 运用时间序列结构光技术实现投影显示几何校正的方法
CN103292734A (zh) 相位测量系统中伽玛值标定方法
CN106023193A (zh) 一种用于浑浊介质中结构表面检测的阵列相机观测方法
CN113310432A (zh) 一种基于逐像素调控的自适应条纹投影三维测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant