CN106780374B - 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法 - Google Patents

Abstract

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，涉及一种畸变图像矫正方法，具体涉及一种鱼眼图像畸变矫正方法。为了解决现有的鱼眼图像校正方法无法在镜头内在参数、外在参数及畸变系数未知的情况下矫正切向畸变的问题。本发明首先对鱼眼图像进行坐标转换，并对假设的目标图像像素进行水平和垂直方向上的修正；然后根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点，将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像，实现对图像的矫正。针对批量图像，将步骤三得到的映射关系进行存储，对后续采集的鱼眼图像进行矫正；最后对鱼眼图像完成畸变矫正后的图像进行插值，得到最终处理后的图像。本发明适用于鱼眼图像的畸变矫正。

Description

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法

技术领域

本发明涉及一种畸变图像矫正方法，具体涉及一种鱼眼图像畸变矫正方法。

背景技术

实景成像技术是利用摄像头将采集的图像经过处理后实时还原实景的过程，也是目前视觉领域的基本方向之一。同时，实景成像技术广泛应用于立体视觉、运动分析、虚拟现实等领域。

鱼眼镜头在实景成像技术中被广泛使用，相比于普通镜头，鱼眼镜头最主要的优势在于其广阔的视角，可以采集更大范围实景的图像，但是鱼眼镜头存在的问题是所采集的图像在径向和切向上分别存在着一定程度的畸变，图像的畸变导致人眼无法直观地判断图像的真实景象。而如何消除鱼眼图像的畸变问题是目前实景成像技术中最迫切需要解决的问题，尤其是在镜头的内在参数、外在参数及畸变系数未知的情况下，消除鱼眼图像畸变矫正的实现更加困难。

目前消除鱼眼图像畸变的方法有应用经纬映射图像方法、多项式拟合方法及张正友标定法等，其中应为经纬映射图像方法是将单位球面图像上映射成矩形图像，其存在的问题在于只能矫正径向畸变，无法矫正切向畸变，即水平方向上的畸变无法得以矫正；多项式拟合方法是通过拟合多项式估计模型参数，其主要缺点在于计算量过大，从而直接导致图像的处理速度过慢；而张正友标定法是利用调整标定物的方向并采集大量的鱼眼图像，通过图像中的特征点估计出镜头的内在参数、外在参数及畸变系数，其缺点在于需要采集图像的数量过多，效率低下，同时利用此方法矫正鱼眼图像的视角过小。而且现有的鱼眼图像校正方法在镜头的内在参数、外在参数及畸变系数未知的情况下，存在的无法矫正切向畸变、计算量大及矫正视角小等问题。

发明内容

本发明为了解决现有的鱼眼图像校正方法无法在镜头内在参数、外在参数及畸变系数未知的情况下矫正切向畸变的问题。

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，包括以下步骤：

步骤一、将像素坐标表示对应位置上的像素，设鱼眼镜头采集的鱼眼图像的像素为(x_ts,y_ts)，对鱼眼图像的像素(x_ts,y_ts)进行坐标转换，将图像坐标原点从图像左上角移至图像中心，得到坐标转换后的鱼眼图像的像素(x_s,y_s)；

步骤二、将鱼眼图像畸变矫正后的图像记为目标图像，假设目标图像上某像素的为(x_d,y_d)，对假设的目标图像的像素(x_d,y_d)进行水平和垂直方向上的修正；

步骤三、根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点，将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像，即进行直角坐标与极坐标的转换，进而根据鱼眼图像得到矫正后的目标图像。

优选地，所述步骤二具体处理过程包括以下步骤：

步骤二一、假设目标图像上某像素的为(x_d,y_d)，在垂直方向加入垂直修正项△y，得到修正后的纵坐标y′_d：

y′_d＝y_d+△y

并根据以上修正关系得到目标图像像素的纵坐标y_d的表示形式：

其中，K_y为纵坐标修正系数；

步骤二二、对于步骤二一中完成垂直方向修正的目标图像，在水平方向加入水平修正项△x，得到修正后的横坐标x′_d：

△x＝K_xx_dy′_d ²

x′_d＝x_d+△x

并根据以上修正关系得到目标图像像素横坐标x_d的表示形式：

其中，K_x是横坐标修正系数；

步骤二三、将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角，得到经过坐标系转换后的目标图像像素(x_td,y_td)：

其中，w、h分别为图像的宽度和高度。

优选地，所述步骤三具体处理过程包括以下步骤：

步骤三一、利用坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)进行表示：

其中，f为鱼眼镜头焦距；

步骤三二、对于步骤三一得到的鱼眼图像像素(x_s,y_s)进行坐标转换，将坐标原点转移至鱼眼图像左上角，得到坐标转换后的鱼眼图像像素(x_ts,y_ts)；

步骤三三、对于步骤二三得到的经过坐标系转换后的目标图像像素(x_td,y_td)和步骤三二完成坐标转换后的鱼眼图像(x_ts,y_ts)进行像素坐标映射，将鱼眼图像各个坐标点的像素值赋值给修正后的目标图像相应坐标的像素。

优选地，一种基于鱼眼成像模型的鱼眼图像畸变矫正方法还包括以下步骤：

步骤四、将步骤三得到的映射关系进行存储，对后续采集的鱼眼图像进行矫正；

步骤五、对鱼眼图像完成畸变矫正后的图像进行插值，得到最终处理后的图像。

优选地，所述步骤四具体处理过程包括以下步骤：

步骤四一、定义一个与鱼眼图像相同尺寸的32位3通道的图像；

步骤四二、将后续采集的鱼眼图像各个像素点的横坐标存入至所述处理后的32位3通道图像的各个像素的第一通道，相应的纵坐标存入至所述处理后的32位3通道图像的各个像素的第二通道，所述处理后的32位3通道图像的第一通道和第二通道分别代表目标图像像素点对应的横坐标和纵坐标；

将后续采集的鱼眼图像各个像素点的坐标记为(x_i,y_i)，修正后的目标图像相应坐标记为(x_j,y_j)，将x_i的值存入至所述的32位3通道图像中像素坐标为(x_j,y_j)的第一通道，相应的纵坐标y_i的值存入至所述的32位3通道图像中像素坐标为(x_j,y_j)的第二通道，所述处理后的32位3通道图像的第一通道和第二通道分别代表鱼眼图像像素点对应的横坐标和纵坐标；

步骤四三、将所述处理后的32位3通道图像作为映射工具，批量将存入鱼眼图像的横纵坐标存入所述处理后的32位3通道图像，得到批量矫正处理的鱼眼图像，保证了处理的快速性。

优选地，步骤三一中所述的鱼眼镜头焦距

v为摄像头视场，K_f为焦距比例系数，通过手动调节至图像视野足够大时确定。

优选地，步骤三一所述的通过坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)进行表示的过程包括以下步骤：

根据鱼眼模型成像和针孔成像规律，并利用相似三角形的关系，得到鱼眼图像与目标图像的坐标转换关系：

其中，θ为入射角，(X,Y)为在针孔成型模型下图像上像素坐标，(x,y)为在鱼眼成像模型下图像上像素坐标(与(X,Y)的入射角相同的情况下)；

修正后目标图像对应于针孔成像模型，将修正后修正后目标图像像素坐标(x′_d,y′_d)替代针孔成型模型下图像上像素坐标(X,Y)；将鱼眼图像坐标(x_s,y_s)替代鱼眼成像模型下图像上像素坐标(x,y)，进而得到坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)的关系：

优选地，步骤二三所述将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角得到经过坐标系转换后的目标图像像素(x_td,y_td)的过程包括以下步骤：

将经过像素修正后的目标图像坐标原点转移至左上角的公式如下：

将

带入上述公式得到

优选地，步骤三二所述的将坐标原点转移至鱼眼图像左上角，得到坐标转换后的鱼眼图像像素(x_ts,y_ts)的过程包括以下步骤：

将鱼眼图像像素(x_s,y_s)坐标原点转移至左上角的公式如下：

然后将

带入上述公式，得到：

本发明具有以下效果：

1)在镜头的内在参数、外在参数及畸变系数未知的情况下，本发明也能够实现较大视角下的畸变图像径向和切向上的矫正，并且达到理想的矫正效果；同时本发明能够利用较少的计算量实现在较大视角下的畸变图像径向和切向矫正。

2)本发明的步骤四和步骤五给出了对于批量图像情况下的图像矫正方法，例如视频，每幅图像的处理不需要经过全部算法的实现，而是采用存储映射关系的方法，保证了同一个鱼眼镜头采集的所有图像均得以相同效果的畸变矫正，并且明显提高了图像处理的速度。

附图说明

图1至图5为利用本发明进行矫正过程的对比效果图；其中，图1为一幅鱼眼图像；图2为未对鱼眼图像进行水平和垂直方向上的修正处理得到的矫正图像；图3为只经过垂直方向修正得到的矫正图像；图4为经过垂直方向修正和水平方向修正后得到的矫正图像；图5为经过步骤一至三处理后并对图像进行插值得到最终的矫正图像。

图6为存储的与原鱼眼图像相同尺寸的32位3通道图像，图7为32位3通道图像中像素坐标的第一通道图像，图8为32位3通道图像中像素坐标的第二通道图像。

具体实施方式

具体实施方式一：

一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，包括以下步骤：

步骤一、将像素坐标表示对应位置上的像素，设鱼眼镜头采集的鱼眼图像的像素为(x_ts,y_ts)，对鱼眼图像的像素(x_ts,y_ts)进行坐标转换，将图像坐标原点从图像左上角移至图像中心，得到坐标转换后的鱼眼图像的像素(x_s,y_s)；对鱼眼图像的像素(x_ts,y_ts)进行坐标转换时需要将图像坐标原点从图像左上角移至图像中心，是因为在鱼眼图像的坐标系原点在鱼眼图像左上角；

步骤二、将鱼眼图像畸变矫正后的图像记为目标图像，假设目标图像上某像素的为(x_d,y_d)，对假设的目标图像的像素(x_d,y_d)进行水平和垂直方向上的修正；

步骤三、根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点，将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像，即进行直角坐标与极坐标的转换，进而根据鱼眼图像得到矫正后的目标图像。

具体实施方式二：

本实施方式所述步骤二具体处理过程包括以下步骤：

步骤二一、假设目标图像上某像素的为(x_d,y_d)，在垂直方向加入垂直修正项△y，得到修正后的纵坐标y′_d：

y′_d＝y_d+△y

并根据以上修正关系得到目标图像像素的纵坐标y_d的表示形式：

其中，K_y为纵坐标修正系数；

步骤二二、对于步骤二一中完成垂直方向修正的目标图像，在水平方向加入水平修正项△x，得到修正后的横坐标x′_d：

△x＝K_xx_dy′_d ²

x′_d＝x_d+△x

并根据以上修正关系得到目标图像像素横坐标x_d的表示形式：

其中，K_x是横坐标修正系数；

步骤二三、将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角，得到经过坐标系转换后的目标图像像素(x_td,y_td)：

其中，w、h分别为图像的宽度和高度。

其他步骤和参数与具体实施方式一相同。

具体实施方式三：

本实施方式所述步骤三具体处理过程包括以下步骤：

步骤三一、利用坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)进行表示：

其中，f为鱼眼镜头焦距；

步骤三二、对于步骤三一得到的鱼眼图像像素(x_s,y_s)进行坐标转换，将坐标原点转移至鱼眼图像左上角，得到坐标转换后的鱼眼图像像素(x_ts,y_ts)；

步骤三三、对于步骤二三得到的经过坐标系转换后的目标图像像素(x_td,y_td)和步骤三二完成坐标转换后的鱼眼图像(x_ts,y_ts)进行像素坐标映射，将鱼眼图像各个坐标点的像素值赋值给修正后的目标图像相应坐标的像素。

其他步骤和参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式所述一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，还包括以下步骤：

步骤四、将步骤三得到的映射关系进行存储，对后续采集的鱼眼图像进行矫正；

步骤五、对鱼眼图像完成畸变矫正后的图像进行插值，得到最终处理后的图像。

其他步骤和参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式所述步骤四具体处理过程包括以下步骤：

步骤四一、定义一个与鱼眼图像相同尺寸的32位3通道的图像；

步骤四二、将后续采集的鱼眼图像各个像素点的横坐标存入至所述处理后的32位3通道图像的各个像素的第一通道，相应的纵坐标存入至所述处理后的32位3通道图像的各个像素的第二通道，所述处理后的32位3通道图像的第一通道和第二通道分别代表目标图像像素点对应的横坐标和纵坐标；

将后续采集的鱼眼图像各个像素点的坐标记为(x_i,y_i)，修正后的目标图像相应坐标记为(x_j,y_j)，将x_i的值存入至所述的32位3通道图像中像素坐标为(x_j,y_j)的第一通道，相应的纵坐标y_i的值存入至所述的32位3通道图像中像素坐标为(x_j,y_j)的第二通道，所述处理后的32位3通道图像的第一通道和第二通道分别代表鱼眼图像像素点对应的横坐标和纵坐标；

步骤四三、将所述处理后的32位3通道图像作为映射工具，批量将存入鱼眼图像的横纵坐标存入所述处理后的32位3通道图像，得到批量矫正处理的鱼眼图像，保证了处理的快速性。

其他步骤和参数与具体实施方式一至四之一相同。

具体实施方式六：

本实施方式的步骤三一中所述的鱼眼镜头焦距

v为摄像头视场，K_f为焦距比例系数，通过手动调节至图像视野足够大时确定。

其他步骤和参数与具体实施方式一至五之一相同。

具体实施方式七：

本实施方式的步骤三一所述的通过坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)进行表示的过程包括以下步骤：

根据鱼眼模型成像和针孔成像规律，并利用相似三角形的关系，得到鱼眼图像与目标图像的坐标转换关系：

其中，θ为入射角，(X,Y)为在针孔成型模型下图像上像素坐标，(x,y)为在鱼眼成像模型下图像上像素坐标(与(X,Y)的入射角相同的情况下)；

修正后目标图像对应于针孔成像模型，将修正后修正后目标图像像素坐标(x′_d,y′_d)替代针孔成型模型下图像上像素坐标(X,Y)；将鱼眼图像坐标(x_s,y_s)替代鱼眼成像模型下图像上像素坐标(x,y)，进而得到坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)的关系：

其他步骤和参数与具体实施方式一至六之一相同。

具体实施方式八：

本实施方式的步骤二三所述将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角得到经过坐标系转换后的目标图像像素(x_td,y_td)的过程包括以下步骤：

将经过像素修正后的目标图像坐标原点转移至左上角的公式如下：

将

带入上述公式得到

其他步骤和参数与具体实施方式一至七之一相同。

具体实施方式九：

本实施方式的步骤三二所述的将坐标原点转移至鱼眼图像左上角，得到坐标转换后的鱼眼图像像素(x_ts,y_ts)的过程包括以下步骤：

将鱼眼图像像素(x_s,y_s)坐标原点转移至左上角的公式如下：

然后将

带入上述公式，得到：

其他步骤和参数与具体实施方式一至八之一相同。

实施例

一幅鱼眼图像如图1所示，利用本发明对鱼眼图像进行矫正，如果未对鱼眼图像进行步骤二中所述的对假设的目标图像的像素(x_d,y_d)进行水平和垂直方向上的修正处理，能够得到的矫正图像如图2所示，可见矫正图像仍然存在着图像畸变；按照步骤二一所述在垂直方向加入垂直修正项，得到的矫正图像如图3所示，并在水平方向加入水平修正项，得到的矫正图像如图4所示，也就是经过本发明完整的步骤二处理后得到的畸变矫正图像如图4所示，可见已经得到好的矫正效果；仅仅是图像的像素上还需要进一步处理，然后通过步骤五对图像进行插值，得到最终处理后的图像，如图5所示。

如果针对大批量的畸变图像进行处理，每幅图像都按照步骤一至三进行处理会造成重复过程而花费较多的时间，如果通过步骤四的处理，采用存储映射关系的方法，能够不用将每幅图片均进行处理，只要按照映射关系将图片进行处理即可，能够节省大量的图像处理时间；以图6至图8所示，说明步骤四一至步骤四三的处理效果，图6为存储的与原鱼眼图像相同尺寸的32位3通道图像，图7为32位3通道图像中像素坐标的第一通道图像，图8为32位3通道图像中像素坐标的第二通道图像。与现有的畸变图像处理方法相比，在处理相同数量的图像，本发明能够节约50％以上的时间，明显提高了图像处理的速度；并且处理的畸变图像越多，节省的时间越多，即本发明的处理效率越高；同时能够保证同一个鱼眼镜头采集的所有图像均得以相同效果的畸变矫正。

Claims (8)

1.一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，包括以下步骤：

步骤一、将像素坐标表示对应位置上的像素，设鱼眼镜头采集的鱼眼图像的像素为(x_ts,y_ts)，对鱼眼图像的像素(x_ts,y_ts)进行坐标转换，将图像坐标原点从图像左上角移至图像中心，得到坐标转换后的鱼眼图像的像素(x_s,y_s)；

步骤二、将鱼眼图像畸变矫正后的图像记为目标图像，假设目标图像上某像素的为(x_d,y_d)，对假设的目标图像的像素(x_d,y_d)进行水平和垂直方向上的修正；

步骤三、根据针孔成像模型的成像规律以及鱼眼成像模型的成像特点，将坐标修正后的目标图像映射到鱼眼镜头成像模型下的鱼眼图像，即进行直角坐标与极坐标的转换，进而根据鱼眼图像得到矫正后的目标图像；

所述步骤二具体处理过程包括以下步骤：

步骤二一、假设目标图像上某像素的为(x_d,y_d)，在垂直方向加入垂直修正项Δy，得到修正后的纵坐标y′_d：

y′_d＝y_d+Δy

并根据以上修正关系得到目标图像像素的纵坐标y_d的表示形式：

其中，K_y为纵坐标修正系数；

步骤二二、对于步骤二一中完成垂直方向修正的目标图像，在水平方向加入水平修正项Δx，得到修正后的横坐标x′_d：

x′_d＝x_d+Δx

并根据以上修正关系得到目标图像像素横坐标x_d的表示形式：

其中，K_x是横坐标修正系数；

步骤二三、将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角，得到经过坐标系转换后的目标图像像素(x_td,y_td)：

其中，w、h分别为图像的宽度和高度。

2.根据权利要求1所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，所述步骤三具体处理过程包括以下步骤：

步骤三一、利用坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)进行表示：

其中，f为鱼眼镜头焦距；

步骤三二、对于步骤三一得到的鱼眼图像像素(x_s,y_s)进行坐标转换，将坐标原点转移至鱼眼图像左上角，得到坐标转换后的鱼眼图像像素(x_ts,y_ts)；

步骤三三、对于步骤二三得到的经过坐标系转换后的目标图像像素(x_td,y_td)和步骤三二完成坐标转换后的鱼眼图像(x_ts,y_ts)进行像素坐标映射，将鱼眼图像各个坐标点的像素值赋值给修正后的目标图像相应坐标的像素。

3.根据权利要求1或2所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，所述方法还包括以下步骤：

步骤四、将步骤三得到的映射关系进行存储，对后续采集的鱼眼图像进行矫正；

步骤五、对鱼眼图像完成畸变矫正后的图像进行插值，得到最终处理后的图像。

4.根据权利要求3所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，所述步骤四具体处理过程包括以下步骤：

步骤四一、定义一个与鱼眼图像相同尺寸的32位3通道的图像；

步骤四二、将后续采集的鱼眼图像各个像素点的横坐标存入至所述处理后的32位3通道图像的各个像素的第一通道，相应的纵坐标存入至所述处理后的32位3通道图像的各个像素的第二通道，所述处理后的32位3通道图像的第一通道和第二通道分别代表目标图像像素点对应的横坐标和纵坐标；

将后续采集的鱼眼图像各个像素点的坐标记为(x_i,y_i)，修正后的目标图像相应坐标记为(x_j,y_j)，将x_i的值存入至所述的32位3通道图像中像素坐标为(x_j,y_j)的第一通道，相应的纵坐标y_i的值存入至所述的32位3通道图像中像素坐标为(x_j,y_j)的第二通道，所述处理后的32位3通道图像的第一通道和第二通道分别代表鱼眼图像像素点对应的横坐标和纵坐标；

步骤四三、将所述处理后的32位3通道图像作为映射工具，批量将存入鱼眼图像的横纵坐标存入所述处理后的32位3通道图像，得到批量矫正处理的鱼眼图像，保证了处理的快速性。

5.根据权利要求2所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，步骤三一中所述的鱼眼镜头焦距

v为摄像头视场，K_f为焦距比例系数。

6.根据权利要求5所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，步骤三一所述的利用坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)进行表示的过程包括以下步骤：

根据鱼眼模型成像和针孔成像规律，并利用相似三角形的关系，得到鱼眼图像与目标图像的坐标转换关系：

其中，θ为入射角，(X,Y)为在针孔成型模型下图像上像素坐标，(x,y)为在鱼眼成像模型下图像上像素坐标；

修正后目标图像对应于针孔成像模型，将修正后修正后目标图像像素坐标(x′_d,y′_d)替代针孔成型模型下图像上像素坐标(X,Y)；将鱼眼图像坐标(x_s,y_s)替代鱼眼成像模型下图像上像素坐标(x,y)，进而得到坐标修正后目标图像像素(x′_d,y′_d)对鱼眼图像像素(x_s,y_s)的关系：

7.根据权利要求6所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，步骤二三所述将经过像素修正后的目标图像的坐标原点转移至目标图像的左上角得到经过坐标系转换后的目标图像像素(x_td,y_td)的过程包括以下步骤：

将经过像素修正后的目标图像坐标原点转移至左上角的公式如下：

将

带入上述公式得到

8.根据权利要求6所述的一种基于鱼眼成像模型的鱼眼图像畸变矫正方法，其特征在于，步骤三二所述的将坐标原点转移至鱼眼图像左上角，得到坐标转换后的鱼眼图像像素(x_ts,y_ts)的过程包括以下步骤：

将鱼眼图像像素(x_s,y_s)坐标原点转移至左上角的公式如下：

然后将

带入上述公式，得到：

Images