CN106600549A - 鱼眼图像的矫正方法和装置 - Google Patents

Abstract

本发明公开了一种鱼眼图像的矫正方法，包括：通过全景摄像机预置的鱼眼镜头获取鱼眼图像；确定所述鱼眼图像的光学成像中心和球面半径；根据所述光学成像中心和所述球面半径建立双经度球面模型；根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。本发明还公开了一种鱼眼图像的矫正装置。本发明提高了鱼眼图像的矫正效果。

Description

鱼眼图像的矫正方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种鱼眼图像的矫正方法和装置。

背景技术

鱼眼镜头属于超广角镜头中的一种特殊镜头，它可以囊括180度甚至更大范围内的景物。但是由鱼眼镜头拍摄得到的图像一般存在很大程度的桶形或枕形畸变，需要对鱼眼图像进行校正才能进一步拼接成全景图像。

目前，现有的鱼眼图像矫正方法中，虽然获得一定的矫正效果，但是利用该方法进行矫正的过程中，对横竖排列等间距的方格矫正后，方格稠密程度会发生变化，越远离鱼眼图像中心的位置，矫正后得到的格子越密，越靠近鱼眼图像中心的位置，矫正后得到的格子越疏。从而使得矫正后得到的图像线性稠密程度远离客观世界，即得到矫正后的鱼眼图像不够真实，矫正效果不佳。

发明内容

本发明的主要目的在于提供一种鱼眼图像的矫正方法和装置，旨在提高鱼眼图像的矫正效果。

为实现上述目的，本发明提供了一种鱼眼图像的矫正方法，包括：

通过全景摄像机预置的鱼眼镜头获取鱼眼图像；

确定所述鱼眼图像的光学成像中心和球面半径；

根据所述光学成像中心和所述球面半径建立双经度球面模型；

根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；

通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。

优选地，所述通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像包括：

通过所述鱼眼镜头获取横竖间隔等距的栅格模板图像；

根据所述栅格模板图像与所述矫正图像计算预置的修复数学模型的参数值，以根据所述参数值确定目标修复数学模型；

根据所述目标修复数学模型，确定所述矫正图像中各个像素点与所述目标矫正图像中各个像素点之间的映射关系；

根据所述映射关系对所述矫正图像进行修复，以得到目标矫正图像。

优选地，所述根据所述映射关系对所述矫正图像进行修复包括：

当所述映射关系中所述矫正图像与所述目标矫正图像之间存在未映射像素点，且从所述目标矫正图像的像素位置映射至所述矫正图像的像素位置为小数时，根据所述矫正图像中映射处的相邻多个像素点，拟合确定出所述目标矫正图像中所对应的像素点值，以对所述矫正图像进行修复。

优选地，所述确定所述鱼眼图像的光学成像中心和球面半径包括：

对所述鱼眼图像进行边缘检测，以得到边缘图像；

获取所述边缘图像的边界坐标点，根据所述边界坐标点获取所述鱼眼图像的光学成像中心和球面半径。

优选地，所述根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像包括：

步骤一、将所述矫正图像中的各个坐标点转化为双经度值；

步骤二、将所述双经度值转化为所述双经度球面模型的球面上的三维坐标点；

步骤三、将所述三维坐标点转化为所述鱼眼图像的坐标点；

根据步骤一至步骤三确定出矫正图像各像素位置和鱼眼图像各像素之间的映射关系，以得到所述矫正图像像素值。

此外，为实现上述目的，本发明还提供了一种鱼眼图像的矫正装置，包括：

获取模块，用于通过全景摄像机预置的鱼眼镜头获取鱼眼图像；

确定模块，用于确定所述鱼眼图像的光学成像中心和球面半径；

建立模块，用于根据所述光学成像中心和所述球面半径建立双经度球面模型；

矫正模块，用于根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；

修复模块，用于通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。

优选地，所述修复模块包括：

第一获取单元，用于通过所述鱼眼镜头获取横竖间隔等距的栅格模板图像；

计算单元，用于根据所述栅格模板图像与所述矫正图像计算预置的修复数学模型的参数值，以根据所述参数值确定目标修复数学模型；

第一确定单元，用于根据所述目标修复数学模型，确定所述矫正图像中各个像素点与所述目标矫正图像中各个像素点之间的映射关系；

修复单元，用于根据所述映射关系对所述矫正图像进行修复，以得到目标矫正图像。

优选地，所述修复单元还用于，当所述映射关系中所述矫正图像与所述目标矫正图像之间存在未映射像素点，且从所述目标矫正图像的像素位置映射至所述矫正图像的像素位置为小数时，根据所述矫正图像中映射处的相邻多个像素点，拟合确定出所述目标矫正图像中所对应的像素点值，以对所述矫正图像进行修复。

优选地，所述确定模块还用于，对所述鱼眼图像进行边缘检测，以得到边缘图像；获取所述边缘图像的边界坐标点，根据所述边界坐标点获取所述鱼眼图像的光学成像中心和球面半径。

优选地，所述矫正模块包括：

第一转化单元，用于将所述矫正图像中的各个坐标点转化为双经度值；

第二转化单元，用于将所述双经度值转化为所述双经度球面模型的球面上的三维坐标点；

第三转化单元，用于将所述三维坐标点转化为所述鱼眼图像的坐标点；

第二获取单元，用于根据第一转化单元、第二转化单元及第三转化单元确定出矫正图像各像素位置和鱼眼图像各像素之间的映射关系，以得到所述矫正图像像素值。

本发明实施例提供的鱼眼图像的矫正方法和装置，通过全景摄像机预置的鱼眼镜头获取鱼眼图像后，根据该鱼眼图像的光学成像中心和球面半径建立双经度球面模型，然后根据该双经度球面模型对鱼眼图像进行矫正得到矫正图像，再通过目标修复数学模型对矫正图像进行修复得到目标矫正图像。从而通过对矫正图像进行修复，不仅可以矫正鱼眼图像的桶形畸变或枕形畸变，而且使得鱼眼图像线性稠密程度越接近现实客观世界，即使得鱼眼图像更加真实，提高了鱼眼图像的矫正效果。

附图说明

图1为本发明鱼眼图像的矫正方法第一实施例的流程示意图；

图2为本发明鱼眼图像的矫正方法第二实施例的流程示意图；

图3(a)为本发明矫正图像坐标图的示意图；

图3(b)为本发明双经度球面模型俯视图的示意图；

图3(c)为本发明双经度球面模型侧视图的示意图；

图3(d)为本发明由矫正图像逆向映射得到原鱼眼图像坐标图的示意图；

图4(a)为本发明矫正前鱼眼图像的示意图；

图4(b)为本发明矫正后得到矫正图像的示意图；

图4(c)为本发明修复后得到目标矫正图像的示意图；

图5为本发明鱼眼图像的矫正装置第一实施例的功能模块示意图；

图6为本发明鱼眼图像的矫正装置第二实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，示出了本发明一种鱼眼图像的矫正方法第一实施例。该实施例的鱼眼图像的矫正方法包括：

步骤S10、通过全景摄像机预置的鱼眼镜头获取鱼眼图像；

本实施例中，全景摄像机可通过鱼眼镜头进行图像采集，还可以根据实际需要对采集到的鱼眼图像进行校正，再将矫正后的图像进一步拼接成全景图像。该鱼眼镜头可以应用于安全监测、视频会议、机器人导航、全景泊车、智能交通、医疗检测及机器视觉等场合。具体地，首先通过全景摄像机预置的鱼眼镜头采集鱼眼图像，然后对鱼眼图像进行矫正。

步骤S20、确定所述鱼眼图像的光学成像中心和球面半径；

在鱼眼镜头采集得到鱼眼图像后，全景摄像机可根据鱼眼图像边界的坐标点获取该鱼眼图像的光学成像中心，然后根据该鱼眼图像的光学成像中心及鱼眼图像边界的坐标点获取鱼眼图像成像半径。该鱼眼图像成像半径可定义为双经度模型的球面半径，这样矫正图像分辨率和鱼眼图像一样大，可以通过调整半径来调整矫正图像的分辨率。

鱼眼图像的光学中心和球面半径可通过面积统计法、扫描逼近算法或最小二乘拟合法进行获取。

步骤S30、根据所述光学成像中心和所述球面半径建立双经度球面模型；

当得到鱼眼图像的光学成像中心和球面半径后，通过将鱼眼图像映射至半径为球面半径大小的半球上，从而建立双经度球面模型，如图3(b)所示，为双经度球面模型俯视图；如图3(c)所示，双经度球面模型侧视图。

步骤S40、根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；

在得到双经度球面模型后，根据该双经度球面模型可以确定鱼眼图像与矫正图像之间的对应关系。为了减少或避免出现通过鱼眼图像坐标点最终映射到平面坐标而形成矫正图像时，有部分映射点为非整数，导致矫正图像产生大量的空隙，因此可采用逆向映射的方法，由矫正图像的坐标点反向映射至鱼眼图像的对应坐标点，以得到矫正图像和鱼眼图像之间的坐标映射关系。

需要说明的是，可以对矫正图像和鱼眼图像之间，坐标点的对应关系和角度的对应关系进行映射。在对鱼眼图像进行矫正的过程中，还可以根据矫正图像的效果，对球面半径进行微调，以达到最佳视觉效果。

如图3(a)所示，为矫正图像的坐标图；如图3(d)所示，为原鱼眼图像坐标图。根据矫正图像和鱼眼图像的坐标索引映射关系，可以通过双线性插值算法计算矫正图像相应像素值，从而得到矫正图像。以下实施例将进行详细说明。

步骤S50、通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。

本实施例中，可预先设置矫正图像与目标矫正图像之间的修复数学模型，优选地，该修复数学模型可设置为：其中，d₁(θ)为双经度球面模型进行矫正后得到的矫正图像，d₂(θ)为经目标修复数学模型进行稠密均匀性修复后得到的目标矫正图像，a₁、a₂、a₃为d₁(θ)和d₂(θ)之间映射关系的参数，当确定a₁、a₂、a₃的取值后，可得到目标修复数学模型。全景摄像机根据该目标修复数学模型，可确定矫正图像的像素点与目标矫正图像的像素点之间的映射关系，对矫正图像进行修复，从而得到目标矫正图像。

如图4所示，为鱼眼图像矫正前后的对比示意图，由图可知，图4(a)中，矫正前的鱼眼图像中，横竖排列方格之间的稠密程度相差比较大，出现明显的桶形或枕形畸变。经过双经度球面模型进行矫正后得到的矫正图像中的方格之间稠密程度如图4(b)所示，矫正图像畸变有所改善，但是，仍然存在越远离鱼眼图像中心的位置，矫正后得到的格子越密，越靠近鱼眼图像中心的位置，矫正后得到的格子越疏的情况。对矫正图像进一步修复得到目标矫正图像的横竖排列方格如图4(c)所示，方格之间稠密程度比较均匀，实现了对矫正图像进行稠密均匀性的修复。

本发明实施例通过全景摄像机预置的鱼眼镜头获取鱼眼图像后，根据该鱼眼图像的光学成像中心和球面半径建立双经度球面模型，然后根据该双经度球面模型对鱼眼图像进行矫正得到矫正图像，再通过目标修复数学模型对矫正图像进行修复得到目标矫正图像。从而通过对矫正图像进行修复，不仅可以矫正鱼眼图像的桶形畸变或枕形畸变，而且使得鱼眼图像线性稠密程度越接近现实客观世界，即使得鱼眼图像更加真实，提高了鱼眼图像的矫正效果。

进一步地，如图2所示，基于上述鱼眼图像的矫正方法第一实施例，提出了本发明鱼眼图像的矫正方法第二实施例，该实施例中上述步骤S50包括：

步骤S51、通过所述鱼眼镜头获取横竖间隔等距的栅格模板图像；

步骤S52、根据所述栅格模板图像与所述矫正图像计算预置的修复数学模型的参数值，以根据所述参数值确定目标修复数学模型；

步骤S53、根据所述目标修复数学模型，确定所述矫正图像中各个像素点与所述目标矫正图像中各个像素点之间的映射关系；

步骤S54、根据所述映射关系对所述矫正图像进行修复，以得到目标矫正图像。

本实施例中，在目标修复数学模型对矫正图像进行修复得到目标矫正图像的过程中，首先，需要准备好横竖间隔等距的栅格模板，并通过上述全景摄像机的鱼眼镜头采集该栅格模板的图像，得到栅格模板图像。建立与上述一致的稠密均匀性的修复数学模型：其中，a₁、a₂、a₃为d₁(θ)和d₂(θ)之间映射关系的参数值。假设d_i,(i＝1,2)表示各像素点至鱼眼图像光学中心的距离，因为鱼眼光学中心坐标是(a,b)，所以d₁(θ)为双经度球面模型进行矫正后得到的矫正图像，如图4(b)所示，d₂(θ)为经目标修复数学模型进行稠密均匀性修复后得到的目标矫正图像，如图4(c)所示。

得到修复数学模型后，根据栅格模板图像与矫正图像计算该修复数学模型的参数值a1、a2、a3，具体地，方式一，根据栅格模板图像中栅格上若干组交叉点的坐标，与矫正图像中对应的坐标点，分别求解出修复数学模型参数中的a1、a2、a3的值，其中，栅格模板图像中的坐标点对应修复数学模型中的d₂(θ)，矫正图像中的坐标点对应修复数学模型中d₁(θ)。然后将各组得到的值取平均值设定为最终确定的参数值a1、a2、a3。方式二，根据栅格模板图像中栅格上很多组交叉点的坐标，与矫正图像中对应的坐标点，很多对应点，利用最小二乘法求解求解出修复数学模型参数中的参数值a1、a2、a3。

确定参数值的具体取值后，可将确定的参数值代入修复数学模型，得到目标修复数学模型。根据该目标修复数学模型，可以确定矫正图像中各个像素点与目标矫正图像中各个像素点之间的映射关系。然后通过目标修复数学模型参数对双经度球面模型鱼眼矫正后的矫正图像进行稠密均匀性的统一修复，修复的效果如图4(c)所示。

本实施例通过目标修复数学模型，对矫正图像进行修复得到目标矫正图像，使得获取到的目标图像中远离离鱼眼图像中心的位置和靠近鱼眼图像中心的位置，横竖排列方格之间的间隔都比较均匀，稠密程度越接近近现实客观世界，从而得到的目标矫正图像更真实，提高了鱼眼图像的矫正效果。

进一步地，基于上述鱼眼图像的矫正方法第二实施例，提出了本发明鱼眼图像的矫正方法第三实施例，该实施例中上述步骤S54包括：当所述映射关系中所述矫正图像与所述目标矫正图像之间存在未映射像素点，且从所述目标矫正图像的像素位置映射至所述矫正图像的像素位置为小数时，根据所述矫正图像中映射处的相邻多个像素点，拟合确定出所述目标矫正图像中所对应的像素点值，以对所述矫正图像进行修复。

本实施例中，由于在根据该目标修复数学模型，确定矫正图像中各个像素点与目标矫正图像中各个像素点之间的映射关系，对矫正图像进行修复的过程中，可能会存在根据矫正图像中的像素点映射得到的映射点为非整数，导致目标矫正图像产生的空隙，因此，当映射点为非整数时，可通过对该值相邻的4个整数坐标像素进行双线性插值，从而求得对应的目标矫正图像中的像素值。

本实施例通过根据双线性插值法对映射位置为非整数位置进行多像素拟合出所对应的目标矫正图像像素值，使得目标矫正图像更加完整，提高了对矫正图像进行修复的可靠性。

进一步地，基于上述鱼眼图像的矫正方法第一实施例，提出了本发明鱼眼图像的矫正方法第四实施例，该实施例中上述步骤S20包括：对所述鱼眼图像进行边缘检测，以得到边缘图像；获取所述边缘图像的边界坐标点，根据所述边界坐标点获取所述鱼眼图像的光学成像中心和球面半径。

本实施例中，在获取鱼眼图像的光学成像中心和球面半径的过程中，首先用soble算子对鱼眼图像进行边缘检测，以得到边缘检测图像。soble算子是利用梯度与差分原理组成的锐化算子，它可以用来增强图像中那些灰度发生变化的点和线，标准的soble算子的定义为：

其中，S表示soble算子，

由soble算子可得到鱼眼图像的边缘点：x(i)，y(i)，i＝1，2，......，n。

然后获取边缘图像的边界坐标点来确定鱼眼图像的光学成像中心和球面半径，具体地，利用最小二乘拟合法确定圆心(a，b)和半径r。

定义为方差，方差趋向于最小的圆心和半径即为所求的圆。最小二次法拟合圆参数表达式为：

其中，x、y参数用以下表达式表示，

其中，(x_i,y_i)为边缘图像中的边界点坐标，(a，b)为圆的中心坐标(即光学成像中心)，E表示所有边界点的集合，r为所需求出的半径(即球面半径)。

本实施例通过对鱼眼图像进行边缘检测后，获取边缘图像的边界坐标点，计算鱼眼图像的光学成像中心和球面半径，提高了光学成像中心和球面半径计算的准确性。

进一步地，基于上述鱼眼图像的矫正方法第一、第二、第三或第四实施例，提出了本发明鱼眼图像的矫正方法第五实施例，该实施例中上述步骤S40包括：

步骤一、将所述矫正图像中的各个坐标点转化为双经度值；

步骤二、将所述双经度值转化为所述双经度球面模型的球面上的三维坐标点；

步骤三、将所述三维坐标点转化为所述鱼眼图像的坐标点；

根据步骤一至步骤三确定出矫正图像各像素位置和鱼眼图像各像素之间的映射关系，以得到所述矫正图像像素值。

本实施例中，上述在根据双经度球面模型对鱼眼图像进行矫正的过程中，采用逆向映射法，将矫正图像中的各个坐标点转化为半球面的双经度值，即将矫正图像的坐标点转换成半球面双经度坐标点。然后将双经度坐标点映射为球面三维坐标，最后通过对球面三维坐标进行正交投影法或等距投影，将矫正图像中的各个坐标点转化为鱼眼图像的坐标点，具体实施时，将以等距投影法进行说明。

具体地，将矫正图像中的坐标点(i,j)转化为双经度值(α,β)的映射关系式为：

其中，r表示双经度球面模型的半径，α表示双经度坐标中竖直方向经度线经度值，β表示水平方向经度线经度值，(i,j)表示矫正图像上点p'的坐标值，如图3(a)所示。

其次，将双经度值(α,β)转化为双经度球面模型的球面上的三维坐标点(x,y,z)，具体地，双经度值(α,β)转化为球面点三维坐标点(x,y,z)的关系式为：

其中，

再将球面上的三维坐标点(x,y,z)映射到鱼眼图像对应的坐标点(v,u)，从而映射得到三维坐标点(x,y,z)与鱼眼图像中的坐标点(v,u)之间的关系式为：

其中，x₀、y₀为鱼眼图像中心点o"位置，如图3(d)所示。

然后根据矫正图像和鱼眼图像之间像素的坐标映射关系，利用双线性插值算法计算出矫正图像中像素点(i,j)对应的像素值，从而得到矫正图像。

本实施例采用逆向映射法可将矫正图像中的坐标点映射为鱼眼图像的坐标点，再根据逆向得到的鱼眼图像坐标点的像素值确定矫正图像对应坐标点的像素值，以得到矫正图像，减少或避免出现通过鱼眼图像坐标点映射至矫正图像方式对矫正图像坐标点像素赋值时，存在矫正图像坐标没有被映射到的坐标点，导致矫正图像出现空隙，提高了获取矫正图像的可靠性。

对应地，如图5所示，提出本发明一种鱼眼图像的矫正装置第一实施例。该实施例的鱼眼图像的矫正装置包括：

获取模块100，用于通过全景摄像机预置的鱼眼镜头获取鱼眼图像；

本实施例中，全景摄像机可通过鱼眼镜头进行图像采集，还可以根据实际需要对采集到的鱼眼图像进行校正，再将矫正后的图像进一步拼接成全景图像。该鱼眼镜头可以应用于安全监测、视频会议、机器人导航、全景泊车、智能交通、医疗检测及机器视觉等场合。具体地，首先由获取模块100通过全景摄像机预置的鱼眼镜头采集鱼眼图像，然后对鱼眼图像进行矫正。

确定模块200，用于确定所述鱼眼图像的光学成像中心和球面半径；

在鱼眼镜头采集得到鱼眼图像后，确定模块200根据鱼眼图像边界的坐标点获取该鱼眼图像的光学成像中心，然后根据该鱼眼图像的光学成像中心及鱼眼图像边界的坐标点获取鱼眼图像成像半径。该鱼眼图像成像半径可定义为双经度模型的球面半径，这样矫正图像分辨率和鱼眼图像一样大，可以通过调整半径来调整矫正图像的分辨率。

鱼眼图像的光学中心和球面半径可通过面积统计法、扫描逼近算法或最小二乘拟合法进行获取。

建立模块300，用于根据所述光学成像中心和所述球面半径建立双经度球面模型；

当得到鱼眼图像的光学成像中心和球面半径后，建立模块300通过将鱼眼图像映射至半径为球面半径大小的半球上，从而建立双经度球面模型，如图3(b)所示，为双经度球面模型俯视图；如图3(c)所示，双经度球面模型侧视图。

矫正模块400，用于根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；

在得到双经度球面模型后，矫正模块400根据该双经度球面模型可以确定鱼眼图像与矫正图像之间的对应关系。为了减少或避免出现通过鱼眼图像坐标点最终映射到平面坐标而形成矫正图像时，有部分映射点为非整数，导致矫正图像产生大量的空隙，因此可采用逆向映射的方法，由矫正图像的坐标点反向映射至鱼眼图像的对应坐标点，以得到矫正图像和鱼眼图像之间的坐标映射关系。

需要说明的是，可以对矫正图像和鱼眼图像之间，坐标点的对应关系和角度的对应关系进行映射。在对鱼眼图像进行矫正的过程中，还可以根据矫正图像的效果，对球面半径进行微调，以达到最佳视觉效果。

如图3(a)所示，为矫正图像的坐标图；如图3(d)所示，为原鱼眼图像坐标图。根据矫正图像和鱼眼图像的坐标索引映射关系，可以通过双线性插值算法计算矫正图像相应像素值，从而得到矫正图像。以下实施例将进行详细说明。

修复模块500，用于通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。

本实施例中，可预先设置矫正图像与目标矫正图像之间的修复数学模型，优选地，该修复数学模型可设置为：其中，d₁(θ)为双经度球面模型进行矫正后得到的矫正图像，d₂(θ)为经目标修复数学模型进行稠密均匀性修复后得到的目标矫正图像，a₁、a₂、a₃为d₁(θ)和d₂(θ)之间映射关系的参数，当确定a₁、a₂、a₃的取值后，可得到目标修复数学模型。修复模块500根据该目标修复数学模型，可确定矫正图像的像素点与目标矫正图像的像素点之间的映射关系，对矫正图像进行修复，从而得到目标矫正图像。

如图4所示，为鱼眼图像矫正前后的对比示意图，由图可知，图4(a)中，矫正前的鱼眼图像中，横竖排列方格之间的稠密程度相差比较大，出现明显的桶形或枕形畸变。经过双经度球面模型进行矫正后得到的矫正图像中的方格之间稠密程度如图4(b)所示，矫正图像畸变有所改善，但是，仍然存在越远离鱼眼图像中心的位置，矫正后得到的格子越密，越靠近鱼眼图像中心的位置，矫正后得到的格子越疏的情况。对矫正图像进一步修复得到目标矫正图像的横竖排列方格如图4(c)所示，方格之间稠密程度比较均匀，实现了对矫正图像进行稠密均匀性的修复。

本发明实施例通过全景摄像机预置的鱼眼镜头获取鱼眼图像后，根据该鱼眼图像的光学成像中心和球面半径建立双经度球面模型，然后根据该双经度球面模型对鱼眼图像进行矫正得到矫正图像，再通过目标修复数学模型对矫正图像进行修复得到目标矫正图像。从而通过对矫正图像进行修复，不仅可以矫正鱼眼图像的桶形畸变或枕形畸变，而且使得鱼眼图像线性稠密程度越接近现实客观世界，即使得鱼眼图像更加真实，提高了鱼眼图像的矫正效果。

进一步地，如图6所示，基于上述鱼眼图像的矫正装置第一实施例，提出了本发明鱼眼图像的矫正装置第二实施例，该实施例中上述修复模块500包括：

第一获取单元510，用于通过所述鱼眼镜头获取横竖间隔等距的栅格模板图像；

计算单元520，用于根据所述栅格模板图像与所述矫正图像计算预置的修复数学模型的参数值，以根据所述参数值确定目标修复数学模型；

第一确定单元530，用于根据所述目标修复数学模型，确定所述矫正图像中各个像素点与所述目标矫正图像中各个像素点之间的映射关系；

修复单元540，用于根据所述映射关系对所述矫正图像进行修复，以得到目标矫正图像。

本实施例中，在目标修复数学模型对矫正图像进行修复得到目标矫正图像的过程中，首先，需要准备好横竖间隔等距的栅格模板，并由第一获取单元510通过上述全景摄像机的鱼眼镜头采集该栅格模板的图像，得到栅格模板图像。建立与上述一致的稠密均匀性的修复数学模型：其中，a₁、a₂、a₃为d₁(θ)和d₂(θ)之间映射关系的参数值。假设d_i,(i＝1,2)表示各像素点至鱼眼图像光学中心的距离，因为鱼眼光学中心坐标是(a,b)，所以d₁(θ)为双经度球面模型进行矫正后得到的矫正图像，如图4(b)所示，d₂(θ)为经目标修复数学模型进行稠密均匀性修复后得到的目标矫正图像，如图4(c)所示。

得到修复数学模型后，计算单元520根据栅格模板图像与矫正图像计算该修复数学模型的参数值a1、a2、a3，具体地，方式一，根据栅格模板图像中栅格上若干组交叉点的坐标，与矫正图像中对应的坐标点，分别求解出修复数学模型参数中的a1、a2、a3的值，其中，栅格模板图像中的坐标点对应修复数学模型中的d₂(θ)，矫正图像中的坐标点对应修复数学模型中d₁(θ)。然后将各组得到的值取平均值设定为最终确定的参数值a1、a2、a3。方式二，根据栅格模板图像中栅格上很多组交叉点的坐标，与矫正图像中对应的坐标点，很多对应点，利用最小二乘法求解求解出修复数学模型参数中的参数值a1、a2、a3。

确定参数值的具体取值后，可将确定的参数值代入修复数学模型，得到目标修复数学模型。第一确定单元530根据该目标修复数学模型，可以确定矫正图像中各个像素点与目标矫正图像中各个像素点之间的映射关系。然后修复单元540通过目标修复数学模型参数对双经度球面模型鱼眼矫正后的矫正图像进行稠密均匀性的统一修复，修复的效果如图4(c)所示。

本实施例通过目标修复数学模型，对矫正图像进行修复得到目标矫正图像，使得获取到的目标图像中远离离鱼眼图像中心的位置和靠近鱼眼图像中心的位置，横竖排列方格之间的间隔都比较均匀，稠密程度越接近近现实客观世界，从而得到的目标矫正图像更真实，提高了鱼眼图像的矫正效果。

进一步地，基于上述鱼眼图像的矫正装置第二实施例，提出了本发明鱼眼图像的矫正装置第三实施例，该实施例中上述修复单元540还用于，当所述映射关系中所述矫正图像与所述目标矫正图像之间存在未映射像素点，且从所述目标矫正图像的像素位置映射至所述矫正图像的像素位置为小数时，根据所述矫正图像中映射处的相邻多个像素点，拟合确定出所述目标矫正图像中所对应的像素点值，以对所述矫正图像进行修复。

本实施例中，由于在根据该目标修复数学模型，确定矫正图像中各个像素点与目标矫正图像中各个像素点之间的映射关系，对矫正图像进行修复的过程中，可能会存在根据矫正图像中的像素点映射得到的映射点为非整数，导致目标矫正图像产生的空隙，因此，当映射点为非整数时，修复单元540通过对该值相邻的4个整数坐标像素进行双线性插值，从而求得对应的目标矫正图像中的像素值。

本实施例通过根据双线性插值法对映射位置为非整数位置进行多像素拟合出所对应的目标矫正图像像素值，使得目标矫正图像更加完整，提高了对矫正图像进行修复的可靠性。

进一步地，基于上述鱼眼图像的矫正装置第一实施例，提出了本发明鱼眼图像的矫正装置第四实施例，该实施例中上述确定模块200还用于，对所述鱼眼图像进行边缘检测，以得到边缘图像；获取所述边缘图像的边界坐标点，根据所述边界坐标点获取所述鱼眼图像的光学成像中心和球面半径。

本实施例中，在获取鱼眼图像的光学成像中心和球面半径的过程中，确定模块200首先用soble算子对鱼眼图像进行边缘检测，以得到边缘检测图像。soble算子是利用梯度与差分原理组成的锐化算子，它可以用来增强图像中那些灰度发生变化的点和线，标准的soble算子的定义为：

其中，S表示soble算子，

由soble算子可得到鱼眼图像的边缘点：x(i)，y(i)，i＝1，2，......，n。

然后确定模块200获取边缘图像的边界坐标点来确定鱼眼图像的光学成像中心和球面半径，具体地，利用最小二乘拟合法确定圆心(a，b)和半径r。

定义为方差，方差趋向于最小的圆心和半径即为所求的圆。最小二次法拟合圆参数表达式为：

其中，x、y参数用以下表达式表示，

其中，(x_i,y_i)为边缘图像中的边界点坐标，(a，b)为圆的中心坐标(即光学成像中心)，E表示所有边界点的集合，r为所需求出的半径(即球面半径)。

本实施例通过对鱼眼图像进行边缘检测后，获取边缘图像的边界坐标点，计算鱼眼图像的光学成像中心和球面半径，提高了光学成像中心和球面半径计算的准确性。

进一步地，基于上述鱼眼图像的矫正装置第一、第二、第三或第四实施例，提出了本发明鱼眼图像的矫正装置第五实施例，该实施例中上述鱼眼图像的矫正模块400包括：

第一转化单元，用于将所述矫正图像中的各个坐标点转化为双经度值；

第二转化单元，用于将所述双经度值转化为所述双经度球面模型的球面上的三维坐标点；

第三转化单元，用于将所述三维坐标点转化为所述鱼眼图像的坐标点；

第二获取单元，用于根据第一转化单元、第二转化单元及第三转化单元确定出矫正图像各像素位置和鱼眼图像各像素之间的映射关系，以得到所述矫正图像像素值。

本实施例中，上述在根据双经度球面模型对鱼眼图像进行矫正的过程中，采用逆向映射法，由第一转化单元将矫正图像中的各个坐标点转化为半球面的双经度值，即将矫正图像的坐标点转换成半球面双经度坐标点。然后将双经度坐标点映射为球面三维坐标，最后通过对球面三维坐标进行正交投影法或等距投影，将矫正图像中的各个坐标点转化为鱼眼图像的坐标点，具体实施时，将以等距投影法进行说明。

具体地，将矫正图像中的坐标点(i,j)转化为双经度值(α,β)的映射关系式为：

其中，r表示双经度球面模型的半径，α表示双经度坐标中竖直方向经度线经度值，β表示水平方向经度线经度值，(i,j)表示矫正图像上点p'的坐标值，如图3(a)所示。

其次，第二转化单元将双经度值(α,β)转化为双经度球面模型的球面上的三维坐标点(x,y,z)，具体地，双经度值(α,β)转化为球面点三维坐标点(x,y,z)的关系式为：

其中，

第三转化单元再将球面上的三维坐标点(x,y,z)映射到鱼眼图像对应的坐标点(v,u)，从而映射得到三维坐标点(x,y,z)与鱼眼图像中的坐标点(v,u)之间的关系式为：

其中，x₀、y₀为鱼眼图像中心点o″位置，如图3(d)所示。

然后根据矫正图像和鱼眼图像之间像素的坐标映射关系，利用双线性插值算法计算出矫正图像中像素点(i,j)对应的像素值，从而得到矫正图像。

本实施例采用逆向映射法可将矫正图像中的坐标点映射为鱼眼图像的坐标点，再根据逆向得到的鱼眼图像坐标点的像素值确定矫正图像对应坐标点的像素值，以得到矫正图像，减少或避免出现通过鱼眼图像坐标点映射至矫正图像方式对矫正图像坐标点像素赋值时，存在矫正图像坐标没有被映射到的坐标点，导致矫正图像出现空隙，提高了获取矫正图像的可靠性。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种鱼眼图像的矫正方法，其特征在于，所述鱼眼图像的矫正方法包括以下步骤：

通过全景摄像机预置的鱼眼镜头获取鱼眼图像；

确定所述鱼眼图像的光学成像中心和球面半径；

根据所述光学成像中心和所述球面半径建立双经度球面模型；

根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；

通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。

2.如权利要求1所述的鱼眼图像的矫正方法，其特征在于，所述通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像包括：

通过所述鱼眼镜头获取横竖间隔等距的栅格模板图像；

根据所述栅格模板图像与所述矫正图像计算预置的修复数学模型的参数值，以根据所述参数值确定目标修复数学模型；

根据所述目标修复数学模型，确定所述矫正图像中各个像素点与所述目标矫正图像中各个像素点之间的映射关系；

根据所述映射关系对所述矫正图像进行修复，以得到目标矫正图像。

3.如权利要求2所述的鱼眼图像的矫正方法，其特征在于，所述根据所述映射关系对所述矫正图像进行修复包括：

当所述映射关系中所述矫正图像与所述目标矫正图像之间存在未映射像素点，且从所述目标矫正图像的像素位置映射至所述矫正图像的像素位置为小数时，根据所述矫正图像中映射处的相邻多个像素点，拟合确定出所述目标矫正图像中所对应的像素点值，以对所述矫正图像进行修复。

4.如权利要求1所述的鱼眼图像的矫正方法，其特征在于，所述确定所述鱼眼图像的光学成像中心和球面半径包括：

对所述鱼眼图像进行边缘检测，以得到边缘图像；

获取所述边缘图像的边界坐标点，根据所述边界坐标点获取所述鱼眼图像的光学成像中心和球面半径。

5.如权利要求1-4任一项所述的鱼眼图像的矫正方法，其特征在于，所述根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像包括：

步骤一、将所述矫正图像中的各个坐标点转化为双经度值；

步骤二、将所述双经度值转化为所述双经度球面模型的球面上的三维坐标点；

步骤三、将所述三维坐标点转化为所述鱼眼图像的坐标点；

根据步骤一至步骤三确定出矫正图像各像素位置和鱼眼图像各像素之间的映射关系，以得到所述矫正图像像素值。

6.一种鱼眼图像的矫正装置，其特征在于，所述鱼眼图像的矫正装置包括：

获取模块，用于通过全景摄像机预置的鱼眼镜头获取鱼眼图像；

确定模块，用于确定所述鱼眼图像的光学成像中心和球面半径；

建立模块，用于根据所述光学成像中心和所述球面半径建立双经度球面模型；

矫正模块，用于根据所述双经度球面模型对所述鱼眼图像进行矫正，以得到矫正图像；

修复模块，用于通过预置的目标修复数学模型对所述矫正图像进行修复，以得到目标矫正图像。

7.如权利要求6所述的鱼眼图像的矫正装置，其特征在于，所述修复模块包括：

第一获取单元，用于通过所述鱼眼镜头获取横竖间隔等距的栅格模板图像；

计算单元，用于根据所述栅格模板图像与所述矫正图像计算预置的修复数学模型的参数值，以根据所述参数值确定目标修复数学模型；

第一确定单元，用于根据所述目标修复数学模型，确定所述矫正图像中各个像素点与所述目标矫正图像中各个像素点之间的映射关系；

修复单元，用于根据所述映射关系对所述矫正图像进行修复，以得到目标矫正图像。

8.如权利要求7所述的鱼眼图像的矫正装置，其特征在于，所述修复单元还用于，当所述映射关系中所述矫正图像与所述目标矫正图像之间存在未映射像素点，且从所述目标矫正图像的像素位置映射至所述矫正图像的像素位置为小数时，根据所述矫正图像中映射处的相邻多个像素点，拟合确定出所述目标矫正图像中所对应的像素点值，以对所述矫正图像进行修复。

9.如权利要求6所述的鱼眼图像的矫正装置，其特征在于，所述确定模块还用于，对所述鱼眼图像进行边缘检测，以得到边缘图像；获取所述边缘图像的边界坐标点，根据所述边界坐标点获取所述鱼眼图像的光学成像中心和球面半径。

10.如权利要求6-9中任一项所述的鱼眼图像的矫正装置，其特征在于，所述矫正模块包括：

第一转化单元，用于将所述矫正图像中的各个坐标点转化为双经度值；

第二转化单元，用于将所述双经度值转化为所述双经度球面模型的球面上的三维坐标点；

第三转化单元，用于将所述三维坐标点转化为所述鱼眼图像的坐标点；

第二获取单元，用于根据第一转化单元、第二转化单元及第三转化单元确定出矫正图像各像素位置和鱼眼图像各像素之间的映射关系，以得到所述矫正图像像素值。