CN106875339A - 一种基于长条形标定板的鱼眼图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于长条形标定板的鱼眼图像拼接方法，涉及鱼眼图像拼接技术领域，包括以下步骤：S1：利用鱼眼镜头采集长条形标定板图片；S2：根据采集的标定图像标定鱼眼镜头的内外参数和畸变系数以及两个鱼眼镜头之间的空间关系参数；S3:利用镜头的内外参数和畸变系数以及镜头之间的空间关系参数等计算出原始图像与目标全景图像之间的坐标映射表；S4：根据所述的坐标映射表将多个鱼眼镜头拍摄到的图片映射到目标全景图像上拼接成一幅全景图像；该方法在较小重叠区域或者是无重叠区域的情况下，也能产生高质量的全景图像。

Description

一种基于长条形标定板的鱼眼图像拼接方法

技术领域

本发明属于图像通信技术领域，涉及鱼眼图像拼接技术领域，尤其涉及一种基于长条形标定板的鱼眼图像拼接方法。

背景技术

鱼眼图像拼接是一种利用实景图像组成全景空间的技术，现有的鱼眼图像拼接技术主要有两种方案：

第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后采用2D图像配准技术对校正后的图像元进行2D配准，最后对配准的两幅图像进行融合。

第二种方案是把鱼眼图像的径向畸变校正参数和图像元的位姿参数作为一体，整体用最优化技术进行参数估计，生成一个参数映射表，然后利用参数映射表将原始图片逐张映射到全景图像中，处理完所有的图像后，将两两相邻的处理之后的图像在重叠区域做一次融合过渡。

这两种方案都需要相邻的图像之间有较大的重叠区域，才能形成清晰的全景图像，本发明提出了一种基于长条形标定板的鱼眼图像拼接方法，该方法在较小重叠区域或者是无重叠区域的情况下，也能产生高质量的全景图像。

发明内容

本发明为克服上述情况不足，旨在较小或者是无重叠区域的情况下产生高质量的全景图像拼接方法。

一种基于长条形标定板的鱼眼图像拼接方法，包括以下步骤：

S1：利用鱼眼镜头采集长条形标定板图片；

S2：根据采集的标定图像标定鱼眼镜头的内外参数和畸变系数以及两个鱼眼镜头之间的空间关系参数；具体包括S201、S202、S203步骤：

S201：获取单个鱼眼镜头标定的内外参数和畸变系数，并建立两个鱼眼镜头空间关系参数标定的坐标系；对长条形标定板上的第一子标定板和第二子标定板分别以左上角为原点建立空间坐标系，第一子标定板和第二子标定板之间的空间关系用T0表示，两个鱼眼镜头之间的空间关系参数用R，T表示，第一子标定板与拍摄该标定板的鱼眼镜头之间的关系用R_l，T_l表示，第二子标定板与拍摄该标定板的鱼眼镜头之间的关系用R_r，T_r表示；

S202：初始化两个鱼眼镜头之间的空间关系参数R，T；假设空间中一点P，在第一子标定板和第二子标定板坐标系中的坐标为X₁、X₂，并且X₁、X₂满足如下关系：X₂＝X₁-T0，X₁，X₂在各自鱼眼镜头坐标系下的坐标为X_l、X_r它们之间的转换关系如下：

X_l＝R_l×X₁+T_l，X_r＝R_r×X₂+T_r

消除X₁，X₂，可得：X_r＝R_r×R_l ^-1×X_l-R_r×T0+T_r-R_r×R_l ^-1×T_l

进而可推得：R＝R_r×R_l ^-1；T＝-R_r×T0+T_r-R_r×R_l ^-1×T_l；

S203：考虑畸变的鱼眼镜头内外参数以及两个鱼眼镜头空间关系参数的优化；两个鱼眼镜头的内参数即内参数矩阵M_l，M_r，畸变系数即K_l，K_r，外参数即旋转矩阵R_l，R_r和平移向量T_l，T_r；建立以重投影误差为最小的优化目标函数，利用Levenberg-Marquardt算法进行摄像机参数优化，优化函数表示如下：

其中，是根据第一子标定板上的特征点的初始值使用畸变模型重投影到图像坐标系下计算出来的第j个特征点在拍摄该标定板相机第i幅图像上的图像坐标，是第一子标定板上第j个特征点在拍摄该标定板相机第i幅图像上检测出来的特征点坐标，nl是拍摄该标定板相机第i幅图像上识别出的特征角点个数，是根据第二子标定板上的特征点的初始值使用畸变模型重投影到图像坐标系下计算出来的第j个特征点在拍摄该标定板相机第i幅图像上的图像坐标，是第二子标定板上第j个特征点在拍摄该标定板相机第i幅图像上检测出来的特征点坐标，nr是拍摄该标定板相机第i幅图像上识别出来的特征角点数目；输出优化之后鱼眼镜头的内外参数、畸变系数以及两镜头之间的空间关系参数；

S3：利用两个镜头的内外参数和畸变系数以及镜头之间的空间关系参数等计算出原始图像与目标全景图像之间的坐标映射表；

S4：根据所述的坐标映射表将多个鱼眼镜头拍摄到的图片映射到目标全景图像上拼接成一幅全景图像。

进一步的，所述步骤S1中使用手持的立体相机进行标定图片采集。

进一步的，所述步骤S1中使用固定在三脚架上的立体相机进行标定图片采集。

进一步的，所述步骤S4的具体方法为：将所述全景图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系；在原始图像中查找与目标像素点相对应的源像素点的计算方法如下：

Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))

其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Src(Lut_x(x，y)，Lut_y(x，y))表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置。

进一步的，所述步骤S4中映射的具体方法为：采用遗传算法对原始图像进行分块，以块为单位进行源像素点坐标到目标全景图像像素坐标的投影映射，生成目标全景图像。

进一步的，所述步骤S4之后还包括：对生成的全景图像进行亮度与颜色的均衡处理。

进一步的，所述对生成的全景图像进行亮度与颜色的均衡处理的方法具体为：通过鱼眼镜头的光照模型利用曝光补偿blocksgain算法进行光线融和，然后通过相邻两幅鱼眼图像重叠区域之间的关系建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换。

本发明采用新的标定板即长条形标定板，设计基于长条形标定板的鱼眼镜头标定方法，在两个鱼眼镜头之间相互重叠的区域很小或者是没有重叠区域的情况下也能准确得出镜头的内参数、畸变系数以及两个鱼眼镜头之间的空间关系参数；基于鱼眼镜头标定的结果，计算原始图像与目标全景图像之间的坐标映射表。为了更加快速的进行原始鱼眼图像与目标全景图像之间的映射，采用遗传算法对原始图像进行分块，以块为单位进行源像素点坐标到目标全景图像像素坐标的投影映射，生成目标全景图像。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程图；

图2为本发明实施例中的棋盘格；

图3为本发明实施例的计算两个鱼眼镜头之间的空间关系位置流程图；

图4为本发明实施例中长条形标定板的鱼眼镜头标定坐标系构建示意图；

图5为本发明实施例的装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于长条形标定板的鱼眼图像拼接方法，如图1所示，包括以下步骤：S1：利用鱼眼镜头采集长条形标定板图片。

首先制作长条形标定板，本实施例中采用的长条形标定板如图2所示，该长条形标定板分为第一子标定板1和第二子标定板2，均采用棋盘格形式，棋盘格的大小一致，并且第一子标定板1和第二子标定板2之间的间隔为L。在本发明实施例中，采集长条形标定板图片时，利用单个鱼眼镜头采集子第一子标定板1的标定图片，当然，也可以利用单个鱼眼镜头采集第二子标定板2的标定图片。利用重叠区域较小或者是相互不重叠的两个鱼眼镜头同时拍摄长条形标定板图片，采集图片时使子第一子标定板1和第二子标定板2分别只出现在一个鱼眼镜头的视野内，即让两个鱼眼镜头分别只拍摄到一个子标定板。在本发明实施例中，可以使用手持或者是固定在三脚架上的立体相机进行标定图片采集，采集标定板图像的位置在开始采集时预先设置好。

S2：根据采集的标定图像标定鱼眼镜头的内外参数和畸变系数以及两个鱼眼镜头之间的空间关系参数，单个鱼眼镜头的内外参数和畸变系数的标定可以利用张正友相机标定的方法进行标定。如图3所示，利用本发明实施例中采用的长条形标定板标定两个鱼眼镜头之间的空间关系参数，具体包括如下步骤：

S201：获取单个鱼眼镜头标定的内外参数和畸变系数，并建立两个鱼眼镜头空间关系参数标定的坐标系。如图4所示，对长条形标定板上的第一子标定板1和第二子标定板2分别以左上角为原点建立空间坐标系，第一子标定板1和第二子标定板2之间的空间关系用T0表示，两个鱼眼镜头之间的空间关系参数用R，T表示，第一子标定板1与拍摄该标定板的鱼眼镜头之间的天系用R_l，T_l表示，第二子标定板2与拍摄该标定板的鱼眼镜头之间的关系用R_r，T_r表示。

S202：初始化两个鱼眼镜头之间的空间关系参数R，T。假设空间中一点P，在第一子标定板1和第二标定板2坐标系中的坐标为X₁、X₂，并且X₁、X₂满足如下关系：X₂＝X₁-T0，X₁，X₂在各自鱼眼镜头坐标系下的坐标为X_l、X_r，它们之间的转换关系如下

X_l＝R_l×X₁+T_l，X_r＝R_r×X₂+T_r

消除X₁，X₂，可得：X_r＝R_r×R_l ^-1×X_l-R_r×T0+T_r-R_r×R_l ^-1×T_l

进而可推得：R＝R_r×R_l ^-1；T＝-R_r×T0+T_r-R_r×R_l ^-1×T_l。

利用S201步获取的单目鱼眼镜头的外参数以及第一子标定板1和第二子标定板2之间的空间关系可以计算得到两个鱼眼镜头之间的空间关系参数的初始值。

S203：考虑畸变的鱼眼镜头内外参数以及两个鱼眼镜头空间关系参数的优化。

在本发明的实施例中，两个鱼眼镜头的内参数即内参数矩阵M_l，M_r，畸变系数即K_l，K_r，外参数即旋转矩阵R_l，R_r和平移向量T_l，T_r。建立以重投影误差为最小的优化目标函数，利用Levenberg-Marquardt算法进行摄像机参数优化，优化函数表示如下：

其中，是根据子第一子标定板1上的特征点的初始值使用畸变模型重投影到图像坐标系下计算出来的第j个特征点在拍摄该标定板相机第i幅图像上的图像坐标，是子第一子标定板1上第j个特征点在拍摄该标定板相机第i幅图像上检测出来的特征点坐标，nl是拍摄该标定板相机第i幅图像上识别出的特征角点个数，是根据第二子标定板2上的特征点的初始值使用畸变模型重投影到图像坐标系下计算出来的第j个特征点在拍摄该标定板相机第i幅图像上的图像坐标，是第二子标定板2上第j个特征点在拍摄该标定板相机第i幅图像上检测出来的特征点坐标，nr是拍摄该标定板相机第i幅图像上识别出来的特征角点数目。最后输出优化之后鱼眼镜头的内外参数、畸变系数以及两镜头之间的空间关系参数。

S3：利用镜头的内外参数和畸变系数以及镜头之间的空间关系参数等计算出原始图像与目标全景图像之间的坐标映射表。

在本发明实施例中，坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的全景图像中像素点坐标之间的一对多的对应关系，即目标全景图像中的多个像素点坐标通过预设坐标映射表映射到原始图像中的同一个像素坐标。

S4：根据所述的坐标映射表将多个鱼眼镜头拍摄到的图片映射到目标全景图像上拼接成一幅全景图像。

将所述全景图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系。在原始图像中查找与目标像素点相对应的源像素点的计算方法如下：

Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))

其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Src(Lut_x(x，y)，Lut_y(x，y))表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置。

在本发明实施例中，为了更加快速的进行原始鱼眼图像与目标全景图像之间的映射，首先利用遗传算法将原始图像分割成大小相同的块，然后对分块后的原始图像进行插值运算，最后，对原始图像分好块后，以每个块为单位进行处理，每个块中保存了目标像素点对应的源像素点，将每个块的像素值投影到目标图像对应坐标中，进而生成全景图片。

生成全景图片再对生成的全景图像进行亮度与颜色的均衡处理，以消除不同摄像机之间的色彩差异，得到最终的鱼眼镜头全景图像。具体就是通过鱼眼镜头的光照模型，利用曝光补偿blocksgain算法进行光线融和，从而校正一幅鱼眼图像内部的光照不均匀性，然后通过相邻两幅鱼眼图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。

综上所述，本发明采用新的标定板即长条形标定板，设计基于长条形标定板的鱼眼镜头标定方法，在两个鱼眼镜头之间相互重叠的区域很小或者是没有重叠区域的情况下也能准确得出镜头的内参数、畸变系数以及两个鱼眼镜头之间的空间关系参数；基于鱼眼镜头标定的结果，计算原始图像与目标全景图像之间的坐标映射表，为了更加快速的进行原始鱼眼图像与目标全景图像之间的映射，采用遗传算法对原始图像进行分块，以块为单位进行源像素点坐标到目标全景图像像素坐标的投影映射，生成目标全景图像。

如图5所示，为本发明实施例的装置结构图。鱼眼图像拼接装置100包括标定模块110、映射模块120和拼接模块130。标定模块110用于对所使用的各个鱼眼镜头进行内外参数以及畸变系数的标定，以及采集长条形的标定板图片，对两个鱼眼镜头之间的空间关系参数进行标定。映射模块120用于根据所述标定模块标定的所述鱼眼镜头的内外参数和畸变系数以及两个鱼眼镜头之间的空间关系参数计算原始鱼眼图像与目标全景图像像素点之间的映射关系。拼接模块130用于基于坐标映射表，对原始鱼眼图像进行分块操作，对分块好的图像进行拼接，形成目标全景图像，最后对全景图像进行颜色和亮度的均衡处理。

在本发明的实施例中，所述多个鱼眼镜头拍摄的图像之间重叠区域较小或无重叠区域。

所述标定模块110包括单目标定子模块111、基于长条形标定板的双目标定子模块112。单目标定子模块111用于对所使用的各个鱼眼镜头进行内参数、外参数以及畸变系数的标定。基于长条形标定板的双目标定子模块112根据鱼眼镜头单目标定的内参数以及畸变系数，对两个鱼眼镜头之间的空间关系参数进行初始化，然后建立以重投影误差为最小的优化目标函数，利用Levenberg-Marquardt算法对鱼眼镜头单目标定的内外参数和畸变系数以及两个鱼眼镜头之间的空间关系参数进行优化。

所述映射模块120包括参数获取子模块121、映射表计算子模块122。参数获取子模块121根据标定模块110计算得到的鱼眼镜头的内外参数、畸变系数以及两个鱼眼镜头之间的空间关系参数。映射表计算子模块122根据获取的参数生成从目标全景图像到原始鱼眼图像之间的像素点坐标映射关系。

所述拼接模块130包括分块子模块131、拼接子模块132以及颜色与亮度校正子模块133。分块子模块131利用遗传算法将原始图像分割成大小相同的块。拼接子模块132对分块后的原始图像进行插值运算，以每个块为单位进行源像素点坐标到目标全景图像像素坐标的投影映射。颜色与亮度校正子模块133对生成的全景图像进行亮度与颜色的均衡处理，以消除不同摄像机之间的色彩差异，得到最终的鱼眼镜头全景图像。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于长条形标定板的鱼眼图像拼接方法，其特征在于，包括以下步骤：

S1：利用鱼眼镜头采集长条形标定板图片；

S2：根据采集的标定图像标定鱼眼镜头的内外参数和畸变系数以及两个鱼眼镜头之间的空间关系参数；具体包括S201、S202、S203步骤：

S201：获取单个鱼眼镜头标定的内外参数和畸变系数，并建立两个鱼眼镜头空间关系参数标定的坐标系；对长条形标定板上的第一子标定板和第二子标定板分别以左上角为原点建立空间坐标系，第一子标定板和第二子标定板之间的空间关系用T0表示，两个鱼眼镜头之间的空间关系参数用R，T表示，第一子标定板与拍摄该标定板的鱼眼镜头之间的关系用R_l，T_l表示，第二子标定板与拍摄该标定板的鱼眼镜头之间的关系用R_r，T_r表示；

S202：初始化两个鱼眼镜头之间的空间关系参数R，T；假设空间中一点P，在第一子标定板和第二子标定板坐标系中的坐标为X₁、X₂，并且X₁、X₂满足如下关系：X₂＝X₁-T₀，X₁，X₂在各自鱼眼镜头坐标系下的坐标为X_l、X_r，它们之间的转换关系如下：

X_l＝R_l×X₁+T_l，X_r＝R_r×X₂+T_r

消除X₁，X₂，可得：X_r＝Rr_×R_l ^-1×X_l-R_r×T0+T_r-R_r×R_l ^-1×T_l

进而可推得：R＝R_r×R_l ^-1；T＝-R_r×T0+T_r-R_r×R_l ^-1×T_l；

S203：考虑畸变的鱼眼镜头内外参数以及两个鱼眼镜头空间关系参数的优化；两个鱼眼镜头的内参数即内参数矩阵M_l，M_r，畸变系数即K_l，K_r，外参数即旋转矩阵R_l,R_r和平移向量T_l,T_r；建立以重投影误差为最小的优化目标函数，利用Levenberg-Marquardt算法进行摄像机参数优化，优化函数表示如下：

$\min \left(\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{nl}{\Σ}}\right||m_l^{ij}-\hat{m}(M_l,K_l,R_l^i,T_l^i,P_l^i\left)\right|{|}^2+\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{nr}{\Σ}}\left|\right|m_r^{ij}-\hat{m}\left(M_r,K_r,R_l^i,T_l^i,R,T,P_r^i\right)\left|{|}^2\right)$

其中，是根据第一子标定板上的特征点的初始值使用畸变模型重投影到图像坐标系下计算出来的第j个特征点在拍摄该标定板相机第i幅图像上的图像坐标，是第一子标定板上第j个特征点在拍摄该标定板相机第i幅图像上检测出来的特征点坐标，nl是拍摄该标定板相机第i幅图像上识别出的特征角点个数，

是根据第二子标定板上的特征点的初始值使用畸变模型重投影到图像坐标系下计算出来的第j个特征点在拍摄该标定板相机第i幅图像上的图像坐标，是第二子标定板上第j个特征点在拍摄该标定板相机第i幅图像上检测出来的特征点坐标，nr是拍摄该标定板相机第i幅图像上识别出来的特征角点数目；输出优化之后鱼眼镜头的内外参数、畸变系数以及两镜头之间的空间关系参数；

S3:利用两个镜头的内外参数和畸变系数以及镜头之间的空间关系参数等计算出原始图像与目标全景图像之间的坐标映射表；

S4：根据所述的坐标映射表将多个鱼眼镜头拍摄到的图片映射到目标全景图像上拼接成一幅全景图像。

2.根据权利要求1中所述的基于长条形标定板的鱼眼图像拼接方法，其特征在于，所述步骤S1中使用手持的立体相机进行标定图片采集。

3.根据权利要求1中所述的基于长条形标定板的鱼眼图像拼接方法，其特征在于，所述步骤S1中使用固定在三脚架上的立体相机进行标定图片采集。

4.根据权利要求1中所述的基于长条形标定板的鱼眼图像拼接方法，其特征在于，所述步骤S4的具体方法为：将所述全景图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系；在原始图像中查找与目标像素点相对应的源像素点的计算方法如下：

Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))

其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Src(Lut_x(x，y)，Lut_y(x，y))表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置。

5.根据权利要求1至4中任一项中所述的基于长条形标定板的鱼眼图像拼接方法，所述步骤S4中映射的具体方法为：采用遗传算法对原始图像进行分块，以块为单位进行源像素点坐标到目标全景图像像素坐标的投影映射，生成目标全景图像。

6.根据权利要求1中所述的基于长条形标定板的鱼眼图像拼接方法，其特征在于，其特征在于，所述步骤S4之后还包括：对生成的全景图像进行亮度与颜色的均衡处理。

7.根据权利要求6中所述的基于长条形标定板的鱼眼图像拼接方法，其特征在于，所述对生成的全景图像进行亮度与颜色的均衡处理的具体方法为：通过鱼眼镜头的光照模型利用曝光补偿blocksgain算法进行光线融和，然后通过相邻两幅鱼眼图像重叠区域之间的关系建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换。