CN106875447A - 一种鱼眼全景相机自然环境下标定方法 - Google Patents

Abstract

本发明公开了一种鱼眼全景相机自然环境下标定方法。包括获取双鱼眼图像，建立理论参数模型，提取鱼眼图像特征点，用最优化算法计算模型参数，将参数带入模型迭代筛选，获得鱼眼图像到球体表面的映射关系并以球体表面图像显示；本发明图像特征点提取方法能应用于大畸变的鱼眼图像，并能进一步保证提取到的特征点的准确性，本发明还提出了一种筛选特征点的迭代模型，利用本发明的方法可以准确地在自然、随机的环境下标定全景相机；不需要为了获得映射关系而搭建特殊的场景，本发明采用一种自主化的方法，自主求得每幅鱼眼图像到球体表面的映射关系，降低了全景相机使用门槛，扩大了全景相机使用范围。

Description

一种鱼眼全景相机自然环境下标定方法

技术领域

本发明属于计算机图像处理应用技术领域，涉及一种鱼眼全景相机自然环境下标定方法。

背景技术

全景相机一般由两个或两个以上光学成像系统组成，然后将采集到的图像通过数学计算映射到一个球体表面上。这一过程涉及到每幅图像到球体表面的映射关系，标定的目的就是获得各图像间匹配对应的映射关系，以便在显示装置中正确显示获得的图像。

一般现有的标定方法只能标定没有畸变，或是畸变很小的图像，其方法是通过寻找图像间冗余部分的对应特征点，推算每幅图像的映射关系。但是此方法不适用鱼眼图像，畸变较大的鱼眼镜头成像图像只能在特殊布置的场景下进行标定，不能适用随机、任意的应用环境。

发明内容

为了解决鱼眼全景相机自然环境下标定问题，获得无缝、均匀的全景画面，本发明采用一种自主化的方法估计每幅鱼眼图像到球体表面的映射关系。

本发明采取的鱼眼全景相机自然环境下标定方法是通过建立理论参数模型，提取鱼眼图像特征点，利用最优化算法计算模型参数，将参数带入模型迭代筛选，求得每幅鱼眼图像到球体表面的映射关系。

本发明通过以下技术方案实现：

获取双鱼眼图像：

通过双鱼眼镜头获得双鱼眼图像F1,、F2；

建立理论参数模型：

鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；

M为映射关系矩阵；

球到平面球的平面展开映射关系公式：球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展开为S(x,y)

x＝θ；

提取鱼眼图像特征点：

目前的特征点提取算法例如SFIT、SURF都不能有效的从鱼眼图像中提取特征点，本发明中通过以下公式获得：

S(x，y)-F(u，v)·M_f2s；

F(u，v)＝S(x，y)·M_s2f；

其中M_f2s为鱼眼图像到球的平面展开映射参数，M_s2f为球的平面展开到鱼眼图像映射参数。

获取方法包括：先获取鱼眼图像F1、F2，通过M_f2s将F1、F2映射到球的平面展开S1、S2上，然后利用SFIT算法从S1、S2提取并匹配特征点得到PS1_i(i＝0，1….N)(N为自然正整数，下同)、PS2_i(i＝0，1….N)，然后将PS1_i(i＝0，1….N)、PS2_i(i＝0，1….N)与M_s2f进行运算得到PF1_i(i＝0，1….N)、PF2_i(i＝0，1….N)。PF1_i(i＝0，1….N)、PF2_i(i＝0，1….N)即鱼眼图像上匹配的特征点。

用最优化算法计算模型参数：

[M1，M2]＝L(PF1_i，PF2_i)；i∈(0，1，2，......，N)；

L为优化算法，M1、M2为优化后得到的鱼眼图像F1、F2到球体Q表面的映射关系。

将参数带入模型迭代筛选

PQ1_i＝PF1_i·M1；i∈(0，1，2，......，N)；

PQ2_i＝PF2_i·M2；i∈(0，1，2，......，N)；

δ_i＝(PQ1_i-PQ2_i)²；i∈(0，1，2，......，N)；

PF1_k＝PF1_i；δ_i＜T1，i∈(0，1，2，......，N)；

PF2_k＝PF2_i；δ_i＜T1，i∈(0，1，2，......，N)；

PQ1_i、PQ2_i为全景图像上坐标点、δ_i为对应的点坐标的欧拉距离，T1为特征点筛选阈值，PQ1_i、PQ2_i为每次筛选剩下的标定点。按照上面公式进行迭代，当满足下面公式停止迭代，

(PQ1_i·M_s2f-PQ2_i·M_s2f)²＜T2

T2为停止迭代阈值。多次迭代后计算得到的M1、M2即为鱼眼图像到球体表面的映射关系。

本发明为解决现有的特征提取方法不能应用于大畸变的鱼眼图像，提出了一种鱼眼图像的特征点提取方法，该方法可以有效的提取出一对鱼眼图像中匹配的特征点，为进一步保证提取到的特征点的准确性，本发明还提出了一种筛选特征点的迭代模型，利用本发明的方法可以准确地在自然、随机的环境下标定全景相机。

本发明的有益效果是，不需要为了获得映射关系而搭建特殊的场景，适用于随机、任意的应用环境；本发明采用一种自主化的方法，自主求得每幅鱼眼图像到球体表面的映射关系，降低了全景相机使用门槛，扩大了全景相机使用范围。

附图说明

图1是本发明方法流程图。

图2是本发明获取鱼眼镜头成像示意图。

图3是本发明获取特征点示意图。

具体实施方式

下面通过实施例对本发明进行具体的描述，本实施例只用于对本发明进行进一步的说明，但不能理解为对本发明保护范围的限制，本领域的技术人员根据上述本发明的内容作出的一些非本质的改进和调整也属于本发明保护的范围。

为实现鱼眼全景相机自然环境下标定，本发明无需搭建特殊的场景，通过获得的双鱼眼图像，建立理论参数模型，提取鱼眼图像特征点，利用最优化算法计算模型参数，将参数带入模型迭代筛选，求得每幅鱼眼图像到球体表面的映射关系。

下面对本发明方法进行描述。

获取双鱼眼图像：

通过双鱼眼镜头获得双鱼眼图像F1,、F2；

建立理论参数模型：

鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；

M为映射关系矩阵；

球到平面球的平面展开映射关系公式：球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展开为S(x,y)

x＝θ；

提取鱼眼图像特征点：

目前的特征点提取算法例如SFIT、SURF都不能有效的从鱼眼图像中提取特征点，本发明中通过以下公式获得：

S(x，y)＝F(u，v)·M_f2s； (1)

F(u，v)＝S(x，y)·M_s2f； (2)

其中M_f2s为鱼眼图像到球的平面展开映射参数，M_s2f为球的平面展开到鱼眼图像映射参数。

获取方法包括：先获取鱼眼图像F1、F2，通过M_f2s将F1、F2映射到球的平面展开S1、S2上，然后利用SFIT算法从S1、S2提取并匹配特征点得到PS1_i(i＝0，1….N)(N为自然正整数，下同)、PS2_i(i＝0，1….N)，然后将PS1_i(i＝0，1….N)、PS2_i(i＝0，1….N)与M_s2f进行运算得到PF1_i(i＝0，1….N)、PF2_i(i＝0，1….N)。PF1_i(i＝0，1….N)、PF2_i(i＝0，1….N)即鱼眼图像上匹配的特征点。

用最优化算法计算模型参数：

[M1，M2]＝L(PF1_i，PF2_i)；i∈(0，1，2，......，N)；

L为优化算法，M1、M2为优化后得到的鱼眼图像F1、F2到球体Q表面的映射关系。

将参数带入模型迭代筛选

PQ1_i＝PF1_i·M1；i∈(0，1，2，......，N)；

PQ2_i＝PF2_i·M2；i∈(0，1，2，......，N)；

δ_i＝(PQ1_i-PQ2_i)²；i∈(0，1，2，......，N)；

PF1_k＝PF1_i；δ_i＜T1，i∈(0，1，2，......，N)；

PF2_k＝PF2_i；δ_i＜T1，i∈(0，1，2，......，N)；

PQ1_i、PQ2_i为全景图像上坐标点、δ_i为对应的点坐标的欧拉距离，T1为特征点筛选阈值，PQ1_i、PQ2_i为每次筛选剩下的标定点。按照上面公式进行迭代，当满足下面公式停止迭代，

(PQ1_i·M_s2f-PQ2_i·M_s2f)²＜T2

T2为停止迭代阈值。多次迭代后计算得到的M1、M2即为鱼眼图像到球体表面的映射关系。

具体实施举例：

结合附图1至图3；

首先通过带有鱼眼镜头的全景相机在普通环境下拍摄鱼眼图像，得到如图2的两个鱼眼图像F1，F2。

利用提取鱼眼图像特征点中公式(1)将F1和F2去畸变展开成球的平面展开图像S1、S2。

对S1和S2利用并不限于ORB特征点提取算法提取两幅图像上对应的特征点，S1图像上得到的特征点集合为PS1，S2图像上得到的特征点集合为PS2。

利用提取鱼眼图像特征点中公式(2)将PS1集合中的每个点变换为鱼眼图像F1上的点得到标定点集合PF1，将PS2集合中的每个点变换为鱼眼图像F2上的点得到标定点集合PF2，如图3。

将PF1和PF2带入算法L求得F1的参数M1、F2的参数M2。

将PF1和PF2根据M1和M2映射得到的点的欧拉距离小于T1保留得到PF1₂和PF2₂，PF1₂属于PF1，PF2₂属于PF2。

将PF1₂和PF2₂按照PF1和PF2的流程进行迭代，直到第k次迭代后PF1_k和PF2_k满足上述公式中停止迭代的条件，然后停止迭代。

M1_k和M2_k就是所求参数，然后就可以将M1_k和M2_k参数固化到全景相机中，将新得到的鱼眼图像F1和F2按照M1_k和M2_k参数去显示，整体球就是一个没有坐标错位的完整球型。

本发明为解决现有的特征提取方法不能应用于大畸变的鱼眼图像，提出了一种鱼眼图像的特征点提取方法，该方法可以有效的提取出一对鱼眼图像中匹配的特征点，为进一步保证提取到的特征点的准确性，本发明还提出了一种筛选特征点的迭代模型，利用本发明的方法可以准确的在自然、随机的环境下标定全景相机。

Claims (1)

1.一种鱼眼全景相机自然环境下标定方法，其特征在于包括以下步骤：

(1)获取双鱼眼图像

通过双鱼眼镜头获得双鱼眼图像F1,、F2；

(2)建立理论参数模型

鱼眼图像到球面坐标映射公式：鱼眼图像F(u,v)，球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])；

M为映射关系矩阵；

球到平面球的平面展开映射关系公式：球Q，球面坐标经纬度表示Q(θ,φ)(θ∈[0,360],φ∈[0,180])，球Q的平面展开为S(x,y)；

x＝θ；

(3)提取鱼眼图像特征点

通过以下公式获得：

S(x，y)-F(u，v)·M_f2s；

F(x，v)＝S(x，y)·M_s2f；

其中M_f2s为鱼眼图像到球的平面展开映射参数，M_s2f为球的平面展开到鱼眼图像映射参数；

获取方法包括：先获取鱼眼图像F1、F2，通过M_f2s将F1、F2映射到球的平面展开S1、S2上，然后利用SFIT算法从S1、S2提取并匹配特征点得到PS1_i、PS2_i，然后将PS1_i、PS2_i与M_s2f进行运算得到PF1_i、PF2_i；PF1_i、PF2_i即为鱼眼图像上匹配的特征点，其中i＝0.1….N，N为自然正整数；

(4)用最优化算法计算模型参数

[M1，M2]＝L(PF1_i，PF2_i)；i∈(0，1，2，......，N)；

L为优化算法，M1、M2为优化后得到的鱼眼图像F1、F2到球体Q表面的映射关系；

将参数带入模型迭代筛选；

PQ1_i＝PF1_i·M1；i∈(0，1，2，......，N)；

PQ2_i＝PF2_i·M2；i∈(0，1，2，......，N)；

δ_i＝(PQ1_i-PQ2_i)²；i∈(0，1，2，......，N)；

PF1_k＝PF1_i；δ_i＜T1，i∈(0，1，2，......，N)；

PF2_k＝PF2_i；δ_i＜T1，i∈(0，1，2，......，N)；

其中，PQ1_i、PQ2_i为全景图像上坐标点、δ_i为对应的点坐标的欧拉距离，T1为特征点筛选阈值，PQ1_i、PQ2_i为每次筛选剩下的标定点；

按照上述公式进行迭代，当满足下面公式停止迭代；

(PQ1_i·M_s2f-PQ2_i·M_s2f)²＜T2

T2为停止迭代阈值；多次迭代后计算得到的M1、M2即为鱼眼图像到球体表面的映射关系；

(5)获得鱼眼图像到球体表面的映射关系并以球体表面图像显示

将M1_k和M2_k参数应用到全景相机中，将全景相机随机获得的鱼眼图像F1和F2按照M1_k和M2_k参数去显示，整体球显示为一个没有坐标错位的完整球型。