CN107705252B - 适用于双目鱼眼图像拼接展开校正的方法及系统 - Google Patents

适用于双目鱼眼图像拼接展开校正的方法及系统 Download PDF

Info

Publication number
CN107705252B
CN107705252B CN201710953643.1A CN201710953643A CN107705252B CN 107705252 B CN107705252 B CN 107705252B CN 201710953643 A CN201710953643 A CN 201710953643A CN 107705252 B CN107705252 B CN 107705252B
Authority
CN
China
Prior art keywords
image
coordinate
panoramic
fisheye
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710953643.1A
Other languages
English (en)
Other versions
CN107705252A (zh
Inventor
朱煜
陈旭东
倪光耀
何林飞
顾王欢
郑兵兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN201710953643.1A priority Critical patent/CN107705252B/zh
Publication of CN107705252A publication Critical patent/CN107705252A/zh
Application granted granted Critical
Publication of CN107705252B publication Critical patent/CN107705252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种适用于双目鱼眼图像拼接展开校正的方法及系统，利用双目鱼眼相机获取原始双目鱼眼图像，并从中提取左右两个有效的圆形成像区域；然后提取两个有效区域中重叠部分的特征点，并将特征点匹配成对；接着将两个有效区域图像分别映射得到两幅空间坐标单位球面图像，在三维空间球面上进行矩阵奇异值分解，求解得到两幅图像间的旋转关系即旋转矩阵，并通过旋转矩阵校正其中一幅空间坐标单位球面图像；最后将两幅空间坐标单位球面图像分别映射得到两幅全景坐标图像，并拼接成为一幅完整的360度全景图像。采用该种方法及系统，可以解决装配时鱼眼成像传感器不平行导致误差，经校正后拼接效果好，处理实时性好，且易于实行。

Description

适用于双目鱼眼图像拼接展开校正的方法及系统
技术领域
本发明属于图像处理领域，尤其涉及鱼眼图像处理领域，具体是指一种适用于双目鱼眼图像拼接展开校正的方法及系统。
背景技术
近年来全景相机在计算机视觉和虚拟现实领域中越来越受到人们的欢迎。传统的虚拟现实通过3D图像技术建立虚拟环境，其由几何图形和纹理贴图所组成，看上去十分的不真实。而使用全景图像创建的虚拟环境能真实的呈现室内和室外的环境，浸入感更强。由于鱼眼相机有着广阔的视角，采用鱼眼镜头实现全景相机已成为行业趋势。
鱼眼镜头是一种超广角摄像头，视场角接近甚至超过180°，所能观察的范围远大于人眼的视角范围。它在视频会议、全景图像拼接、虚拟漫游、机器人导航以及大范围公共场所的安防监控等领域扮演着重要角色。但是由于鱼眼镜头的大视场角是以牺牲图像直观性为代价的，所以用鱼眼镜头拍摄的图片都存在很大程度的畸变，最显著的就是“桶形畸变”。这样的畸变不仅人眼观察的效果差，而且图像识别效果也很差。
要获取较好的全景图像，我们需要对双目鱼眼图像进行展开及拼接，这是影响鱼眼镜头实际应用的难点。双目鱼眼图像的拼接是实现全景视觉系统的难点之一，其存在全景图像拼接耗时长，无法实现实时性；在全景图像拼接中会出现重影等问题。
现有技术中的双目鱼眼图像拼接技术主要是对小视角小畸变照片进行拼接，无法对由装配问题引起的图像误差进行校正，缺少准确、易实现且全自动拼接的全景图像生成的方法。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种基于对全景相机及鱼眼镜头深入的研究，建立鱼眼图像和全景图像之间的投影及空间映射关系，可快速、准确的对由装配问题引起的图像误差进行校正的，易实现的且全自动拼接的适用于双目鱼眼图像拼接展开校正的方法及系统。
为了实现上述目的，本发明的适用于双目鱼眼图像拼接展开校正的方法及系统如下：
该适用于双目鱼眼图像拼接展开校正的方法，其主要特点是，包括以下步骤：
(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；
(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；
(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；
(4)运用经纬展开法，将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；
(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；
(6)对矫正后的所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像均进行全景映射处理，将所述的空间的单位球面图像映射到全景坐标图像上，对应得到第一全景坐标图像和第二全景坐标图像；
(7)将所述的第一全景坐标图像和第二全景坐标图像进行拼接，得到一幅完整的360度全景图像。
较佳地，所述的步骤(2)中所述的有效的圆形区域的提取处理的具体包括以下步骤：
(21)用变角度扫描法从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标；
(22)以所述的系统预设数量的圆周点坐标为依据，通过圆拟合算法分别确定所述的原始双目鱼眼图像的有效圆形区域的圆心和半径。
更佳地，所述的步骤(21)具体包括以下步骤：
(211)将成对的、倾斜角度不同的第一直线和第二直线组合为直线对；
(212)所述的直线对从倾斜角度0开始，以
Figure GDA0002781355210000021
为差，逐步旋转为倾斜角度2π，即所述的第一直线和第二直线分别从所述的原始双目鱼眼图像两侧逼近，确定各对所述的圆周点坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，并继续后续步骤(22)，其中参数n的值越大，准确性越高。
更佳地，所述的步骤(22)中所述的圆拟合算法具体包括以下步骤：
(221)随机从所述的系统预设数量的圆周点坐标中选取预设数量m个圆周点坐标；
(222)利用这m个圆周点坐标计算出从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径，将所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径定义为适应模型的参数A*；
(223)计算所有所述的系统预设数量的圆周点坐标到模型参数A*下的距离di；
(224)将di≤ε定位为第一内点，di>ε定为第一外点，其中，ε为系统设定的阈值，统计在所述的模型参数A*下的第一内点个数和第一外点个数，如果第一内点个数大于当前最优的模型的第一内点数，那么替换模型参数；
(225)判断是否到达系统预设的最大迭代次数；
(226)若达系统预设的最大迭代次数则继续后续步骤(229)，否则继续后续步骤(227)；
(227)判断所述的第一内点个数是否达到系统预设量；
(228)若所述的第一内点个数达到系统预设量，则继续后续步骤(229)，否则返回步骤(221)；
(229)确定所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径为所述的原始双目鱼眼图像的有效圆形区域的圆心和半径，并继续后续步骤(3)。
其中，步骤(222)中圆形区域的圆心和半径的计算步骤为：
根据得到的从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标构造矩阵：
Figure GDA0002781355210000031
其中，A与B为为了方便计算构建的矩阵；
通过计算得到：
P＝(ATA)-1ATB；
令矩阵P＝(p1,p2,p3)T，则可以得到拟合圆的圆心坐标(u0,vo)和半径r，从而从原始图像上得到有效区域：
Figure GDA0002781355210000032
较佳地，所述的步骤(3)具体包括以下步骤：
(31)通过SIFT算法求得所述的第一有效圆形区域中的特征点及其描述子；
(32)通过SIFT算法求得所述的第二有效圆形区域中的特征点及其描述子；
(33)将所述的第一有效圆形区域的描述子与所述的第二有效圆形区域的描述子进行匹配，得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}，并继续后续步骤(4)。
更佳地，所述的步骤(4)中所述的映射处理具体包括以下步骤：
(41)通过插值法确定所述的双目鱼眼相机的镜头的入射角θ与所述的鱼眼图像中像高r的关系r＝f(θ)；
(42)利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系，得到所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系：
Figure GDA0002781355210000041
(43)以所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系为依据，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上。
更佳地，所述的步骤(5)具体包括以下步骤：
(51)随机从特征点匹配对中选取预设数量m个的特征点匹配对；
(52)利用这m个特征点匹配对计算预计的旋转矩阵R，将所述的预计的旋转矩阵R定义为适应模型的参数B*；
(53)计算所有所述的特征点匹配对到模型参数B*下的距离dj；
(54)将dj≤ε定为第二内点，dj>ε定为第二外点为依据，其中，ε为系统设定的阈值，统计在模型参数B*下的第二内点个数和第二外点个数，如果第二内点个数大于当前最优的模型的第二内点数，那么替换模型参数。
(55)判断是否到达系统预设的最大迭代次数；
(56)若达系统预设的最大迭代次数则继续后续步骤(59)，否则继续后续步骤(57)；
(57)判断所述的第二内点个数是否达到系统预设量；
(58)若所述的第二内点个数达到系统预设量，则继续后续步骤(59)，否则返回步骤(51)；
(59)确定所述的预计的旋转矩阵R为所述的旋转矩阵R，通过所述的旋转矩阵与所述的需要矫正的一幅空间坐标单位球面图像的坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
更佳地，所述的步骤(52)中所述的旋转矩阵R的计算具体包括以下步骤：
(521)建立优化模型，求解所述的旋转矩阵R，所述的优化模型如下：
Figure GDA0002781355210000051
其中，pi和qi为所述的匹配的特征点；
(522)简化所述的优化模型，得到：
Figure GDA0002781355210000052
其中，P为pi组成的矩阵，Q为qi组成的矩阵，R为旋转矩阵；
其中，步骤(522)的具体计算步骤如下：
考虑到R应为单位正交矩阵，对
Figure GDA0002781355210000053
中的求和部分展开得到：
Figure GDA0002781355210000054
由于qiT Rpi和piT RT qi是标量，所以有qi T Rpi＝(qi T Rpi)T＝pi T RT qi，而pi T pi和qi T qi与R无关，可以得到
Figure GDA0002781355210000055
同样由于qi T Rpi是标量，有
Figure GDA0002781355210000056
从而优化模型可以化简为
Figure GDA0002781355210000057
(523)令S＝PQT，通过矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，其中，S＝UΣVT为矩阵奇异值分解的公式，可以求解得到：
Figure GDA0002781355210000058
并继续后续步骤(53)。
其中，步骤(523)中的计算过程具体如下：
利用矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，可以得到：
tr(RPQT)＝tr(RS)＝tr(RU∑VT)＝tr(∑VTRU)；
设M＝VTRU，由于U,R,V都是单位正交阵，则矩阵M也是单位正交阵，求矩阵∑M的最大迹，则必须使得矩阵M对角线元素均为1，即M＝I；
但是此时得到的最优解可能是旋转矩阵也可能是反射矩阵；如果是反射矩阵，则需要将矩阵M的右下角元素设为-1，取次优解可以得到旋转矩阵。综上所述，可以解得：
Figure GDA0002781355210000061
较佳地，所述的步骤(6)中所述的全景映射处理具体包括以下步骤：
(61)确定全景图像坐标系中的全景图像的坐标(x，y)与经纬度坐标系(longitude,latitude)的对应关系：
Figure GDA0002781355210000062
其中，w为全景图像的宽度，h为全景图像的高度，全景图像图像中心为坐标原点；
(62)确定空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系：
Figure GDA0002781355210000063
(63)根据上述步骤(61)与(62)得到的所述的全景图像坐标系(x,y)和所述的空间图像坐标系(xs,ys,zs)与经纬度(longitude,latitude)的映射关系，得到空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和全景图像坐标系(x,y)之间的映射关系，以及所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系：
Figure GDA0002781355210000064
其中，w为全景图像的宽度，h为全景图像的高度；
(64)利用所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系，将所述的空间的单位球面图像映射到全景坐标图像上。
较佳地，所述的步骤(7)具体包括以下步骤：
(71)确定所述的第一全景坐标图像和第二全景坐标图像的拼接融合的角度ψ弧度；
(72)由拼接融合公式得到所述的完整的360度全景图像，其中，所述的拼接融合公式如下：
A＝αA1+(1-α)A2，
其中，A1表示第一全景坐标图像(x1,y1)的像素点值，A2表示第二全景坐标图像(x2,y2)的像素点值，α为拼接时的权值，其中，
Figure GDA0002781355210000065
更佳地，所述的步骤(71)与(72)还包括以下步骤：
(a1)从经纬度坐标系中取-π到
Figure GDA0002781355210000071
及
Figure GDA0002781355210000072
到π角度部分对应到全景图像(x1,y1)的-π到
Figure GDA0002781355210000073
及
Figure GDA0002781355210000074
到π角度区域作为所述的第一全景坐标图像中对应的角度区域；
(a2)从经纬度坐标系中取
Figure GDA0002781355210000075
到
Figure GDA0002781355210000076
角度部分对应到全景图像(x2,y2)的
Figure GDA0002781355210000077
到
Figure GDA0002781355210000078
角度区域作为所述的第二全景坐标图像中对应的角度区域。
本发明还涉及一种适用于双目鱼眼图像拼接展开校正的系统，其主要特点是，所述系统包括：
双目鱼眼相机，用于拍摄监控区域图像；
双目鱼眼图像拼接展开校正程序，所述的双目鱼眼图像拼接展开校正程序在运行时对从所述的双目鱼眼相机拍摄的监控区域图像进行如下步骤处理：
(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；
(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；
(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；
(4)将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将平面的所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；
(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；
(6)对矫正后的所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像均进行全景映射处理，将所述的空间的单位球面图像映射到全景坐标图像上，对应得到第一全景坐标图像和第二全景坐标图像；
(7)将所述的第一全景坐标图像和第二全景坐标图像进行拼接，得到一幅完整的360度全景图像。
较佳地，所述的双目鱼眼相机中的各个鱼眼摄像模块的两个最大视场角超过180度，以确保所述的第一原始鱼眼图像和第二原始鱼眼图像有重叠区域。
较佳地，所述的步骤(2)中所述的有效的圆形区域的提取处理的具体包括以下步骤：
(21)用变角度扫描法从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标；
(22)以所述的系统预设数量的圆周点坐标为依据，通过圆拟合算法分别确定所述的原始双目鱼眼图像的有效圆形区域的圆心和半径。
更佳地，所述的步骤(21)具体包括以下步骤：
(211)将成对的、倾斜角度不同的第一直线和第二直线组合为直线对；
(212)所述的直线对从倾斜角度0开始，以
Figure GDA0002781355210000081
为差，逐步旋转为倾斜角度2π，即所述的第一直线和第二直线分别从所述的原始双目鱼眼图像两侧逼近，确定各对所述的圆周点坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，并继续后续步骤(22)。
更佳地，所述的步骤(22)中所述的圆拟合算法具体包括以下步骤：
(221)随机从所述的系统预设数量的圆周点坐标中选取预设数量m个圆周点坐标；
(222)利用这m个圆周点坐标计算出从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径，将所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径定义为适应模型的参数A*；
(223)计算所有所述的系统预设数量的圆周点坐标到模型参数A*下的距离di；
(224)将di≤ε定位为第一内点，di>ε定为第一外点，其中，ε为系统设定的阈值，统计在所述的模型参数A*下的第一内点个数和第一外点个数，如果第一内点个数大于当前最优的模型的第一内点数，那么替换模型参数；
(225)判断是否到达系统预设的最大迭代次数；
(226)若达系统预设的最大迭代次数则继续后续步骤(229)，否则继续后续步骤(227)；
(227)判断所述的第一内点个数是否达到系统预设量；
(228)若所述的第一内点个数达到系统预设量，则继续后续步骤(229)，否则返回步骤(221)；
(229)确定所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径为所述的原始双目鱼眼图像的有效圆形区域的圆心和半径，并继续后续步骤(3)。
较佳地，所述的步骤(3)具体包括以下步骤：
(31)通过SIFT算法求得所述的第一有效圆形区域中的特征点及其描述子；
(32)通过SIFT算法求得所述的第二有效圆形区域中的特征点及其描述子；
(33)将所述的第一有效圆形区域的描述子与所述的第二有效圆形区域的描述子进行匹配，得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}，并继续后续步骤(4)。
更佳地，所述的步骤(4)中所述的映射处理具体包括以下步骤：
(41)通过插值法确定所述的双目鱼眼相机的镜头的入射角θ与所述的鱼眼图像中像高r的关系r＝f(θ)；
(42)利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系，得到所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系：
Figure GDA0002781355210000091
(43)以所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系为依据，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上。
更进一步的，所述的步骤(5)具体包括以下步骤：
(51)随机从特征点匹配对中选取预设数量m个的特征点匹配对；
(52)利用这m个特征点匹配对计算预计的旋转矩阵R，将所述的预计的旋转矩阵R定义为适应模型的参数B*；
(53)计算所有所述的特征点匹配对到模型参数B*下的距离dj；
(54)将dj≤ε定为第二内点，dj>ε定为第二外点为依据，其中，ε为系统设定的阈值，统计在模型参数B*下的第二内点个数和第二外点个数，如果第二内点个数大于当前最优的模型的第二内点数，那么替换模型参数。
(55)判断是否到达系统预设的最大迭代次数；
(56)若达系统预设的最大迭代次数则继续后续步骤(59)，否则继续后续步骤(57)；
(57)判断所述的第二内点个数是否达到系统预设量；
(58)若所述的第二内点个数达到系统预设量，则继续后续步骤(59)，否则返回步骤(51)；
(59)确定所述的预计的旋转矩阵R为所述的旋转矩阵R，通过所述的旋转矩阵与所述的需要矫正的一幅空间坐标单位球面图像的坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
更佳地，所述的步骤(52)中所述的旋转矩阵R的计算具体包括以下步骤：
(521)建立优化模型，求解所述的旋转矩阵R，所述的优化模型如下：
Figure GDA0002781355210000101
其中，pi和qi为所述的匹配的特征点；
(522)简化所述的优化模型，得到：
Figure GDA0002781355210000102
其中，P为pi组成的矩阵，Q为qi组成的矩阵，R为旋转矩阵；
其中，步骤(522)的具体计算步骤如下：
考虑到R应为单位正交矩阵，对
Figure GDA0002781355210000103
中的求和部分展开得到：
Figure GDA0002781355210000104
由于qiT Rpi和piT RT qi是标量，所以有qi T Rpi＝(qi T Rpi)T＝pi T RT qi，而pi T pi和qi T qi与R无关，可以得到
Figure GDA0002781355210000105
同样由于qi T Rpi是标量，有
Figure GDA0002781355210000106
从而优化模型可以化简为
Figure GDA0002781355210000107
(523)令S＝PQT，通过矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，其中，S＝UΣVT为矩阵奇异值分解的公式，可以求解得到：
Figure GDA0002781355210000108
并继续后续步骤(53)。
其中，步骤(523)中的计算过程具体如下：
利用矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，可以得到：
tr(RPQT)＝tr(RS)＝tr(RU∑VT)＝tr(∑VTRU)；
设M＝VTRU，由于U,R,V都是单位正交阵，则矩阵M也是单位正交阵，求矩阵∑M的最大迹，则必须使得矩阵M对角线元素均为1，即M＝I；
但是此时得到的最优解可能是旋转矩阵也可能是反射矩阵；如果是反射矩阵，则需要将矩阵M的右下角元素设为-1，取次优解可以得到旋转矩阵。综上所述，可以解得：
Figure GDA0002781355210000111
较佳地，所述的步骤(6)中所述的全景映射处理具体包括以下步骤：
(61)确定全景图像坐标系中的全景图像的坐标(x，y)与经纬度坐标系(longitude,latitude)的对应关系：
Figure GDA0002781355210000112
其中，w为全景图像的宽度，h为全景图像的高度，全景图像图像中心为坐标原点；
(62)确定空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系：
Figure GDA0002781355210000113
(63)根据上述步骤(61)与(62)得到的所述的全景图像坐标系(x,y)和所述的空间图像坐标系(xs,ys,zs)与经纬度(longitude,latitude)的映射关系，得到空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和全景图像坐标系(x,y)之间的映射关系，以及所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系：
Figure GDA0002781355210000114
其中，w为全景图像的宽度，h为全景图像的高度；
(64)利用所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系，将所述的空间的单位球面图像映射到全景坐标图像上。
较佳地，所述的步骤(7)具体包括以下步骤：
(71)确定所述的第一全景坐标图像和第二全景坐标图像的拼接融合的角度ψ弧度；
(72)由拼接融合公式得到所述的完整的360度全景图像，其中，所述的拼接融合公式如下：
A＝αA1+(1-α)A2，
其中，A1表示第一全景坐标图像(x1,y1)的像素点值，A2表示第二全景坐标图像(x2,y2)的像素点值，α为拼接时的权值，其中，
Figure GDA0002781355210000115
更佳地，所述的步骤(71)与(72)还包括以下步骤：
(a1)从经纬度坐标系中取-π到
Figure GDA0002781355210000121
及
Figure GDA0002781355210000122
到π角度部分对应到全景图像(x1,y1)的-π到
Figure GDA0002781355210000123
及
Figure GDA0002781355210000124
到π角度区域作为所述的第一全景坐标图像中对应的角度区域；
(a2)从经纬度坐标系中取
Figure GDA0002781355210000125
到
Figure GDA0002781355210000126
角度部分对应到全景图像(x2,y2)的
Figure GDA0002781355210000127
到
Figure GDA0002781355210000128
角度区域作为所述的第二全景坐标图像中对应的角度区域。
采用该发明中适用于双目鱼眼图像拼接展开校正的方法及系统，通过将双目鱼眼图像转换到空间球面，在空间球面上通过旋转矩阵的校正，修正由于装配焊接时，双目鱼眼传感器不平行和不共轴等原因造成的误差，再转换成为全景图像的方法获取全景图像，用该方法方便实行，能方便、快速、准确的将双目鱼眼图像展开拼接成360度的全景图像，能很好地解决重影问题，拼接得到的全景图像效果好，并且降低了双目鱼眼相机装配要求，实现成本的降低。同时在实现过程中可以使用OpenGL的并行加速处理，能够保证实时性，很好地实现实时视频流的全景图像拼接工作。
附图说明
图1为本发明的适用于双目鱼眼图像拼接展开校正的方法中的将鱼眼图像展开拼接为全景图像流程示意图。
图2为本发明的适用于双目鱼眼图像拼接展开校正的方法中的鱼眼镜头成像原理图。
图3为本发明的适用于双目鱼眼图像拼接展开校正的方法中的一种实施例中的图像坐标系的变角度线扫面法示意图。
图4为本发明的适用于双目鱼眼图像拼接展开校正的方法中的鱼眼图像坐标系与空间单位球面图像坐标系转换示意图。
图5为本发明的适用于双目鱼眼图像拼接展开校正的方法中的旋转矩阵作用原理示意图.
图6为本发明的适用于双目鱼眼图像拼接展开校正的方法中的空间单位球面图像坐标系与全景图像坐标系转换示意图。
图7为本发明的适用于双目鱼眼图像拼接展开校正的方法中的为全景图像拼接示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
该适用于双目鱼眼图像拼接展开校正的方法，包括以下步骤：
(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；
(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；
(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；
(4)运用经纬展开法，将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；
(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；
(6)对矫正后的所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像均进行全景映射处理，将所述的空间的单位球面图像映射到全景坐标图像上，对应得到第一全景坐标图像和第二全景坐标图像；
(7)将所述的第一全景坐标图像和第二全景坐标图像进行拼接，得到一幅完整的360度全景图像。
在上述具体实施例中，所述的步骤(2)中所述的有效的圆形区域的提取处理的具体包括以下步骤：
(21)用变角度扫描法从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标；
(22)以所述的系统预设数量的圆周点坐标为依据，通过圆拟合算法分别确定所述的原始双目鱼眼图像的有效圆形区域的圆心和半径。
在上述实施例中，所述的步骤(21)具体包括以下步骤：
(211)将成对的、倾斜角度不同的第一直线和第二直线组合为直线对；
(212)所述的直线对从倾斜角度0开始，以
Figure GDA0002781355210000131
为差，逐步旋转为倾斜角度2π，即所述的第一直线和第二直线分别从所述的原始双目鱼眼图像两侧逼近，确定各对所述的圆周点坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，并继续后续步骤(22)。
在上述实施例中，所述的步骤(22)中所述的圆拟合算法具体包括以下步骤：
(221)随机从所述的系统预设数量的圆周点坐标中选取预设数量m个圆周点坐标；
(222)利用这m个圆周点坐标计算出从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径，将所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径定义为适应模型的参数A*；
(223)计算所有所述的系统预设数量的圆周点坐标到模型参数A*下的距离di；
(224)将di≤ε定位为第一内点，di>ε定为第一外点，其中，ε为系统设定的阈值，统计在所述的模型参数A*下的第一内点个数和第一外点个数，如果第一内点个数大于当前最优的模型的第一内点数，那么替换模型参数；
(225)判断是否到达系统预设的最大迭代次数；
(226)若达系统预设的最大迭代次数则继续后续步骤(229)，否则继续后续步骤(227)；
(227)判断所述的第一内点个数是否达到系统预设量；
(228)若所述的第一内点个数达到系统预设量，则继续后续步骤(229)，否则返回步骤(221)；
(229)确定所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径为所述的原始双目鱼眼图像的有效圆形区域的圆心和半径，并继续后续步骤(3)。
在上述实施例中，所述的步骤(3)具体包括以下步骤：
(31)通过SIFT算法求得所述的第一有效圆形区域中的特征点及其描述子；
(32)通过SIFT算法求得所述的第二有效圆形区域中的特征点及其描述子；
(33)将所述的第一有效圆形区域的描述子与所述的第二有效圆形区域的描述子进行匹配，得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}，并继续后续步骤(4)。
在上述实施例中，所述的步骤(4)中所述的映射处理具体包括以下步骤：
(41)通过插值法确定所述的双目鱼眼相机的镜头的入射角θ与所述的鱼眼图像中像高r的关系r＝f(θ)；
(42)利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系，得到所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系：
Figure GDA0002781355210000141
(43)以所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系为依据，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上。
在上述实施例中，所述的步骤(5)具体包括以下步骤：
(51)随机从特征点匹配对中选取预设数量m个的特征点匹配对；
(52)利用这m个特征点匹配对计算预计的旋转矩阵R，将所述的预计的旋转矩阵R定义为适应模型的参数B*；
(53)计算所有所述的特征点匹配对到模型参数B*下的距离dj；
(54)将dj≤ε定为第二内点，dj>ε定为第二外点为依据，其中，ε为系统设定的阈值，统计在模型参数B*下的第二内点个数和第二外点个数，如果第二内点个数大于当前最优的模型的第二内点数，那么替换模型参数。
(55)判断是否到达系统预设的最大迭代次数；
(56)若达系统预设的最大迭代次数则继续后续步骤(59)，否则继续后续步骤(57)；
(57)判断所述的第二内点个数是否达到系统预设量；
(58)若所述的第二内点个数达到系统预设量，则继续后续步骤(59)，否则返回步骤(51)；
(59)确定所述的预计的旋转矩阵R为所述的旋转矩阵R，通过所述的旋转矩阵与所述的需要矫正的一幅空间坐标单位球面图像的坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
在上述实施例中，所述的步骤(52)中所述的旋转矩阵R的计算具体包括以下步骤：
(521)建立优化模型，求解所述的旋转矩阵R，所述的优化模型如下：
Figure GDA0002781355210000151
其中，pi和qi为所述的匹配的特征点；
(522)简化所述的优化模型，得到：
Figure GDA0002781355210000152
其中，P为pi组成的矩阵，Q为qi组成的矩阵，R为旋转矩阵；
(523)令S＝PQT，通过矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，其中，S＝UΣVT为矩阵奇异值分解的公式，可以求解得到：
Figure GDA0002781355210000153
并继续后续步骤(53)。
在上述实施例中，所述的步骤(6)中所述的全景映射处理具体包括以下步骤：
(61)确定全景图像坐标系中的全景图像的坐标(x，y)与经纬度坐标系(longitude,latitude)的对应关系：
Figure GDA0002781355210000161
其中，w为全景图像的宽度，h为全景图像的高度，全景图像图像中心为坐标原点；
(62)确定空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系：
Figure GDA0002781355210000162
(63)根据上述步骤(61)与(62)得到的所述的全景图像坐标系(x,y)和所述的空间图像坐标系(xs,ys,zs)与经纬度(longitude,latitude)的映射关系，得到空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和全景图像坐标系(x,y)之间的映射关系，以及所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系：
Figure GDA0002781355210000163
其中，w为全景图像的宽度，h为全景图像的高度；
(64)利用所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系，将所述的空间的单位球面图像映射到全景坐标图像上。
在上述实施例中，所述的步骤(7)具体包括以下步骤：
(71)确定所述的第一全景坐标图像和第二全景坐标图像的拼接融合的角度ψ弧度；
(72)由拼接融合公式得到所述的完整的360度全景图像，其中，所述的拼接融合公式如下：
A＝αA1+(1-α)A2，
其中，A1表示第一全景坐标图像(x1,y1)的像素点值，A2表示第二全景坐标图像(x2,y2)的像素点值，α为拼接时的权值，其中，
Figure GDA0002781355210000164
在上述实施例中，所述的步骤(71)与(72)还包括以下步骤：
(a1)从经纬度坐标系中取-π到
Figure GDA0002781355210000165
及
Figure GDA0002781355210000166
到π角度部分对应到全景图像(x1,y1)的-π到
Figure GDA0002781355210000171
及
Figure GDA0002781355210000172
到π角度区域作为所述的第一全景坐标图像中对应的角度区域；
(a2)从经纬度坐标系中取
Figure GDA0002781355210000173
到
Figure GDA0002781355210000174
角度部分对应到全景图像(x2,y2)的
Figure GDA0002781355210000175
到
Figure GDA0002781355210000176
角度区域作为所述的第二全景坐标图像中对应的角度区域。
上述实施例还包括一种适用于双目鱼眼图像拼接展开校正的系统，所述系统包括：
双目鱼眼相机，用于拍摄监控区域图像；
双目鱼眼图像拼接展开校正程序，所述的双目鱼眼图像拼接展开校正程序在运行时对从所述的双目鱼眼相机拍摄的监控区域图像进行如下步骤处理：
(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；
(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；
(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；
(4)将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将平面的所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；
(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；
(6)对矫正后的所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像均进行全景映射处理，将所述的空间的单位球面图像映射到全景坐标图像上，对应得到第一全景坐标图像和第二全景坐标图像；
(7)将所述的第一全景坐标图像和第二全景坐标图像进行拼接，得到一幅完整的360度全景图像。
在上述实施例中，所述的双目鱼眼相机中的各个鱼眼摄像模块的两个最大视场角超过180度，以确保所述的第一原始鱼眼图像和第二原始鱼眼图像有重叠区域。
所述的步骤(2)中所述的有效的圆形区域的提取处理的具体包括以下步骤：
(21)用变角度扫描法从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标；
(22)以所述的系统预设数量的圆周点坐标为依据，通过圆拟合算法分别确定所述的原始双目鱼眼图像的有效圆形区域的圆心和半径。
所述的步骤(21)具体包括以下步骤：
(211)将成对的、倾斜角度不同的第一直线和第二直线组合为直线对；
(212)所述的直线对从倾斜角度0开始，以
Figure GDA0002781355210000181
为差，逐步旋转为倾斜角度2π，即所述的第一直线和第二直线分别从所述的原始双目鱼眼图像两侧逼近，确定各对所述的圆周点坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，并继续后续步骤(22)。
在上述实施例中，所述的步骤(22)中所述的圆拟合算法具体包括以下步骤：
(221)随机从所述的系统预设数量的圆周点坐标中选取预设数量m个圆周点坐标；
(222)利用这m个圆周点坐标计算出从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径，将所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径定义为适应模型的参数A*；
(223)计算所有所述的系统预设数量的圆周点坐标到模型参数A*下的距离di；
(224)将di≤ε定位为第一内点，di>ε定为第一外点，其中，ε为系统设定的阈值，统计在所述的模型参数A*下的第一内点个数和第一外点个数，如果第一内点个数大于当前最优的模型的第一内点数，那么替换模型参数；
(225)判断是否到达系统预设的最大迭代次数；
(226)若达系统预设的最大迭代次数则继续后续步骤(229)，否则继续后续步骤(227)；
(227)判断所述的第一内点个数是否达到系统预设量；
(228)若所述的第一内点个数达到系统预设量，则继续后续步骤(229)，否则返回步骤(221)；
(229)确定所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径为所述的原始双目鱼眼图像的有效圆形区域的圆心和半径，并继续后续步骤(3)。
在上述实施例中，所述的步骤(3)具体包括以下步骤：
(31)通过SIFT算法求得所述的第一有效圆形区域中的特征点及其描述子；
(32)通过SIFT算法求得所述的第二有效圆形区域中的特征点及其描述子；
(33)将所述的第一有效圆形区域的描述子与所述的第二有效圆形区域的描述子进行匹配，得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}，并继续后续步骤(4)。
在上述实施例中，所述的步骤(4)中所述的映射处理具体包括以下步骤：
(41)通过插值法确定所述的双目鱼眼相机的镜头的入射角θ与所述的鱼眼图像中像高r的关系r＝f(θ)；
(42)利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系，得到所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系：
Figure GDA0002781355210000191
(43)以所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系为依据，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上。
在上述实施例中，所述的步骤(5)具体包括以下步骤：
(51)随机从特征点匹配对中选取预设数量m个的特征点匹配对；
(52)利用这m个特征点匹配对计算预计的旋转矩阵R，将所述的预计的旋转矩阵R定义为适应模型的参数B*；
(53)计算所有所述的特征点匹配对到模型参数B*下的距离dj；
(54)将dj≤ε定为第二内点，dj>ε定为第二外点为依据，其中，ε为系统设定的阈值，统计在模型参数B*下的第二内点个数和第二外点个数，如果第二内点个数大于当前最优的模型的第二内点数，那么替换模型参数。
(55)判断是否到达系统预设的最大迭代次数；
(56)若达系统预设的最大迭代次数则继续后续步骤(59)，否则继续后续步骤(57)；
(57)判断所述的第二内点个数是否达到系统预设量；
(58)若所述的第二内点个数达到系统预设量，则继续后续步骤(59)，否则返回步骤(51)；
(59)确定所述的预计的旋转矩阵R为所述的旋转矩阵R，通过所述的旋转矩阵与所述的需要矫正的一幅空间坐标单位球面图像的坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
在上述实施例中，所述的步骤(52)中所述的旋转矩阵R的计算具体包括以下步骤：
(521)建立优化模型，求解所述的旋转矩阵R，所述的优化模型如下：
Figure GDA0002781355210000192
其中，pi和qi为所述的匹配的特征点；
(522)简化所述的优化模型，得到：
Figure GDA0002781355210000201
其中，P为pi组成的矩阵，Q为qi组成的矩阵，R为旋转矩阵；
(523)令S＝PQT，通过矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，其中，S＝UΣVT为矩阵奇异值分解的公式，可以求解得到：
Figure GDA0002781355210000202
并继续后续步骤(53)。
在上述实施例中，所述的步骤(6)中所述的全景映射处理具体包括以下步骤：
(61)确定全景图像坐标系中的全景图像的坐标(x，y)与经纬度坐标系(longitude,latitude)的对应关系：
Figure GDA0002781355210000203
其中，w为全景图像的宽度，h为全景图像的高度，全景图像图像中心为坐标原点；
(62)确定空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系：
Figure GDA0002781355210000204
(63)根据上述步骤(61)与(62)得到的所述的全景图像坐标系(x,y)和所述的空间图像坐标系(xs,ys,zs)与经纬度(longitude,latitude)的映射关系，得到空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和全景图像坐标系(x,y)之间的映射关系，以及所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系：
Figure GDA0002781355210000205
其中，w为全景图像的宽度，h为全景图像的高度；
(64)利用所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系，将所述的空间的单位球面图像映射到全景坐标图像上。
在上述实施例中，所述的步骤(7)具体包括以下步骤：
(71)确定所述的第一全景坐标图像和第二全景坐标图像的拼接融合的角度ψ弧度；
(72)由拼接融合公式得到所述的完整的360度全景图像，其中，所述的拼接融合公式如下：
A＝αA1+(1-α)A2，
其中，A1表示第一全景坐标图像(x1,y1)的像素点值，A2表示第二全景坐标图像(x2,y2)的像素点值，α为拼接时的权值，其中，
Figure GDA0002781355210000211
在上述实施例中，所述的步骤(71)与(72)还包括以下步骤：
(a1)从经纬度坐标系中取-π到
Figure GDA0002781355210000212
及
Figure GDA0002781355210000213
到π角度部分对应到全景图像(x1,y1)的-π到
Figure GDA0002781355210000214
及
Figure GDA0002781355210000215
到π角度区域作为所述的第一全景坐标图像中对应的角度区域；
(a2)从经纬度坐标系中取
Figure GDA0002781355210000216
到
Figure GDA0002781355210000217
角度部分对应到全景图像(x2,y2)的
Figure GDA0002781355210000218
到
Figure GDA0002781355210000219
角度区域作为所述的第二全景坐标图像中对应的角度区域。
下面结合附图及具体实施例详细介绍，本发明的适用于双目鱼眼图像拼接展开校正的方法及系统。
本发明利用经纬展开方法，将双目鱼眼图像展开，并利用矩阵奇异值分解求解旋转矩阵进行校正，以消除鱼眼相机装配误差，最终准确拼接成为360度全景图像的一种适用于双目鱼眼图像拼接的展开校正方法。
如图1所示，本方法包括以下几个步骤：
利用双目鱼眼相机获取原始双目鱼眼图像，并从中提取左右两个有效的圆形区域；
提取两个有效区域中重叠部分的特征点，并将特征点匹配成对；
将两个有效区域图像分别映射得到两幅空间坐标单位球面图像，在三维空间球面上进行矩阵奇异值分解求解得到两幅图像间的旋转关系即旋转矩阵，并通过旋转矩阵校正其中一幅空间坐标单位球面图像；
将两幅空间坐标单位球面图像分别映射得到两幅全景坐标图像，并拼接成为一幅完整的360度全景图像。
双目鱼眼相机的成像原理如图2所示，成像使用的双目鱼眼相机，单个鱼眼的最大视场角超过180度，以保证获取得到的两幅鱼眼图像有重叠区域。
如图3所示，从原始图像中提取有效圆形区域后，利用变角度线扫描法，获取若干圆周点坐标，利用圆拟合算法确定有效圆形区域的圆心和半径，步骤如下：
使用成对的不同倾斜角的直线，令直线对的倾斜角从0开始，以
Figure GDA0002781355210000221
为差，逐步旋转为倾斜角度2π，分别从圆形区域两侧逼近，从而找到各对切点的坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，其中参数n的值越大，准确性越高；
根据得到的切点坐标构造矩阵
Figure GDA0002781355210000222
通过计算可以得到
P＝(ATA)-1ATB；
令矩阵P＝(p1,p2,p3)T，则可以得到拟合圆的圆心坐标(u0,vo)和半径r，从而从原始图像上得到有效区域。
Figure GDA0002781355210000223
由于图像坐标系和后面所示的坐标系有不同，需要对坐标进行一个适当的变换，变换方
法如下
Figure GDA0002781355210000224
提取得到有效区域以后，利用SIFT算法求得两幅图像中的特征点及其描述子，然后通过描述子的匹配得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}。
对得到的两幅鱼眼图像如图4所示，利用鱼眼图像坐标系和空间图像坐标系之间的映射关系，将平面的鱼眼图像映射到空间的单位球面上，步骤如下：
首先确定入射角θ与鱼眼图像中像高r的关系r＝f(θ)，可以通过镜头的r-θ曲线利用线性插值的方法获取全部的r与θ之间的函数关系f(·)。
然后利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系转换，设图像沿y方向入射，入射角为θ，幅角为φ，图像中心为坐标原点，则在鱼眼图像上有
Figure GDA0002781355210000225
在单位球面上有
Figure GDA0002781355210000231
可以得到鱼眼图像坐标系到空间图像坐标系单位球面之间的映射关系
Figure GDA0002781355210000232
然后建立优化模型，求解旋转矩阵
Figure GDA0002781355210000233
对上式中的求和部分展开得到，考虑到R应为单位正交矩阵
Figure GDA0002781355210000234
由于
Figure GDA0002781355210000235
和
Figure GDA0002781355210000236
是标量，所以有
Figure GDA0002781355210000237
而
Figure GDA0002781355210000238
和
Figure GDA0002781355210000239
与R无关，可以得到
Figure GDA00027813552100002310
同样由于
Figure GDA00027813552100002311
是标量，有
Figure GDA00027813552100002312
从而优化模型可以化简为
Figure GDA00027813552100002313
利用矩阵奇异值分解，对矩阵S＝PQT进行分解S＝U∑VT，可以得到
tr(RPQT)＝tr(RS)＝tr(RU∑VT)＝tr(∑VTRU)；
设M＝VTRU，由于U,R,V都是单位正交阵，则矩阵M也是单位正交阵，求矩阵ΣM的最大迹，则必须使得矩阵M对角线元素均为1，即M＝I。
但是此时得到的最优解可能是旋转矩阵也可能是反射矩阵；如果是反射矩阵，则需要将矩阵M的右下角元素设为-1，取次优解可以得到旋转矩阵。综上所述，可以解得
Figure GDA00027813552100002314
如图5所示，在求得旋转矩阵后，通过旋转矩阵与图像坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
对得到的校正好的两幅空间单位球面上的图像如图6所示，利用空间图像坐标系和全景图像坐标系之间的映射关系，将空间的单位球面上的图像映射成平面的全景图像，步骤如下：
首先确定全景图像坐标系(x,y)所对应的经纬度(longitude,latitude)，其中w为全景图像的宽度，h为全景图像的高度，图像中心为坐标原点，有
Figure GDA0002781355210000241
然后确定空间图像坐标系(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系
Figure GDA0002781355210000242
可以得到空间图像坐标系单位球面(xs,ys,zs)到全景图像坐标系(x,y)之间的映射关系
Figure GDA0002781355210000243
对两幅全景坐标图像的拼接如图7所示，拼接时将两幅全景图像分为不同区域处理，步骤如下：
先确定拼接融合的角度ψ弧度；
然后取-π到
Figure GDA0002781355210000244
及
Figure GDA0002781355210000245
到π角度部分图像(x1,y1)的-π到
Figure GDA0002781355210000246
及
Figure GDA0002781355210000247
到π角度区域作为全景图像中对应的角度区域；取
Figure GDA0002781355210000248
到
Figure GDA0002781355210000249
角度部分图像(x2,y2)的
Figure GDA00027813552100002410
到
Figure GDA00027813552100002411
角度区域作为全景图像中对应的角度区域；
最后全景图像的
Figure GDA00027813552100002412
到
Figure GDA00027813552100002413
及
Figure GDA00027813552100002414
到
Figure GDA00027813552100002415
角度区域内的图像像素值A由拼接融合公式得到，其中A1表示图像(x1,y1)的像素点值，A2表示图像(x2,y2)的像素点值。
A＝αA1+(1-α)A2
其中
Figure GDA00027813552100002416
计算中所涉及的圆拟合方法和特征点匹配的方法，该方法的主要步骤是：
随机从样本中选取m个样本；
利用这m个样本计算出适应模型的参数A*；
计算所有样本点到模型参数A*下的距离di；
依据di≤ε为内点，di>ε为外点，统计在模型参数A*下的内点个数和外点个数，如果内点个数大于当前最优的模型的内点数，那么替换模型参数。
反复迭代以上4步至收敛。
采用该发明中适用于双目鱼眼图像拼接展开校正的方法及系统，通过将双目鱼眼图像转换到空间球面，在空间球面上通过旋转矩阵的校正，修正由于装配焊接时，双目鱼眼传感器不平行和不共轴等原因造成的误差，再转换成为全景图像的方法获取全景图像，用该方法方便实行，能方便、快速、准确的将双目鱼眼图像展开拼接成360度的全景图像，能很好地解决重影问题，拼接得到的全景图像效果好，并且降低了双目鱼眼相机装配要求，实现成本的降低。同时在实现过程中可以使用OpenGL的并行加速处理，能够保证实时性，很好地实现实时视频流的全景图像拼接工作。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (17)

1.一种适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的方法包括以下步骤：
(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；
(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；
(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；
(4)运用经纬展开法，将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；
(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；
(6)对矫正后的所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像均进行全景映射处理，将所述的空间的单位球面图像映射到全景坐标图像上，对应得到第一全景坐标图像和第二全景坐标图像；
(7)将所述的第一全景坐标图像和第二全景坐标图像进行拼接，得到一幅完整的360度全景图像；所述的步骤(2)中所述的有效的圆形区域的提取处理的具体包括以下步骤：
(21)用变角度扫描法从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标；
(22)以所述的系统预设数量的圆周点坐标为依据，通过圆拟合算法分别确定所述的原始双目鱼眼图像的有效圆形区域的圆心和半径；所述的步骤(21)具体包括以下步骤：
(211)将成对的、倾斜角度不同的第一直线和第二直线组合为直线对；
(212)所述的直线对从倾斜角度0开始，以
Figure FDA0002781355200000011
为差，逐步旋转为倾斜角度2π，即所述的第一直线和第二直线分别从所述的原始双目鱼眼图像两侧逼近，确定各对所述的圆周点坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，并继续后续步骤(22)；所述的步骤(22)中所述的圆拟合算法具体包括以下步骤：
(221)随机从所述的系统预设数量的圆周点坐标中选取预设数量m个圆周点坐标；
(222)利用这m个圆周点坐标计算出从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径，将所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径定义为适应模型的参数A*；
(223)计算所有所述的系统预设数量的圆周点坐标到模型参数A*下的距离di；
(224)将di≤ε定位为第一内点，di>ε定为第一外点，其中，ε为系统设定的阈值，统计在所述的模型参数A*下的第一内点个数和第一外点个数，如果第一内点个数大于当前最优的模型的第一内点数，那么替换模型参数；
(225)判断是否到达系统预设的最大迭代次数；
(226)若达系统预设的最大迭代次数则继续后续步骤(229)，否则继续后续步骤(227)；
(227)判断所述的第一内点个数是否达到系统预设量；
(228)若所述的第一内点个数达到系统预设量，则继续后续步骤(229)，否则返回步骤(221)；
(229)确定所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径为所述的原始双目鱼眼图像的有效圆形区域的圆心和半径，并继续后续步骤(3)。
2.根据权利要求1所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(31)通过SIFT算法求得所述的第一有效圆形区域中的特征点及其描述子；
(32)通过SIFT算法求得所述的第二有效圆形区域中的特征点及其描述子；
(33)将所述的第一有效圆形区域的描述子与所述的第二有效圆形区域的描述子进行匹配，得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}，并继续后续步骤(4)。
3.根据权利要求2所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(4)中所述的映射处理具体包括以下步骤：
(41)通过插值法确定所述的双目鱼眼相机的镜头的入射角θ与所述的鱼眼图像中像高r的关系r＝f(θ)；
(42)利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系，得到所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系：
Figure FDA0002781355200000031
(43)以所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系为依据，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上。
4.根据权利要求3所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(5)具体包括以下步骤：
(51)随机从特征点匹配对中选取预设数量m个的特征点匹配对；
(52)利用这m个特征点匹配对计算预计的旋转矩阵R，将所述的预计的旋转矩阵R定义为适应模型的参数B*；
(53)计算所有所述的特征点匹配对到模型参数B*下的距离dj；
(54)将dj≤ε定为第二内点，dj>ε定为第二外点为依据，其中，ε为系统设定的阈值，统计在模型参数B*下的第二内点个数和第二外点个数，如果第二内点个数大于当前最优的模型的第二内点数，那么替换模型参数；
(55)判断是否到达系统预设的最大迭代次数；
(56)若达系统预设的最大迭代次数则继续后续步骤(59)，否则继续后续步骤(57)；
(57)判断所述的第二内点个数是否达到系统预设量；
(58)若所述的第二内点个数达到系统预设量，则继续后续步骤(59)，否则返回步骤(51)；
(59)确定所述的预计的旋转矩阵R为所述的旋转矩阵R，通过所述的旋转矩阵与需要矫正的一幅所述的空间坐标单位球面图像的坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
5.根据权利要求4所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(52)中所述的旋转矩阵R的计算具体包括以下步骤：
(521)建立优化模型，求解所述的旋转矩阵R，所述的优化模型如下：
Figure FDA0002781355200000032
其中，pi和qi为所述的匹配的特征点；
(522)简化所述的优化模型，得到：
Figure FDA0002781355200000033
其中，P为pi组成的矩阵，Q为qi组成的矩阵，R为旋转矩阵；
(523)令S＝PQT，通过矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，其中，S＝UΣVT为矩阵奇异值分解的公式，求解得到：
Figure FDA0002781355200000041
并继续后续步骤(53)。
6.根据权利要求1所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(6)中所述的全景映射处理具体包括以下步骤：
(61)确定全景图像坐标系中的全景图像的坐标(x，y)与经纬度坐标系(longitude,latitude)的对应关系：
Figure FDA0002781355200000042
其中，w为全景图像的宽度，h为全景图像的高度，全景图像图像中心为坐标原点；
(62)确定空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系：
Figure FDA0002781355200000043
(63)根据上述步骤(61)与(62)得到的所述的全景图像坐标系(x,y)和所述的空间图像坐标系(xs,ys,zs)与经纬度(longitude,latitude)的映射关系，得到空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和全景图像坐标系(x,y)之间的映射关系，以及所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系：
Figure FDA0002781355200000044
其中，w为全景图像的宽度，h为全景图像的高度；
(64)利用所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系，将所述的空间的单位球面图像映射到全景坐标图像上。
7.根据权利要求1所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(7)具体包括以下步骤：
(71)确定所述的第一全景坐标图像和第二全景坐标图像的拼接融合的角度ψ弧度；
(72)由拼接融合公式得到所述的完整的360度全景图像，其中，所述的拼接融合公式如下：
A＝αA1+(1-α)A2，
其中，A1表示第一全景坐标图像(x1,y1)的像素点值，A2表示第二全景坐标图像(x2,y2)的像素点值，α为拼接时的权值，其中，
Figure FDA0002781355200000051
8.根据权利要求7所述的适用于双目鱼眼图像拼接展开校正的方法，其特征在于，所述的步骤(71)与(72)还包括以下步骤：
(a1)从经纬度坐标系中取-π到
Figure FDA0002781355200000052
及
Figure FDA0002781355200000053
到π角度部分对应到全景图像(x1,y1)的-π到
Figure FDA0002781355200000054
及
Figure FDA0002781355200000055
到π角度区域作为所述的第一全景坐标图像中对应的角度区域；
(a2)从经纬度坐标系中取
Figure FDA0002781355200000056
到
Figure FDA0002781355200000057
角度部分对应到全景图像(x2,y2)的
Figure FDA0002781355200000058
到
Figure FDA0002781355200000059
角度区域作为所述的第二全景坐标图像中对应的角度区域。
9.一种适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述系统包括：
双目鱼眼相机，用于拍摄监控区域图像；
双目鱼眼图像拼接展开校正程序，所述的双目鱼眼图像拼接展开校正程序在运行时对从所述的双目鱼眼相机拍摄的监控区域图像进行如下步骤处理：
(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；
(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；
(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；
(4)将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将平面的所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；
(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；
(6)对矫正后的所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像均进行全景映射处理，将所述的空间的单位球面图像映射到全景坐标图像上，对应得到第一全景坐标图像和第二全景坐标图像；
(7)将所述的第一全景坐标图像和第二全景坐标图像进行拼接，得到一幅完整的360度全景图像；
所述的步骤(2)中所述的有效的圆形区域的提取处理的具体包括以下步骤：
(21)用变角度扫描法从所述的原始双目鱼眼图像中提取系统预设数量的圆周点坐标；
(22)以所述的系统预设数量的圆周点坐标为依据，通过圆拟合算法分别确定所述的原始双目鱼眼图像的有效圆形区域的圆心和半径；
所述的步骤(21)具体包括以下步骤：
(211)将成对的、倾斜角度不同的第一直线和第二直线组合为直线对；
(212)所述的直线对从倾斜角度0开始，以
Figure FDA0002781355200000061
为差，逐步旋转为倾斜角度2π，即所述的第一直线和第二直线分别从所述的原始双目鱼眼图像两侧逼近，确定各对所述的圆周点坐标{(u1,v1),(u2,v2)，…，(u2n-1，v2n-1)，(u2n,v2n)}，并继续后续步骤(22)；
所述的步骤(22)中所述的圆拟合算法具体包括以下步骤：
(221)随机从所述的系统预设数量的圆周点坐标中选取预设数量m个圆周点坐标；
(222)利用这m个圆周点坐标计算出从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径，将所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径定义为适应模型的参数A*；
(223)计算所有所述的系统预设数量的圆周点坐标到模型参数A*下的距离di；
(224)将di≤ε定位为第一内点，di>ε定为第一外点，其中，ε为系统设定的阈值，统计在所述的模型参数A*下的第一内点个数和第一外点个数，如果第一内点个数大于当前最优的模型的第一内点数，那么替换模型参数；
(225)判断是否到达系统预设的最大迭代次数；
(226)若达系统预设的最大迭代次数则继续后续步骤(229)，否则继续后续步骤(227)；
(227)判断所述的第一内点个数是否达到系统预设量；
(228)若所述的第一内点个数达到系统预设量，则继续后续步骤(229)，否则返回步骤(221)；
(229)确定所述的从所述的原始双目鱼眼图像中得到的圆形区域的圆心和半径为所述的原始双目鱼眼图像的有效圆形区域的圆心和半径，并继续后续步骤(3)。
10.根据权利要求9所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的双目鱼眼相机中的各个鱼眼摄像模块的两个最大视场角超过180度，以确保所述的第一原始鱼眼图像和第二原始鱼眼图像有重叠区域。
11.根据权利要求9所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(3)具体包括以下步骤：
(31)通过SIFT算法求得所述的第一有效圆形区域中的特征点及其描述子；
(32)通过SIFT算法求得所述的第二有效圆形区域中的特征点及其描述子；
(33)将所述的第一有效圆形区域的描述子与所述的第二有效圆形区域的描述子进行匹配，得到匹配的特征点匹配对{p1,p2,…,pm}与{q1,q2,…,qm}，并继续后续步骤(4)。
12.根据权利要求11所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(4)中所述的映射处理具体包括以下步骤：
(41)通过插值法确定所述的双目鱼眼相机的镜头的入射角θ与所述的鱼眼图像中像高r的关系r＝f(θ)；
(42)利用鱼眼图像坐标系(xf,yf)和空间图像坐标系(xs,ys,zs)之间的映射关系，得到所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系：
Figure FDA0002781355200000071
(43)以所述的鱼眼图像的坐标与所述的空间的单位球面的坐标的对应关系为依据，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上。
13.根据权利要求12所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(5)具体包括以下步骤：
(51)随机从特征点匹配对中选取预设数量m个的特征点匹配对；
(52)利用这m个特征点匹配对计算预计的旋转矩阵R，将所述的预计的旋转矩阵R定义为适应模型的参数B*；
(53)计算所有所述的特征点匹配对到模型参数B*下的距离dj；
(54)将dj≤ε定为第二内点，dj>ε定为第二外点为依据，其中，ε为系统设定的阈值，统计在模型参数B*下的第二内点个数和第二外点个数，如果第二内点个数大于当前最优的模型的第二内点数，那么替换模型参数；
(55)判断是否到达系统预设的最大迭代次数；
(56)若达系统预设的最大迭代次数则继续后续步骤(59)，否则继续后续步骤(57)；
(57)判断所述的第二内点个数是否达到系统预设量；
(58)若所述的第二内点个数达到系统预设量，则继续后续步骤(59)，否则返回步骤(51)；
(59)确定所述的预计的旋转矩阵R为所述的旋转矩阵R，通过所述的旋转矩阵与需要矫正的一幅所述的空间坐标单位球面图像的坐标的相乘，实现坐标旋转，校正其中一幅空间坐标单位球面图像。
14.根据权利要求13所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(52)中所述的旋转矩阵R的计算具体包括以下步骤：
(521)建立优化模型，求解所述的旋转矩阵R，所述的优化模型如下：
Figure FDA0002781355200000081
其中，pi和qi为所述的匹配的特征点；
(522)简化所述的优化模型，得到：
Figure FDA0002781355200000082
其中，P为pi组成的矩阵，Q为qi组成的矩阵，R为旋转矩阵；
(523)令S＝PQT，通过矩阵奇异值分解，对矩阵S＝PQT进行分解S＝UΣVT，其中，S＝UΣVT为矩阵奇异值分解的公式，求解得到：
Figure FDA0002781355200000083
并继续后续步骤(53)。
15.根据权利要求9所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(6)中所述的全景映射处理具体包括以下步骤：
(61)确定全景图像坐标系中的全景图像的坐标(x，y)与经纬度坐标系(longitude,latitude)的对应关系：
Figure FDA0002781355200000084
其中，w为全景图像的宽度，h为全景图像的高度，全景图像图像中心为坐标原点；
(62)确定空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和经纬度(longitude,latitude)之间的映射关系：
Figure FDA0002781355200000091
(63)根据上述步骤(61)与(62)得到的所述的全景图像坐标系(x,y)和所述的空间图像坐标系(xs,ys,zs)与经纬度(longitude,latitude)的映射关系，得到空间图像坐标系中的单位球面图像的坐标(xs,ys,zs)和全景图像坐标系(x,y)之间的映射关系，以及所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系：
Figure FDA0002781355200000092
其中，w为全景图像的宽度，h为全景图像的高度；
(64)利用所述的空间的单位球面图像的坐标与所述的全景坐标图像的坐标的对应关系，将所述的空间的单位球面图像映射到全景坐标图像上。
16.根据权利要求9所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(7)具体包括以下步骤：
(71)确定所述的第一全景坐标图像和第二全景坐标图像的拼接融合的角度ψ弧度；
(72)由拼接融合公式得到所述的完整的360度全景图像，其中，所述的拼接融合公式如下：
A＝αA1+(1-α)A2，
其中，A1表示第一全景坐标图像(x1,y1)的像素点值，A2表示第二全景坐标图像(x2,y2)的像素点值，α为拼接时的权值，其中，
Figure FDA0002781355200000093
17.根据权利要求16所述的适用于双目鱼眼图像拼接展开校正的系统，其特征在于，所述的步骤(71)与(72)还包括以下步骤：
(a1)从经纬度坐标系中取-π到
Figure FDA0002781355200000094
及
Figure FDA0002781355200000095
到π角度部分对应到全景图像(x1,y1)的-π到
Figure FDA0002781355200000096
及
Figure FDA0002781355200000097
到π角度区域作为所述的第一全景坐标图像中对应的角度区域；
(a2)从经纬度坐标系中取
Figure FDA0002781355200000098
到
Figure FDA0002781355200000099
角度部分对应到全景图像(x2,y2)的
Figure FDA00027813552000000910
到
Figure FDA00027813552000000911
角度区域作为所述的第二全景坐标图像中对应的角度区域。
CN201710953643.1A 2017-10-13 2017-10-13 适用于双目鱼眼图像拼接展开校正的方法及系统 Active CN107705252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710953643.1A CN107705252B (zh) 2017-10-13 2017-10-13 适用于双目鱼眼图像拼接展开校正的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710953643.1A CN107705252B (zh) 2017-10-13 2017-10-13 适用于双目鱼眼图像拼接展开校正的方法及系统

Publications (2)

Publication Number Publication Date
CN107705252A CN107705252A (zh) 2018-02-16
CN107705252B true CN107705252B (zh) 2021-04-02

Family

ID=61183637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710953643.1A Active CN107705252B (zh) 2017-10-13 2017-10-13 适用于双目鱼眼图像拼接展开校正的方法及系统

Country Status (1)

Country Link
CN (1) CN107705252B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102464A (zh) * 2018-08-14 2018-12-28 四川易为智行科技有限公司 全景图像拼接方法及装置
CN110930303A (zh) * 2018-09-19 2020-03-27 宅妆股份有限公司 全景图形成方法及系统
CN110009567A (zh) * 2019-04-09 2019-07-12 三星电子（中国）研发中心 用于鱼眼镜头的图像拼接方法和装置
CN110232673B (zh) * 2019-05-30 2023-06-23 电子科技大学 一种基于医疗显微成像的快速稳健的图像拼接方法
CN110378884B (zh) * 2019-07-12 2023-03-24 西安石油大学 管内可视化检测视频进行偏心校正和展开变换的方法
CN111429336B (zh) * 2019-12-27 2023-09-08 上海庄生晓梦信息科技有限公司 鱼眼视频数据的处理方法和处理装置
CN111862240B (zh) * 2020-07-28 2022-10-04 展讯通信（上海）有限公司 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN111967469B (zh) * 2020-08-13 2023-12-15 上海明略人工智能(集团)有限公司 一种畸形文本矫正方法、系统及文字识别方法
CN113222878B (zh) * 2021-06-04 2023-09-05 杭州海康威视数字技术股份有限公司 一种图像拼接方法
CN113191954B (zh) * 2021-06-11 2023-09-26 南京工程学院 一种基于双目相机的全景图像拼接方法
CN114240759A (zh) * 2021-12-29 2022-03-25 交通运输部公路科学研究所 一种车底成像处理方法及装置
CN118400594B (zh) * 2024-07-01 2024-10-01 圆周率科技(常州)有限公司 图像拼接方法、装置及全景相机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009039512A1 (en) * 2007-09-21 2009-03-26 The Trustees Of Columbia University In The City Of New York Systems and methods for panoramic imaging
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及系统
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009039512A1 (en) * 2007-09-21 2009-03-26 The Trustees Of Columbia University In The City Of New York Systems and methods for panoramic imaging
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及系统
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"单幅圆形鱼眼图像的校正";张均等;《计算机应用》;20150510;第35卷(第5期);第1444-1448页 *
"应用经纬映射的鱼眼图像校正设计方法";杨玲等;《工程图学学报》;20100630;第19-22页 *

Also Published As

Publication number Publication date
CN107705252A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN111750820B (zh) 影像定位方法及其系统
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN109003311B (zh) 一种鱼眼镜头的标定方法
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN108288292A (zh) 一种三维重建方法、装置及设备
CN103426168B (zh) 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN102096923A (zh) 鱼眼标定方法和装置
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN101354796B (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN104463791A (zh) 一种基于球面模型的鱼眼图像校正法
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
CN106920210A (zh) 一种基于球面展开模型的鱼眼视频实时全景校正方法
CN103106661A (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
Xie et al. OmniVidar: omnidirectional depth estimation from multi-fisheye images
Corke et al. Image Formation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant