CN105678729A - 鱼眼镜头全景图像拼接方法 - Google Patents

鱼眼镜头全景图像拼接方法 Download PDF

Info

Publication number
CN105678729A
CN105678729A CN201610101946.6A CN201610101946A CN105678729A CN 105678729 A CN105678729 A CN 105678729A CN 201610101946 A CN201610101946 A CN 201610101946A CN 105678729 A CN105678729 A CN 105678729A
Authority
CN
China
Prior art keywords
image
model
flake
lens
polynomial fitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610101946.6A
Other languages
English (en)
Other versions
CN105678729B (zh
Inventor
段梦凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610101946.6A priority Critical patent/CN105678729B/zh
Publication of CN105678729A publication Critical patent/CN105678729A/zh
Application granted granted Critical
Publication of CN105678729B publication Critical patent/CN105678729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鱼眼镜头全景图像拼接方法，包括：将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上进而确定多项式拟合模型；将待配准的多个单元图像中的每幅图像重叠区域中的匹配特征点通过多项式拟合模型映射到三维单位球面上，在三维单位球面上对多个单元图像进行计算求出各个单元图像的配准模型矩阵，根据配准模型矩阵在三维球面上将多个单元图像配准形成球面全景图像；把球面全景图像展开成柱面全景图像，对柱面全景图像进行处理，建立柱面全景图像中每个像素点与多单个元图像中的每个像素点的对应位置关系的参数映射表；调用参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。本发明改善了鱼眼全景图像拼接重叠区域中的拼接误差。

Description

鱼眼镜头全景图像拼接方法
技术领域
本发明涉及图像拼接技术领域，特别是一种鱼眼镜头全景图像拼接方法。
背景技术
目前的鱼眼图像的实时拼接技术非常少且单一，一般鱼眼图像的全景图像的实时拼接分两步，首先求出全景图像与各镜头单元图像的参数映射表，然后在线的调用参数映射表对镜头单元图像实时一帧一帧的进行全景图像拼接。最关键的就是第一步，目前解决方案主要有两种：
第一种是把鱼眼图像的径向畸变校正参数和图像元(即单元镜头)的位姿参数作为一体，整体用最优化技术进行参数估计。镜头畸变参数校正最常用的技术是多项式拟合，单元镜头的位姿估计参数是3x3维矩阵，9个参数，这两部分的参数的关系是复合函数，通常用RANSAC或遗传算法、免疫算法、蚁群算法等迭代优化技术求解，这种复合最优化技术对参数的初始值依赖性很强，而且彼此的干扰性也很强，很难达到全局最优，甚至局部最优也无法找到，即使找到的局部最优解，这种比较差的局部最优解也使图像拼接误差增大，因此全景图像重叠区域中的重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题都比较严重。
第二种是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后用2D图像配准技术对校正后的图像元进行2D配准。该方案在最后的一个拼接重叠区域会把误差放大，导致全景球面图像和等柱面全景图像中会有一个拼接误差严重的区域，在该区域重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题比较严重。
综上，现有技术鱼眼镜头图像拼接技术拼接出来的全景图像拼接误差比较大，如在拼接重叠区域中重影、错位严重，在图像的边缘区域变形严重，甚至在全景等柱面展开图的上下边缘中存在一定面积的空白区域。
发明内容
本发明的目的是提供一种鱼眼镜头全景图像拼接方法，以改进提高鱼眼全景图像拼接重叠区域中的拼接误差，进而解决全景拼接图像重叠区域中的重影错位问题，边缘区域变形严重、模糊及图像区域空白等问题。
为了解决上述技术问题，本发明提供一种鱼眼镜头全景图像拼接方法，包括：
步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像；
步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表；
步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。
步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型，具体为：
取空间同一条直线映射到鱼眼镜头的元图像上的直线上的至少三个点，然后用所述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方和；用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分布不均可以多拍几张弥补。建立以下函数：Dist＝S1+…+SNn；其中S1＝d1^2+d2^2+…+dn1^2，…，SNn＝dN1^2+dN2^2+…+dNn^2；以函数Dist最小值为目标，求出所述多项式拟合模型的系数参数。
在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：
设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，1]；以多个鱼眼镜头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’，其中， M o d l e = h 11 , h 12 , h 13 , h 14 h 21 , h 22 , h 23 , h 24 h 31 , h 32 , h 33 , h 34 h 41 , h 42 , h 43 , h 44 , Modle是16个自由度的矩阵。该配准模型演化出以下三个方程： X ′ = h 11 * x + h 12 * y + h 13 * z + h 14 h 41 * x + h 42 * y + h 43 * z + h 44 , Y ′ = h 21 * x + h 22 * y + h 23 * z + h 24 h 41 * x + h 42 * y + h 43 * z + h 44 , (X′，Y′，Z′)和(x，y，z)是匹配的特征点对的球面坐标，把5对不共面的匹配特征点的坐标代入这三个方程中，5对特征点可以得到15个独立的方程，通过解他们组成的方程组求解得到Modle矩阵。
所述步骤三具体为：对所述柱面全景图像进行重采样处理，将采样点通过柱面展开图和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求得到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反求出在鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表。
该发明从原理上说，通过鱼眼图像的球面映射校正模型能够有效校正鱼眼图像产生的径向畸变，使其映射到自己所在单位球面上的映射的相对位置得到校正，边缘区域的变形得到有效的校正；通过在单位球面上的配准，使得球面上的绝对位置得到有效的配准，两步分开进行也消除了彼此参数间的耦合影响。因此使得重合区域中匹配的图像点间的拼接误差大幅度减小，因此使得全景图像中由匹配点间的拼接误差引起的重影、错位、模糊等问题也相应得到了解决。只要鱼眼镜头的分布都能满足在单位球面的任意位置都至少是一个鱼眼镜头的成像区域，从原理上说全景图像中就不可能存在空白图像区域。
本发明的有益效果是：根据本发明产生的参数映射表拼接出来的全景图像效果好，全景图像中完全没有空白图像区域，重叠区域图像误差小，使得该区域重影、错位问题以及边缘区域变形严重、模糊及图像区域空白等问题肉眼几乎分辨不出来。
附图说明
图1是本发明中二维平面图像到三维球面图像的映射模型示意图；
图2是本发明实施例中单元鱼眼镜头的分布示意图；
图3是本发明实施例中单元鱼眼镜头的一个特殊分布示意图；
图4是本发明实施例中鱼眼图像到单位球面映射流程图；
图5是本发明实施例中全景图像参数映射表建立流程图；
图6是本发明实施例中全景图像拼接融合流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的说明。
本发明提供一种鱼眼镜头全景图像拼接方法，包括：
步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像；
步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表；
步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。
步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型，具体为：
取空间同一条直线映射到鱼眼镜头的单元图像上的直线上的至少三个点，然后用所述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方和；用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分布不均可以多拍几张弥补。建立以下函数：Dist＝S1+…+SNn；其中S1＝d1^2+d2^2+…+dn1^2，…，SNn＝dN1^2+dN2^2+…+dNn^2；以函数Dist最小值为目标，求出所述多项式拟合模型的系数参数。
在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：
设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，1]。以多个鱼眼镜头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’，其中， M o d l e = h 11 , h 12 , h 13 , h 14 h 21 , h 22 , h 23 , h 24 h 31 , h 32 , h 33 , h 34 h 41 , h 42 , h 43 , h 44 ; Modle是16个自由度的矩阵。该配准模型演化出以下三个方程： X ′ = h 11 * x + h 12 * y + h 13 * z + h 14 h 41 * x + h 42 * y + h 43 * z + h 44 , Y ′ = h 21 * x + h 22 * y + h 23 * z + h 24 h 41 * x + h 42 * y + h 43 * z + h 44 , (X′，Y′，Z′)和(x，y，z)是匹配的特征点对的单位球面坐标。把5对不共面的匹配特征点的坐标代入这三个方程中，5对特征点可以得到15个独立的方程，通过解他们组成的方程组求解得到Modle矩阵进而得到配准模型。
所述步骤三具体为：对所述柱面全景图像进行重采样处理，将采样点通过柱面展开图像和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求得到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反求出在鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表。
本发明采用不同于传统的技术求出全景图像与各镜头图像的参数映射表，分四步，首先，建立一个多项式拟合模型把鱼眼平面图像映射到三维球面上，识别出模型参数；其次，把单元图像(指待配准的鱼眼图像组中的每幅图像)的特征点(指重叠区域中已匹配好的特征点)通过多项式拟合模型映射到三维单位球面上，在三维单位球面上对鱼眼图像进行配准求出各镜头成像的配准模型；根据配准模型配准出球面全景图；然后，把球面全景图按等柱面方式展开成柱面全景图；最后，通过上面的步骤产生全景图像与各镜头图像的参数映射表。
本发明包括三个步骤，第一是二维图像到三维图像的映射多项式拟合模型(简称映射模型或模型)的建立与该模型参数的辨识；该模型涉及两个输入参数：径向参数R，极角参数Theta1；两个输出参数，纬线角参数Arerfa，经线角参数Theta2，其中，极角参数Theta1是经线角参数Theta2在赤道大圆上的映射投影，彼此的值时时处处相等，不用变换；径向参数r与纬线角参数Arerfa采用多项式拟合模型，即：
Arerfa＝a0+a1*R+a2*R^2+a3*R^3+a4*R^4+...+an*R^n，为了减少参数可以用奇次相多项式，
(Arerfa＝a0+a1*R+a2*R^3+a3*R^5+a4*R^7+...+an*R^(2*(n-1)+1))或偶次相多项式(Arerfa＝a0+(a1*R+a2*R^3+a3*R^5+a4*R^7+…+an*R^(2*(n-1)+1))*R)模型替代。
二维图像到三维球面图像的映射模型如图1所示。图中，Theta1＝a1，Theta2＝a2；Arerfa＝90度-a3；a1、a2的取值范围为[0，360度]，a3的取值范围为[0，180度]。P0为平面图像上的点，P为P0在单位球面上的投影。r为P0到单位元图像中心的距离。模型包括两个方程的方程组：Theta2＝Theta1，Arerfa＝a0+a1*R+a2*R^2+a3*R^3+a4*R^4+…+an*R^n
则在三维空间单位球面上的点的坐标为：(cosTheta2*cosArerfa，sinTheta2*cosArerfa，sinArerfa)
第二是该映射模型参数的辨识方法：取空间同一条直线(这条直线在鱼眼图像中的映射像素数量大于一定的阈值就可以)映射到鱼眼图像上的点取大于3个点，然后用上面的多项式模型求出到三维单位球面上的映射点，再然后把这些映射点在单位球面(三维单位球面上，因为球面上的坐标点向量模为1，所以叫单位球面)拟合一个大圆，求出映射点到拟合的大圆的球面距离d，求出他们的平方和S；用同种方法取空间中多条直线计算；建立以下函数：S1＝d1^2+d2^2+…+dn1^2…SNn＝dN1^2+dN2^2+...+dNn^2；Dist＝S1+…+SNn；以函数Dist最小值为目标，用最优化的方法求出上面的映射模型参数(指的就是a0、a1…an，用的就是目标优化技术，可以是遗传算法等迭代目标优化技术求出多项式系数，试验表明效果也都差不多)。其中只要求所用的直线组在鱼眼镜头拍摄的图像中的分布应该在图像中从圆心到边缘都有，可以变换角度多拍几张弥补直线分布的不均匀。
第三是把鱼眼图像重叠区域中的特征点位置用上面辨识出来的模型映射到三维单位球面，则三维球面上点的坐标为[x，y，z，1]，以多个鱼眼镜头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’(指两个镜头所拍摄的两幅图像间的投影变换模型)。
M o d l e = h 11 , h 12 , h 13 , h 14 h 21 , h 22 , h 23 , h 24 h 31 , h 32 , h 33 , h 34 h 41 , h 42 , h 43 , h 44
其中Modle是16个自由度的矩阵。该配准模型演化出以下三个方程： X ′ = h 11 * x + h 12 * y + h 13 * z + h 14 h 41 * x + h 42 * y + h 43 * z + h 44 Y ′ = h 21 * x + h 22 * y + h 23 * z + h 24 h 41 * x + h 42 * y + h 43 * z + h 44 , Z ′ = h 31 * x + h 32 * y + h 33 * z + h 34 h 41 * x + h 42 * y + h 43 * z + h 44 . (X′，Y′，Z′)和(x，y，z)是匹配的特征点对的单位球面坐标，理论上有5对不共面的匹配特征点对可以确定Modle矩阵，把5对不共面的匹配特征点的坐标代入这三个方程中，5对特征点可以得到15个独立的方程，通过解他们组成的方程组求解得到Modle矩阵。选其中一个镜头作为主镜头，所拍摄的图像映射到单位球面上的图像作为参考图像，用这种方式配准剩下的镜头拍摄的图像到单位球面上的图像到该参考图像的映射模型矩阵Modle1、Modle2…。再然后通过上面的步骤求出柱面全景图像与各镜头图像的参数映射表(对柱面全景图像进行重采样，各采样点通过柱面展开图和球面的变换关系求得在参考球面上的位置，再通过配准模型的逆模型(逆矩阵或广义逆矩阵)求得到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的映射模型反求出鱼眼图像中的位置。这样建立柱面展开图中所有的像素点和各鱼眼图像点的一一映射表即为所求的参数映射表；存储在存储元件中。最后，每读取一组帧鱼眼图像调用参数映射表融合成全景图像。
本发明实现的流程图包括三步：第一步，鱼眼图像到三维单位球面的映射，如图4所示；第二步，计算生成全景图像和鱼眼单元图像的参数映射表，如图5所示；第三步，根据参数映射表实时拼接融合全景帧图像序列。前两步属于离线操作，在PC机上实现，一套全景设备只需操作一次，结果写入全景设备的存储器件；最后一步属于在线操作，在全景设备中实时处理。可以看出，耗时的算法都是离线进行的，需要实时处理的算法简单，运算量小；既能满足高性能的要求又能节省时间实时处理。最重要的是该算法方案把鱼眼图像的畸变矫正和位姿估计合理的解耦，并且都是在3D单位球面上做，使得在图像重叠区域的拼接误差数量级的减小，肉眼几乎无能分辨。
具体实施例：
为了完全避免全景图像中无空白区域，镜头元的分布必须满足一定的条件。对于视角为180度的镜头组选用3个镜头(A1、A2、A3)；3个镜头应该尽可能的在所在的球面上均匀分布，即以过球心的任意一条直径作为极轴，每个点所在的经线和球心所共同确定的平面两两之间的两面角都为120度；如果球面上的任意一点的坐标记为(Theta2，Arerfa)，则其中一种特殊分布：A1(90度，0度)、A2(210度，60度)、A3(330度，-60度)，如图2所示。事实上为了美观和生产方便，只要满足通常意义下每个点所在的经线两两之间的夹角都为120度，纬线上一个为0度，一个偏上，另一个偏下，如图3所示。对于视角大于180度的镜头组选用两个镜头，镜头背对背分布(即两个镜头连线过圆心)即可(图未示)。
第一步，按图4所示的流程图步骤求解出三个鱼眼镜头的鱼眼图像到各自的单位球面上的映射模型参数。首先，假设所选的模型是4阶偶次多项式模型，即：Arerfa＝a0+(a1*R+a2*R^3+a3*R^5)*R和Theta2＝Theta1。用N1条空间直线在鱼眼图像上的弧线上以一定的间距采样取得N1组特征点，把这些特征点按这个鱼眼镜头的图像到单位球面的投影模型投影到各自的单位球面上；再然后用这些映射点在单位球面上拟合N1条大圆弧；接着求出每个特征点到各自拟合的大圆上的球面距离d1i；再求出这些球面距离的平方和s1；最后以s1取得最小值为目标用遗传算法求出a10、a11、a12、a13；同理，求出另两a20、a21、a22、a23，a30、a31、a32、a33；保存这三组系数。
第二步，按图5所示的流程图步骤求出全景柱面展开图的像素点和3个鱼眼镜头图像位置的一一映射的参数映射表。首先，假设以镜头1作为全景设备的主镜头。把三个镜头各一幅图像中n(大于等于5的不共面)对匹配的特征点用各自的单位球面上的映射模型参数映射到各自的单位球面上；然后，用三个镜头的三幅图像的单位球面上的匹配点对用配准模型[X，Y，Z，H]’＝Modle*[x，y，z，1]’配准矩阵Modle21和Modle31，分别为镜头二、镜头三的单位球面图像映射到镜头一的单位球面图像的映射模型矩阵。用最小二乘算法求解该模型变换矩阵。再用矩阵求逆的方式求出Modle12、和Modle13，分别是Modle21和Modle31的逆模型。接着，对全景柱面展开图进行重采样，用Modle12、和Modle13求出采样点到三个镜头的单位球面图像上的映射点；再接着用三个鱼眼镜头的鱼眼图像到各自的单位球面上的映射模型(即多项式模型)反求出到各个鱼眼图像点的映射位置。到此即求出全景柱面图像的参数映射表，保存。
第三步，按图6所示的流程图步骤求出每帧全景柱面展开图。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述。以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种鱼眼镜头全景图像拼接方法，其特征在于，包括：
步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像；
步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表；
步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。
2.根据权利要求1所述的鱼眼镜头全景图像拼接方法，其特征在于，步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型，具体为：
取空间同一条直线映射到鱼眼镜头图像上的直线上的至少三个点，然后用所述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方和；用同种方法取空间中多条直线计算，建立以下函数：Dist＝S1+...+SNn；其中S1＝d1^2+d2^2+...+dn1^2，...，SNn＝dN1^2+dN2^2+...+dNn^2；以函数Dist最小值为目标，求出所述多项式拟合模型的系数参数；其中所取的多条直线在鱼眼镜头图像中分布均匀。
3.根据权利要求2所述的鱼眼镜头全景图像拼接方法，其特征在于，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：
设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，1]；以多个鱼眼镜头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：
[X，Y，Z，H]’＝Modle*[x，y，z，1]’，其中， M o d l e = h 11 , h 12 , h 13 , h 14 h 21 , h 22 , h 23 , h 24 h 31 , h 32 , h 33 , h 34 h 41 , h 42 , h 43 , h 44 , Modle是16个自由度的矩阵；该配准模型演化出以下三个方程： X ′ = h 11 * x + h 12 * y + h 13 * z + h 14 h 41 * x + h 42 * y + h 43 * z + h 44 , (X′，Y′，Z′)和(x，y，z)是匹配的特征点对的球面坐标；把5对不共面的匹配特征点的坐标代入这三个方程中，5对特征点可以得到15个独立的方程，通过解他们组成的方程组求解得到Modle矩阵。
4.根据权利要求3所述的鱼眼镜头全景图像拼接方法，其特征在于，所述步骤三具体为：
对所述柱面全景图像进行重采样处理，将采样点通过柱面展开图像和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求得到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反求出鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表。
CN201610101946.6A 2016-02-24 2016-02-24 鱼眼镜头全景图像拼接方法 Active CN105678729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610101946.6A CN105678729B (zh) 2016-02-24 2016-02-24 鱼眼镜头全景图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610101946.6A CN105678729B (zh) 2016-02-24 2016-02-24 鱼眼镜头全景图像拼接方法

Publications (2)

Publication Number Publication Date
CN105678729A true CN105678729A (zh) 2016-06-15
CN105678729B CN105678729B (zh) 2018-03-09

Family

ID=56304996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610101946.6A Active CN105678729B (zh) 2016-02-24 2016-02-24 鱼眼镜头全景图像拼接方法

Country Status (1)

Country Link
CN (1) CN105678729B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530267A (zh) * 2016-11-30 2017-03-22 长沙全度影像科技有限公司 一种避免全景图像错位的融合方法
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN106934765A (zh) * 2017-03-14 2017-07-07 长沙全度影像科技有限公司 基于深度卷积神经网络与深度信息的全景图像融合方法
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法
CN107146195A (zh) * 2016-07-27 2017-09-08 深圳市量子视觉科技有限公司 球面图像拼接方法和装置
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
CN107633545A (zh) * 2017-08-25 2018-01-26 包谦 一种全景图像的处理方法
CN107909559A (zh) * 2017-12-22 2018-04-13 清华大学 基于相机高低位数据的图像去噪融合方法及系统
CN107958440A (zh) * 2017-12-08 2018-04-24 合肥工业大学 在gpu上实现双鱼眼图像实时全景图像拼接方法及系统
CN107993276A (zh) * 2016-10-25 2018-05-04 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
CN108040241A (zh) * 2016-10-31 2018-05-15 央视国际网络无锡有限公司 一种球面全景视频转换为柱面全景视频的方法
CN108122191A (zh) * 2016-11-29 2018-06-05 成都观界创宇科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN108205799A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN108230454A (zh) * 2017-12-28 2018-06-29 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN108269234A (zh) * 2016-12-30 2018-07-10 成都观界创宇科技有限公司 一种全景相机镜头姿态估计方法及全景相机
CN108282615A (zh) * 2017-11-02 2018-07-13 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN108734666A (zh) * 2017-04-13 2018-11-02 杭州海康威视数字技术股份有限公司 一种鱼眼图像校正方法及装置
CN109087248A (zh) * 2018-08-22 2018-12-25 上海庄生晓梦信息科技有限公司 一种将半径不同的两张鱼眼图片进行全景拼接的方法
WO2019001255A1 (zh) * 2017-06-26 2019-01-03 深圳岚锋创视网络科技有限公司 一种全景图像的拼接方法、装置及便携式终端
CN109246416A (zh) * 2018-09-21 2019-01-18 福州大学 车载六路摄像头的全景拼接方法
CN110189256A (zh) * 2019-05-30 2019-08-30 深圳岚锋创视网络科技有限公司 一种全景图像拼接方法、计算机可读存储介质及全景相机
CN110349109A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN111260539A (zh) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其系统
CN112258581A (zh) * 2020-09-25 2021-01-22 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN114372919A (zh) * 2022-03-22 2022-04-19 鹰驾科技（深圳）有限公司 一种双挂汽车列车全景环视图像拼接方法及系统
CN114494376A (zh) * 2022-01-29 2022-05-13 山西华瑞鑫信息技术股份有限公司 一种镜像配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法
US20130176432A1 (en) * 2008-08-08 2013-07-11 Objectvideo, Inc. Automatic calibration of ptz camera system
CN103366399A (zh) * 2013-07-02 2013-10-23 苏州瀚易特信息技术有限公司 三维全景模型生成方法
CN104463791A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种基于球面模型的鱼眼图像校正法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176432A1 (en) * 2008-08-08 2013-07-11 Objectvideo, Inc. Automatic calibration of ptz camera system
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法
CN103366399A (zh) * 2013-07-02 2013-10-23 苏州瀚易特信息技术有限公司 三维全景模型生成方法
CN104463791A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种基于球面模型的鱼眼图像校正法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔汉国，陈军，王大宇: "鱼眼图像校正及拼接的研究与实现", 《计算机工程》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146195A (zh) * 2016-07-27 2017-09-08 深圳市量子视觉科技有限公司 球面图像拼接方法和装置
US11330172B2 (en) 2016-10-25 2022-05-10 Hangzhou Hikvision Digital Technology Co., Ltd. Panoramic image generating method and apparatus
CN107993276A (zh) * 2016-10-25 2018-05-04 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
CN108040241A (zh) * 2016-10-31 2018-05-15 央视国际网络无锡有限公司 一种球面全景视频转换为柱面全景视频的方法
CN108040241B (zh) * 2016-10-31 2019-12-03 央视国际网络无锡有限公司 一种球面全景视频转换为柱面全景视频的方法
CN108122191B (zh) * 2016-11-29 2021-07-06 成都美若梦景科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN108122191A (zh) * 2016-11-29 2018-06-05 成都观界创宇科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN106530267B (zh) * 2016-11-30 2017-11-21 长沙全度影像科技有限公司 一种避免全景图像错位的融合方法
CN106530267A (zh) * 2016-11-30 2017-03-22 长沙全度影像科技有限公司 一种避免全景图像错位的融合方法
CN108205799B (zh) * 2016-12-16 2021-03-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN108205799A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN108269234A (zh) * 2016-12-30 2018-07-10 成都观界创宇科技有限公司 一种全景相机镜头姿态估计方法及全景相机
CN108269234B (zh) * 2016-12-30 2021-11-19 成都美若梦景科技有限公司 一种全景相机镜头姿态估计方法及全景相机
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法
CN106934765A (zh) * 2017-03-14 2017-07-07 长沙全度影像科技有限公司 基于深度卷积神经网络与深度信息的全景图像融合方法
CN108734666A (zh) * 2017-04-13 2018-11-02 杭州海康威视数字技术股份有限公司 一种鱼眼图像校正方法及装置
CN108734666B (zh) * 2017-04-13 2021-03-26 杭州海康威视数字技术股份有限公司 一种鱼眼图像校正方法及装置
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
WO2019001255A1 (zh) * 2017-06-26 2019-01-03 深圳岚锋创视网络科技有限公司 一种全景图像的拼接方法、装置及便携式终端
CN107633545A (zh) * 2017-08-25 2018-01-26 包谦 一种全景图像的处理方法
CN108282615A (zh) * 2017-11-02 2018-07-13 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN107958440A (zh) * 2017-12-08 2018-04-24 合肥工业大学 在gpu上实现双鱼眼图像实时全景图像拼接方法及系统
CN107909559A (zh) * 2017-12-22 2018-04-13 清华大学 基于相机高低位数据的图像去噪融合方法及系统
CN108230454B (zh) * 2017-12-28 2021-09-28 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN108230454A (zh) * 2017-12-28 2018-06-29 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN109087248A (zh) * 2018-08-22 2018-12-25 上海庄生晓梦信息科技有限公司 一种将半径不同的两张鱼眼图片进行全景拼接的方法
CN109246416A (zh) * 2018-09-21 2019-01-18 福州大学 车载六路摄像头的全景拼接方法
WO2020238897A1 (zh) * 2019-05-30 2020-12-03 影石创新科技股份有限公司 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机
CN110189256A (zh) * 2019-05-30 2019-08-30 深圳岚锋创视网络科技有限公司 一种全景图像拼接方法、计算机可读存储介质及全景相机
CN110349109B (zh) * 2019-07-12 2023-04-21 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN110349109A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN111260539A (zh) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其系统
CN111260539B (zh) * 2020-01-13 2023-05-12 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其系统
CN112258581A (zh) * 2020-09-25 2021-01-22 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN114494376A (zh) * 2022-01-29 2022-05-13 山西华瑞鑫信息技术股份有限公司 一种镜像配准方法
CN114372919A (zh) * 2022-03-22 2022-04-19 鹰驾科技（深圳）有限公司 一种双挂汽车列车全景环视图像拼接方法及系统

Also Published As

Publication number Publication date
CN105678729B (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
CN105678729A (zh) 鱼眼镜头全景图像拼接方法
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN101783011B (zh) 一种鱼眼镜头的畸变校正方法
Aghayari et al. Geometric calibration of full spherical panoramic Ricoh-Theta camera
Chatterjee et al. Algorithms for coplanar camera calibration
CN104376552A (zh) 一种3d模型与二维图像的虚实配准算法
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN105825470A (zh) 基于点云影像的鱼眼影像纠正方法
CN103414910A (zh) 一种低失真的立体图像外极线校正方法
CN102005039A (zh) 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
CN108269234B (zh) 一种全景相机镜头姿态估计方法及全景相机
CN112734863A (zh) 一种基于自动定位的交叉式双目相机标定方法
CN112767467B (zh) 一种基于自监督深度学习的双图深度估计方法
CN104240229A (zh) 一种红外双目相机自适应极线校正方法
Chan et al. An improved method for fisheye camera calibration and distortion correction
Nagy et al. Development of an omnidirectional stereo vision system
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN108898550B (zh) 基于空间三角面片拟合的图像拼接方法
CN108765292B (zh) 基于空间三角面片拟合的图像拼接方法
CN110580715A (zh) 一种基于照度约束和格网变形的图像对齐方法
CN103997637A (zh) 一种平行相机阵列多视点图像校正方法
CN110111249A (zh) 一种隧道内壁拼图影像的获取和生成方法及系统
CN111047513A (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置
Zhang et al. A survey of catadioptric omnidirectional camera calibration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant