CN108171759A - 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端 - Google Patents

双鱼眼镜头全景相机的标定方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN108171759A
CN108171759A CN201810076056.3A CN201810076056A CN108171759A CN 108171759 A CN108171759 A CN 108171759A CN 201810076056 A CN201810076056 A CN 201810076056A CN 108171759 A CN108171759 A CN 108171759A
Authority
CN
China
Prior art keywords
pair
fish eye
coordinate
eye images
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810076056.3A
Other languages
English (en)
Inventor
牟俊舟
刘正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoyi Technology Co Ltd
Original Assignee
Shanghai Xiaoyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoyi Technology Co Ltd filed Critical Shanghai Xiaoyi Technology Co Ltd
Priority to CN201810076056.3A priority Critical patent/CN108171759A/zh
Publication of CN108171759A publication Critical patent/CN108171759A/zh
Priority to US16/256,265 priority patent/US10504242B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种双鱼眼镜头全景相机的标定方法及装置、存储介质、终端，双鱼眼镜头全景相机的标定方法包括：确定待标定的内参数和外参数；获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像；利用棋盘格标定板中角点的第一投影坐标与第一对鱼眼图像中角点坐标的差异，对光心的位置进行调整，以获得最优光心；更新双鱼眼镜头的光心为最优光心，并获取双鱼眼镜头拍摄的第二对鱼眼图像；利用第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数。本发明技术方案可以提高对鱼眼镜头进行标定的准确性。

Description

双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
技术领域
本发明涉及影像处理技术领域，尤其涉及一种双鱼眼镜头全景相机的标定方法及装置、存储介质、终端。
背景技术
360度全景相机通常由多个普通镜头或多个广角摄像头组成，对360度范围内的场景进行同步采集，并融合为一个完整的球体投影图像。采用2个鱼眼摄像头组成的全景相机，有效降低了拼接算法的复杂度，实现快速拼接。鱼眼镜头的成像会产生畸变。在生产鱼眼镜头时需要对鱼眼镜头进行标定。
现有技术中，对鱼眼镜头的内外参数分开进行标定。对内参数进行标定时，使标定板覆盖镜头图像上的绝大部分区域，尤其是边沿部分，因此需要采集多张图像，并移动相机或者标定板；获取图像之后，计算识别特征点的图像坐标与对应棋盘平面坐标之间的投影误差，以此误差为优化目标进行迭代，优化镜头所有的内外参数。对外参数的标定，需要在镜头图像重叠区域内设置标定板，然后分别计算各个镜头相对于标定板的外参数，然后再计算镜头相互之间的外参数。
但是，内参数标定时标定板在图像上的覆盖范围越大，标定效果越好，因此需要尽可能移动相机或者标定板，操作繁琐耗时，生产效率低。外参数标定时需要标定板同时被两个镜头图像覆盖，通常导致标定板在图像上覆盖面积较小，带来较大的误差。此外，镜头内参数与外参数各自分开计算，第内参畸变曲线在视场角边沿处无法得到有效评价，导致对外参数标定的结果经常不够理想，最终拼接效果也不好。
发明内容
本发明解决的技术问题是如何提高对鱼眼镜头进行标定的准确性。
为解决上述技术问题，本发明实施例提供一种双鱼眼镜头全景相机的标定方法，双鱼眼镜头全景相机的标定方法包括：
确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。
可选的，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整包括：迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。
可选的，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整包括：以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。
可选的，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：将所述第二对鱼眼图像映射形成所述全景图像；在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。
可选的，所述在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标之前还包括：在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标；所述迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整包括：迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。
可选的，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。
可选的，所述利用所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值进行调整包括：根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。
为解决上述技术问题，本发明实施例还公开了一种双鱼眼镜头全景相机的标定装置，包括：参数确定模块，适于确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；第一图像获取模块，适于获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；光心调整模块，适于利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；第二图像获取模块，适于更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；畸变多项式系数和外参数调整模块，适于利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。
为解决上述技术问题，本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述双鱼眼镜头全景相机的标定方法的步骤。
为解决上述技术问题，本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令所述处理器运行所述计算机指令时执行所述双鱼眼镜头全景相机的标定方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案在获取针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像和第二对鱼眼图像时，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域。所述棋盘格标定板仅用于标定内参数，从而避免了现有技术中棋盘格标定板或相机的频繁移动，简化了操作流程，提高了标定的简便性；随机特征点标定板位于所述双鱼眼镜头的重叠区域，使得随机特征点标定板在鱼眼图像上的面积较大，保证了标定的准确性；此外，简化了外参数标定时对标定板的要求，随机特征点标定板中特征点较少，可以减小标定过程中的计算量。进一步地，本发明技术方案先利用棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整。然后再使用最优光心拍摄第二对鱼眼图像，以同时对所述畸变多项式系数的值和外参数的值进行调整；提高了图像边沿部分畸变多项式系数的标定准确度，还可以避免现有技术中畸变多项式系数无法得到有效评价时对外参数的影响，提高对鱼眼镜头进行标定的准确性。
进一步，本发明技术方案将所述第二对鱼眼图像映射形成所述全景图像；在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标；根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值。本发明技术方案通过拼接投影形成的全景图像，以及全景图像中随机特征点的投影误差来更新所述畸变多项式系数的值和外参数的值，在保证对畸变多项式系数和外参数标定的准确性的基础上，也保证了全景图像的拼接效果。
附图说明
图1是本发明实施例一种双鱼眼镜头全景相机的标定方法的流程图；
图2是本发明实施例一种双鱼眼镜头全景相机与棋盘格标定板和随机特征点标定板的位置示意图；
图3是本发明实施例一种双鱼眼镜头全景相机的标定方法的部分流程图；
图4是本发明实施例另一种双鱼眼镜头全景相机的标定方法的部分流程图；
图5是本发明实施例一种双鱼眼镜头全景相机的标定装置的结构示意图；
图6是图5所示畸变多项式系数和外参数调整模块505的具体结构示意图。
具体实施方式
如背景技术中所述，现有技术中，内参数标定时标定板在图像上的覆盖范围越大，标定效果越好，因此需要尽可能移动相机或者标定板，操作繁琐耗时，生产效率低。外参数标定时需要标定板同时被两个镜头图像覆盖，通常导致标定板在图像上覆盖面积较小，带来较大的误差。此外，镜头内参数与外参数各自分开计算，第内参畸变曲线在视场角边沿处无法得到有效评价，导致对外参数标定的结果经常不够理想，最终拼接效果也不好。
本发明技术方案在获取针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像和第二对鱼眼图像时，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域。所述棋盘格标定板仅用于标定内参数中的光心，从而避免了现有技术中棋盘格标定板或相机的频繁移动，简化了操作流程，提高了标定的简便性；随机特征点标定板位于所述双鱼眼镜头的重叠区域，使得随机特征点标定板在鱼眼图像上的面积较大，保证了标定的准确性；此外，简化了外参数标定时对标定板的要求，随机特征点标定板中特征点较少，可以减小标定过程中的计算量。进一步地，本发明技术方案先利用棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整。然后再使用最优光心拍摄第二对鱼眼图像，以同时对所述畸变多项式系数的值和外参数的值进行调整；提高了图像边沿部分畸变多项式系数的标定准确度，还可以避免现有技术中畸变多项式系数无法得到有效评价时对外参数的影响，提高对鱼眼镜头进行标定的准确性。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种双鱼眼镜头全景相机的标定方法的流程图。
图1所示双鱼眼镜头全景相机的标定方法可以用于对双鱼眼镜头全景相机进行标定，所述标定方法可以包括以下步骤：
步骤S101：确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；
步骤S102：获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；
步骤S103：利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；
步骤S104：更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；
步骤S105：利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。
在步骤S101的具体实施中，待标定的内参数可以是光心(也称光学中心)和畸变多项式系数。其中，镜头光轴与相机的传感器(sensor)平面的交点为光学中心。畸变多项式系数可以表示畸变曲线。入射光线与镜头光轴之间的夹角称为入射角，记为θ，当入射光线与镜头光轴重合时，θ为0。入射光线与传感器平面的交点为T，其与光心的物理距离称为像高，记为ρ。入射角θ与像高ρ的关系即为畸变曲线。畸变曲线通常使用多项式来表示，即ρ＝a0+a1×θ+a2×θ2+a3×θ3+…+an×θn(n<10)。在确定图像传感器像素的物理尺寸的情况下，像高ρ乘以固定常数可得到对应的像素尺寸(例如2mm像高，像素物理尺寸为1.55μm时，对应像素为2/0.00155＝1290)，因此通常可以将物理像高ρ转换为像素尺寸的像高f。此时畸变多项式变化为f＝k0+k1×θ+k2×θ2+k3×θ3+…+kn×θn(n<10)，多项式K1、K2、…、Kn即为畸变多项式系数。
待标定的外参数可以是镜头坐标系相对于相机坐标系的旋转矩阵和平移向量。具体地，相机坐标系的原点在两个鱼眼镜头的光心的中点，两个鱼眼镜头坐标系的原点位于各自镜头的光心，例如可以位于光轴与镜头表面的交点。
在步骤S102的具体实施中，棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域。具体地，两张棋盘格标定板位于两个镜头各自的正前方；三个随机特征点标定板分别位于相机的左、右、上三个方向。三个随机特征点标定板也可以分别位于相机的左、右、下三个方向；或者，四个随机特征点标定板也可以分别位于相机的左、右、上、下四个方向。
在本发明一个具体应用中，请参照图2，两张棋盘格标定板位于两个镜头各自的正前方，两张棋盘格标定板的距离为40厘米(cm)，棋盘格标定板与双鱼眼镜头的距离为20cm。三个随机特征点标定板分别位于双鱼眼镜头全景相机的左、右、上三个方向，每一随机特征点标定板与双鱼眼镜头全景相机的距离为1.5米(m)。
具体地，棋盘格标定板的大小利用是A2大小，420mm×594mm，随机特征点标定板的大小可以是A1大小，也即594mm×841mm。
可以理解的是，棋盘格标定板与镜头的距离以及随机特征点标定板与相机的距离可以根据实际的应用环境进行调整，本发明实施例对此不做限制。
经过步骤S102，可以获取双鱼眼镜头对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像。则在步骤S103的具体实施中，可以利用棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整。
在步骤S103中，仅对内参数中的光心进行标定，以获得最优光心。在这种情况下，利用位于双鱼眼镜头的正前方的棋盘格标定板对光心进行调整即可。也就是说，对光心调整时，无需考虑标定板是否覆盖鱼眼镜头图像的边缘区域，避免了对标定板或相机的频繁移动，简化了操作流程，提高了标定的简便性。
经过步骤S103确定最优光心后，在步骤S104的具体实施中，配置双鱼眼镜头的光心为最优光心，并拍摄针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像。
由于随机特征点标定板分别位于所述双鱼眼镜头的重叠区域，随机特征点标定板中具有随机特征点，因此在所述第二对鱼眼图像(也即两张鱼眼图像)所拼接得到的全景图像中，同一随机特征点可能具有不同的坐标。进而在步骤S105中，利用随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数。
至此，对双鱼眼镜头全景相机的内参数和外参数的标定完成。
本领域技术人员可以理解的是，由第二对鱼眼图像映射拼接得到全景图像可以采用任意可实施的方式、算法等，本发明实施例对此不做限制。
在本发明的一个具体实施例中，步骤S103可以包括以下步骤：
迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。
本实施例中，棋盘格标定板中角点在所述第一对鱼眼图像中具有第一投影坐标。第一对鱼眼图像中的棋盘格标定板具有角点，并具有角点坐标。通过迭代地改变光心的值，使得第一投影坐标和角点坐标的第一差值最小，则可以确定最优光心；或者，如果无法使得第一差值最小，则在迭代次数达到第一预设值时，确定最优光心。
本实施例中，第一差值最小是指随着对光心的位置的调整，第一差值不再减小。
具体地，棋盘格标定板从其所在的棋盘坐标系映射到鱼眼图像所在的镜头坐标系的过程如下所述。棋盘坐标系(xb,yb,zb)与镜头坐标系(xc,yc,zc)的转换关系为：[xc,yc,zc]T＝R×[xb,yb,zb]T+T，其中，R为镜头坐标系相对棋盘坐标系的3×3旋转矩阵，T为镜头坐标系相对棋盘坐标系的3×1平移向量。R和T可以称为镜头相对于棋盘坐标系的外参数。
由棋盘格标定板的角点在棋盘坐标系的坐标(xb,yb,zb)映射得到的鱼眼图像中的鱼眼图像坐标(ufb,vfb)，与实际从鱼眼图像中检测到的角点坐标(ufd,vfd)之间的误差为第一差值，也可以称为投影误差。第一差值的大小受到镜头的内参数的影响。由此，使得第一差值最小的光心即为最优光心。
需要说明的是，从棋盘格标定板的角点在棋盘坐标系的坐标(xb,yb,zb)映射得到的鱼眼图像中的鱼眼图像坐标(ufb,vfb)的具体过程可参照现有技术中的相关算法，此处不再赘述。
在本发明的另一个具体实施例中，步骤S103可以包括以下步骤：
以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。
本实施例中，通过配置优化目标和优化变量，使用列文伯格-马夸尔特(Levenberg-Marquardt)算法计算最优光心。使用列文伯格-马夸尔特算法可以不必显式地指出优化目标(也可称为目标函数)相对于优化变量的偏导数函数，而是通过有限偏差进行逼近，减小计算量。
具体而言，棋盘格标定板的角点在棋盘坐标系的坐标(xb,yb,zb)映射得到的鱼眼图像中的鱼眼图像坐标(ufb,vfb)，与实际从鱼眼图像中检测到的该角点的角点坐标(ufd,vfd)之间的误差为光心标定过程中的优化目标。优化变量为光心坐标(cx,cy)。
本实施例对优化变量进行小幅修改，查看目标函数的变化，以此近似作为偏导数，并决定优化变量的改变方向和大小。利用列文伯格-马夸尔特算法进行优化的具体过程如下所述。
步骤a，设置光心坐标(cx,cy)的初始值为鱼眼图像高度和宽度的一半；
步骤b，计算棋盘格标定板的角点在棋盘坐标系的坐标投影到鱼眼图像中的鱼眼图像坐标(ufb,vfb)，以及鱼眼图像坐标(ufb,vfb)与鱼眼图像中该角点的角点坐标(ufd,vfd)的第一误差设棋盘格标定板的角点的数量为n。
步骤c，修改光心坐标(cx,cy)的值，并重复步骤b，判断需要对光心坐标(cx,cy)进行修改的大小和方向；
步骤d，迭代执行步骤b和步骤c，直到第一误差不再减小，或者迭代次数达到第一预设值。
在本发明的一个具体实施例中，如图3所示，步骤S105可以包括以下步骤：
步骤S301：将所述第二对鱼眼图像映射形成所述全景图像；
步骤S302：在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；
步骤S303：根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；
步骤S304：迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。
本实施例中，本发明技术方案通过拼接投影形成的全景图像，以及全景图像中随机特征点的投影误差来更新所述畸变多项式系数的值和外参数的值，在保证对畸变多项式系数和外参数标定的准确性的基础上，也保证了全景图像的拼接效果。
在步骤S301的具体实施中，利用双鱼眼镜头拍摄得到的第二对鱼眼图像可以拼接形成全景图像。第二对鱼眼图像在全景图像中具有重叠区域。如前所述，随机特征点标定板位于所述重叠区域。所述重叠区域对应鱼眼图像的边沿，因此重叠区域中的随机特征点可以用于衡量畸变多项式系数。通过第二对鱼眼图像中随机特征点对在重叠区域的坐标差异，可以衡量相机的外参数。
从而在步骤S302的具体实施中，在所述全景图像的重叠区域检测所述随机特征点，并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点。具体地，匹配特征点对是指针对同一随机特征点，第二对鱼眼图像中得到不同像素点。
在步骤S303的具体实施中，根据匹配特征点对的初始全景图坐标，计算其在第二对鱼眼图像中的鱼眼图像坐标，记录下来，并作为之后每一步迭代计算的输入，这个值保持不变。
在步骤S304的具体实施中，在每一步迭代过程中，采用更新后的畸变多项式系数的值和外参数的值，由匹配特征点对的鱼眼图像坐标，计算得到新的全景图坐标(也即相当于只对匹配特征点对进行了重新投影的操作，没有对整个图像重新投影)，并计算匹配特征点对的全景图坐标的第二差值。直至所述第二差值最小或者迭代次数达到第二预设值。
具体而言，畸变多项式系数和外参数会影响匹配特征点对之间的第二差值。
更具体地，可以采用以下公式计算第二差值：其中，m为匹配特征点对的数量，p(xfront,yfront)、p(xback,yback)为匹配特征点对的全景图坐标。
本实施例中，第二预设值可以与第一预设值相同，也可以与第一预设值不同。
进一步地，请参照图4，在图3所示步骤S302之前还可以包括以下步骤：
步骤S401：在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；
步骤S402：根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标；
步骤S304可以包括以下步骤：步骤S403，迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。
随机标定板中还可以具备预设特征点，预设特征点在所述随机特征点标定板中具备设定距离。利用预设特征点在全景图中的距离与设定距离的投影误差来更新所述畸变多项式系数的值，在保证对畸变多项式系数标定的准确性的基础上，也保证了全景图像的拼接效果
步骤S401的具体实施中，检测全景图像中重叠区域内的预设特征点，确定其初始全景图坐标。以在步骤S402中，利用预设特征点的初始全景图坐标计算其在鱼眼图像中的鱼眼图像坐标。
在步骤S403进行迭代的过程中，计算预设特征点之间的第一距离与设定距离的第三差值，并结合匹配特征点对的全景图坐标的第二差值以及所述第三差值，来确定畸变多项式系数的值和外参数的值的调整方向和大小，并进行调整。至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。
本实施例中，畸变多项式系数会影响预设特征点之间的第一距离，进而影响第三差值。
具体而言，可以将预设特征点的全景图坐标p(xr,xr)映射至世界坐标系pw(xrw,xrw)，来计算第一距离和第三差值。
更具体而言，迭代过程的停止条件为下述公式的值最小：其中，m为匹配特征点对的数量，s为预设特征点的数量，预设特征点之间的实际距离为d。
可以理解的是，第二差值和所述第三差值之和最小是指随着对畸变多项式系数的值和外参数的值的修改，第二差值和所述第三差值之和不再减小。
本发明一个具体实施例中，以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。
本实施例中，通过配置优化目标和优化变量，使用列文伯格-马夸尔特(Levenberg-Marquardt)算法计算最优畸变多项式系数和所述最优外参数。使用列文伯格-马夸尔特算法可以不必显式地指出优化目标(也可称为目标函数)相对于优化变量的偏导数函数，而是通过有限偏差进行逼近，减小计算量。
本实施例对优化变量进行小幅修改，查看目标函数的变化，以此近似作为偏导数，并决定优化变量的改变方向和大小。利用列文伯格-马夸尔特算法进行优化的具体过程如下所述。
步骤a，根据镜头设计曲线拟合得到置畸变多项式系数K1和K2的初始值；根据相机的设计参数确定外参数R1、T1以及R2、T2的初始值；其中，两个鱼眼镜头的光轴重合且方向相反，镜头的距离为相机的厚度；
步骤b，检测全景图像中随机特征点标定板的随机特征点对和预设特征点，并分别确定其在鱼眼图像中的鱼眼图像坐标；
步骤c，根据鱼眼图像坐标计算随机特征点对在全景图像中的全景图坐标以及第二差值，计算预设特征点在全景图像中的全景图坐标以及预设特征点之间的第一距离与设定距离的第三差值；
步骤d，修改畸变多项式系数K1和K2的值以及外参数R1、T1以及R2、T2的值，并重复步骤c，判断需要对畸变多项式系数K1和K2的值以及外参数R1、T1以及R2、T2的值进行修改的大小和方向；
步骤e，迭代执行步骤b和步骤c，直到第二差值和第三差值之和不再减小，或者迭代次数达到第二预设值。
在本发明一个优选实施例中，图1所示步骤S105可以包括以下步骤：根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。
本实施例是确定畸变多项式系数的具体方式。也就是说，修改畸变曲线控制点的位置，得到新的畸变曲线并拟合得到畸变多项式系数。
本实施例中，鱼眼镜头的畸变曲线中的控制点，其位置在镜头视场角90度左右均匀分布，且各控制点的变化幅度呈高斯分布。故通过增加控制点得到新的曲线后，再进行曲线的多项式拟合，得到更新的畸变多项式系数。
图5是本发明实施例一种双鱼眼镜头全景相机的标定装置的结构示意图。
图5所示的双鱼眼镜头全景相机的标定装置50可以包括参数确定模块501、第一图像获取模块502、光心调整模块503、第二图像获取模块504和畸变多项式系数和外参数调整模块505。
其中，参数确定模块501适于确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；
第一图像获取模块502适于获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；
光心调整模块503适于利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；
第二图像获取模块504适于更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；
畸变多项式系数和外参数调整模块505适于利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。
本实施例中获取针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像和第二对鱼眼图像时，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域。所述棋盘格标定板仅用于标定内参数，从而避免了现有技术中棋盘格标定板或相机的频繁移动，简化了操作流程，提高了标定的简便性；随机特征点标定板位于所述双鱼眼镜头的重叠区域，使得随机特征点标定板在鱼眼图像上的面积较大，保证了标定的准确性；此外，简化了外参数标定时对标定板的要求，随机特征点标定板中特征点较少，可以减小标定过程中的计算量。进一步地，本发明技术方案先利用棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整。然后再使用最优光心拍摄第二对鱼眼图像，以同时对所述畸变多项式系数的值和外参数的值进行调整；提高了图像边沿部分畸变多项式系数的标定准确度，还可以避免现有技术中畸变多项式系数无法得到有效评价时对外参数的影响，提高对鱼眼镜头进行标定的准确性。
本发明一个优选实施例中，光心调整模块503可以包括光心迭代调整单元，适于迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。
进一步地，所述光心调整模块503以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。
本发明另一个优选实施例中，如图6所示，畸变多项式系数和外参数调整模块505可以包括：
全景映射单元5051，适于将所述第二对鱼眼图像映射形成所述全景图像；
随机特征点检测单元5052，适于在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；
第一鱼眼图像坐标计算单元5053，适于根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；
畸变多项式系数和外参数迭代调整单元5054，适于迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。
本发明实施例通过拼接投影形成的全景图像，以及全景图像中随机特征点的投影误差来更新所述畸变多项式系数的值和外参数的值，在保证对畸变多项式系数和外参数标定的准确性的基础上，也保证了全景图像的拼接效果。
进一步地，畸变多项式系数和外参数调整模块505还可以包括：
预设特征点检测单元5055，适于在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；
第二鱼眼图像坐标计算单元5056，适于根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标。
所述畸变多项式系数和外参数迭代调整单元5054迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。
进一步地，所述畸变多项式系数和外参数迭代调整单元5054以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。
本发明有一个优选实施例中，所述畸变多项式系数和外参数调整模块505可以包括：
畸变曲线调整单元，适于根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；
最优畸变多项式系数确定单元，适于利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。
关于所述双鱼眼镜头全景相机的标定装置50的工作原理、工作方式的更多内容，可以参照图1至图4中的相关描述，这里不再赘述。
本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行图1至图4中所示的双鱼眼镜头全景相机的标定方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1至图4中所示的双鱼眼镜头全景相机的标定方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种双鱼眼镜头全景相机的标定方法，其特征在于，包括：
确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；
获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；
利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；
更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；
利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。
2.根据权利要求1所述的标定方法，其特征在于，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整包括：
迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。
3.根据权利要求1所述的标定方法，其特征在于，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整包括：
以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。
4.根据权利要求1所述的标定方法，其特征在于，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：
将所述第二对鱼眼图像映射形成所述全景图像；
在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；
根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；
迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。
5.根据权利要求4所述的标定方法，其特征在于，所述在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标之前还包括：
在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；
根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标；
所述迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整包括：
迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。
6.根据权利要求5所述的标定方法，其特征在于，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：
以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。
7.根据权利要求1所述的标定方法，其特征在于，所述利用所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值进行调整包括：
根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；
利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。
8.一种双鱼眼镜头全景相机的标定装置，其特征在于，包括：
参数确定模块，适于确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；
第一图像获取模块，适于获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；
光心调整模块，适于利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；
第二图像获取模块，适于更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；
畸变多项式系数和外参数调整模块，适于利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。
9.根据权利要求8所述的标定装置，其特征在于，所述光心调整模块包括：
光心迭代调整单元，适于迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。
10.根据权利要求8所述的标定装置，其特征在于，所述光心调整模块以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。
11.根据权利要求8所述的标定装置，其特征在于，所述畸变多项式系数和外参数调整模块包括：
全景映射单元，适于将所述第二对鱼眼图像映射形成所述全景图像；
随机特征点检测单元，适于在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；
第一鱼眼图像坐标计算单元，适于根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；
畸变多项式系数和外参数迭代调整单元，适于迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。
12.根据权利要求11所述的标定装置，其特征在于，所述畸变多项式系数和外参数调整模块还包括：
预设特征点检测单元，适于在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；
第二鱼眼图像坐标计算单元，适于根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标；
所述畸变多项式系数和外参数迭代调整单元迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。
13.根据权利要求12所述的标定装置，其特征在于，所述畸变多项式系数和外参数迭代调整单元以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。
14.根据权利要求8所述的标定装置，其特征在于，所述畸变多项式系数和外参数迭代调整模块包括：
畸变曲线调整单元，适于根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；
最优畸变多项式系数确定单元，适于利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。
15.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7中任一项所述双鱼眼镜头全景相机的标定方法的步骤。
16.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7中任一项所述双鱼眼镜头全景相机的标定方法的步骤。
CN201810076056.3A 2018-01-26 2018-01-26 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端 Pending CN108171759A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810076056.3A CN108171759A (zh) 2018-01-26 2018-01-26 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
US16/256,265 US10504242B2 (en) 2018-01-26 2019-01-24 Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810076056.3A CN108171759A (zh) 2018-01-26 2018-01-26 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN108171759A true CN108171759A (zh) 2018-06-15

Family

ID=62515973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810076056.3A Pending CN108171759A (zh) 2018-01-26 2018-01-26 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Country Status (2)

Country Link
US (1) US10504242B2 (zh)
CN (1) CN108171759A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108801607A (zh) * 2018-08-30 2018-11-13 信利光电股份有限公司 一种双鱼眼镜头模组光轴同轴性的检测方法及检测装置
CN109345467A (zh) * 2018-08-14 2019-02-15 深圳市麦极客图像技术有限公司 成像畸变校正方法、装置、计算机设备及存储介质
CN109931906A (zh) * 2019-03-28 2019-06-25 杭州华雁云态信息技术有限公司 摄像机测距方法、装置以及电子设备
CN110099220A (zh) * 2019-06-17 2019-08-06 广东中星微电子有限公司 一种全景拼接方法及装置
CN110189247A (zh) * 2019-05-16 2019-08-30 北京航空航天大学 图像生成的方法、装置及系统
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN111325799A (zh) * 2018-12-16 2020-06-23 北京初速度科技有限公司 一种大范围高精度的静态环视自动标定图案及系统
CN111380668A (zh) * 2018-12-27 2020-07-07 浙江舜宇智能光学技术有限公司 一种深度相机的精度检测系统及其精度检测方法
CN111445534A (zh) * 2020-04-03 2020-07-24 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN111461963A (zh) * 2020-03-30 2020-07-28 南京泓众电子科技有限公司 一种鱼眼图像拼接方法及装置
CN111583117A (zh) * 2020-05-09 2020-08-25 上海航天测控通信研究所 一种适用于太空复杂环境的快速全景拼接方法及装置
CN111627074A (zh) * 2020-05-12 2020-09-04 Oppo广东移动通信有限公司 校正方法、校正系统和计算机可读存储介质
CN111899189A (zh) * 2020-07-13 2020-11-06 武汉工程大学 一种基于自适应分类拟合鱼眼图像校正方法
CN112258581A (zh) * 2020-09-25 2021-01-22 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN112365407A (zh) * 2021-01-13 2021-02-12 西南交通大学 视角可配置的摄像机全景拼接方法
CN112862895A (zh) * 2019-11-27 2021-05-28 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN113077524A (zh) * 2021-04-22 2021-07-06 中德（珠海）人工智能研究院有限公司 一种双目鱼眼相机自动标定方法、装置、设备及存储介质
CN113610927A (zh) * 2021-08-06 2021-11-05 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备
CN114757824A (zh) * 2022-03-18 2022-07-15 北京百度网讯科技有限公司 图像拼接的方法、装置、设备以及存储介质
CN115499594A (zh) * 2022-09-30 2022-12-20 如你所视(北京)科技有限公司 全景图像生成方法及计算机可读存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878595B2 (en) * 2018-07-02 2020-12-29 Intel Corporation Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
WO2020048461A1 (zh) * 2018-09-03 2020-03-12 广东虚拟现实科技有限公司 三维立体显示方法、终端设备及存储介质
US10896348B2 (en) * 2019-01-29 2021-01-19 Intel Corporation End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images
WO2020250387A1 (ja) * 2019-06-13 2020-12-17 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US11336812B2 (en) * 2019-07-03 2022-05-17 Nokia Technologies Oy Storage and signaling of entrance pupil parameters for immersive media
US10755441B1 (en) * 2019-11-18 2020-08-25 Ncku Research And Development Foundation Geometric camera calibration system and method
CN110933391B (zh) * 2019-12-20 2021-11-09 成都极米科技股份有限公司 投影系统的标定参数补偿方法、装置及可读存储介质
CN111260729B (zh) * 2020-01-10 2022-08-19 格兰菲智能科技有限公司 用于车载环视系统中鱼眼镜头标定的方法及装置
CN111612852B (zh) * 2020-05-20 2023-06-09 阿波罗智联(北京)科技有限公司 用于验证相机参数的方法和装置
CN111862240B (zh) * 2020-07-28 2022-10-04 展讯通信（上海）有限公司 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN112529006B (zh) * 2020-12-18 2023-12-22 平安科技（深圳）有限公司 全景图片的检测方法、装置、终端及存储介质
CN112927304B (zh) * 2021-02-22 2022-08-19 桂林电子科技大学 一种基于卷积神经网络的鱼眼镜头标定方法
CN112967344B (zh) * 2021-03-09 2023-12-08 阿波罗智联(北京)科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113298699B (zh) * 2021-05-27 2023-02-21 上海电机学院 鱼眼图像校正方法
CN114384711B (zh) * 2022-01-17 2024-02-13 北京星远恒辰科技有限公司 一种镜片曲面的确定方法和系统
CN114529616B (zh) * 2022-04-22 2022-07-26 武汉精视遥测科技有限公司 基于内壁刻度的广角镜头参数标定方法、系统及计算机
CN115049535B (zh) * 2022-05-24 2024-01-12 杭州追形视频科技有限公司 鱼眼镜头有效区域获取与图像精细校正方法
CN115661270B (zh) * 2022-12-22 2023-04-07 陕西欧卡电子智能科技有限公司 一种用于毫米波雷达与鱼眼摄像头的在线标定方法
CN117315050B (zh) * 2023-11-28 2024-02-06 四川省东舜智能科技有限公司 一种摄像机标定方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
US20120133780A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
CN102663767A (zh) * 2012-05-08 2012-09-12 北京信息科技大学 视觉测量系统的相机参数标定优化方法
CN102810205A (zh) * 2012-07-09 2012-12-05 深圳泰山在线科技有限公司 一种摄像或照相装置的标定方法
CN104392435A (zh) * 2014-11-10 2015-03-04 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
CN105447869A (zh) * 2015-11-30 2016-03-30 四川华雁信息产业股份有限公司 基于粒子群优化算法的摄像机自标定方法及装置
US20160373734A1 (en) * 2015-02-24 2016-12-22 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CN106815869A (zh) * 2016-10-28 2017-06-09 北京鑫洋泉电子科技有限公司 鱼眼相机的光心确定方法及装置
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN107464265A (zh) * 2017-06-14 2017-12-12 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法
CN107527323A (zh) * 2016-06-22 2017-12-29 北京疯景科技有限公司 镜头畸变的标定方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164108A1 (en) * 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
US20120133780A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
CN102663767A (zh) * 2012-05-08 2012-09-12 北京信息科技大学 视觉测量系统的相机参数标定优化方法
CN102810205A (zh) * 2012-07-09 2012-12-05 深圳泰山在线科技有限公司 一种摄像或照相装置的标定方法
CN104392435A (zh) * 2014-11-10 2015-03-04 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
US20160373734A1 (en) * 2015-02-24 2016-12-22 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CN105447869A (zh) * 2015-11-30 2016-03-30 四川华雁信息产业股份有限公司 基于粒子群优化算法的摄像机自标定方法及装置
CN107527323A (zh) * 2016-06-22 2017-12-29 北京疯景科技有限公司 镜头畸变的标定方法及装置
CN106815869A (zh) * 2016-10-28 2017-06-09 北京鑫洋泉电子科技有限公司 鱼眼相机的光心确定方法及装置
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN107464265A (zh) * 2017-06-14 2017-12-12 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
应礼剑: "基于多摄像机的360度全景图像拼接技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张毅: "《移动机器人技术特征与制作》", 31 January 2013, 哈尔滨工业大学出版社 *
潘飞宏: "基于双目鱼眼图的全景图像自动生成关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
葛磊: "双目鱼眼镜头匹配算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN110689581B (zh) * 2018-07-06 2022-05-13 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN109345467A (zh) * 2018-08-14 2019-02-15 深圳市麦极客图像技术有限公司 成像畸变校正方法、装置、计算机设备及存储介质
CN109345467B (zh) * 2018-08-14 2021-06-04 深圳市麦极客图像技术有限公司 成像畸变校正方法、装置、计算机设备及存储介质
CN108801607B (zh) * 2018-08-30 2020-07-17 信利光电股份有限公司 一种双鱼眼镜头模组光轴同轴性的检测方法及检测装置
CN108801607A (zh) * 2018-08-30 2018-11-13 信利光电股份有限公司 一种双鱼眼镜头模组光轴同轴性的检测方法及检测装置
CN111325799B (zh) * 2018-12-16 2024-01-02 北京魔门塔科技有限公司 一种大范围高精度的静态环视自动标定图案及系统
CN111325799A (zh) * 2018-12-16 2020-06-23 北京初速度科技有限公司 一种大范围高精度的静态环视自动标定图案及系统
CN111380668A (zh) * 2018-12-27 2020-07-07 浙江舜宇智能光学技术有限公司 一种深度相机的精度检测系统及其精度检测方法
CN109931906B (zh) * 2019-03-28 2021-02-23 华雁智科(杭州)信息技术有限公司 摄像机测距方法、装置以及电子设备
CN109931906A (zh) * 2019-03-28 2019-06-25 杭州华雁云态信息技术有限公司 摄像机测距方法、装置以及电子设备
CN110189247A (zh) * 2019-05-16 2019-08-30 北京航空航天大学 图像生成的方法、装置及系统
CN110099220B (zh) * 2019-06-17 2021-04-13 广东中星微电子有限公司 一种全景拼接方法及装置
CN110099220A (zh) * 2019-06-17 2019-08-06 广东中星微电子有限公司 一种全景拼接方法及装置
CN112862895B (zh) * 2019-11-27 2023-10-10 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN112862895A (zh) * 2019-11-27 2021-05-28 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN111461963B (zh) * 2020-03-30 2023-11-28 南京泓众电子科技有限公司 一种鱼眼图像拼接方法及装置
CN111461963A (zh) * 2020-03-30 2020-07-28 南京泓众电子科技有限公司 一种鱼眼图像拼接方法及装置
CN111445534A (zh) * 2020-04-03 2020-07-24 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN111445534B (zh) * 2020-04-03 2023-04-21 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN111583117A (zh) * 2020-05-09 2020-08-25 上海航天测控通信研究所 一种适用于太空复杂环境的快速全景拼接方法及装置
CN111627074B (zh) * 2020-05-12 2024-05-14 Oppo广东移动通信有限公司 校正方法、校正系统和计算机可读存储介质
CN111627074A (zh) * 2020-05-12 2020-09-04 Oppo广东移动通信有限公司 校正方法、校正系统和计算机可读存储介质
CN111899189B (zh) * 2020-07-13 2023-11-17 武汉工程大学 一种基于自适应分类拟合鱼眼图像校正方法
CN111899189A (zh) * 2020-07-13 2020-11-06 武汉工程大学 一种基于自适应分类拟合鱼眼图像校正方法
CN112258581A (zh) * 2020-09-25 2021-01-22 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN112365407A (zh) * 2021-01-13 2021-02-12 西南交通大学 视角可配置的摄像机全景拼接方法
CN113077524A (zh) * 2021-04-22 2021-07-06 中德（珠海）人工智能研究院有限公司 一种双目鱼眼相机自动标定方法、装置、设备及存储介质
CN113077524B (zh) * 2021-04-22 2023-12-08 中德（珠海）人工智能研究院有限公司 一种双目鱼眼相机自动标定方法、装置、设备及存储介质
CN113610927A (zh) * 2021-08-06 2021-11-05 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备
CN113610927B (zh) * 2021-08-06 2022-04-15 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备
CN114757824A (zh) * 2022-03-18 2022-07-15 北京百度网讯科技有限公司 图像拼接的方法、装置、设备以及存储介质
CN115499594B (zh) * 2022-09-30 2023-06-30 如你所视(北京)科技有限公司 全景图像生成方法及计算机可读存储介质
CN115499594A (zh) * 2022-09-30 2022-12-20 如你所视(北京)科技有限公司 全景图像生成方法及计算机可读存储介质

Also Published As

Publication number Publication date
US10504242B2 (en) 2019-12-10
US20190236805A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN108171759A (zh) 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
WO2021103347A1 (zh) 投影仪的梯形校正方法、装置、系统及可读存储介质
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN108765328B (zh) 一种高精度多特征平面模板及其畸变优化和标定方法
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN108140247A (zh) 使用合成图像的相机校准
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN110197510B (zh) 双目相机的标定方法、装置、无人机和存储介质
CN107767422A (zh) 一种鱼眼镜头的校正方法、装置及便携式终端
JP4147059B2 (ja) キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
CN109615663A (zh) 全景视频校正方法及终端
CN104089628B (zh) 光场相机的自适应几何定标方法
CN111896221B (zh) 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法
CN108805801A (zh) 一种全景图像校正方法及系统
CN107003109A (zh) 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
CN110099267A (zh) 梯形校正系统、方法以及投影仪
CN108416812A (zh) 一种单摄像机镜像双目视觉系统的标定方法
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
CN113920206A (zh) 透视移轴相机的标定方法
CN113465573A (zh) 单目测距方法、装置及智能装置
CN113298886A (zh) 一种投影仪的标定方法
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180615