CN107341764A - 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统 - Google Patents
基于鱼眼镜头立体视觉的虚拟空间定位方法及系统 Download PDFInfo
- Publication number
- CN107341764A CN107341764A CN201710599039.3A CN201710599039A CN107341764A CN 107341764 A CN107341764 A CN 107341764A CN 201710599039 A CN201710599039 A CN 201710599039A CN 107341764 A CN107341764 A CN 107341764A
- Authority
- CN
- China
- Prior art keywords
- distortion
- mtd
- parameter
- msub
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 49
- 230000004807 localization Effects 0.000 title claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims 1
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
Classifications
-
- G06T3/047—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于鱼眼镜头立体视觉的虚拟空间定位方法及系统，涉及图像处理方法技术领域。所述方法包括如下步骤：通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；求出鱼眼双目立体视觉定位模型参数的初始值；通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。所述方法可提高鱼眼镜头立体视觉空间定位的精确性与稳定性。
Description
技术领域
本发明涉及图像处理方法技术领域，尤其涉及一种基于鱼眼镜头立体视觉的虚拟空间定位方法及系统。
背景技术
近年来，随着计算机软硬件的进步以及国内外研究水平的提高，带动了计算机视觉技术的飞速发展。相对于普通镜头的立体视觉技术，基于鱼眼镜头的立体视觉相关技术得到了广泛的应用。普通的视觉镜头视场范围有限，已经无法满足一些特殊场合的要求。例如机器人导航或视觉定位中，普通相机只能对前方障碍物进行检测，并不能捕捉到道路两侧环境的目标。然而，鱼眼镜头的出现克服了传统镜头视场角的不足。鱼眼镜头是一种大视场、短焦距的特殊广角镜头，通过牺牲形变得到广阔的视野范围。由于鱼眼镜头的视场特点，使得它在运动目标跟踪以及机器人导航中受到了很大的关注和应用，并且鱼眼镜头作为一种仿生学技术，其在军事领域也具有极其重要的战略价值。
基于鱼眼镜头的双目视觉技术是目前机器视觉的一个新型的研究方向之一。普通镜头的双目立体视觉的视场范围较小，导致拍摄的图像重叠的区域很小，然而鱼眼双目视觉的视场范围很大，它能够涵盖更多的外界信息，图像重叠区域大，更利于后续两幅图像的匹配重建，因此构建鱼眼双目立体视觉系统有着不可估量的研究价值。
发明内容
本发明所要解决的技术问题是如何提供一种可提高鱼眼镜头立体视觉空间定位的精确性与稳定性的方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于鱼眼镜头立体视觉的虚拟空间定位方法，其特征在于包括如下步骤：
通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；
获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；
求出鱼眼双目立体视觉定位模型参数的初始值；
通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。
进一步的技术方法在于，鱼眼双目立体视觉定位模型的建立方法如下：
使用遵循等立体角投影定理的鱼眼镜头，以镜头内部结构中每组镜片的入射角与折射角之间的关系作为成像理论；引入径向畸变Δr和切向畸变Δt的畸变模型；i1、i2、j1、j2、m1、m2为畸变模型参数，通过引入畸变公式来修正镜头的径向畸变Δr以及切向畸变Δt，(xd,yd)T为加入畸变后的图像坐标；加入畸变后的成像平面转化到以像素为单位的图像坐标系
其中m＝(u,v)T为图像的像素坐标，mu、mv、(u0,v0)为鱼眼相机的内部参数；令C为该鱼眼相机定位模型，则有：
m＝C(Xw) (2)。
进一步的技术方法在于，所述的步骤获取拍摄的图像的真实坐标与对应的图像坐标点的方法如下：
设标定板上某一标定圆的圆心坐标为Xw＝(X0,Y0,0)T，半径为R，则该圆内任意一点Xi表示为Xi(a,θ)，由所述鱼眼双目立体视觉定位模型求出点Xi对应的图像坐标点，其中a表示标定圆的半径，a∈[0,R]，θ表示标定圆的角度。
进一步的技术方法在于，所述的步骤求出鱼眼双目立体视觉定位模型参数的初始值的方法如下：
将需要使用的目标方程建立以后，判断需要知道的内部参数有：a、n2、mu、mv、u0和v0共6个内部参数；外部参数有旋转矩阵R和平移向量t；畸变参数为i1、i2、j1、j2、m1和m2；设置各个参数的初始值的方法分别如下：
设置内部参数初始值：光学折射模型中的参数a和n2的初值由已有数据求得；对于以椭圆为成像边界的鱼眼图像，可以求出该椭圆的一般方程：对于(u0,v0)的第一个数据是椭圆中心，mu和mv的第一个数据可以由已有数据得到；
设置外部参数初值：估计上述内部参数初始值后，求出空间点对应的摄像机坐标点Xc；用λXc＝HXw表示摄像机坐标点和空间点之间的关系，H为单应性矩阵，并用张正友标定方法估计外部参数的初始值；
设置畸变参数初始值：先将摄像机视为理想成像系统，并选取图像中心区域作为标定的初始像点，用不含畸变的质心点优化法获得理想图像坐标点(xp,yp)，由鱼眼双目立体视觉定位模型得到实际图像坐标点(xd,yd)；
由鱼眼双目立体视觉定位模型得到理想与实际图像坐标点的关系，通过这个关系求出畸变参数的初值；根据径向畸变以及切向畸变的定义，只取径向畸变Δr的前半部分和切向畸变Δt的后半部分；
由于r可求，因此上述两个公式均为线性，有4个待求畸变参数，选取图像中心附近区域的2组对应点求出这些未知参数，采用多组对应点并求畸变参数算数平均的方法，作为畸变参数的初始值。
进一步的技术方法在于，所述的质心点优化方法如下：
投影椭圆为标定圆通过鱼眼镜头模型C投影到图像上形成的椭圆，图像椭圆为鱼眼图像上检测到的椭圆；对投影椭圆与图像椭圆分别求质心得到质心点和m，设标定板是均匀密度的薄板，质量元素即为面积元素dσ；由质心的定义可得投影椭圆的质心对的重积分进行换元；a在0到R之间等分为n份，ω在0到2π之间等分为n份，因此，相当于在标定圆中均匀的选取N＝n×n＝n2个离散点逼近的积分，通过最小化与m之间的距离，最终得到代价函数：
式中M为提取标志圆的个数，mi为实际图像中第i个椭圆的质心坐标，为由模型计算得到的第i个投影椭圆的质心坐标。
本发明还公开了一种基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于包括：
理想定位模型建立模块：用于通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；
图像坐标点获取模块：用于获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；
定位模型参数初始值计算模块：用于求出鱼眼双目立体视觉定位模型参数的初始值；
虚拟空间定位模块：用于通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。
进一步的技术方法在于，所述理想定位模型建立模块使用遵循等立体角投影定理的鱼眼镜头，以镜头内部结构中每组镜片的入射角与折射角之间的关系作为成像理论；引入径向畸变Δr和切向畸变Δt的畸变模型；i1、i2、j1、j2、m1、m2为畸变模型参数，通过引入畸变公式来修正镜头的径向畸变Δr以及切向畸变Δt，(xd,yd)T为加入畸变后的图像坐标；加入畸变后的成像平面转化到以像素为单位的图像坐标系
其中m＝(u,v)T为图像的像素坐标，mu、mv、(u0,v0)为鱼眼相机的内部参数；令C为该鱼眼相机定位模型，则有：
m＝C(Xw) (2)。
进一步的技术方法在于，所述图像坐标点获取模块获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点的方法如下：
设标定板上某一标定圆的圆心坐标为Xw＝(X0,Y0,0)T，半径为R，则该圆内任意一点Xi表示为Xi(a,θ)，由所述鱼眼双目立体视觉定位模型求出点Xi对应的图像坐标点，其中a表示标定圆的半径，a∈[0,R]，θ表示标定圆的角度。
进一步的技术方法在于，所述定位模型参数初始值计算模块求出鱼眼双目立体视觉定位模型参数的初始值的方法如下：
将需要使用的目标方程建立以后，判断需要知道的内部参数有：a、n2、mu、mv、u0和v0共6个内部参数；外部参数有旋转矩阵R和平移向量t；畸变参数为i1、i2、j1、j2、m1和m2；设置各个参数的初始值的方法分别如下：
设置内部参数初始值：光学折射模型中的参数a和n2的初值由已有数据求得；对于以椭圆为成像边界的鱼眼图像，可以求出该椭圆的一般方程：对于(u0,v0)的第一个数据是椭圆中心，mu和mv的第一个数据可以由已有数据得到；
设置外部参数初值：估计上述内部参数初始值后，求出空间点对应的摄像机坐标点Xc；用λXc＝HXw表示摄像机坐标点和空间点之间的关系，H为单应性矩阵，并用张正友标定方法估计外部参数的初始值；
设置畸变参数初始值：先将摄像机视为理想成像系统，并选取图像中心区域作为标定的初始像点，用不含畸变的质心点优化法获得理想图像坐标点(xp,yp)，由鱼眼双目立体视觉定位模型得到实际图像坐标点(xd,yd)；
由鱼眼双目立体视觉定位模型得到理想与实际图像坐标点的关系，通过这个关系求出畸变参数的初值；根据径向畸变以及切向畸变的定义，只取径向畸变Δr的前半部分和切向畸变Δt的后半部分；
由于r可求，因此上述两个公式均为线性，有4个待求畸变参数，选取图像中心附近区域的2组对应点求出这些未知参数，采用多组对应点并求畸变参数算数平均的方法，作为畸变参数的初始值。
进一步的技术方法在于，所述虚拟空间定位模块实现基于鱼眼镜头的虚拟空间定位的方法如下：
投影椭圆为标定圆通过鱼眼镜头模型C投影到图像上形成的椭圆，图像椭圆为鱼眼图像上检测到的椭圆；对投影椭圆与图像椭圆分别求质心得到质心点和m，设标定板是均匀密度的薄板，质量元素即为面积元素dσ；由质心的定义可得投影椭圆的质心对的重积分进行换元；a在0到R之间等分为n份，ω在0到2π之间等分为n份，因此，相当于在标定圆中均匀的选取N＝n×n＝n2个离散点逼近的积分，通过最小化与m之间的距离，最终得到代价函数：
式中M为提取标志圆的个数，mi为实际图像中第i个椭圆的质心坐标，为由模型计算得到的第i个投影椭圆的质心坐标。
采用上述技术方案所产生的有益效果在于：所述方法针对圆形标定板中标志圆圆心与椭圆质心不对应的问题，给出了新的计算投影椭圆质心的方法，将标志圆整体通过鱼眼镜头模型投影到鱼眼图像上，形成投影椭圆，再对其求质心，最后建立新的代价函数。由于椭圆质心计算式含复杂的积分运算，本发明还采用了离散数值求积分的方式计算质心点坐标。本发明提出的方法能够极大的提高鱼眼相机的标定精度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述方法的主流程图；
图2是本发明实施例所述系统的原理框图。
图3是本发明实施例所述系统中标定板的主视结构示意图；
其中：1、标定板2、标定圆。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本发明的实验平台涉及的硬件设备包括：NM33-F鱼眼摄像头，视场角为180°，CCD分辨率为640×480pixel，焦距为1.27mm；420×594mm规格的标定板，如图3所示，其中标定圆的半径R＝15mm，相邻圆心间距40mm；视觉支架台；Intel Core 2处理器的计算机。
通过两个鱼眼镜头对标定板进行标定。由于离散点N是此定位方法求图像椭圆质心的一个重要的参数。本发明实验从不同角度对标定板共拍摄12次，共选取432个标定圆，每个标定圆用N个离散点进行近似积分运算。可以看出，当N增加到一定程度时，标定误差变化不明显，基本趋于稳定，而标定时所需时间却越来越长。综合以上因素，本发明选取N＝25×25进行近似积分运算，在保证精度的同时，兼顾了标定时间。
如图1所示，本发明实施例公开了一种基于鱼眼镜头立体视觉的虚拟空间定位方法，包括如下步骤：
S101：通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；
拍摄标定板图像，所述标定板具有整齐排列的圆形标定点，投影到图像平面为椭圆。求出标定板上所有标定圆的圆心坐标，由建立的鱼眼定位模型可求出圆心坐标对应的图像点。
S102：获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；
S103：求出鱼眼双目立体视觉定位模型参数的初始值；
S104：通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。
所述的步骤S101的具体实现方法如下：
本发明使用遵循等立体角投影定理的鱼眼镜头，以镜头内部结构中每组镜片的入射角与折射角之间的关系作为成像理论。引入径向畸变Δr和切向畸变Δt的畸变模型。i1、i2、j1、j2、m1、m2为畸变模型参数。通过引入畸变公式来修正镜头的径向以及切向畸变，(xd,yd)T为加入畸变后的图像坐标。加入畸变后的成像平面转化到以像素为单位的图像坐标系
其中m＝(u,v)T为图像的像素坐标，mu、mv、(u0,v0)为鱼眼相机的内部参数。令C为该鱼眼相机成像模型：
m＝C(Xw) (2)
所述的步骤S102的具体实现方法如下：
设标定板上某一标定圆的圆心坐标为Xw＝(X0,Y0,0)T，半径为R，则该圆内任意一点Xi表示为Xi(a,θ)由步骤(1)建立的鱼眼定位模型可求出点Xi对应的图像点。
所述的步骤S103的具体实现方法如下：
模型参数初始化。将需要使用的目标方程建立以后，判断需要知道的参数有：a、n2、mu、mv、u0和v0共6个内部参数；外部参数有旋转矩阵R和平移向量t；畸变参数为i1、i2、j1、j2、m1和m2。设置各个参数的第一个数值分别如下：
设置内部参数初值：光学折射模型中的参数a和n2的初值可由已有数据求得。对于以椭圆为成像边界的鱼眼图像，可以求出该椭圆的一般方程：对于(u0,v0)的第一个数据是椭圆中心，mu和mv的第一个数据可以已有数据得到。
设置外部参数初值。估计上述内部参数初值后，可以由求出空间点对应的摄像机坐标点Xc。这里，用λXc＝HXw表示摄像机坐标点和空间点之间的关系，H为单应性矩阵，并用张正友标定方法估计外部参数的初值。
设置畸变参数初值，为解决畸变参数初值的求解问题，本发明提出两步求解法，为优化目标函数提供一个准确的初值。具体方法如下：
第一步，先将摄像机视为理想成像系统，并选取图像中心区域作为标定的初始像点，以减少畸变的影响，用质心点优化法(不含畸变)获得理想图像坐标点(xp,yp)，由公式(2)得到实际图像坐标点(xd,yd)。
第二步，由所述步骤(1)可以得到理想与实际图像坐标点的关系，通过这个关系可以求出畸变参数的初值。根据径向畸变以及切向畸变的定义，只取径向畸变Δr的前半部分和切向畸变Δt的后半部分。
由于r可求，因此上述两个公式均为线性，有4个待求畸变参数，可选取图像中心附近区域的2组对应点求出这些未知参数。采用多组对应点并求畸变参数算数平均的方法，作为畸变参数的初值。
所述的步骤S104的具体实现方法如下：
投影椭圆为标定圆通过鱼眼镜头模型C投影到图像上形成的椭圆，图像椭圆为鱼眼图像上检测到的椭圆。对投影椭圆与图像椭圆分别求质心得到质心点和m，这两点即为对应的同一图像点。由于误差的存在，成像模型C难以达到理想模型，因此与m并不相同，通过最小化与m的距离建立目标函数来优化模型参数。
标定板可认为是均匀密度的薄板，质量元素即为面积元素dσ。由质心的定义可得投影椭圆的质心对的重积分进行换元。由于成像模型C比较复杂，不能直接对换元后的进行积分运算，因此考虑用离散的数值求积分。本发明对积分上下限进行分块，具体方法是a在0到R之间等分为n份，ω在0到2π之间等分为n份，因此，相当于在标定圆中均匀的选取N＝n×n＝n2个离散点逼近的积分。通过最小化与m之间的距离，最终得到代价函数：
式中M为提取标志圆的个数，mi为实际图像中第i个椭圆的质心坐标，为由模型计算得到的第i个投影椭圆的质心坐标。
与上述方法相对应的，本发明实施例还公开了一种基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于包括：
理想定位模型建立模块101：用于通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；
图像坐标点获取模块102：用于获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；
定位模型参数初始值计算模块103：用于求出鱼眼双目立体视觉定位模型参数的初始值；
虚拟空间定位模块104：用于通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。
所述理想定位模型建立模块101使用遵循等立体角投影定理的鱼眼镜头，以镜头内部结构中每组镜片的入射角与折射角之间的关系作为成像理论；引入径向畸变Δr和切向畸变Δt的畸变模型；i1、i2、j1、j2、m1、m2为畸变模型参数，通过引入畸变公式来修正镜头的径向畸变Δr以及切向畸变Δt，(xd,yd)T为加入畸变后的图像坐标；加入畸变后的成像平面转化到以像素为单位的图像坐标系
其中m＝(u,v)T为图像的像素坐标，mu、mv、(u0,v0)为鱼眼相机的内部参数；令C为该鱼眼相机定位模型，则有：
m＝C(Xw) (2)。
所述图像坐标点获取模块102获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点的方法如下：
设标定板上某一标定圆的圆心坐标为Xw＝(X0,Y0,0)T，半径为R，则该圆内任意一点Xi表示为Xi(a,θ)，由所述鱼眼双目立体视觉定位模型求出点Xi对应的图像坐标点，其中a表示标定圆的半径a∈[0,R]，θ表示标定圆的角度。
所述定位模型参数初始值计算模块103求出鱼眼双目立体视觉定位模型参数的初始值的方法如下：
将需要使用的目标方程建立以后，判断需要知道的内部参数有：a、n2、mu、mv、u0和v0共6个内部参数；外部参数有旋转矩阵R和平移向量t；畸变参数为i1、i2、j1、j2、m1和m2；设置各个参数的初始值的方法分别如下：
设置内部参数初始值：光学折射模型中的参数a和n2的初值由已有数据求得；对于以椭圆为成像边界的鱼眼图像，可以求出该椭圆的一般方程：对于(u0,v0)的第一个数据是椭圆中心，mu和mv的第一个数据可以由已有数据得到；
设置外部参数初值：估计上述内部参数初始值后，求出空间点对应的摄像机坐标点Xc；用λXc＝HXw表示摄像机坐标点和空间点之间的关系，H为单应性矩阵，并用张正友标定方法估计外部参数的初始值；
设置畸变参数初始值：先将摄像机视为理想成像系统，并选取图像中心区域作为标定的初始像点，用不含畸变的质心点优化法获得理想图像坐标点(xp,yp)，由鱼眼双目立体视觉定位模型得到实际图像坐标点(xd,yd)；
由鱼眼双目立体视觉定位模型得到理想与实际图像坐标点的关系，通过这个关系求出畸变参数的初值；根据径向畸变以及切向畸变的定义，只取径向畸变Δr的前半部分和切向畸变Δt的后半部分；
由于r可求，因此上述两个公式均为线性，有4个待求畸变参数，选取图像中心附近区域的2组对应点求出这些未知参数，采用多组对应点并求畸变参数算数平均的方法，作为畸变参数的初始值。
所述虚拟空间定位模块104实现基于鱼眼镜头的虚拟空间定位的方法如下：
投影椭圆为标定圆通过鱼眼镜头模型C投影到图像上形成的椭圆，图像椭圆为鱼眼图像上检测到的椭圆；对投影椭圆与图像椭圆分别求质心得到质心点和m，设标定板是均匀密度的薄板，质量元素即为面积元素dσ；由质心的定义可得投影椭圆的质心对的重积分进行换元；a在0到R之间等分为n份，ω在0到2π之间等分为n份，因此，相当于在标定圆中均匀的选取N＝n×n＝n2个离散点逼近的积分，通过最小化与m之间的距离，最终得到代价函数：
式中M为提取标志圆的个数，mi为实际图像中第i个椭圆的质心坐标，为由模型计算得到的第i个投影椭圆的质心坐标。
所述方法针对圆形标定板中标志圆圆心与椭圆质心不对应的问题，给出了新的计算投影椭圆质心的方法，将标志圆整体通过鱼眼镜头模型投影到鱼眼图像上，形成投影椭圆，再对其求质心，最后建立新的代价函数。由于椭圆质心计算式含复杂的积分运算，本发明还采用了离散数值求积分的方式计算质心点坐标。本发明提出的方法能够极大的提高鱼眼相机的标定精度。
Claims (10)
1.一种基于鱼眼镜头立体视觉的虚拟空间定位方法，其特征在于包括如下步骤：
通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；
获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；
求出鱼眼双目立体视觉定位模型参数的初始值；
通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。
2.如权利要求1所述的基于鱼眼镜头立体视觉的虚拟空间定位方法，其特征在于，鱼眼双目立体视觉定位模型的建立方法如下：
使用遵循等立体角投影定理的鱼眼镜头，以镜头内部结构中每组镜片的入射角与折射角之间的关系作为成像理论；引入径向畸变Δr和切向畸变Δt的畸变模型；i1、i2、j1、j2、m1、m2为畸变模型参数，通过引入畸变公式来修正镜头的径向畸变Δr以及切向畸变Δt，(xd,yd)T为加入畸变后的图像坐标；加入畸变后的成像平面转化到以像素为单位的图像坐标系
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mi>u</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mi>v</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中m＝(u,v)T为图像的像素坐标，mu、mv、(u0,v0)为鱼眼相机的内部参数；令C为该鱼眼相机定位模型，则有：
m＝C(Xw) (2)。
3.如权利要求2所述的基于鱼眼镜头立体视觉的虚拟空间定位方法，其特征在于，所述的步骤获取拍摄的图像的真实坐标与对应的图像坐标点的方法如下：
设标定板上某一标定圆的圆心坐标为Xw＝(X0,Y0,0)T，半径为R，则该圆内任意一点Xi表示为Xi(a,θ)，由所述鱼眼双目立体视觉定位模型求出点Xi对应的图像坐标点，其中a表示标定圆的半径，a∈[0,R],θ表示标定圆的角度。
4.如权利要求3所述的基于鱼眼镜头立体视觉的虚拟空间定位方法，其特征在于，所述的步骤求出鱼眼双目立体视觉定位模型参数的初始值的方法如下：
将需要使用的目标方程建立以后，判断需要知道的内部参数有：a、n2、mu、mv、u0和v0共6个内部参数；外部参数有旋转矩阵R和平移向量t；畸变参数为i1、i2、j1、j2、m1和m2；设置各个参数的初始值的方法分别如下：
设置内部参数初始值：光学折射模型中的参数a和n2的初值由已有数据求得；对于以椭圆为成像边界的鱼眼图像，可以求出该椭圆的一般方程：对于(u0,v0)的第一个数据是椭圆中心，mu和mv的第一个数据可以由已有数据得到；
设置外部参数初值：估计上述内部参数初始值后，求出空间点对应的摄像机坐标点Xc；用λXc＝HXw表示摄像机坐标点和空间点之间的关系，H为单应性矩阵，并用张正友标定方法估计外部参数的初始值；
设置畸变参数初始值：先将摄像机视为理想成像系统，并选取图像中心区域作为标定的初始像点，用不含畸变的质心点优化法获得理想图像坐标点(xp,yp)，由鱼眼双目立体视觉定位模型得到实际图像坐标点(xd,yd)；
由鱼眼双目立体视觉定位模型得到理想与实际图像坐标点的关系，通过这个关系求出畸变参数的初值；根据径向畸变以及切向畸变的定义，只取径向畸变Δr的前半部分和切向畸变Δt的后半部分；
由于r可求，因此上述两个公式均为线性，有4个待求畸变参数，选取图像中心附近区域的2组对应点求出这些未知参数，采用多组对应点并求畸变参数算数平均的方法，作为畸变参数的初始值。
5.如权利要求4所述的基于鱼眼镜头立体视觉的虚拟空间定位方法，其特征在于，所述的质心点优化方法如下：
投影椭圆为标定圆通过鱼眼镜头模型C投影到图像上形成的椭圆，图像椭圆为鱼眼图像上检测到的椭圆；对投影椭圆与图像椭圆分别求质心得到质心点和m，设标定板是均匀密度的薄板，质量元素即为面积元素dσ；由质心的定义可得投影椭圆的质心对的重积分进行换元；a在0到R之间等分为n份，ω在0到2π之间等分为n份，因此，相当于在标定圆中均匀的选取N＝n×n＝n2个离散点逼近的积分，通过最小化与m之间的距离，最终得到代价函数：
<mrow>
<mi>E</mi>
<mo>=</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mover>
<mi>m</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
式中M为提取标志圆的个数，mi为实际图像中第i个椭圆的质心坐标，为由模型计算得到的第i个投影椭圆的质心坐标。
6.一种基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于包括：
理想定位模型建立模块：用于通过等立体角投影的成像关系，建立理想的鱼眼双目立体视觉定位模型；
图像坐标点获取模块：用于获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点；
定位模型参数初始值计算模块：用于求出鱼眼双目立体视觉定位模型参数的初始值；
虚拟空间定位模块：用于通过质心点优化方法建立目标函数，实现基于鱼眼镜头的虚拟空间定位。
7.如权利要求1所述的基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于：
所述理想定位模型建立模块使用遵循等立体角投影定理的鱼眼镜头，以镜头内部结构中每组镜片的入射角与折射角之间的关系作为成像理论；引入径向畸变Δr和切向畸变Δt的畸变模型；i1、i2、j1、j2、m1、m2为畸变模型参数，通过引入畸变公式来修正镜头的径向畸变Δr以及切向畸变Δt，(xd,yd)T为加入畸变后的图像坐标；加入畸变后的成像平面转化到以像素为单位的图像坐标系
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mi>u</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mi>v</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中m＝(u,v)T为图像的像素坐标，mu、mv、(u0,v0)为鱼眼相机的内部参数；令C为该鱼眼相机定位模型，则有：
m＝C(Xw) (2)。
8.如权利要求7所述的基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于：所述图像坐标点获取模块获取拍摄的图像的真实坐标与所述定位模型对应的图像坐标点的方法如下：
设标定板上某一标定圆的圆心坐标为Xw＝(X0,Y0,0)T，半径为R，则该圆内任意一点Xi表示为Xi(a,θ)，由所述鱼眼双目立体视觉定位模型求出点Xi对应的图像坐标点，其中a表示标定圆的半径，a∈[0,R]，θ表示标定圆的角度。
9.如权利要求8所述的基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于：所述定位模型参数初始值计算模块求出鱼眼双目立体视觉定位模型参数的初始值的方法如下：
将需要使用的目标方程建立以后，判断需要知道的内部参数有：a、n2、mu、mv、u0和v0共6个内部参数；外部参数有旋转矩阵R和平移向量t；畸变参数为i1、i2、j1、j2、m1和m2；设置各个参数的初始值的方法分别如下：
设置内部参数初始值：光学折射模型中的参数a和n2的初值由已有数据求得；对于以椭圆为成像边界的鱼眼图像，可以求出该椭圆的一般方程：对于(u0,v0)的第一个数据是椭圆中心，mu和mv的第一个数据可以由已有数据得到；
设置外部参数初值：估计上述内部参数初始值后，求出空间点对应的摄像机坐标点Xc；用λXc＝HXw表示摄像机坐标点和空间点之间的关系，H为单应性矩阵，并用张正友标定方法估计外部参数的初始值；
设置畸变参数初始值：先将摄像机视为理想成像系统，并选取图像中心区域作为标定的初始像点，用不含畸变的质心点优化法获得理想图像坐标点(xp,yp)，由鱼眼双目立体视觉定位模型得到实际图像坐标点(xd,yd)；
由鱼眼双目立体视觉定位模型得到理想与实际图像坐标点的关系，通过这个关系求出畸变参数的初值；根据径向畸变以及切向畸变的定义，只取径向畸变Δr的前半部分和切向畸变Δt的后半部分；
由于r可求，因此上述两个公式均为线性，有4个待求畸变参数，选取图像中心附近区域的2组对应点求出这些未知参数，采用多组对应点并求畸变参数算数平均的方法，作为畸变参数的初始值。
10.如权利要求9所述的基于鱼眼镜头立体视觉的虚拟空间定位系统，其特征在于：所述虚拟空间定位模块实现基于鱼眼镜头的虚拟空间定位的方法如下：
投影椭圆为标定圆通过鱼眼镜头模型C投影到图像上形成的椭圆，图像椭圆为鱼眼图像上检测到的椭圆；对投影椭圆与图像椭圆分别求质心得到质心点和m，设标定板是均匀密度的薄板，质量元素即为面积元素dσ；由质心的定义可得投影椭圆的质心对的重积分进行换元；a在0到R之间等分为n份，ω在0到2π之间等分为n份，因此，相当于在标定圆中均匀的选取N＝n×n＝n2个离散点逼近的积分，通过最小化与m之间的距离，最终得到代价函数：
<mrow>
<mi>E</mi>
<mo>=</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mover>
<mi>m</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
式中M为提取标志圆的个数，mi为实际图像中第i个椭圆的质心坐标，为由模型计算得到的第i个投影椭圆的质心坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710599039.3A CN107341764A (zh) | 2017-07-21 | 2017-07-21 | 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710599039.3A CN107341764A (zh) | 2017-07-21 | 2017-07-21 | 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107341764A true CN107341764A (zh) | 2017-11-10 |
Family
ID=60216382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710599039.3A Pending CN107341764A (zh) | 2017-07-21 | 2017-07-21 | 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341764A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182708A (zh) * | 2017-12-27 | 2018-06-19 | 深圳进化动力数码科技有限公司 | 一种双目相机的标定方法、标定装置及终端设备 |
| CN109978958A (zh) * | 2019-03-27 | 2019-07-05 | 哈尔滨拓博科技有限公司 | 一种互动投影系统标定误差补偿方法 |
| US11195297B2 (en) | 2019-08-29 | 2021-12-07 | China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd | Method and system for visual localization based on dual dome cameras |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102292733A (zh) * | 2009-01-30 | 2011-12-21 | 松下北美公司美国分部松下汽车系统公司 | 对来自摄像机中的鱼眼镜头的图像进行校正的方法和装置 |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
-
2017
- 2017-07-21 CN CN201710599039.3A patent/CN107341764A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102292733A (zh) * | 2009-01-30 | 2011-12-21 | 松下北美公司美国分部松下汽车系统公司 | 对来自摄像机中的鱼眼镜头的图像进行校正的方法和装置 |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
Non-Patent Citations (4)
| Title |
|---|
| 宋涛,褚光宇,侯培国,ET AL.: "基于质心点优化的鱼眼摄像机标定", 《光子学报》 * |
| 李海滨 等: "基于优化的鱼眼镜头成像模型的空间点定位", 《光学学报》 * |
| 熊文莉: "基于鱼眼镜头的双目立体视觉匹配算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 褚光宇: "鱼眼双目视觉成像及定位技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182708A (zh) * | 2017-12-27 | 2018-06-19 | 深圳进化动力数码科技有限公司 | 一种双目相机的标定方法、标定装置及终端设备 |
| CN108182708B (zh) * | 2017-12-27 | 2020-05-26 | 深圳进化动力数码科技有限公司 | 一种双目相机的标定方法、标定装置及终端设备 |
| CN109978958A (zh) * | 2019-03-27 | 2019-07-05 | 哈尔滨拓博科技有限公司 | 一种互动投影系统标定误差补偿方法 |
| CN109978958B (zh) * | 2019-03-27 | 2020-05-22 | 哈尔滨拓博科技有限公司 | 一种互动投影系统标定误差补偿方法 |
| US11195297B2 (en) | 2019-08-29 | 2021-12-07 | China-Germany(Zhuhai)Artificial Intelligence Institute Co., Ltd | Method and system for visual localization based on dual dome cameras |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765328B (zh) | 一种高精度多特征平面模板及其畸变优化和标定方法 | |
| CN109816703B (zh) | 一种基于相机标定和icp算法的点云配准方法 | |
| CN106091984B (zh) | 一种基于线激光的三维点云数据获取方法 | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN106228538B (zh) | 基于logo的双目视觉室内定位方法 | |
| Subbarao et al. | Accurate recovery of three-dimensional shape from image focus | |
| WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN106875339A (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
| CN109615663A (zh) | 全景视频校正方法及终端 | |
| CN108805801A (zh) | 一种全景图像校正方法及系统 | |
| CN104517291B (zh) | 基于目标同轴圆特征的位姿测量方法 | |
| CN109325981B (zh) | 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法 | |
| JP2004037270A (ja) | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 | |
| CN105096329A (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
| CN108489454A (zh) | 深度距离测量方法、装置、计算机可读存储介质及电子设备 | |
| CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN104677277B (zh) | 一种测量物体几何属性或距离的方法及系统 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| CN103473758A (zh) | 双目立体视觉系统的二次标定方法 | |
| CN107341764A (zh) | 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统 | |
| CN107560554A (zh) | 一种基于旋转透镜的三维信息视觉测量方法 | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171110 |