一种基于单摄像机的目标空间定位方法
技术领域
本发明涉及目标空间定位方法,尤其涉及一种基于单摄像机的目标空间定位方法,属于智能视频监控技术领域。
背景技术
近十多年来视频监控技术得到了广泛的应用。在日常生活中,随处可见各种各样的视频监控系统被投入使用,例如在学校、马路、地铁、火车站等地通常都安装了视频监控系统,它们在防止犯罪和维护社会公共安全等方面发挥了重大作用。随着社会的不断发展,人们对于安全的需求不断提高,特别是随着计算机、网络、信息与通信、音视频编解码等技术的日趋成熟与完善,使得视频监控系统不断向数字化、网络化、智能化方向发展。
在智能视频监控中,对场景中的目标定位是一项关键技术,它对于场景中目标的全局跟踪和分析尤为重要。现今的三维空间的定位技术主要是基于两种摄像机模型,一种是非线性模型,考虑了摄像机镜头的非线性畸变,利用摄像机的内外参矩阵进行求解,计算复杂度较高,在监控系统的实时定位中很难应用,另一种是线性模型,不考虑摄像机镜头畸变带来的误差,直接利用小孔成像的原理,使用射影几何中的较比不变性,按照投影比例形成从三维空间到二维图像的映射,可以在较短时间内得到二维图像坐标对应的三维空间坐标,其缺点是误差较大,定位精确无法保证。
发明内容
本发明所要解决的技术问题在于克服现有目标空间定位技术的不足,提供一种基于单摄像机的目标空间定位方法,利用摄像机镜头畸变的各向同性的特性,基于摄像机线性模型,通过对图像中的目标坐标进行误差补偿,快速得到所追踪目标准确的三维空间坐标。同时结合GPS等全球定位系统获得摄像机位置、场景中心参考点和标识点的大地绝对坐标等空间定位辅助信息
本发明具体采用以下技术方案解决上述技术问题:
一种基于单摄像机的目标空间定位方法,包括以下步骤:
步骤1、利用设置于摄像机拍摄场景中心位置的参考点以及摄像机所在位置的大地绝对坐标,构建反映二维图像坐标和大地绝对坐标之间映射关系的理想线性摄像机模型;
步骤2、在摄像机的拍摄场景中的地平面上设置一组已知大地绝对坐标的标识点,各标识点均位于经过所述参考点的一条直线上;
步骤3、在摄像机所拍摄的图像中检测出所述标识点,得到各标识点在图像中的实际二维图像坐标;
步骤4、利用所述理想线性摄像机模型,将三维空间中使用大地绝对坐标表示的各标识点投影至所述图像中,得到各标识点在图像中的理想二维图像坐标;
步骤5、根据各标识点在图像中的实际二维图像坐标和理想二维图像坐标,计算出各标识点在图像中的径向误差,并将标识点的径向误差拟合为随与图像中心之间距离变化的径向误差曲线;
步骤6、在所述摄像机拍摄的图像中检测出目标,得到目标在图像中的实际二维图像坐标;利用所述径向误差曲线对目标在图像中的实际二维图像坐标进行径向校准,得到目标在图像中的理想二维图像坐标;
步骤7、根据目标在图像中的理想二维图像坐标,利用所述理想线性摄像机模型得到目标的大地绝对坐标。
上述技术方案利用摄像机镜头畸变的各向同性的特性,通过一组预先设定的标识点来获取在摄像机线性模型中图像中任一点的实际坐标相对于理想坐标的径向误差曲线,然后利用所获得的径向误差曲线对图像中的目标坐标进行径向校正,最后根据校正后的目标坐标,利用摄像机线性模型计算出目标的实际三维空间GPS坐标。在镜头畸变所导致的成像误差中,径向畸变是主导因素,切向畸变产生的影响很小,可以忽略不计。因此上述技术方案中仅考虑了径向误差的校正,但仍可达到较高的定位精度。为了进一步提高定位精度,本发明基于相同的发明思路,又提出了一种考虑切向畸变的改进技术方案,具体如下:
一种基于单摄像机的目标空间定位方法,包括以下步骤:
步骤1、利用设置于摄像机拍摄场景中心位置的参考点以及摄像机所在位置的大地绝对坐标,构建反映二维图像坐标和大地绝对坐标之间映射关系的理想线性摄像机模型大地绝对坐标;
步骤2、在摄像机的拍摄场景中的地平面上设置两组已知大地绝对坐标的标识点,每一组标识点位于同一条直线上,且两组标识点所在的两条直线相交于所述参考点;
步骤3、在摄像机所拍摄的图像中检测出所述标识点,得到各标识点在图像中的实际二维图像坐标;
步骤4、利用所述理想线性摄像机模型,将三维空间中使用大地绝对坐标表示的各标识点投影至所述图像中,得到各标识点在图像中的理想二维图像坐标;
步骤5、根据各标识点在图像中的实际二维图像坐标和理想二维图像坐标,计算出各标识点在图像中的径向误差和切向误差,并将每一组标识点的径向误差、切向误差分别拟合为随与图像中心之间距离变化的径向误差曲线、切向误差曲线;利用两条相交于图像中心的直线将图像划分为四个区域,使得其中一组标识点的实际二维图像坐标、理想二维图像坐标均位于两个相对的区域中,另外一组标识点的实际二维图像坐标、理想二维图像坐标均位于另外两个相对的区域中;
步骤6、在所述摄像机拍摄的图像中检测出目标,得到目标在图像中的实际二维图像坐标;根据目标在图像中所处的区域,选择位于该区域中的那一组标识点所拟合出的切向误差曲线,同时任意选择一条径向误差曲线;然后利用所选择的径向误差曲线、切向误差曲线对目标在图像中的实际二维图像坐标进行径向校准、切向校准,得到目标在图像中的理想二维图像坐标;
步骤7、根据目标在图像中的理想二维图像坐标,利用所述理想线性摄像机模型得到目标的大地绝对坐标。
进一步地,所述基于单摄像机的目标空间定位方法,图像中标识点的检测首先通过Vibe目标检测方法得到标识点的像素级边缘,然后对标识点的像素级边缘的灰度梯度值进行高斯拟合,求解高斯函数的最高值,即得到更为精确的亚像素级标识点图像坐标。
相比现有技术,本发明具有以下有益效果:
本发明跳过传统标定方法中繁琐的非线性标定过程,从误差补偿的角度进行分析,直接根据线性针孔模型求解,然后对基于镜头特性对求解得到的估算值进行误差补偿和校正,可以在定位精确很高的情况下,将运算时间缩短60%到70%,从而可达到对移动目标实时定位的效果,实用性更高。
附图说明
图1是摄像机镜头成像原理的三维模型;
图2是摄像机镜头成像原理的二维简化模型;
图3是高斯拟合的示意图;
图4是摄像机镜头畸变的原理示意图;
图5是径向误差曲线;
图6是切向误差曲线;
图7是镜头的总体畸变可视化模型;
图8是镜头的径向畸变可视化模型;
图9是镜头的切向畸变可视化模型
图10为本发明具体实施例中目标空间定位方法的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
本发明针对现有基于线性摄像机模型进行目标空间定位技术未考虑镜头畸变所带来的成像误差的问题,基于镜头畸变的各向同性的特性,在利用理想线性摄像机模型进行目标空间定位时,对目标在图像中的位置进行补偿和校正,从而可快速准确地获得目标的实际三维空间坐标。
为了便于公众理解,下面以本发明的进一步改进方案为例来对本发明的技术方案进行详细说明。
该目标空间定位方法,具体按照以下步骤:
步骤1、利用设置于摄像机拍摄场景中心位置的参考点以及摄像机所在位置的大地绝对坐标,构建反映二维图像坐标和大地绝对坐标之间映射关系的理想线性摄像机模型大地绝对坐标。
图1、图2分别显示了摄像机成像原理的三维模型和二维简化模型,如图1所示,实际的目标点P通过光心,在图像平面上产生了p的图像目标。对于模型的切平面来看,在知道了摄像机的焦距参数,可以根据Y和Z轴的比例来反向求出图像平面目标的对应的真实的目标三维坐标。其中图1、图2中的f均代表摄像机的焦距,xoy代表图像坐标系,XcYcZc代表摄像机坐标系,据此可构建出如下的理想线性摄像机模型:
其中,fx和fy分别摄像机在X和Y方向上的焦距;(u0,v0)代表图像中心的坐标;R和t代表摄像机的旋转矩阵和平移矩阵,在单摄像机情况下均为单位矩阵I;(X,Y,Z,1)表示目标的三维齐次坐标,(x,y,1)表示目标二维图像齐次坐标,zc代表比例因子,因为二维图像点在三维空间中对应的一条射线,所以zc表示真实三维空间点在这条射线上的位置,这样二维点和三维点才能一一对应,且三维点的坐标是基于GPS等全球定位系统的,是一种大地绝对坐标,场景中的点和摄像机所在出同处于一个绝对坐标系中。同时,根据参考点的对应关系,可以将图中的,fx和fy求出,u0和v0则直接取图像中心。
基于此,加入高度和角度作为已知条件,可以求出上式中的比例系数zc,将二维图像点和三维空间点一一对应起来,同时可以根据射影几何的交比不变性跳过求解参数的过程,直接使用小孔成像原理的比例关系将二维图像和三维空间映射起来。因此摄像机的测量高度可以允许误差在5%左右,计算的角度误差允许在5%左右,由此带来的定位误差不超过1%,在可以接受的范围内。
步骤2、在摄像机的拍摄场景中的地平面上设置两组已知大地绝对坐标的标识点,每一组标识点位于同一条直线上,且两组标识点所在的两条直线相交于所述参考点。
两组标识点形成两条直线,两条直线之间呈一定的夹角,且相交于图像中心在场景中对应的中心点。
步骤3、在摄像机所拍摄的图像中检测出所述标识点,得到各标识点在图像中的实际二维图像坐标。
图像中标识点的检测可采用现有各种方法,例如帧差法,光流法,高斯背景建模,Vibe算法等。然而考虑到现有方法检测出的标识点均为像素级精度,为了进一步提高标识点检测的精度,本发明首先使用Vibe算法得到标识点在图像中的像素级的坐标,然后对标识点的像素级边缘的灰度梯度值进行高斯拟合,求解高斯函数的最高值,即得到更为精确的亚像素级标识点图像坐标。如图3所示,图中的1-9均为Vibe算法检测出的标识点边缘的像素中心,在目标边缘处,是像素值变化最剧烈的部分,且像素值的变化从标识点内部到边缘处是逐渐变大的,对该变化进行差分,发现在边缘过渡区域的中部变化最大,该处即为更为精确的标识点边缘坐标,其符合高斯曲线分布,因此对其进行高斯拟合,求解高斯函数的最高值,即为更为精确的标识点图像坐标,即图3中的C点,其坐标精度为亚像素级。如果分别将图像中的两组标识点拟合为平滑曲线,会发现由于镜头畸变影响,图像中拟合出的是两条相交于图像中心的曲线。
步骤4、利用所述理想线性摄像机模型,将三维空间中使用大地绝对坐标表示的各标识点投影至所述图像中,得到各标识点在图像中的理想二维图像坐标。
根据步骤1所得到的理想线性摄像机模型,二维坐标和三维坐标可以互相导出,于是可以将各标识点在二维图像上所对应的理想的二维坐标求出,此时,两组标识点的连线在图像中表现为两条相交于图像中心的直线。
步骤5、根据各标识点在图像中的实际二维图像坐标和理想二维图像坐标,计算出各标识点在图像中的径向误差和切向误差,并将每一组标识点的径向误差、切向误差分别拟合为随与图像中心之间距离变化的径向误差曲线、切向误差曲线;利用两条相交于图像中心的直线将图像划分为四个区域,使得其中一组标识点的实际二维图像坐标、理想二维图像坐标均位于两个相对的区域中,另外一组标识点的实际二维图像坐标、理想二维图像坐标均位于另外两个相对的区域中。
图4显示了摄像机镜头畸变所导致的成像误差,图中dr和dt分别表示了径向误差和切向误差。图5表示了实际坐标和理想坐标在半径方向的偏差,该曲线以距图像中心的距离为变量递增。图6表示了实际坐标和理想坐标在切向的误差,该曲线为四个区域中的一个误差曲线,由于切向误差是关于x和y轴都是对称的,其他三个同理可得。图7、图8和图9分表表示了一个图像的整体误差、径向误差和切向误差的示意图,由图中的系数可知径向误差占据了整体误差的绝大部分,且切向误差是按照轴对称分布的。实际上,也完全可以忽略切向误差的影响,只需要对图像的径向误差进行校正即可达到较好的定位精度。
步骤6、在所述摄像机拍摄的图像中检测出目标,得到目标在图像中的实际二维图像坐标;根据目标在图像中所处的区域,选择位于该区域中的那一组标识点所拟合出的切向误差曲线,同时任意选择一条径向误差曲线;然后利用所选择的径向误差曲线、切向误差曲线对目标在图像中的实际二维图像坐标进行径向校准、切向校准,得到目标在图像中的理想二维图像坐标。
步骤7、根据目标在图像中的理想二维图像坐标,利用所述理想线性摄像机模型得到目标的三维空间大地绝对坐标。
图10显示了上述目标空间定位方法的基本流程。
为了验证本发明方法的效果,进行了以下验证实验:在两个场景下进行视频监控,用本发明方法对视频进行处理,与传统使用摄像机标定方法进行定位方法进行了对比实验。其中对比实验所得到的实验数据如下表1所示。
表1 对比实验结果
场景 |
摄像机高度&角度 |
定位精度 |
定位时间 |
场景1 |
6.24m&53度 |
+1.57% |
-67.9% |
场景2 |
6.44m&53度 |
+1.79% |
-63.1% |
从表1中可以看出,在定位精度提高的情况下,定位时间大大缩短了,速度提高了将3倍左右,可以达到完全实时进行定位的效果。
同时,由于本发明用到了实际测量的摄像机拍摄高度和利用平差法得到的角度。对此进行了这两个参数对定位精度影响的实验。
实验数据如下表2所示。
表2 高度和角度对定位结果的影响
从表2中可以看出,高度和角度对于定位精度的影响较小。在实际的使用过程中,对高度进行了多次测量求均值的方法来进一步减小误差,在利用线性模型求解拍摄角度的时候,在中心附近取多个点,使用平差的方法得到较精确的拍摄角度值。经过实践,利用此方法求得的高度和角度的误差都可以控制在1%之内。
总之,本发明方法可以在提供较高定位精度的前提下,大大简化定位计算复杂度,利用较少的参数和较为容易获得的数据对摄像机进行建模,通过线性运算之后补偿误差的方法,缩短定位时间,达到实时定位的效果。根据对实验结果的分析可知本发明方法的鲁棒性、实时性和适用性都得到了大大的提升。