CN107025659A - 基于单位球面坐标映射的全景目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于单位球面坐标映射的全景目标跟踪方法，具体包括如下步骤：步骤1，选取目标，获取目标中心点坐标并跟踪目标所占有的像素点的个数k₁、k₂；步骤2，将目标中心点坐标由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；步骤3，统计目标模版的颜色直方图信息；步骤4，用粒子滤波方法跟踪更新目标状态，获得最优粒子的角度坐标(θ',φ')；步骤5：将更新后的坐标(θ',φ')映射到图像坐标系得到步骤6：显示跟踪结果；步骤7：读取视频下一帧图像；步骤8：更新坐标点即用坐标点的坐标参数替换中的坐标参数；步骤9：重复步骤2～8直到视频结束帧。解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。

Description

基于单位球面坐标映射的全景目标跟踪方法

技术领域

本发明属于视觉目标跟踪技术领域，涉及一种基于单位球面坐标映射的全景目标跟踪方法。

背景技术

近年来，视觉跟踪已经成为人工智能、模式识别、计算机图形学、计算机视觉和数字图像处理等领域的主要研究工作之一。目前，国内外各类目标跟踪算法中，基于粒子滤波框架的跟踪算法是使用最多也是跟踪效果最好的。所谓粒子滤波是指：通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计的过程，这些样本被形象的称为“粒子”，故而称为粒子滤波。粒子滤波(Particle Filter)的思想基于蒙特卡洛方法(MC)，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布。

普通摄像机的成像范围只有90°左右，视野范围依然很小，缺乏获取大量信息的能力。近几年来，为了弥补普通相机的缺陷，全景成像系统逐渐进入了我们的视野当中。学者们利用一个普通CCD摄像机和一个曲面折反射镜搭建出折反射全景成像系统。反射镜的类型分为：抛物面反射镜(参见图1(a))、双曲面反射镜(参见图1(b))和椭圆面反射镜(参见图1(c))。

目标在全景相机中形状会发生很大的畸变，普通面阵图像中的目标也会发生畸变，但一般情况下畸变程度都不大，对跟踪鲁棒性的影响可以忽略。而在全景图像中由于全景镜头的几何特性致使全景图像拥有非线性分辨率的特性，这样就会导致目标在全景图像内会发生畸变，发生畸变的目标是无法通过常规计算特征直方图的方法来进行模板匹配的，并且目标在全景图像中不同位置的畸变程度也不一样，由此导致粒子滤波的方法无法应用到全景图像目标跟踪中。

发明内容

本发明的目的是提供一种基于单位球面坐标映射的全景目标跟踪方法，解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。

本发明所采用的技术方案是，基于单位球面坐标映射的全景目标跟踪方法，具体包括如下步骤：

步骤1，初始化参数，读取第一帧图像，选取目标并用矩形框框选目标，获取目标中心点坐标并跟踪矩形框的长和宽上所占有的像素点的个数k₁、k₂；

步骤2，将步骤1获取的目标中心点图像坐标由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；

步骤3，根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息；

步骤4，用粒子滤波方法跟踪更新目标状态向量得到新的目标状态向量获得最优粒子的角度坐标(θ',φ')；

步骤5：将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到

步骤6：显示跟踪结果；

步骤7：读取视频下一帧图像；

步骤8：更新步骤2中的坐标点即用步骤5最终得到的坐标点的坐标参数替换中的坐标参数；

步骤9：重复步骤2到步骤8直到视频结束帧。

本发明的特点还在于，

其中步骤1的具体过程如下：

步骤1.1，设定粒子数为N，定义单位球面为X_s＝(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))^T，其中，φ∈[0,π],θ∈[0,2π]，φ、θ分别表示球面坐标的纬度和经度，设目标状态向量为其中和分别表示球面坐标的纬度φ和经度θ的导数；

步骤1.2，通过如下公式(1)获取摄像机内参数矩阵K_c：

其中，f_x,f_y分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距，c_x,c_y分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量；

步骤1.3，读入视频，读取视频的第一帧图像，在视频起始帧图像中手动选取跟踪目标，获取目标中心点图像坐标获取跟踪矩形框的长和宽上所占有的像素点的个数k₁、k₂。

其中步骤2的具体过程如下：

步骤2.1，根据步骤1中得到的全景图像平面上的目标中心点图像坐标通过如下公式(2)求目标中心点映射为单位球面上的一点

设一中间变量由如下公式(3)得：

通过如下公式(4)求H_c：

H_c＝K_cM_cR_c (4)；

其中，R_c为3×3旋转矩阵，对于抛物镜面，R_c为单位矩阵；M_c仅由镜面类型决定，通过如下公式(5)求M_c：

其中，对于抛物镜面，ξ＝1，镜面的通径为4p；

根据公式(3)得到的结果，通过如下公式(6)求得

其中，对于抛物镜面，ξ＝1；

步骤2.2，将步骤2.1求得的点转化为球面坐标系下角度坐标(θ,φ)，具体过程如下：

根据直角坐标系与球面坐标系间的转换关系，通过如下公式(7)求球面半径r：

其中，φ∈[0,π],θ∈[0,2π]；

其中步骤3的具体过程如下：

步骤3.1，在球面坐标系上，以步骤2中得到的目标中心坐标(θ,φ)为中心以为边界选取一个扇形区域，将该扇形区域在经度方向上分为k₁等份，纬度方向分为k₂等份，获取该扇形区域内全部k₁×k₂个等分点的角度坐标(θ_i,φ_i)，i＝1,2,…,k₁×k₂；

其中，为角度偏移量，在1920×1080的图像分辨率下，的取值范围为：

的取值范围为：

其中，a、b为正值的常数，a的变化范围为40～140，b的变化范围为20～70，且

步骤3.2，将步骤3.1所得的角度坐标点(θ_i,φ_i)，其中，i＝1,2,…,k₁×k₂映射回全景图像坐标系得到点i＝1,2,…,k₁×k₂；

具体过程如下：

将角度坐标(θ_i,φ_i)，i＝1,2,…,k₁×k₂转化为直角坐标i＝1,2,…,k₁×k₂；根据直角坐标系与球面坐标系间的转换关系，通过如下公式(12)求点的坐标为：

其中，i＝1,2,…,k₁×k₂；

通过如下根据公式(13)，将直角坐标点i＝1,2,…,k₁×k₂映射回图像坐标系：

其中，通过如下公式(14)，求

其中i＝1,2,…,k₁×k₂，对于抛物镜面，ξ＝1；

步骤3.3，取步骤3.2所得的全景图像坐标点i＝1,2,…,k₁×k₂对应的灰度值来统计目标的颜色直方图信息。

其中步骤5的具体过程如下：

将角度坐标(θ',φ')转化为直角坐标根据直角坐标系与球面坐标系间的转换关系，有如下公式，

根据如下公式(20)，将直角坐标系点映射回图像坐标系：

通过如下公式(21)求

其中对于抛物镜面，ξ＝1。

本发明的有益效果是，本发明提供的一种基于单位球面坐标映射的全景目标跟踪方法，依据全景成像原理将全景图像坐标系映射到一个单位球面坐标系中，在这个单位球面做坐标系中进行重要性采样，解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。

附图说明

图1是几种常见的中心折反射全景视觉系统类型示意图；

图2是本发明基于单位球面坐标映射的全景目标跟踪方法中选取跟踪目标示意图；

图3是本发明基于单位球面坐标映射的全景目标跟踪方法中单位球面坐标系示意图；

图4是本发明基于单位球面坐标映射的全景目标跟踪方法中抛物面反射镜全景系统成像原理示意图；

图5是本发明基于单位球面坐标映射的全景目标跟踪方法中标模版直方图的计算过程示意图；

图6是本发明基于单位球面坐标映射的全景目标跟踪方法中目标跟踪结果示意图；

图7是采用本发明基于单位球面坐标映射的全景目标跟踪方法进行目标跟踪的跟踪过程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于单位球面坐标映射的全景目标跟踪方法，首先在研究全景图像坐标系和单位球面坐标系变换的基础上，将全景图像坐标系映射到单位球面坐标系上，在这个球面坐标系上，以目标中心坐标为中心根据目标大小选取扇形区域，统计得到该扇形区域内的一系列坐标点，然后将这些扇形区域内的坐标点映射回全景图像坐标，再取这些全景图像坐标对应的灰度值来计算目标的直方图，这样算出的灰度直方图能更好的表示目标而不会参入过多的背景噪声。最后在球面坐标系上进行粒子滤波重要性采样和重采样，将得到的最优结果映射回全景图像坐标系，从而得到最优的跟踪结果。

本发明基于单位球面坐标映射的全景目标跟踪方法，本方法实际应用过程中使用的是中心折反射成像系统，具体类别为抛物面反射镜，具体包括以下步骤：

步骤1，初始化参数，读取第一帧图像，选取目标并用矩形框框选目标，如图2所示，获取目标中心点坐标并跟踪矩形框的长和宽上所占有的像素点的个数k₁、k₂；

步骤1.1，设定粒子数为N，定义单位球面为X_s＝(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))^T，如图3，其中，φ∈[0,π],θ∈[0,2π]，φ、θ分别表示球面坐标的纬度和经度，设目标状态向量为其中和分别表示球面坐标的纬度φ和经度θ的导数；

步骤1.2，通过如下公式(1)获取摄像机内参数矩阵K_c；

其中f_x,f_y分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距，c_x,c_y分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量。这四个参数均可通过相机标定获得；

步骤1.3，读入视频，读取视频的第一帧图像，在视频起始帧图像中手动选取跟踪目标，获取目标中心点图像坐标获取跟踪矩形框的长和宽上所占有的像素点的个数k₁、k₂；

步骤2，将目标中心点图像坐标由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；

步骤2.1，根据步骤1中得到的全景图像平面上的目标中心点图像坐标根据如下公式(2)求将目标中心点映射为单位球面上的一点

设一中间变量根据如下公式(3)计算，

通过如下公式(4)求H_c：

H_c＝K_cM_cR_c (4)；

其中，R_c为3×3旋转矩阵，对于抛物镜面，R_c为单位矩阵，K_c为相机内参，在公式1中已给出，M_c仅由镜面类型决定，由公式5给出

其中，对于抛物镜面，ξ＝1为常数，镜面的通径为4p；如图4所示；图4为抛物面反射镜全景系统成像原理示意图，有坐标系R和R_cam，R是反射平面坐标系，该坐标系下z轴和镜面轴一致，原点O与抛物面反射镜全景系统反射平面的内焦点重合。R_cam是相机坐标系。R_cam的z轴依然与镜面轴一致，中心折反射全景图像是由投影中心在O_cam的普通相机获得的。R_c为旋转矩阵。设世界坐标系下有一个可见的世界点X_h，每一个可见点都可以通过射线x_ray与抛物面反射镜全景系统的内焦点连接在一起。射线x_ray与镜面相交于点X_m。然后通过投影射线x_cam将世界点X_h映射到全景图像平面上；

根据公式(3)得到的结果，通过如下公式(6)求得

步骤2.2，将点转化为球面坐标系下角度坐标(θ,φ)；根据直角坐标系与球面坐标系间的转换关系，有如下公式，但同时需保证角度满足φ∈[0,π],θ∈[0,2π]：

其中，r为球面半径；

步骤3，根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息；

步骤3.1，在球面坐标系上，以步骤2中得到的目标中心坐标(θ,φ)为中心以为边界选取一个扇形区域，将该扇形区域在经度方向上分为k₁等份，纬度方向分为k₂等份，如图5所示，获取该扇形区域内全部k₁×k₂个等分点的角度坐标(θ_i,φ_i)，i＝1,2,…,k₁×k₂；

其中，为角度偏移量，在1920×1080的图像分辨率下，的取值范围为：

的取值范围为：

其中，a、b为正值的常数，a的变化范围为40～140，b的变化范围为20～70，且

步骤3.2，将步骤3.1所得的角度坐标点(θ_i,φ_i)，其中，i＝1,2,…,k₁×k₂映射回全景图像坐标得到点i＝1,2,…,k₁×k₂；

具体过程如下：

将角度坐标(θ_i,φ_i)，i＝1,2,…,k₁×k₂转化为直角坐标i＝1,2,…,k₁×k₂；根据直角坐标系与球面坐标系间的转换关系，通过如下公式(12)求点的坐标为：

其中，i＝1,2,…,k₁×k₂；

通过如下根据公式(13)，将直角坐标点i＝1,2,…,k₁×k₂映射回图像坐标系：

其中，通过如下公式(14)，求

其中i＝1,2,…,k₁×k₂，对于抛物镜面，ξ＝1；

步骤3.3，取步骤3.2所得的全景图像坐标点i＝1,2,…,k₁×k₂对应的灰度值来统计目标的颜色直方图信息。

步骤4：用粒子滤波方法跟踪更新目标状态向量得到新的目标状态向量获得新的目标角度坐标(θ',φ')；本发明采用的粒子滤波算法参考[科学出版社]2010年8月出版的第一版《粒子滤波原理及其应用》[28页～29页]。

假设t-1时刻目标的粒子集为其中，代表t-1时刻第j个粒子的状态；代表t-1时刻第j个粒子的权重，N表示粒子总数；

则粒子滤波算法的具体步骤为：

步骤4.1，重要性采样

对于粒子数j＝1,..,N，根据重要性采样密度函数采样新的粒子其中，z_t为观测值，在本方法中为步骤3所最终得到的目标的颜色直方图信息；

步骤4.2，粒子权值更新

依据步骤4.1中的观测值z_t，通过如下公式(14)计算每个粒子j＝1,..,N的权值，得粒子的权值为：

其中，j＝1,..,N

并归一化粒子权值：

步骤4.3，重采样

首先计算有效粒子数：

如果则进行重采样，获得新的粒子集合

否则，

步骤4.4，得出更新后的最优结果

其中，s'表示t时刻的粒子的最优状态。

步骤5：将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到

具体过程如下：

将角度坐标(θ',φ')转化为直角坐标根据直角坐标系与球面坐标系间的转换关系，有如下公式，

根据如下公式(20)，将直角坐标系点映射回图像坐标系：

通过如下公式(21)求

其中对于抛物镜面，ξ＝1；

步骤6：显示跟踪结果，如图6；

步骤7：读取视频下一帧图像

步骤8：更新步骤2中的坐标点即用步骤5最终得到的坐标点的坐标参数替换中的坐标参数。

步骤9：重复步骤2到步骤8直到视频结束帧，实验结果如图7所示，其中图7(a)为第0帧，图7(b)为第20帧，图7(c)为第40帧，图7(d)为第60帧，图7(e)为第80帧，图7(f)为第100帧。

本发明基于单位球面坐标映射的全景目标跟踪方法全景图像具有非线性分辨率的几何特性，因此目标在全景图像中会发生外形畸变，这种畸变会导致传统的粒子滤波算法在进行重要性采样时无法选择与全景图像几何特性相适应的采样方法，而且，这种畸变会导致无法利用传统方法对目标外观进行建模。针对此问题，本发明依据全景成像原理将全景图像坐标系映射到一个单位球面坐标系中，在这个单位球面做坐标系中进行重要性采样，解决了全景图像中由于目标畸变给目标跟踪带来的问题。

Claims (5)

1.基于单位球面坐标映射的全景目标跟踪方法，其特征在于：具体包括如下步骤：

步骤1，初始化参数，读取第一帧图像，选取目标并用矩形框框选目标，获取目标中心点坐标并跟踪矩形框的长和宽上所占有的像素点的个数k₁、k₂；

步骤2，将步骤1获取的目标中心点图像坐标由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；

步骤3，根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息；

步骤4，用粒子滤波方法跟踪更新目标状态向量得到新的目标状态向量获得最优粒子的角度坐标(θ',φ')；

步骤5：将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到

步骤6：显示跟踪结果；

步骤7：读取视频下一帧图像；

步骤8：更新步骤2中的坐标点即用步骤5最终得到的坐标点的坐标参数替换中的坐标参数；

步骤9：重复步骤2到步骤8直到视频结束帧。

2.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤1的具体过程如下：

步骤1.1，设定粒子数为N，定义单位球面为X_s＝(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))^T，其中，φ∈[0,π],θ∈[0,2π]，φ、θ分别表示球面坐标的纬度和经度，设目标状态向量为其中和分别表示球面坐标的纬度φ和经度θ的导数；

步骤1.2，通过如下公式(1)获取摄像机内参数矩阵K_c：

其中，f_x,f_y分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距，c_x,c_y分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量；

步骤1.3，读入视频，读取视频的第一帧图像，在视频起始帧图像中手动选取跟踪目标，获取目标中心点图像坐标获取跟踪矩形框的长和宽上所占有的像素点的个数k₁、k₂。

3.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤2的具体过程如下：

步骤2.1，根据步骤1中得到的全景图像平面上的目标中心点图像坐标通过如下公式(2)求目标中心点映射为单位球面上的一点

设一中间变量由如下公式(3)得：

通过如下公式(4)求H_c：

H_c＝K_cM_cR_c (4)；

其中，R_c为3×3旋转矩阵，对于抛物镜面，R_c为单位矩阵，M_c仅由镜面类型决定，通过如下公式(5)求M_c：

其中，对于抛物镜面，ξ＝1，镜面的通径为4p；

根据公式(3)得到的结果，通过如下公式(6)求得

其中，对于抛物镜面，ξ＝1；

步骤2.2，将步骤2.1求得的点转化为球面坐标系下角度坐标(θ,φ)，具体过程如下：

根据直角坐标系与球面坐标系间的转换关系，通过如下公式(7)求球面半径r：

其中，φ∈[0,π],θ∈[0,2π]；

4.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤3的具体过程如下：

步骤3.1，在球面坐标系上，以步骤2中得到的目标中心坐标(θ,φ)为中心以为边界选取一个扇形区域，将该扇形区域在经度方向上分为k₁等份，纬度方向分为k₂等份，获取该扇形区域内全部k₁×k₂个等分点的角度坐标(θ_i,φ_i)，i＝1,2,…,k₁×k₂；

其中，为角度偏移量，在1920×1080的图像分辨率下，的取值范围为：

的取值范围为：

其中，a、b为正值的常数，a的变化范围为40～140，b的变化范围为20～70，且

步骤3.2，将步骤3.1所得的角度坐标点(θ_i,φ_i)，其中，i＝1,2,…,k₁×k₂映射回全景图像坐标系得到点i＝1,2,…,k₁×k₂；

具体过程如下：

将角度坐标(θ_i,φ_i)，i＝1,2,…,k₁×k₂转化为直角坐标i＝1,2,…,k₁×k₂；根据直角坐标系与球面坐标系间的转换关系，通过如下公式(12)求点的坐标为：

其中，i＝1,2,…,k₁×k₂；

通过如下根据公式(13)，将直角坐标点i＝1,2,…,k₁×k₂映射回图像坐标系：

其中，通过如下公式(14)，求

其中i＝1,2,…,k₁×k₂，对于抛物镜面，ξ＝1；

步骤3.3，取步骤3.2所得的全景图像坐标点i＝1,2,…,k₁×k₂对应的灰度值来统计目标的颜色直方图信息。

5.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤5的具体过程如下：

将角度坐标(θ',φ')转化为直角坐标根据直角坐标系与球面坐标系间的转换关系，有如下公式，

根据如下公式(20)，将直角坐标系点映射回图像坐标系：

通过如下公式(21)求

其中，对于抛物镜面，ξ＝1。