发明内容
本发明的目的是提供一种车载全景影像采集平台的航向和俯仰角速度获取方法,其不使用陀螺仪或者惯导单元等硬件,就可以获得连续全景影像采集平台的航向角速度和俯仰角速度,降低了采集平台的设计成本。
为了实现上述目的,本发明提供了一种车载全景影像采集平台的航向和俯仰角速度获取方法,由以下步骤组成:
S1、车载全景影像采集平台间隔地采集全景影像,构成全景影像图片,其中采集的间隔时间为
,且设定相邻帧第
帧、第
帧采集到全景影像图片分别为
、
,所述全景影像图片的宽度为
像素,高度为
像素;
S2、采用3D中的纹理映射技术将所述全景影像图片中的全景影像纹理映射至投影模型上;
S3、利用3D技术,在投影模型的中心点设置摄像机,所述摄像机正对运载车辆行驶正前方或者正后方,获得水平和垂直视野范围
内的区域影像,设定所述区域影像的坐标变化与所述运载车辆的直线运动关系无关,利用3D中的渲染到纹理技术将所述投影模型上的区域影像渲染到区域影像图片上,其中设定相邻帧第
帧和第
帧采集到的区域影像图片分别为
、
,所述区域影像图片的宽度为
像素,高度为
像素;
S4、以所述区域影像图片的中心点为原点建立坐标系统,设定水平向右为X轴正向,垂直向上为Y轴正向,且计算第
帧所述区域影像图片在原点附近的任意像素点
的特征向量
;
S5、计算第
帧所述区域影像图片的小区域
中所有像素点的特征向量集合
,其中
,
均为整数;
S6、求取特征向量集合
中与特征向量
的范数最小的像素点
,即
,表示第
帧区域影像图片
中像素点
与第
帧的区域影像图片
中像素点
相匹配;
S7、根据投影模型单位宽度对应的角度,计算所述车载全景影像采集平台第帧相对于第帧的航向偏转角度和俯仰偏转角度;
S8、航向偏转角度/
、俯仰偏转角度/
,即获得第
帧相对于第
帧的航向角速度和俯仰角速度,其中
为相邻帧的间隔时间。
当选用球面投影模型时,所述步骤S1中所述全景影像图片中高度
为宽度
的二分之一,即
;
所述步骤S3中所述区域影像图片的宽度
等于高度
,即
,视野范围
的取值范围为10~30;
所述步骤S7中所述车载全景影像采集平台第
帧相对于第
帧的航向偏转角度的计算公式为
,俯仰偏转角度的计算公式为
。
当选用正方体投影模型时,所述步骤S1中所述全景影像图片中宽度
等于高度
,即
=
;
所述步骤S3中所述区域影像图片的宽度
等于高度
,即
,视野范围
的取值范围为10~30 ;
所述步骤S7中所述车载全景影像采集平台第
帧相对于第
帧的航向偏转角度的计算公式为
,俯仰偏转角度的计算公式为
。
所述c的取值范围为20~40。所述c取30。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明通过分析连续全景影像的相邻帧,不使用陀螺仪或者惯导单元等硬件,就可以获得连续全景影像采集平台的航向角速度和俯仰角速度,无需硬件投入,简化了平台设计,降低了成本。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示,在车载全景影像采集平台的运行过程中间隔地采集全景影像图片,1、2分别表示在第
帧和第
帧采集到的全景影像图片。
本发明中车载全景影像采集平台的航向和俯仰角速度计算不必依赖于陀螺仪或者惯性导航单元等硬件设备,本发明的原理是在车载全景影像采集平台的影像采集过程中,沿着运载车辆行驶方向的较小视野范围内像素点的坐标变化与运载车辆直线运动关系很小,而与运载车辆转向运动关系很大,即该较小视野范围内像素点的坐标变化可以用来表现车载全景影像采集平台的转动情况。
如图2所示,该车载全景影像采集平台的航向和俯仰角速度获取方法由以下步骤组成:
S1、车载全景影像采集平台间隔地采集全景影像,构成全景影像图片,其中采集的时间间隔为
,且设定相邻帧第i帧、第i+1帧采集到全景影像图片分别为
、
,全景影像图片的宽度为
,高度为
。应注意的是,根据投影模型的不同,全景影像图片的形状、宽度和高度均有所不同,投影模型可以采用球面投影模型、立方体投影模型等。当选用球面投影模型时,全景影像图片为矩形,且其高度等于宽度的二分之一,即
,如图3所示;当选用立方体投影模型时,全景影像图片由大小相同且宽度为
的六张正方形图片组成,如图6所示。
S2、采用3D中的纹理映射技术将全景影像图片中的全景影像纹理映射至投影模型上。同样地,当选用球面投影模型时,经纹理映射后的全景影像图片形成球面全景,如图4所示;当选用立方体投影模型时,经纹理映射后的全景影像图片形成立方体全景,如图8所示。
S3、利用3D技术,在投影模型的中心点设置摄像机,该摄像机正对运载车辆行驶正前方或者正后方,获得水平和垂直视野范围
内的区域影像,该区域影像的坐标变化与运载车辆的直线运动关系很小,与运载车辆转向运动关系很大(本发明中可以设定该区域影像的坐标变化与运载车辆的直线运动关系无关,由此完全反映车载全景影像采集平台的转向情况)。利用3D中的渲染到纹理技术将投影模型上的区域影像渲染到区域影像图片上。设定相邻帧第i帧和第i+1帧采集到的区域影像图片分别为
、
,其中区域影像图片的宽度为
,高度为
。与全景影像图片相同,区域影像图片的宽度和高度均与投影模型的选取有关:当选取球面投影模型时,区域影像图片的宽度等于高度,即
;当选取立方体投影模型时,区域影像图片的宽度等于高度,即
。
S4、以上述区域影像图片的中心点为原点建立坐标系统,设定水平向右为X轴正向,垂直向上为Y轴正向,且计算第i帧区域影像图片的原点附近任意像素点(u,v)的特征向量
。
S5、计算第i+1帧所述区域影像图片的小区域U={(x,y)︱-c≤x-u≤c,-c≤y-v≤c}中所有像素点的特征向量集合
,其中x,y均为整数,c的取值范围为20~40;
S6、求取特征向量集合
中与特征向量
的范数最小的像素点(a,b),即
,表示第i+1帧区域影像图片
中像素点(a,b)与第i帧的区域影像图片
中像素点(u,v)相对应;
S7、根据投影模型单位宽度对应的角度,计算所述车载全景影像采集平台第i+1帧相对于第i帧的航向偏转角度和俯仰偏转角度;
S8、航向偏转角度/
、俯仰偏转角度/
,即获得第i+1帧相对于第i帧的航向角速度和俯仰角速度,其中
为相邻帧的间隔时间。
当通过车载全景影像采集平台前进方向获取区域影像图片时,当车载全景影像采集平台向右转向时,航向角速度为正,反之为负;当车载全景影像采集平台上坡时,俯仰角速度为正,反之为负。航向角速度和俯仰角速度的采样率与连续全景影像帧率相同;最小分辨率受全景帧分辨率限制,当
,
时,使用球面投影时,最小分辨率为0.088°。
在本发明的第一个实施例中选用球面投影模型作为投影模型,如图3~6所示。图3是车载全景影像采集平台间隔采集到的全景影像图片,其中采集的间隔时间为
,且设定该全景影像图片的宽度为
像素,高度为
像素(
=
/2),第i帧采集到的全景影像图片为
,第i+1帧采集到的全景影像图片为
。
采用3D中的纹理映射技术将全景影像图片中的全景影像纹理映射至球面投影模型上,形成如图4所示的由经纬网格组成的球面全景4。利用3D技术,在3D球体的球心设置摄像机,摄像机沿着运载车辆行驶的正前方或者正后方,获得水平和垂直视野范围
内球面上的区域影像5,该区域影像5与运载车辆的直线运动关系无关,利用3D中的渲染到纹理技术将3D球面上的区域影像5渲染到区域影像图片9上,如图5所示,其中区域影像图片的宽度为
,高度为
,且两者相等
,β的取值范围为10~30。区域影像图片中宽度和高度的推导如图6所示,设定视野范围
内的球面为一条直线,很容易即可推导出。当β取22.5时,
像素。由于3D中的纹理映射技术和渲染纹理技术均为通用技术,故在此不予累述。本实施例中还设定第i帧采集的区域影像图片为
,第i+1帧采集到的区域影像图片为
。
如图5所示,区域影像图片中每个交叉点6即表示一个像素点,以该区域影像图片的中心点为原点建立坐标系统,设定水平向右为X轴正向,垂直向上为Y轴正向,针对第i帧的区域影像图片求取坐标系统原点附近任意像素点的特征向量,本实施例中选定以原点(0,0)为中心宽度、高度均为11像素的矩形7,以该矩形的特征向量作为原点(0,0)的特征向量。特征向量可以采用多种不同的获取方法,在此不予累述。
计算第i+1帧区域影像图片的小区域U={(x,y)︱-c≤x-u≤c,-c≤y-v≤c}中所有像素点的特征向量集合
,其中x,y均为整数,本实施例中c取30,则小区域即为U={(x,y)︱-30≤x-u≤30,-30≤y-v≤30}。求取特征向量集合
中与特征向量
的范数最小的像素点为(3,4),即
,表示第i+1帧区域影像图片
中像素点(3,4)与第i帧的区域影像图片
中像素点(0,0)相对应。范数的获取方法为通用手段,在此不予累述。
由于球面投影模型为宽度方向的角度为360度,则单位宽度对应的角度为360/
度,则根据像素点的水平和垂直偏移值即可计算出车载全景影像采集平台第i+1帧相对于第i帧的航向偏转角度、俯仰偏转角度分别为
,
。
本实施例中设定相邻帧的时间间隔为63ms,则
、
的航向角速度为
度/秒;俯仰角速度为
度/秒。
在本发明的第二实施例中选用立方体投影模型,如图7~8所示。车载全景影像采集平台采集的全景影像图片如图7所示,由六张大小相同,宽度为
像素的正方形图片组成。
将六张图片分别编号为1-6,采用3D中的纹理映射技术将全景影像图片中的全景影像纹理映射至立方体投影模型上,形成如图8所示的立方体。利用3D技术在立方体的中心设置一个摄像机,摄像机正对运载车辆行驶的正前方或者正后方,获得水平和垂直视野范围
内立方体上的区域影像,该区域影像与运载车辆的直线运动关系无关,再利用3D中的渲染纹理技术将立方体上的区域影像渲染到区域影像图片上,其中区域影像图片的宽度为
,高度为
,且两者相等
,β的取值范围为10~30。当β取22.5时,
像素。由于3D中的纹理映射技术和渲染到纹理技术均为通用技术,故在此不予累述。本实施例中还设定第i帧采集的区域影像为
,第i+1帧采集到的区域影像为
。
与本发明的第一实施例相同,第二实施例采用相同的方法获得第i+1帧区域影像图片
中与第i帧区域影像图片
中(0,0)对应的像素点(3,4)。
计算出车载全景影像采集平台第i+1帧相对于第i帧的航向偏转角度、俯仰偏转角度分别为
,
。
本实施例中设定相邻帧的时间间隔为63ms,则
、
的航向角速度为
度/秒;俯仰角速度为
度/秒。
除了上述列举出的球面投影模型、立方体投影模型,本发明还可以选用圆柱体投影模型等,根据本发明的总体思路完全可以很容易将此等投影模型用于实际操作中。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。