CN106920207B - 一种基于硬件实现的空间平台像平面投影点实时计算的方法 - Google Patents

Abstract

本发明提供一种基于硬件实现的空间平台像平面投影点实时计算的方法，DSP在接收图像的内外方位元素信息后，按照当前图像尺寸给其分块，首先按照一般的求解方式计算出这些像素块中心对应地心坐标系下的投影坐标，再根据这些求得的坐标，利用线性插值估计的方法，建立起像素之间对应的距离关系，然后通过这种关系，用FPGA恢复出所有像素的投影坐标，最后传送给DSP存于储存器。本发明既能够避免DSP进行重复大规模的计算，又能在保证数据精度的前提下，充分利用FPGA的数据处理能力，进而达到实时计算的效果。

Description

一种基于硬件实现的空间平台像平面投影点实时计算的方法

技术领域

本发明涉及一种基于硬件实现的空间平台像平面投影点实时计算的方法，属于投影测量学领域，主要用于硬件实现整幅图像中所有像素点的投影坐标的计算。

背景技术

空间平台中，如飞行器、卫星这类具备高空图像采集能力的系统，有时需要确定图像内容和地理位置之间一一映射的关系，即分析图像中各像素实际对应的地理坐标，这对后续的定位是至关重要的一步。由于地球曲率和数据精度的影响，一般的投影坐标求解过程需要大量复杂的计算和判断，这对硬件平台来说无疑时间上的损耗较大，这样就无法保证计算的实时性，因此我们设计了一种适用于硬件平台的算法——线性插值估计算法，在确保一定精度的条件下，大幅度缩减时间上的开销，达到投影点坐标实时计算的成效。

发明内容

本发明的目的是为了提供一种基于硬件实现的空间平台像平面投影点实时计算的方法，要解决的技术问题是：在空间平台的成像系统工作时，在保持一定像素精度的基础上，由硬件实现对像平面投影点的实时计算，获取各像素对应的地理信息。

本发明的目的是这样实现的：包括图像采集模块、DSP处理模块、FPGA处理模块、数据储存模块，步骤如下：

步骤一：DSP处理模块接收通信口传来的图像的内外方位元素信息，将图像各像素按区域划分成块，得出像素块中心同投影中心对应的方向向量，并通过坐标变换得到地心坐标系下的投影向量vector_earth_p为：

vector_earth_p＝[a,b,c]＝[di,dj,-f]·C

式中：[di,dj,-f]为相机坐标系中像素块中心对应的方向向量，C为相机坐标系到地心坐标系的坐标变换矩阵，[a,b,c]为坐标变换后的投影向量；

步骤二：利用空间直线与球面相交的函数方程得出像素块中心的投影坐标；

步骤三：DSP处理模块在像平面正交的两个方向上进行拟合系数矩阵的建立：对横坐标构建系数矩阵kx_x、kx_y；对纵坐标构建系数矩阵ky_x、ky_y；对竖坐标构建系数矩阵kz_x、kz_y；

步骤四：DSP处理模块将六组系数矩阵和像素块中心的投影坐标传给FPGA处理模块，FPGA处理模块按照线性拟合的方式计算出当前块内所有的像素的投影坐标，并将计算的值传回DSP处理模块；

步骤五：DSP处理模块决定是否对纵轴坐标进行曲面约束，如进行曲面约束：对竖坐标进行球面约束，并对竖坐标的解做出正负判定后将得到的坐标值存储在数据储存模块里；如不进行曲面约束：直接将得到的坐标值存储在数据储存模块里。

本发明还包括这样一些结构特征：

1.步骤二中的函数方程为：

x²+y²+z²＝R²

式中：[x₀,y₀,z₀]是相机的投影中心在地心坐标系下的坐标，R是平均地球半径；

则像素块中心的投影坐标为：

式中：

v＝a²+b²+c²。

与现有技术相比，本发明的有益效果是：本发明适用于航空摄影的硬件平台，只需通过DSP计算图像中的部分像素在大地上的投影坐标，再利用线性插值估计的方法，建立起像素距离和对应投影点间距离的关系，然后通过这种关系，用FPGA恢复出所有像素的投影坐标，最后传送给DSP存于储存器里。该发明充分发挥了FPGA和DSP协同工作的能力，它既能够避免DSP进行重复大规模的计算，又能在保证数据精度的前提下，充分利用FPGA的数据处理能力，进而达到实时计算的效果。

(1)本发明方法中DSP通过接收内外方位元素信息，只需负责部分像素的坐标求解，简化了运算次数。

(2)本发明方法由DSP负责主要的计算，FPGA对数据只需进行简单的加减乘处理，解决了仅由FPGA处理时，需要面对的平方和开方运算，以及计算过程中小数位处理等难题；

(3)本发明方法通过引入插值系数矩阵，把大规模的求解过程转变成数据的估计过程，在合理的精度内极大缩短了处理周期，增强了计算的实时性；

(4)本发明方法可根据平台精度需求采用多种分块方案，具有一定的适应性。

附图说明

图1是本发明方法处理系统结构图；

图2是本发明中像插值系数矩阵生成图；

图3是本发明中对各像素横坐标的拟合示意图；

图4是本发明所采用的的线性插值估计算法的完整流程图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

本发明提供一种基于硬件实现的空间平台像平面投影点实时计算的方法。由于通常的求解过程需要求解高次方程且数据精度要求较高，如仅由DSP计算无法满足实时性，仅由FPGA完成则算法的设计难度较大且精度难以保证，故我们设计了一种由DSP和FPGA协同工作的线性插值估计算法完成投影点的实时计算，在保证实时性同时又确保了数据的精度。

本发明的完整的处理系统结构模型如图1所示，本发明包含图像采集模块、DSP处理模块、FPGA处理模块、数据储存模块。系统工作状态下图像数据采集模块负责图像信息的采集和传输，并按照一定的帧率实时地传输给DSP；DSP按照规则给图像格式分块，并求解出这些像素块中心的坐标和插值系数矩阵；之后，FPGA接收DSP传来当前帧的求解数据，然后按照给定的算法恢复出完整图像像素的投影坐标，最后把这些坐标信息传给DSP，DSP根据需求将该数据放到储存模块中。

算法的基本思路是：DSP在接收图像的内外方位元素信息后，按照当前图像尺寸给其分块，首先按照一般的求解方式计算出这些像素块中心对应地心坐标系下的投影坐标，再根据这些求得的坐标，利用线性插值估计的方法，建立起像素之间对应的距离关系，然后通过这种关系，用FPGA恢复出所有像素的投影坐标，最后传送给DSP存于储存器。

下面结合附图和具体实施例对本发明作进一步具体说明：

步骤一：DSP接收通信口传来的图像的内外方位元素信息，根据图像尺寸分块(我们假设图像的大小为N×N个像素，把图像均匀分成m×m个n×n大小的像素块，N＝mn)，计算出这些像素块中心的投影向量vector_earth_p为：

[a,b,c]＝[di,dj,-f]·C (1)

其中：[di,dj,-f]为相机坐标系中像素块中心对应的方向向量，C为相机坐标系到地心坐标系的坐标变换矩阵，[a,b,c]为变换后的投影向量。

步骤二：利用空间直线与球面相交的函数方程求解出像素块中心的投影坐标x_b_i,j,y_b_i,j,z_b_i,j(i,j＝1,2,····m)。其中，求解的方程见式(2)：

(x₀,y₀,z₀)是投影中心在地心坐标系下的坐标，R是平均地球半径。

最后得到的解的形式为：

其中：

v＝a²+b²+c²；

这里若c为0时，即z方向向量为0时，(2)变成如下形式：

步骤三：得到这些坐标值之后，DSP在像平面正交的两个方向上进行插值系数矩阵的建立，对横坐标构建系数矩阵kx_x，kx_y，对纵坐标构建系数矩阵ky_x，ky_y，对竖坐标构建系数矩阵kz_x，kz_y。其中，对横坐标的系数矩阵构建规则如图2所示(纵、竖坐标同理)。

其中：kx_y_1,2＝(x_b_1,2-x_b_1,1)/n，含义是第1块行中第2个块心到第1个块心的横坐标在y方向的平均距离像素比，即m/pixel，每个像素平均产生多少米的偏移。故认为在每一块行的块心和块心之间的区域都按照一定的系数做线性变化，则一共会有kx_y_1,2到kx_y_1,m m-1个系数，而在两端的系数kx_y_1,1和kx_y_1,m+1用线性外推的方式得到，综上得到第一块行求解系数的公式为：

然后是第2块行到第m块行以此类推，得到kx_y_m×(m+1)这样一个m×(m+1)大小的系数矩阵。对于x方向，kx_x_2,1＝(x_b_2,1-x_b_1,1)/n，含义是第2块行的第1个块心到第1行第1个块心的横坐标在x方向的平均距离像素比，同理，在块与块的间隔处得到m-1个系数，在首尾由外推得到剩下的2个系数，最终得到x方向的系数矩阵kx_x_(m+1)×m。

步骤四：DSP将六组系数矩阵和块心坐标传给FPGA，FPGA按照线性拟合的方式计算出当前块内所有的像素的横、纵、竖坐标。

块内横坐标的拟合方法(纵、竖坐标同理)如图3所示。图中的dx_y等于

dx_x等于

即每个块内横坐标的拟合和四个空间中所属的系数矩阵有关。

其中：ceil1＝ceil(2q₂/n)，ceil2＝ceil(2p₂/n)，ceil代表向上取整数。p₂和q₂决定块中像素的位置，范围是1到n。p₁,q₁是块心的移动因子，范围是0到m-1，由此选择不同的块和对应的系数。则对于块内任一像素的横坐标相对块心的偏移距离为：

综上，我们可以得到完整的横坐标拟合公式：

步骤五：DSP接收拟合出的横、纵、竖坐标数据，最后根据需求决定是否对竖坐标进行曲面约束(可用来转换经纬度)，然后储存数据，继续处理下一帧图像。

完整的线性差值估计算法流程图如图4所示。

仿真实验：为证明本算法的有效性，在MATLAB 2014a及TMS320C6678开发板环境下，利用上述算法做仿真实验。对于一张496×496尺寸大小的图片，根据分块大小的选择，我们得到在曲面约束和非曲面约束两种情况下的算法耗时数据，见表1和表2。

同时由MATLAB 2014a仿真时可以得到不同条件下对应的最大像素误差，见表3和表4。这里需要注意的一点是，我们认为成像平面是完全映射到地表的，即不存在部分投影向量在深空的情况，这是算法本身的限制，否则需要另外做判断。

表1分块大小和DSP平均处理时间的关系(非约束)

分块大小	平均处理时间
		1×1(纯计算，不分块)	5362.44ms
2×2	2733.46ms
		4×4	676.19ms
8×8	166.99ms
		16×16	41.72ms
31×31	11.14ms

表2分块大小和DSP平均处理时间的关系(约束)

从表1和表2可以看出本发明的处理时间比一般的纯计算方式有着极大的优越性。

表3最大像素误差与分块大小和径向高度的关系(非约束)

表4最大像素误差与分块大小和径向高度的关系(约束)

由此，可以结合实际需求精度的要求，来选取合适的分块大小。

综上，本发明的方法中DSP通过接收内外方位元素信息，只需负责部分像素的坐标求解，简化了运算次数。由DSP负责主要的计算，FPGA对数据只需进行简单的加减乘处理，解决了仅由FPGA处理时，需要面对的平方和开方运算，以及计算过程中小数位处理等难题；通过引入插值系数矩阵，把大规模的求解过程转变成数据的估计过程，在合理的精度内极大缩短了处理周期，增强了定位的实时性；本发明可根据平台精度需求采用多种分块方案，具有一定的适应性。

Claims (2)

1.一种基于硬件实现的空间平台像平面投影点实时计算的方法，其特征在于：包括图像采集模块、DSP处理模块、FPGA处理模块、数据储存模块，步骤如下：

步骤一：DSP处理模块接收通信口传来的图像的内外方位元素信息，将图像各像素按区域划分成块，得出像素块中心同投影中心对应的方向向量，并通过坐标变换得到地心坐标系下的投影向量vector_earth_p为：

vector_earth_p＝[a,b,c]＝[di,dj,-f]·C

式中：[di,dj,-f]为相机坐标系中像素块中心对应的方向向量，C为相机坐标系到地心坐标系的坐标变换矩阵，[a,b,c]为坐标变换后的投影向量；

步骤二：利用空间直线与球面相交的函数方程得出像素块中心的投影坐标；

步骤三：DSP处理模块在像平面正交的两个方向上进行拟合系数矩阵的建立：对横坐标构建系数矩阵kx_x、kx_y；对纵坐标构建系数矩阵ky_x、ky_y；对竖坐标构建系数矩阵kz_x、kz_y；

步骤四：DSP处理模块将六组系数矩阵和像素块中心的投影坐标传给FPGA处理模块，FPGA处理模块按照线性拟合的方式计算出当前块内所有的像素的投影坐标，并将计算的值传回DSP处理模块；

步骤五：DSP处理模块决定是否对竖坐标进行曲面约束，如进行曲面约束：对竖坐标进行球面约束，并对竖坐标的解做出正负判定后将得到的坐标值存储在数据储存模块里；如不进行曲面约束：直接将得到的坐标值存储在数据储存模块里。

2.根据权利要求1所述的一种基于硬件实现的空间平台像平面投影点实时计算的方法，其特征在于：步骤二中的函数方程为：

x²+y²+z²＝R²

式中：[x₀,y₀,z₀]是相机的投影中心在地心坐标系下的坐标，R是平均地球半径；

则像素块中心的投影坐标为：

式中：

v＝a²+b²+c²。

Images