CN112927356A - 一种无人机图像的三维显示方法 - Google Patents

Abstract

本发明涉及一种无人机图像的三维显示方法，属于图像处理技术领域。显示方法包括：根据无人机的飞行路线构建三维场景；获取无人机的位置信息、姿态信息以及拍摄影像信息；从拍摄影像信息中提取关键帧图像，进而生成二维纹理图像传入着色器中；根据无人机的姿态信息以及摄像头的方向构建观察坐标系；根据无人机的位置信息调用三维场景中的该位置设定区域的三维数据并转换到观察坐标系下；进而投影后转换到规格化投影空间中，得到纹理坐标，将纹理坐标传入着色器中；根据二维纹理图像和纹理坐标的对应关系进行显示。本发明将无人机所拍摄的影像信息在三维场景中实时显示，提高了三维场景的真实感，更便于勘探地形环境。

Description

一种无人机图像的三维显示方法

技术领域

本发明涉及一种无人机图像的三维显示方法，属于图像处理技术领域。

背景技术

为了完成作特定区域地形勘察任务，无人机需要实地飞行，扫描拍摄地形地貌的特征，但是由于无人机拍摄的影像只包含了摄像机拍摄的区域，缺少地理背景信息的支持，无法在大场景中展示当前拍摄区域所处的地形特点，导致人们无法快速的分析地形地貌。

为此有人提出将无人机拍摄影像与三维场景融合显示，这样不仅可以解决只有无人机拍摄影像所造成的地理背景数据影像的缺失，而且快速实时将真实场景影投影到虚拟的三维场景中，有效提高了人们的对地形特点的掌握情况，为人们在对地形勘察时做出决策提供依据。

传统的基于无人机影像的三维场景搭建方法，通常是经过数据获取，图像处理，点云生成，点云封装，最后纹理映射等一系列的操作完成三维场景的重建，计算复杂，而且三维场景的真实感不强。

发明内容

本申请的目的在于提供一种无人机图像的三维显示方法，用以解决现有方式计算复杂且三维场景的真实感不强的问题。

为实现上述目的，本申请提出了一种无人机图像的三维显示方法的技术方案，包括以下步骤：

1)根据无人机的飞行路线构建三维场景；

2)获取无人机的位置信息、姿态信息以及拍摄影像信息；位置信息包括经度、纬度以及高度；姿态信息包括偏航角、俯仰角、滚转角；

3)按照设定的时间间隔截取所述拍摄影像信息，将截取的图像作为关键帧图像，并将关键帧图像生成二维纹理图像，进而将二维纹理图像传入着色器中；

4)根据无人机的姿态信息以及摄像头的方向构建观察坐标系；根据无人机的位置信息调用三维场景中的该位置设定区域的三维数据；将所述三维数据转换到观察坐标系下；

5)将观察坐标系下的三维数据通过投影矩阵转换到规格化投影空间中；将规格化投影空间中的数据进行缩放和平移转换到纹理空间上，得到纹理坐标，将纹理坐标传入着色器中；

6)着色器根据二维纹理图像和纹理坐标的对应关系在二维屏幕上进行显示。

本发明的无人机图像的三维显示方法的技术方案的有益效果是：本发明通过无人机的飞行路线构建该路线下的三维场景，在无人机按照该飞行路线进行飞行时，实时传输所拍摄的影像信息，并且将拍摄的影像信息结合无人机的位置、姿态快速找到影像信息在三维场景中的位置，将拍摄的影像在三维场景中显示。并且随着无人机位置的不断变化，所拍摄的影响信息也在实时更新，达到无人机拍摄影响与三维场景实时显示的效果，使得无人机拍摄的影响补充了地理背景数据，不仅提高了三维场景的真实感，更便于勘探地形环境。

进一步的，无人机的位置信息根据无人机的GPS数据得到。

进一步的，所述二维纹理图像的高度和宽度均为2的幂数。

进一步的，所述步骤4)中的三维场景中的该位置设定区域的三维数据为世界坐标系下的三维数据，将所述三维数据转换到观察坐标系下的第一转换矩阵为：

其中，M_wc,vc为第一转换矩阵；；n为从一个参考点center指向视点eye的向量；u为视点上方向up与n的叉积；v为n与u的叉积；(u_x、v_x、n_x)为第一个点的坐标；(u_y、v_y、n_y)为第二个点的坐标；(u_z、v_z、n_z)为第三个点的坐标；O₀为世界坐标系原点到观察坐标系原点的向量。

进一步的，所述步骤5)中的投影矩阵为透视投影矩阵，透视投影矩阵如下：

其中，M’为透视投影矩阵；far为远裁剪平面；near为近裁剪平面；Fov为纵向视角；aspect为裁剪平面的宽高比。

进一步的，所述步骤5)中，通过第二转换矩阵得到纹理坐标，所述第二转换矩阵为：

附图说明

图1是本发明无人机图像的三维显示方法的流程图；

图2是本发明观察坐标系下的三维数据进行投影转换的示意图。

具体实施方式

无人机图像的三维显示方法实施例：

无人机图像的三维显示方法的主要构思在于，在构建了飞行路线下的三维场景的基础上，仿真系统一边对无人机拍摄的影像信息进行解析，得到二维纹理图像，一边结合无人机的位置和姿态，对三维场景进行处理，得到对应的纹理坐标，进而结合二维纹理图像和纹理坐标的对应关系，将无人机所拍摄的影像与三维场景进行融合，使得无人机拍摄的图像在三维场景中实时显示。

无人机图像的三维显示方法是在一个仿真系统中实现的，仿真系统可以模拟无人机的飞行，同时将无人机获得的真实影像信息在三维场景中显示。具体的，该方法如图1所示，包括以下步骤：

1)在仿真系统中根据无人机的飞行路线构建该飞行路线下的三维场景，三维场景包括飞行路线下的地理信息模型、以及无人机模型。

2)无人机按照飞行路线进行实际飞行，得到飞行数据；飞行数据包括无人机的位置信息、姿态信息以及拍摄影像信息，将飞行数据实时发送至仿真系统。

本实施例中，无人机的机载摄像头设置在无人机的正下方，相机张角12.5°，根据机载摄像头的方向以及相机张角确定无人机扫描的区域范围。

无人机的飞行路线为直线，飞行路线的起点和终点包括以下参数：无人机所处经度x_i，无人机所处纬度y_i，无人机的飞行高度z_i，无人机的飞行速度v_i，具体参数如下：

根据计划航线飞行时，无人机保持偏航角为0°，俯仰角90°，翻滚角为0°的姿态拍摄地形影像；并且由无人机上的定位模块得到无人机的GPS数据，进而得到得到无人机在大地坐标系下位置信息，位置信息包括经度、纬度、高度。

3)按照设定的时间间隔截取拍摄影像信息，将截取的图像作为关键帧图像，并将关键帧图像生成二维纹理图像，进而将二维纹理图像传入着色器中。

仿真系统采用基于时域的视频对象分割方法将无人机的实时视频影像分割成图像，每秒钟的视频提取的图像序列P_i为

其中，V为无人机传输的一段视频影像，t为该视频影像的播放时间(s)，i为获取的第i张图像。

本实施例中，设定的时间间隔t为0.5s，仿真系统以每次时间间隔0.5s截取拍摄影像数据，并将当前时刻截取的图像作为关键帧图像，存储在本地文件上。

接着，将得到的关键帧图像进行裁剪，生成二维纹理图像。二维纹理图像的高度和宽度均以像素为单位，高度和宽度的数值范围大于0，并且必须为2的幂数，即：

{P_h，P_w|2ⁱ<P_h<2ⁱ⁺¹，2^j<P_h<2^j+1}；

其中，Ph为二维纹理图像的高度；P_w为二维纹理图像的宽度；i，j为整数。

二维纹理图像传入着色器的过程包括：将二维纹理图像绑定到纹理单元上，纹理单元的索引会被传到着色器中，也即着色器通过纹理单元得到二维纹理图像。

4)根据无人机的姿态信息以及摄像头的方向构建观察坐标系；根据无人机的位置信息调用三维场景中的该位置设定区域的三维数据；该三维数据为世界坐标系下的三维数据，将该三维数据转换到观察坐标系下。

如果指定世界坐标系下的某个点O_s＝(X_s,Y_s,Z_s)为观察坐标系的原点，则将观察坐标系原点移动到世界坐标系原点的变换T如下：

将观察坐标系叠加到世界坐标系的组合旋转矩阵使用单位向量u，v和n来形成，n为从一个参考点center指向视点eye的向量；u为视点上方向up与n的叉积；v为n与u的叉积；该变换矩阵R为：

这里变换矩阵R的元素是u、v、n轴的分量，那么将世界坐标系的三维数据变换到观察坐标系下的第一转换矩阵为：

其中，M_wc,vc为第一转换矩阵；a、b、c为观察坐标系下的三维数据；a’、b’、c’为世界坐标系下的三维数据；n为从一个参考点center指向视点eye的向量；u为视点上方向up与n的叉积；v为n与u的叉积；(u_x、v_x、n_x)为第一个点的坐标；(u_y、v_y、n_y)为第二个点的坐标；(u_z、v_z、n_z)为第三个点的坐标；O₀为世界坐标系原点到观察坐标系原点的向量。

5)将观察坐标系下的三维数据通过透视投影矩阵转换为规格化投影空间下的三维数据；将规格化投影空间中的数据进行缩放和平移转换到纹理空间上以获取纹理值，得到纹理坐标，将纹理坐标传入着色器中。

将观察坐标系下的三维数据通过透视投影矩阵转换为规格化投影空间下的三维数据的过程如图2所示，透视投影矩阵如下：

其中，M，为透视投影矩阵；far为远裁剪平面；near为近裁剪平面；Fov为纵向视角；aspect为裁剪平面的宽高比(远裁剪平面的宽高比与近裁剪平面的宽高比相同，因此这里统一为裁剪平面的宽高比)。

规格化投影空间中的数据转换为纹理坐标的过程为：

1.确定有多少具体的顶点可以显示到最终的计算机屏幕上，对数据进行裁剪；

2.定义观察体及规范化，规格化的投影空间范围在是[-1,1]，转化到纹理空间的坐标是[0,1]；

3.把这个规格化的视景体通过缩放和平移操作转化到纹理空间上，以获得纹理坐标。

综上，将规格化投影空间中的数据转换为纹理坐标的第二转换矩阵为：

5)着色器根据二维纹理图像和纹理坐标的对应关系在二维屏幕上进行显示。

仿真系统中，在飞行过程中，无人机的位置信息在不断变换，所拍摄的影像信息也在不断更新，以每秒60Hz的频率来更新投影矩阵的显示的影像数据，使投影纹理在三维场景实时显示，避免出现丢帧、不连续图像的现象，即：

场景间隔时间

上述实施例中，为了方便描述，采用步骤的形式描述无人机图像的三维显示方法，但是仿真系统在模拟过程中并不局限于上述步骤，其中步骤3)和步骤4)是可以同时进行的，只要将二维纹理图像和纹理坐标均传入着色器即可。

本发明将无人机拍摄的影像信息在三维场景中实时显示，解决了无人机实时拍摄影像的地理背景数据缺失与三维战场仿真系统实时数据源的问题，而且提高了三维场景的真实性，为人们快速勘察目标区的地理环境情况提供了依据，为人们根据实时地形影像快速做出决策提供了有效支撑，可用于无人机，直升机等勘察任务的规划。

Claims (6)

1.一种无人机图像的三维显示方法，其特征在于，包括以下步骤：

1)根据无人机的飞行路线构建三维场景；

2)获取无人机的位置信息、姿态信息以及拍摄影像信息；位置信息包括经度、纬度以及高度；姿态信息包括偏航角、俯仰角、滚转角；

3)按照设定的时间间隔截取所述拍摄影像信息，将截取的图像作为关键帧图像，并将关键帧图像生成二维纹理图像，进而将二维纹理图像传入着色器中；

4)根据无人机的姿态信息以及摄像头的方向构建观察坐标系；根据无人机的位置信息调用三维场景中的该位置设定区域的三维数据；将所述三维数据转换到观察坐标系下；

5)将观察坐标系下的三维数据通过投影矩阵转换到规格化投影空间中；将规格化投影空间中的数据进行缩放和平移转换到纹理空间上，得到纹理坐标，将纹理坐标传入着色器中；

6)着色器根据二维纹理图像和纹理坐标的对应关系在二维屏幕上进行显示。

2.根据权利要求1所述的无人机图像的三维显示方法，其特征在于，无人机的位置信息根据无人机的GPS数据得到。

3.根据权利要求1所述的无人机图像的三维显示方法，其特征在于，所述二维纹理图像的高度和宽度均为2的幂数。

4.根据权利要求1或2或3所述的无人机图像的三维显示方法，其特征在于，所述步骤4)中的三维场景中的该位置设定区域的三维数据为世界坐标系下的三维数据，将所述三维数据转换到观察坐标系下的第一转换矩阵为：

其中，M_wc，vc为第一转换矩阵；n为从一个参考点center指向视点eye的向量；u为视点上方向up与n的叉积；v为n与u的叉积；(u_x、v_x、n_x)为第一个点的坐标；(u_y、v_y、n_y)为第二个点的坐标；(u_z、v_z、n_z)为第三个点的坐标；O₀为世界坐标系原点到观察坐标系原点的向量。

5.根据权利要求1或2或3所述的无人机图像的三维显示方法，其特征在于，所述步骤5)中的投影矩阵为透视投影矩阵，透视投影矩阵如下：

其中，M’为透视投影矩阵；far为远裁剪平面；near为近裁剪平面；Fov为纵向视角；aspect为裁剪平面的宽高比。

6.根据权利要求5所述的无人机图像的三维显示方法，其特征在于，所述步骤5)中，通过第二转换矩阵得到纹理坐标，所述第二转换矩阵为：

Images