CN110021210B - 一种具有可扩展性虚拟空间的无人机vr训练方法 - Google Patents

Abstract

本发明公开了一种具有可扩展性虚拟空间的无人机VR训练方法，实现在有限的实际空间中能训练无人机在更大的虚拟空间中飞行，安全地模拟实际的无人机在AI程序控制下在虚拟空间自动飞行，或者安全地训练飞手操纵实际的无人机在虚拟空间飞行。具体包括以下步骤，首先是无人机VR训练准备，其次是无人机VR训练阶段，再次是通过地面计算机将局部模型和虚拟无人机模型实时渲染，并显示在大屏幕上，最后通过地面计算机检测虚拟无人机是否飞出局部模型或者与虚拟物体发生碰撞，并通过重新加载局部模型的方法以保证虚拟无人机能在更大的虚拟空间中飞行。

Description

一种具有可扩展性虚拟空间的无人机VR训练方法

技术领域

本发明涉及一种无人机虚拟现实技术，具体是一种具有可扩展性虚拟空间的无人机VR训练方法。

背景技术

无人机在各个领域中应用广泛，例如地图测绘、地质勘测、灾害监测、无人机巡检、空中交通管制等。当无人机快速飞行，并且进行着高吞吐量的计算时，实际环境中特别轻微的改变都会导致无人机的碰撞事故。

无人机VR训练系统能够让无人机在虚空中“看到”丰富的虚拟环境，从而安全地模拟无人机在AI程序(Artificial Intelligence，人工智能，简写AI)控制下自动飞行，或者安全地训练飞手操纵无人机飞行。现有的无人机VR训练系统利用与虚拟现实环境大小相一致的实际空间(户内或户外空旷的大空间)进行无人机训练。因此，在有限的实际空间中，现有的无人机VR训练系统不能训练无人机在更大的虚拟空间中飞行。

发明内容

基于上述背景技术中所提到的现有技术中的不足之处，为此本发明提供了一种具有可扩展性虚拟空间的无人机VR训练方法。

本发明通过采用如下技术方案克服以上技术问题，具体为：

一种具有可扩展性虚拟空间的无人机VR训练方法，包括如下步骤：

S1，无人机VR训练准备，无人机VR训练准备包括以下部分：

部分一，建立大规模场景的三维模型简称三维场景模型B；对三维场景模型B进行简化处理得到大规模场景的简化三维模型，简称为三维场景模型C；

部分二，水平地面铺设标记图案的矩形定位图，无人机通过下视摄像头采集定位图图像，确定其空间平面坐标，无人机通过超声波等传感器确定其飞行垂直高度，以矩形定位图中心垂直向上定义无人机实际飞行最大高度；

部分三，与无人机实际最大飞行空间相对应的三维场景模型为三维场景模型B中的局部模型A，设定三维场景模型B中局部模型B以局部模型A的中心为空间中心，设定三维场景模型C中局部模型C以局部模型A的中心为空间中心；

部分四，对实际飞行的无人机进行建模，生成三维场景模型中的虚拟无人机模型，地面计算机加载局部模型B、局部模型C和虚拟无人机模型到计算内存中；

S2，无人机VR训练阶段，利用AI程序或飞手控制无人机在实际空间中飞行；无人机通过下视摄像头采集水平地面上带有规则图案的矩形定位图的实时图像，进行视觉计算确定无人机实际飞行的水平位置；无人机通过超声波传感器测量无人机实际飞行高度；

S3，通过地面计算机将局部模型B、局部模型C和虚拟无人机模型实时渲染，分别以无人机的第一视角和第三视角显示在大屏幕上；

S4，通过地面计算机检测虚拟无人机是否飞出局部模型A范围或者与局部模型A中的虚拟物体发生碰撞。

作为本发明进一步的方案：所述步骤S1中，三维场景模型和虚拟无人机模型均采用三角网格模型。

作为本发明再进一步的方案：所述步骤S1中的部分一里，三维模型的建立通过三维激光扫描获取真实场景的立体点云，再通过建模平台生成大规模真实场景的三维模型，或者直接通过建模平台生成大规模虚拟场景的三维场景模型。

作为本发明再进一步的方案：所述步骤S3中，无人机以第一视角显示实时渲染图像顺序如下：

第一步，以无人机的前视摄像头方向作为第一视角，第一视角即投影方向，前视摄像头的焦点作为虚拟无人机视点，将局部模型C的三维低分辨率网格模型经过投影产生大范围场景的渲染图像C和深度缓冲区C；

第二步，按照第一步的视点和投影方向，将局部模型B的三维高分辨率网格模型经过投影产生大范围场景的渲染图像B和深度缓冲区B；

第三步，根据渲染图像C、B的深度缓冲区C、B中像素深度值的大小，决定最终渲染图像的像素值，将最终渲染图像显示在大屏幕上。

作为本发明再进一步的方案：所述步骤S3中，无人机以第三视角显示实时渲染图像步骤如下：

步骤一，以无人机的后上方相应的位置作为视点，视点到无人机中心的方向即投影方向，局部模型C的三维低分辨率网格模型经过投影产生大范围场景的渲染图像C和深度缓冲区C；

步骤二，按照步骤一的视点和投影方向，将局部模型B的三维高分辨率网格模型经过投影产生大范围场景的渲染图像B和深度缓冲区B；

步骤三，按照步骤一的视点和投影方向，将虚拟无人机的三维网格模型经过投影产生虚拟无人机的渲染图像D和深度缓冲区D；

步骤四，根据渲染图像C、B、D的深度缓冲区C、B、D中像素深度值的大小，决定最终渲染图像的像素值，将最终渲染图像显示在大屏幕上。

作为本发明再进一步的方案：所述步骤S4中，检测虚拟无人机是否飞出局部模型A范围或者与局部模型A中的虚拟物体发生碰撞，具体情况分为以下三种：

情况一，虚拟无人机飞出局部模型A，地面计算机保存无人机飞出点位置，对应于虚拟无人机刚飞出局部模型A包围盒时的虚拟无人机中心位置；无人机在程序控制下，飞回到实际最大飞行空间的中心；以对应于虚拟无人机刚飞出局部模型A包围盒时的虚拟无人机中心位置为局部模型A的中心，地面计算机加载相应的局部模型A、B、C到计算内存中,转到S2执行；

情况二，虚拟无人机与局部模型A中的虚拟物体发生碰撞，本次无人机VR训练结束，转到S1执行；

情况三，虚拟无人机没有与局部模型A中的虚拟物体发生碰撞，并且虚拟无人机在局部模型A包围盒中，转到S2执行。

采用以上手段后，本发明相较于现有技术，具备以下优点：采用该方法后能在有限的实际空间中，能实现无人机在更大的虚拟空间中模拟飞行，安全地模拟无人机在AI程序控制下自动飞行，或者安全地训练飞手操纵无人机飞行。

附图说明

图1为具有可扩展性虚拟空间的无人机VR训练方法的流程图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以多种不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。

另外，本发明中的元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

实施例1

请参阅图1，本发明实施例中，一种具有可扩展性虚拟空间的无人机VR训练方法，包括如下步骤：

S1，无人机VR训练准备，具体来说，无人机VR训练准备包括以下部分：

部分一，通过三维激光扫描获取真实场景的立体点云，再通过建模平台生成大规模真实场景的三维模型，或者直接通过建模平台生成大规模虚拟场景的三维场景模型，上述三维模型简称三维场景模型B；三维场景模型B确定了无人机虚拟飞行空间，对三维场景模型B进行简化处理得到大规模场景的简化三维模型，简称为三维场景模型C，优选地，三维场景模型采用三角网格模型；

部分二，水平地面铺设标记图案的矩形定位图，无人机通过下视摄像头采集定位图图像，确定其空间平面坐标，矩形定位图的边界确定了无人机实际最大飞行的水平范围；无人机通过超声波等传感器确定其飞行垂直高度，以矩形定位图中心垂直向上定义无人机实际飞行最大高度；通过水平地面的矩形定位图和设定最大飞行高度，确定无人机实际最大飞行空间；

部分三，与无人机实际最大飞行空间相对应的三维场景模型为三维场景模型B中的局部模型A，其中，局部模型A为三维场景模型B中的局部模型；设定三维场景模型B中局部模型B以局部模型A的中心为空间中心，空间范围为局部模型A的27倍；设定三维场景模型C中局部模型C以局部模型A的中心为空间中心，空间范围为局部模型A的8000倍，局部模型B比局部模型A的空间范围大，局部模型C比局部模型B的空间范围大；

部分四，对实际飞行的无人机进行建模，生成三维场景模型中的虚拟无人机模型，虚拟无人机模型采用三角网格模型；地面计算机加载局部模型B、局部模型C和虚拟无人机模型到计算内存中；

S2，无人机VR训练阶段，利用AI程序或飞手控制无人机在实际空间中飞行；无人机通过下视摄像头采集水平地面上带有规则图案的矩形定位图的实时图像，进行视觉计算确定无人机实际飞行的水平位置；无人机通过超声波等传感器测量无人机实际飞行高度；通过无人机的实际飞行的水平位置和垂直高度，确定无人机在实际空间中的位置，即确定虚拟无人机在局部模型A中的空间位置；

S3，通过地面计算机将局部模型B、局部模型C和虚拟无人机模型实时渲染，分别以无人机的第一视角和第三视角显示在大屏幕上，

具体地，无人机以第一视角显示实时渲染图像顺序如下：

第一步，以无人机的前视摄像头方向作为第一视角，第一视角即投影方向，前视摄像头的焦点作为虚拟无人机视点，将局部模型C的三维低分辨率网格模型经过投影产生大范围场景的渲染图像C和深度缓冲区C；

第二步，按照第一步的视点和投影方向，将局部模型B的三维高分辨率网格模型经过投影产生大范围场景的渲染图像B和深度缓冲区B；

第三步，根据渲染图像C、B的深度缓冲区C、B中像素深度值的大小，决定最终渲染图像的像素值，即像素深度值小的渲染图像像素值为最终渲染图像的像素值；当渲染图像C和B的相应深度缓冲区C和B的深度值相同时，优先采用局部模型B的三维高分辨率网格模型产生的渲染图像B的像素值，作为最终渲染图像相应的像素值；将最终渲染图像显示在大屏幕上；

无人机以第三视角显示实时渲染图像步骤如下：

步骤一，以无人机的后上方相应的位置作为视点，视点到无人机中心的方向即投影方向，局部模型C的三维低分辨率网格模型经过投影产生大范围场景的渲染图像C和深度缓冲区C；

步骤二，按照步骤一的视点和投影方向，将局部模型B的三维高分辨率网格模型经过投影产生大范围场景的渲染图像B和深度缓冲区B；

步骤三，按照步骤一的视点和投影方向，将虚拟无人机的三维网格模型经过投影产生虚拟无人机的渲染图像D和深度缓冲区D；

步骤四，根据渲染图像C、B、D的深度缓冲区C、B、D中像素深度值的大小，决定最终渲染图像的像素值，即像素深度值小的渲染图像像素值为最终渲染图像的像素值；当渲染图像C和B的相应深度缓冲区C和B的深度值相同时，优先采用局部模型B的三维高分辨率网格模型产生的渲染图像B的像素值，作为最终渲染图像相应的像素值；将最终渲染图像显示在大屏幕上；

S4，通过地面计算机检测虚拟无人机是否飞出局部模型A范围或者与局部模型A中的虚拟物体发生碰撞，具体情况分为以下三种：

情况一，虚拟无人机飞出局部模型A，即无人机飞出实际最大飞行空间，地面计算机保存无人机飞出点位置，对应于虚拟无人机刚飞出局部模型A包围盒时的虚拟无人机中心位置；无人机在程序控制下，飞回到实际最大飞行空间的中心；以对应于虚拟无人机刚飞出局部模型A包围盒时的虚拟无人机中心位置为局部模型A的中心，地面计算机加载相应的局部模型A、B、C到计算内存中,转到S2执行；

情况二，虚拟无人机与局部模型A中的虚拟物体发生碰撞，本次无人机VR训练结束，转到S1执行；

情况三，虚拟无人机没有与局部模型A中的虚拟物体发生碰撞，并且虚拟无人机在局部模型A包围盒中，转到S2执行。

以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅限于以上实施例，其具体结构允许有变化。但凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

Claims (4)

1.一种具有可扩展性虚拟空间的无人机VR训练方法，其特征在于，包括如下步骤：

S1，无人机VR训练准备，无人机VR训练准备包括以下部分：

部分一，建立大规模场景的三维模型简称三维场景模型B；对三维场景模型B进行简化处理得到大规模场景的简化三维模型，简称为三维场景模型C；

部分二，水平地面铺设标记图案的矩形定位图，无人机通过下视摄像头采集定位图图像，确定其空间平面坐标，矩形定位图的边界确定了无人机实际最大飞行的水平范围；无人机通过超声波传感器确定其飞行垂直高度，以矩形定位图中心垂直向上定义无人机实际飞行最大高度；通过水平地面的矩形定位图和设定最大飞行高度，确定无人机实际最大飞行空间；

部分三，与无人机实际最大飞行空间相对应的三维场景模型为三维场景模型B中的局部模型A，其中，局部模型A为三维场景模型B中的局部模型；设定三维场景模型B中局部模型B以局部模型A的中心为空间中心，空间范围为局部模型A的27倍；设定三维场景模型C中局部模型C以局部模型A的中心为空间中心，空间范围为局部模型A的8000倍，局部模型B比局部模型A的空间范围大，局部模型C比局部模型B的空间范围大；

部分四，对实际飞行的无人机进行建模，生成三维场景模型中的虚拟无人机模型，地面计算机加载局部模型B、局部模型C和虚拟无人机模型到计算内存中；

S2，无人机VR训练阶段，利用AI程序或飞手控制无人机在实际空间中飞行；无人机通过下视摄像头采集水平地面上带有规则图案的矩形定位图的实时图像，进行视觉计算确定无人机实际飞行的水平位置；无人机通过超声波传感器测量无人机实际飞行高度；

S3，通过地面计算机将局部模型B、局部模型C和虚拟无人机模型实时渲染，分别以无人机的第一视角和第三视角显示在大屏幕上；

S4，通过地面计算机检测虚拟无人机是否飞出局部模型A范围或者与局部模型A中的虚拟物体发生碰撞；

所述步骤S3中，无人机以第一视角显示实时渲染图像顺序如下：

第一步，以无人机的前视摄像头方向作为第一视角，第一视角即投影方向，前视摄像头的焦点作为虚拟无人机视点，将局部模型C的三维低分辨率网格模型经过投影产生大范围场景的渲染图像C和深度缓冲区C；

第二步，按照第一步的视点和投影方向，将局部模型B的三维高分辨率网格模型经过投影产生大范围场景的渲染图像B和深度缓冲区B；

第三步，根据渲染图像C、B的深度缓冲区C、B中像素深度值的大小，决定最终渲染图像的像素值，将最终渲染图像显示在大屏幕上；

所述步骤S3中，无人机以第三视角显示实时渲染图像步骤如下：

步骤一，以无人机的后上方相应的位置作为视点，视点到无人机中心的方向即投影方向，局部模型C的三维低分辨率网格模型经过投影产生大范围场景的渲染图像C和深度缓冲区C；

步骤二，按照步骤一的视点和投影方向，将局部模型B的三维高分辨率网格模型经过投影产生大范围场景的渲染图像B和深度缓冲区B；

步骤三，按照步骤一的视点和投影方向，将虚拟无人机的三维网格模型经过投影产生虚拟无人机的渲染图像D和深度缓冲区D；

步骤四，根据渲染图像C、B、D的深度缓冲区C、B、D中像素深度值的大小，决定最终渲染图像的像素值，将最终渲染图像显示在大屏幕上。

2.根据权利要求1所述的一种具有可扩展性虚拟空间的无人机VR训练方法，其特征在于，所述步骤S1中，三维场景模型和虚拟无人机模型均采用三角网格模型。

3.根据权利要求1所述的一种具有可扩展性虚拟空间的无人机VR训练方法，其特征在于，所述步骤S1中的部分一里，三维模型的建立通过三维激光扫描获取真实场景的立体点云，再通过建模平台生成大规模真实场景的三维模型，或者直接通过建模平台生成大规模虚拟场景的三维场景模型。

4.根据权利要求1所述的一种具有可扩展性虚拟空间的无人机VR训练方法，其特征在于，所述步骤S4中，检测虚拟无人机是否飞出局部模型A范围或者与局部模型A中的虚拟物体发生碰撞，具体情况分为以下三种：

情况一，虚拟无人机飞出局部模型A，地面计算机保存无人机飞出点位置，对应于虚拟无人机刚飞出局部模型A包围盒时的虚拟无人机中心位置；无人机在程序控制下，飞回到实际最大飞行空间的中心；以对应于虚拟无人机刚飞出局部模型A包围盒时的虚拟无人机中心位置为局部模型A的中心，地面计算机加载相应的局部模型A、B、C到计算内存中,转到S2执行；

情况二，虚拟无人机与局部模型A中的虚拟物体发生碰撞，本次无人机VR训练结束，转到S1执行；

情况三，虚拟无人机没有与局部模型A中的虚拟物体发生碰撞，并且虚拟无人机在局部模型A包围盒中，转到S2执行。

Images