CN115965753A - 一种空地协同快速三维建模系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种空地协同快速三维建模系统、电子设备及存储介质，其中，系统包括：信息获取模块，获取相机的位置姿态信息和参数信息；信息接收模块在地面端接收信息转发模块发送过来的位置姿态信息和参数信息；视频获取模块，获取相机的视频；所述视频转发模块转发视频到视频接收模块；图片生成模块解析视频的帧数据，截取视频帧保存成图片；并将位置姿态信息和参数信息写入所述图片的exif信息和xmp信息，得到信息写入后的图片；所述模型生成模块接收所述信息写入后的图片，将所述信息写入后的图片输入到建模引擎内，生成三维模型。本发明提出的方案，缩短信息获取时间，提高现场指挥效能。为进行救援提供地形、地貌等数据支撑。

Description

一种空地协同快速三维建模系统、电子设备及存储介质

技术领域

本发明属于航空摄影领域，尤其涉及一种空地协同快速三维建模系统、电子设备及存储介质。

背景技术

倾斜摄影：通过在同一飞行平台上搭载多台传感器，同时从一个垂直、四个倾斜、五个不同的视角同步采集影像，获取地面物体更为完整准确的信息，将用户引入了符合人眼视觉的真实直观世界。

空三加密：空三加密即解析空中三角测量，亦称电算加密或摄影测量加密，是以像片上量测的像点坐标为依据，采用严密的数学模型，按最小二乘法原理，用少量野外控制点(像控点)作为约束条件，在计算机上解求出所摄地区未知点的地面坐标。

TIN模型：不规则三角网(Triangulated Irregular Network，TIN)是另外一种表示数字高程模型的方法，根据区域的有限个点集将区域划分为相等的三角面网络，数字高程有连续的三角面组成，三角面的形状和大小取决于不规则分布的测点的位置和密度，能够避免地形平坦时的数据冗余，又能按地形特征点表示数字高程特征。它既减少规则格网方法带来的数据冗余，同时在计算(如坡度)效率方面又优于纯粹基于等高线的方法。

点云：目标表面特性的海量点集合，集合中的每个点代表一组X、Y、Z几何坐标和一个强度值，这个强度值根据物体表面反射率记录返回信号的强度。当这些点组合在一起时，就会形成一个点云，即空间中代表3D形状或对象的数据点集合。一般有激光测量和摄影测量两种方式获得。

DSM：数字地表模型(Digital Surface Model，DSM)是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。

DEM：数字高程模型(Digital Elevation Model)是通过有限的地形高程数据实现对地面地形的数字化模拟(即地形表面形态的数字化表达)，它是用一组有序数值阵列形式表示地面高程的一种实体地面模型。

DOM：数字正射影像图(DOM,DigitalOrthophotoMap)是对航空(或航天)像片进行数字微分纠正和镶嵌，按一定图幅范围裁剪生成的数字正射影像集。它是同时具有地图几何精度和影像特征的图像。

赵伟山等通过无人机倾斜摄影和地面影像从不同维度获取地面物体的位置、形态、颜色等数据，通过多维度数据共同空三加密处理，增加目标物体的特征，进一步自动化三维实景Mesh建模，应用DP-Modeler对单体进行精细化建模、纹理贴图及地面影像替换，最后生成的单体模型更加逼真的展示了建筑物的细部特征，一定程度解决了城市区域因道路狭窄、建筑物密集而导致地物遮挡突出，无法满足三维模型底商纹理的分辨率问题。

为了克服现有技术的不足，该发明提出一种基于空地协同的三维建模方法、智能终端以及存储装置，在获取倾斜影像数据的同时获取空中激光三维点云数据、地面三维激光点云数据，根据该数据获取空地激光融合点云、密集匹配点云，利用空地激光融合点云生成三维模型，并通过倾斜影像渲染该三维模型形成建模目标的三维模型，相比于倾斜影像，空地激光融合点云的遮挡区域少，减少了数据获取盲区，三维模型的细节更加清晰、全面且精度高，提高了模型质量。

上述现有技术方案需要空中和地面同时对目标物体进行特征数据提取，其中地面作业耗费时间和成本远远大于空作业，且在应急场景下，通过地面进行特征提取基本无法实现，而且时间也不允许。因此，需仅利用空中数据提取达到对物体细部特征完美的展示，本发明仅用无人机多次作业或者集群作业即可实现同样的效果。

发明内容

为解决上述技术问题，本发明提出一种空地协同快速三维建模、电子设备及存储介质的技术方案，以解决上述技术问题。

本发明第一方面公开了一种空地协同快速三维建模系统，所述系统包括：信息获取模块、信息转发模块、信息接收模块、视频获取模块、视频转发模块、视频接收模块、图片生成模块和模型生成模块；

所述信息获取模块，通过串口通信或者TCP或者UDP网络通信的方式，获取相机的位置姿态信息和参数信息；

所述信息转发模块在机载端对所述位置姿态信息和参数信息进行整合打包，得到打包信息，通过TCP或者UDP的方式，以固定的协议格式转发到所述信息接收模块；

所述信息接收模块在地面端接收信息转发模块发送过来的所述打包信息，并将所述打包信息传递到图片生成模块；

所述视频获取模块在机载端，通过网络接口或者HDMI口，获取相机的视频；

所述视频转发模块在机载端接收视频获取模块的视频，并转发到地面端的视频服务；

所述视频接收模块在地面端接收所述视频服务的视频；

所述图片生成模块解析所述视频接收模块的视频的帧数据，截取视频帧保存成jpg图片；并将位置姿态信息和参数信息写入所述jpg图片的exif信息和xmp信息，得到信息写入后的图片；再将所述信息写入后的图片传入模型生成模块；

所述模型生成模块接收所述信息写入后的图片，将所述信息写入后的图片输入到建模引擎内，生成三维模型。

根据本发明第一方面的系统，所述位置姿态信息包括：经度、纬度、海拔高度、航向角、俯仰角和旋转角。

根据本发明第一方面的系统，所述参数信息包括：相机焦距和相机35mm焦距。

根据本发明第一方面的系统，如果航向角是相对于飞机的角度，所述相机的航向角h＝(h1+h2)％360；

其中，h1为飞机的航向角，h2为相机与飞机的夹角，％为求余符号。

根据本发明第一方面的系统，当相机是变焦相机的时候，相机焦距为原焦距除以变焦倍数，相机35mm焦距为原35mm焦距除以变焦倍数。

根据本发明第一方面的系统，所述将位置姿态信息和参数信息写入所述jpg图片的exif信息和xmp信息的方法包括：

将经度、纬度、海拔高度、相机焦距和相机35mm焦距写入jpg图片的exif信息；

将航向角、俯仰角和旋转角写入jpg图片的xmp信息。

根据本发明第一方面的系统，对于全黑或者部分黑的jpg图片的剔除方法包括：

如果jpg图片的尺寸小于预设尺寸，则剔除所述jpg图片。

根据本发明第一方面的系统，对于全黑或者部分黑的jpg图片的剔除方法还包括：

在jpg图片的宽和高分别每隔N个像素取一个点，在所有取的点中有两个或两个以上为纯黑，则剔除所述jpg图片。

本发明第二方面提供了一种电子设备，所述设备包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如本发明第一方面所述的一种空地协同快速三维建模系统中的方法。

本发明第三方面提供了一种存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如本发明第一方面所述的一种空地协同快速三维建模系统中的方法。

本发明提出的方案，利用无人机快速建模生成应急现场实景三维模型，为各方指挥部提供辅助决策现场实时三维态势信息，缩短信息获取时间，提高现场指挥效能。为了应对救援现场所需的快速反应的要求，在最短的时间内构建出应急救援现场所处的环境及救援条件，为进行救援提供地形、地貌等数据支撑。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种空地协同快速三维建模系统的结构图；

图2为根据本发明实施例的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面公开了一种空地协同快速三维建模系统，图1为根据本发明实施例的一种空地协同快速三维建模系统的结构图，具体如图1所示，所述系统包括：信息获取模块、信息转发模块、信息接收模块、视频获取模块、视频转发模块、视频接收模块、图片生成模块和模型生成模块；

所述信息获取模块，通过串口通信或者TCP或者UDP网络通信的方式，获取相机的位置姿态信息和参数信息；

所述信息转发模块在机载端对所述位置姿态信息和参数信息进行整合打包，得到打包信息，通过TCP或者UDP的方式，以固定的协议格式转发到所述信息接收模块；

所述信息接收模块在地面端接收信息转发模块发送过来的所述打包信息，并将所述打包信息传递到图片生成模块；

所述视频获取模块在机载端，通过网络接口或者HDMI口，获取相机的视频；获取方式根据相机的不同会有区别，比如说通过网络接口接收RTSP流，或者通过HDMI口获取；

所述视频转发模块在机载端接收视频获取模块的视频，并转发到地面端的视频服务；该模块实际上是部署了一个RTMP的流媒体服务；

所述视频接收模块在地面端接收所述视频服务的视频；视频流格式一般是RTMP流的视频；

所述图片生成模块解析所述视频接收模块的视频的帧数据，截取视频帧保存成jpg图片；并将位置姿态信息和参数信息写入所述jpg图片的exif信息和xmp信息，得到信息写入后的图片；再将所述信息写入后的图片传入模型生成模块；

所述模型生成模块接收所述信息写入后的图片，将所述信息写入后的图片输入到建模引擎内，生成三维模型。

建模软件一般采用通用的建模引擎，例如Context Capture、Pix4D，我们采用的是自己研发的建模引擎。

在一些实施例中，所述位置姿态信息包括：经度、纬度、海拔高度、航向角、俯仰角和旋转角。

俯仰角和旋转角是绝对值。而航向角有可能是绝对值(即相对于真北方向的角度)，也有可能是相对值(即相对于飞机的角度)。

如果航向角是相对于飞机的角度，所述相机的航向角h＝(h1+h2)％360；

其中，h1为飞机的航向角，h2为相机与飞机的夹角，％为求余符号。

在一些实施例中，所述参数信息包括：相机焦距和相机35mm焦距。

当相机是变焦相机的时候，相机焦距为原焦距除以变焦倍数，相机35mm焦距为原35mm焦距除以变焦倍数。

在一些实施例中，所述将位置姿态信息和参数信息写入所述jpg图片的exif信息和xmp信息的方法包括：

将经度、纬度、海拔高度、相机焦距和相机35mm焦距写入jpg图片的exif信息；

将航向角、俯仰角和旋转角写入jpg图片的xmp信息。

在一些实施例中，对于全黑或者部分黑的jpg图片的剔除方法包括：

如果jpg图片的尺寸小于预设尺寸，则剔除所述jpg图片；

在jpg图片的宽和高分别每隔N个像素取一个点，在所有取的点中有两个或两个以上为纯黑，则剔除所述jpg图片。

具体地，有时候由于视频卡顿或者视频传输的影响，导致视频卡顿，这时候截取视频帧保存的图片是有问题的，比如说全黑或者部分黑的图片，这时候就需要通过一定的方法来剔除有问题的图片，剔除方法如下：

(1)全黑的图片往往远小于正常图片大小，设定一个预设尺寸，剔除小于预设尺寸的图片，这样的图片往往为全黑的图片，予以剔除；

(2)在图片宽和高分别每隔N个像素取一个点，一共取的点的数量为(Floor(width/N)+Floor(height/N))个。由于真实的自然界极少存在纯黑(RGB值均为0)的点，所以所有点中有两个或两个以上为纯黑(RGB值均为0)的点，这样的图片往往为部分黑的图片，予以剔除。

综上，本发明各个方面的技术方案与现有技术相比具有如下优点：利用无人机快速建模生成应急现场实景三维模型，为各方指挥部提供辅助决策现场实时三维态势信息，缩短信息获取时间，提高现场指挥效能。为了应对救援现场所需的快速反应的要求，在最短的时间内构建出应急救援现场所处的环境及救援条件，为进行救援提供地形、地貌等数据支撑。

本发明第二方面公开了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开第一方面中任一项的一种空地协同快速三维建模系统中方法的步骤。

图2为根据本发明实施例的一种电子设备的结构图，如图2所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明第三方面公开了一种存储介质，具体涉及计算机的可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明公开第一方面中任一项的一种空地协同快速三维建模系统中方法的步骤。

请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种空地协同快速三维建模系统，其特征在于，所述系统包括：信息获取模块、信息转发模块、信息接收模块、视频获取模块、视频转发模块、视频接收模块、图片生成模块和模型生成模块；

所述信息获取模块，通过串口通信或者TCP或者UDP网络通信的方式，获取相机的位置姿态信息和参数信息；

所述信息转发模块在机载端对所述位置姿态信息和参数信息进行整合打包，得到打包信息，通过TCP或者UDP的方式，以固定的协议格式转发到所述信息接收模块；

所述信息接收模块在地面端接收信息转发模块发送过来的所述打包信息，并将所述打包信息传递到图片生成模块；

所述视频获取模块在机载端，通过网络接口或者HDMI口，获取相机的视频；

所述视频转发模块在机载端接收视频获取模块的视频，并转发到地面端的视频服务；

所述视频接收模块在地面端接收所述视频服务的视频；

所述图片生成模块解析所述视频接收模块的视频的帧数据，截取视频帧保存成jpg图片；并将位置姿态信息和参数信息写入所述jpg图片的exif信息和xmp信息，得到信息写入后的图片；再将所述信息写入后的图片传入模型生成模块；

所述模型生成模块接收所述信息写入后的图片，将所述信息写入后的图片输入到建模引擎内，生成三维模型。

2.根据权利要求1所述的一种空地协同快速三维建模系统，其特征在于，所述位置姿态信息包括：经度、纬度、海拔高度、航向角、俯仰角和旋转角。

3.根据权利要求2所述的一种空地协同快速三维建模系统，其特征在于，所述参数信息包括：相机焦距和相机35mm焦距。

4.根据权利要求2所述的一种空地协同快速三维建模系统，其特征在于，如果航向角是相对于飞机的角度，所述相机的航向角h＝(h1+h2)％360；

其中，h1为飞机的航向角，h2为相机与飞机的夹角，％为求余符号。

5.根据权利要求3所述的一种空地协同快速三维建模系统，其特征在于，当相机是变焦相机的时候，相机焦距为原焦距除以变焦倍数，相机35mm焦距为原35mm焦距除以变焦倍数。

6.根据权利要求3所述的一种空地协同快速三维建模系统，其特征在于，所述将位置姿态信息和参数信息写入所述jpg图片的exif信息和xmp信息的方法包括：

将经度、纬度、海拔高度、相机焦距和相机35mm焦距写入jpg图片的exif信息；

将航向角、俯仰角和旋转角写入jpg图片的xmp信息。

7.根据权利要求6所述的一种空地协同快速三维建模系统，其特征在于，对于全黑或者部分黑的jpg图片的剔除方法包括：

如果jpg图片的尺寸小于预设尺寸，则剔除所述jpg图片。

8.根据权利要求7所述的一种空地协同快速三维建模系统，其特征在于，对于全黑或者部分黑的jpg图片的剔除方法还包括：

在jpg图片的宽和高分别每隔N个像素取一个点，在所有取的点中有两个或两个以上为纯黑，则剔除所述jpg图片。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如权利要求1至8任意一项所述的一种空地协同快速三维建模系统中的方法。

10.一种存储介质，其特征在于，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如权利要求1至8中任一项所述的一种空地协同快速三维建模系统中的方法。

Images