CN112136322A - 一种三维点云的实时显示方法、设备、系统及存储介质 - Google Patents

一种三维点云的实时显示方法、设备、系统及存储介质 Download PDF

Info

Publication number
CN112136322A
CN112136322A CN201980030355.6A CN201980030355A CN112136322A CN 112136322 A CN112136322 A CN 112136322A CN 201980030355 A CN201980030355 A CN 201980030355A CN 112136322 A CN112136322 A CN 112136322A
Authority
CN
China
Prior art keywords
dimensional point
point cloud
aerial vehicle
unmanned aerial
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980030355.6A
Other languages
English (en)
Inventor
侯雨涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112136322A publication Critical patent/CN112136322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

一种三维点云的实时显示方法、设备、系统及存储介质，其中，所述方法包括：显示无人机的目标拍摄区域对应的飞行航线；获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。通过这种实施方式，可以实现对三维点云的实时显示，从而使用户能够实时查看三维点云，提高作业效率。

Description

一种三维点云的实时显示方法、设备、系统及存储介质
技术领域
本申请涉及测绘技术领域，尤其涉及一种三维点云的实时显示方法、设备、系统及存储介质。
背景技术
目前测绘领域中，查看生成的点云需要在整个场景或者物体重建完成之后，因此用户无法实时看到重建的效果，也就不能及时确定场景或者物体中哪些区域重建的效果好，哪些区域并未重建出来。查看重建的效果必须等到整个场景重建完成之后会导致以下几个问题：1、查看场景中任何一块的点云都要等待整个场景重建完成，这往往要等待大量的时间。场景的重建往往需要耗费比较长的时间，短则几十分钟，长则几天，因为只能在整个场景重建完成后才能查看点云的情况。2、无法第一时间(如现场采集图片时)看到模型重建的效果，效率低。测绘作业时，经常会出现离开现场回去重建了很长时间后，发现有些地方由于拍摄的不好无法重建，需要再次采集图像的情况。这就需要返回取景地重新拍摄，浪费大量的人力、时间成本。3、等待整个场景重建完成后才能让用户查看点云，用户体验不好。
因此，如何更有效地进行测绘成为亟需解决的问题。
发明内容
本申请实施例公开了一种三维点云的实时显示方法、设备、系统及存储介质，在无人机的拍摄装置采集图像的过程中，即可实现对三维点云的实时显示，从而使用户能够实时查看三维点云，提高作业效率。
第一方面，本发明实施例提供了一种三维点云的实时显示方法，包括：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
第二方面，本发明实施例提供了一种三维点云的实时显示设备，包括：存储器和处理器，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
第三方面，本发明实施例提供了一种三维点云的实时显示系统，包括：
无人机，所述无人机安装有拍摄装置，用于对环境进行拍摄得到图像；
以及上述第二方面的三维点云的实时显示设备。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。
本发明实施例可以显示无人机的目标拍摄区域对应的飞行航线，获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像，并根据所述图像确定至少部分的所述目标拍摄区域对应的三维点云，从而在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。通过这种实施方式，可以实现对三维点云的实时显示，从而使用户能够实时查看三维点云，提高作业效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中的无人机测绘场景的示意图；
图2是本发明实施例提供的一种三维点云的实时显示方法的流程示意图；
图3a是本发明实施例提供的一种确定目标拍摄区域的示意图；
图3b是本发明实施例提供的一种生成飞行航线的示意图；
图3c是本发明实施例提供的又一种生成飞行航线的示意图；
图3d是本发明实施例提供的一种飞行航线的示意图；
图4a是本发明实施例提供的一种切换飞行航线的示意图；
图4b是本发明实施例提供的另一种切换飞行航线的示意图；
图5是本发明实施例提供的一种显示覆盖区域的卫星地图的示意图；
图6是本发明实施例提供的一种三层四叉树结构的示意图；
图7是本发明实施例提供的一种点云和真实地理信息对齐后的示意图；
图8是本发明实施例提供的一种三维点云的实时显示设备的结构示意图；
图9a是本发明实施例提供的一种三维点云的显示示意图；
图9b是本发明实施例提供的又一种三维点云的显示示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本发明一个实施例中的无人机测绘场景的示意图，无人机测绘系统包括无人机101，地面站102。无人机101具体可以是执行测绘任务的无人机。可选的，无人机101可以是多旋翼无人机，示例的，可以是四旋翼无人机、六旋翼无人机、八旋翼无人机；无人机101还可以是垂直起降无人机，该垂直起降无人机上具有旋翼动力系统和固定翼动力系统；无人机101还可以是固定翼无人机。地面站102可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合。
在本实施例中，地面站102具体可以是如图1所示的PC地面站。地面站102可以显示无人机101的目标拍摄区域对应的飞行航线，获取所述无人机101的当前位置及所述无人机101的拍摄装置所拍摄的图像。地面站102根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云，在所述无人机101按照所述飞行航线移动的过程中，对所述无人机101的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
本发明实施例，通过显示无人机的目标拍摄区域对应的飞行航线，获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像，根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云，在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，地面站可以实时显示三维重建的三维点云，从而使测绘人员能够实时查看三维点云，提高测绘效率。
在一个实施例中，本发明实施例中提供的三维点云的实时显示方法可以由无人机测绘系统中的地面站执行，具体可以由所述地面站上的三维点云的实时显示设备执行。在某些实施例中，所述三维点云的实时显示设备可以设置在终端设备(例如智能手机、平板电脑、膝上型电脑等)上。在某些实施例中，所述无人机上包括拍摄装置，所述拍摄装置用于对环境进行拍摄以得到图像。在某些实施例中，所述拍摄装置可以包括但不限于可见光相机或热成像相机等装置。在其他实施例中，所述三维点云的实时显示方法还可以应用于其他可移动设备上，如无人控制机器人(例如能够自主移动的机器人、无人车、无人船等)或者手持式设备(例如手持云台相机)。
下面结合附图对本发明实施例提供的三维点云的实时显示方法进行示意性说明。
具体请参见图2，图2是本发明实施例提供的一种三维点云的实时显示方法的流程示意图，所述方法可以由三维点云的实时显示设备执行，其中，三维点云的实时显示设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S201：显示无人机的目标拍摄区域对应的飞行航线。
本发明实施例中，三维点云的实时显示设备可以显示无人机的目标拍摄区域对应的飞行航线。
在一个实施例中，三维点云的实时显示设备在显示无人机的目标拍摄区域对应的飞行航线之前，可以显示二维地图，并根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域，从而生成与所述目标拍摄区域对应的所述飞行航线。
在一个实施例中，三维点云的实时显示设备在根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域时，可以获取用户在所述二维地图上的点选操作，并根据所述点选操作确定至少三个边界点，从而根据所述至少三个边界点，确定所述目标拍摄区域，所述目标拍摄区域是由所述至少三个边界点两两连接组成的。通过这种实施方式，可以实现用户自主确定目标拍摄区域，提高确定目标拍摄区域的灵活性。
具体可以图3a为例，图3a是本发明实施例提供的一种确定目标拍摄区域的示意图，如图3a所示，用户可以在二维地图30上进行点选操作，确定出4个边界点，且分别为边界点31、边界点32、边界点33、边界点34。三维点云的实时显示设备可以根据边界点31、边界点32、边界点33、边界点34这4个边界点两两连接组成闭合的目标拍摄区域35。
在一个实施例中，三维点云的实时显示设备在生成与所述目标拍摄区域对应的所述飞行航线时，可以获取用户输入的拍摄控制信息，所述拍摄控制信息包括相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个，并根据所述拍摄控制信息，生成与所述目标拍摄区域对应的所述飞行航线。通过这种实施方式，可以实现用户自主设置拍摄控制信息，从而确定飞行航线。
在某些实施例中，所述相对高度为所述无人机的起飞平面与所述目标拍摄区域所在平面的距离，所述任务高度为所述飞行航线所在平面与所述目标拍摄区域所在平面的距离，所述重叠率的起算平面为所述目标拍摄区域所在平面，所述重叠率包括航向重叠率和旁向重叠率，所述航向重叠率为所述主航线对应的图像重叠率，所述旁向重叠率为相邻主航线对应的图像重叠率，所述主航线的角度为所述主航线与参考方向的夹角，所述边距为所述飞行航线的起始点或结束点相对于所述目标拍摄区域的边界的距离。
可选的，主航线的角度为所述主航线与正北方向的夹角。
在一个实施例中，所述二维地图上包括设置区域，所述设置区域包括用于设置拍摄控制信息的控件，用户可以通过这些控件输入所述拍摄控制信息。在某些实施例中，所述控件包括相对高度控件、任务高度控件、航向重叠率控件、旁向重叠率控件、主航线角度控件和边距控件等任意一种或多种。
在一个实施例中，上述拍摄控制信息，即相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个，均设定有默认值，三维点云的实时显示设备可根据用户的操作调整该默认值。
具体可以图3b为例进行说明，图3b是本发明实施例提供的一种生成飞行航线的示意图，如图3b所示，所述二维地图上30包括设置区域36，用户在所述设置区域36通过旁向重叠率控件361输入旁向重叠率，通过航向重叠率控件362输入航向重叠率，通过主航线角度控件363输入主航线角度和通过边距控件364输入边距，通过相对高度控件365输入相对高度。用户还可以在基础设置的界面中通过任务高度控件输入任务高度(图未示)。如图3b所示为通过边距控件364将边距设置至最大为30m，将相对高度设置为-120m，将主航线角度设置为4°，将航线重叠率设置为80％，将旁向重叠率设置为70％。进一步地，可以根据所述旁向重叠率、航向重叠率、主航线角度、边距、任务高度、相对高度，生成与所述目标拍摄区域35对应的飞行航线37。
再例如，在图3b的基础上保持旁向重叠率、航向重叠率、相对高度、任务高度不变，将主航线角度设置为67°，将边距设置为0m时，根据所述旁向重叠率、航向重叠率、主航线角度、边距、任务高度、相对高度，生成如图3c所示的与所述目标拍摄区域35对应的飞行航线39，其中，图3c是本发明实施例提供的又一种生成飞行航线的示意图。
在某些实施例中，所述飞行航线所在的平面是根据所述相对高度和所述任务高度确定得到的，所述飞行航线中相邻主航线之间的距离是根据所述旁向重叠率确定得到的。
在一个实施例中，所述飞行航线的数量为多个，三维点云的实时显示设备还可以显示航线切换图标，并根据用户对所述航线切换图标的操作，切换显示所述不同的飞行航线。在某些实施例中，所述飞行航线包括第一类飞行航线和第二类飞行航线，所述无人机在按照所述第一类航线飞行时，所述拍摄装置的姿态为俯视向下；所述无人机在按照所述第二类航线飞行时，所述拍摄装置的姿态为朝向所述目标拍摄区域且具有一倾斜角度。在某些实施例中，所述第二类飞行航线与所述第一类飞行航线的相对位置是根据所述倾斜角度和任务高度确定得到的。
在一种实施方式中，所述飞行航线的数量为5个，5个飞行航线的方向不相同，其中，中间飞行航线为第一类飞行航线，对应的无人机拍摄装置的姿态为俯视向下，且无人机的机头方向与飞行航线的方向相同。其余4个方向的飞行航线为第二类飞行航线，对应的无人机拍摄装置的姿态为朝向目标拍摄区域且具有一倾斜角度，以及所述无人机的机头朝向目标拍摄区域。在一个实施例中，其余4个方向的飞行航线如图3d所示，图3d是本发明实施例提供的一种飞行航线的示意图。
可见，通过这种实施方式，可以使拍摄装置倾斜拍摄，如此可以拍摄到目标拍摄区域的侧面，这样拍摄目标拍摄区域侧面的点云不会出现空洞，使得三维点云更加完整。
具体可以图4a为例，图4a是本发明实施例提供的一种切换飞行航线的示意图。如图4a所示，界面上包括航线切换图标区域41，所述航线切换图标区域41上包括1、2、3、4、5共5个航线切换图标，用户对航线切换图标1进行点击操作，则显示与航线切换图标对应的飞行航线42，且该飞行航线42可以为第一类飞行航线，对应的无人机拍摄装置的姿态为俯视向下，其中，箭头即为无人机当前位置对应的显示图标，可以显示无人机当前飞行至飞行航线的哪个位置；H为无人机启动的位置，也即Home点的位置，可以显示无人机起飞点与当前位置的相对位置关系。具体的，Home点所在平面和飞行航线所在平面的距离可通过相对高度和任务高度得到。
又例如，假设在图4a的基础上，用户点击航线切换图标4，则输出如图4b所示的与航线切换图标4对应的飞行航线43，图4b是本发明实施例提供的另一种切换飞行航线的示意图，该飞行航线43可以为第二类飞行航线，对应的无人机拍摄装置的姿态为朝向目标拍摄区域且具有一倾斜角度，以及所述无人机的机头朝向目标拍摄区域。
可选的，在实时显示三维点云的过程中，无人机按照如图4a的航线42飞行，用户点击航线切换图标4以查看另一个飞行航线43时，并不会触发无人机按照飞行航线43飞行。
可选的，在实时显示三维点云的过程中，无人机按照如图4a的航线42飞行，用户点击航线切换图标4以查看另一个飞行航线43时，会触发无人机在飞行完当前飞行航线42之后按照飞行航线43飞行，也即用户可通过点击航线切换图标选择下一阶段的飞行航线。
可选的，在实时显示三维点云的过程中，无人机按照如图4a的航线42飞行，用户点击航线切换图标4以查看另一个飞行航线43时，会触发无人机立即按照飞行航线43飞行，也即用户可通过点击航线切换图标使得无人机飞行至另一个飞行航线43。
在一个实施例中，三维点云的实时显示设备还可以显示目标拍摄区域的三维地图，并在该三维地图中显示无人机的当前位置。如此，无人机飞行至飞行航线起始点的阶段，也即三维点云暂没有重建出来的阶段，用户可以参考该三维地图查看无人机的当前位置，以进一步提升无人机执行测绘任务的安全性。
在一个实施例中，上述三维地图可预先存储在实时显示设备中，具体可以是三维卫星地图。
在一个实施例中，三维点云的实时显示设备还可以显示所述多个飞行航线对应的覆盖区域和包含所述覆盖区域的卫星地图，所述覆盖区域大于所述目标拍摄区域。在一种实施方式中，所述覆盖区域是根据各条飞行航线覆盖的区域确定的。通过确定覆盖区域并通过卫星地图显示覆盖区域可以使用户更清楚地看见覆盖区域范围内的障碍物，从而使用户可以根据实际情况调整拍摄控制信息或目标拍摄区域的边界点，避免无人机在执行任务的时候撞到障碍物，提升安全性。
以图5为例进行说明，图5是本发明实施例提供的一种显示覆盖区域的卫星地图的示意图，如图5所示为根据航线切换图标区域41中的1、2、3、4、5这5个航线切换图标确定的5条飞行航线覆盖的区域确定的覆盖区域51，并通过卫星地图的方式显示该覆盖区域51。
S202：获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像。
本发明实施例中，三维点云的实时显示设备可以获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像。
S203：根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云。
本发明实施例中，三维点云的实时显示设备可以根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云。
在一个实施例中，三维点云的实时显示设备根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云时，可以根据所述图像，确定至少部分的所述目标拍摄区域对应的初始三维点云，并对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求，以及将所述更新后的三维点云存储在树形结构的节点中。
在一些实施例中，初始三维点云可以是通过三维重建而获得，例如，获取初始三维点云的方法包括：获取目标拍摄区域的至少部分区域生成的二维图片；利用三维重建算法对所述二维图片进行重建，以生成所述初始三维点云，其中，二维图片可以是包括多张二维图片的二维图片集。二维图片集可以是对目标区域或目标物体进行多角度拍摄得到的图片集。本发明实施例对拍摄二维图片集的拍摄装置不做限定，其可以为任意的拍摄装置，例如相机。该拍摄装置可以为无人机、车辆、飞机等不同平台中的拍摄装置，作为一个示例，该拍摄装置可以为无人机中的拍摄装置。
在一些实施例中，在对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云时，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求，通过采样减少需要显示的三维点云的数目，不需要一次性加载全部数据，从而可以提升渲染速度，使显示变得流畅。
在一个示例中，随着物体、模型远离或者靠近观察者可以显示不同层级的三维点云。当物体距离视点很近时，可以显示较为精细的层级，而当物体距离视点很远时，可以显示较为粗糙的层级，同时也并不会导致视觉质量的下降。进一步地，当物体处于可见范围之外的时候，将不再需要进行渲染。由此，不需要一次性加载全部数据，从而使显示变的流畅。
具体地，可以根据任意适合的方法对该初始三维点云进行采样，例如随机采样、泊松圆盘采样等。在本实施例中，主要以泊松圆盘采样为例对本发明实施例的方法进行说明。
在一个示例中，所述更新后的三维点云包括第一层级至第n层级，其中，每个层级具有不同精细程度的三维点云，例如，第一层级为最粗糙层级，而第n层级为最精细层级，该n的数值可以是任意大于或等于2的整数，具体的分级数量可以根据实际的需要进行合理的设定，在此对其进行具体限定。
在一个示例中，任一层级中两个三维点云点之间的距离大于或等于预设采样间隔，不同层级对应于不同的预设采样间隔，例如，从第一层至第n层级预设采样间隔的数值依次降低，更进一步，例如，第n层级的预设采样间隔为第n-1层级的预设采样间隔的二分之一。可选地，所述第n层级的预设采样间隔与地面采样距离(GSD，Ground sample distance)相等，其中，该地面采样距离表示一个像素代表的实际距离。通过依次降低预设采样间隔，使得从第一层级至第n层级的更新后的点云具有不同的精细程度。
在一个具体实施例中，更新后的三维点云分为三个层级，所述对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，具体包括：将所述初始三维点云中点云间隔大于或等于第一预设采样间隔的三维点云放到第一层级，例如，将包括4200个三维点云的初始三维点云中大于或等于第一预设采样间隔的200个三维点云放到第一层级；将所述第一层级以外的三维点云中点云间隔大于或等于第二预设采样间隔的三维点云放到第二层级，例如，将所述第一层级以外的三维点云中点云间隔大于或等于第二预设采样间隔的800个三维点云放到第二层级；将所述第一层级和所述第二层级以外的三维点云放到第三层级，例如剩余的3200个三维点云放到第三层级，以获得具有三个分层的所述更新后的三维点云，或者，将所述第一层级和所述第二层级以外的三维点云中点云间隔大于或等于第三预设采样间隔的三维点云放到第三层级，以获得具有三个分层的所述更新后的三维点云。其中，第一预设采样间隔大于所述第二预设采样间隔，第二预设采样间隔大于第三预设采样间隔，更具体地，还可以是第二预设采样间隔是第一预设采样间隔的二分之一，第三预设采样间隔是第二预设采样间隔的二分之一，第三预设采样间隔还可以与地面采样距离(GSD，Ground sample distance)相等。通过将最精细层的采样间隔设置成地面采样距离，可以使得显示最精细层的三维点云时可以准确还原目标区域信息。
在一个示例中，更新后的三维点云会存储到树形结构的节点中，为了提高每个节点的三维点云的加载速度，可以使树形结构的每个节点中存储的三维点云数量小于预设点云数量，例如小于7000个三维点云，这样加载每个节点的三维点云时则不会超过预设文件大小，例如不会超过1Mb，数值的大小可以根据计算机的运算能力进行设定。
在一个示例中，当本发明的方法用于测绘的场景时，高度方向变化范围一般比水平方向变化范围小的多，因此可以仅仅对水平方向(例如、东、北)进行采样。
在某些实施例中，所述树形结构可以是任意适合的树形结构中，例如二叉树、三叉树、四叉树、八叉树等，其中，在本实施例中，主要以四叉树为例进行解释和说明书。例如，对于每个更新后的三维点云用四叉树的结构来存储。例如，如图6所示的三层的四叉树结构，图6是本发明实施例提供的一种三层四叉树结构的示意图，该四叉树结构中每个父节点具有四个子节点。
经过上述采样之后，将所述更新后的点云存储在树形结构的节点中，在一个示例中，以三个层级的更新后的点云为例，将所述更新后的点云存储在树形结构的节点中具体包括：将所述第一层级的点云存储在所述树形结构的根节点中，其中，所述树形结构中的每个父节点具有m个子节点，所述m为大于或等于2的正整数。例如，四叉树的每个父节点具有4个子节点；将所述第二层级的点云划分至m个(例如4个)栅格中，将所述m个栅格中每个栅格的点云分别存储在所述根节点下的m个(例如4个)第一子节点中，其中，每个栅格对应一个子节点；将所述第三层级的点云划分至m×m个(例如16个)栅格中，将所述m×m个栅格中每个栅格的点云分别存储至所述m个第一子节点作为父节点下的m×m个第二子节点中，其中，每个栅格对应一个第二子节点。通过上述方法将点云以树形结构的形式存储。
在一些实施例中，所述三维点云为转换到世界坐标系下的三维点云，所述世界坐标系包括地心地固坐标系。在一个示例中，为了使三维点云信息和真实的地理信息贴合，本发明实施例的方法将所述更新后的三维点云的坐标系转换到世界坐标系，其中，所述世界坐标系包括地心地固坐标系。例如，将更新后的三维点云的局部坐标系(例如东北天)转换到地心地固坐标系(如WGS 84坐标系)。具体地，可以通过任意适合的方法实现该坐标系转换，例如，计算所述更新后的三维点云的局部坐标系(例如东北天)到地心地固坐标系(如WGS 84坐标系)的变换矩阵，在加载三维点云时会自动将三维点云进行转换。如图7中箭头所指的区域所示，图7是本发明实施例提供的一种点云和真实地理信息对齐后的示意图，通过将三维点云转换到世界坐标系中，可以使得实时显示的三维点云与真实的地理信息贴合到一起，使用户能够及时、直观地查看到模型重建的效果，从而可以立即判断出无法重建或者重建效果不好的区域，从而在测绘现场即可再次对目标区域进行拍摄，节省人力和时间成本。
S204：在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
本发明实施例中，三维点云的实时显示设备在所述无人机按照所述飞行航线移动的过程中，可以对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的图标位于所述飞行航线上。
在一个实施例中，三维点云的实时显示设备在对所述飞行航线、所述无人机的位置和所述三维点云进行同步显示时，可以对所述飞行航线、所述无人机的位置和所述树形结构中至少一个节点的三维点云进行同步显示。通过这种实施方式，可以使用户更清楚地看见无人机的飞行航线、无人机的当前位置和三维点云，显示效果更好，有助于无人机在进行作业时，提高作业效率。
具体可以图9a为例进行说明，图9a是本发明实施例提供的一种三维点云的显示示意图，三维点云的实时显示设备在所述无人机按照飞行航线91移动的过程中，可以对所述无人机的当前位置92和所述三维点云进行同步显示，显示效果如图9a所示。
图9b是本发明实施例提供的又一种三维点云的显示示意图，三维点云的实时显示设备在所述无人机按照飞行航线91移动的过程中，可以对所述无人机的当前位置92和所述三维点云进行同步显示。同时，还可以显示目标拍摄区域对应的二维地图93和航线切换图标94。用户可以通过二维地图93查看目标拍摄区域的障碍物情况，通过对航线切换图标94的操作切换显示不同的飞行航线。
本发明实施例，通过显示无人机的目标拍摄区域对应的飞行航线，获取无人机的当前位置及无人机的拍摄装置所拍摄的图像，并根据图像确定至少部分的目标拍摄区域对应的三维点云，从而在无人机按照飞行航线移动的过程中，对无人机的当前位置和三维点云进行同步显示，从而实现对三维点云的实时显示，使用户能够实时查看三维点云，提高作业效率。
请参见图8，图8是本发明实施例提供的一种三维点云的实时显示设备的结构示意图。具体的，所述三维点云的实时显示设备包括：存储器801、处理器802。
在一种实施例中，所述三维点云的实时显示设备还包括数据接口803，所述数据接口803，用于传递三维点云的实时显示设备和其他设备之间的数据信息。
所述存储器801可以包括易失性存储器(volatile memory)；存储器801也可以包括非易失性存储器(non-volatile memory)；存储器801还可以包括上述种类的存储器的组合。所述处理器802可以是中央处理器(central processing unit，CPU)。所述处理器802还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器801用于存储程序，所述处理器802可以调用存储801中存储的程序，用于执行如下步骤：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
进一步地，所述处理器802显示无人机的目标拍摄区域对应的飞行航线之前，还用于：
显示二维地图；
根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域；
生成与所述目标拍摄区域对应的所述飞行航线。
进一步地，所述处理器802根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域时，具体用于：
获取用户在所述二维地图上的点选操作；
根据所述点选操作确定至少三个边界点；
根据所述至少三个边界点，确定所述目标拍摄区域，所述目标拍摄区域是由所述至少三个边界点两两连接组成的。
进一步地，所述处理器802生成与所述目标拍摄区域对应的所述飞行航线时，具体用于：
获取用户输入的拍摄控制信息，所述拍摄控制信息包括相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个；
根据所述拍摄控制信息，生成与所述目标拍摄区域对应的所述飞行航线；
其中，所述相对高度为所述无人机的起飞平面与所述目标拍摄区域所在平面的距离，所述任务高度为所述飞行航线所在平面与所述目标拍摄区域所在平面的距离，所述重叠率的起算平面为所述目标拍摄区域所在平面，所述重叠率包括航向重叠率和旁向重叠率，所述航向重叠率为所述主航线对应的图像重叠率，所述旁向重叠率为相邻主航线对应的图像重叠率，所述主航线的角度为所述主航线与参考方向的夹角，所述边距为所述飞行航线的起始点或结束点相对于所述目标拍摄区域的边界的距离。
进一步地，所述飞行航线所在的平面是根据所述相对高度和所述任务高度确定得到的，所述飞行航线中相邻主航线之间的距离是根据所述旁向重叠率确定得到的。
进一步地，飞行航线的数量为多个，所述处理器802还用于：
显示航线切换图标；
根据用户对所述航线切换图标的操作，切换显示所述不同的飞行航线。
进一步地，所述飞行航线包括第一类飞行航线和第二类飞行航线，所述无人机在按照所述第一类航线飞行时，所述拍摄装置的姿态为俯视向下；所述无人机在按照所述第二类航线飞行时，所述拍摄装置的姿态为朝向所述目标拍摄区域且具有一倾斜角度。
进一步地，所述第二类飞行航线与所述第一类飞行航线的相对位置是根据所述倾斜角度和任务高度确定得到的。
进一步地，所述处理器802还用于：
显示所述多个飞行航线对应的覆盖区域和包含所述覆盖区域的卫星地图，所述覆盖区域大于所述目标拍摄区域。
进一步地，所述处理器802根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云时，具体用于：
根据所述图像，确定至少部分的所述目标拍摄区域对应的初始三维点云；
对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求；
将所述更新后的三维点云存储在树形结构的节点中。
进一步地，所述处理器802对所述飞行航线、所述无人机的位置和所述三维点云进行同步显示时，具体用于：
对所述飞行航线、所述无人机的位置和所述树形结构中至少一个节点的三维点云进行同步显示。
进一步地，所述三维点云为转换到世界坐标系下的三维点云，所述世界坐标系包括地心地固坐标系。
本发明实施例中，通过显示无人机的目标拍摄区域对应的飞行航线，获取无人机的当前位置及无人机的拍摄装置所拍摄的图像，并根据图像确定至少部分的目标拍摄区域对应的三维点云，从而在无人机按照飞行航线移动的过程中，对无人机的当前位置和三维点云进行同步显示，从而实现对三维点云的实时显示，使用户能够实时查看三维点云，提高作业效率。
本发明实施例还提供了一种三维点云的实时显示系统，包括：无人机，所述无人机安装有拍摄装置，用于对环境进行拍摄得到图像；以及上述三维点云的实时显示设备。本发明实施例中，无人机通过显示无人机的目标拍摄区域对应的飞行航线，获取无人机的当前位置及无人机的拍摄装置所拍摄的图像，并根据图像确定至少部分的目标拍摄区域对应的三维点云，从而在无人机按照飞行航线移动的过程中，对无人机的当前位置和三维点云进行同步显示，从而实现对三维点云的实时显示，使用户能够实时查看三维点云，提高作业效率。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图2所对应实施例中描述的方法，也可实现图8所述本发明所对应实施例的设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (26)

1.一种三维点云的实时显示方法，其特征在于，包括：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
2.根据权利要求1所述的方法，其特征在于，所述显示无人机的目标拍摄区域对应的飞行航线之前，还包括：
显示二维地图；
根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域；
生成与所述目标拍摄区域对应的所述飞行航线。
3.根据权利要求2所述的方法，其特征在于，所述根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域，包括：
获取用户在所述二维地图上的点选操作；
根据所述点选操作确定至少三个边界点；
根据所述至少三个边界点，确定所述目标拍摄区域，所述目标拍摄区域是由所述至少三个边界点两两连接组成的。
4.根据权利要求2所述的方法，其特征在于，所述生成与所述目标拍摄区域对应的所述飞行航线，包括：
获取用户输入的拍摄控制信息，所述拍摄控制信息包括相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个；
根据所述拍摄控制信息，生成与所述目标拍摄区域对应的所述飞行航线；
其中，所述相对高度为所述无人机的起飞平面与所述目标拍摄区域所在平面的距离，所述任务高度为所述飞行航线所在平面与所述目标拍摄区域所在平面的距离，所述重叠率的起算平面为所述目标拍摄区域所在平面，所述重叠率包括航向重叠率和旁向重叠率，所述航向重叠率为所述主航线对应的图像重叠率，所述旁向重叠率为相邻主航线对应的图像重叠率，所述主航线的角度为所述主航线与参考方向的夹角，所述边距为所述飞行航线的起始点或结束点相对于所述目标拍摄区域的边界的距离。
5.根据权利要求4所述的方法，其特征在于，
所述飞行航线所在的平面是根据所述相对高度和所述任务高度确定得到的，所述飞行航线中相邻主航线之间的距离是根据所述旁向重叠率确定得到的。
6.根据权利要求1所述的方法，其特征在于，所述飞行航线的数量为多个，所述方法还包括：
显示航线切换图标；
根据用户对所述航线切换图标的操作，切换显示所述不同的飞行航线。
7.根据权利要求6所述的方法，其特征在于，
所述飞行航线包括第一类飞行航线和第二类飞行航线，所述无人机在按照所述第一类航线飞行时，所述拍摄装置的姿态为俯视向下；所述无人机在按照所述第二类航线飞行时，所述拍摄装置的姿态为朝向所述目标拍摄区域且具有一倾斜角度。
8.根据权利要求7所述的方法，其特征在于，所述第二类飞行航线与所述第一类飞行航线的相对位置是根据所述倾斜角度和任务高度确定得到的。
9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
显示所述多个飞行航线对应的覆盖区域和包含所述覆盖区域的卫星地图，所述覆盖区域大于所述目标拍摄区域。
10.根据权利要求1所述的方法，其特征在于，所述根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云，包括：
根据所述图像，确定至少部分的所述目标拍摄区域对应的初始三维点云；
对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求；
将所述更新后的三维点云存储在树形结构的节点中。
11.根据权利要求10所述的方法，其特征在于，所述对所述飞行航线、所述无人机的位置和所述三维点云进行同步显示，包括：
对所述飞行航线、所述无人机的位置和所述树形结构中至少一个节点的三维点云进行同步显示。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述三维点云为转换到世界坐标系下的三维点云，所述世界坐标系包括地心地固坐标系。
13.一种三维点云的实时显示设备，其特征在于，包括：存储器和处理器，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于：
显示无人机的目标拍摄区域对应的飞行航线；
获取所述无人机的当前位置及所述无人机的拍摄装置所拍摄的图像；
根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云；
在所述无人机按照所述飞行航线移动的过程中，对所述无人机的当前位置和所述三维点云进行同步显示，所述当前位置对应的显示图标位于所述飞行航线上。
14.根据权利要求13所述的设备，其特征在于，所述处理器显示无人机的目标拍摄区域对应的飞行航线之前，还用于：
显示二维地图；
根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域；
生成与所述目标拍摄区域对应的所述飞行航线。
15.根据权利要求14所述的设备，其特征在于，所述处理器根据用户在所述二维地图上的点选操作，确定所述目标拍摄区域时，具体用于：
获取用户在所述二维地图上的点选操作；
根据所述点选操作确定至少三个边界点；
根据所述至少三个边界点，确定所述目标拍摄区域，所述目标拍摄区域是由所述至少三个边界点两两连接组成的。
16.根据权利要求14所述的设备，其特征在于，所述处理器生成与所述目标拍摄区域对应的所述飞行航线时，具体用于：
获取用户输入的拍摄控制信息，所述拍摄控制信息包括相对高度、任务高度、重叠率、主航线角度和边距中的一个或多个；
根据所述拍摄控制信息，生成与所述目标拍摄区域对应的所述飞行航线；
其中，所述相对高度为所述无人机的起飞平面与所述目标拍摄区域所在平面的距离，所述任务高度为所述飞行航线所在平面与所述目标拍摄区域所在平面的距离，所述重叠率的起算平面为所述目标拍摄区域所在平面，所述重叠率包括航向重叠率和旁向重叠率，所述航向重叠率为所述主航线对应的图像重叠率，所述旁向重叠率为相邻主航线对应的图像重叠率，所述主航线的角度为所述主航线与参考方向的夹角，所述边距为所述飞行航线的起始点或结束点相对于所述目标拍摄区域的边界的距离。
17.根据权利要求16所述的设备，其特征在于，
所述飞行航线所在的平面是根据所述相对高度和所述任务高度确定得到的，所述飞行航线中相邻主航线之间的距离是根据所述旁向重叠率确定得到的。
18.根据权利要求13所述的设备，其特征在于，所述飞行航线的数量为多个，所述处理器还用于：
显示航线切换图标；
根据用户对所述航线切换图标的操作，切换显示所述不同的飞行航线。
19.根据权利要求18所述的设备，其特征在于，
所述飞行航线包括第一类飞行航线和第二类飞行航线，所述无人机在按照所述第一类航线飞行时，所述拍摄装置的姿态为俯视向下；所述无人机在按照所述第二类航线飞行时，所述拍摄装置的姿态为朝向所述目标拍摄区域且具有一倾斜角度。
20.根据权利要求19所述的设备，其特征在于，所述第二类飞行航线与所述第一类飞行航线的相对位置是根据所述倾斜角度和任务高度确定得到的。
21.根据权利要求18所述的设备，其特征在于，所述处理器还用于：
显示所述多个飞行航线对应的覆盖区域和包含所述覆盖区域的卫星地图，所述覆盖区域大于所述目标拍摄区域。
22.根据权利要求13所述的设备，其特征在于，所述处理器根据所述图像，确定至少部分的所述目标拍摄区域对应的三维点云时，具体用于：
根据所述图像，确定至少部分的所述目标拍摄区域对应的初始三维点云；
对所述初始三维点云进行采样，以获得具有不同层级的更新后的三维点云，所述更新后的三维点云中不同层级的三维点云满足不同的采样间隔要求；
将所述更新后的三维点云存储在树形结构的节点中。
23.根据权利要求22所述的设备，其特征在于，所述处理器对所述飞行航线、所述无人机的位置和所述三维点云进行同步显示时，具体用于：
对所述飞行航线、所述无人机的位置和所述树形结构中至少一个节点的三维点云进行同步显示。
24.根据权利要求13-23任一项所述的设备，其特征在于，所述三维点云为转换到世界坐标系下的三维点云，所述世界坐标系包括地心地固坐标系。
25.一种三维点云的实时显示系统，其特征在于，包括：
无人机，所述无人机安装有拍摄装置，用于对环境进行拍摄得到图像；
以及上述13-24任一项所述的三维点云的实时显示设备。
26.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述方法的步骤。
CN201980030355.6A 2019-09-12 2019-09-12 一种三维点云的实时显示方法、设备、系统及存储介质 Pending CN112136322A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/105733 WO2021046810A1 (zh) 2019-09-12 2019-09-12 一种三维点云的实时显示方法、设备、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112136322A true CN112136322A (zh) 2020-12-25

Family

ID=73850060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030355.6A Pending CN112136322A (zh) 2019-09-12 2019-09-12 一种三维点云的实时显示方法、设备、系统及存储介质

Country Status (3)

Country Link
US (1) US20220170746A1 (zh)
CN (1) CN112136322A (zh)
WO (1) WO2021046810A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115440091A (zh) * 2022-11-03 2022-12-06 成都沃飞天驭科技有限公司 航路切换视景显示方法、装置、飞行器及存储介质
CN117288207A (zh) * 2023-11-24 2023-12-26 天津云圣智能科技有限责任公司 三维建模的航线规划方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897895B (zh) * 2022-07-12 2022-11-15 深圳市信润富联数字科技有限公司 点云调平方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931944A (zh) * 2017-03-21 2017-07-07 苏州光之翼智能科技有限公司 一种无人机实时三维地理测绘系统
CN107341851A (zh) * 2017-06-26 2017-11-10 深圳珠科创新技术有限公司 基于无人机航拍影像数据的实时三维建模方法及系统
CN108646770A (zh) * 2018-03-28 2018-10-12 深圳臻迪信息技术有限公司 一种无人机飞行控制方法、装置及系统
CN108701373A (zh) * 2017-11-07 2018-10-23 深圳市大疆创新科技有限公司 基于无人机航拍的三维重建方法、系统及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953540B2 (en) * 2015-06-16 2018-04-24 Here Global B.V. Air space maps
US9508263B1 (en) * 2015-10-20 2016-11-29 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
US10120377B2 (en) * 2016-08-13 2018-11-06 International Business Machines Corporation Multiple unmanned aerial vehicle autonomous coordination
WO2018102188A1 (en) * 2016-11-30 2018-06-07 Blackmore Sensors and Analytics Inc. Method and system for automatic real-time adaptive scanning with optical ranging systems
US11017679B2 (en) * 2017-01-13 2021-05-25 Skydio, Inc. Unmanned aerial vehicle visual point cloud navigation
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
CN108804675B (zh) * 2018-06-11 2021-06-22 成都山河空间信息技术有限公司 基于多源空间数据的无人机移动空间信息管理系统和方法
US11062614B2 (en) * 2018-09-12 2021-07-13 Alliance Solutions Group, Inc. Systems and methods for collecting and analyzing hazardous materials information using an unmanned aerial vehicle
WO2020198167A1 (en) * 2019-03-22 2020-10-01 Solfice Research, Inc. Map data co-registration and localization system and method
CN109961497A (zh) * 2019-03-22 2019-07-02 刘文龙 基于无人机影像的实时三维重建方法
US11106937B2 (en) * 2019-06-07 2021-08-31 Leica Geosystems Ag Method for creating point cloud representations
US11403957B2 (en) * 2019-07-12 2022-08-02 Here Global B.V. Method and apparatus for routing an aerial vehicle based on a relative noise impact
US11347234B2 (en) * 2019-10-30 2022-05-31 Deere & Company Path selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931944A (zh) * 2017-03-21 2017-07-07 苏州光之翼智能科技有限公司 一种无人机实时三维地理测绘系统
CN107341851A (zh) * 2017-06-26 2017-11-10 深圳珠科创新技术有限公司 基于无人机航拍影像数据的实时三维建模方法及系统
CN108701373A (zh) * 2017-11-07 2018-10-23 深圳市大疆创新科技有限公司 基于无人机航拍的三维重建方法、系统及装置
CN108646770A (zh) * 2018-03-28 2018-10-12 深圳臻迪信息技术有限公司 一种无人机飞行控制方法、装置及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115440091A (zh) * 2022-11-03 2022-12-06 成都沃飞天驭科技有限公司 航路切换视景显示方法、装置、飞行器及存储介质
CN115440091B (zh) * 2022-11-03 2023-07-04 成都沃飞天驭科技有限公司 航路切换视景显示方法、装置、飞行器及存储介质
CN117288207A (zh) * 2023-11-24 2023-12-26 天津云圣智能科技有限责任公司 三维建模的航线规划方法、装置、电子设备及存储介质
CN117288207B (zh) * 2023-11-24 2024-02-20 天津云圣智能科技有限责任公司 三维建模的航线规划方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20220170746A1 (en) 2022-06-02
WO2021046810A1 (zh) 2021-03-18

Similar Documents

Publication Publication Date Title
US11698449B2 (en) User interface for displaying point clouds generated by a LiDAR device on a UAV
US11483518B2 (en) Real-time moving platform management system
CN112470092B (zh) 一种测绘系统、测绘方法、装置、设备及介质
CN108702444B (zh) 一种图像处理方法、无人机及系统
RU2741443C1 (ru) Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
US20220170746A1 (en) Real-time display method, device, system and storage medium of three-dimensional point cloud
CN111226185A (zh) 飞行航线的生成方法、控制装置及无人机系统
EP2910899B1 (en) A method and a system for building a three-dimensional model from satellite images
CN107504957A (zh) 利用无人机多视角摄像快速进行三维地形模型构建的方法
US11689808B2 (en) Image synthesis system
US11769295B2 (en) System and method of highly-scalable mapping and 3D terrain modeling with aerial images
WO2020103023A1 (zh) 一种测绘系统、测绘方法、装置、设备及介质
WO2023064041A1 (en) Automated aerial data capture for 3d modeling of unknown objects in unknown environments
KR20210102889A (ko) 측량 및 매핑 표본점의 계획 방법, 장치, 제어 단말기 및 저장 매체
KR20210104033A (ko) 측량 및 매핑 표본점의 계획 방법, 장치, 제어 단말기 및 저장 매체
Bailey Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation
Spicer et al. Producing usable simulation terrain data from UAS-collected imagery
EP3967599A1 (en) Information processing device, information processing method, program, and information processing system
CN112106112A (zh) 一种点云融合方法、设备、系统及存储介质
CN110940318A (zh) 航空遥感实时成像方法、电子设备以及存储介质
KR20210106422A (ko) 작업 제어 시스템, 작업 제어 방법, 장치 및 기기
CN103310433A (zh) 一种利用影像拓扑骨架的无人机影像快速匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201225

WD01 Invention patent application deemed withdrawn after publication