CN112884894A - 场景重建数据采集方法、装置、计算机设备和存储介质 - Google Patents

场景重建数据采集方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112884894A
CN112884894A CN202110462826.XA CN202110462826A CN112884894A CN 112884894 A CN112884894 A CN 112884894A CN 202110462826 A CN202110462826 A CN 202110462826A CN 112884894 A CN112884894 A CN 112884894A
Authority
CN
China
Prior art keywords
reconstruction
reconstructed
path
preset
exploration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110462826.XA
Other languages
English (en)
Other versions
CN112884894B (zh
Inventor
黄惠
刘奕林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110462826.XA priority Critical patent/CN112884894B/zh
Publication of CN112884894A publication Critical patent/CN112884894A/zh
Application granted granted Critical
Publication of CN112884894B publication Critical patent/CN112884894B/zh
Priority to US17/481,672 priority patent/US11640696B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种场景重建数据采集方法、装置、计算机设备和存储介质。所述方法包括：捕获场景图像；对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。本方法无需场景先验几何信息的输入，极大程度上缩短了重建周期，且能够缩短数据采集时长，进而有效提高重建数据采集效率。

Description

场景重建数据采集方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种场景重建数据采集方法、装置、计算机设备和存储介质。
背景技术
随着无人机技术的快速发展，如何使用无人机去自主快速重建大尺度的城市场景成为了一个研究的焦点。
为了达到很好的重建效果，无人机需要设计出最佳的数据采集路径，从不同视角充分观察建筑物，采集充足的重建数据，实现场景的全覆盖。然而，目前的重建数据采集方法，大多依赖无人机一次额外的飞行与重建，以到场景的几何先验信息，这极大程度上增加了重建周期和难度，而不需要场景的几何先验信息的方法如DJI-Terra又无法很好的适应不同的场景。更重要的是，所有算法都是离线计算路径，当预计算的场景信息不准确时，规划出来的路径质量也会相应降低，使得采集时间较长，甚至存在与场景碰撞的安全问题。
由此可见，现有的场景重建数据采集方法存在数据采集效率不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据采集效率的场景重建数据采集方法、装置、计算机设备和存储介质。
一种场景重建数据采集方法，所述方法包括：
捕获场景图像；
对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；
基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；
根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；
当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。
在一个实施例中，对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据包括：
对场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据；并
将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据。
在一个实施例中，将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据包括：
提取场景图像中的特征点；
根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；
分析特征点的深度信息，将二维表示数据投影至预设三维坐标系，得到初始三维表示数据；
根据图像特征匹配对，更新初始三维表示数据，得到待重建物体的三维表示数据。
在一个实施例中，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域包括：
将待重建区域分解为多个不重叠的子区域；
从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索。
在一个实施例中，从预设的起飞起点开始，按照预设的全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索包括：
当于待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集新的待重建物的重建数据；
返回按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索的步骤。
在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据包括：
当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径；
根据重建路径，采集重建目标的重建数据。
在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据包括：
当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成单个环绕重建目标的重建路径，根据重建路径，采集重建目标的重建数据；
或，当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成环绕重建目标的曲线路径，基于曲线路径，执行预定义的变形操作，得到相应的重建路径，根据重建路径，采集重建目标的重建数据。
在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据之后，还包括：
基于待重建物体的三维表示数据和预设距离阈值，确定与重建目标的距离最近的待重建物体为下一个重建目标；
返回至根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域的步骤，直至完成所有待重建物体的重建数据的采集。
一种场景重建数据采集装置，所述装置包括：
图像获取模块，用于捕获场景图像；
环境感知模块，用于对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；
目标确定模块，用于基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；
区域探索模块，用于根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域，探索路径用于实现待重建区域的全覆盖探索；
数据采集模块，用于当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
捕获场景图像；
对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；
基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；
根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；
当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
捕获场景图像；
对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据；
基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标；
根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域；
当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。
上述场景重建数据采集方法、装置、计算机设备和存储介质，通过对场景图像进行实时环境感知，检测出场景的待重建物体并重建相应的三维表示数据，便无需场景先验几何信息的输入，极大程度上缩短了重建周期；基于待重建物体的三维表示数据和预设距离阈值，确定重建目标，再结合探索路径规划算法和重建路径规划算法，在得到安全高效的重建数据采集轨迹的同时，实现待重建区域的全覆盖探索，缩短数据采集时长。综上所述，本申请提供的方法能够有效提高重建数据采集的效率。
附图说明
图1为一个实施例中场景重建数据采集方法的流程示意图；
图2为另一个实施例中场景重建数据采集方法的流程示意图；
图3为一个实施例中得到三维表示数据步骤的流程示意图；
图4为一个实施例中根据探索路径规划算法探索并覆盖待重建区域的原理示意图；
图5为一个实施例中对重建路径进行变形操作的效果示意图；
图6(a)为一个实施例中本申请与现有方法在场景M上的场景重建结果对比的效果示意图；
图6(b)为一个实施例中本申请与现有方法在场景N上的场景重建结果对比的效果示意图；
图7为一个实施例中两个不同的城市场景中的路径规划结果示意图；
图8为一个实施例中场景重建数据采集装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种场景重建数据采集方法，本实施例以该方法应用于终端为例进行说明。终端以无人机为例，本方法的目的是使无人机飞到特定的视角对着待重建物体拍摄二维图片，以覆盖整个场景，实现场景的完整重建。可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤202，捕获场景图像。
具体实施时，无人机挂载有单目摄像头，且安装有传感器和处理器。其中，场景图像为二维图像，可以是无人机在飞行过程中拍摄得到的飞行环境的场景图像。下面，将以无人机在大尺度城市场景中采集建筑物的重建数据，以支持城市场景重建为例进行说明。
步骤204，对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据。
其中，环境感知依赖于无人机的飞行感知技术进行主要包括测量飞机运动状态相关的物理量，涉及的模块包括陀螺仪、加速度计、磁罗盘、气压计、GNSS模块以及光流模块等。三维表示数据可以是三维边界框、三维点云数据以及三维网络等，本实施例中，三维表示数据可以是三维边界框。具体实施时，实时环境感知包括目标检测、实时定位与重建、以及实时重建三维边界框这三个部分。具体的，待重建物体以建筑物为例，可以是当无人机捕获场景图像后，基于该场景图像，对该场景图像进行物体检测，定位出该场景图像中的待重建建筑物。同时，对该场景图像进行实时定位与重建，以得到无人机位姿、图像特征匹配对以及待重建建筑物的三维边界框，进而实时重建出待重建建筑物的三维边界框。
步骤206，基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标。
基于对场景的初步观察和重建出的三维边界框，再结合预设距离阈值，将选择某个建筑物作为最佳视点即重建目标。实际应用中，基于观察到的可重建性与可重建度的低相关性和计算的高成本，故可选择不优化可重建性度量。相反，使用从粗到精的策略直接解决了轨迹设计问题。也就是说，目标不是在整个待重建区域中找到最佳视点，而是在每个探索步骤中选择一个最佳视点。具体的，考虑到基于最短距离原则选择出的最佳视点可能并非是合理的，故本实施例中，可以是基于最短距离原则和预设距离阈值，在待重建物体中选择最佳视点即重建目标）。
步骤208，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域。
本申请中，将无人机路径规划问题概括成为一个优化问题。即给定一个三维场景目标S，目标是找到一个飞行轨迹V，该轨迹最大程度地提高了三维模型M(S,V)的质量。该模型是使用沿路线V捕获的图像重建的，同时将沿着V行驶所需的飞行时间T(V)最小化。即：
Figure DEST_PATH_IMAGE001
其中
Figure 931469DEST_PATH_IMAGE002
表示重建质量评估函数。预设探索路径规划算法可基于区域分解算法设计，其目的是为使飞行时间最短，节约电池，按照探索路径尽可能的原则，将整个重建区域分解为多个区域，即确定场景的一部分作为下一个探索的重建区域，以在无人机到达重建目标之前，充分探索该重建区域实现全覆盖，以便可以重建地形以及检测需要额外重建的所有建筑物。选择重建目标后，将相应生成两条飞行路径。第一条路径称为探索路径，用于检查当前无人机位置与重建目标之间的空间，以确保无人机安全到达重建目标并充分探索其之间的区域。第二条路径称为重建路径，从不同角度观察并完全覆盖重建目标，以便可以高精度和完整地重建该重建目标。整个飞行路线在探索路径和重建路经之间交替，直到场景被完全覆盖并且观察了所有建筑物。本实施例中，当确定重建目标后，便启动探索模式，按照预设探索路径规划算法，探索并完全覆盖重建目标所在的待重建区域。
步骤210，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。
预设重建路径规划算法是一种基于规则的快速轨迹优化方法，其主要目的是快速模拟出具有高可重建度的重建轨迹，实现重建目标的全覆盖，并保证采集的照片达到较高的重建效果。具体实施时，当无人机到达重建目标时，则切换至重建模式，根据该重建路径规划算法，采集重建目标的重建数据，即围绕该重建建筑物进行拍照。然后，再根据预设距离阈值，在待重建物体中选择里当前的重建目标的距离最近的待重建物体作为下一个重建目标，返回至步骤206，重复上述探索和重建步骤，直到重建完所有待重建的建筑物并且所有的待重建区域都被覆盖。
上述场景重建数据采集方法，通过对场景图像进行实时环境感知，检测出场景的待重建物体并重建相应的三维表示数据，便无需场景先验几何信息的输入，极大程度上缩短了重建周期；基于待重建物体的三维表示数据和预设距离阈值，确定重建目标，再结合探索路径规划算法和重建路径规划算法，在得到安全高效的重建数据采集轨迹的同时，并实现待重建区域的全覆盖探索，缩短数据采集时长。综上所述，本申请提供的方法能够有效提高重建数据采集的效率
在一个实施例中，如图2所示，对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据包括：步骤224，对场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据、并将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据。
本实施例中，二维表示数据指二维边界框（即二维矩形区域）。可以理解的是，在其他实施例中，二维表示数据还可以是二维网络等。在实际试验中，开发了新的数据集，其中包含虚拟或现实场景以及相应的建筑物位置信息。YOLOv3因其具有快速的处理速度和良好的检测精度，故将其作为目标检测模块。具体实施时，将YOLOv3应用于所有捕获的场景图像，实时为检测到的待重建建筑物生成一组矩形的二维边界框。然后，将生成的二维边界框映射到预设三维坐标系，得到待重建物体的三维表示数据。尽管这些三维边界框未提供几何细节，但实时提取它们已经提供足够的信息以设计安全有效的飞行路线。本实施例中，将三维边界框作为场景中建筑物的粗略三维表示，使得其可以被实时计算并迭代更新。其中编码的几何信息也足以用于创建结构良好的重建飞行轨迹，从而重建出良好质量的三维模型。
在一个实施例中，如图3所示，将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据包括：
步骤234，提取场景图像中的特征点；
步骤244，根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；
步骤254，分析特征点的深度信息，将二维表示数据投影至预设三维坐标系，得到初始三维表示数据；
步骤264，根据图像特征匹配对，更新初始三维表示数据，得到待重建物体的三维表示数据。
具体的，要将检测到的二维边界框映射到三维坐标系，首先运行SLAM（simultaneous localization and mapping，同步定位与建图）算法，以提取场景图像中不同特征点的三维位置。然后根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对。再通过分析提取的特征点的深度范围，将针对每个建筑物检测到的二维矩形区域投影到预设三维坐标系上，以形成与世界坐标轴对齐的三维边界框。由于SLAM生成的三维点云非常稀疏，因此生成的三维边界框可能不准确，也可能无法完全包围建筑物，尤其是在无人机尚未观察到的建筑物侧面时。为了解决这个问题，故在整个飞行过程中将跟踪建筑物，并不断根据当前帧和前一帧的图像特征匹配对，逐步更新其三维边界框在世界坐标中的位置和大小。使得无人机从更多角度观察建筑物时，其边界框也越来越准确。
如图2所示，在一个实施例中，根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域，直至完成待重建区域的全覆盖探索包括：步骤228，将待重建区域分解为多个不重叠的子区域，从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索。
在未知环境中飞行时，无人机必须探索整个区域并确定所有需要重建的建筑物。为了确保不遗漏任何区域，本实施例使用二维网格细分了重建区域。网格单元的大小取决于无人机摄像机的可视范围。最初，所有单元格都标记为未访问。探索的总体目标是观察所有单元格，以便可以重建地形以及检测需要额外重建的所有建筑物。为了遵循飞行时间最短，用于探索的路径应尽可能短的原则，本实施例，基于区域分解设计了探索路径规划算法。具体的，将待重建区域分解为不重叠多边形，得到多个不重叠的子区域。每次无人机需要前往以X为中心的建筑物B i 进行重建时，都会使用整个场景和位置X的预定义起点O生成和坐标轴对齐的矩形。从该矩形中减去所有已经覆盖的区域，将构成重建建筑物B i 之前要探索的子区域。因此，该问题成为具有特定开始和结束位置的完全覆盖路径规划问题，可使用基于路径转换的完全覆盖路径规划算法来解决此问题。实际应用中，可如图4所示，将起点O设置为待重建区域的一角，即最接近无人机起飞地点的位置。因此，要被覆盖的子区域通常是L形的。从预设起点O开始，按照全覆盖路径规划算法，探索各子区域，若某个子区域中不存在任何已知建筑物如B i ，则该区域将以默认大小持续增长。本实施例中，采用上述策略可确保每次完成对给定的待重建区域的探索时，都会访问该区域内的所有单元格，因此消除了飞回该地区的需要，缩短了探索周期并节约电池。
在一个实施例中，从预设的起飞起点开始，按照预设的全覆盖路径规划算法，探索各子区域包括：当于待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集新的待重建物的重建数据，返回按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域全覆盖的步骤。
在实际应用中，在探索步骤中，可能会发现新的待重建物。如何处理新的待重建物，取决于其所处的位置。以建筑物为例，对于正在探索区域内的新的建筑物，当无人机到达该建筑物所在位置的单元格时，则中断探索，对该建筑物进行重建数据采集，然后恢复探索，继续探索各子区域的步骤。对于在该区域之外检测到的建筑物，只需将其添加到所有其他已检测到的建筑物中。采用上述方式，可以在到达重建目标时，充分观察其所在的待重建区域内部的所有建筑物，确定所有需要重建的建筑物。
如图2所示，在一个实施例中，当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据包括：步骤230，当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径，根据重建路径，采集重建目标的重建数据。
由于现有方法定义的可重建度计算的成本非常昂贵，并且其与重建质量不紧密相关。因此，本实施例使用一组简单的规则来设计用于实时重建的重建路径规划算法。预设重建路径参数包括相机倾斜角度、距离和相机航向等。对于每个建筑物，根据上文中提取的三维边界框和重建路径参数生成一个环绕B i 的曲线轨迹，曲线轨迹可以是螺旋状。具体的，重建路径的设计首先初始化到建筑物B i 周围的环绕轨迹，并且到建筑物表面的距离固定（默认为35m）。默认情况下，相机的倾斜角度固定为30度，相机的航向设置为面向环的中心。本实施例中，根据重建路径参数和三维边界框生成重建路径，可保证视点在螺旋上均匀采样确保总轨迹的平滑性和效率。
在一个实施例中，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径包括：当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成单个环绕重建目标的重建路径，根据重建路径，采集重建目标的重建数据；
或，当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成环绕重建目标的曲线路径，基于曲线路径，执行预定义的变形操作，得到相应的重建路径，根据重建路径，采集重建目标的重建数据。
由于最初的螺旋线无法适应建筑物B i 的多种多样的形状，例如，单个环形轨迹可能不适用于高层或大型建筑物，并且还可能与B i 的相邻建筑物相撞，因此可通过预定义变形操作进一步使轨迹变形。具体的，变形操作可包括纵向多环、横向多环、升高、扩大、飞越以及飞跃环绕等操作，具体其变形效果可参见图5。每个建筑物B i 的重建路径的基础是围绕B i 的螺旋状轨迹生成。本实施例提供了环形轨迹的两个变体。此处，重建路径参数还需预设横向重叠度和纵向重叠度，确保环之间视场重叠达到50%及以上。
若B i 足够高且相机的垂直视场不足以覆盖其侧面，则使用附加的环状轨迹以确保完全覆盖，并确保环之间50％的视场重叠。进一步的，还可将多个环合并为螺旋状的纵向多环，并不断降低高度以获得平滑的飞行路径。类似地，如果B i 的覆盖区域太大，由于视图之间缺乏强烈的对应关系，使用来自单个环轨迹的视点重建B i 可能会导致模型变形。因此，可将B i 分割成多个部分，并为每个部分生成一个环。由此产生的轨迹称为横向多环，有助于确保对B i 的两侧和顶部进行更好的重建。
由于可以实时检测建筑物的边界框，因此无人机会从不同角度观察B i ，B i 的估计边界框可能会更高或更大，故可以通过将环轨迹升高到更高的高度或扩大以覆盖扩大的边界框来适应这种变化。
通过以上操作获得的轨迹可确保目标建筑物B i 的垂直和水平覆盖范围，并适应B i 的三维边界框。但是，获得的轨迹可能会与B i 的相邻建筑物碰撞。此处，可使用环境的高度图检测潜在的碰撞。一旦发现给定的视点位于另一座建筑物的不安全区域内，将尝试飞越或飞跃环绕轨迹以确保所有视点均位于安全区域内。飞越即将所有视点抬高到障碍物的上方，以确保飞行安全。如果在新视点位置的障碍物遮挡了建筑B i ，将进一步应用飞跃环绕将视点移近B i 以提高可视性。在整个规划过程中，若检测到与已经使用过的视点太近的视点，则删除这些多余的视点，以维持安全，短而有效的建筑重建轨迹。
本申请提供的场景重建数据采集方法，在多个场景中进行了实验，如图6(a)和图6（b）所示，图6（a）和图6（b）分别为本申请与现有方法，关于无人机在场景M和场景N上的重建结果的对比图。其中，图6（a）的第一行和第二行分别展示的是现有方法在场景M的重建结果，图6（a）的第三行展示的是本申请在场景M的重建结果。图6（a）中第一列：现有方法和本申请规划出的路径的对比图；图6（a）中第二列：现有方法和本申请对场景M的重建结果的对比图；图6（a）中第三列：第二列中细节A的对比放大图；图6（a）中第四列：第二列中细节B的对比放大图。
其中，图6（b）的第一行和第二行分别展示的是现有方法在场景N的重建结果，图6（b）的第三行展示的是采用本申请在场景N的重建结果。图6（b）中第一列：现有方法和本申请规划出的路径的对比图；图6（b）中第二列：现有方法和本申请对场景N的重建结果的对比图；图6（b）中第三列：第二列中细节C的对比放大图；图6（b）中第四列：第二列中细节D的对比放大图。
从图6（a）和图6（b）可以看出，本申请在运用更少的资源和算法时间的基础上，能够在各个场景里都能稳定地重建出整个场景。且在保证覆盖完整个待重建区域的同时，能够局部的保证没有重复路径，大幅减少了无人机的电量消耗并且提高了无人机数据采集的效率。
与此同时，本申请在重建目标的同时，也能够实时规划探索路径，故将本申请提供的场景重建数据采集方法，在多个场景上对路径规划进行了测试。如图7所示，两行图片分别展示的是本申请在两个不同的城市场景中的路径规划结果。从图中可以看出，本申请在保证覆盖完整个待重建区域的同时，能够局部的保证没有重复路径，大幅减少了无人机的电量消耗并且提供了无人机数据采集的效率。
另，本申请提供的场景重建数据采集方法还在城市三维场景重建任务进行了准确度-完整度指标的测试。准确度-完整度是城市三维场景重建的常用指标，可以衡量未知场景的重建准确程度。经过实验后，在三个尺度和建筑风格上均有比较明显的差别的测试场景中，本方法重建出的三维模型有90%达到了错误率都在0.029m，0.028m，0.013m之下。同时耗费的时间约为0.002s。与此同时，本方法也在两个更大尺度的城市场景中比较了路径探索算法的有效性。在两个城市场景中，均取得了比基线算法更好的效果。
应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种场景重建数据采集装置，包括：图像获取模块510、环境感知模块520、目标确定模块530、区域探索模块540和数据采集模块550，其中：
图像获取模块510，用于捕获场景图像。
环境感知模块520，用于对场景图像进行实时环境感知，检测出场景图像中的待重建物体、并重建待重建物体的三维表示数据。
目标确定模块530，用于基于待重建物体的三维表示数据和预设距离阈值，在待重建物体中确定重建目标。
区域探索模块540，用于根据预设探索路径规划算法，生成探索路径、并根据探索路径探索待重建区域。
数据采集模块550，用于当到达重建目标时，则根据预设重建路径规划算法，采集重建目标的重建数据。
在一个实施例中，环境感知模块520还用于对场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据、并将二维表示数据映射到预设三维坐标系，得到待重建物体的三维表示数据。
在一个实施例中，环境感知模块520还用于提取场景图像中的特征点；根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；分析特征点的深度信息，将二维表示数据投影至预设三维坐标系，得到初始三维表示数据；根据图像特征匹配对，更新初始三维表示数据，得到待重建物体的三维表示数据。
在一个实施例中，区域探索模块540还用于将待重建区域分解为多个不重叠的子区域；从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成待重建区域的全覆盖探索。
在一个实施例中，区域探索模块540还用于当于待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集新的待重建物的重建数据；恢复探索，执行按照全覆盖路径规划算法，探索各子区域的操作。
在一个实施例中，数据采集模块550还用于当到达重建目标时，根据重建目标的三维表示数据和预设重建路径参数，生成重建路径，根据重建路径，采集重建目标的重建数据。
在一个实施例中，数据采集模块550还用于根据重建目标的三维表示数据和预设重建路径参数，生成单个环绕重建目标的重建路径；或，根据重建目标的三维表示数据和预设重建路径参数，生成环绕重建目标的曲线路径，基于曲线路径，执行预定义的变形操作，生成相应的重建路径。
关于场景重建数据采集装置的具体实施例可以参见上文中对于场景重建数据采集方法的实施例，在此不再赘述。上述场景重建数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种场景重建数据采集方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述场景重建数据采集方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述场景重建数据采集方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种场景重建数据采集方法，其特征在于，所述方法包括：
捕获场景图像；
对所述场景图像进行实时环境感知，检测出所述场景图像中的待重建物体、并重建所述待重建物体的三维表示数据；
基于所述待重建物体的三维表示数据和预设距离阈值，在所述待重建物体中确定重建目标；
根据预设探索路径规划算法，生成探索路径、并根据所述探索路径探索待重建区域；
当到达所述重建目标时，则根据预设重建路径规划算法，采集所述重建目标的重建数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述场景图像进行实时环境感知，检测出所述场景图像中的待重建物体、并重建所述待重建物体的三维表示数据包括：
对所述场景图像进行目标检测，生成与检测到的待重建物体对应的二维表示数据；
将所述二维表示数据映射到预设三维坐标系，得到所述待重建物体的三维表示数据。
3.根据权利要求2所述的方法，其特征在于，所述将所述二维表示数据映射到预设三维坐标系，得到所述待重建物体的三维表示数据包括：
提取所述场景图像中的特征点；
根据当前帧与前一帧的特征点之间的距离进行图像匹配，得到图像特征匹配对；
分析所述特征点的深度信息，将所述二维表示数据投影至预设三维坐标系，得到初始三维表示数据；
根据所述图像特征匹配对，更新所述初始三维表示数据，得到所述待重建物体的三维表示数据。
4.根据权利要求1所述的方法，其特征在于，所述根据预设探索路径规划算法，生成探索路径、并根据所述探索路径探索待重建区域包括：
将所述待重建区域分解为多个不重叠的子区域；
从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成所述待重建区域的全覆盖探索。
5.根据权利要求4所述的方法，其特征在于，所述从预设起点开始，按照全覆盖路径规划算法，探索各子区域，直至完成所述待重建区域的全覆盖探索包括：
当在所述待重建区域内发现并到达新的待重建物时，则中断探索，根据预设重建路径规划算法，采集所述新的待重建物的重建数据；
返回所述按照全覆盖路径规划算法，探索各子区域，直至完成所述待重建区域的全覆盖探索的步骤。
6.根据权利要求1所述的方法，其特征在于，所述当到达所述重建目标时，则根据预设重建路径规划算法，采集所述重建目标的重建数据包括：
当到达所述重建目标时，根据所述重建目标的三维表示数据和预设重建路径参数，生成单个环绕所述重建目标的重建路径，根据所述重建路径，采集所述重建目标的重建数据；
或，当到达所述重建目标时，根据所述重建目标的三维表示数据和预设重建路径参数，生成环绕所述重建目标的曲线路径，基于所述曲线路径，执行预定义的变形操作，得到相应的重建路径，根据所述重建路径，采集所述重建目标的重建数据。
7.根据权利要求1所述的方法，其特征在于，所述当到达所述重建目标时，则根据预设重建路径规划算法，采集所述重建目标的重建数据之后，还包括：
基于所述待重建物体的三维表示数据和预设距离阈值，确定与所述重建目标的距离最近的待重建物体为下一个重建目标；
返回至所述根据预设探索路径规划算法，生成探索路径、并根据所述探索路径探索待重建区域的步骤，直至完成所有待重建物体的重建数据的采集。
8.一种场景重建数据采集装置，其特征在于，所述装置包括：
图像获取模块，用于捕获场景图像；
环境感知模块，用于对所述场景图像进行实时环境感知，检测出所述场景图像中的待重建物体、并重建所述待重建物体的三维表示数据；
目标确定模块，用于基于所述待重建物体的三维表示数据和预设距离阈值，在所述待重建物体中确定重建目标；
区域探索模块，用于根据预设探索路径规划算法，生成探索路径、并根据所述探索路径探索待重建区域；
数据采集模块，用于当到达所述重建目标时，则根据预设重建路径规划算法，采集所述重建目标的重建数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110462826.XA 2021-04-28 2021-04-28 场景重建数据采集方法、装置、计算机设备和存储介质 Active CN112884894B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110462826.XA CN112884894B (zh) 2021-04-28 2021-04-28 场景重建数据采集方法、装置、计算机设备和存储介质
US17/481,672 US11640696B2 (en) 2021-04-28 2021-09-22 Method, computer device, and storage medium for exploring and collecting scene reconstruction data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462826.XA CN112884894B (zh) 2021-04-28 2021-04-28 场景重建数据采集方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112884894A true CN112884894A (zh) 2021-06-01
CN112884894B CN112884894B (zh) 2021-09-21

Family

ID=76040699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462826.XA Active CN112884894B (zh) 2021-04-28 2021-04-28 场景重建数据采集方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US11640696B2 (zh)
CN (1) CN112884894B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723672A (zh) * 2022-03-09 2022-07-08 杭州易现先进科技有限公司 一种三维重建数据采集校验的方法、系统、装置和介质
CN114937125A (zh) * 2022-07-25 2022-08-23 深圳大学 可重建度量信息预测方法、装置、计算机设备和存储介质
CN115100286A (zh) * 2022-07-25 2022-09-23 深圳大学 无人机采集视点确定方法、装置、计算机设备和存储介质
WO2023082922A1 (zh) * 2021-11-15 2023-05-19 北京有竹居网络技术有限公司 用于非连续观测情况下物体定位的方法、装置和存储介质
CN116402967A (zh) * 2023-05-31 2023-07-07 深圳大学 场景建筑快速单体化方法、装置、计算机设备和存储介质
CN116738552A (zh) * 2023-08-11 2023-09-12 和欣汇达(山东)科技有限公司 一种基于物联网的环境检测设备管理方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
CN117289721A (zh) * 2023-11-24 2023-12-26 天津云圣智能科技有限责任公司 避障路径规划和建图方法、装置、电子设备和存储介质
CN117333758B (zh) * 2023-12-01 2024-02-13 博创联动科技股份有限公司 基于大数据分析的田地路线识别系统
CN117437329B (zh) * 2023-12-12 2024-03-01 江西云眼视界科技股份有限公司 高后果区域绘制方法、系统、可读存储介质及计算机设备
CN117557931B (zh) * 2024-01-11 2024-04-02 速度科技股份有限公司 一种基于三维场景的表计最优巡检点的规划方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610212A (zh) * 2017-07-25 2018-01-19 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
CN108701373A (zh) * 2017-11-07 2018-10-23 深圳市大疆创新科技有限公司 基于无人机航拍的三维重建方法、系统及装置
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质
CN110873565A (zh) * 2019-11-21 2020-03-10 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
CN111966097A (zh) * 2020-08-12 2020-11-20 深圳华芯信息技术股份有限公司 基于栅格地图区域化探索的建图方法、系统以及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640694B2 (en) * 2020-03-20 2023-05-02 Streem, Llc 3D model reconstruction and scale estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610212A (zh) * 2017-07-25 2018-01-19 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
CN108701373A (zh) * 2017-11-07 2018-10-23 深圳市大疆创新科技有限公司 基于无人机航拍的三维重建方法、系统及装置
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质
CN110873565A (zh) * 2019-11-21 2020-03-10 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
CN111966097A (zh) * 2020-08-12 2020-11-20 深圳华芯信息技术股份有限公司 基于栅格地图区域化探索的建图方法、系统以及终端

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082922A1 (zh) * 2021-11-15 2023-05-19 北京有竹居网络技术有限公司 用于非连续观测情况下物体定位的方法、装置和存储介质
CN114723672A (zh) * 2022-03-09 2022-07-08 杭州易现先进科技有限公司 一种三维重建数据采集校验的方法、系统、装置和介质
CN114937125A (zh) * 2022-07-25 2022-08-23 深圳大学 可重建度量信息预测方法、装置、计算机设备和存储介质
CN115100286A (zh) * 2022-07-25 2022-09-23 深圳大学 无人机采集视点确定方法、装置、计算机设备和存储介质
CN114937125B (zh) * 2022-07-25 2022-10-25 深圳大学 可重建度量信息预测方法、装置、计算机设备和存储介质
CN116402967A (zh) * 2023-05-31 2023-07-07 深圳大学 场景建筑快速单体化方法、装置、计算机设备和存储介质
CN116402967B (zh) * 2023-05-31 2024-03-29 深圳大学 场景建筑快速单体化方法、装置、计算机设备和存储介质
CN116738552A (zh) * 2023-08-11 2023-09-12 和欣汇达(山东)科技有限公司 一种基于物联网的环境检测设备管理方法及系统
CN116738552B (zh) * 2023-08-11 2023-10-27 和欣汇达(山东)科技有限公司 一种基于物联网的环境检测设备管理方法及系统

Also Published As

Publication number Publication date
US20220351466A1 (en) 2022-11-03
CN112884894B (zh) 2021-09-21
US11640696B2 (en) 2023-05-02

Similar Documents

Publication Publication Date Title
CN112884894B (zh) 场景重建数据采集方法、装置、计算机设备和存储介质
Kim et al. UAV-assisted autonomous mobile robot navigation for as-is 3D data collection and registration in cluttered environments
Torres et al. Coverage path planning with unmanned aerial vehicles for 3D terrain reconstruction
Almadhoun et al. A survey on inspecting structures using robotic systems
Shang et al. A co-optimal coverage path planning method for aerial scanning of complex structures
JP2021152662A5 (zh)
EP3885871B1 (en) Surveying and mapping system, surveying and mapping method and apparatus, device and medium
CN111429574A (zh) 基于三维点云和视觉融合的移动机器人定位方法和系统
CN112085844A (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN111489368B (zh) 利用实例分割检测基于cnn的伪3d边界的方法及装置
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN114424250A (zh) 结构建模
Kim et al. UAV-UGV cooperative 3D environmental mapping
CN112327326A (zh) 带有障碍物三维信息的二维地图生成方法、系统以及终端
Tseng et al. Strategies for autonomous robots to inspect pavement distresses
EP4131162A1 (en) Planar contour recognition method and apparatus, computer device, and storage medium
CN113566825A (zh) 基于视觉的无人机导航方法、系统及存储介质
Kim et al. As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV
CN112991537A (zh) 城市场景重建方法、装置、计算机设备和存储介质
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
CN114859938A (zh) 机器人、动态障碍物状态估计方法、装置和计算机设备
Xiao et al. Monitoring excavation slope stability using drones
US20210225082A1 (en) Boundary detection using vision-based feature mapping
Fan et al. A fire protection robot system based on SLAM localization and fire source identification
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant