CN107610212A - 场景重建方法、装置、计算机设备以及计算机存储介质 - Google Patents

场景重建方法、装置、计算机设备以及计算机存储介质 Download PDF

Info

Publication number
CN107610212A
CN107610212A CN201710613012.5A CN201710613012A CN107610212A CN 107610212 A CN107610212 A CN 107610212A CN 201710613012 A CN201710613012 A CN 201710613012A CN 107610212 A CN107610212 A CN 107610212A
Authority
CN
China
Prior art keywords
robot
key frame
tensor field
camera
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710613012.5A
Other languages
English (en)
Other versions
CN107610212B (zh
Inventor
黄惠
徐凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710613012.5A priority Critical patent/CN107610212B/zh
Priority to US15/712,152 priority patent/US10366503B2/en
Publication of CN107610212A publication Critical patent/CN107610212A/zh
Application granted granted Critical
Publication of CN107610212B publication Critical patent/CN107610212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种场景重建方法、装置、计算机设备以及计算机存储介质，该方法包括获取所拍摄的深度图像，并根据深度图像生成当前张量场关键帧；对当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；通过粒子漂流算法得到机器人规划路径；根据机器人规划路径以及相机的能量方程获取相机规划路径；通过机器人沿机器人规划路径行走、相机沿相机规划路径行走时所拍摄的深度图像，重建场景。上述场景重建方法、装置、计算机设备以及计算机存储介质，通过机器人规划路径和相机的能量方程来获取相机的规划路径，从而实现了让将相机拿在手上的机器人同时进行复杂场景的探索和重建。

Description

场景重建方法、装置、计算机设备以及计算机存储介质
技术领域
本发明涉及图像处理领域，特别是涉及一种场景重建方法、装置、计算机设备以及计算机存储介质。
背景技术
随着最近低成本RGB-D相机(Red-Green-Blue-Depth Camera)的普及，以及实时重建技术的发展，基于移动机器人的自动室内场景重建问题受到了机器人领域和图形学领域的关注，也正是随着这些技术的发展，使得我们可以探索和重建更加大型和复杂的场景，而且在许多领域都有广泛的应用，比如虚拟现实，游戏，电影，服务机器人和自动驾驶领域等等。
传统技术中对于场景重建的工作，只针对单个物体进行扫描，或者固定相机进行场景探索，从而使得所能重建的场景的空间大小受到限制。
发明内容
基于此，有必要针对传统技术中能够场景重建的空间较小的问题，提供一种场景重建方法、装置、计算机设备以及计算机存储介质。
一种场景重建方法，所述方法包括：
获取所拍摄的深度图像，并根据所述深度图像生成当前张量场关键帧；
对所述当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；
根据所述当前张量场关键帧、所述上一张量场关键帧以及所述插值张量场关键帧，通过粒子漂流算法得到机器人规划路径；
根据所述机器人规划路径以及相机的能量方程获取相机规划路径；
通过机器人沿所述机器人规划路径行走、相机沿所述相机规划路径行走时所拍摄的深度图像，重建场景。
在其中一个实施例中，所述根据所述深度图像生成当前张量场关键帧的步骤，包括：
获取高度小于等于机器人的物体在所述深度图像中所对应的区域；
将高度小于等于机器人的物体在所述深度图像中所对应的区域投影至预设平面；
对在所述预设平面中的投影区域进行边界点采样以获得约束点；
获取所述约束点的基础张量；
根据所采样的所有约束点的基础张量生成当前张量场关键帧。
在其中一个实施例中，所述对所述当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧的步骤，包括：
获取当前张量场关键帧的标量场和上一张量场关键帧的标量场，并构造双调能量函数；
将所述当前张量场关键帧的标量场和上一张量场关键帧的标量场作为狄利克雷边界条件，最小化所述双调能量函数以得到插值张量场关键帧。
在其中一个实施例中，所述根据所述当前张量场关键帧、所述上一张量场关键帧以及所述插值张量场关键帧，通过粒子漂流算法得到机器人规划路径的步骤，包括：
根据机器人的朝向获取所述当前张量场关键帧的方向、所述上一张量场关键帧的方向以及所述插值张量场关键帧的方向；
根据所述当前张量场关键帧的方向获取所述当前张量场关键帧的向量场，根据所述上一张量场关键帧的方向获取所述上一张量场关键帧的向量场，根据所述插值张量场关键帧的方向获取所述插值张量场关键帧的向量场；
根据粒子漂流算法，通过以下公式得到机器人规划路径：
p(t)＝p0+∫0 tV(p(s)；t0+t)ds
其中，p(t)为机器人规划路径，p0为t0时刻机器人的位置，V(p(s)；t0+t)为机器人在t0+t时刻的p(s)位置处速度。
在其中一个实施例中，所述方法还包括：
获取所述机器人规划路径上的所有退化点，并根据所述机器人规划路径上的所有退化点生成场景拓扑图；
获取所述场景拓扑图中每一条边的信息增益；
当所述场景拓扑图中存在一条边的信息增益大于等于阈值时，则获取所述机器人规划路径上的、距离所述机器人最近的退化点；
当所述机器人规划路径上的、距离所述机器人最近的退化点为三等分退化点时，则根据所述机器人的当前位置，获取所述场景拓扑图的最小生成树；
计算每一最小生成树的代价，并选取代价最小的最小生成树所对应的路径修正所述机器人规划路径；
当所述机器人规划路径上的、距离所述机器人最近的退化点为楔形退化点时，则当所述机器人行走至所述楔形退化点时，重新规划所述机器人的机器人规划路径。
在其中一个实施例中，所述方法还包括：
遍历所述机器人规划路径上的所有退化点，且当所遍历到的退化点为楔形退化点时，则判断所述楔形退化点是否为所述场景拓扑图中的末端点；
当所述楔形退化点为所述场景拓扑图中的末端点时，则将所述楔形退化点向远离所述场景拓扑图中的末端点的方向移动第一预设距离；
当所述楔形退化点处所述机器人重新规划的机器人规划路径与所述机器人原来的机器人规划路径之间的夹角小于90度时，则将所述楔形退化点向所述夹角的开口方向移动第二预设距离；
当所述退化点为三等分退化点时，则根据在所述预设平面中的投影区域，将所述三等分退化点向远离所述投影区域的方向移动第三预设距离。
在其中一个实施例中，所述方法还包括：
当所遍历的楔形退化点与所遍历的三等分退化点至所述投影区域的距离的和，大于所遍历的楔形退化点与所遍历的三等分退化点之间的距离时，则删除所遍历的楔形退化点与所遍历的三等分退化点。
在其中一个实施例中，所述根据所述机器人规划路径以及相机的能量方程获取相机规划路径的步骤，包括：
获取相机的能量方程；
通过采样所述机器人规划路径，获取所述相机的能量方程的最小值以得到所述相机的轨迹点；
将所获得的相机的轨迹点进行插值得到所述相机的相机规划路径。
一种场景重建装置，所述装置包括：
关键帧生成模块，用于获取所拍摄的深度图像，并根据所述深度图像生成当前张量场关键帧；
插值模块，用于对所述当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；
机器人路径规划模块，用于根据所述当前张量场关键帧、所述上一张量场关键帧以及所述插值张量场关键帧，通过粒子漂流算法得到机器人规划路径；
相机路径规划模块，用于根据所述机器人规划路径以及相机的能量方程获取相机规划路径；
场景重建模块，用于通过所述机器人沿所述机器人规划路径行走、所述相机沿所述相机规划路径行走时所拍摄的深度图像，重建场景。
一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。
上述场景重建方法、装置、计算机设备以及计算机存储介质，通过对机器人路径和相机路径进行联合优化，即通过机器人规划路径和相机的能量方程来获取相机的规划路径，从而实现了让将相机拿在手上的机器人同时进行复杂场景的探索和重建，且在机器人路径规划中结合张量场和时空插值进行，可以平滑机器人的路径，从而可以平滑相机的路径。
附图说明
图1为一实施例中的场景重建方法的应用场景图；
图2为一实施例中的场景重建方法的流程图；
图3为图2所示实施例中的步骤S202的流程图；
图4为一实施例中张量场插值的示意图；
图5为一实施例中所规划的机器人规划路径的示意图；
图6为图2所示实施例中的S206步骤的流程图；
图7为一实施例中时空网格和路径平滑上计算的时变场；
图8为一实施例中的楔形退化点的示意图；
图9为另一实施例中的楔形退化点的示意图；
图10为一实施例中的三等分退化点的示意图；
图11为一实施例中退化点处路径处理步骤的流程图；
图12为一实施例中局部场景的拓扑结构图；
图13为一实施例中的最小生成树的示意图；
图14为一实施例中的完整场景的拓扑结构图；
图15为一实施例中场景重建后的拓扑图；
图16为一实施例中的退化点移动步骤的流程图；
图17为一实施例中末端楔形退化点的移动示意图；
图18为一实施例中一般楔形退化点的移动示意图；
图19为一实施例中三等分退化点的移动示意图；
图20为另一实施例中三等分退化点的移动示意图；
图21为一实施例中不可消亡的退化点的示意图；
图22为一实施例中退化点消亡前的示意图；
图23为一实施例中退化点消亡后的示意图；
图24为图2所示实施例的步骤S208的流程图；
图25为一实施例中的机器人规划路径与相机规划路径的示意图；
图26为一实施例中的真实场景下机器人规划路径与相机规划路径的示意图；
图27为一实施例中的场景重建装置的示意图；
图28为一实施例中的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
在本文中，诸如左和右，上和下，前和后，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图1，图1为一实施例中的场景重建方法的应用场景图，其中机器人位于所要探索的未知场景中，未知场景可以是室内场景或室外场景，其中室内场景可以视为由墙面和家具组成的平面布局的场景，机器人的手柄上持有相机，机器人在未知场景中行走，相机对该未知场景进行拍照，并根据所拍摄的图像进行场景重建。该机器人可以是fetch机器人或其他的机器人，该相机为RGB-D相机。
请参阅图2，在其中一个实施例中，提供一种场景重建方法，本实施例以该方法应用到上述图1中的机器人来举例说明。该机器人上运行有场景重建程序，通过该场景重建程序来实施场景重建方法。该方法具体包括如下步骤：
S202：获取所拍摄的深度图像，并根据深度图像生成当前张量场关键帧。
具体地，深度图像是指通过RGB-D相机所拍摄的图像，也被称为距离影像(rangeimage)，是指将从RGB-D相机到场景中各点的距离作为像素值的图像，它直接反映了场景中可见表面的几何形状，该深度图像可以为彩色深度图像。根据该深度图像可以生成关于当前场景的当前张量场关键帧。
其中二维空间的张量场是一种光滑的张量值函数T:为每个点赋予一个二阶张量：
当且仅当τij＝τji(i≠j)时，张量[τij]是对称的。一个对称的张量T可以被唯一的分解为各向同性部分S和各向异性部分A：
其中，μ>0且θ∈[0,2π)。T的主要和次要特征向量互相垂直。机器人的运动是由给定点的主要特征向量引导的。对称张量场的一个关键特征是它的方向模糊性，这使得它等价于不分正向和反向的线场，避免了几何约束下在计算向量场时的方向问题。
S204：对当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧。
具体地，由于当前张量场关键帧和上一张量场关键帧所对应的实际三维空间中的距离可能较长，而机器人的位置不可能产生突变，因此在当前张量场关键帧和上一张量场关键帧之间插值若干插值张量场关键帧，从而可以使得机器人可以根据插值张量场关键帧来平滑机器人的路径。
S206：根据当前张量场关键帧、上一张量场关键帧以及插值张量场关键帧，通过粒子漂流算法得到机器人规划路径。
具体地，在插值完成后，即可以得到若干插值张量场关键帧，通过当前张量场关键帧、上一张量场关键帧以及插值张量场关键帧，并通过粒子漂流算法得到机器人规划路径。
S208：根据机器人规划路径以及相机的能量方程获取相机规划路径。
具体地，场景重建主要是为了通过对机器人路径和相机轨迹进行联合优化，实现让将相机拿在手上的机器人同时进行复杂场景的探索和重建。首先，为了满足扫描的效率，相机规划路径上的每一个点都需要尽可能多的去覆盖到还没有扫描到的区域和无知区域，然而为了保证重建的质量，单纯的满足尽可能多的覆盖未知区域是不够的，在相机的视域范围内，每一次扫描最好是尽可能的朝向目标表面的法向，这样可以保证最好的扫描质量。其次，为了保证实时重建时每一帧之间可以配准，相机的线速度和角速度都应该有一个阈值进行约束。再次，给定一个机器人规划路径，因为受限于机器人底盘，因此需要机器人的手臂上的相机的每一个点都是机器人可以达到的，从而为了满足上述要求，通过机器人规划路径以及相机的能量方程来规划相机规划路径。
S210：通过机器人沿机器人规划路径行走、相机沿相机规划路径行走时所拍摄的深度图像，重建场景。
具体地，在规划好机器人规划路径和相机规划路径后，机器人沿机器人规划路径进行行走，机器人所持的相机沿相机规划路径行走，并通过相机拍摄深度图像后，机器人可以通过体素哈希算法(Voxel hashing)来进行场景的实时重建，或者还可以通过ElasticFusion(弹性融合)算法来进行场景的实时重建。
上述场景重建方法，通过对机器人路径和相机路径进行联合优化，即通过机器人规划路径和相机的能量房产来获取相机的规划路径，从而实现了让将相机拿在手上的机器人同时进行复杂场景的探索和重建，且在机器人路径规划中结合张量场和时空插值进行，可以平滑机器人的路径，从而可以平滑相机的路径。
请参阅图3，图3为图2所示实施例中的步骤S202的流程图，该步骤S202，即根据深度图像生成当前张量场关键帧的步骤可以包括：
S302：获取高度小于等于机器人的物体在深度图像中所对应的区域。
具体地，可以通过用于控件探索的占用网格(Octomap)和用于表面重建的截断有符号距离场(TSDF，Truncated Signed Distance Field)这两种体素表达方式来生成和更新场景集合。且对于复杂的空间占用信息可以用八叉图的方式来存储，例如当某一块区域中占用信息比较多，即对应的三维空间中物体较多时，可以将已划分的占用网格再划分为八份，以提高对物体描述的准确性。
具体地，由于高于机器人的物体不会影响机器人的运行，即不会成为机器人运行道路上的障碍物，因此深度图像中的该些物体则不会用来规划机器人的路径，该些高于机器人的物体在深度图像中所对应的区域只会用来进行场景重建。
S304：将高度小于等于机器人的物体在深度图像中所对应的区域投影至预设平面。
具体地，给定一个当前时刻的场景，即当前时刻机器人所拍摄的深度图像，通过场景的几何约束可以计算得到一个关键帧。为了达到这个目的，首先将由深度图像生成的八叉图中已知表面所对应的网格单元投影到预设平面，。而高于机器人高度的表面单元则不需要投影，因为那些区域不影响机器人的运动。其中已知表面所对应的单元是指深度图像中存在物体的区域。预设平面可以为地平面，即在规划路径前，根据所拍摄的深度图像建立xyz坐标系，其中xoy平面即为预设平面，其可以对应为所需重建场景的地面，即地平面。
S306：对在预设平面中的投影区域进行边界点采样以获得约束点。
具体地，对投影到预设平面中的投影区域的边界执行点采样，且每个采样点之间的距离ds可以设置为0.2米或其他的距离，每个采样点即为约束点，每个约束点都是带有法向信息的。
S308：获取约束点的基础张量。
具体地，二维空间的张量场是一种光滑的张量值函数T:为每个点赋予一个二阶张量：
S310：根据所采样的所有约束点的基础张量生成当前张量场关键帧。
具体地，对每个约束点较小的特征向量归一化成单位向量，这样做可以使得整个张量场都是有规律的场，最后使用高斯径向基函数，将所有约束点的基础张量进行融合，得到当前张量场关键帧：
其中，Ti是围绕约束点pi计算出来的基础张量，高斯带宽σ用于控制基础场所张量所影响的范围，由于几何约束主要用来做局部路径规划，并不需要很大的影响范围，因此，该带宽值σ＝2.5ds，该带宽值还可以依据实际情况做出改变，在此不做限制。
上述实施例中，通过将高度小于等于机器人的物体在深度图像中对应的区域投影至预设平面，以标识可能影响机器人行走的物体，并根据对该些物体的投影进行采样以获得约束点，并根据约束点的基础张量生成当前张量场关键帧，从而可以产生平滑的机器人移动轨迹，不会出现通过势场规划路径时的陷入局部最优、引起机器人移动不稳定的问题。
在其中一个实施例中，图2所示的实施例中的步骤S204，即对当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧的步骤，可以包括：获取当前张量场关键帧的标量场和上一张量场关键帧的标量场，并构造双调能量函数。将当前张量场关键帧的标量场和上一张量场关键帧的标量场作为狄利克雷边界条件，最小化双调能量函数以得到插值张量场关键帧。
具体地，给定相邻的两个关键帧Tt-1和Tt，其中插值n+1个张量场，使得场随着时间的变化更加平滑，用t-1时刻的张量场关键帧，即上一张量场关键帧，以及t时刻的张量场关键帧即当前张量场关键帧作为狄利克雷边界条件来最小化双调能量函数：
其中，表示时空拉普拉斯变换，τ(v；t)表示张量场关键帧中的点v在t时刻处的标量值，τ(；0)表示所插值的第一帧插值张量场关键帧的标量场，τ(；n)表示所插值的第n+1帧插值张量场关键帧的标量场，τ(；t)表示t时刻的标量场，即当前张量场关键帧的标量场，τ(；t-1)表示t-1时刻的标量场，即上一张量场关键帧的标量场，其中τ既可以是τ11也可以是τ12，α＝5×103表示边界条件的权重。离散的时空拉普拉斯变换可写为：
其中N(i)是每一张量场关键帧中点i的一环邻接点的集合，ωS是空间上的内部帧的拉普拉斯变换权重，ωT是时间上的内部帧的拉普拉斯变换权重，ω＝∑k∈N(i)ωS+2ωT是归一化的权重，可以设置ωS＝1和ωT＝2作为默认值，τ(i；j)表示j时刻张量场关键帧中点i的标量值，τ(k；j)表示j时刻张量场关键帧中点k的标量值，τ(i；j-1)表示j-1时刻张量场关键帧中点i的标量值，τ(i；j+1)表示j+1时刻张量场关键帧中点i的标量值。
为了保证时间相干性，从前一个关键帧Tt-1来平滑过渡到当前帧Tt。在Tt和Tt-1之间插入K个子步骤，得到场序列场的更新以及路径和轨迹的计算从中间帧k＝n+1开始，直到时刻，又继续重复上述操作。参阅图4和图5，图4为一实施例中张量场插值的示意图，图5为一实施例中所规划的机器人规划路径的示意图，基于从到的平滑过渡，则通过粒子漂流计算平滑的机器人路径，如图5中下方的曲线所示，然后计算由这条路径所约束的相机轨迹，如图5中上方的曲线所示。注意到尽管路径漂流可以在任意长的时间内完成，但只用每个子步骤的一部分时间来计算，即每一个新的子步骤都要计算新的漂流路径。这是因为场的变换非常平稳，使得子步骤之间的路径可以平滑的相连。
上述实施例中，通过离散的时空拉普拉斯变换来求取双调能量函数的最小值，从而可以保证插值张量场关键帧所消耗的能量最小，使得后续规划机器人规划路径时，所规划的机器人规划路径更加平滑。
参阅图6，图6为图2所示实施例中的S206步骤的流程图，该S206步骤，即根据当前张量场关键帧、上一张量场关键帧以及插值张量场关键帧，通过粒子漂流算法得到机器人规划路径的步骤，包括：
S602：根据机器人的朝向获取当前张量场关键帧的方向、上一张量场关键帧的方向以及插值张量场关键帧的方向。
具体地，机器人当前的位置开始，基于上述提到的时变张量场T(t)进行粒子漂流来生成机器人移动的路径，因为张量本身并不区分方向是往前还是往后，因此首先要确定其方向，具体做法是在机器人当前位置的附近邻域确定张量的方向，使得该张量场的特征向量与机器人当前朝向的方向一致，也就是说机器人朝向和张量场的方向夹角不超过90度，从而来最小化机器人运动的旋转操作。
S604：根据当前张量场关键帧的方向获取当前张量场关键帧的向量场，根据上一张量场关键帧的方向获取上一张量场关键帧的向量场，根据插值张量场关键帧的方向获取插值张量场关键帧的向量场。
具体地，在确定方向之后，该张量场T(t)就变成了一个向量场V(t)。
S606：根据粒子漂流算法，通过以下公式得到机器人规划路径：
p(t)＝p0+∫0 tV(p(s)；t0+t)ds
其中，p(t)为机器人规划路径，p0为t0时刻机器人的位置，V(p(s)；t0+t)为机器人在t0+t时刻的p(s)位置处速度。
具体地，粒子漂流可以用另一个公式来表示：该公式的解在给定一个初始值(p0；t0)的情况下，表示为：
p(t)＝p0+∫0 tV(p(s)；t0+t)ds
其中，从初始位置p0和初始时刻t0开始定义路径，实际上，可以以三倍子步骤时间为间隔计算来计算路径，参阅图7，图7为一实施例中时空网格和路径平滑上计算的时变场。
在一个张量场中，当且仅当T(p)＝0时，点p称为退化点，相反情况下，点p称为常规点。退化点可能会引起不连续或不确定的机器人移动。张量场中的退化点等价于向量场中的奇异点。然而，向量场通常包含会困住机器人的凹槽，此外由于数值稳定性问题，还会造成机器人围绕奇异点振荡运动。相比之下，张量场仅包含两种类型的退化点，称为楔形退化点和三等分退化点，且没有凹槽，因此避免了局部陷阱的问题。此外，张量场通过操纵退化点来灵活的控制拓扑。
在退化点处，机器人需要自动选择轨迹方向，并通过张量场来生成一条路径，因此，在退化点处需要对机器人路径进行特殊的处理。退化点包括两种，一种是楔形退化点，如图8和图9，一种是三等分退化点，如图10。退化点会使得生成的路径出现不连续的情况，比如楔形退化点会形成一个楔形，而三等分退化点会出现路径的分叉，即张量场在这些地方会出现不连续的情况。因此需要对这些退化点做特殊的处理来避免这样的非连续或者导致误解的情况。具体的解决办法有两种：在一个楔形退化点处停止并分裂，而在三等分退化点处则需要停止并选择一个分支。
参阅图11，图11为一实施例中退化点处路径处理步骤的流程图，该退化点处路径处理步骤可以包括：
S1102：获取机器人规划路径上的所有退化点，并根据机器人规划路径上的所有退化点生成场景拓扑图。
具体地，当一个机器人到达一个三等分退化点时，机器人可以由两条分支可以选择，如图10，此时则会出现路径选择的不确定，因此设置了两条准则，来帮助帮助更好的选取一条路线的分支，从而降低不确定性。首先，所选取的那条路径前面应该是通畅的，没有障碍物的阻碍，其次，所选取的那条路径可以涵盖更多的未知区域(或者更加不确定的区域)。一旦决定了选取哪条分支，那么情况就跟楔形退化点的情况还是一样的了，即对两条路径进行插值和平滑，使得机器人更加平稳的移动。
在对退化点进行处理之前，由于仅仅使用局部的路线漂流生成的路径不足以保证能够对整个场景进行完整的覆盖，因此需要引入一个全局的指导系统来指导机器人的移动，即场景拓扑图，参阅图12至图15，图12为一实施例中局部场景的拓扑结构图，图13为一实施例中的最小生成树的示意图，图14为一实施例中的完整场景的拓扑结构图，图15为一实施例中场景重建后的拓扑图，其中场景重建后的拓扑图大致符合完整场景的边界的中轴线。场景的拓扑图是根据所有的退化点生成的，给定任何一个张量场，该拓扑图可以视为一个无向图，所有的退化点作为图的节点，用斜线连接作为图的边，如图14所示。
S1104：获取场景拓扑图中每一条边的信息增益。
具体地，给定一个点，其信息增益可以定义为，在这个点的所有视角下能够被降低的最大化的不确定性(也可以说就是熵值)。给定一个重建的结果，一个特定视角的信息增益是基于该视角可以观察到多少未知区域来计算的，因此，这个代价值可以表征路径上的预期的重建最大信息增益。
S1106：当场景拓扑图中存在一条边的信息增益大于等于阈值时，则获取机器人规划路径上的、距离机器人最近的退化点。
具体地，对退化点的处理包括在机器人行走的过程中进行处理和预先的处理，此处对退化点的处理是在机器人行走的过程中进行处理的，而由于在退化点处机器人需要做特殊处理，因此首先要获取机器人规划路径上的、距离机器人最近的退化点，以预先做好机器人的路径选择。
这种基于拓扑结构的路径规划有一个非常良好的性质，就是可以对那些只有部分被重建的场景也能很好地适应，如图11所示。这是因为张量场有两个很好的性质，第一个是对于有任何几何限制的任何张量场都可以很好的定义一个拓扑图，第二个是张量场最小化了奇异点的数量，从而导致了在空白区域内没有外部的奇异点出现，最低限度的影响局部场景的拓扑图的结构和性质，从而可以很好的适配与还没有扫描完整的场景。
基于张量场的拓扑结构和信息增益的定义，该自动重建系统的终止条件可以定义为：如果该拓扑图中的所有边的预计信息增益都低于一个阈值(例如0.01、0.02等，在此不做限制)是，机器人停止对场景的扫描，如图14所示。此时，张量场的拓扑图大致反映了这个场景的拓扑结构，这个拓扑骨架中的每一个点都是由场景的几何信息进行投影后的几何限制所生成的，与二维上的中轴线有相似之处，如图15所示。
S1108：当机器人规划路径上的、距离机器人最近的退化点为三等分退化点时，则根据机器人的当前位置，获取场景拓扑图的最小生成树。
具体地，当该退化点为三等分退化点时，首先获取场景拓扑图中的最小生成树，如图13所示，为图14的一个最小生成树。
S1110：计算每一最小生成树的代价，并选取代价最小的最小生成树所对应的路径修正机器人规划路径。
具体地，每一条边的代价可以表示为：
其中，l(e)代表边e的长度，I(e,p)是边e上的一个点p的重建的信息增益。通过选择最小代价的分支，机器人通常会选择路径较短但是却有比较高的信息增益的路径。
S1112：当机器人规划路径上的、距离机器人最近的退化点为楔形退化点时，则当机器人行走至楔形退化点时，重新规划机器人的机器人规划路径。
具体地，在一个楔形退化点附近，机器人路径会产生一个急转弯甚至一个U型的转弯，如图8和9所示。为了避免机器人行走到这里时出现很剧烈的转动而造成相机位置的剧烈抖动，当检测到机器人路径前方最近的一个楔形退化点，当机器人快要移动到这个楔形退化点时进行减速。在楔形退化点处，机器人路径和相机轨迹都需要重新规划，因此原本的路径在楔形退化点处被分裂为两条。当机器人停止在楔形退化点的时候，机器人平滑地将两条轨迹连接起来，使得相机轨迹可以平稳地从原轨迹转移到新轨迹。
在其中一个实施例中，张量场的另一个优势在于，允许退化点的操作，还允许场的拓扑的优化和更新，路径的平滑漂流和路径的简化。为了达到这个目的，张量场的自动优化包括两个操作，包括移动单一的一个退化点，和抵消一对退化点，而且不需要交互式的编辑操作。退化点操作的最基本的想法是，首先将一个张量场转化为向量场：V＝α(T)＝μ(cos2θ,sin2θ)T。然后对向量场V进行对应的操作以得到V′，最后再将其转化回张量场T′＝α-1(V′)。参阅图16，图16为一实施例中的退化点移动步骤的流程图，该退化点移动步骤是在生成场景拓扑图后，机器人还未移动前，对拓扑图中退化点的移动，该退化点移动步骤可以包括：
S1602：遍历机器人规划路径上的所有退化点；
S1604：当所遍历到的退化点为楔形退化点时，则判断楔形退化点是否为场景拓扑图中的末端点。
具体地，退化点的移动主要包含三种情况，一是退化点为楔形退化点，且楔形退化点的两条分裂的路径夹角小于90度。二是退化点为楔形退化点，且楔形退化点为拓扑图的末端点。三是退化点为三等分退化点，因此首先需要对退化点的类型进行判断，三等分退化点较好判断，因其存在两条分叉的路径，楔形退化点则只有一条路径，而又可以根据楔形退化点的位置将楔形退化点分为末端点和一般点。
S1606：当楔形退化点为场景拓扑图中的末端点时，则将楔形退化点向远离场景拓扑图中的末端点的方向移动第一预设距离。
具体地，图7为一实施例中末端楔形退化点的移动示意图，一个楔形退化点通常代表着张量场的拓扑图的一个末端点。当给定一个楔形退化点，如果当在这个楔形退化点附近移动后，信息增益都没有再增加，那么也就代表这个角落没有必要再进行探索，但如果继续按照场的漂流生成路径，会形成一个深入的U型路径。为了避免这个情况，将这个楔形退化点沿着其分裂的两条路径往内部进行移动，使得机器人探索的路径缩短或者干脆取消这个区域的探索。
S1608：当楔形退化点处机器人重新规划的机器人规划路径与机器人原来的机器人规划路径之间的夹角小于90度时，则将楔形退化点向夹角的开口方向移动第二预设距离。
具体地，图18为一实施例中一般楔形退化点的移动示意图，如果检测到一个楔形退化点的两条分裂的路径，即机器人重新规划的机器人规划路径与机器人原来的机器人规划路径之间的夹角小于90度，就意味着这个楔形退化点是由这个锐角角落形成的，那就可以将楔形退化点往内部角落移动。这样做的目的在于可以避免当机器人路过这个楔形退化点的时候形成的急转弯。
S1610：当退化点为三等分退化点时，则根据在预设平面中的投影区域，将三等分退化点向远离投影区域的方向移动第三预设距离。
具体地，图19为一实施例中三等分退化点的移动示意图，图20为另一实施例中三等分退化点的移动示意图，该种情况即在一个三等分退化点处存在遮挡，因为机器人倾向于沿着三等分退化点的分割线进行移动，因此需要确保机器人不会撞到这个障碍物，具体做法是，当在这个三等分退化点处或者沿着其分割线的地方检测到障碍物，就移动三等分退化点使得其远离障碍物。
上述实施例中，预先将机器人规划路径上的退化点进行处理，例如将三等分退化点原理障碍物，将楔形退化点移出角落等，可以预先对机器人规划路径进行优化，保证了机器人在行走过程中不会碰到障碍物等。
在其中一个实施例中，参阅图21至23，图21为一实施例中不可消亡的退化点的示意图，图22为一实施例中退化点消亡前的示意图，图23为一实施例中退化点消亡后的示意图，在该实施例中，当所遍历的楔形退化点与所遍历的三等分退化点至投影区域的距离的和，大于所遍历的楔形退化点与所遍历的三等分退化点之间的距离时，则删除所遍历的楔形退化点与所遍历的三等分退化点，即对该楔形退化点与三等分退化点进行消亡操作。
具体地，退化点消亡的操作可以允许一对不想要的楔形退化点和三等分退化点消亡，这样可以得到更加平滑的且拓扑关系更加简单的张量场。然而，不是每一对楔形退化点和三等分退化点都是可以消亡的，因为每一个楔形退化点和三等分退化点都意味着场的拓扑结构关系，如果直接将楔形退化点和三等分退化点对进行消亡则会破坏张量场的拓扑结构。因此，如何检测哪些退化点对是可以消亡的就是这个部分的重点。为此，设置当在拓扑图中的一对楔形退化点和三等分退化点的距离足够近，那么就可以被消亡该楔形退化点和三等分退化点。在定义距离阈值的时候，首先对这对楔形退化点和三等分退化点的重要性进行判断，看是否需要进行消亡。例如定义一个单一的退化点的特征大小，这里使用这个点到最近的几何边缘的距离，也就是一个退化点到边缘的距离，即到投影区域的距离，因为投影区域是存在物体的投影所形成的，所以该距离即退化点到障碍物的距离。因此，对于一对楔形退化点三等分退化点对(pW,pT)，如果两个点之间的距离小于两个单独的点到边缘的距离之和，则进行消亡操作：
ds(pW,pT)<lfs(pW)+lfs(pT)
其中，ds(·,·)代表两个点之间的最短距离，lfs(·)是该退化点的特征大小，也就是这个点到附近边界的最短距离。因此，一旦检测到一对可以消亡的退化点，可以找到一个邻域，在这个邻域中不断对这对场进行迭代并更新，直到每一个内部的点都变得整齐，如图21。
在得到机器人规划路径后，沿着机器人规划路径需要计算相机的轨迹以扫描场景。相机控制不仅要考虑高效率高质量的重建结果，还要受到机器人规划路径的约束。
在其中一个实施例中，参阅图24，图24为图2所示实施例的步骤S208的流程图，该步骤S208，即根据机器人规划路径以及相机的能量方程获取相机规划路径的步骤可以包括：
S2402：获取相机的能量方程。
具体地，计算出的相机规划路径要满足以下条件：首先，为了满足扫描的效率，相机规划路径上的每一个点都需要尽可能多的去覆盖到还没有扫描到的区域和无知区域，然而为了保证重建的质量，单纯的满足尽可能多的覆盖未知区域是不够的，在相机的视域范围内，每一次扫描最好是尽可能的朝向目标表面的法向，这样可以保证最好的扫描质量。其次，为了保证实时重建时每一帧之间可以配准，相机的线速度和角速度都应该有一个阈值进行约束。再次，给定一个机器人规划路径，因为受限于机器人规划路径，因此需要机器人手臂上的相机的每一个点都是机器人可以达到的。综合以上的这些要求，通过以下的能量方程来对相机规划路径进行优化：
E＝∫0 1(-ωvV(q(t),α(t))+ωLq″(t)+ωAα″(t))dt
q(t)∈Ψ(p(t))，q′(t)<vm，α′(t)<am，t∈[0,1]
其中，p(t)是表示机器人规划路径的参数化的曲线分割，q是相机规划路径的曲线分割，ωv是信息增益，ωL是线加速度，ωA是角加速度项的参数。对于相机轨迹上的每个点，每一个视角都包括一个位置q(t)和一个观测的角度α(t)，V(q(t),α(t))度量了在重建过程中该视角的信息增益，从而度量了该视角的质量。Ψ(p(t))是机器人站在p(t)点的时候手臂能够到达的空间区域的集合，vm和am分别代表线速度和角速度的最大阈值。
为了求解上述能量方程，将机器人规划路径p进行采样，然后最小化一下的离散的能量函数：
qs∈Ψ(ps),qs+1-qs-1<2vm,as+1-as-1<2am,s＝1,…,S-1
其中，ps为s时刻机器人规划路径上的采样点，qs为s时刻机器人规划路径上的采样点，qs-1为s-1时刻机器人规划路径上的采样点，qs+1为s+1时刻机器人规划路径上的采样点，as为s时刻相机的视角，as-1为s-1时刻相机的视角，as+1为s+1时刻相机的视角。
该方程是一个高度的非凸函数，因为一个视角下的重建质量和机器人手臂的活动空间很难计算出来。因此将这个问题进行了简化，通过将机器人规划路径上的一个点对应的相机视角空间进行离散化，成为一系列离散的视点，然后求解这个线性规划问题。
S2404：通过采样机器人规划路径，获取相机的能量方程的最小值以得到相机的轨迹点。
具体地，离散视角选择：对于每个机器人规划路径上的采样点ps，我们在机器人手臂能到达到的空间内采样C个点：对于每个可以达到的点在保证重建质量的基础上计算出最好的观测角度为s时刻相机有多个视角在i点，这样就会有一系列的可能的视点集合如图25所示。因此，优化问题就可以简化为一个0-1的二值的线性规划问题，也就是说，每一个决定取值是0或者1。代表机器人规划路径上的采样点ps上的第i个点被选中，反之，如果没有被选中，满足以下公式：
s＝1,…,S-1,
i,j＝1,…,C.
其中，通过制定限定了对于机器人规划路径上的每一个采样点，只能选取一个候选的相机视点。
S2406：将所获得的相机的轨迹点进行插值得到相机的相机规划路径。
具体地，对于每一个机器人规划路径上的点都有了对应的手臂上相机的位置点，那么下一步就是将这些最佳的视点进行连接，并拟合出一条平滑的轨迹。此处可以使用三次赫米特样条插值的方法来对每个视点进行插值。每一个视点的方向的正切值是通过使用相机朝向的方向和y轴的方向进行点积的方法得到的，然后基于旋转最小帧的方法对这条轨迹进行插值，确保插值的两个帧之间的总共的角速度最小。图26中展示了沿着一条机器人规划路径计算出来的相机规划路径的例子，其中下方的路径代表机器人规划路径，上方的路径代表计算出来的相机规划路径。
在其中一个实施例中，参阅图27，图27为一实施例中的场景重建装置的示意图，该场景重建装置包括：
关键帧生成模块100，用于获取所拍摄的深度图像，并根据深度图像生成当前张量场关键帧。
插值模块200，用于对当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧。
机器人路径规划模块300，用于根据当前张量场关键帧、上一张量场关键帧以及插值张量场关键帧，通过粒子漂流算法得到机器人规划路径。
相机路径规划模块400，用于根据机器人规划路径以及相机的能量方程获取相机规划路径。
场景重建模块500，用于通过机器人沿机器人规划路径行走、相机沿相机规划路径行走时所拍摄的深度图像，重建场景。
在其中一个实施例中，关键帧生成模块100可以包括：
区域获取单元，用于获取高度小于等于机器人的物体在深度图像中所对应的区域。
投影单元，用于将高度小于等于机器人的物体在深度图像中所对应的区域投影至预设平面。
约束点采样单元，用于对在预设平面中的投影区域进行边界点采样以获得约束点。
基础张量获取单元，用于获取约束点的基础张量。
生成单元，用于根据所采样的所有约束点的基础张量生成当前张量场关键帧。
在其中一个实施例中，插值模块200可以包括：
函数构造单元，用于获取当前张量场关键帧的标量场和上一张量场关键帧的标量场，并构造双调能量函数。
插值张量场关键帧获取单元，用于将当前张量场关键帧的标量场和上一张量场关键帧的标量场作为狄利克雷边界条件，最小化双调能量函数以得到插值张量场关键帧。
在其中一个实施例中，机器人路径规划模块300可以包括：
方向获取单元，用于根据机器人的朝向获取当前张量场关键帧的方向、上一张量场关键帧的方向以及插值张量场关键帧的方向。
向量场获取单元，用于根据当前张量场关键帧的方向获取当前张量场关键帧的向量场，根据上一张量场关键帧的方向获取上一张量场关键帧的向量场，根据插值张量场关键帧的方向获取插值张量场关键帧的向量场。
路径规划单元，用于根据粒子漂流算法，通过以下公式得到机器人规划路径：
其中，p(t)为机器人规划路径，p0为t0时刻机器人的位置，V(p(s)；t0+t)为机器人在t0+t时刻的p(s)位置处速度。
在其中一个实施例中，装置还可以包括：
拓扑图生成模块，用于获取机器人规划路径上的所有退化点，并根据机器人规划路径上的所有退化点生成场景拓扑图。
退化点获取模块，用于获取场景拓扑图中每一条边的信息增益；当场景拓扑图中存在一条边的信息增益大于等于阈值时，则获取机器人规划路径上的、距离机器人最近的退化点。
最小生成树获取模块，用于当机器人规划路径上的、距离机器人最近的退化点为三等分退化点时，则根据机器人的当前位置，获取场景拓扑图的最小生成树。
路径修正模块，用于计算每一最小生成树的代价，并选取代价最小的最小生成树所对应的路径修正机器人规划路径；当机器人规划路径上的、距离机器人最近的退化点为楔形退化点时，则当机器人行走至楔形退化点时，重新规划机器人的机器人规划路径。
在其中一个实施例中，该装置还可以包括：
遍历模块，用于遍历机器人规划路径上的所有退化点，且当所遍历到的退化点为楔形退化点时，则判断楔形退化点是否为场景拓扑图中的末端点。
退化点移动模块，用于当楔形退化点为场景拓扑图中的末端点时，则将楔形退化点向远离场景拓扑图中的末端点的方向移动第一预设距离；当楔形退化点处机器人重新规划的机器人规划路径与机器人原来的机器人规划路径之间的夹角小于90度时，则将楔形退化点向夹角的开口方向移动第二预设距离；当退化点为三等分退化点时，则根据在预设平面中的投影区域，将三等分退化点向远离投影区域的方向移动第三预设距离。
在其中一个实施例中，该装置还可以包括：退化点删除模块，用于当所遍历的楔形退化点与所遍历的三等分退化点至投影区域的距离的和，大于所遍历的楔形退化点与所遍历的三等分退化点之间的距离时，则删除所遍历的楔形退化点与所遍历的三等分退化点。
在其中一个实施例中，相机路径规划模块400可以包括：
能量方程获取单元，用于获取相机的能量方程。
机器人规划路径采样单元，用于通过采样机器人规划路径，获取相机的能量方程的最小值以得到相机的轨迹点。
插值单元，用于将所获得的相机的轨迹点进行插值得到相机的相机规划路径。
关于场景重建装置的具体限定可以参见上文中对于场景重建方法的限定，在此不再赘述。
请参阅图28，图28为一实施例中的计算机设备的结构示意图，该计算机设备可以集成于机器人中，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中该存储器可以包括非易失性存储介质以及内存储器，该计算机程序可以存储在该非易失性存储介质中，处理器执行程序时实现以下步骤：获取所拍摄的深度图像，并根据深度图像生成当前张量场关键帧；对当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；根据当前张量场关键帧、上一张量场关键帧以及插值张量场关键帧，通过粒子漂流算法得到机器人规划路径；根据机器人规划路径以及相机的能量方程获取相机规划路径；通过机器人沿机器人规划路径行走、相机沿相机规划路径行走时所拍摄的深度图像，重建场景。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：获取高度小于等于机器人的物体在深度图像中所对应的区域；将高度小于等于机器人的物体在深度图像中所对应的区域投影至预设平面；对在预设平面中的投影区域进行边界点采样以获得约束点；获取约束点的基础张量；根据所采样的所有约束点的基础张量生成当前张量场关键帧。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：获取当前张量场关键帧的标量场和上一张量场关键帧的标量场，并构造双调能量函数；将当前张量场关键帧的标量场和上一张量场关键帧的标量场作为狄利克雷边界条件，最小化双调能量函数以得到插值张量场关键帧。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：根据机器人的朝向获取当前张量场关键帧的方向、上一张量场关键帧的方向以及插值张量场关键帧的方向；根据当前张量场关键帧的方向获取当前张量场关键帧的向量场，根据上一张量场关键帧的方向获取上一张量场关键帧的向量场，根据插值张量场关键帧的方向获取插值张量场关键帧的向量场；根据粒子漂流算法，通过以下公式得到机器人规划路径：
p(t)＝p0+∫0 tV(p(s)；t0+t)ds
其中，p(t)为机器人规划路径，p0为t0时刻机器人的位置，V(p(s)；t0+t)为机器人在t0+t时刻的p(s)位置处速度。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：获取机器人规划路径上的所有退化点，并根据机器人规划路径上的所有退化点生成场景拓扑图；获取场景拓扑图中每一条边的信息增益；当场景拓扑图中存在一条边的信息增益大于等于阈值时，则获取机器人规划路径上的、距离机器人最近的退化点；当机器人规划路径上的、距离机器人最近的退化点为三等分退化点时，则根据机器人的当前位置，获取场景拓扑图的最小生成树；计算每一最小生成树的代价，并选取代价最小的最小生成树所对应的路径修正机器人规划路径；当机器人规划路径上的、距离机器人最近的退化点为楔形退化点时，则当机器人行走至楔形退化点时，重新规划机器人的机器人规划路径。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：遍历机器人规划路径上的所有退化点，且当所遍历到的退化点为楔形退化点时，则判断楔形退化点是否为场景拓扑图中的末端点；当楔形退化点为场景拓扑图中的末端点时，则将楔形退化点向远离场景拓扑图中的末端点的方向移动第一预设距离；当楔形退化点处机器人重新规划的机器人规划路径与机器人原来的机器人规划路径之间的夹角小于90度时，则将楔形退化点向夹角的开口方向移动第二预设距离；当退化点为三等分退化点时，则根据在预设平面中的投影区域，将三等分退化点向远离投影区域的方向移动第三预设距离。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：当所遍历的楔形退化点与所遍历的三等分退化点至投影区域的距离的和，大于所遍历的楔形退化点与所遍历的三等分退化点之间的距离时，则删除所遍历的楔形退化点与所遍历的三等分退化点。
在其中一个实施例中，处理器执行程序时还可以实现以下步骤：获取相机的能量方程；通过采样机器人规划路径，获取相机的能量方程的最小值以得到相机的轨迹点；将所获得的相机的轨迹点进行插值得到相机的相机规划路径。
上述对于计算机设备的限定可以参见上文中对于场景重建方法的具体限定，在此不再赘述。
请继续参阅图28，还提供一种计算机可读存储介质，其上存储有计算机程序，如图28中所示的非易失性存储介质，其中，该程序被处理器执行时实现以下步骤：获取所拍摄的深度图像，并根据深度图像生成当前张量场关键帧；对当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；根据当前张量场关键帧、上一张量场关键帧以及插值张量场关键帧，通过粒子漂流算法得到机器人规划路径；根据机器人规划路径以及相机的能量方程获取相机规划路径；通过机器人沿机器人规划路径行走、相机沿相机规划路径行走时所拍摄的深度图像，重建场景。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：获取高度小于等于机器人的物体在深度图像中所对应的区域；将高度小于等于机器人的物体在深度图像中所对应的区域投影至预设平面；对在预设平面中的投影区域进行边界点采样以获得约束点；获取约束点的基础张量；根据所采样的所有约束点的基础张量生成当前张量场关键帧。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：获取当前张量场关键帧的标量场和上一张量场关键帧的标量场，并构造双调能量函数；将当前张量场关键帧的标量场和上一张量场关键帧的标量场作为狄利克雷边界条件，最小化双调能量函数以得到插值张量场关键帧。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：根据机器人的朝向获取当前张量场关键帧的方向、上一张量场关键帧的方向以及插值张量场关键帧的方向；根据当前张量场关键帧的方向获取当前张量场关键帧的向量场，根据上一张量场关键帧的方向获取上一张量场关键帧的向量场，根据插值张量场关键帧的方向获取插值张量场关键帧的向量场；根据粒子漂流算法，通过以下公式得到机器人规划路径：
p(t)＝p0+∫0 tV(p(s)；t0+t)ds
其中，p(t)为机器人规划路径，p0为t0时刻机器人的位置，V(p(s)；t0+t)为机器人在t0+t时刻的p(s)位置处速度。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：获取机器人规划路径上的所有退化点，并根据机器人规划路径上的所有退化点生成场景拓扑图；获取场景拓扑图中每一条边的信息增益；当场景拓扑图中存在一条边的信息增益大于等于阈值时，则获取机器人规划路径上的、距离机器人最近的退化点；当机器人规划路径上的、距离机器人最近的退化点为三等分退化点时，则根据机器人的当前位置，获取场景拓扑图的最小生成树；计算每一最小生成树的代价，并选取代价最小的最小生成树所对应的路径修正机器人规划路径；当机器人规划路径上的、距离机器人最近的退化点为楔形退化点时，则当机器人行走至楔形退化点时，重新规划机器人的机器人规划路径。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：遍历机器人规划路径上的所有退化点，且当所遍历到的退化点为楔形退化点时，则判断楔形退化点是否为场景拓扑图中的末端点；当楔形退化点为场景拓扑图中的末端点时，则将楔形退化点向远离场景拓扑图中的末端点的方向移动第一预设距离；当楔形退化点处机器人重新规划的机器人规划路径与机器人原来的机器人规划路径之间的夹角小于90度时，则将楔形退化点向夹角的开口方向移动第二预设距离；当退化点为三等分退化点时，则根据在预设平面中的投影区域，将三等分退化点向远离投影区域的方向移动第三预设距离。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：当所遍历的楔形退化点与所遍历的三等分退化点至投影区域的距离的和，大于所遍历的楔形退化点与所遍历的三等分退化点之间的距离时，则删除所遍历的楔形退化点与所遍历的三等分退化点。
在其中一个实施例中，该程序被处理器执行时还可以实现以下步骤：获取相机的能量方程；通过采样机器人规划路径，获取相机的能量方程的最小值以得到相机的轨迹点；将所获得的相机的轨迹点进行插值得到相机的相机规划路径。
上述对于计算机可读存储介质的限定可以参见上文中对于场景重建方法的具体限定，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种场景重建方法，其特征在于，所述方法包括：
获取所拍摄的深度图像，并根据所述深度图像生成当前张量场关键帧；
对所述当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；
根据所述当前张量场关键帧、所述上一张量场关键帧以及所述插值张量场关键帧，通过粒子漂流算法得到机器人规划路径；
根据所述机器人规划路径以及相机的能量方程获取相机规划路径；
通过机器人沿所述机器人规划路径行走、相机沿所述相机规划路径行走时所拍摄的深度图像，重建场景。
2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像生成当前张量场关键帧的步骤，包括：
获取高度小于等于机器人的物体在所述深度图像中所对应的区域；
将高度小于等于机器人的物体在所述深度图像中所对应的区域投影至预设平面；
对在所述预设平面中的投影区域进行边界点采样以获得约束点；
获取所述约束点的基础张量；
根据所采样的所有约束点的基础张量生成当前张量场关键帧。
3.根据权利要求2所述的方法，其特征在于，所述对所述当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧的步骤，包括：
获取当前张量场关键帧的标量场和上一张量场关键帧的标量场，并构造双调能量函数；
将所述当前张量场关键帧的标量场和上一张量场关键帧的标量场作为狄利克雷边界条件，最小化所述双调能量函数以得到插值张量场关键帧。
4.根据权利要求3所述的方法，其特征在于，所述根据所述当前张量场关键帧、所述上一张量场关键帧以及所述插值张量场关键帧，通过粒子漂流算法得到机器人规划路径的步骤，包括：
根据机器人的朝向获取所述当前张量场关键帧的方向、所述上一张量场关键帧的方向以及所述插值张量场关键帧的方向；
根据所述当前张量场关键帧的方向获取所述当前张量场关键帧的向量场，根据所述上一张量场关键帧的方向获取所述上一张量场关键帧的向量场，根据所述插值张量场关键帧的方向获取所述插值张量场关键帧的向量场；
根据粒子漂流算法，通过以下公式得到机器人规划路径：
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>p</mi> <mn>0</mn> </msub> <mo>+</mo> <msubsup> <mo>&amp;Integral;</mo> <mn>0</mn> <mi>t</mi> </msubsup> <mi>V</mi> <mrow> <mo>(</mo> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>;</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> <mo>+</mo> <mi>t</mi> <mo>)</mo> </mrow> <mi>ds</mi> </mrow>
其中，p(t)为机器人规划路径，p0为t0时刻机器人的位置，V(p(s)；t0+t)为机器人在t0+t时刻的p(s)位置处速度。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述机器人规划路径上的所有退化点，并根据所述机器人规划路径上的所有退化点生成场景拓扑图；
获取所述场景拓扑图中每一条边的信息增益；
当所述场景拓扑图中存在一条边的信息增益大于等于阈值时，则获取所述机器人规划路径上的、距离所述机器人最近的退化点；
当所述机器人规划路径上的、距离所述机器人最近的退化点为三等分退化点时，则根据所述机器人的当前位置，获取所述场景拓扑图的最小生成树；
计算每一最小生成树的代价，并选取代价最小的最小生成树所对应的路径修正所述机器人规划路径；
当所述机器人规划路径上的、距离所述机器人最近的退化点为楔形退化点时，则当所述机器人行走至所述楔形退化点时，重新规划所述机器人的机器人规划路径。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
遍历所述机器人规划路径上的所有退化点，且当所遍历到的退化点为楔形退化点时，则判断所述楔形退化点是否为所述场景拓扑图中的末端点；
当所述楔形退化点为所述场景拓扑图中的末端点时，则将所述楔形退化点向远离所述场景拓扑图中的末端点的方向移动第一预设距离；
当所述楔形退化点处所述机器人重新规划的机器人规划路径与所述机器人原来的机器人规划路径之间的夹角小于90度时，则将所述楔形退化点向所述夹角的开口方向移动第二预设距离；
当所述退化点为三等分退化点时，则根据在所述预设平面中的投影区域，将所述三等分退化点向远离所述投影区域的方向移动第三预设距离。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所遍历的楔形退化点与所遍历的三等分退化点至所述投影区域的距离的和，大于所遍历的楔形退化点与所遍历的三等分退化点之间的距离时，则删除所遍历的楔形退化点与所遍历的三等分退化点。
8.根据权利要求1所述的方法，其特征在于，所述根据所述机器人规划路径以及相机的能量方程获取相机规划路径的步骤，包括：
获取相机的能量方程；
通过采样所述机器人规划路径，获取所述相机的能量方程的最小值以得到所述相机的轨迹点；
将所获得的相机的轨迹点进行插值得到所述相机的相机规划路径。
9.一种场景重建装置，其特征在于，所述装置包括：
关键帧生成模块，用于获取所拍摄的深度图像，并根据所述深度图像生成当前张量场关键帧；
插值模块，用于对所述当前张量场关键帧和上一张量场关键帧进行时空插值得到插值张量场关键帧；
机器人路径规划模块，用于根据所述当前张量场关键帧、所述上一张量场关键帧以及所述插值张量场关键帧，通过粒子漂流算法得到机器人规划路径；
相机路径规划模块，用于根据所述机器人规划路径以及相机的能量方程获取相机规划路径；
场景重建模块，用于通过所述机器人沿所述机器人规划路径行走、所述相机沿所述相机规划路径行走时所拍摄的深度图像，重建场景。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任意一项所述方法中的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述方法中的步骤。
CN201710613012.5A 2017-07-25 2017-07-25 场景重建方法、装置、计算机设备以及计算机存储介质 Active CN107610212B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710613012.5A CN107610212B (zh) 2017-07-25 2017-07-25 场景重建方法、装置、计算机设备以及计算机存储介质
US15/712,152 US10366503B2 (en) 2017-07-25 2017-09-22 Method and apparatus of scene reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710613012.5A CN107610212B (zh) 2017-07-25 2017-07-25 场景重建方法、装置、计算机设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN107610212A true CN107610212A (zh) 2018-01-19
CN107610212B CN107610212B (zh) 2020-05-12

Family

ID=61059579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710613012.5A Active CN107610212B (zh) 2017-07-25 2017-07-25 场景重建方法、装置、计算机设备以及计算机存储介质

Country Status (2)

Country Link
US (1) US10366503B2 (zh)
CN (1) CN107610212B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320322A (zh) * 2018-02-11 2018-07-24 腾讯科技(成都)有限公司 动画数据处理方法、装置、计算机设备和存储介质
CN111796586A (zh) * 2019-03-19 2020-10-20 北京奇虎科技有限公司 一种智能移动设备的局部路径规划方法和装置
CN112161622A (zh) * 2020-08-28 2021-01-01 深圳市优必选科技股份有限公司 一种机器人足迹规划方法、装置、可读存储介质及机器人
CN112258445A (zh) * 2020-08-21 2021-01-22 西北工业大学 一种航空发动机错漏装检测视点求解方法
CN112884894A (zh) * 2021-04-28 2021-06-01 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
CN113624239A (zh) * 2021-08-11 2021-11-09 火种源码(中山)科技有限公司 基于层级可开关稀疏位姿图优化的激光建图方法及装置
CN115338873A (zh) * 2022-10-19 2022-11-15 四川爱麓智能科技有限公司 一种基于多参多维距离场数字化的机器人运动规划方法
CN117470253A (zh) * 2023-12-28 2024-01-30 中国人民解放军国防科技大学 基于张量场的机器人路径规划方法、装置、设备及介质
CN113624239B (zh) * 2021-08-11 2024-05-31 火种源码(中山)科技有限公司 基于层级可开关稀疏位姿图优化的激光建图方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008728B (zh) * 2017-12-12 2020-01-17 深圳市银星智能科技股份有限公司 清洁机器人以及基于清洁机器人的最短路径规划方法
US11465282B2 (en) * 2018-08-27 2022-10-11 Teradyne, Inc. System and method for multi-goal path planning
CN111191976B (zh) * 2019-11-29 2023-06-27 北京京东乾石科技有限公司 动态路径规划方法和装置
CN110941277B (zh) * 2019-12-13 2023-02-17 华南智能机器人创新研究院 一种小车路线规划方法及系统
CN112327851B (zh) * 2020-11-09 2023-08-22 达闼机器人股份有限公司 基于点云的地图校准方法、系统、机器人及云端平台
US11720108B2 (en) * 2020-12-22 2023-08-08 Baidu Usa Llc Natural language based indoor autonomous navigation
CN113012149B (zh) * 2021-04-14 2024-03-15 北京铁道工程机电技术研究所股份有限公司 一种智能清洗机器人路径规划方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
US8705893B1 (en) * 2013-03-14 2014-04-22 Palo Alto Research Center Incorporated Apparatus and method for creating floor plans
CN105225269A (zh) * 2015-09-22 2016-01-06 浙江大学 基于运动机构的三维物体建模系统
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
CN106826833A (zh) * 2017-03-01 2017-06-13 西南科技大学 基于3d立体感知技术的自主导航机器人系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099805B2 (en) * 2001-08-30 2006-08-29 International Business Machines Corporation Tetrahedralization of non-conformal three-dimensional mixed element meshes
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7050909B2 (en) * 2004-01-29 2006-05-23 Northrop Grumman Corporation Automatic taxi manager
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US8855846B2 (en) * 2005-10-20 2014-10-07 Jason W. Grzywna System and method for onboard vision processing
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
WO2016033797A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
JP6181300B2 (ja) * 2014-09-05 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機の速度を制御するシステム
CN112904892A (zh) * 2014-10-31 2021-06-04 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
CN113093808A (zh) * 2015-05-23 2021-07-09 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
US10694155B2 (en) * 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
US9663227B1 (en) * 2015-12-22 2017-05-30 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US10877438B2 (en) * 2016-01-07 2020-12-29 Magic Leap, Inc. Dynamic fresnel projector
CN106125730B (zh) * 2016-07-10 2019-04-30 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
US10482619B2 (en) * 2017-07-27 2019-11-19 AI Incorporated Method and apparatus for combining data to construct a floor plan

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
US8705893B1 (en) * 2013-03-14 2014-04-22 Palo Alto Research Center Incorporated Apparatus and method for creating floor plans
CN105225269A (zh) * 2015-09-22 2016-01-06 浙江大学 基于运动机构的三维物体建模系统
CN106826833A (zh) * 2017-03-01 2017-06-13 西南科技大学 基于3d立体感知技术的自主导航机器人系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡晨贾农 等: "基于KinectFusion的室内场景平面结构重建", 《系统仿真学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320322A (zh) * 2018-02-11 2018-07-24 腾讯科技(成都)有限公司 动画数据处理方法、装置、计算机设备和存储介质
CN108320322B (zh) * 2018-02-11 2021-06-08 腾讯科技(成都)有限公司 动画数据处理方法、装置、计算机设备和存储介质
CN111796586A (zh) * 2019-03-19 2020-10-20 北京奇虎科技有限公司 一种智能移动设备的局部路径规划方法和装置
CN112258445A (zh) * 2020-08-21 2021-01-22 西北工业大学 一种航空发动机错漏装检测视点求解方法
CN112258445B (zh) * 2020-08-21 2022-08-02 西北工业大学 一种航空发动机错漏装检测视点求解方法
CN112161622B (zh) * 2020-08-28 2022-07-19 深圳市优必选科技股份有限公司 一种机器人足迹规划方法、装置、可读存储介质及机器人
CN112161622A (zh) * 2020-08-28 2021-01-01 深圳市优必选科技股份有限公司 一种机器人足迹规划方法、装置、可读存储介质及机器人
CN112884894A (zh) * 2021-04-28 2021-06-01 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
CN112884894B (zh) * 2021-04-28 2021-09-21 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
US11640696B2 (en) 2021-04-28 2023-05-02 Shenzhen University Method, computer device, and storage medium for exploring and collecting scene reconstruction data
CN113624239A (zh) * 2021-08-11 2021-11-09 火种源码(中山)科技有限公司 基于层级可开关稀疏位姿图优化的激光建图方法及装置
CN113624239B (zh) * 2021-08-11 2024-05-31 火种源码(中山)科技有限公司 基于层级可开关稀疏位姿图优化的激光建图方法及装置
CN115338873A (zh) * 2022-10-19 2022-11-15 四川爱麓智能科技有限公司 一种基于多参多维距离场数字化的机器人运动规划方法
CN115338873B (zh) * 2022-10-19 2022-12-16 四川爱麓智能科技有限公司 一种基于多参多维距离场数字化的机器人运动规划方法
CN117470253A (zh) * 2023-12-28 2024-01-30 中国人民解放军国防科技大学 基于张量场的机器人路径规划方法、装置、设备及介质
CN117470253B (zh) * 2023-12-28 2024-03-22 中国人民解放军国防科技大学 基于张量场的机器人路径规划方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107610212B (zh) 2020-05-12
US10366503B2 (en) 2019-07-30
US20190035096A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
CN107610212B (zh) 场景重建方法、装置、计算机设备以及计算机存储介质
Strasdat Local accuracy and global consistency for efficient visual SLAM
Weiss et al. Intuitive 3D maps for MAV terrain exploration and obstacle avoidance
Delage et al. Automatic single-image 3d reconstructions of indoor manhattan world scenes
Rummelhard et al. Ground estimation and point cloud segmentation using spatiotemporal conditional random field
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Forster et al. Appearance-based active, monocular, dense reconstruction for micro aerial vehicles
JP2019520633A (ja) リアルタイムの高さマップ作成
JP5012615B2 (ja) 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN111609852A (zh) 语义地图构建方法、扫地机器人及电子设备
Schmuck et al. Hybrid metric-topological 3d occupancy grid maps for large-scale mapping
KR20150144727A (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN111198378B (zh) 基于边界的自主探索方法和装置
Teixeira et al. Real-time mesh-based scene estimation for aerial inspection
WO2024104188A1 (zh) 轨迹碰撞风险评估方法、装置、电子设备和存储介质
CN112270736A (zh) 增强现实处理方法及装置、存储介质和电子设备
Wang et al. Quadtree-accelerated real-time monocular dense mapping
Teixeira et al. Real-time local 3D reconstruction for aerial inspection using superpixel expansion
Song et al. Active 3D modeling via online multi-view stereo
CN110084825B (zh) 一种基于图像边缘信息导航的方法及系统
KR101878390B1 (ko) 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법
Valente et al. Information-seeking control under visibility-based uncertainty
Hoa et al. Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm
US11992950B2 (en) Mobile robot control apparatus for three dimensional modeling, three dimensional modeling system having the same and method of three dimensional modeling using the same
CN115097870A (zh) 一种基于数字高程地图的无人机避障航迹规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant