CN112150620A - 使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射 - Google Patents

使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射 Download PDF

Info

Publication number
CN112150620A
CN112150620A CN202010589260.2A CN202010589260A CN112150620A CN 112150620 A CN112150620 A CN 112150620A CN 202010589260 A CN202010589260 A CN 202010589260A CN 112150620 A CN112150620 A CN 112150620A
Authority
CN
China
Prior art keywords
environment
camera
consecutive
depth
processing circuitry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010589260.2A
Other languages
English (en)
Inventor
黄金明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN112150620A publication Critical patent/CN112150620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

在一些示例中，系统包括距离传感器，该距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成环境的两个或更多个连续扫描。该系统还包括相机，该相机被配置为捕获环境的两个或更多个连续相机图像，其中环境的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该系统还包括处理电路，该处理电路被配置为基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。

Description

使用距离传感器多次扫描和来自连续图像帧的多视图几何结 构的密集映射
技术领域
本公开涉及三维映射。
背景技术
户外三维重建可用于许多应用，诸如自主导航、飞行器的定位、映射、障碍物避免和许多其他应用。然而，由于三维地图的大比例、地图中的未成形特征以及不良的照明条件，三维重建可能是具有挑战性的。创建具有高质量结果的全自动和实时建模过程带来了困难，因为采集、存储和匹配数据的过程在存储器和时间方面都是昂贵的。
用于三维重建的基于视觉的方法具有相对低的成本和高的空间分辨率。然而，用于场景重建的基于视觉的同时定位和映射(vSLAM)解决方案遭受比例因子累积漂移和回路闭合问题。由于图像质量差，vSLAM过程的输出可能不准确，这可能是由外部因素引起的，诸如照明不良、纹理缺乏、遮挡或移动对象。
基于毫米波(MMW)雷达的解决方案提供了与照明和天气条件无关的更高可靠性的优点。然而，MMW雷达无法识别目标的高度、形状和尺寸。此外，MMW雷达的深度输出非常稀疏。
基于激光雷达的解决方案为场景重建提供大量准确的三维点。然而，大量数据的对准需要大量处理算法，这可为占用大量内存并且耗时的。使用基于点云的方法重建的场景通常具有非结构化表示，并且不能直接表示为连接表面。与雷达相比，激光雷达通常更昂贵并且受到外部照明和天气条件(例如，雨滴、粉尘颗粒和极端阳光)的影响，这可导致噪声测量。
发明内容
一般来讲，本公开涉及用于使用由距离传感器执行的连续扫描和由相机捕获的连续图像来生成环境的三维地图的系统、设备和技术。系统可基于对对象在环境中的深度的估计来生成环境的密集三维地图。该系统可以融合距离传感器扫描和相机图像以生成三维地图，并且可以基于新采集的扫描和相机图像连续地更新三维地图。
在一些示例中，系统包括距离传感器，该距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成环境的两个或更多个连续扫描。该系统还包括相机，该相机被配置为捕获环境的两个或更多个连续相机图像，其中环境的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该系统还包括处理电路，该处理电路被配置为基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。
在一些示例中，一种方法包括由处理电路从距离传感器接收由距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境中的对象反射的信号导出的信息。该方法还包括由处理电路接收由相机捕获的环境的两个或更多个连续相机图像，其中对象的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该方法还包括由处理电路基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。
在一些示例中，设备包括计算机可读介质，该计算机可读介质具有存储在其上的可执行指令，该可执行指令被配置为可由处理电路执行以使处理电路从距离传感器接收：由距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境中的对象反射的信号导出的信息。该设备还包括用于使得处理电路从相机接收环境的两个或更多个连续相机图像的指令，其中两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该设备还包括用于使得处理电路基于两个或更多个连续扫描和两个或更多个连续相机图像来生成环境的三维地图的指令。
本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。
附图说明
图1是根据本公开的一些示例的包括距离传感器和相机的系统的概念框图。
图2是根据本公开的一些示例的无人机的概念框图，该无人机包括用于生成环境的三维地图的系统。
图3是示出根据本公开的一些示例的基于多视图几何结构和距离传感器的连续扫描生成三维地图的图示。
图4是根据本公开的一些示例的用于基于空间成本体积确定精细深度估计的流程图。
图5是示出根据本公开的一些示例的包括距离传感器和相机的系统的几何结构的图示。
图6是示出根据本公开的一些示例的用于基于连续图像和连续扫描来生成环境的三维地图的示例性过程的流程图。
图7是示出根据本公开的一些示例的使用连续图像和连续扫描进行多视图几何结构处理的示例性过程的流程图。
具体实施方式
下文描述了用于通过将相机图像与由距离传感器执行的连续扫描组合来生成环境的三维地图的各种示例。为了生成三维地图，系统可基于由相机捕获的顺序图像以及基于由距离传感器执行的连续扫描来生成环境的多视图几何结构。系统可组合多视图几何结构和连续的距离传感器扫描以形成围绕距离传感器和相机的环境的密集地图。当系统生成三维地图时，系统考虑距离传感器和相机在三维环境中的平移运动和旋转运动。
系统可使用顺序相机图像来执行视觉同时定位和映射(vSLAM)，以在相机在整个三维环境中移动时形成多视图几何结构。系统可基于由距离传感器接收的反射来确定三维空间中对象的深度估计。系统可以将距离传感器返回用作约束，以微调来自vSLAM过程的深度估计。当系统接收到新的相机图像以及来自距离传感器的返回信息时，系统可更新环境的密集地图。
与执行一个图像和由距离传感器执行的一次扫描的一次性融合的系统相比，组合多视图和多次扫描的系统可形成并更新周围环境的密集点云。系统可依赖于距离传感器(例如，深度检测能力和对环境条件的稳健性)和相机(例如，高空间分辨率和高角度分辨率)的互补性。
该系统可使用密集点云来跟踪环境内的对象和/或确定相机和距离传感器在环境内的位置。三维地图可用于障碍物检测和地形对象避开以及用于环路飞行员以及自主导航和着陆操作的着陆区间隙。
图1是根据本公开的一些示例的包括距离传感器110和相机120的系统100的概念框图。系统100包括距离传感器110、相机120、处理电路130、定位设备140和存储器150。系统100可安装在在整个三维环境中移动的车辆上，使得距离传感器110和相机120可具有平移运动和旋转运动。距离传感器110和相机120可各自以六个自由度(例如，俯仰、侧倾和偏航)移动，以及平移运动。
系统100可安装在车辆或非车辆移动对象上、附接到车辆或非车辆移动对象和/或内置于车辆或非车辆移动对象。在一些示例中，系统100可以安装在飞行器上，诸如飞机、直升机或气象气球，或者安装在太空飞行器诸如卫星或飞船上。在其他示例中，系统100可以安装在陆地车辆(诸如汽车)或水上车辆(诸如船或潜水艇)上。系统100可以安装在有人驾驶的车辆或无人驾驶的车辆上，诸如无人驾驶飞机、遥控车辆或或没有任何飞行员或机组人员的任何合适的车辆。在一些示例中，系统100的一部分(例如，距离传感器110和相机120)可安装在车辆上，并且系统100的另一部分(例如，处理电路130)可在车辆外部。
距离传感器110将信号发射到环境160中并且接收来自环境160的反射信号112。由距离传感器110发射的信号可反射离开对象180并返回到距离传感器110。处理电路130可通过处理由距离传感器110接收的反射信号112来确定从距离传感器110到对象180的距离(例如，深度190)。距离传感器110可包括雷达传感器(例如，毫米波雷达和/或相控阵雷达)、激光雷达传感器和/或超声传感器。距离传感器的示例性细节可见于2017年11月9日提交的名称为“Integrated Radar and ADS-B”的共同转让的美国专利申请公布2018/0246200，以及2018年2月5日提交的名称为“Digital Active Phased Array Radar”的共同转让的美国专利申请公布2019/0113610，这些专利申请的全部内容并入本文。例如，距离传感器110可包括雷达传感器，该雷达传感器被配置为使用电子扫描在少于五秒内或在一些示例中在少于三秒内执行视场的全扫描。
距离传感器110能够以比相机120更高的准确度确定范围或距离(例如，到对象180的深度190)。由距离传感器110基于反射信号112获得的到对象180的深度190的测量值可随着距离的增加而具有恒定范围误差。如下面进一步详细描述的，处理电路130可以基于由相机120捕获的图像来确定深度190的第一估计。然后，处理电路130可基于由距离传感器110接收的反射信号112来确定深度190的第二估计，并且使用第二估计来补充基于相机图像的深度190的第一估计。
距离传感器110可通过将信号发射到部分或全部环境160中并且接收来自环境中的对象的反射信号来执行扫描。距离传感器110可通过以下方式执行连续扫描：跨环境160的一部分或全部发射信号以用于第一扫描，然后通过跨环境160的一部分或全部发射信号以用于第二扫描来重复该过程。
当相机120在环境160内移动时，相机120捕获环境160和对象180的连续或顺序图像。因此，相机120在环境160内的不同位置处捕获图像，并且将所捕获的图像提供给处理电路130以用于生成三维地图和/或提供给存储器150以供存储并且稍后由处理电路130用于映射环境160。相机120可包括视觉相机和/或红外相机。处理电路130可存储针对相机120所捕获的每个图像相机120的位置和姿态信息(例如，平移和旋转)。处理电路130可使用位置和姿态信息来生成环境160的三维地图。相机120可具有比距离传感器110更轻的重量和更低的功率消耗。此外，与距离传感器110相比，相机120能够以更高的准确度感测角度信息。
处理电路130可使用相机120捕获的图像来执行vSLAM，以同时映射环境160并跟踪系统100的位置。vSLAM是使用移动相机和多视图几何结构的基于图像的映射技术。vSLAM包括同时跟踪系统100的移动和映射环境160。在vSLAM方法中，处理电路130可使用对对象在环境160中的深度的估计来跟踪系统100在环境160内的位置。在跟踪步骤期间，处理电路130可被配置成使用来自惯性传感器的姿态信息来跟踪系统在环境160内的位置。然后，处理电路130使用针对每个图像相机130的位置、取向和姿态来生成环境160的地图。在映射步骤期间，处理电路130可通过从与来自跟踪步骤的移动信息融合的多个图像中提取关键点来构建三维地图。
与仅使用图像执行vSLAM的其他系统不同，系统100和处理电路130可以使用来自距离传感器110的连续多次扫描和来自由相机120捕获的顺序图像帧的多视图几何结构，以在给定相机120的旋转和平移的情况下计算空间成本体积的像素级不确定性置信度。处理电路130还可以利用从距离传感器110的多次扫描生成的深度约束分布来微调vSLAM深度估计，以改善深度准确度。
处理电路130可被配置为用已知相机姿态将来自距离传感器110的连续扫描的返回翘曲到扫描的中间视图上。处理电路130可通过将一个视图翘曲到另一个视图来比较相机图像和/或距离传感器图像。基于相机120的已知姿态将来自连续扫描的返回翘曲到扫描的中间视图上可改善中间视图周围的点密度。处理电路130可被配置为基于像素级不确定性置信度计算在深度范围内自适应地间隔开的空间成本体积，并且利用从距离传感器110输出的深度分布来校准vSLAM深度输出并基于vSLAM生成的地图改善深度测量的密度和准确度。
处理电路130基于来自距离传感器110的反射信号112接收返回信息，并且从相机120接收图像。处理电路130可基于从距离传感器110接收的返回信息来生成距离传感器图像。距离传感器图像可各自包括环境160的粗略地图，该粗略地图包括环境160中的对象的深度信息。处理电路130可基于从相机120接收的图像来生成多视图几何结构，并且将多视图几何结构与环境160的粗略地图组合。
处理电路130可匹配距离传感器图像和相机图像中的点以确定对象在环境160中的深度。例如，处理电路130可识别相机图像中的关键点，然后检测距离传感器图像中的对应点。处理电路130可从相机图像提取特征并将所提取的特征与距离传感器图像中的点匹配。关键点检测和匹配的示例细节可见于2018年10月24日提交的标题为“Applying anAnnotation to an Image Based on Keypoint”的共同转让的美国专利申请序列号16/169,879，其全部内容并入本文。
处理电路130可与系统100的其他部件一起安装在车辆上，并且/或者处理电路130可位于车辆外部。例如，如果距离传感器110和相机120安装在无人机(UAV)上，则处理电路130可以位于UAV上和/或地面系统中。系统100可在检查期间执行扫描和捕获环境的图像。在检查之后，UAV可以将数据发送到包括生成环境160的三维地图的处理电路130的基于地面的计算机。然而，处理电路130也可以与UAV上的距离传感器110和相机120协同定位。
无论处理电路130是协同定位还是远离距离传感器110和相机120定位，处理电路130都可以在车辆在整个环境160中移动时生成环境160的三维地图。处理电路130可基于三维地图为车辆生成通过环境160的行进路径。处理电路130可基于当车辆沿着行进路径移动时生成的行进路径来导航车辆并且控制车辆的移动。
定位设备140确定系统100的位置或定位，并将该信息提供给处理电路130。定位设备140可包括卫星导航设备，诸如被配置为从卫星和其他发射器接收定位信号的全球导航卫星系统(GNSS)。GNSS的一个示例是全球定位系统(GPS)。定位设备140可被配置为将所接收的定位信号递送到处理电路130，该处理电路可被配置为确定系统100的位置。处理电路130可基于来自定位设备140的定位数据来确定距离传感器110和相机120的位置。处理电路130还可基于来自导航系统、航向系统、陀螺仪、加速度计和/或用于确定移动对象的取向和航向的任何其他设备的信息来确定位置和取向。例如，系统100可包括具有一个或多个陀螺仪和加速度计的惯性系统。
存储器150存储由处理电路130生成的环境160的三维地图。在一些示例中，存储器150可以存储程序指令，该程序指令可包括可由处理电路120执行的一个或多个程序模块。当由处理电路120执行时，此类程序指令可以使处理电路120提供本文属于其的功能。程序指令可以体现在软件和固件中。存储器150可包括任何易失性、非易失性、磁性、光学或电子介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性RAM(NVRAM)、电可擦可编程ROM(EEPROM)、闪存存储器或任何其他数字媒体。
环境160包括图1中未示出的对象180和其他对象。当处理电路130生成并更新三维地图时，系统100可在整个环境160中移动。此外，当距离传感器110和相机120收集数据时，环境160中的对象可移动。例如，系统100可安装在无人机上并用于检查环境160中的结构。系统100可在检测期间执行扫描和捕获环境160的图像，并且处理电路130可在检测期间或之后生成环境160的三维地图。
对象180位于距系统110的深度190处，但从距离传感器110到对象180的距离可不同于从相机120到对象180的距离。因此，处理电路130可使用距离传感器110和相机120中的每一者的位置和取向来确定对象180在环境160内的位置。
另一系统可以执行由距离传感器执行的单次扫描和由相机捕获的单个图像的一次性融合。该另一系统可使用一次性融合来确定对象的位置，以例如避免车辆与对象之间的碰撞。系统可以识别图像中的对象，然后在扫描信息中找到对象以确定对象与车辆之间的距离。为了确定对象的更新位置，系统可稍后执行另一个相机图像和由距离传感器执行的另一次扫描的另一次融合。系统可以识别后面的图像中的对象，然后在扫描信息中找到该对象。该系统不能使用图像和扫描的一次性融合来构建和更新环境的密集地图。此外，系统不能使用一次性融合来连续确定系统在环境内的位置。
根据本公开的技术，处理电路130可基于由距离传感器110执行的两个或更多个连续扫描以及由相机120捕获的两个或更多个图像来生成环境160的密集地图。使用从距离传感器110接收的扫描，处理电路130可以确定对象在环境160中的深度的准确估计。使用从相机120接收的图像，处理电路130可确定对象在环境160中的角度信息。通过使用连续扫描和连续相机图像，处理电路130可生成并更新环境160的密集三维地图。
处理电路130能够生成环境160的高分辨率地图。例如，系统100可具有水平尺寸为六十度且垂直尺寸为四十五度的视场。距离传感器110的分辨率可小于十分之一度，使得处理电路130生成其中水平尺寸为640个像素、垂直尺寸为480个像素的深度值的三维地图。该示例仅用于例示性目的，并且其他示例是可能的，包括具有更宽视场和/或更高角分辨率的示例。
系统100可以在各种应用中实现。在距离传感器110包括相控阵雷达的示例中，处理电路130可对由距离传感器110接收的雷达回波和由相机120捕获的图像执行传感器融合。处理电路130还可以为在视觉视线之外操作的UAV执行障碍物检测和避开。系统100的增强的深度估计准确度可用于确定障碍物的深度并防止与障碍物碰撞。此外，当GPS不工作时(例如，在GPS被拒绝的区域中)，系统100可提供导航。
在GPS、GNS或蜂窝服务完全可用或可靠的示例中，UAV或城市空中交通(UAM)可使用本公开的技术来进行起飞和着陆期间的内部引导。在一些示例中，UAV可以使用支持深度学习的雷达增强视觉系统基于一次性推断生成深度的估计，而不考虑来自相机图像的多视图几何结构。UAV还可以使用具有单个相机的密集跟踪和映射(DTAM)。本公开描述了一种用于密集深度预测的新方法，该方法通过利用来自顺序图像帧的连续雷达多次扫描和多视图几何结构来计算给定相机120的一组旋转和平移运动的空间成本体积的像素级不确定性置信度。处理电路130可使用由距离传感器110进行的多次扫描来微调vSLAM深度估计，以改善深度密度和估计准确度。
图2是根据本公开的一些示例的包括用于生成环境260的三维地图的系统200的UAV 202的概念框图。系统200包括处理电路，该处理电路被配置为基于平移和旋转运动210、偏航212、侧倾214和俯仰216来确定系统200的位置和取向。系统200具有六个自由度，因为三维映射过程考虑到距离传感器的偏航、侧倾和俯仰以及相机的偏航、侧倾和俯仰。
系统200可以确定环境260内的对象280和282以及车辆284的深度估计。对象280和282是基于地面的对象，诸如建筑物、树木或其他植被、地形、灯杆、电线杆和/或蜂窝发射塔。车辆284是被描绘为飞机的空中对象，但是车辆284也可以是直升机、UAV和/或气象气球。在一些示例中，环境260可包括其他对象，诸如鸟。系统200被配置为生成包括对象280和282、车辆284以及接地表面270的对象在环境260中的位置的三维地图。
图3是示出根据本公开的一些示例的基于多视图几何结构320和由距离传感器进行的连续扫描310的三维地图330的生成的图示。图1所示的系统100的处理电路130可以识别连续扫描310中的点312。处理电路130还可识别多视图几何结构320的连续图像中的点322。处理电路130可被配置为使点312与点322匹配，并且使用匹配的点来确定环境中的对象的精细深度估计。
处理电路130被配置为基于连续扫描310和多视图几何结构320来生成三维地图330。处理电路130可以基于连续扫描310内的点312的位置和多视图几何结构320内的点322的位置来确定点332在三维地图330内的位置。多视图几何结构320可以提供平滑的深度估计，并且连续扫描310可以基于多视图几何结构320提供对深度估计的约束。处理电路130可使用自适应范围切片而不是固定范围切片来调整三维地图中的深度估计。
基于连续扫描310，处理电路130可以确定对象在环境160内的深度估计。然而，基于连续扫描310的深度估计可以是稀疏的，并且可能由于噪声而具有误差。此外，来自连续扫描310中的每一个的数据之间可能几乎不存在相关性或不存在相关性，尤其是对于具有慢扫描速度的距离传感器和对于以快速度移动的车辆而言。然而，当基于由相机120捕获的图像与多视图几何结构320配对时，连续扫描310可用于生成密集三维地图。本文所述的三维映射过程超出了由相机120捕获的图像和由距离传感器110执行的扫描的一次性融合，以组合连续扫描310和顺序图像帧，从而生成密集的三维地图。
图4是根据本公开的一些示例的用于基于空间成本体积确定精细深度估计的流程图。参考图1所示的系统100描述图4的示例性过程，但其他部件可举例说明类似的技术。虽然图4被描述为包括执行空间成本体积处理的处理电路130，但除了使用空间成本体积之外或作为使用空间成本体积的替代，处理电路130可使用条件(Markov)随机场模型或alpha蒙版。
在图4的示例中，距离传感器110执行多次扫描(410)。距离传感器110接收反射信号112作为连续扫描的一部分，并将信息发送到处理电路130。该信息可包括高度数据、方位角数据、速度数据和距离数据。例如，距离传感器110可发送指示对象180的仰角(例如，相对于水平面从距离传感器110到对象180的角度)、对象180的方位角、对象180的速度(例如，对象180的多普勒速度)和深度190的数据。
在图4的示例中，相机120捕获顺序图像帧(420)。相机120将所捕获的图像连同平移和旋转运动信息一起发送到处理电路130。除此之外或另选地，处理电路130可从惯性传感器接收平移和旋转运动信息。
在图4的示例中，处理电路130执行空间成本体积处理(430)。处理电路130可通过基于来自多个传感器(例如，距离传感器110和相机120)的累积测量来确定多视图几何结构来执行空间成本体积处理。例如，处理电路130可基于来自毫米波(MMW)雷达的多次扫描和来自具有相机120的对应旋转和平移的图像序列的多视图几何结构来执行空间成本体积处理。
处理电路130可被配置为馈送快速傅里叶变换(FFT)范围单元和角度单元作为空间特征。距离单元和角度单元表示由距离传感器110针对环境160中的每个方位角和仰角接收的反射信号的返回功率。处理电路130还可利用多视图几何结构以距离传感器110的已知姿态将连续的距离传感器扫描翘曲到距离传感器110的中间扫描上。处理电路130还可以基于多视图几何结构并基于像素级不确定性置信度来计算在深度范围内自适应地间隔开的空间成本体积。如下文进一步所述，处理电路130可被配置为利用从距离传感器110输出的深度作为校准vSLAM深度输出并改善深度图测量的密度和准确度的约束。
空间成本体积处理的示例细节可见于Asmaa Hosni等人在2013年2月在IEEETransactions on Pattern Analysis and Machine Intelligence中公布的“Fast Cost-Volume Filtering for Visual CorResponse and Beyond”中，其全部内容以引用方式并入本文。空间成本体积是一种多视图几何结构，其中空间或环境被分成多个块。处理电路130可构建空间成本体积并将新图像翘曲到与先前图像相同的视图以获得空间成本体积。处理电路130可以自适应方式构建空间成本体积，其中基于误差调整范围切片。空间成本体积类似于四维模型(例如，空间和时间)。
处理电路130可使用应用于连续扫描310的第一FFT来提取环境160内的对象的范围信息。处理电路130可使用第二FFT来基于多普勒效应提取速度信息。处理电路还可使用第三FFT来提取环境160内对象的角度信息。处理电路130可使用第一FFT的输出作为输入来执行第二FFT。然后，处理电路130可使用第二FFT上的输出作为输入来执行第三FFT。
在图4的示例中，处理电路130将距离传感器扫描中的点对应于相机图像中的像素(440)。处理电路130可使用关键点识别技术来识别距离传感器图像和相机图像中的点。处理电路130可基于距离传感器图像中的点与相机图像中的点的匹配来生成约束分布。处理电路130可使用方向或角度、颜色信息(例如，红-绿-蓝信息)和范围信息来执行像素级匹配。
在图4的示例中，处理电路130基于空间成本体积来确定对象180的深度190的粗略估计(450)。在一些示例中，处理电路130可确定环境160内的所有对象的深度的粗略估计。作为确定深度190的粗略估计的一部分，处理电路130可基于场景中的深度范围来计算深度误差，该深度范围可被分成多个范围切片。
空间成本体积的像素级不确定性可以通过所生成的深度图的不确定性来测量。处理电路130可基于相机120的平移和旋转运动来计算空间成本体积的像素级不确定性。可存在嵌入相机120中的传感器，该传感器允许处理电路130提取平移和取向。处理电路130可基于场景中的深度范围来计算深度误差，该深度范围可被分成多个切片。
用于测量深度误差的三种技术被标记为L1-rel、L1-inv和Sc-inv。处理电路130可以通过在多个像素上平均的对数空间中的深度值的绝对差来测量L1-rel，以归一化深度误差。深度值的差可以指预测深度和地面真实深度之间的差值。处理电路130可以通过在多个像素(n)上平均的对数空间中的深度值的倒数的绝对差来测量L1-inv，这更多地强调了近深度值。Sc-inv是尺度不变度量，其允许处理电路130测量场景中的点之间的关系，而与绝对全局尺度无关。处理电路130可以被配置为基于场景深度范围来切换深度误差评估方法，以在深度计算中更好地反映不确定性。
在图4的示例中，处理电路130基于距离传感器与图像像素的对应来确定深度190的精细估计(460)。距离传感器与图像像素的对应可包括将相机图像中的点与距离传感器图像中的点匹配，如相对于图3所述。处理电路130可被配置为基于由处理电路130从多次扫描生成的约束分布来精细深度。来自距离传感器110的数据变为辅助通道以基于由相机120捕获的图像来约束多视图几何结构。即使没有地面真实深度数据，处理电路130也可以检查距离传感器110和相机120之间的时间/空间像素一致性，以计算深度估计误差。
图5是示出根据本公开的一些示例的包括距离传感器和相机的系统的几何结构的图示。Oc和Or是图5的示例几何结构中的相机和距离传感器的相对位置。Rc和Rr分别是相机帧和距离传感器帧。距离传感器数据(方位角和仰角)提供目标的极坐标。图5示出了与水平距离传感器平面一起示出的相机平面上的投影点。处理电路可使用GPS、惯性系统、相机与距离传感器之间的预先确定的距离以及SLAM跟踪算法来确定相机和距离传感器的位置和取向。
可使用公式(1)评估相机多视图几何结构的预测深度与距离传感器多次扫描的预测深度之间的一致性误差Cerror。在公式(1)中，Cerror是所选择的像素的空间一致性误差，N被定义为用于评估的所选择的像素的数量，
Figure BDA0002555770850000121
参考来自距离传感器多次扫描的深度输出来评估，并且
Figure BDA0002555770850000122
参考来自相机多视图几何结构的深度输出来评估。
Figure BDA0002555770850000131
如图5所示，相机和距离传感器不位于相同的位置。即使相机和距离传感器两者可安装在同一车辆上，相机和距离传感器也可具有不同的位置和不同的取向。三维地图的生成可基于相机针对相机所捕获的每个相机图像的相对位置和取向。三维地图的生成可基于距离传感器针对由距离传感器执行的每次扫描的相对位置和取向。
图6是示出根据本公开的一些示例的用于基于连续图像和连续扫描来生成环境的三维地图的示例性过程的流程图。参考图1所示的系统100描述图6的示例性过程，但其他部件可举例说明类似的技术。
在图6的示例中，处理电路130从距离传感器110接收由距离传感器110在不同时间执行的对环境160的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境160中的对象反射的信号导出的信息(600)。在距离传感器110包括雷达传感器的示例中，距离传感器110可通过将雷达信号发射到视场中并接收反射的雷达信号来执行扫描。处理电路130可使用数字波束形成技术来在视场内的每个高度和方位角处生成扫描信息。当雷达传感器连续发射和接收信号以确定视场内每个方向的深度时，处理电路130可在整个视场内形成并移动波束。在距离传感器110包括激光雷达传感器的示例中，距离传感器110可通过在视场内在每个方向上发射信号来执行扫描。
在图6的示例中，处理电路130接收由相机120捕获的环境的两个或更多个连续相机图像，其中对象的两个或更多个连续相机图像中的每一个由相机120在环境160内的不同位置处捕获(602)。处理电路130可以使用关键点检测算法诸如边缘检测算法来识别每个图像中的关键点。然后，处理电路130可以跨顺序图像匹配关键点。处理电路130还可针对相机120捕获的每个图像确定相机120的位置和取向。处理电路130可将相机120的位置和取向存储到存储器150以用于生成三维地图。
在图6的示例中，处理电路130基于两个或更多个连续扫描和两个或更多个连续相机图像来生成环境160的三维地图(604)。处理电路130可以生成密集的三维地图，其仰角和方位角的像素分辨率小于1度，小于0.5度，小于0.2度或小于0.1度。处理电路130可基于由相机120捕获的连续图像使用针对环境160中的对象的粗略深度估计来生成密集三维地图。处理电路130可基于由距离传感器110执行的连续扫描来生成环境160中的对象的精细深度估计。
图7是示出根据本公开的一些示例的使用连续图像和连续扫描进行多视图几何结构处理的示例性过程的流程图。参考图1所示的系统100描述图7的示例性过程，但其他部件可举例说明类似的技术。
在图7的示例中，处理电路130执行距离传感器与图像的对应(700)。使用距离传感器110和相机120的几何布局，处理电路130可在距离传感器图像和相机图像之间变换坐标。处理电路130可基于坐标变换矩阵将距离传感器目标映射到图像帧。
在图7的示例中，处理电路130在深度切片中自适应地间隔开N个深度标签以内插第一粗略深度来构建空间成本体积(702)。空间成本体积可被定义为函数SCV(x,d)，其中x表示像素位置，并且d表示深度标签。处理电路130可通过基于特征学习的解决方案从一组图像、相机姿态、一组距离传感器图像和距离传感器姿态计算用于构建空间成本体积函数的超参数。
在图7的示例中，处理电路130基于相机120的姿态将多次扫描距离传感器图像翘曲为以第一粗略深度为中心的关键帧图像(704)。将多次扫描距离传感器图像翘曲到以第一粗略深度为中心的关键帧图像可以使用相对姿态和深度来完成。具有已知姿态的MMW距离传感器的中间扫描可被选择作为参考，以基于多视图几何结构来计算在深度范围内自适应地间隔开的空间成本体积。
在图7的示例中，处理电路130基于距离传感器深度查找表根据从距离传感器多次扫描生成的约束分布来精细粗略预测周围的深度(706)。处理电路130使用从距离传感器多次扫描几何结构输出的深度作为约束分布来使粗略估计成形，以改善深度准确度。基于距离传感器的测距可通过具有已知平移和旋转参数的连续距离传感器多次扫描来实现。由于距离传感器输出的距离分辨率优于vSLAM的距离分辨率，因此从多次扫描生成的深度值可用作通过查找表的约束文件，以从vSLAM移除深度值的异常值。
在图7的示例中，处理电路130基于来自粗略预测的置信度分数来精细深度(708)。这是一种粗至细方法。我们提取粗略深度估计并利用约束分布以更好的正则化来精细深度预测。置信度分数可基于所选择的像素的空间一致性误差来计算。
以下编号的实施例示出了本公开的一个或多个方面。
实施例1.本发明公开了一种方法，该方法包括由处理电路从距离传感器接收由距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境中的对象反射的信号导出的信息。该方法还包括由处理电路接收由相机捕获的环境的两个或更多个连续相机图像，其中对象的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该方法还包括由处理电路基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。
实施例2.根据实施例1所述的方法，还包括将两个或更多个连续扫描中的点与两个或更多个连续相机图像中的点匹配。
实施例3.根据实施例1或实施例2所述的方法，其中生成环境的三维地图包括基于两个或更多个连续扫描和两个或更多个连续相机图像来确定第一对象在环境中的深度的估计。
实施例4.根据实施例1-3或它们的任何组合所述的方法，其中生成环境的三维地图包括基于将连续距离传感器图像上的点与连续相机图像匹配来确定第一对象的深度的精细估计。
实施例5.根据实施例1-4或它们的任何组合所述的方法，还包括基于两个或更多个连续扫描和两个或更多个连续相机图像来估计第二对象在环境中的深度。
实施例6.根据实施例1至5或它们的任何组合所述的方法，其中生成环境的三维地图基于第一对象的深度和第二对象的深度。
实施例7.根据实施例1至6或它们的任何组合所述的方法，还包括测量相机相对于距离传感器的旋转运动。
实施例8.根据实施例1-7或它们的任何组合所述的方法，其中生成三维地图基于两个或更多个连续扫描、两个或更多个连续相机图像、以及相机的旋转运动。
实施例9.根据实施例1-8或它们的任何组合所述的方法，还包括测量相机相对于距离传感器的平移运动。
实施例10.根据实施例1-9或它们的任何组合所述的方法，其中生成三维地图基于两个或更多个连续扫描、两个或更多个连续相机图像以及相机的平移运动。
实施例11.根据实施例1-10或它们的任何组合所述的方法，其中接收两个或更多个连续扫描包括由雷达传感器接收从对象反射的信号。
实施例12.根据实施例1-11或它们的任何组合所述的方法，还包括使用两个或更多个连续扫描作为深度约束基于两个或更多个连续相机图像来执行同时定位和映射。
实施例13.根据实施例1-12或它们的任何组合所述的方法，其中估计对象的深度包括对两个或更多个连续扫描执行第一快速傅里叶变换以生成对对象的深度的估计。
实施例14.根据实施例1-13或它们的任何组合所述的方法，还包括对两个或更多个连续扫描执行第二快速傅里叶变换以生成对象的相对速度。
实施例15.根据实施例1-14或它们的任何组合所述的方法，还包括对两个或更多个连续扫描执行第三快速傅里叶变换以生成从距离传感器到对象的角度的估计。
实施例16.根据实施例1-15或它们的任何组合所述的方法，还包括基于两个或更多个连续相机图像来构建环境的空间成本体积。
实施例17.根据实施例1至16或它们的任何组合所述的方法，还包括基于两个或更多个连续扫描和两个或更多个连续相机图像来确定空间成本体积的像素级不确定性。
实施例18.根据实施例17所述的方法，其中确定空间成本体积的像素级不确定性还基于相机的旋转运动和相机的平移运动。
实施例19.本发明公开了一种系统，该系统包括距离传感器，该距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成环境的两个或更多个连续扫描。该系统还包括相机，该相机被配置为捕获环境的两个或更多个连续相机图像，其中环境的两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该系统还包括处理电路，该处理电路被配置为基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图。
实施例20.根据实施例19所述的系统，其中处理电路被配置为执行根据实施例1-18或它们的任何组合所述的方法。
实施例21.根据实施例19或实施例20所述的系统，其中处理电路被进一步配置为将两个或更多个连续扫描中的点与两个或更多个连续相机图像中的点匹配。
实施例22.根据实施例19-21或它们的任何组合所述的系统，其中处理电路被配置为至少部分地通过基于两个或更多个连续扫描和两个或更多个连续相机图像确定第一对象在环境中的深度的估计来生成环境的三维地图。
实施例23.根据实施例19-22或它们的任何组合所述的系统，其中处理电路被配置为至少部分地通过基于将连续距离传感器图像上的点与连续相机图像匹配确定第一对象的深度的精细估计来生成环境的三维地图。
实施例24.根据实施例19-23或它们的任何组合所述的系统，其中处理电路被进一步配置为基于两个或更多个连续扫描和两个或更多个连续相机图像来估计第二对象在环境中的深度。
实施例25.根据实施例19-24或它们的任何组合所述的系统，其中处理电路被配置为基于第一对象的深度和第二对象的深度来生成环境的三维地图。
实施例26.根据实施例19-25或它们的任何组合所述的系统，其中处理电路被进一步配置为测量相机相对于距离传感器的旋转运动。
实施例27.根据实施例19-26或它们的任何组合所述的系统，其中处理电路被配置为基于两个或更多个连续扫描、两个或更多个连续相机图像以及相机的旋转运动来生成三维地图。
实施例28.根据实施例19-27或它们的任何组合所述的系统，其中处理电路被进一步配置为测量相机相对于距离传感器的平移运动。
实施例29.根据实施例19-28或它们的任何组合所述的系统，其中处理电路被配置为基于两个或更多个连续扫描、两个或更多个连续相机图像以及相机的平移运动来生成三维地图。
实施例30.根据实施例19-29或它们的任何组合所述的系统，其中距离传感器包括雷达传感器，雷达传感器被配置为发射雷达信号并接收从环境中的对象反射的信号。
实施例31.根据实施例19-30或它们的任何组合所述的系统，其中处理电路被进一步配置为使用两个或更多个连续扫描作为深度约束，基于两个或更多个连续相机图像来执行同时定位和映射。
实施例32.根据实施例19-31或它们的任何组合所述的系统，其中处理电路被进一步配置为对两个或更多个连续扫描执行第一快速傅里叶变换以生成第一对象在环境中的深度的估计。
实施例33.根据实施例19-32或它们的任何组合所述的系统，其中处理电路被进一步配置为对两个或更多个连续扫描执行第二快速傅里叶变换以生成第一对象的相对速度；
实施例34.根据实施例19-33或它们的任何组合所述的系统，其中处理电路被进一步配置为对两个或更多个连续扫描执行第三快速傅里叶变换，以生成从距离传感器到第一对象的角度的估计。
实施例35.根据实施例19-34或它们的任何组合所述的系统，其中处理电路被进一步配置为基于两个或更多个连续相机图像来构建环境的空间成本体积。
实施例36.根据实施例19-35或它们的任何组合所述的系统，其中处理电路被进一步配置为基于两个或更多个连续扫描和两个或更多个连续相机图像来确定空间成本体积的像素级不确定性。
实施例37.根据实施例36所述的系统，其中处理电路被配置为基于相机的旋转运动和相机的平移运动来确定空间成本体积的像素级不确定性。
实施例38.一种设备包括计算机可读介质，该计算机可读介质具有存储在其上的可执行指令，可执行指令被配置为可由处理电路执行以使处理电路从距离传感器接收由距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中两个或更多个连续扫描表示从环境中的对象反射的信号导出的信息。该设备还包括用于使得处理电路从相机接收环境的两个或更多个连续相机图像的指令，其中两个或更多个连续相机图像中的每一个由相机在环境内的不同位置处捕获。该设备还包括用于使得处理电路基于两个或更多个连续扫描和两个或更多个连续相机图像来生成环境的三维地图的指令。
实施例39.根据实施例38所述的设备，还包括执行实施例1-18它们的任何组合所述的方法的指令。
实施例40.本发明公开了一种系统，该系统包括用于接收从环境中的对象反射的信号并且在不同时间生成环境的两个或更多个连续扫描的装置。该系统还包括用于捕获环境的两个或更多个连续相机图像的装置，其中环境的两个或更多个连续相机图像中的每一个在环境内的不同位置处被捕获。该系统还包括用于基于两个或更多个连续扫描以及两个或更多个连续相机图像来生成环境的三维地图的装置。
实施例41.根据实施例40所述的设备，还包括执行根据实施例1-18或它们的任何组合所述的方法的装置。
本公开考虑了包括使处理器执行本文所述的任何功能和技术的指令的计算机可读存储介质。计算机可读存储介质可采用任何易失性、非易失性、磁性、光学或电介质的示例性形式，诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦可编程只读存储器(EEPROM)或闪速存储器。该计算机可读存储介质可被称为非暂态的。程序员(诸如患者程序员或临床医师程序员)或其他计算设备还可以包含更便携的可移除存储器类型，以实现简单的数据传输或离线数据分析。
本公开中描述的技术，包括归因于系统100和200、距离传感器110、相机120、处理电路130、定位设备140和/或存储器150以及各种组成部件的那些，可至少部分地在硬件、软件、固件或它们的任何组合中实现。例如，可以在一个或多个处理器(包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或离散逻辑电路，以及这些部件的任何组合)内实现这些技术的各个方面，具体体现在程序员(诸如医师程序员或患者程序员)、刺激器、远程服务器或其他设备中。术语“处理器”或“处理电路”通常可以指单独地或与其他逻辑电路组合的任何前述逻辑电路，或任何其他等效电路。
如本文所用，术语“电路”是指ASIC、电子电路、处理器(共享，专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路或提供所述功能的其他合适的部件。术语“处理电路”是指分布在一个或多个设备上的一个或多个处理器。例如，“处理电路”可包括设备上的单个处理器或多个处理器。“处理电路”还可包括多个设备上的处理器，其中本文所述的操作可以分布在处理器和设备上。
此类硬件、软件、固件可以在同一设备内或在单独的设备内实现，以支持本公开所述的各种操作和功能。例如，本文所述的任何技术或过程可在一个设备内执行或至少部分地分布在两个或更多个设备之间，诸如在系统100和200、距离传感器110、相机120、处理电路130、定位设备140和/或存储器150之间。此外，任何所述单元、模块或部件可以一起实现或单独实现为离散但可互操作的逻辑设备。将不同特征部描述为模块或单元旨在突出不同的功能方面，并且不一定意味着此类模块或单元必须由单独的硬件或软件部件来实现。相反，与一个或多个模块或单元相关联的功能可以由单独的硬件或软件部件执行，或者集成在公共或单独的硬件或软件部件中。
本公开所述的技术还可在包括用指令编码的非暂态计算机可读存储介质的制品中体现或编码。嵌入或编码在制品(包括编码的非暂态计算机可读存储介质)中的指令可以使一个或多个可编程处理器或其他处理器实现本文所述的一种或多种技术，诸如当由非暂态计算机可读存储介质中包括或编码的指令由一个或多个处理器执行时。示例性非暂态计算机可读存储介质可包括RAM、ROM、可编程ROM(PROM)、EPROM、EEPROM、闪存存储器、硬盘、光盘ROM(CD-ROM)、软盘、磁带、磁性介质、光学介质或任何其他计算机可读存储设备或有形计算机可读介质。
在一些示例中，计算机可读存储介质包括非暂态介质。术语“非暂态”可以指示存储介质不体现在载波或传播信号中。在某些示例中，非暂态存储介质可以存储可随时间变化的数据(例如，在RAM或高速缓存中)。本文所述的设备和电路的元件，包括但不限于系统100和200、距离传感器110、相机120、处理电路130、定位设备140和/或存储器150，可用各种形式的软件进行编程。例如，一个或多个处理器可以至少部分地实现为或包括一个或多个可执行应用程序、应用程序模块、库、类、方法、对象、例程、子例程、固件和/或嵌入式代码。
已描述了本公开的各种示例。设想了所述系统、操作或功能的任何组合。这些示例和其他示例在以下权利要求书的范围内。

Claims (10)

1.一种系统，包括：
距离传感器，所述距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成所述环境的两个或更多个连续扫描；
相机，所述相机被配置为捕获所述环境的两个或更多个连续相机图像，其中所述环境的所述两个或更多个连续相机图像中的每一个由所述相机在所述环境内的不同位置处捕获；和
处理电路，所述处理电路被配置为基于所述两个或更多个连续扫描以及所述两个或更多个连续相机图像来生成所述环境的三维地图。
2.根据权利要求1所述的系统，其中所述处理电路被进一步配置为将所述两个或更多个连续扫描中的点与所述两个或更多个连续相机图像中的点匹配，
其中所述处理电路被配置为至少部分地通过以下方式生成所述环境的所述三维地图：
基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来确定第一对象在所述环境中的深度的估计；以及
基于将连续距离传感器图像上的点与所述连续相机图像匹配来确定所述第一对象的所述深度的精细估计。
3.根据权利要求2所述的系统，其中所述处理电路被进一步配置为基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来估计第二对象在所述环境中的深度，
其中所述处理电路被配置为基于所述第一对象的所述深度和所述第二对象的所述深度来生成所述环境的所述三维地图。
4.根据权利要求1所述的系统，其中所述处理电路被进一步配置为：
测量所述相机相对于所述距离传感器的旋转运动；以及
测量所述相机相对于所述距离传感器的平移运动，
其中所述处理电路被配置为基于所述两个或更多个连续扫描、所述两个或更多个连续相机图像、所述相机的所述旋转运动和所述相机的所述平移运动来生成所述三维地图。
5.根据权利要求1所述的系统，其中所述距离传感器包括雷达传感器，所述雷达传感器被配置为发射雷达信号并接收从所述环境中的所述对象反射的所述信号。
6.根据权利要求1所述的系统，其中所述处理电路被进一步配置为使用所述两个或更多个连续扫描作为深度约束，基于所述两个或更多个连续相机图像来执行同时定位和映射。
7.根据权利要求1所述的系统，其中所述处理电路被进一步配置为：
对所述两个或更多个连续扫描执行第一快速傅里叶变换以生成第一对象在所述环境中的深度的估计；
对所述两个或更多个连续扫描执行第二快速傅里叶变换以生成所述第一对象的相对速度；
对所述两个或更多个连续扫描执行第三快速傅里叶变换以生成从所述距离传感器到所述第一对象的角度的估计。
8.根据权利要求1所述的系统，
其中所述处理电路被进一步配置为：
基于所述两个或更多个连续相机图像来构建所述环境的空间成本体积；以及
基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来确定所述空间成本体积的像素级不确定性，并且
其中所述处理电路被配置为基于所述相机的旋转运动和所述相机的平移运动来确定所述空间成本体积的所述像素级不确定性。
9.一种方法，包括：
由来自距离传感器的处理电路接收由所述距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中所述两个或更多个连续扫描表示从所述环境中的对象反射的信号导出的信息；
由所述处理电路接收由所述相机捕获的所述环境的两个或更多个连续相机图像，其中所述对象的所述两个或更多个连续相机图像中的每一个由所述相机在所述环境内的不同位置处捕获；以及
由所述处理电路基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来生成所述环境的三维地图。
10.根据权利要求9所述的方法，还包括将所述两个或更多个连续扫描中的点与所述两个或更多个连续相机图像中的点匹配，
其中生成所述环境的所述三维地图包括：
基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来确定第一对象在所述环境中的所述深度的估计；以及
基于将所述连续距离传感器图像上的所述点与所述连续相机图像匹配来确定所述第一对象的所述深度的精细估计。
CN202010589260.2A 2019-06-26 2020-06-24 使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射 Pending CN112150620A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/453,855 US10937232B2 (en) 2019-06-26 2019-06-26 Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames
US16/453,855 2019-06-26

Publications (1)

Publication Number Publication Date
CN112150620A true CN112150620A (zh) 2020-12-29

Family

ID=71138609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589260.2A Pending CN112150620A (zh) 2019-06-26 2020-06-24 使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射

Country Status (3)

Country Link
US (1) US10937232B2 (zh)
EP (1) EP3757606A3 (zh)
CN (1) CN112150620A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520041B1 (en) * 2018-09-27 2022-12-06 Apple Inc. Correcting depth estimations derived from image data using acoustic information
KR20210064333A (ko) * 2019-02-22 2021-06-02 트랙맨 에이/에스 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법
US11531833B2 (en) 2020-01-16 2022-12-20 Honeywell International Inc. Creating a ground control point file using an existing landmark shown in images
US11615582B2 (en) * 2021-06-08 2023-03-28 Fyusion, Inc. Enclosed multi-view visual media representation
CN113640802B (zh) * 2021-07-30 2024-05-17 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation
WO2024057904A1 (ja) * 2022-09-13 2024-03-21 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426232T2 (de) 1993-06-04 2001-05-17 Sarnoff Corp System und verfahren zur elektronischen bildstabilisierung
US6252974B1 (en) 1995-03-22 2001-06-26 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
JP4298155B2 (ja) 2000-11-17 2009-07-15 本田技研工業株式会社 距離測定装置、及び距離測定方法
GB0115433D0 (en) 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
JP4763250B2 (ja) 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
JP4608631B2 (ja) 2005-06-08 2011-01-12 国立大学法人名古屋大学 車両用画像処理装置、運転支援装置
WO2007015631A1 (en) 2005-08-04 2007-02-08 Isenteck Enc Co., Ltd. Smart video monitoring system and method communicating with auto-tracking radar system
JP5051493B2 (ja) 2005-12-26 2012-10-17 株式会社Ｉｈｉ 三次元計測用マーカとこれを用いた三次元計測方法
JP4830958B2 (ja) 2007-04-17 2011-12-07 株式会社デンソー 車両用物体検出装置
EP2315048A1 (en) 2009-10-22 2011-04-27 Toyota Motor Europe NV/SA Submillimeter radar using signals reflected from multiple angles
JP5558440B2 (ja) 2011-09-08 2014-07-23 三菱電機株式会社 物体検出装置
CN102508246B (zh) 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
JP5651642B2 (ja) 2012-07-18 2015-01-14 本田技研工業株式会社 物体位置検知装置
CN104662589B (zh) * 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9521397B2 (en) * 2014-03-11 2016-12-13 GM Global Technology Operations LLC System and method for selecting a two-dimensional region of interest using a range sensor
WO2016033797A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
US10634778B2 (en) 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
CN104796612B (zh) 2015-04-20 2017-12-19 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法
US10029804B1 (en) 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
CN108076338B (zh) * 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
EP3574339B1 (en) 2017-01-30 2021-04-21 Topgolf Sweden AB System and method for three dimensional object tracking using combination of radar and image data
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10725169B2 (en) 2017-02-28 2020-07-28 Honeywell International Inc. Integrated radar and ADS-B
US10488521B2 (en) 2017-06-13 2019-11-26 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
US11161236B2 (en) * 2017-09-14 2021-11-02 Sony Interactive Entertainment Inc. Robot as personal trainer
US10914830B2 (en) 2017-10-12 2021-02-09 Honeywell International Inc. Digital active phased array radar

Also Published As

Publication number Publication date
US20200410750A1 (en) 2020-12-31
EP3757606A3 (en) 2021-02-24
US10937232B2 (en) 2021-03-02
EP3757606A2 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
US10937232B2 (en) Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames
CN111436216B (zh) 用于彩色点云生成的方法和系统
KR20190082291A (ko) 차량 환경 맵 생성 및 업데이트 방법 및 시스템
CN112154356B (zh) 点云数据处理方法及其装置、激光雷达、可移动平台
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
CN112005079B (zh) 用于更新高清地图的系统和方法
CN113485441A (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
US20210311504A1 (en) Near real-time reconstruction using drones
Hosseinpoor et al. Pricise target geolocation and tracking based on UAV video imagery
JP6527726B2 (ja) 自律移動ロボット
CN113566833A (zh) 一种多传感器融合的车辆定位方法及系统
Scannapieco et al. Ultralight radar for small and micro-UAV navigation
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
Dolph et al. Ground to air testing of a fused optical-radar aircraft detection and tracking system
Lombaerts et al. Adaptive multi-sensor fusion based object tracking for autonomous urban air mobility operations
US8577608B2 (en) Method of obtaining a local terrain elevation database from detector means on board a vehicle
Sanfourche et al. Environment mapping & interpretation by drone
Helgesen et al. Low altitude georeferencing for imaging sensors in maritime tracking
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
Quist UAV navigation and radar odometry
Hebel et al. LiDAR-supported navigation of UAVs over urban areas
US20230054721A1 (en) Passive Wide-Area Three-Dimensional Imaging
Zahran et al. Augmented radar odometry by nested optimal filter aided navigation for UAVS in GNSS denied environment
Andert et al. Radar-aided optical navigation for long and large-scale flights over unknown and non-flat terrain
CN112050830B (zh) 一种运动状态估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination