CN108603933A - 用于融合具有不同分辨率的传感器输出的系统和方法 - Google Patents

用于融合具有不同分辨率的传感器输出的系统和方法 Download PDF

Info

Publication number
CN108603933A
CN108603933A CN201680078181.7A CN201680078181A CN108603933A CN 108603933 A CN108603933 A CN 108603933A CN 201680078181 A CN201680078181 A CN 201680078181A CN 108603933 A CN108603933 A CN 108603933A
Authority
CN
China
Prior art keywords
sensor
measurements
fused
resolution
measurement values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680078181.7A
Other languages
English (en)
Other versions
CN108603933B (zh
Inventor
U·卡米洛夫
J·卡斯托雷纳
P·布富诺斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority claimed from PCT/JP2016/088804 external-priority patent/WO2017122529A1/en
Publication of CN108603933A publication Critical patent/CN108603933A/zh
Application granted granted Critical
Publication of CN108603933B publication Critical patent/CN108603933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于融合具有不同分辨率的传感器的测量值的方法联合地执行所述传感器的校准和它们的测量值的融合，以生成限定所述传感器的坐标系之间的几何映射的校准参数以及具有一传感器的模态的融合测量值集，所述融合测量值集具有高于该传感器的分辨率的分辨率。所述校准和所述融合联合执行，以彼此依赖地更新所述校准参数和所述融合测量值集。

Description

用于融合具有不同分辨率的传感器输出的系统和方法
技术领域
本发明涉及感测系统和方法，并且更具体地，涉及融合具有不同分辨率的传感器输出。
背景技术
传感器融合是组合从不同传感器导出的感测数据的处理。随着使用数量越来越多的传感器和传感器模态来获取场景，传感器数据的整合或融合变得越来越重要。传感器融合利用独特的传感器模态来提供有关环境的补充信息，克服硬件限制，或者减少因每个单独传感器所造成的数据不确定性。例如，传感器融合可以利用一个传感器的测量值来增加(即，上采样)关于由另一传感器测量的数据的分辨率。另外或另选的是，传感器融合可以利用一个传感器的测量值来注释由另一传感器测量的数据。
例如，深度感测是用于测量场景中的深度(即，从传感器到场景中的点的距离)的技术。深度感测的类型包括基于从场景反射的光的飞行时间(TOF)测量值，利用结构光摄像机、立体摄像机以及深度感测摄像机进行的测量。一些深度传感器(如LIDAR传感器)对于实际应用来说没有足够的分辨率。为此，融合可以被用于深度超分辨(superresolution)，即，来自LIDAR传感器的低分辨率深度数据可以与来自光学摄像机的图像进行融合以生成更高分辨率的深度图像。
传感器融合使用非本征校准来确定每个传感器的校准参数，诸如每个传感器相对于彼此的位置和取向。在融合期间，校准参数被用于计算将每个传感器的输出映射至公共参照系的几何变换。
例如，一些方法利用已知的对准目标来执行离线校准。然而，执行离线校准对于一些应用来说不可行或不实用。当传感器安装在移动车辆上时，这个问题尤其明显。这是因为这种传感器易于因道路状况的潜在高低不平而失去校准，并且需要针对持续不断地变化的场景在线执行校准。
其它方法利用不同图像中的物体的边缘来执行在线校准。然而，在一些应用中，基于边缘匹配的校准因传感器测量值的低分辨率而不准确。
因此，需要一种用于融合具有不同分辨率的传感器的输出的系统和方法。
发明内容
本发明的一些实施方式基于这样的认识，即，融合和校准是补充处理，并且在一方面的改进可以被用于提升另一方面的性能。因此，联合校准和融合方法可以改进最终输出。与通常致力于校准或者融合(而非两者)的现有方法形成对比，联合处理努力达到共同目标：根据校准参数来改进传感器融合的最终输出。
因此，本发明的一些实施方式联合执行传感器的校准和它们输出的融合。例如，本发明的一些实施方式在各种情况下利用恰当的成本函数来联合优化校准参数和融合输出。例如，一个实施方式彼此依赖地更新校准参数和融合测量值集。例如，联合校准和融合可以在给定校准参数下优化融合测量值集的成本函数。
本发明的一个实施方式公开了一种用于融合具有不同分辨率的传感器的测量值的方法。该方法包括：获取由第一传感器测量的场景的第一测量值集；获取由第二传感器测量的所述场景的第二测量值集，其中，所述第一传感器的模态不同于所述第二传感器的模态，并且其中，所述第一传感器的分辨率低于所述第二传感器的分辨率；以及联合执行所述第一传感器和所述第二传感器的校准和所述第一测量值集与所述第二测量值集的融合，以生成限定所述第一传感器的坐标系与所述第二传感器的坐标系之间的几何映射的校准参数以及具有所述第一传感器的模态的融合测量值集，所述融合测量值集的分辨率高于所述第一传感器的分辨率，其中，所述校准和所述融合联合执行，以彼此依赖地更新所述校准参数和所述融合测量值集。所述方法的步骤利用处理器来执行。
另一实施方式公开了一种系统，该系统包括：第一传感器，该第一传感器对场景进行测量以生成该场景的第一测量值集；第二传感器，该第二传感器对所述场景进行测量以生成所述场景的第二测量值集，其中，所述第一传感器的分辨率低于所述第二传感器的分辨率；以及处理器，该处理器用于联合执行所述第一传感器和所述第二传感器的校准和所述第一测量值集与所述第二测量值集的融合，以生成限定所述第一传感器的坐标系与所述第二传感器的坐标系之间的几何映射的校准参数以及具有所述第一传感器的模态的融合测量值集，所述融合测量值集的分辨率高于所述第一传感器的分辨率，其中，联合执行所述校准和所述融合，以彼此依赖地更新所述校准参数和所述融合测量值集。
又一实施方式公开了一种用于融合未校准的传感器的输出的方法，该方法包括：从第一传感器获取场景的第一测量值集；从第二传感器获取所述场景的第二测量值集，其中，所述第一传感器的分辨率低于所述第二传感器的分辨率；利用所述第二测量值集融合所述第一测量值集，以生成融合测量值集，所述融合测量值集具有所述第一传感器的模态和高于所述第一传感器的分辨率的分辨率，其中，所述融合使用限定所述第一传感器的坐标系与所述第二传感器的坐标系之间的几何映射的校准参数；将所述融合测量值集与所述第二测量值集进行比较，以确定所述校准参数的误差；更新所述校准参数以降低所述误差；以及重复所述融合、所述比较以及所述更新，直到满足终止标准为止。
附图说明
图1A是根据本发明不同实施方式的、用于联合执行校准传感器和融合传感器测量值的方法的框图。
图11B是根据本发明不同实施方式的、用于联合执行校准传感器和融合传感器测量值的方法的框图。
图1C是根据本发明不同实施方式的、用于联合执行校准传感器和融合传感器测量值的方法的框图。
图2是根据本发明一些实施方式的用于确定融合测量值集的融合方法的框图。
图3是根据本发明一个实施方式的系统的示意图。
图4是根据本发明一些实施方式的用于融合传感器输出的示例性系统的框图。
具体实施方式
图1A示出了根据本发明一些实施方式的、用于联合执行校准传感器和融合传感器测量值的方法的框图。该方法从第一传感器110获取120场景105的第一测量值集，并且还从第二传感器115获取125场景105的第二测量值集。
该方法的步骤利用处理器(诸如传感器之一内部或外部的处理器)来执行。测量值可以直接从传感器获取，或者例如从存储器存储部和/或通过有线或无线通信信道间接获取。在一些实施方式中，第一传感器的分辨率低于第二传感器的分辨率。例外，在一些实施方式中，第一传感器的模态不同于第二传感器的模态。
一些实施方式利用不同类型和/或模态的传感器数来标识关于场景的信息。场景可以是可产生传感器测量值的任何物理区域。例如，在无限制的情况下，场景可以是城市中的区域、邻域、森林中的区域、水下地区、空域中的区域、制造设施中的区域、房间、结构的表面，或者一些其它合适类型的场景。
第一传感器和第二传感器的不同模态包括但不限于：声数据、生物测定数据、成像数据、电压读数、振动数据，以及其它合适类型的传感器数据。这些不同模态的传感器数据可以被用于执行多种操作，诸如检测场景中物体的存在、标识场景中的物体、跟踪场景中物体的移动、检测场景的环境变化、测量场景中物体之间的距离，以及其它合适的操作。
作为一个示例，可以使用不同类型的成像数据来检测、标识，和/或跟踪场景中的物体。不同类型的成像数据例如可以包括电光(EO)图像、红外(IR)图像、热图像、雷达图像、紫外图像，以及其它合适类型的成像数据。
例如，在一个实施方式中，第一传感器是深度传感器，诸如通过用激光照射目标并分析反射光来测量距离的LIDAR传感器。第二传感器的例子是用于记录场景的图像强度的光学摄像机。
本发明的一些实施方式基于这样的认识，即，传感器融合需要校准来确定每个传感器的几何参数，如相对于其它传感器的位置和取向。例如，对两个传感器的校准尝试确定一个系统的参照系到另一系统的参照系的立体投影。这个投影可以通过多个参数(还已知为自由度)来描述。例如，本发明的一个实施方式确定六个自由度的变换：三个角旋转(滚转、俯仰及偏航)和三个平移(沿着x、y及z轴)。这个实施方式中，校准参数是θ＝(θroll,θpitch,θyaw,θx,θy,θz)。然而，其它实施方式可以考虑更少或更多的自由度。例如，一个实施方式不考虑旋转。另外或另选地，利用实施方式确定传感器的相对缩放倍率和失真系数。那些参数在此是指限定第一传感器的坐标系与第二传感器的坐标系之间的几何映射的校准参数。传感器的坐标系可以被用作用于执行传感器测量值的融合的参照系。
为方便起见，全局参照系通常与其中一个传感器的参照系重合。在示例实施方式中，较高分辨率传感器115提供全局参照系。在获知校准参数之后，可以将几何形状简单地映射至任何参照系，包括较低分辨率传感器110的参照系。
第一测量值集120在其参照系中被指示其中，M是第一集合中的测量值的数量。例如，当较低分辨率传感器对应于LIDAR系统时，ψ表示点云，即，已记录LIDAR反射的一组(x,y,z)笛卡尔坐标。
第二测量值集125在其参照系中被指示为其中，N是第二集合中的测量值的总数。例如，当较高分辨率传感器对应于光学摄像机时，第二测量值集包括总计N＝Nx*Ny个测量值，其中，Nx和Ny分别是水平像素和垂直像素的数量。本公开使用n∈{1,...,N}来索引的u组元以及其它类似大小的数据，基本上将它们矢量化。
假定校准参数θ，第一测量值集可以利用下面的线性3D刚体变换来映射到较高分辨率传感器的参照系上
其中，P是由校准参数θ表征的投影矩阵。
一些实施方式基于这样的认识，即，校准和融合是补充处理，并且在对一方的改进可以被用于提升另一方的性能。为此，实施方式联合地执行160第一传感器和第二传感器的校准和第一测量值集与第二测量值集的融合，以生成限定第一传感器的坐标系与第二传感器的坐标系之间的几何映射的校准参数163，以及具有第一传感器的模态并且具有高于第一传感器的分辨率的分辨率的融合测量值集165。如在此所使用的，联合校准和融合彼此依赖167地更新校准参数163和融合测量值集165两者。
例如，在一个实施方式中，联合校准和融合160递归地更新校准参数和融合测量值集，直到满足终止标准为止，使得校准参数响应于融合测量值集的变化而更新，并且融合测量值集响应于校准参数的变化而更新。
例如，所述校准直接根据第一和第二测量值集来估计校准参数θ
与第二测量值集相比，第一测量值集具有显著低的分辨率。给定校准参数，融合130整合来自两个传感器的数据，以生成组合来自两者的信息的数据。例如，在一些实施方式中，融合的目标是估计高分辨率数据其中，φ的每个组元都具有采用第二传感器的参照系的第一传感器的模态
融合处理的输出的质量通常可以利用成本函数根据融合的数据来估计，该成本函数在改进融合质量时采取较低或较高值。
图1B示出了根据本发明一个实施方式的、用于联合执行校准传感器和融合它们的输出的方法的框图。在该实施方式中，通过在给定校准参数的情况下优化170融合测量值集的成本函数175来联合地执行校准和融合。
例如，为了估计校准参数，本发明的一些实施方式利用融合处理的输出以及表示融合质量并且根据融合数据估计出的成本。具体来说，给定校准参数θ，一个实施方式使用φθ＝ffusion(u,ψ,θ)来简洁地指示下的融合测量值集。该校准参数通过针对与被用于评估融合处理的质量的成本函数相对应的φθ优化该成本函数来加以估计。在一些实施方式中，所述优化包括增加或降低成本函数直到满足终止条件为止。
在所述优化包括降低成本函数的实施方式中，所述优化方法对融合测量值集的边缘与第二测量值集的边缘之间的未对准做出惩罚
其中，
例如，测量融合测量值集的加权l1总变化(TV)的分子Ak(φθ)可以定义如下
其中，k指示方向，而指示沿着方向k针对φθ操作的梯度。例如，当φθ对应于与高分辨率摄像机数据融合的低分辨率IDAR数据时，k是水平x方向或者垂直y方向。权重wk,n利用第二测量值集指定
由此，促进第二测量值集的边缘与融合测量值集的边缘的对准，如通过运行参数γ≥0所控制的。在一些实施方式中，数据对应于LIDAR和摄像机测量值，并且边缘对应于物体在对应图像中的边界。
在一个实施方式中，集合指示与来自低分辨率传感器的测量值相对应的位置的子集。将成本限制为那些点确保了只考虑其中融合测量值集可靠的区域。应注意，即使仅在那些点中计算该函数，也需要执行融合以便能够计算那些位置中的梯度。
另外或另选地，给定第二测量值集中的边缘，较大的γ不惩罚融合测量值集中的对应边缘。由此，仅惩罚融合测量值集中的、在第二测量值集中没有对应边缘的边缘(即，未正确对准)。另一方面，小的γ降低了第二测量值集的影响，由此类似地惩罚融合测量值集中的边缘；而不管第二测量值集是否具有对应的边缘。
分母是必需的归一化系数，其在给定不同参数集θ的情况下考虑包括在评估中的Ωθ中的点的数量中的差异
图1C示出了根据本发明另一实施方式的、用于联合执行传感器的校准和它们的输出的融合的方法的框图。在这个实施方式中，利用校准参数的当前值来融合来自两个传感器的数据，并将融合的输出与第二测量值集进行比较来确定被用于更新校准参数的融合中的误差。
例如，该实施方式利用第二测量值集125来融合130第一测量值集120，以生成融合测量值集135，所述融合测量值集具有第一传感器的模态和高于第一传感器的分辨率的分辨率。该实施方式比较140融合测量值集135与第二测量值集125，以确定校准参数的误差155。该实施方式更新145校准参数150以降低误差155。在一些实现中，误差155被设计为成本函数175，使得该误差测量融合处理和校准的质量。
该处理利用更新后的校准参数150来迭代，直到满足终止标准为止。如随后处理所需的，该方法输出所估计的校准参数，或者融合数据，或者两者。可以可选地利用所估计的校准参数来执行最终的融合步骤。
传感器融合
假定固定参数矢量θ，所述融合利用第二测量值集u和第一测量值集到全局参照系的投影来估计
在一个实施方式中，所述融合确定与较低分辨率传感器的模态相对应的较高分辨率数据。高分辨率数据的质量可以按多种方式来估计。一个实施方式使用l2惩罚来促进所得的融合测量值集与投影数据的一致性。换句话说，该实施方式利用下式来测量数据逼真度或误差，
其中，是仅选择其中在投影中具有数据的索引的遮蔽算子。
因为第一测量值集具有较低分辨率，所以一个实施方式利用第一测量值集的加权各向同性总变化(TV)使所述融合正则化
其根据权重wn促进更锐利的边缘。
所述融合将数据逼真度和正则化项组合成估计融合质量的单个成本函数。所述融合输出最小化该成本的融合数据如下
其中，被用于向融合测量值集施加某些物理约束，并且λ>0控制正则化的量。例如，当第一测量值集对应于深度时，Φ施加融合的深度数据的非负性。
图2示出了根据本发明一些实施方式的用于确定融合测量值集的融合方法。第一测量值集120被映射至第二测量值集205的参照系，并且所映射的第一测量值集被上采样208至目标分辨率。例如，目标分辨率可以是第二测量值集的分辨率。
在一些实施方式中，所述融合利用第二测量值集来改进通过权重wn输出的融合。为此，一个实施方式利用第二测量值集u125来确定210权重wn210。例如，一些实施方式根据每个位置处的第二测量值集的梯度来选择权重，使得不惩罚深度图像中的对应边缘。
一些实施方式基于这样的理解，即，当校准参数不正确时，该加权可以引入混淆随后校准的伪边缘。因此，在一些实施方式中，当执行校准时，将权重选择为wn＝1。在估计校准参数之后，可以利用不同的权重(如针对常数τ>0的 来执行最终融合步骤。另选实施方式使用这样的权重，即，如果较大则采取较小值，而如果较小，则采取较大值。
实施方式通过计算降低成本函数的方向确定220融合测量值集，并且根据该方向更新240融合测量值集。例如，一个实现使用最陡下降法，以根据下式来执行更新240
其中，v>0是步长，是的子梯度，φt-1和φt分别是旧的和新的融合测量值集。
为了施加230物理约束，一个实施方式将违反值设定成最接近约束。例如，为了施加融合的深度数据的非负性，该实施方式将负深度值设定成0。融合测量值集的所得的估计被用于迭代步骤220、230以及240，直到达到停止标准为止，并且输出最终的融合测量值集250。
示例实施方式
图3示出了根据本发明一个实施方式的系统的示意图。该系统包括：用于对场景进行测量以生成该场景的第一测量值集的第一传感器310；以及用于对该场景进行测量以生成所述场景的第二测量值集的第二传感器320。例如，第一传感器310是LIDAR，而第二传感器320是摄像机。LIDAR传感器310是低分辨率第一传感器，而摄像机320是高分辨率第二传感器。
该系统还包括处理器302，该处理器用于根据由本发明各个实施方式所采用的原理来联合执行第一传感器和第二传感器的校准和第一测量值集与第二测量值集的融合。例如，在一个实施方式中，第一传感器和第二传感器被安装在车辆301处，并且处理器302形成该车辆的计算系统的一部分。另外或另选地，处理器302可以是传感器310和/或320的处理器。
LIDAR根据其参照系来记录物体的距离，并且提供点云315形式的数据。在一些实施方式中，LIDAR还记录物体的反射率。典型LIDAR传感器以范围在1至64之间变动的几个垂直方向上水平扫描，尽管更多的方向也是可以的。因此，当LIDAR可以提供精确的深度信息时，所述信息具有低空间分辨率。
摄像机根据其参照系来记录物体的反射率，并且提供图像325形式的测量值。与LIDAR形成对比，高分辨率摄像机不太昂贵。由此，摄像机可以提供有关物体的反射率的高空间分辨率信息。然而，摄像机不提供深度信息。
由两个传感器记录的分辨率的差异和信息的类型使融合非常有吸引力。当融合来自两个传感器的数据时，一个实施方式输出具有高空间分辨率的深度图和场景中的所有物体的精确深度信息。深度图被对准并且对应于由高分辨率摄像机记录的强度图，由此将深度信息提供给由摄像机记录的强度信息。换句话说，一个实施方式使用联合校准和融合330，来增强两个传感器，即，增加LIDAR输出335的分辨率，并且将高分辨率深度信息并入摄像机输出中。融合的结果可以呈现在显示器340上，或者提交给不同的应用350，例如物体跟踪应用。
当摄像机和LIDAR被安装成观察同一场景时，它们的参照系不同。如果在安装传感器之后它们的参照系保持恒定，则融合之前的非本征校准可能是实用的。例如，如果摄像机稍微均匀地移动，则利用已知目标的离线校准过程应当按显著的成本和停机时间来重复。
在实践中，传感器的校准不固定。一般来说，传感器因为安装组件变形或松动而可能随着时间的推移而漂移。意外的接触也可以显著改变传感器的取向。因此，该示例实施方式在这两个传感器工作时连续地自动校准两个传感器，而不需要离线手动校准。具体来说，联合融合和校准处理连续工作，估计校准参数和融合数据两者。
在不同实施方式中，为了减少计算，间歇地执行联合校准和融合处理，例如，每秒钟、每分钟，或每小时一次(或者不太频繁地)更新校准参数。其间，仅利用最后计算的校准参数来执行融合。该方法假定传感器取向，和因此的校准参数，在其中仅执行融合的时段(例如，相应地在秒钟、分钟，或小时)期间保持近似无变化。如果传感器取向在该时间期间改变，则以不正确的参数执行融合，并且可能生成不正确的结果。
这种实施方式在汽车应用和自主导航系统中特别有用。这种系统依靠安装在车辆301中的LIDAR和摄像机，以理解环境并且计算它们的动作。例如，如果前方交通突然停止，则驾驶员辅助安全系统可以使用该实施方式的融合输出，来减速或改变车辆的车道。类似地，自主车辆或机器人可以采用这种融合信息，来确定其位置和其路径上的障碍物，并且确定恰当的导航路线。然而，为了这样的系统正确工作，需要校准传感器。本发明的不同实施方式确保准确度，而不需要频繁的停机时间来进行离线重新校准。
图4示出了根据本发明一些实施方式的被配置用于融合传感器输出的示例性系统400的框图。系统400可以在第一和/或第二传感器内部实现。另外或另选地，系统400可以以通信方式连接至传感器以执行融合。
系统400可以包括以下各项之一或组合：摄像机410、惯性测量单元(IMU)430、处理器450、存储器460、收发器470以及显示器/显示屏480，它们在工作上可以通过连接部420联接至其它组件。连接部420可以包括总线、线路、光纤、链路或它们的组合。
收发器470例如可以包括：发送器，其被使能通过一种或更多种类型的无线通信网络来发送一个或更多个信号；以及接收器，其用于接收通过所述一种或更多种类型的无线通信网络发送的一个或更多个信号。收发器470可以准许基于以下多种技术来与无线网络通信，诸如但不限于：毫微微小区(femtocell)、Wi-Fi网络或无线局域网(WLAN)(它们可以基于IEEE 802.11标准系列)、诸如Bluetooth的无线个人区域网络(WPAN)、近场通信(NFC)、基于IEEE 802.15x标准系列的网络，和/或诸如LTE、WiMAX等的无线广域网(WWAN)。系统400还可以包括用于通过有线网络进行通信的一个或更多个端口。
在一些实施方式中，系统400可以包括图像传感器，诸如CCD或CMOS传感器、激光器和/或摄像机410，它们在下文中被称为“传感器410”。例如，传感器410可以将光学图像转换成电子或数字图像，并且可以将所获取的图像发送至处理器450。另外或另选地，传感器410可以感测从场景中的目标物体反射的光，并且将所获取的光的强度提交给处理器450。
例如，传感器410可以包括提供“色彩信息”的彩色或灰度摄像机。在此使用的术语“色彩信息”是指颜色和/或灰度级信息。一般来说，如在此使用的，彩色图像或色彩信息可以被视为包括1至N个通道，其中，N是取决于被用于存储图像的色彩空间的某一整数。例如，RGB图像包括三个通道，其中，针对红、蓝以及绿信息皆有一个通道。
例如，传感器410可以包括用于提供“深度信息”的深度传感器。深度信息可以利用深度传感器按多种方式来获取。术语“深度传感器”用于表示可以用于独立地和/或结合一些其它摄像机来获得深度信息的功能单元。例如，在一些实施方式中，深度传感器和光学摄像机可以是传感器410的一部分。例如，在一些实施方式中，传感器410包括RGBD摄像机，除了彩色(RGB)图像以外，传感器410还可以在深度传感器被使能时捕捉每像素深度(D)信息。
作为另一示例，在一些实施方式中，传感器410可以包括3D飞行时间(3DTOF)摄像机。在利用3DTOF摄像机的实施方式中，深度传感器可以采取联接至3DTOF摄像机的闪光灯的形式，其可以照明场景中的物体，并且反射光可以通过传感器410中的CCD/CMOS传感器来捕捉。深度信息可以通过测量光脉冲行进至物体并返回至传感器所花费的时间来获得。
作为另一示例，深度传感器可以采取联接至传感器410的光源的形式。在一个实施方式中，该光源将可包括一个或更多个窄频带光的结构化或纹理化光图案投影到场景中的物体上。通过采用因物体的表面形状而造成的投影图案的几何失真来获得深度信息。一个实施方式确定来自立体传感器(如红外结构化投光器和配准至RGB摄像机的红外摄像机的组合)的深度信息。
在一些实施方式中，传感器410包括立体摄像机。例如，深度传感器可以形成无源立体视觉传感器的一部分，其可以使用两个或更多个摄像机来获得场景的深度信息。被捕捉的场景中两个摄像机的公共的点的像素坐标可以连同摄像机姿态信息和/或三角测量技术一起使用，以获得每像素深度信息。
在一些实施方式中，系统400可以在工作上连接至多个传感器410，诸如双前置摄像机和/或前置和后置摄像机，其还可以并入各种传感器。在一些实施方式中，传感器410可以捕捉静止图像和视频图像两者。在一些实施方式中，传感器410可以包括能够例如以每秒30帧(fps)来捕捉图像的RGBD或立体视频摄像机。在一个实施方式中，通过传感器410捕捉的图像可以采用原始未压缩格式，并且可以在被处理和/或存储在存储器46中之前被压缩。在一些实施方式中，图像压缩可以通过处理器450利用无损或有损压缩技术来执行。
在一些实施方式中，处理器450还可以接收来自IMU 430的输入。在其它实施方式中，IMU 430可以包括3轴加速度计、3轴陀螺仪，和/或磁强计。IMU 430可以向处理器450提供速度、取向，和/或其它位置相关信息。在一些实施方式中，IMU 430可以与通过传感器410捕捉每个图像帧同步地输出所测量的信息。在一些实施方式中，IMU 430的输出被处理器450部分地用于融合传感器测量值，和/或进一步处理所融合的测量值。
系统400还可以包括显示屏或显示器480，以呈现诸如彩色图像和/或深度图像的图像。在一些实施方式中，显示器480可以被用于显示由传感器410捕捉的实况图像(liveimage)、诸如图像335的融合图像、增强现实(AR)图像、图形用户界面(GUI)以及其它程序输出。在一些实施方式中，显示器480可以包括和/或容纳有触摸屏，以准许用户经由虚拟键盘、图标、菜单，或者其它GUI、用户姿势和/或诸如针笔和其它书写工具的输入装置的某一组合来输入数据。在一些实施方式中，显示器480可以利用液晶显示器(LCD)显示器或发光二极管(LED)显示器(如有机LED(OLED)显示器)来实现。在其它实施方式中，显示器480可以是可佩戴显示器。
在一些实施方式中，融合的结果可以在显示器480上呈现，或者提交给可处于系统400内部或外部的不同应用。例如，在处理器上运行的计算机视觉(CV)应用455可以实现和执行基于计算机视觉的跟踪、基于模型的跟踪，和/或同时定位和映射(SLAM)方法。
示例性系统400还可以按与本公开一致的方式以各种方式进行修改，诸如通过添加、组合，或省略所示功能框中的一个或更多个。例如，在一些配置中，系统400不包括IMU430或收发器470。而且，在某些示例实现中，系统400包括多种其它传感器(未示出)，诸如环境光传感器、麦克风、声传感器、超声传感器、激光测距仪等。在一些实施方式中，系统400的多个部分采取一个或更多个芯片组等的形式。
处理器450可以利用硬件、固件及软件的组合来实现。处理器450可以代表这样的一个或更多个电路，即，该电路可配置成执行与传感器融合和/或用于进一步处理融合的测量值的方法有关的计算过程或处理的至少一部分。处理器450从存储器460取回指令和/或数据。处理器450可以利用以下中的一个或更多个来实现：专用集成电路(ASIC)、中央和/或图形处理单元(CPU和/或GPU)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器、嵌入式处理器核心、电子装置、被设计成执行本文所述功能的其它电子单元或它们的组合。
存储器460可以在处理器450内实现和/或在处理器450外部实现。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性，或其它存储器，并且不限于任何特定类型的存储器或存储器的数量，或者储存存储器的物理介质的类型。在一些实施方式中，存储器460保持程序代码，程序代码易于传感器融合和/或一个或更多个图像处理，执行SLAM、跟踪、3D重建，以及由处理器450上的CV455执行的其它任务。
例如，存储器460可以存储传感器的测量值，诸如静止图像、深度信息、视频帧、程序结果、以及由IMU 430和其它传感器提供的数据。一般来说，存储器460可以代表任何数据存储机制。存储器460例如可以包括主存储器和/或辅存储器。主存储器例如可以包括随机存取存储器、只读存储器等。虽然图4中被例示为与450处理器分开，但应当明白，主存储器的全部或部分可以被设置在处理器450内或以其它方式与处理器450共同定位和/或联接至450处理器。
辅存储器例如可以包括和主存储器相同或相似类型的存储器，和/或一个或更多个数据存储装置或系统，举例来说，诸如闪存/USB存储器驱动器、存储卡驱动器、磁盘驱动器、光盘驱动器、磁带驱动器、固态驱动器、混合驱动器等。在某些实现中，辅存储器可以是在工作上容纳在可去除介质驱动器(未示出)中，或者可以其它方式配置成可去除介质驱动器中的非暂时性计算机可读介质。在一些实施方式中，非暂时性计算机可读介质形成存储器460和/或处理器450的一部分。
在一些实施方式中，CV 455可以实现各种计算机视觉方法和/或处理由传感器410捕捉的图像。例如，CV 455可以被配置用于处理由传感器410捕捉的一个或更多个图像，以利用与所捕捉的图像相关联的深度信息来执行对正在建模的环境的重建。
基于深度数据，在重建期间，每个像素可以被指派3D坐标。在一个实施方式中，处理器上的CV 455通过利用单眼(monocular)(单个摄像机)视觉SLAM系统来跟踪摄像机410的位置，以构建MS四周环境的粗略地图，以供摄像机410的准确且鲁棒的6DOF跟踪。术语单眼(monocular)是指使用单个非立体摄像机来捕捉图像或者在没有深度信息的情况下捕捉的图像。其它重建方法接着可以使用摄像机姿态和每像素深度信息来沿观看方向突出所捕捉的图像。例如，在一个实施方式中，处理器450被配置成利用融合测量值集来跟踪该场景中的物体。
本发明的上述实施方式可以按许多方式中的任一种来实现。例如，这些实施方式可以利用硬件、软件或它们的组合来实现。当按软件来实现时，软件代码可以在任何合适处理器或处理器集合上执行，而不管设置在单一计算机中还是分布在多个计算机当中。这种处理器可以被实现为集成电路，在集成电路组件中具有一个或更多个处理器。然而，处理器可以利用采用任何合适格式的电路来实现。
而且，本发明的实施方式可以被具体实施为已提供了示例的方法。作为该方法的一部分执行的动作可以按任何合适方式来安排。因此，即使在例示性实施方式中被示出为顺序动作，也可以构造按与所例示相比不同的次序来执行动作的实施方式，其可以包括同时执行一些动作。
在权利要求书中使用诸如“第一”、“第二”的普通术语来修改权利要求部件不独立地暗示一个权利要求部件的任何优先级、优先权，或次序超过执行方法的动作的另一或临时次序，而是仅仅被用作用于区分具有特定名称的一个权利要求部件与具有相同名称(但供普通术语使用)的另一部件的标记，以区分这些权利要求部件。

Claims (20)

1.一种用于融合具有不同分辨率的传感器的测量值的方法，该方法包括：
获取由第一传感器测量的场景的第一测量值集；
获取由第二传感器测量的所述场景的第二测量值集，其中，所述第一传感器的模态不同于所述第二传感器的模态，并且其中，所述第一传感器的分辨率低于所述第二传感器的分辨率；以及
联合执行所述第一传感器和所述第二传感器的校准以及所述第一测量值集与所述第二测量值集的融合，以生成限定所述第一传感器的坐标系与所述第二传感器的坐标系之间的几何映射的校准参数以及具有所述第一传感器的模态的融合测量值集，所述融合测量值集的分辨率高于所述第一传感器的分辨率，其中，联合地执行所述校准和所述融合，以彼此依赖地更新所述校准参数和所述融合测量值集，其中，所述方法的步骤利用处理器来执行。
2.根据权利要求1所述的方法，其中，所述校准和所述融合包括：
在给定所述校准参数的情况下优化所述融合测量值集的成本函数。
3.根据权利要求2所述的方法，其中，利用最陡下降法来优化所述成本函数，该最陡下降法包括：
确定降低所述成本函数的方向；以及
根据所述方向更新所述融合测量值集。
4.根据权利要求1所述的方法，其中，所述校准和所述融合包括：
以响应于所述融合测量值集的变化而更新所述校准参数，并且响应于所述校准参数的变化而更新所述融合测量值集的方式，递归地更新所述校准参数和所述融合测量值集，直到满足终止标准为止。
5.根据权利要求1所述的方法，其中，所述校准和所述融合包括：
利用所述第二测量值集来融合所述第一测量值集，以生成所述融合测量值集，其中，所述第一测量值集和所述第二测量值集根据所述校准参数彼此映射；
将所述融合测量值集与所述第二测量值集进行比较，以确定所述校准参数的误差；
更新所述校准参数以降低所述误差；以及
重复所述融合、所述比较及所述更新，直到满足终止标准为止。
6.根据权利要求5所述的方法，其中，所述误差包括在给定所述校准参数的情况下优化的所述融合测量值集的成本函数的值。
7.根据权利要求5所述的方法，其中，所述融合包括：
利用所述校准参数将所述第一测量值集映射至所述第二传感器的坐标系，以形成映射测量值集；
利用所述第二测量值集对所述映射测量值集进行上采样，以生成所述融合测量值集。
8.根据权利要求7所述的方法，其中，所述上采样保留最初通过所述第一传感器获取的测量值的一致性。
9.根据权利要求7所述的方法，其中，所述上采样将所述融合测量值集的质量的量度最大化。
10.根据权利要求7所述的方法，其中，所述上采样将所述融合测量值集与所述第二测量值集之间的相异性的量度最小化。
11.根据权利要求1所述的方法，其中，所述第一传感器和所述第二传感器被安装在车辆处以获取所述第一测量值集和所述第二测量值集。
12.根据权利要求1所述的方法，其中，所述第一传感器是深度传感器，并且所述第二传感器是摄像机，其中，所述第一测量值集是具有所述深度传感器的分辨率的深度图像，其中，所述第二测量值集是具有所述摄像机的分辨率的强度图像，并且其中，所述融合测量值集是具有所述摄像机的分辨率的深度图像。
13.一种系统，该系统包括：
第一传感器，该第一传感器对场景进行测量以生成所述场景的第一测量值集；
第二传感器，该第二传感器对所述场景进行测量以生成所述场景的第二测量值集，其中，所述第一传感器的分辨率低于所述第二传感器的分辨率；以及
处理器，该处理器用于联合执行所述第一传感器和所述第二传感器的校准和所述第一测量值集与所述第二测量值集的融合，以生成限定所述第一传感器的坐标系与所述第二传感器的坐标系之间的几何映射的校准参数以及具有所述第一传感器的模态的融合测量值集，所述融合测量值集的分辨率高于所述第一传感器的分辨率，其中，联合地执行所述校准和所述融合，以彼此依赖地更新所述校准参数和所述融合测量值集。
14.根据权利要求13所述的系统，其中，所述处理器被配置成利用所述融合测量值集来跟踪所述场景中的物体。
15.根据权利要求13所述的系统，其中，所述处理器在给定所述校准参数的情况下优化所述融合测量值集的成本函数。
16.根据权利要求13所述的系统，其中，所述第一传感器和所述第二传感器被安装在车辆处以获取所述第一测量值集和所述第二测量值集，并且其中，所述处理器形成所述车辆的计算系统的一部分。
17.根据权利要求13所述的系统，其中，所述第一传感器是深度传感器，并且所述第二传感器是摄像机，其中，所述第一测量值集是具有所述深度传感器的分辨率的深度图像，其中，所述第二测量值集是具有所述摄像机的分辨率的强度图像，并且其中，所述融合测量值集是具有所述摄像机的分辨率的深度图像。
18.一种用于融合未校准的传感器的输出的方法，该方法包括：
从第一传感器获取场景的第一测量值集；
从第二传感器获取所述场景的第二测量值集，其中，所述第一传感器的分辨率低于所述第二传感器的分辨率；
利用所述第二测量值集融合所述第一测量值集，以生成融合测量值集，所述融合测量值集具有所述第一传感器的模态，且具有比所述第一传感器的分辨率高的分辨率，其中，所述融合使用限定所述第一传感器的坐标系与所述第二传感器的坐标系之间的几何映射的校准参数；
对所述融合测量值集与所述第二测量值集进行比较，以确定所述校准参数的误差；
更新所述校准参数以降低所述误差；以及
重复所述融合、所述比较及所述更新，直到满足终止标准为止。
19.根据权利要求18所述的方法，其中，所述第一传感器的模态不同于所述第二传感器的模态，其中，所述融合测量值集包括具有所述第一传感器的模态和所述第二传感器的模态的数据，并且具有所述第二传感器的分辨率。
20.根据权利要求19所述的方法，其中，所述第一传感器是深度传感器，并且所述第二传感器是摄像机。
CN201680078181.7A 2016-01-12 2016-12-20 用于融合具有不同分辨率的传感器输出的系统和方法 Active CN108603933B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14/993,307 2016-01-12
EP14993307 2016-01-12
PCT/JP2016/088804 WO2017122529A1 (en) 2016-01-12 2016-12-20 System and method for fusing outputs of sensors having different resolutions

Publications (2)

Publication Number Publication Date
CN108603933A true CN108603933A (zh) 2018-09-28
CN108603933B CN108603933B (zh) 2022-07-08

Family

ID=59312071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078181.7A Active CN108603933B (zh) 2016-01-12 2016-12-20 用于融合具有不同分辨率的传感器输出的系统和方法

Country Status (2)

Country Link
CN (1) CN108603933B (zh)
DE (1) DE112016006213T5 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697410A (zh) * 2018-11-30 2019-04-30 中国电力科学研究院有限公司 一种架空输电线路覆盖地区的遥感地物识别方法
CN109738884A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 对象检测方法、装置和计算机设备
CN109781163A (zh) * 2018-12-18 2019-05-21 北京百度网讯科技有限公司 标定参数有效性检验方法、装置、设备及存储介质
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
WO2020093287A1 (zh) * 2018-11-07 2020-05-14 深圳配天智能技术研究院有限公司 超分辨率图像的获取方法及超分辨率图像的获取装置
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN113446956A (zh) * 2020-03-24 2021-09-28 阿里巴巴集团控股有限公司 数据采集设备及数据校正方法、装置、电子设备
CN114813679A (zh) * 2022-04-22 2022-07-29 上海星秒光电科技有限公司 一种时间分布直方图的构建方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109680592B (zh) * 2019-01-31 2023-10-31 河南科技大学 一种基于惯性测量和雷达测距的车载路面检测装置及方法
DE102021133091A1 (de) 2021-12-14 2023-06-15 Cariad Se Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung, Erfassungseinrichtung und Fahrzeug

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179084A1 (en) * 2002-03-21 2003-09-25 Ford Global Technologies, Inc. Sensor fusion system architecture
CN101625414A (zh) * 2009-08-11 2010-01-13 中国气象局北京城市气象研究所 雷达与地理信息数据的融合方法、装置，及天气监测系统
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US20110285910A1 (en) * 2006-06-01 2011-11-24 Canesta, Inc. Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US20120140061A1 (en) * 2010-12-02 2012-06-07 GM Global Technology Operations LLC Multi-Object Appearance-Enhanced Fusion of Camera and Range Sensor Data
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
CN102645646A (zh) * 2012-05-03 2012-08-22 西安费斯达自动化工程有限公司 一种多信源不确定融合定位方法
US20120287247A1 (en) * 2011-05-09 2012-11-15 Kabushiki Kaisha Toshiba Methods and systems for capturing 3d surface geometry
CN103337066A (zh) * 2013-05-27 2013-10-02 清华大学 3d获取系统的校准方法
CN103578117A (zh) * 2012-08-01 2014-02-12 三菱电机株式会社 确定摄像头相对于环境的姿态的方法
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
US20140112574A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera
CN103792521A (zh) * 2014-01-17 2014-05-14 西安空间无线电技术研究所 一种受Faraday旋转变化影响的雷达目标后向散射模拟方法
JP2014150521A (ja) * 2013-02-01 2014-08-21 Mitsubishi Electric Corp 奥行き画像の解像度を増大させる方法とシステム
US20150177003A1 (en) * 2013-12-25 2015-06-25 Industrial Technology Research Institute Vehicle position calibration method and apparatus
CN104777499A (zh) * 2015-04-13 2015-07-15 河南理工大学 一种基于ins/gps/sar的联合导航方法
US20150279016A1 (en) * 2014-03-27 2015-10-01 Electronics And Telecommunications Research Institute Image processing method and apparatus for calibrating depth of depth sensor
US20150317781A1 (en) * 2012-11-05 2015-11-05 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
CN105093235A (zh) * 2015-08-18 2015-11-25 北京控制工程研究所 一种同步扫描交会测量融合成像系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179084A1 (en) * 2002-03-21 2003-09-25 Ford Global Technologies, Inc. Sensor fusion system architecture
US20110285910A1 (en) * 2006-06-01 2011-11-24 Canesta, Inc. Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
CN101625414A (zh) * 2009-08-11 2010-01-13 中国气象局北京城市气象研究所 雷达与地理信息数据的融合方法、装置，及天气监测系统
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN102572505A (zh) * 2010-11-03 2012-07-11 微软公司 家中深度相机校准
US20120140061A1 (en) * 2010-12-02 2012-06-07 GM Global Technology Operations LLC Multi-Object Appearance-Enhanced Fusion of Camera and Range Sensor Data
US20120287247A1 (en) * 2011-05-09 2012-11-15 Kabushiki Kaisha Toshiba Methods and systems for capturing 3d surface geometry
CN102645646A (zh) * 2012-05-03 2012-08-22 西安费斯达自动化工程有限公司 一种多信源不确定融合定位方法
CN103578117A (zh) * 2012-08-01 2014-02-12 三菱电机株式会社 确定摄像头相对于环境的姿态的方法
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
US20140112574A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera
US20150317781A1 (en) * 2012-11-05 2015-11-05 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
JP2014150521A (ja) * 2013-02-01 2014-08-21 Mitsubishi Electric Corp 奥行き画像の解像度を増大させる方法とシステム
CN103337066A (zh) * 2013-05-27 2013-10-02 清华大学 3d获取系统的校准方法
US20150177003A1 (en) * 2013-12-25 2015-06-25 Industrial Technology Research Institute Vehicle position calibration method and apparatus
CN103792521A (zh) * 2014-01-17 2014-05-14 西安空间无线电技术研究所 一种受Faraday旋转变化影响的雷达目标后向散射模拟方法
US20150279016A1 (en) * 2014-03-27 2015-10-01 Electronics And Telecommunications Research Institute Image processing method and apparatus for calibrating depth of depth sensor
CN104777499A (zh) * 2015-04-13 2015-07-15 河南理工大学 一种基于ins/gps/sar的联合导航方法
CN105093235A (zh) * 2015-08-18 2015-11-25 北京控制工程研究所 一种同步扫描交会测量融合成像系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AMIR BECK: "Fast Gradient-Based Algorithms for Constrained Total Variation Image Denoising and Deblurring Problems", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
JUAN CASTORENA: "AUTOCALIBRATION OF LIDAR AND OPTICAL CAMERAS VIA EDGE ALIGNMENT", 《IEEE XPLORE》 *
OLEG NARODITSKY: "Automatic Alignment of a Camera with a Line Scan LIDAR System", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
王炯琦: "非标准多传感器信息融合下的状态融合估计", 《系统工程与电子技术》 *
罗晓清: "多传感器图像融合理论及其应用研究", 《中国博士学位论文全文数据库 信息科技辑》 *
薛惠锋: "《系统工程技术》", 31 July 2007, 国防工业出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093287A1 (zh) * 2018-11-07 2020-05-14 深圳配天智能技术研究院有限公司 超分辨率图像的获取方法及超分辨率图像的获取装置
CN109697410A (zh) * 2018-11-30 2019-04-30 中国电力科学研究院有限公司 一种架空输电线路覆盖地区的遥感地物识别方法
CN109781163A (zh) * 2018-12-18 2019-05-21 北京百度网讯科技有限公司 标定参数有效性检验方法、装置、设备及存储介质
CN109781163B (zh) * 2018-12-18 2021-08-03 北京百度网讯科技有限公司 标定参数有效性检验方法、装置、设备及存储介质
CN109738884A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 对象检测方法、装置和计算机设备
CN109738884B (zh) * 2018-12-29 2022-03-11 百度在线网络技术（北京）有限公司 对象检测方法、装置和计算机设备
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN113446956A (zh) * 2020-03-24 2021-09-28 阿里巴巴集团控股有限公司 数据采集设备及数据校正方法、装置、电子设备
WO2021190485A1 (zh) * 2020-03-24 2021-09-30 阿里巴巴集团控股有限公司 数据采集设备及数据校正方法、装置、电子设备
CN113446956B (zh) * 2020-03-24 2023-08-11 阿里巴巴集团控股有限公司 数据采集设备及数据校正方法、装置、电子设备
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN114813679A (zh) * 2022-04-22 2022-07-29 上海星秒光电科技有限公司 一种时间分布直方图的构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108603933B (zh) 2022-07-08
DE112016006213T5 (de) 2018-10-18

Similar Documents

Publication Publication Date Title
JP6552729B2 (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
CN108603933B (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
US11754721B2 (en) Visualization and semantic monitoring using lidar data
EP3469306B1 (en) Geometric matching in visual navigation systems
TWI695181B (zh) 用於產生彩色點雲的方法和系統
US9443350B2 (en) Real-time 3D reconstruction with power efficient depth sensor usage
US10509983B2 (en) Operating device, operating system, operating method, and program therefor
WO2019179417A1 (zh) 数据融合方法以及相关设备
WO2020037492A1 (en) Distance measuring method and device
KR20210078439A (ko) 카메라 대 lidar 교정 및 검증
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
US11347238B2 (en) System and method for probabilistic multi-robot SLAM
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
JP7166446B2 (ja) ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体
KR101874926B1 (ko) 인식된 오브젝트들을 사용하여 센서들을 교정하기 위한 방법들 및 시스템들
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN111833443A (zh) 自主机器应用中的地标位置重建
KR102618069B1 (ko) 지상조사 로봇의 점군 자료와 시각정보를 이용한 실내건물 재난정보 분석 방법 및 장치
CN112528719A (zh) 推定装置、推定方法以及存储介质
US20220343536A1 (en) Three-dimensional map estimation apparatus and obstacle detection apparatus
CN117859104A (zh) 飞行器、图像处理方法和装置、可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant