CN113378867B - 一种异步数据融合的方法、装置、存储介质及电子设备 - Google Patents

一种异步数据融合的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113378867B
CN113378867B CN202010115720.8A CN202010115720A CN113378867B CN 113378867 B CN113378867 B CN 113378867B CN 202010115720 A CN202010115720 A CN 202010115720A CN 113378867 B CN113378867 B CN 113378867B
Authority
CN
China
Prior art keywords
current frame
fusion
camera
data
hidden state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010115720.8A
Other languages
English (en)
Other versions
CN113378867A (zh
Inventor
张雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingzhou Zhihang Intelligent Technology Co ltd
Original Assignee
Beijing Qingzhou Zhihang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingzhou Zhihang Intelligent Technology Co ltd filed Critical Beijing Qingzhou Zhihang Intelligent Technology Co ltd
Priority to CN202010115720.8A priority Critical patent/CN113378867B/zh
Priority to US17/032,762 priority patent/US11501123B2/en
Publication of CN113378867A publication Critical patent/CN113378867A/zh
Application granted granted Critical
Publication of CN113378867B publication Critical patent/CN113378867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种异步数据融合的方法、装置、存储介质及电子设备，其中，该方法包括：获取当前帧激光雷达数据，确定当前帧激光雷达三维特征；确定上一帧融合隐藏状态，根据上一帧融合隐藏状态和当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态和当前帧输出结果；获取当前帧相机数据，确定当前帧相机三维特征，根据当前帧相机三维特征和当前帧临时隐藏状态生成当前帧融合隐藏状态。通过本发明实施例提供的异步数据融合的方法、装置、存储介质及电子设备，采用当前帧激光雷达数据与上一帧相机数据进行异步融合的方式，处理延迟低；同时异步融合时结合上一帧激光雷达数据进行时序融合，故在当前帧能够更好地融合，融合效果好。

Description

一种异步数据融合的方法、装置、存储介质及电子设备
技术领域
本发明涉及异步数据融合的技术领域，具体而言，涉及一种异步数据融合的方法、装置、存储介质及电子设备。
背景技术
多传感器融合技术是指将经过同步后的不同传感器数据进行融合处理的方法。该技术在多种机器人应用中得到了广泛的应用，例如无人驾驶(Autonomous driving)、高级辅助驾驶(ADAS)、智能家居，手术机器人、工业控制等。传统的多传感器融合技术大多采用卡尔曼滤波的方法，近年来，随着深度学习技术的兴起，人工神经网络因其较强的识别能力被越来越多地应用在多传感器数据融合方向。人工神经网络通过大数据集上的训练可以很好地学习到不同传感器数据之间的相关性(correlations)，并消除非目标信息的干扰。
多传感器融合技术在无人驾驶应用中扮演着举足轻重的角色。无人驾驶因其问题复杂度高、安全关键(safety critical)等特性，使得多种传感器(例如相机/激光雷达/雷达)以及多传感器融合技术被大量应用于无人驾驶感知系统。不同的传感器都有其自身的优势和劣势：相机提供的相机数据信息密度大，拥有颜色信息，但动态范围(dynamicrange)较低，在弱光(low-light)及高对比度光线条件场景很难捕捉足够的视觉信息；激光雷达(Light Detection and Ranging,LiDAR)生成的3D点云可以提供精确的3D信息，但点云较为稀疏，同时会在雾气/雨滴/雪花/汽车尾气等场景下容易形成虚假点(spuriouspoints)；雷达有效范围较远，有能力检测物体速度，但信息稀疏且存在多经和多普勒模糊问题，使得在通过隧道、大桥等场景下雷达探测可信性降低。不同的传感器特性不同，失效模式(failure mode)相对彼此正交(orthorganal)。因此，在无人车之中利用和融合多传感器数据会增加冗余度，提高系统鲁棒性和可靠性。
激光雷达与相机的融合是无人驾驶多传感器融合的主要方向之一。目前，学术界和工业界都在积极探索利用人工神经网络融合输入激光点云以及相机图像做目标检测(object detection)/目标分割(object segmentation)等任务。此类方法考虑将当前帧的激光雷达点云和当前帧的相机图像进行融合，即激光雷达和相机的数据同步融合。这种激光雷达和相机的同步数据融合的方式将同一帧采集到的激光和相机数据进行融合，两类传感器采集数据的时间戳较近，便于直接融合。但在实际无人驾驶工程应用中，机械激光雷达因其可以流传输(streaming)所以传感器延迟(sensor latency)较低。同时因其数据量较小(e.g.100k～150k points for a typical 64beam Lidar)所以处理延迟(processinglatency)也相对较低。相机，相较激光雷达，由于图像本身的预处理(例如编/解码，颜色矫正等)以及较难进行流传输等使得传感器延迟较高。同时因其数据量较大(e.g.2000kpixels for a 1080p image)所以处理延迟也相对较高。如果将两者直接同步融合会造成整体融合模块的延迟较高。具体来看即激光雷达的数据收集与处理已经完成，但整体融合算法还在等相机的数据收集与处理，这对于无人驾驶系统的快速反应与安全关键相左。因此，激光雷达和相机的同步融合在实际无人驾驶工程中并非最优设计。
在实际工程中，另一种激光雷达和相机的数据融合的方式也被广泛采用，即采用当前帧的雷达数据与上一帧的相机图像进行异步融合。当前帧的雷达数据不需要等待当前帧相机的处理，而是使用上一帧已经处理好(或快处理好)的相机数据，使得在相机收集与处理延迟不变的情况下降低整体融合算法的延迟。此类方式可以很好的避免由于相机图像的数据收集与处理高延迟导致的整体融合算法高延迟的问题。但同时该方法由于异步问题，即两类传感器采集数据的时间戳较远(100ms以上)的问题，导致数据不匹配，融合效果不好。这类方法当前多用于一些传统的多传感器融合中，例如基于卡尔曼滤波的多传感器融合方法；而且，目前的异步融合方法因数据不匹配导致融合效果较差。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种异步数据融合的方法、装置、存储介质及电子设备。
第一方面，本发明实施例提供了一种异步数据融合的方法，包括：
获取当前帧激光雷达数据，确定所述当前帧激光雷达数据的当前帧激光雷达三维特征；
确定上一帧融合隐藏状态，根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，所述上一帧融合隐藏状态为根据上一帧临时隐藏状态和上一帧相机三维特征所生成的隐藏状态；
获取当前帧相机数据，确定所述当前帧相机数据的当前帧相机三维特征，根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态；所述当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，并生成下一帧临时隐藏状态。
根据本发明，时序融合网络具有至少一个隐藏层，其中所述隐藏状态是至少一个隐藏层的输出。
在一种可能的实现方式中，所述根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，包括：
基于递归神经网络构建时序融合网络；
将所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征作为所述时序融合网络的输入，生成当前帧临时隐藏状态和当前帧时序融合特征；
根据所述当前帧时序融合特征生成当前帧输出结果。
在一种可能的实现方式中，所述确定所述当前帧相机数据的当前帧相机三维特征包括：
根据预设的骨干网络生成所述当前帧相机数据的当前帧相机二维特征；
根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征。
在一种可能的实现方式中，所述根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征，包括：
将所述当前帧激光雷达数据中的激光雷达点投影至所述当前帧相机数据的图像平面，将所述图像平面内与所述激光雷达点相匹配的像素点作为锚定点，并将相应的所述激光雷达点的深度信息作为所述锚定点的深度信息；
根据所述锚定点的深度信息对所述图像平面中未匹配到所述激光雷达点的像素点进行深度补全，确定所有像素点的深度信息；
根据所有像素点的深度信息和相机参数将所述当前帧相机二维特征投影至三维空间中，生成相应的当前帧相机三维特征。
在一种可能的实现方式中，所述根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态包括：
预设传感器融合网络；
根据所述传感器融合网络对所述当前帧相机三维特征和所述当前帧临时隐藏状态进行并置处理，生成当前帧融合隐藏状态；或者，根据所述传感器融合网络对所述当前帧相机三维特征和所述当前帧临时隐藏状态进行前融合、中融合或后融合处理，生成融合后的当前帧融合隐藏状态。
第二方面，本发明实施例还提供了一种异步数据融合的装置，包括：
激光雷达数据处理模块，用于获取当前帧激光雷达数据，确定所述当前帧激光雷达数据的当前帧激光雷达三维特征；
时序融合处理模块，用于确定上一帧融合隐藏状态，根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，所述上一帧融合隐藏状态为根据上一帧临时隐藏状态和上一帧相机三维特征所生成的隐藏状态；
相机数据处理模块，用于获取当前帧相机数据，确定所述当前帧相机数据的当前帧相机三维特征，根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态；所述当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，并生成下一帧临时隐藏状态。
在一种可能的实现方式中，所述时序融合处理模块根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，包括：
基于递归神经网络构建时序融合网络；
将所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征作为所述时序融合网络的输入，生成当前帧临时隐藏状态和当前帧时序融合特征；
根据所述当前帧时序融合特征生成当前帧输出结果。
在一种可能的实现方式中，所述相机数据处理模块确定所述当前帧相机数据的当前帧相机三维特征包括：
根据预设的骨干网络生成所述当前帧相机数据的当前帧相机二维特征；
根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征。
第三方面，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于上述任意一项所述的异步数据融合的方法。
第四方面，本发明实施例还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意一项所述的异步数据融合的方法。
本发明实施例上述第一方面提供的方案中，每一帧可以生成相应的融合隐藏状态，故当前帧可以直接获取到上一帧融合隐藏状态，且该上一帧融合隐藏状态与上一帧相机数据和上一帧激光雷达数据均相关；基于当前帧快速获取到的当前帧激光雷达数据和该上一帧融合隐藏状态即可生成当前帧输出结果，在获取到当前帧相机数据之后再生成当前帧融合隐藏状态以供下一帧处理使用。该方式采用当前帧激光雷达数据与上一帧相机数据进行异步融合的方式，处理延迟低，速度快；同时异步融合时结合上一帧激光雷达数据进行时序融合，故在当前帧能够更好地融合，融合效果好，能够解决因数据不匹配导致融合效果差的问题。
此外，在本申请的技术方案中，也可以使用其他的输出3D点的雷达，例如毫米波雷达对激光雷达进行替代，只要其可以输出足够多的点以产生点云。替选地，也可以使用其他的输出3D点的雷达，例如毫米波雷达对激光雷达进行补充，以产生点云。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种异步数据融合的方法的流程图；
图2示出了本发明实施例所提供的异步数据融合方法的详细过程示意图；
图3示出了本发明实施例所提供的一种异步数据融合的装置的结构示意图；
图4示出了本发明实施例所提供的用于执行异步数据融合的方法的电子设备的结构示意图。
具体实施方式
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在下文中，以激光雷达和相机为例，具体说明本发明的实施方式，需要指出的是，本发明不限制于此，也可以使用功能上等同或类似的其他雷达等，只要其能够实现本发明的技术方案。
本发明实施例提供的一种异步数据融合的方法，参见图1所示，包括：
步骤101：获取当前帧激光雷达数据，确定当前帧激光雷达数据的当前帧激光雷达三维特征。
本发明实施例中，在当前场景下设有激光雷达和相机(Camera)，比如在无人驾驶场景下，在无人车辆上设有激光雷达和相机。其中，该激光雷达和相机实时采集相应的数据，本实施例中对采集的数据按帧为单位进行处理。具体的，在当前时刻，激光雷达可以采集到当前帧的激光点云(LiDAR Point)数据，即当前帧激光雷达数据；同样的，相机可以采集到当前帧的图像，即当前帧相机数据。但是由于激光雷达延迟较低等原因，若获取到当前帧激光雷达数据，之后需要间隔一段时间才能获取到当前帧相机数据。
本实施例中，在获取到当前帧激光雷达数据之后，即可对该激光雷达数据进行特征提取处理，确定当前场景相应的激光雷达三维特征(LiDAR 3D embeddings)，即当前帧激光雷达三维特征。其中，可以预先设置激光雷达网络(LiDAR Net)，基于该激光雷达网络对当前帧激光雷达数据进行处理，达到相应的当前帧激光雷达三维特征。具体可采用基于体素化(voxelization)的算法，如Voxelnet，pointpillar等，也可以采用基于点的算法，例如point RCNN(Regions with CNN features)等。
步骤102：确定上一帧融合隐藏状态，根据上一帧融合隐藏状态和当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果；该上一帧融合隐藏状态为根据上一帧临时隐藏状态和上一帧相机三维特征所生成的隐藏状态。
本发明实施例中，每一帧均可以生成相应的融合隐藏状态(Fused HiddenState)，在当前帧的上一帧，可以生成上一帧融合隐藏状态，在当前帧可以生成当前帧隐藏状态。在每一帧所对应的时刻，根据临时隐藏状态和相机三维特征(Camera 3Dembeddings)生成融合后的融合隐藏状态；即根据上一帧临时隐藏状态和上一帧相机三维特征可以融合生成该上一帧融合隐藏状态。在当前帧，由于可以快速地获取到当前帧激光雷达数据，且在当前帧的上一帧即可融合得到上一帧融合隐藏状态，故在当前帧可以快速地对上一帧融合隐藏状态和当前帧激光雷达三维特征进行融合处理，实现异步融合，该过程不需要在当前帧获取到当前帧相机数据，故不受相机处理延迟影响。
同时，本实施例中的异步融合采用时序融合的方式，即根据上一帧融合隐藏状态和当前帧激光雷达三维特征进行时序融合处理，从而可以生成当前帧临时隐藏状态。同时，基于该时序融合处理还可以生成当前帧输出结果(Result)，该当前帧输出结果即可作为当前帧的最终结果。由于上一帧融合隐藏状态是根据上一帧临时隐藏状态和上一帧相机三维特征生成的，且上一帧临时隐藏状态与当前帧临时隐藏状态的生成过程相同，即上一帧临时隐藏状态与上一帧激光雷达三维特征相关，故在当前帧，实质上基于上一帧激光雷达三维特征、上一帧相机三维特征、当前帧激光雷达三维特征进行融合处理生成该当前帧输出结果，异步融合效果更好。
其中，若当前帧为初始的第一帧，此时由于不存在上一帧，即不存在上一帧临时隐藏状态和上一帧相机三维特征，此时可以将基于上一帧临时隐藏状态和上一帧相机三维特征得到的上一帧融合隐藏状态设为零，即融合隐藏状态的初始值为零。
步骤103：获取当前帧相机数据，确定当前帧相机数据的当前帧相机三维特征，根据当前帧相机三维特征和当前帧临时隐藏状态生成当前帧融合隐藏状态；当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，并生成下一帧临时隐藏状态。
本发明实施例中，如上所述，基于相机可以采集到当前帧的图像，进而获取到当前帧相机数据；通过特征提取处理即可确定相应的当前帧相机三维特征。之后对当前帧相机三维特征和步骤102中生成的当前帧临时隐藏状态进行融合处理，进而生成当前帧融合隐藏状态。与上述的上一帧融合隐藏状态相似，该当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，从而可以生成下一帧临时隐藏状态，即在每一帧均可以执行上述步骤101-103，实现循环执行，每一帧均可生成时序融合后的输出结果。
可选的，本实施例中可以预设传感器融合网络(Sensor Fusion Net)，将当前帧相机三维特征和当前帧临时隐藏状态输入至该传感器融合网络，进而生成当前帧融合隐藏状态，实现当前帧相机数据和当前帧激光雷达数据的融合。其中，可以根据传感器融合网络对当前帧相机三维特征和当前帧临时隐藏状态进行并置(cancatenate)处理，即将二者并置在一起，从而生成当前帧融合隐藏状态；或者，根据传感器融合网络对当前帧相机三维特征和当前帧临时隐藏状态进行前融合、中融合或后融合处理，生成融合后的当前帧融合隐藏状态。
本发明实施例提供的一种异步数据融合的方法，每一帧可以生成相应的融合隐藏状态，故当前帧可以直接获取到上一帧融合隐藏状态，且该上一帧融合隐藏状态与上一帧相机数据和上一帧激光雷达数据均相关；基于当前帧快速获取到的当前帧激光雷达数据和该上一帧融合隐藏状态即可生成当前帧输出结果，在获取到当前帧相机数据之后再生成当前帧融合隐藏状态以供下一帧处理使用。该方式采用当前帧激光雷达数据与上一帧相机数据进行异步融合的方式，处理延迟低，速度快；同时异步融合时结合上一帧激光雷达数据进行时序融合，故在当前帧能够更好地融合，融合效果好，能够解决因数据不匹配导致融合效果差的问题。
在上述实施例的基础上，上述步骤102“根据上一帧融合隐藏状态和当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果”包括：
步骤A1：基于递归神经网络构建时序融合网络。
步骤A2：将上一帧融合隐藏状态和当前帧激光雷达三维特征作为时序融合网络的输入，生成当前帧临时隐藏状态和当前帧时序融合特征。
步骤A3：根据当前帧时序融合特征生成当前帧输出结果。
本发明实施例中，时序融合处理基于时序融合网络(Temporal Fusion Net)，该时序融合网络采用递归神经网络(Recurrent Neural Network)来建构，其具体用于对激光雷达三维特征进行时序融合。具体你，该时序融合网络以上一帧融合隐藏状态和当前帧激光雷达三维特征作为输入，从而可以生成并输出当前帧临时隐藏状态和当前帧时序融合特征。该当前帧时序融合特征之后可以输入到任务相关网络，如预测器(detector)、分割器(segmenter)等，从而可以得到数据融合后最终结果，即当前帧输出结果。
具体的，该异步数据融合方法的处理过程可参见图2所示，设当前帧为t帧(framet)，上一帧即为t-1帧(frame t-1)；在当前帧t，可以获取到t-1帧的融合隐藏状态，即上一帧融合隐藏状态Ht-1；同时，在当前帧通过激光雷达可以采集到当前帧激光雷达数据Lt，将该当前帧激光雷达数据Lt输入至预设的激光雷达网络即可生成当前帧激光雷达三维特征F(L)t。之后将上一帧融合隐藏状态Ht-1和当前帧激光雷达三维特征F(L)t输入至时序融合网络即可得到当前帧临时隐藏状态ht和当前帧时序融合特征，并基于该当前帧时序融合特征确定当前帧输出结果Rt。
在上述实施例的基础上，可以预先设置相机网络(Camera Net)，该相机网络可以对输入的当前帧相机数据进行处理，得到相应的当前帧三维数据；具体的，上述步骤103“确定当前帧相机数据的当前帧相机三维特征”包括：
步骤B1：根据预设的骨干网络生成当前帧相机数据的当前帧相机二维特征。
步骤B2：根据当前帧激光雷达数据对当前帧相机数据进行深度补全处理，确定当前帧相机数据的像素深度信息，并根据像素深度信息和当前帧相机二维特征生成当前帧相机三维特征。
本发明实施例中，由于相机采集的图像一般为二维数据，其不具有深度(Depth)，而激光雷达可以采集到深度信息，故本实施例中采用深度补全的方法配合生成相机的空间三维特征，即当前帧相机三维特征。具体的，本实施例中基于骨干网络提取当前帧相机数据的二维特征，即当前帧相机二维特征，该骨干网络具体可以为ResNet,DenseNet,MobileNet等。之后根据当前帧激光雷达数据和当前帧相机数据的当前帧相机二维特征即可进行深度补全处理。
具体的，上述步骤B2“根据当前帧激光雷达数据对当前帧相机数据进行深度补全处理，确定当前帧相机数据的像素深度信息，并根据像素深度信息和当前帧相机二维特征生成当前帧相机三维特征”包括：
步骤B21：将当前帧激光雷达数据中的激光雷达点投影至当前帧相机数据的图像平面，将图像平面内与激光雷达点相匹配的像素点作为锚定点，并将相应的激光雷达点的深度信息作为锚定点的深度信息。
步骤B22：根据锚定点的深度信息对图像平面中未匹配到激光雷达点的像素点进行深度补全，确定所有像素点的深度信息。
步骤B23：根据所有像素点的深度信息和相机参数将当前帧相机二维特征投影至三维空间中，生成相应的当前帧相机三维特征。
本发明实施例中，由于激光雷达数据为点云数据，其较为稀疏，不能完全覆盖相机所采集图像的每个像素点，故本实施例中将激光雷达点所能投影到的像素点作为锚定点，并以该锚定点为基础对为匹配到激光雷达点的像素点进行深度补全，从而可以确定相机所采集的图像中所有像素点的深度信息。在深度补全后，结合各像素的深度信息和相机参数即可把当前帧相机二维特征投影至三维空间中，进而得到当前帧的3D特征，即当前帧相机三维特征。其中，该相机参数包括内参和外参，内参包括内参矩阵和畸变参数矩阵，外参包括旋转矩阵和平移向量。
下面通过图2详细介绍该异步数据融合方法的过程。参见图2所示，当前帧为t帧(frame t)，上一帧即为t-1帧(frame t-1)。
在t帧，激光雷达可以采集数据，生成当前帧激光雷达数据Lt，将该当前帧激光雷达数据Lt输入至预设的激光雷达网络(LiDAR Net)即可生成当前帧激光雷达三维特征F(L)t。同时，在t-1帧可以预先生成相应的融合隐藏状态，即上一帧融合隐藏状态Ht-1，在第t帧可以直接将上一帧融合隐藏状态Ht-1和当前帧激光雷达三维特征F(L)t输入至时序融合网络(Temporal Fusion Net)即可得到当前帧临时隐藏状态ht和当前帧时序融合特征，之后基于该当前帧时序融合特征即可确定当前帧输出结果Rt。
在第t帧，相机可以采集相应的图像，在处理后即可生成相机数据，即当前帧相机数据Imgt；同时，提取当前帧激光雷达数据Lt中的深度信息Dt，将该当前帧相机数据Imgt和深度信息Dt输入至相机网络(Camera Net)，即可得到当前帧相机三维特征F(C)t；进而再把该当前帧相机三维特征F(C)t和之前生成的当前帧临时隐藏状态ht输入至传感器融合网络(Sensor Fusion Net)，从而可以得到当前帧融合隐藏状态Ht。之后，在下一帧，即在t+1帧，可以重复执行上述步骤，即根据该当前帧融合隐藏状态Ht与下一帧激光雷达三维特征进行时序融合处理，从而可以生成下一帧临时隐藏状态……
同样的，在第t帧获取的上一帧融合隐藏状态Ht-1与当前帧融合隐藏状态Ht的生成过程相同。具体的，参见图2所示，在t-1帧，根据上一帧激光雷达数据Lt-1生成上一帧激光雷达三维特征F(L)t-1。同时，基于上上帧融合隐藏状态Ht-2和上一帧激光雷达三维特征F(L)t-1，利用时序融合网络(Temporal Fusion Net)即可得到上一帧临时隐藏状态ht-1和上一帧输出结果Rt-1。在获取到上一帧相机数据Imgt-1之后，基于上一帧激光雷达数据Lt-1中的深度信息Dt-1即可得到上一帧相机三维特征F(C)t-1，并利用传感器融合网络对该上一帧相机三维特征F(C)t-1和上一帧临时隐藏状态ht-1进行融合处理，得到上一帧融合隐藏状态Ht-1。
本发明实施例提供的一种异步数据融合的方法，每一帧可以生成相应的融合隐藏状态，故当前帧可以直接获取到上一帧融合隐藏状态，且该上一帧融合隐藏状态与上一帧相机数据和上一帧激光雷达数据均相关；基于当前帧快速获取到的当前帧激光雷达数据和该上一帧融合隐藏状态即可生成当前帧输出结果，在获取到当前帧相机数据之后再生成当前帧融合隐藏状态以供下一帧处理使用。该方式采用当前帧激光雷达数据与上一帧相机数据进行异步融合的方式，处理延迟低，速度快；同时异步融合时结合上一帧激光雷达数据进行时序融合，故在当前帧能够更好地融合，融合效果好，能够解决因数据不匹配导致融合效果差的问题。
以上详细介绍了异步数据融合的方法的流程，该方法也可以通过相应的装置实现，下面详细介绍该装置的结构和功能。
本发明实施例提供的一种异步数据融合的装置，参见图3所示，包括：
激光雷达数据处理模块31，用于获取当前帧激光雷达数据，确定所述当前帧激光雷达数据的当前帧激光雷达三维特征；
时序融合处理模块32，用于确定上一帧融合隐藏状态，根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，所述上一帧融合隐藏状态为根据上一帧临时隐藏状态和上一帧相机三维特征所生成的隐藏状态；
相机数据处理模块33，用于获取当前帧相机数据，确定所述当前帧相机数据的当前帧相机三维特征，根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态；所述当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，并生成下一帧临时隐藏状态。
在上述实施例的基础上，所述时序融合处理模块32根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，包括：
基于递归神经网络构建时序融合网络；
将所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征作为所述时序融合网络的输入，生成当前帧临时隐藏状态和当前帧时序融合特征；
根据所述当前帧时序融合特征生成当前帧输出结果。
在上述实施例的基础上，所述相机数据处理模块33确定所述当前帧相机数据的当前帧相机三维特征包括：
根据预设的骨干网络生成所述当前帧相机数据的当前帧相机二维特征；
根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征。
在上述实施例的基础上，所述相机数据处理模块33根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征，包括：
将所述当前帧激光雷达数据中的激光雷达点投影至所述当前帧相机数据的图像平面，将所述图像平面内与所述激光雷达点相匹配的像素点作为锚定点，并将相应的所述激光雷达点的深度信息作为所述锚定点的深度信息；
根据所述锚定点的深度信息对所述图像平面中未匹配到所述激光雷达点的像素点进行深度补全，确定所有像素点的深度信息；
根据所有像素点的深度信息和相机参数将所述当前帧相机二维特征投影至三维空间中，生成相应的当前帧相机三维特征。
在上述实施例的基础上，所述相机数据处理模块33根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态包括：
预设传感器融合网络；
根据所述传感器融合网络对所述当前帧相机三维特征和所述当前帧临时隐藏状态进行并置处理，生成当前帧融合隐藏状态；或者，根据所述传感器融合网络对所述当前帧相机三维特征和所述当前帧临时隐藏状态进行前融合、中融合或后融合处理，生成融合后的当前帧融合隐藏状态。
本发明实施例提供的一种异步数据融合的装置，每一帧可以生成相应的融合隐藏状态，故当前帧可以直接获取到上一帧融合隐藏状态，且该上一帧融合隐藏状态与上一帧相机数据和上一帧激光雷达数据均相关；基于当前帧快速获取到的当前帧激光雷达数据和该上一帧融合隐藏状态即可生成当前帧输出结果，在获取到当前帧相机数据之后再生成当前帧融合隐藏状态以供下一帧处理使用。该方式采用当前帧激光雷达数据与上一帧相机数据进行异步融合的方式，处理延迟低，速度快；同时异步融合时结合上一帧激光雷达数据进行时序融合，故在当前帧能够更好地融合，融合效果好，能够解决因数据不匹配导致融合效果差的问题。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，其包含用于执行上述的异步数据融合的方法的程序，该计算机可执行指令可执行上述任意方法实施例中的方法。
其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
图4示出了本发明的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、平板电脑、车载计算机或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。
该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的异步数据融合的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的实施方式，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种异步数据融合的方法，其特征在于，包括：
获取当前帧激光雷达数据，确定所述当前帧激光雷达数据的当前帧激光雷达三维特征；
确定上一帧融合隐藏状态，根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，所述上一帧融合隐藏状态为根据上一帧临时隐藏状态和上一帧相机三维特征所生成的隐藏状态；
获取当前帧相机数据，确定所述当前帧相机数据的当前帧相机三维特征，根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态；所述当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，并生成下一帧临时隐藏状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，包括：
基于递归神经网络构建时序融合网络；
将所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征作为所述时序融合网络的输入，生成当前帧临时隐藏状态和当前帧时序融合特征；
根据所述当前帧时序融合特征生成当前帧输出结果。
3.根据权利要求1所述的方法，其特征在于，所述确定所述当前帧相机数据的当前帧相机三维特征包括：
根据预设的骨干网络生成所述当前帧相机数据的当前帧相机二维特征；
根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征。
4.根据权利要求3所述的方法，其特征在于，所述根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征，包括：
将所述当前帧激光雷达数据中的激光雷达点投影至所述当前帧相机数据的图像平面，将所述图像平面内与所述激光雷达点相匹配的像素点作为锚定点，并将相应的所述激光雷达点的深度信息作为所述锚定点的深度信息；
根据所述锚定点的深度信息对所述图像平面中未匹配到所述激光雷达点的像素点进行深度补全，确定所有像素点的深度信息；
根据所有像素点的深度信息和相机参数将所述当前帧相机二维特征投影至三维空间中，生成相应的当前帧相机三维特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态包括：
预设传感器融合网络；
根据所述传感器融合网络对所述当前帧相机三维特征和所述当前帧临时隐藏状态进行并置处理，生成当前帧融合隐藏状态；或者，根据所述传感器融合网络对所述当前帧相机三维特征和所述当前帧临时隐藏状态进行前融合、中融合或后融合处理，生成融合后的当前帧融合隐藏状态。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述激光雷达能够通过其他的输出3D点的雷达来替代，所述其他的输出3D点的雷达能够输出足够多的点以产生点云。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述激光雷达能够通过其他的输出3D点的雷达来补充，以产生点云。
8.一种异步数据融合的装置，其特征在于，包括：
激光雷达数据处理模块，用于获取当前帧激光雷达数据，确定所述当前帧激光雷达数据的当前帧激光雷达三维特征；
时序融合处理模块，用于确定上一帧融合隐藏状态，根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，所述上一帧融合隐藏状态为根据上一帧临时隐藏状态和上一帧相机三维特征所生成的隐藏状态；
相机数据处理模块，用于获取当前帧相机数据，确定所述当前帧相机数据的当前帧相机三维特征，根据所述当前帧相机三维特征和所述当前帧临时隐藏状态生成当前帧融合隐藏状态；所述当前帧融合隐藏状态用于与下一帧激光雷达三维特征进行时序融合处理，并生成下一帧临时隐藏状态。
9.根据权利要求8所述的装置，其特征在于，所述时序融合处理模块根据所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征进行时序融合处理，生成当前帧临时隐藏状态，并生成当前帧输出结果，包括：
基于递归神经网络构建时序融合网络；
将所述上一帧融合隐藏状态和所述当前帧激光雷达三维特征作为所述时序融合网络的输入，生成当前帧临时隐藏状态和当前帧时序融合特征；
根据所述当前帧时序融合特征生成当前帧输出结果。
10.根据权利要求8所述的装置，其特征在于，所述相机数据处理模块确定所述当前帧相机数据的当前帧相机三维特征包括：
根据预设的骨干网络生成所述当前帧相机数据的当前帧相机二维特征；
根据所述当前帧激光雷达数据对所述当前帧相机数据进行深度补全处理，确定所述当前帧相机数据的像素深度信息，并根据所述像素深度信息和所述当前帧相机二维特征生成当前帧相机三维特征。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-7任意一项所述的异步数据融合的方法。
12.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任意一项所述的异步数据融合的方法。
CN202010115720.8A 2020-02-25 2020-02-25 一种异步数据融合的方法、装置、存储介质及电子设备 Active CN113378867B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010115720.8A CN113378867B (zh) 2020-02-25 2020-02-25 一种异步数据融合的方法、装置、存储介质及电子设备
US17/032,762 US11501123B2 (en) 2020-02-25 2020-09-25 Method and apparatus for asynchronous data fusion, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115720.8A CN113378867B (zh) 2020-02-25 2020-02-25 一种异步数据融合的方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113378867A CN113378867A (zh) 2021-09-10
CN113378867B true CN113378867B (zh) 2023-08-22

Family

ID=77366128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115720.8A Active CN113378867B (zh) 2020-02-25 2020-02-25 一种异步数据融合的方法、装置、存储介质及电子设备

Country Status (2)

Country Link
US (1) US11501123B2 (zh)
CN (1) CN113378867B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018213338A1 (en) * 2017-05-15 2018-11-22 Ouster, Inc. Augmenting panoramic lidar results with color
CN113936198B (zh) * 2021-11-22 2024-03-22 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN114416365B (zh) * 2022-01-18 2022-09-27 北京拙河科技有限公司 基于gpu融合处理的超清画质图像数据处理方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120514A (zh) * 2004-12-23 2008-02-06 高通股份有限公司 干扰消除的信道估计
CN103455983A (zh) * 2013-08-30 2013-12-18 深圳市川大智胜科技发展有限公司 嵌入式视频系统中的图像扰动消除方法
CN109032911A (zh) * 2018-07-24 2018-12-18 网易（杭州）网络有限公司 用于移动设备的帧率检测方法、装置及电子设备
CN109509138A (zh) * 2017-09-15 2019-03-22 想象技术有限公司 针对射线跟踪系统的减小的加速结构
CN109887057A (zh) * 2019-01-30 2019-06-14 杭州飞步科技有限公司 生成高精度地图的方法和装置
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9098753B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
EP3283843B1 (en) * 2015-04-01 2024-01-10 Vayavision Sensing Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
US10592805B2 (en) * 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
WO2018213338A1 (en) * 2017-05-15 2018-11-22 Ouster, Inc. Augmenting panoramic lidar results with color
US10762673B2 (en) * 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
DE102018108751B4 (de) * 2018-04-12 2023-05-04 Motherson Innovations Company Limited Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
US11094112B2 (en) * 2018-09-06 2021-08-17 Foresight Ai Inc. Intelligent capturing of a dynamic physical environment
CN109300190B (zh) * 2018-09-06 2021-08-10 百度在线网络技术（北京）有限公司 三维数据的处理方法、装置、设备和存储介质
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
CN111683840B (zh) * 2019-06-26 2024-04-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
WO2021003453A1 (en) * 2019-07-02 2021-01-07 DeepMap Inc. Annotating high definition map data with semantic labels
US11906660B2 (en) * 2019-08-30 2024-02-20 Nvidia Corporation Object detection and classification using LiDAR range images for autonomous machine applications
CN112106112A (zh) * 2019-09-16 2020-12-18 深圳市大疆创新科技有限公司 一种点云融合方法、设备、系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120514A (zh) * 2004-12-23 2008-02-06 高通股份有限公司 干扰消除的信道估计
CN103455983A (zh) * 2013-08-30 2013-12-18 深圳市川大智胜科技发展有限公司 嵌入式视频系统中的图像扰动消除方法
CN109509138A (zh) * 2017-09-15 2019-03-22 想象技术有限公司 针对射线跟踪系统的减小的加速结构
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
CN109032911A (zh) * 2018-07-24 2018-12-18 网易（杭州）网络有限公司 用于移动设备的帧率检测方法、装置及电子设备
CN109887057A (zh) * 2019-01-30 2019-06-14 杭州飞步科技有限公司 生成高精度地图的方法和装置

Also Published As

Publication number Publication date
US11501123B2 (en) 2022-11-15
US20210264223A1 (en) 2021-08-26
CN113378867A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
Liang et al. Multi-task multi-sensor fusion for 3d object detection
CN113378867B (zh) 一种异步数据融合的方法、装置、存储介质及电子设备
JP2020509494A (ja) マルチモーダル融合による３ｄオブジェクト検出と配向推定の結合
US20210065393A1 (en) Method for stereo matching using end-to-end convolutional neural network
Luo et al. Real-time dense monocular SLAM with online adapted depth prediction network
Liu et al. Planemvs: 3d plane reconstruction from multi-view stereo
US20210064913A1 (en) Driving assistant system, electronic device, and operation method thereof
CN112312113B (zh) 用于生成三维模型的方法、装置和系统
US20230004797A1 (en) Physics-guided deep multimodal embeddings for task-specific data exploitation
CN113888458A (zh) 用于对象检测的方法和系统
US20140161313A1 (en) Tracking device
Aleotti et al. Neural disparity refinement for arbitrary resolution stereo
CN115035235A (zh) 三维重建方法及装置
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
CN116168383A (zh) 三维目标检测方法、装置、系统和存储介质
Kong et al. The robodrive challenge: Drive anytime anywhere in any condition
Jhong et al. Density-Aware and Semantic-Guided Fusion for 3D Object Detection using LiDAR-Camera Sensors
Zhou et al. Improved YOLOv7 models based on modulated deformable convolution and swin transformer for object detection in fisheye images
CN115428020A (zh) 生成点云编码器的方法和装置和生成点云数据的方法和装置、电子设备及计算机介质
CN111179331B (zh) 深度估计方法、装置、电子设备及计算机可读存储介质
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN116523990A (zh) 三维语义场景补全方法、设备和介质
Feng et al. Foreground-aware dense depth estimation for 360 images
Kim et al. Predict to Detect: Prediction-guided 3D Object Detection using Sequential Images
CN116597097B (zh) 用于自动驾驶的三维场景重建方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant