CN111382768B - 多传感器数据融合方法和装置 - Google Patents

多传感器数据融合方法和装置 Download PDF

Info

Publication number
CN111382768B
CN111382768B CN201811641186.3A CN201811641186A CN111382768B CN 111382768 B CN111382768 B CN 111382768B CN 201811641186 A CN201811641186 A CN 201811641186A CN 111382768 B CN111382768 B CN 111382768B
Authority
CN
China
Prior art keywords
static
data
dynamic
characteristic data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811641186.3A
Other languages
English (en)
Other versions
CN111382768A (zh
Inventor
彭学明
魏之暄
陈奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811641186.3A priority Critical patent/CN111382768B/zh
Priority to JP2021536829A priority patent/JP7140922B2/ja
Priority to PCT/CN2019/129629 priority patent/WO2020135810A1/zh
Priority to EP19905209.3A priority patent/EP3879455A4/en
Publication of CN111382768A publication Critical patent/CN111382768A/zh
Priority to US17/353,017 priority patent/US11353553B2/en
Priority to US17/825,601 priority patent/US20220326350A1/en
Application granted granted Critical
Publication of CN111382768B publication Critical patent/CN111382768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G01S13/605—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track using a pattern, backscattered from the ground, to determine speed or drift by measuring the time required to cover a fixed distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能驾驶，提供了一种多传感器数据融合的感知方法及装置，将接收到的多种传感器采集的特征数据进行预处理之后，得到静态特征数据和动态特征数据，根据静态特征数据和参考动态目标信息构建当前静态环境信息，根据动态特征数据和参考静态环境信息构建当前动态目标信息，即动态目标的构建和静态环境的构建是相互参考彼此的构建结果而进行的，由于构建过程不仅用到了较低层级的特征数据，还用到了较高层级的构建结果，如参考动态目标信息或参考静态环境信息，由此可以提高多传感器数据融合的感知性能，进而提高移动载体对该移动载体所述环境中动态目标和静态环境的感知能力。本实施例提供的方法提升了电动汽车的自动驾驶和/或ADAS能力，可以应用于车联网，例如V2X、LTE‑V、V2V等。

Description

多传感器数据融合方法和装置
技术领域
本申请涉及信号处理，并且更具体地，涉及一种多传感器数据融合方法和装置。
背景技术
摄像机(Camera)、毫米波雷达、激光雷达等不同的传感器在视野范围(FOV，Fieldof View)、探测距离、分辨能力、环境适应性等方面有明显的差异，这些差异的存在使得单一传感器无法满足高级辅助驾驶系统(ADAS，Advanced Driver Assistance Systems)特性不断发展和自动驾驶不断演进的需求。
为了满足ADAS和自动驾驶的需求，需要对多传感器的数据进行融合处理，以获得更高置信度、高冗余、高互补的感知信息。高置信度表现在某个传感器在有一定信息缺失或者某个传感器在某些维度测量不准确的情况下，通过多传感器的数据融合提供足够置信度的数据。高冗余表现在多个传感器融合的处理模型上可以兼容多个传感器数据在某些测量维度存在近乎一致的测量结果，通过多传感器的数据融合在这些测量维度实现冗余。高互补表现在多个传感器在不同的环境条件和空间特征中，感知测量结果在某些维度上优劣可以实现互相补充，达到单个传感器所难以达到的感知性能。
当前多传感器数据融合方法主要是针对FOV内的运动目标进行检测、跟踪和融合，而对静止障碍物的感知较困难。另外，当前多传感器数据融合方法对动态目标的感知准确性也亟待提升。
因此，如何提高多传感器数据融合的感知性能，使其无论对静止障碍物还是动态目标的感知能力都有更好的表现，是一个需要解决的问题。
发明内容
本申请提供一种多传感器数据融合的感知方法和装置，基于本方法和装置能够提高多传感器数据融合的感知性能。
第一方面，提供了一种多传感器数据融合的感知方法，用于对多种传感器采集的特征数据进行融合，所述多种传感器搭载在移动载体上，用于观测所述移动载体所处环境的状态，所述移动载体所处环境的状态包括当前静态环境信息及当前动态目标信息，该方法包括：
接收多种传感器采集的特征数据；
对所述特征数据进行预处理，所述预处理包括对所述特征数据进行数据分类，得到静态特征数据、动态特征数据；
获取参考动态目标信息，根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息；其中，所述参考动态目标信息是根据所述动态特征数据获取的，或，所述参考动态目标信息是根据所述动态特征数据和历史静态环境信息获取的；
获取参考静态环境信息，根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息；其中，所述参考静态环境信息是根据所述静态特征数据获取的，或，所述参考静态环境信息是根据所述静态特征数据和历史动态目标信息获取的；
输出所述当前静态环境信息和所述当前动态目标信息。
在本申请中，构建当前静态环境信息的时候不仅用到了静态特征数据，还参考了动态目标信息；同样，在构建当前动态目标信息的时候不仅用到了动态特征数据，还参考了静态环境信息。即动态目标的构建和静态环境的构建是相互参考彼此的构建结果而进行的，由于构建过程不仅用到了较低层级的特征数据，还用到了较高层级的构建结果(如参考动态目标信息或参考静态环境信息)，由此可以提高多传感器数据融合的感知性能，进而提高移动载体对该移动载体所述环境中动态目标和静态环境的感知能力。
在一种可能的实现方式中，所述特征数据包括：毫米波雷达的检测数据和非毫米波雷达的检测数据，所述对所述特征数据进行数据分类包括：
对所述毫米波雷达的检测数据进行数据分类，得到动态毫米波雷达检测数据和静态毫米波雷达检测数据；
根据所述动态毫米波雷达检测数据和所述静态毫米波雷达检测数据，对所述非毫米波雷达的检测数据进行数据分类，得到动态非毫米波特征数据和静态非毫米波特征数据；
所述动态特征数据包括所述动态毫米波雷达检测数据和所述动态非毫米波特征数据，所述静态特征数据包括所述静态毫米波雷达检测数据和所述静态非毫米波特征数据。
由于毫米波雷达的检测数据本就包含动静态数据，因此利用毫米波雷达的这个优势，先对毫米波雷达的检测数据进行动态和静态的划分，得到动态毫米波雷达检测数据和静态毫米波雷达的检测数据，再以这些已经确定动静态属性的数据作为基础，对非毫米波雷达的检测数据进行关联，例如一个非毫米波雷达检测数据与一个动态毫米波雷达检测数据之间符合某种预设条件，可以认为该非毫米波雷达检测数据也为动态特征数据，反之亦然。这样分层次的数据动静态分离可以更准确且更快速的对多个特征数据的动静态属性进行确定，从而得到更为准确的动态特征数据和静态特征数据。
在一种可能的实现方式中，所述参考动态目标信息包括至少一个其它移动载体的运行轨迹，所述其它移动载体包括所述移动载体所处环境中除所述移动载体以外的其它移动载体；所述当前静态环境信息包括所述移动载体所处环境的当前静态栅格地图；
所述根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息包括：
对所述静态特征数据进行坐标系统一，得到相同坐标系下的静态特征数据；
根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对历史静态栅格地图进行局部更新，得到所述当前静态栅格地图，其中，所述更新包括：对所述历史静态栅格地图中的目标栅格的值进行更新，所述目标栅格为被所述第一其它移动载体覆盖的栅格；其中，所述第一其它移动载体是所述至少一个其它移动载体中的任一个，静态栅格地图是一种用于描述环境中静态障碍物分布的数据格式。
具体的，所述目标栅格为在历史时刻被所述第一其它移动载体覆盖的栅格，所述历史静态栅格地图也是在所述历史时刻的栅格地图，假设所述历史静态栅格地图为t-1时刻的静态栅格地图，则所述目标栅格为t-1时刻被所述第一其它移动载体覆盖的栅格。
由于在构建当前静态栅格地图的时候不仅采用了静态特征数据，还用到了其它移动载体的运行轨迹，由此提高了当前静态栅格地图的准确性。举例来说，对t-1时刻的历史静态栅格地图中目标栅格的值进行更新的过程中，由于该目标栅格为t-1时刻被其它移动载体所覆盖的栅格，则认为该目标栅格在当前时刻空闲的概率较大，由此可以给该目标栅格赋予较小的概率值，认为其当前存在障碍物的可能性较小。得到当前时刻各个栅格的值，即构建了当前时刻静态栅格地图。因此，本申请通过参考动态目标信息对当前静态环境信息进行构建，增加了构建静态环境的输入信息，提升了构建静态环境信息的准确性。
在一种可能的实现方式中，所述多种传感器还用于观测所述移动载体自身运动状态，所述移动载体自身运动状态包括所述移动载体的运行速度；
所述根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息之前，所述方法还包括：
根据所述移动载体的运行速度，对所述移动载体所处环境的历史静态栅格地图中各个栅格的值，进行全局更新，得到更新后的历史静态栅格地图；其中，所述历史静态栅格地图包括当前时刻的前一时刻的静态栅格地图，当所述前一时刻为起始时刻时，所述历史静态栅格地图为初始静态栅格地图，所述初始静态栅格地图中每一个栅格的值为预设值；
所述根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对历史静态栅格地图进行局部更新，得到所述当前静态栅格地图包括：
所述根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对所述更新后的历史静态栅格地图进行局部更新，得到所述当前静态栅格地图。
该实现方式提供的方法可以认为是构建当前静态栅格地图的前置环境，即全局更新，也就是对历史静态栅格地图进行全局的栅格概率进行更新，这种更新本质上是一种对栅格的概率值进行衰减的过程，通过这种更新可以减少静态栅格地图中可能的误检，提高所述当前静态栅格地图的准确性。
在一种可能的实现方式中，所述参考动态目标信息包括其它移动载体的运行轨迹，所述其它移动载体包括所述移动载体所处环境中除所述移动载体以外的其它移动载体；
所述当前静态环境信息还包括所述移动载体所处环境中的道路结构信息；
所述根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息，还包括：
根据所述静态特征数据和所述其它移动载体的运行轨迹构建所述道路结构信息。
也就是说，所述当前静态环境信息可以包括当前静态环境信息，还可以包括道路结构信息，在构建道路结构信息的时候，依然不仅仅需要采用静态特征数据，还需要参考动态目标信息，增加了构建道路结构信息的输入信息，从而提升了构建道路结构信息的准确性。
在一种可能的实现方式中，所述参考静态环境信息包括所述道路结构信息，所述根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息，包括：
根据所述动态特征数据和所述道路结构信息构建所述当前动态目标信息。
也就是说，在构建当前动态目标信息的时候，不仅仅需要采用动态特征数据，还需要用到较高层级的信息，即静态环境信息，这里用到的静态环境信息是道路结构信息，即参考道路结构信息去构建当前动态目标信息，由此可以提高当前动态目标信息的准确性。
在一种可能的实现方式中，所述道路结构信息包括道路边界，所述根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息，包括：
对所述动态特征数据进行聚类，得到一个或多个聚类中心，每一个聚类中心用于表示一个可能的动态目标；
根据所述道路结构信息排除所述一个或多个聚类中心中的无效聚类中心，包括：将位于所述道路边界以外的聚类中心，或将与所述道路边界重合的聚类中心确定为所述无效聚类中心。
在这种可能的实现方式中，根据动态特征数据聚类得到的一个或多个聚类中心，这些聚类中心可以被认为是不成熟的动态目标，参考道路边界可以将这些不成熟的动态目标中无效的动态目标剔除掉，例如，与道路边界重合的不成熟动态目标，由于现实中不存在骑着道路边界行驶的车辆或其他移动载体，因此认为该不成熟动态目标为无效目标；
可选的，该道路结构信息还可以包括架空物，如道路指示牌或架空广告牌等。那么，当不成熟的动态目标出现在架空物上方，如一架无人飞机在架空物上方，由于飞在架空物上方的动态目标对行驶在道路上的自动驾驶汽车没有影响，因此该不成熟动态目标也可以被认为是无效目标；
通过识别并剔除无效目标，留下的动态目标将被作为当前动态目标信息进行输出，如还站在自动驾驶的场景下举例，这些留下的目动态目标被认为是除自车以外当前行驶在道路上的车辆或其他移动载体。
这种通过参考静态环境信息对当前动态目标进行构建的方式，由于不仅考虑了较低层级的动态特征数据，还考虑了较高层级的静态环境信息，对当前动态目标信息的构建更加准确，由此可以提高感知性能。
在一种可能的实现方式中，所述对所述特征数据进行数据分类之前，所述预处理还包括：将所述特征数据与历史动态目标进行关联，得到动态关联数据；所述历史动态目标为：当前时刻的前一时刻所述移动载体所处环境中的动态目标，将所述特征数据中落在所述历史动态目标所处位置上的数据，确定为所述动态关联数据；将所述动态关联数据确定为所述动态特征数据；
所述对所述特征数据进行数据分类包括：对滤除所述动态关联数据之后的特征数据进行数据分类。
由于传感器的观测是持续的，因此历史输出的感知结果中可能会存在历史动态目标，假设在t-1时刻观测到了2个它车，这两个他车即历史动态目标，那么在对当前时刻即t时刻传感器观测到的新特征数据进行数据分类的时候，可以先将这些新特征数据先与历史动态目标进行关联，当某一个新特征数据与某一个历史动态目标之间符合预设的条件时，可以认为该新特征数据为动态特征数据。通过这种方式可以从众多特征数据中筛选出一部分动态特征数据，这一部分数据将被打上动态特征数据的标签，在后续直接作为动态特征数据输出以用于构建动态目标信息，剩下的没有被打上动态数据标签的可以按前面所述的方法进行进一步的动静态特征数据分类。
采用这种方式进行数据分类，因为考虑了历史的动态目标，从而可以提高数据分类的效率以及准确性。
可选的，在进行这种利用历史动态目标关联进行数据分类之前，或者在进行前面所述的利用毫米波雷达检测数据进行动静态数据分类之前，还有一种可能的实现方式：所述预处理还包括：对所述特征数据进行过滤，以滤除无效数据或噪音数据；
所述对所述特征数据进行数据分类包括：对过滤后的特征数据进行数据分类。
通过这种方式将无效数据或噪音数据进行滤除，以此提高数据的可用性，从而为提高感性性能奠定了更好的数据基础。
在一种可能的实现方式中，所述预处理包括对所述特征数据进行数据分类，得到静态特征数据、动态特征数据；还可以得到未决数据，所述未决数据即无法确定为静态和动态的特征数据。
在一种可能的实现方式中，所述特征数据包括：毫米波雷达的检测数据和非毫米波雷达的检测数据，所述对所述特征数据进行数据分类包括：
对所述毫米波雷达的检测点进行数据分类，得到动态毫米波雷达检测点、静态毫米波雷达检测点和n个无法确定为动态或静态的毫米波雷达检测点，其中n为大于或等于0的正整数；
根据所述动态毫米波雷达检测点和所述静态毫米波雷达检测点，对所述非毫米波雷达的检测数据进行数据分类，得到动态非毫米波特征数据、静态非毫米波特征数据和m个无法确定为动态或静态的非毫米波雷达检测数据，其中m为大于或等于0的正整数；
所述动态特征数据包括所述动态毫米波雷达检测点和所述动态非毫米波特征数据，所述静态特征数据包括所述静态毫米波雷达检测点和所述静态非毫米波特征数据，所述未决数据包括：n个无法确定为动态或静态的毫米波雷达检测点和m个无法确定为动态或静态的非毫米波雷达检测数据。
在一种可能的实现方式中，所述道路结构信息包括道路边界，所述根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息，包括：
对所述动态特征数据和所述未决数据进行聚类，得到一个或多个聚类中心，每一个聚类中心用于表示一个可能的动态目标；
根据所述道路结构信息排除所述一个或多个聚类中心中的无效聚类中心，得到待定动态目标，包括：将位于所述道路边界以外的聚类中心，或将与所述道路边界重合的聚类中心确定为所述无效聚类中心。
可选的，在得到待定动态目标之后，再结合架空物信息对所述待定动态目标进行进一步的排除，若一个待定动态目标与所述架空物信息之间符合预设条件，则认为该待定动态目标为架空物，从而排除该待定动态目标，余下的待定动态目标被确定为所述当前动态目标信息。
可选的，在当前动态目标信息确定之后，可以对所述当前动态目标信息进行跟踪，即动态目标跟踪；若第一动态目标在后续的第一预设时间内不再被传感器观测到，则挂起该第一动态目标，若再经过第二预设时间，该第一动态目标依然没有被观测到，则删除该第一动态目标，若经过第三预时间，该第一动态目标又被观测到了，则恢复该第一动态目标作为当前动态目标。这里所述的第一预设时间，第二预设时间，第三预设时间都可以取经验值，其中这三个预设时间之间的关系没有特别限定，可以两两相同，也可以不同。其中，所述第一动态目标为所述当前动态目标信息表示的多个动态目标中的任意一个。
第二方面，提供一种多传感器数据融合的感知装置，该多传感器数据融合装置包括用于执行第一方面中的方法的模块。
第三方面，提供一种多传感器数据融合的感知装置，该多传感器数据融合的感知装置包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面中的方法。
第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面中的方法。
第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的方法。
第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的方法。
第七方面，提供一种移动终端，该移动终端包括上述第二方面或第三方面中的任意一个方面中的多传感器数据融合的感知装置。
附图说明
图1是本申请实施例的一种应用场景的系统架构；
图2是本申请实施例的一种多传感器数据融合的感知装置结构示意图；
图3是本申请实施例提供的一种根据毫米波雷达检测数据进行数据分类的方法示意图；
图4是本申请实施例提供的一种静态栅格地图的示意图；
图5是本申请实施例提供的静态栅格地图中栅格的累积值和概率值之间的关系示意图；
图6是本申请实施例提供的一种全局栅格概率更新的方法示意图；
图7是本申请实施例提供的一种局部栅格概率更新的方法示意图；
图8是本申请实施例提供的一种静态环境信息包含架空物的示例；
图9是本申请实施例提供的一种参考静态环境信息构建动态目标信息的示意图；
图10是本申请实施例提供的一种多传感器数据融合的感知装置结构示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例的多传感器数据融合方法能够应用在自动驾驶汽车、机器人、复杂工业过程控制、医疗诊断和图像处理，以及其他需要进行多传感器进行感知的场景。本申请实施例将以自动驾驶汽车的应用场景为例对技术方案进行展开。
下面将对自动驾驶汽车及其相关架构进行简单的介绍。
自动驾驶汽车又称汽车自动驾驶系统(Motor Vehicle Auto Driving System)，也称无人驾驶汽车，是一种通过车载电脑系统实现无人驾驶的智能汽车系统。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统等协同合作，让电脑可以在没有任何人类主动的操作情况下自动安全的操作机动车辆。
自动驾驶汽车的架构大体可分为三层：感知层、认知层和执行层。
感知层包括感知和融合，用于替代或辅助驾驶员获取输入信息，该输入信息如车辆自身的运动状态以及车辆周围的环境情况，例如他车的运动状态、路况信息、交通信号灯情况、道路边界等道路结构、车道线情况或其他障碍物情况等，当用于辅助驾驶员时还可以包括获取驾驶员自身的状态信息(如驾驶员疲劳状态等)；
认知层包括决策推理和规划，用于替代或辅助驾驶员，根据感知层得到的信息，通过一定的决策逻辑、规划算法等得出期望的车辆速度、行驶路径等信息，该信息被转换为具体的控制指令下发给执行层；
执行层用于执行认知层下发的控制指令，实现对车辆的控制。
本申请实施例提供的多种传感器数据融合的感知方法可以应用在自动驾驶汽车的感知层，用于融合多种传感器的特征数据从而更好的感知自车运动状态和自车所处环境的状态，由此替代驾驶员的眼睛和感官所感受到的相关信息，在辅助驾驶汽车上也可以用于辅助和补充驾驶员的眼睛和感官所感受到的相关信息，其中自车所处环境的状态包括自车所处环境中的静态环境信息和运动目标信息，所述运动目标信息包括自车所处环境中的他车运动状态信息。
本申请提出了一种新的多传感器数据融合的感知方法及装置，将静态环境信息的构建和动态目标信息的构建结合起来，相互辅助，以此得到更准确的动态环境信息和动态目标信息，达到更准确的感知效果。
图1是本申请实施例的一种应用场景的系统架构。
如图1所示，多个不同类型的传感器获取到不同层级的特征数据作为多传感器数据融合的感知装置的输入，如视觉传感器获取到的图像，经过视觉感知的处理得到视觉相关的特征数据，如视觉目标、车道线、限速牌和红绿灯等；毫米波雷达获取到的毫米波雷达IF信号，经过毫米波雷达感知的处理得到毫米波雷达检测点；激光雷达获取到的激光雷达数字信号，经过激光雷达感知的处理得到激光雷达检测点，如激光雷达的原始点云等。所述多传感器数据融合的感知装置通过本申请下述各个实施例或实现方式提供的融合感知方法对这些特征数据进行融合，从而实现对自车所处环境中的其他动态目标与静态环境状态的感知。
这些感知到的信息将会进一步输出给认知层进行决策推理和/或路径规划，也可以输出给人机交互界面用于向用户呈现感知结果，也可以输出给定位系统用于进行定位或构图。篇幅所限，图1仅示出一种举例。其中，地图信息作为一种可选的数据信息可以被多传感器数据融合的感知装置用来丰富其感知结果。
下面对本申请实施例的多传感器数据融合的感知装置和方法进行详细的介绍。
首先，如图1所示，多种类型的传感器将其获取到的多种特征数据传递到多传感器数据融合的感知装置。如图2所示，所述多传感器数据融合的感知装置200包括数据预处理模块201、静态环境构建模块203以及动态目标构建模块205。其中数据预处理模块201用于对收到或者获取到的多种特征数据进行预处理，静态环境构建模块203用于构建静态环境信息，动态目标构建模块205用于构建动态目标信息。需要说明的是，这里说的静态环境信息是指自车行驶的环境状态信息，包括道路结构等；这里说的动态目标信息是指自车以外的其它移动载体的运行状态信息，包括他车的位置、行驶速度、位姿等。
例外需要说明的是，由于自动驾驶汽车或其他移动载体的感知过程通常是持续的，因此体现在上述几个模块中，如静态环境构建模块203，其构建静态环境信息的过程是持续的，包括对每一个当下时刻的静态环境信息进行构建，在下一个时刻到来时，当下时刻即变成历史时刻，但历史时刻的静态环境信息通常被作为重要基础进行下一个时刻的静态环境信息的构建。在本申请实施例中，为了行文的简洁，不强调静态环境信息的具体时刻，再不作出特别说明时，可以认为下文提到的静态环境信息即当前时刻的静态环境信息；同理，对动态目标构建模块205和数据预处理模块201而言，亦然，不再就此赘述。下面介绍上文提及的多种传感器采集的多种特征数据，每一种数据通常都包含多个，即应该以复数方式呈现，但为了简洁，在描述这些数据的时候，本文不会刻意强调数据的数量，这应该为本领域技术人员所了解，毕竟单个的数据是很难利用的。
其中，如表1所示，上述多种特征数据可以包括如下各种数据：来自激光雷达的激光雷达检测点，来自毫米波雷达的毫米波雷达检测点，来自视觉传感器的视觉可通行区域的边缘信息等，这些数据的具体表现形式如下表：
表1
其中，视觉传感器还可以获取视觉目标、限速牌、红绿灯等相关信息。所述的视觉传感器包括摄像头，如红外摄像头和可见光摄像头。在本申请实施例中，视觉传感器为可选的传感器，即若没有来自视觉传感器的数据进行多传感器数据融合，将会影响感知结果的精度，但不影响本申请实施例方案的实现。
为了便于理解，需要说明的是，下文对于检测点或以“检测点”表述，或以检测点的表现形式“特征数据”进行表述，如毫米波雷达检测点可以被表述为毫米波特征数据，或毫米波雷达特征数据。因为如表1所示，“特征数据”是“检测点”或视觉检测信息的具体表现形式。表述的不同不影响其本质的内容。
下面介绍多传感器数据融合的感知装置200中各个模块分别执行的方法以及各个模块之间的关系。
首先，数据预处理模块201对上述获取到的多种特征数据进行预处理可以包括如下步骤：
S2011、过滤多种传感器的特征数据；
该步骤的目的可以是滤除无效的数据，对于不同的传感器特征数据采取的过滤方法不同。
例如，对于激光雷达检测点，需要剔除地面点，雨滴点和异常点。三者的判断方法举例如下：(1)根据标定信息和车辆状态信息将检测点转换到地面坐标系中，则高度小于阈值(通常为0.05m)的点被认为是地面点。(2)对于多回波激光雷达，同一束激光有多个回波，如果非末次回波的回波宽度小于1米(经验值)，则该回波是雨滴。(3)统计每一个点与其最近点的距离，如果距离大于分辨率的5倍，则该点是异常点。
对于毫米波雷达检测点，如果RCS(Radar Cross Section，雷达散射截面)小于阈值(经验值为-32dBsm)，位置误差RMS(Root Mean Square，均方根)大于阈值(经验值为1.1m)，则剔除该点，然后再用与激光雷达相同的方式剔除异常点。
对于视觉传感器采集的特征数据，可以对当前帧和前三帧的特征数据进行平均，以抑制跳变。
S2012、动静态特征数据分离：通过关联历史动态目标，初步筛选动态特征数据；
如前文所述，感知的过程是持续的，如上一时刻的感知结果输出的动态目标在当前时刻则被认为是历史动态目标，这些历史动态目标将在后续被持续观测以进行更新和管理，这一部分工作在本申请不做展开介绍，但是这些历史动态目标同时对当前时刻构建动态目标信息也具有重要参考作用，例如，在S2012中，这些历史动态目标可以用来关联当前时刻的特征数据，具体过程在下文展开。
首先，根据传感器检测的当前时间和历史动态目标的属性(位置和速度等)，预测传感器检测的当前时间的动态目标的属性。例如，在当前时刻t，需要对历史时刻t-1的历史动态目标的属性，如历史动态目标的位置和速度，进行预测，从而得到预测历史动态目标，所述预测历史动态目标包括该历史动态目标在当前时刻t的预测位置和速度，该预测历史动态目标将被用于下文的历史动态关联。
然后，对于每一个特征数据，计算其与预测历史动态目标之间的距离，该距离可以是欧氏距离或者马氏距离，当该距离小于预设阈值时，可以认为该特征数据与历史动态目标关联，当该距离大于预设阈值时，可以认为该特征数据与历史动态目标没有关联，通过这样的方式可以判断上述多种特征数据中的各个特征数据是否与历史动态目标关联。具体关联方法可以为：计算特征数据i与每个已有的预测历史动态目标j之间的距离di,j。如果对于特征数据i，有则认为特征数据i与目标j关联成功，其中dt是预设阈值(该阈值可以取该特征数据所属传感器的分辨率的五倍)。如果对于特征数据i，所有的历史动态目标j都有di,j>dt,则关联失败，即认为没有关联。
如果关联成功，则将该特征数据标记为动态特征数据，如果关联失败，则不将该特征数据标记为动态特征数据，而是将其送入S2013进行进一步动静态特征数据的分离。
S2013、动静态特征数据分离——对毫米波雷达的检测点进行动静态特征数据的分离；
由于毫米波雷达可以检测到径向速度(如表1所示的vr)，因此毫米波雷达检测点是自带动静态属性的特征数据。其中，所述径向速度是指被检测的目标对象相对于传感器的速度在目标与传感器连线上的分量。
表2示出了通过毫米波雷达检测点对动静态数据进行确定的计算过程需要用到的变量：
表2
其中b，l，β，v，ω，θi，vr,i是输入b,vs和α是中间变量，计算方法可以如下所示：
首先根据毫米波雷达的安装位置(b，l，β)和自车运动状态(v，ω)，计算毫米波雷达安装位置的速度矢量与毫米波雷达正方向之间的夹角α：
同时根据毫米波雷达的安装位置(b，l，β)和自车运动状态(v，ω)，计算毫米波雷达安装位置产生的速度矢量vs：
然后根据α，vs和每个目标的夹角θi，假设该目标是静止的，计算该目标相对毫米波雷达的径向速度vθ：
vθ，i＝-cos(θi-α)vs
那么，如果|vθ，i-vr，i|＞vt，则特征数据i是动态特征数据，否则为静态特征数据。
需要说明的是，这里所述的自车是毫米波雷达的载体车辆；这里所述的目标是自车以外的其他移动载体或静止障碍物。
上述给出的计算方法可以作为通过毫米波雷达检测点对动静态特征数据进行确定的一种示例，不作为本申请的限制，其它在本构思下的算法不一一列出。
由于毫米波雷达传感器自身的多普勒测量特性决定其可以精确判断自车或其他移动目标的运动状态，因此通过上述的步骤可以将毫米波雷达检测点进行动静态特征数据的分离；但其他非毫米波雷达传感器，如视觉传感器和激光雷达传感器等则无法直接获取被测目标的运动状态，即无法直接确定非毫米波雷达的特征数据为动态特征数据或静态特征数据。
因此，在通过S2013确定了毫米波雷达检测点的动静状态之后，部分毫米波雷达检测点被标注为动态特征数据，部分毫米波雷达检测点被标注为静态特征数据，在一些情况下还会存在部分毫米波雷达检测点没有被标注为静态特征数据或动态特征数据，这一部分数据可以和除毫米波雷达以外的其他传感器数据一起进入S2014进行进一步的处理，也可以不经过S2014的处理，而是作为未决数据在后续进入静态环境构建模块203和动态目标构建模块205的处理。
S2014、动静态特征数据分离——根据S2013确定得到的动态毫米波雷达特征数据和静态毫米波雷达特征数据，对非毫米波雷达的特征数据进行动静态特征数据的分离；
这些非毫米波雷达的特征数据可以基于其与已标注的动态特征数据之间的关联关系来进一步确定其动静态属性，举例来说，可以通过如下方法进行实现：
先将所有传感器检测到的特征数据转换到自车的车体坐标系下；然后计算非毫米波雷达等传感器检测到的特征数据与毫米波雷达检测到的特征数据之间的欧式距离，当非毫米波雷达的特征数据与动态毫米波雷达特征数据之间的距离小于某一预设阈值的时候，则确定其为动态特征数据，反之，则为静态特征数据；或当非毫米波雷达的特征数据与静态毫米波雷达特征数据之间的距离小于某一预设阈值的时候，则确定其为静态特征数据。
具体关联方法可以如下：
首先，将毫米波雷达检测到的特征数据和其他非毫米波传感器检测到的特征数据都转换到车体坐标系下：
假设传感器在自车车体坐标系中的安装位置为(xt,yt)和角度θ，则其坐标为(xt,yt,θ)，那么，将传感器原始数据位置(xs,ys)转换到自车车体坐标系下的位置(xv,yv)的算法是：
其中：公式左边[xv,yv,1]是传感器转换到自车车体坐标系后的坐标，右边[xs,ys,1]是传感器原始坐标数据，转换矩阵为：
然后，计算其他传感器检测到的特征数据i到最近的动态毫米波雷达特征数据点j的距离di,j，该距离可以为欧式距离。假设激光雷达检测到的特征数据为(xl,j,yl,j,zl,j),动态毫米波雷达特征数据为(xr,j,yr,j,zr,j)，
则二者的欧氏距离为假设视觉传感器检测到的特征数据为(xf,i,yf,i)，动态毫米波雷达特征数据为(xr,j,yr,j,zr,j)，则二者的欧氏距离为/>如果距离di,j≤dt，其中dt是某一预设阈值，该阈值一般可以取该传感器分辨率的五倍，则认为该特征数据i能够关联到动态毫米波雷达特征数据点j，即该特征数据i也是动态特征数据，否则送入下一步继续判断。
当然，这些非毫米波雷达的特征数据还可以基于其与已标注的静态毫米波雷达特征数据之间的关联关系来进一步确定其动静态属性，具体方法可参考其与动态毫米波雷达特征数据的关联方法，这里不再就此展开。
为了更好的理解S2014，请参考图3。
如图3所示，灰色圆点以及白色圆点均为毫米波雷达检测到的特征数据，其中灰色圆点为毫米波雷达检测点中被标注为静态特征数据的检测点，即静态毫米波雷达特征数据，而白色圆点为毫米波雷达检测点中被标注为动态特征数据的检测点，即动态毫米波雷达特征数据。黑色圆点为激光雷达(图3仅以激光雷达为例)检测到的检测点，虚线圆圈表示以激光雷达检测到的某一检测点为圆心，在预设半径附近内的一个区域。如果该区域中包括毫米波雷达检测检测点中被标注为运动特征数据的检测点，则该激光雷达的检测点为动态特征数据。
至此，本申请实施例的预处理工作基本完成，得到被标注为动态特征数据和静态特征数据的数据，也可能存在未决数据，即没有被确定为动态或静态的特征数据。这里需要说明的是，虽然经过数据预处理模块201的处理，仍可能存在部分数据无法被确定为动态特征数据或静态特征数据，这一部分数据即未决数据，在本申请实施例中，这一部分未决数据可以和静态特征数据一起进入静态环境构建模块203，用于进行静态环境的构建；且，这一部分未决数据也可以和动态特征数据一起进入动态目标构建模块205，用于进行动态目标的构建，即未决数据可以与静态特征数据和动态特征数据一起进入后续处理过程，用于构建静态环境信息或动态目标信息。其作为可选的数据在下文的表述中并不直接体现，在一些可能的实现方式或一些可选的实施例中将体现未决数据，但不应当以此作为输入数据的限定。
需要说明的是，在本申请实施例中，S2011和S2012均为可选的步骤，即直接对多种传感器获取到的多种特征数据进行S2013和S2014的动静态数据分离。相应的，如果不执行S2011，由于一些无效数据没有被滤除，则会增加一些数据的误差；若不执行S2012，则损失一部分可能根据历史动态目标关联出来的动态特征数据，这一部分数据中的数据有可能被S2013和S2014识别出来，也有可能无法被S2013和S2014识别，但S2011和S2012的缺失只会造成精度上的部分损失，不会影响本申请实施例提供的技术方案的实现。
如上所述，经过预处理之后，得到静态特征数据和动态特征数据以及未决数据，这些数据被用于进行后续处理。如图2所示，静态特征数据从模块201输出给模块203，动态特征数据从模块201输出给模块205。需要注意的是，模块203指向模块205的箭头用来表示：模块203构建的静态环境信息作为参考静态环境信息输出给模块205，用于被模块205根据动态特征数据和参考静态环境信息进行动态目标的构建。同样，模块205指向模块203的箭头用来表示：模块205构建的动态目标信息作为参考动态目标信息输出给模块203，用于被模块203根据静态特征数据和参考动态目标信息进行静态环境的构建。
即，静态环境构建模块203需要用到动态目标构建模块205的输出信息，同样的，动态目标构建模块205也需要用到静态环境构建模块203的输出信息，两个模块可以同时从数据预处理模块201分别得到上面所述的相应数据，同步进行静态环境的构建和动态目标的构建。也可以由静态环境构建模块203预先根据静态特征数据和参考动态目标信息构建出静态环境信息，并将该静态环境信息作为参考静态环境信息输出给动态目标构建模块205，从而由动态目标构建模块205结合该参考静态环境信息以及动态特征数据，构建动态目标信息；该动态目标信息可以进一步作为新的参考动态目标信息输出给静态环境构建模块203，用于由静态环境构建模块203根据该新的参考动态目标信息和下一时刻的静态特征数据构建下一时刻的静态环境信息。
该方案还可以是：由动态目标构建模块205预先根据动态特征数据和参考静态环境信息构建出动态目标信息，并将该动态目标信息作为参考动态目标信息输出给静态环境构建模块203，从而由静态环境构建模块203根据该参考动态目标信息以及静态特征数据，构建静态环境信息；该静态环境信息可以进一步作为新的参考静态环境信息输出给动态目标构建模块205，用于由动态目标构建模块205根据该新的参考静态环境信息和下一时刻的动态特征数据构建下一时刻的动态目标信息。
本申请实施例的构思关键在于：静态环境构建模块203与动态目标构建模块205之间互相利用彼此的输出信息，即静态环境的构建不仅需要用到静态特征数据，还需要用到动态目标信息；而动态目标的构建不仅需要用到动态特征数据，还需要用到静态环境信息。即，构建静态环境的时候，需要综合考虑动态目标的情况；构建动态目标的时候，也需要综合考虑静态环境的情况。
另外，模块203与模块205还可以同时采用彼此上一时刻的输出信息进行当前时刻的构建，也可以先后依次进行，本申请对此不做限定。
下面对静态环境构建模块203和动态目标构建模块205的工作进行展开介绍。
静态环境构建模块203的输入信息可以包括：静态特征数据，运动目标的运行轨迹；其中，所述运动目标的运行轨迹是由动态目标构建模块205输出的，作为参考动态目标信息被静态环境构建模块203用于进行静态环境的构建。
静态环境构建模块203的输出信息为静态环境信息，该静态环境信息可以包括：当前时刻的静态栅格地图，道路结构信息；其中道路结构信息可以包括道路边缘(隔离带等)、架空物(路牌，广告架空牌，跨线桥等)。
模块203具体可以用于实现S2031构建静态栅格地图和S2032估计道路结构两个部分，所谓静态栅格地图是指一种描述环境中静态障碍物分布的数据格式，如图4所示。
图4的上半部分是实际Y形岔路，下半部分是对应的静态栅格地图。注意，静态栅格地图只呈现静态障碍物，上半部分的车辆是动态目标，在静态栅格地图中不呈现出来。静态栅格地图是将环境按照一定比例的大小划分为横纵排列的栅格，每个栅格的颜色深浅表示该栅格对应的区域内被静态障碍物占据的概率，颜色越深，表示被占据的概率越高，黑色表示该栅格被障碍物占据的概率为1，白色表示该栅格被障碍物占据的概率为0，即该栅格为空闲，灰色表示该栅格被障碍物占据的概率为0.5，通常意味着未知状态。
静态栅格地图用概率栅格地图表示。概率栅格地图中的每一个栅格都包含三个属性值：累计值(odd)、概率值(prob)和临时占据值。其中累计值和概率值均表示该栅格包含障碍物的概率，两只之间具有一一对应的关系，具体的，其对应关系，或称转换关系如下：
累计值(odd)和概率值(prob)的对应关系如表3和图5所示。
表3累计值和概率值关系
栅格颜色 累计值(odd) 概率值(prob)
黑 50 1
灰 0 0.5
白 -50 0
表3
odd的取值范围为[-50，50]，odd越高表示占据的概率越高，越低表示空闲的概率越高，odd＝0表示状态未知，对应的prob的取值范围为[0，1]，prob越高表示占据的概率越高，越低表示空闲的概率越高，prob＝0.5表示状态未知。
临时占据值表示当前时刻传感器数据中该栅格对应的区域是否有障碍物，一般为0或者1，0代表无障碍物，1代表有障碍物。
下面即将介绍S2031的具体步骤，概括来说，该步骤包括：S2031a转换坐标、S2031b、局部栅格概率更新。
在介绍S2031之前，需要先介绍一个可选的模块，该可选的模块为全局更新模块202，该全局更新模块202的输入信息包括：自车运行速度，历史静态栅格地图，该全局更新模块202用于根据所述自车运行速度对历史静态栅格地图中各个栅格的概率值进行更新，得到更新后的历史静态栅格地图，该更新后的历史静态栅格地图被模块203作为历史静态栅格地图进行S2031b的操作。
具体的，全局更新模块202用于执行S2021：自适应的全局栅格概率更新。
下面介绍S2021自适应的全局栅格概率更新，包括全局栅格概率更新的原因，场景举例，计算方法及衰减效果。
首先需要说明的是，所谓的自适应全局栅格概率更新是指随着时间的推移持续进行，且不断迭代更新历史的静态栅格地图，包括更新历史的静态栅格地图中各个栅格包含的累计值和概率值，所述的历史的静态栅格地图用于指代当前时刻之前的静态栅格地图。
之所以需要进行全局栅格概率更新，是由于传感器检测目标时存在虚警现象，需要逐渐降低历史栅格的累计值以降低虚警的影响，因此需要在每一轮计算中，对全局栅格概率进行更新。换句话说，这个步骤的目的是，传感器的误检是偶然发生的，不会一直产生，那么随着全局栅格概率更新的进行，偶尔发生的误检会被遗忘，正确的检测结果因为会一直更新，所以会保留在静态栅格地图中。
举例来说，一辆夜间行驶在高速路上的自动驾驶车辆，其视觉传感器可能检测到高速公路旁的高杆路灯投影在高速路面的静态阴影为一固定路障，实际该静态阴影不是固定路障，此种情况，就是虚警。在这种场景下，自动驾驶车辆为了规避路障，需要绕道或者紧急制动，但实际没有必要。通常来说，车载设备安装的视觉传感器或者雷达传感器在天气异常或光线异常等异常情况下，本来前方无障碍物，却误检测到障碍物，导致自动驾驶车辆紧急刹车，这种误检就是虚警。
进行全局栅格概率更新的方法是：当前时刻静态栅格地图的每个栅格累计值(odd)为前一时刻每个栅格的累计值(odd)乘以和车辆行驶速度相关的函数，这里的车辆是指自车。
和车辆行驶速度v(即上述的动态目标信息的一种)相关的函数f，其计算方法示例如下：
f＝e-v*0.05*0.1+0.9
其中v是自车车速，f和v的关系举例见表4：
v(km/h) f
0 1
30 0.922313
60 0.904979
90 0.901111
120 0.900248
表4
全局栅格概率更新的效果如图6所示。
在图6中每一列是一轮对栅格地图的更新，第一行是上一时刻的栅格地图进行全局栅格概率更新之后的结果，第二行是当前时刻新观测到的数据，第三行是用当前时刻新观测到的数据对全局概率衰减之后的上一时刻的栅格地图进行更新后的结果。
以t时刻对应的第一列为例，该列最靠上的静态栅格地图，即第一列第一行的静态栅格地图事实上是t-1时刻进行全局栅格概率更新之后的静态栅格地图，第一列的中间的静态栅格地图，即第一列第二行的这个图是在t时刻观测到新的静态栅格地图，将第一列第一行的静态栅格地图与第一列第二行的静态栅格地图对应的各个栅格的值进行叠加，得到第一列最底下的静态栅格地图，也就是第一列第三行的静态栅格地图，这个地图就是t时刻概率更新后的静态栅格地图，该静态栅格地图输出给第二列第一行，即作为t+1时刻的起始栅格地图，用于和t+1时刻新观测到的静态栅格地图进行叠加，并随着时间依次进行下去。
可以看到，如图6中，在第一列即t时刻新观测到的静态栅格地图中有一个虚警检测点，导致t时刻的栅格地图中出现一个错误的障碍物。但是这个虚警在经过本申请实施例的全局栅格概率更新之后，在随后的检测(如第三列第三行，t+3时刻的概率更新结果)中未再出现。因此，本申请实施例提供的全局栅格概率更新的方法，随着时间的推移，可以使错误的障碍物的概率逐渐降低，最终消失，以此提高输出的静态栅格地图的准确性，提升感知精度。
下面介绍S2031a转换坐标、以及S2031b局部栅格概率更新。
其中，S2031a包括：将前述的输入模块203的输入信息进行坐标系转换，即将数据和信息所包含的数据都转换到同一坐标系下。之所以需要进行坐标转换，是因为输入的数据往往在不同的坐标系中，而在数据处理时，需要数据在同一个坐标系下才能进行处理。
将传感器检测到的特征数据转换到世界坐标系中。假设传感器在自车车体坐标系中的安装位置和角度是(xt，yt，θt)，自车车体在世界坐标系下的位置是(xv，yv，θv)，那么，将传感器原始数据位置(xs，ys)转换到世界坐标系下的位置(xw，yw)的算法是：
其中传感器到自车车体的旋转矩阵为：
自车车体到世界坐标系的旋转矩阵为：
下面介绍S2031b局部栅格概率更新。
首先需要指出的是，上述S2031a将数据转换到同一坐标系下之后，同一坐标系下的静态特征数据和未决数据将用于进行S2031b的操作。因此S2031b用到的数据均为经过坐标系统一之后的相同坐标系之下的数据，下文对此不再重申。
在本申请实施例中，对局部的栅格概率更新的方式具体是：根据动态目标信息更新栅格概率。
具体的，这里用到的动态目标信息包括：动态目标运行轨迹，具体为其他移动载体的运行轨迹，这里的其他移动载体也即自车所处环境中或自车感知范围内除自车以外的其它移动载体，可以是它车，也可以是其它类型的移动载体。
下面分别阐述根据动态目标信息更新栅格概率的原因、场景举例、计算方法以及更新效果。
同样，之所以需要根据动态目标信息更新栅格概率，是由于传感器检测目标时存在虚警现象，可以通过动态目标信息，如运动目标运行轨迹，来减少虚警的影响。
关于虚警，前文已经有所介绍，此处再补充一个例子用于更好的理解虚警，如：自动驾驶车辆在自动驾驶过程中，毫米波雷达可能将路面上的金属井盖误识别为障碍物，实际这类物体是不会影响到车辆正常行驶的，这种误检测的情况即虚警。
具体的根据动态目标运行轨迹更新栅格概率效果如图7所示。这里的动态目标和前文一样，是指自车以外的其他移动载体。即通过其他移动载体的运行轨迹对自车所处的静态环境信息进行构建。
假设图7所示的历史静态栅格地图为t-1时刻的静态栅格地图，则黑色方形指其中一个目标车辆在t-1时刻的位置，黑色虚线方形指该目标车辆相对于t-1时刻而言的历史位置，如t-2时刻的历史位置，黑色箭头指该目标车辆运动方向，图中栅格颜色越浅表示空闲概率越高，即运动目标运行轨迹覆盖的区域为空闲区域的概率越高，运行轨迹越新，空闲的概率越高。t时刻是当前时刻，相对于当前时刻t而言，t-1时刻该运动目标覆盖的栅格的空闲概率最高，由图7可以看到，t-1时刻的空闲概率最高，颜色最浅，而该目标车辆离开时间越久的区域则颜色越深，因为一辆目标车辆离开那个区域越久，环境中越有可能发生变化，所以那个区域空闲的概率也越低，如图中越靠下面的历史运行轨迹所覆盖的区域的颜色越深，因为这个区域当前时刻出现障碍物的概率越大。但越新的运行轨迹，如图中越靠上面的历史运行轨迹，运动目标覆盖的区域的颜色越浅，也即运行轨迹越新，该区域空闲的概率也就越高。这是容易理解的，因为车辆经过的时间越短，其经过的区域出现其他障碍物的可能性越小，但是车辆经过的时间越长，其经过的区域出现其他障碍物的可能性就越大。
根据动态目标运行轨迹更新栅格概率的方法是：动态目标运行轨迹覆盖的区域内栅格累计值(odd)是该区域内该栅格上一时刻累计值(odd)加上一个与运行轨迹的新旧程度相关的函数，如：
其中T是整条运行轨迹的时间长度，ti是当前时间，t是运行轨迹中的一个时刻，oddfree是空闲累加值，空闲累加值为当前检测到栅格为空闲状态时需要累加的值，一般取-0.1。
具体算法可以如下示例：
运行轨迹的定义为其中Pt表示t时刻运动目标的位置，表示运动目标从ti时刻起向前运行一段时长为T得到的轨迹。栅格c需要累加的概率为：
其中A(Pt,c)表示栅格c是否在运动目标在t时刻所占据的空间中，如果是则为1，否则为0。
根据上述计算，得到局部更新后的静态栅格地图，所述局部更新后的静态栅格地图是指对历史静态栅格地图进行局部更新后得到的当前静态栅格地图，也就是静态环境信息构建模块203需要输出的信息，该信息可以用来输出给动态目标构建模块205用于构建动态目标，并且也可以同时由静态环境构建模块203作为当前的静态环境信息输出，作为对当前静态环境的感知，输出给后续的处理环节进行相关处理，如输出给认知层用于进行车辆控制的决策推理和路径规划。
下面介绍S2032估计道路结构的相关方法。
道路结构分为道路边缘，如道路隔离栏等，和架空物，如路牌、广告架空牌、跨线桥等两类。
道路结构对自动驾驶汽车的行驶非常重要，因为道路边缘信息可以帮助过滤一些虚假或者无效的目标。举例来说：由于道路边缘是车辆不可以逾越的边界，也就是正常情况下，道路边界对面的车是不会开到自车这一侧的。所以如果在道路边界之外出现的误检和虚警都可滤除。而且由于道路边界有时结构比较复杂，比如有植物等，容易被误检为运动目标，但是这个误检目标其实和道路边界是重合的，不可能有车辆“骑”在道路边界上行驶，所以可以通过道路边界过滤类似误检。
架空物是指横亘在自车行驶线路上，但是高度较高，不影响车辆通行的物体。举例来说，如图8所示，这是高速公路上跨过整条公路的路牌，对于一些不能检测高度信息的毫米波雷达而言，这种路牌与一面墙无异。如果不能确认这是架空物，车辆就会在路牌前误刹车，容易引起交通事故。
下面介绍如何根据静态特征数据和动态目标信息构建架空物是：
首先，根据数据直方图在x轴方向上的峰值，提取包含架空物的点集，该点集包括静态栅格地图转换而成的点云和当前时刻的静态特征数据；然后，利用该点集，通过优化函数，计算架空物模型参数，得到待定架空物；最后，通过该点集的高度信息，或者如果有其他动态目标穿过该待定架空物，则确认该物体为架空物。
换句话说，如果动态目标的运行轨迹与待定架空物模型线段相交，即方程有解，则确认该物体为架空物，具体方法示例如下：
架空物可以用线段模型表示，例如架空物线段的起点和终点分别为：
(xstart，ystart)和(xend，yend)
则对应的线段模型为：
运行轨迹的定义为在此可以将运行轨迹简化为起点和终点/>之间的一条线段，即计算两直线的交点：
如果两直线有交点(xc，yc)，且该交点在上述两个线段范围之内，即且/>则认为动态目标的运行轨迹与待定架空物模型线段相交(即方程有解)，可以确认架空物。这里说的运动目标的运行轨迹可以是任一个自车以外的运动目标的运行轨迹。
通过上述方法，静态环境构建模块203根据静态特征数据和动态目标信息构建得到静态环境信息，该静态环境信息可以包括：静态栅格地图，道路结构信息。
需要说明的是，在上述步骤中，S2032为可选步骤，即如果静态环境构建模块203不执行S2032，即静态环境构建模块203不输出道路结构信息，将会损失感知层对部分静态环境的感知结果，但不影响本申请实施例中静态环境构建模块203对静态栅格地图的构建。而由于S2032结合静态特征数据和动态目标信息(如运动目标的运行轨迹)可以得到包括架空物在内的一些道路结构信息，因此执行S2032可以更好的提升感知能力，以帮助自动驾驶汽车更好的感知静态环境信息。
介绍完静态环境构建模块203的工作，接下来介绍动态目标构建模块205的工作。
动态目标构建模块205用于根据动态特征数据和静态环境信息构建动态目标。
需要说明的是，如前文所述，在数据预处理模块201进行数据分离之后，得到的数据除了包括动态特征数据和静态特征数据，还可以包括未决数据，所述未决数据是指没有被确定为动态或静态的特征数据。在一些实施例中，未决数据可能被摒弃掉，但是为了更准确的反应移动载体所处环境的真实情况，这些未决数据在另一些实施例中将被保留并和静态特征数据一起进入模块203，用于进行静态环境信息的构建；这些未决数据还可以和动态特征数据一起进入模块205，用于进行动态目标信息的构建。
在下面呈现的实现方式中，将介绍动态目标构建模块205采用了动态特征数据和未决数据进行相关处理。
动态目标构建模块205的输入信息可以包括：自车运动状态、动态特征数据、历史运动目标信息、静态环境信息、未决数据等，其输出可以包括：运动目标的位置、速度、尺寸、朝向、类别等属性及历史轨迹。静态环境信息可以包括道路边界，和/或架空物。
动态目标构建模块205具体可以用于实现以下方法：S2051聚类；S2052过滤静态环境中的动态目标；S2053跟踪动态目标。
经过数据预处理模块201的工作，输出的数据为动态特征数据和静态特征数据以及未决数据，其中动态特征数据和未决数据被动态目标构建模块205所用。首先，动态目标构建模块205将对动态特征数据和未决数据进行S2051所述的聚类，聚类得到一个或多个聚类中心，每一个聚类中心包括一组聚类特征数据，每一组聚类特征数据被认为是一个新的可能的运动目标，并赋予一个ID，标记为不成熟运动目标，进入下一步S2052。未聚成类的特征数据为噪声点，予以抛弃。
接下来需要执行S2052过滤静态环境中的动态目标。
根据上述聚类得到的一个或多个不成熟运动目标，如果一个不成熟运动目标位于道路边界之外，或者如果该不成熟运动目标和道路边界是重合的，那么这个不成熟运动目标就被认为是一个无效的运动目标，即其为真实运动目标的可能性较低。
具体方法包括：将不成熟运动目标所包含的特征数据全部投影到静态环境信息所属的坐标系中，该静态环境信息包括道路边界，以用于判断该不成熟运动目标与道路边界的关系。
假设(xk,yk)是其中一个不成熟运动目标k的位置，y＝f(x)是道路边界模型。
如果该不成熟运动目标k在道路边界之外，即|f(xk)|＞yk，那么该目标k无效。
如果该不成熟运动目标k在道路边界之内，则判断该目标k与道路边界的距离|f(xk)-yk|，如果小于通常车身大小(例如2.5m)，则该不成熟运动目标被认为是无效目标，也就是在边界之内很近的话，也被认为是无效运动目标。
通过S2052的过滤，无效运动目标被滤除，剩下的不成熟运动目标可以被认为是真实运动目标的可能性较大，这一部分不成熟运动目标可以作为动态目标构建模块205的输出结果进行输出，给静态环境构建模块203，或者也可以输出给认知层、人机交互界面等；
在一种可能的实现方式中，上述静态环境信息还可以包括架空物，则上述的剩下的这一部分不成熟运动目标还可以被用于进行下一步的处理：包括判断其与架空物的关系，以确定其是否是架空物。
由于采用了未决数据，这些未决数据中很有可能存在本应是静态特征数据的数据，但是因为没有被识别出来，因此作为未决数据进入动态目标构建模块205，因此在模块205进行动态目标构建的过程中，可能会发现一些可能的运动目标实际是静态障碍物，这是该实现方式之所以需要被执行的一种原因，具体方法如下：
假设(xk,yk)是其中一个目标k的位置，x＝f(y)|y∈[y1，y2]是架空物模型。如果y1＜yk＜y2∧|f(yk)-xk|＜δ(δ通常为车长5m)，则认为该目标为架空物，并将该目标标记为架空物，则剩下的不成熟目标被认为是真实存在的运动目标，它们的相关信息作为运动目标信息由模型205进行输出。
如图9所示，黑色点表示传感器检测到的道路边界之外的虚警，箭头是检测到的虚警目标的速度。如果不滤除这个虚警，自动驾驶系统会认为这个目标朝向自车运动，对自车运动产生威胁，会触发刹车或者规避等行为。而通过步骤S2052的方法，这个虚警可以被滤除，从而保障了自动驾驶车辆的安全。
S2053跟踪动态目标，该步骤可以用现有的门限关联和卡尔曼滤波的多目标跟踪方法进行实现，目的在于对已经确定出来的运动目标进行持续跟踪，若第一预设时间内或第一预设帧内，该运动目标不再被关联到，则挂起该运动目标；若第二预设时间内或第二预设帧内，该运动目标依然未被关联到，则删除该运动目标；若第三预设时间后第三预设帧内，该运动目标被重新关联到，则恢复该运动目标；其中，所述第一、第二、第三预设时间均可以根据经验进行取值，三个预设值之间的关系不做限定，如三个预设时间可以彼此相同，也可以都不相同，第一预设帧、第二预设帧和第三预设帧亦然，不再赘述。这里所述的关联可以用本申请实施例前文S2012中提到的关联历史动态目标的方式相同，这里不再对此累述。
图10是本申请实施例的多传感器数据融合的感知装置1000的硬件结构示意图。
图10所示的多传感器数据融合的感知装置1000包括存储器、处理器、通信接口以及总线。其中，存储器、处理器、通信接口通过总线实现彼此之间的通信连接。
该多传感器数据融合装置1000具体可以是一种计算机设备。
该多传感器数据融合的感知装置1000可以用来执行所述多传感器数据融合的感知装置200中各个模块的功能。
在该多传感器数据融合的感知装置1000中，存储器可以是只读存储器(Read OnlyMemory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器可以存储程序，当存储器中存储的程序被处理器执行时，处理器和通信接口用于执行本申请实施例的多传感器数据融合的感知方法的各个步骤。
处理器可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路；或，处理器可以既包括中央处理器，也包括可以用于进行神经网络处理的处理器(下称神经网络处理器)，即结合中央处理器和神经网络处理器共同发挥处理器的功能。处理器用于执行相关程序，以实现本申请实施例的多传感器数据融合的感知装置中的各个模块所需执行的功能，或者执行本申请方法实施例的多传感器数据融合的感知方法。
处理器还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的动作识别方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器还可以是通用处理器、数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器，或者也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本申请实施例的多传感器数据融合的感知装置中包括的模块所需执行的功能，或者执行本申请方法实施例的多传感器数据融合的感知方法。
通信接口使用，例如但不限于收发器一类的收发装置，来实现装置1000与其他设备或通信网络之间的通信。例如，可以通过通信接口获取多种传感器采集的数据。
总线可包括在装置1000各个部件(例如，存储器、处理器、通信接口)之间传送信息的通路。
应注意，尽管图10所示的装置1000仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置1000还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置1000还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置1000也可仅仅包括实现本申请实施例所必须的器件，而不必包括图10中所示的全部器件。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种多传感器数据融合的感知方法，用于对多种传感器采集的特征数据进行融合，所述多种传感器搭载在移动载体上，用于观测所述移动载体所处环境的状态，其特征在于，所述移动载体所处环境的状态包括当前静态环境信息及当前动态目标信息，所述方法包括：
接收多种传感器采集的特征数据；
对所述特征数据进行预处理，所述预处理包括对所述特征数据进行数据分类，得到静态特征数据、动态特征数据；
获取参考动态目标信息，根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息；其中，所述参考动态目标信息是根据所述动态特征数据获取的，或，所述参考动态目标信息是根据所述动态特征数据和历史静态环境信息获取的；
获取参考静态环境信息，根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息；其中，所述参考静态环境信息是根据所述静态特征数据获取的，或，所述参考静态环境信息是根据所述静态特征数据和历史动态目标信息获取的；
输出所述当前静态环境信息和所述当前动态目标信息。
2.如权利要求1所述的方法，其特征在于，所述特征数据包括：毫米波雷达的检测数据和非毫米波雷达的检测数据，所述对所述特征数据进行数据分类包括：
对所述毫米波雷达的检测数据进行数据分类，得到动态毫米波雷达检测数据和静态毫米波雷达检测数据；
根据所述动态毫米波雷达检测数据和所述静态毫米波雷达检测数据，对所述非毫米波雷达的检测数据进行数据分类，得到动态非毫米波特征数据和静态非毫米波特征数据；
所述动态特征数据包括所述动态毫米波雷达检测数据和所述动态非毫米波特征数据，所述静态特征数据包括所述静态毫米波雷达检测数据和所述静态非毫米波特征数据。
3.如权利要求1或2所述的方法，其特征在于，所述参考动态目标信息包括至少一个其它移动载体的运行轨迹，所述其它移动载体包括所述移动载体所处环境中除所述移动载体以外的其它移动载体；所述当前静态环境信息包括所述移动载体所处环境的当前静态栅格地图；
所述根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息包括：
对所述静态特征数据进行坐标系统一，得到相同坐标系下的静态特征数据；
根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对历史静态栅格地图进行局部更新，得到所述当前静态栅格地图，其中，所述局部更新包括：对所述历史静态栅格地图中的目标栅格的值进行更新，所述目标栅格为被所述第一其它移动载体覆盖的栅格；其中，所述第一其它移动载体是所述至少一个其它移动载体中的任一个，静态栅格地图是一种用于描述环境中静态障碍物分布的数据格式。
4.如权利要求3所述的方法，其特征在于，所述多种传感器还用于观测所述移动载体自身运动状态，所述移动载体自身运动状态包括所述移动载体的运行速度；
所述根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息之前，所述方法还包括：
根据所述移动载体的运行速度，对所述移动载体所处环境的历史静态栅格地图中各个栅格的值，进行全局更新，得到更新后的历史静态栅格地图；其中，所述历史静态栅格地图包括当前时刻的前一时刻的静态栅格地图，当所述前一时刻为起始时刻时，所述历史静态栅格地图为初始静态栅格地图，所述初始静态栅格地图中每一个栅格的值为预设值；
所述根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对历史静态栅格地图进行局部更新，得到所述当前静态栅格地图包括：
所述根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对所述更新后的历史静态栅格地图进行局部更新，得到所述当前静态栅格地图。
5.如权利要求1或2所述的方法，其特征在于，所述参考动态目标信息包括其它移动载体的运行轨迹，所述其它移动载体包括所述移动载体所处环境中除所述移动载体以外的其它移动载体；
所述当前静态环境信息还包括所述移动载体所处环境中的道路结构信息；
所述根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息，还包括：
根据所述静态特征数据和所述其它移动载体的运行轨迹构建所述道路结构信息。
6.如权利要求5所述的方法，其特征在于，所述参考静态环境信息包括所述道路结构信息，所述根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息，包括：
根据所述动态特征数据和所述道路结构信息构建所述当前动态目标信息。
7.如权利要求6所述的方法，其特征在于，所述道路结构信息包括道路边界，所述根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息，包括：
对所述动态特征数据进行聚类，得到一个或多个聚类中心，每一个聚类中心用于表示一个可能的动态目标；
根据所述道路结构信息排除所述一个或多个聚类中心中的无效聚类中心，包括：将位于所述道路边界以外的聚类中心，或将与所述道路边界重合的聚类中心确定为所述无效聚类中心。
8.如权利要求1或2的方法，其特征在于，所述对所述特征数据进行数据分类之前，所述预处理还包括：将所述特征数据与历史动态目标进行关联，得到动态关联数据；所述历史动态目标为：当前时刻的前一时刻所述移动载体所处环境中的动态目标，将所述特征数据中落在所述历史动态目标所处位置上的数据，确定为所述动态关联数据；将所述动态关联数据确定为所述动态特征数据；
所述对所述特征数据进行数据分类包括：对滤除所述动态关联数据之后的特征数据进行数据分类。
9.一种多传感器数据融合的感知装置，用于对多种传感器采集的特征数据进行融合，所述多种传感器搭载在移动载体上，用于观测所述移动载体所处环境的状态，其特征在于，所述移动载体所处环境的状态包括当前静态环境信息及当前动态目标信息，所述装置包括：接收模块、数据预处理模块、静态环境构建模块和动态目标构建模块；其中
所述接收模块，用于接收多种传感器采集的特征数据；
所述数据预处理模块，用于对所述特征数据进行预处理，所述预处理包括对所述特征数据进行数据分类，得到静态特征数据、动态特征数据；
所述静态环境构建模块，用于获取参考动态目标信息，根据所述静态特征数据和所述参考动态目标信息，构建所述当前静态环境信息；其中，所述参考动态目标信息是所述动态目标构建模块根据所述动态特征数据获取的，或，所述参考动态目标信息是所述动态目标构建模块根据所述动态特征数据和历史静态环境信息获取的；
所述动态目标构建模块，用于获取参考静态环境信息，根据所述动态特征数据和所述参考静态环境信息，构建所述当前动态目标信息；其中，所述参考静态环境信息是所述静态环境构建模块根据所述静态特征数据获取的，或，所述参考静态环境信息是所述静态环境构建模块根据所述静态特征数据和历史动态目标信息获取的；
输出模块，用于输出所述当前静态环境信息和所述当前动态目标信息。
10.如权利要求9所述的装置，其特征在于，所述特征数据包括：毫米波雷达的检测数据和非毫米波雷达的检测数据，所述数据预处理模块用于：
对所述毫米波雷达的检测数据进行数据分类，得到动态毫米波雷达检测数据和静态毫米波雷达检测数据；
根据所述动态毫米波雷达检测数据和所述静态毫米波雷达检测数据，对所述非毫米波雷达的检测数据进行数据分类，得到动态非毫米波特征数据和静态非毫米波特征数据；
所述动态特征数据包括所述动态毫米波雷达检测数据和所述动态非毫米波特征数据，所述静态特征数据包括所述静态毫米波雷达检测数据和所述静态非毫米波特征数据。
11.如权利要求9或10所述的装置，其特征在于，所述参考动态目标信息包括至少一个其它移动载体的运行轨迹，所述其它移动载体包括所述移动载体所处环境中除所述移动载体以外的其它移动载体；所述当前静态环境信息包括所述移动载体所处环境的当前静态栅格地图；
所述静态环境构建模块用于：
对所述静态特征数据进行坐标系统一，得到相同坐标系下的静态特征数据；
根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对历史静态栅格地图进行局部更新，得到所述当前静态栅格地图，其中，所述局部更新包括：对所述历史静态栅格地图中的目标栅格的值进行更新，所述目标栅格为被所述第一其它移动载体覆盖的栅格；其中，所述第一其它移动载体是所述至少一个其它移动载体中的任一个，静态栅格地图是一种用于描述环境中静态障碍物分布的数据格式。
12.如权利要求11所述的装置，其特征在于，所述多种传感器还用于观测所述移动载体自身运动状态，所述移动载体自身运动状态包括所述移动载体的运行速度；
所述静态环境构建模块还用于：
根据所述移动载体的运行速度，对所述移动载体所处环境的历史静态栅格地图中各个栅格的值，进行全局更新，得到更新后的历史静态栅格地图；其中，所述历史静态栅格地图包括当前时刻的前一时刻的静态栅格地图，当所述前一时刻为起始时刻时，所述历史静态栅格地图为初始静态栅格地图，所述初始静态栅格地图中每一个栅格的值为预设值；
所述根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对历史静态栅格地图进行局部更新，得到所述当前静态栅格地图包括：
所述根据所述相同坐标系下的静态特征数据以及第一其它移动载体的运行轨迹，对所述更新后的历史静态栅格地图进行局部更新，得到所述当前静态栅格地图。
13.如权利要求9或10所述的装置，其特征在于，所述参考动态目标信息包括其它移动载体的运行轨迹，所述其它移动载体包括所述移动载体所处环境中除所述移动载体以外的其它移动载体；
所述当前静态环境信息还包括所述移动载体所处环境中的道路结构信息；
所述静态环境构建模块还用于：
根据所述静态特征数据和所述其它移动载体的运行轨迹构建所述道路结构信息。
14.如权利要求13所述的装置，其特征在于，所述参考静态环境信息包括所述道路结构信息，所述动态目标构建模块用于：
根据所述动态特征数据和所述道路结构信息构建所述当前动态目标信息。
15.如权利要求14所述的装置，其特征在于，所述道路结构信息包括道路边界，所述动态目标构建模块具体用于：
对所述动态特征数据进行聚类，得到一个或多个聚类中心，每一个聚类中心用于表示一个可能的动态目标；
根据所述道路结构信息排除所述一个或多个聚类中心中的无效聚类中心，包括：将位于所述道路边界以外的聚类中心，或将与所述道路边界重合的聚类中心确定为所述无效聚类中心。
16.如权利要求9或10所述的装置，其特征在于，所述数据预处理模块还用于在对所述特征数据进行数据分类之前，
将所述特征数据与历史动态目标进行关联，得到动态关联数据；所述历史动态目标为：当前时刻的前一时刻所述移动载体所处环境中的动态目标，将所述特征数据中落在所述历史动态目标所处位置上的数据，确定为所述动态关联数据；将所述动态关联数据确定为所述动态特征数据；
所述对所述特征数据进行数据分类包括：对滤除所述动态关联数据之后的特征数据进行数据分类。
17.一种多传感器数据融合的感知装置，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器中存储的程序，当所述存储器中存储的程序被执行时，所述处理器用于执行权利要求1-8任一项所述的方法。
18.一种移动终端，其特征在于，包括：存储器、通信总线以及处理器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，用于执行权利要求1-8任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-8任一项所述的方法。
20.一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，用于执行权利要求1-8任一项所述的方法。
CN201811641186.3A 2018-12-29 2018-12-29 多传感器数据融合方法和装置 Active CN111382768B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811641186.3A CN111382768B (zh) 2018-12-29 2018-12-29 多传感器数据融合方法和装置
JP2021536829A JP7140922B2 (ja) 2018-12-29 2019-12-28 マルチセンサデータ融合方法、及び装置
PCT/CN2019/129629 WO2020135810A1 (zh) 2018-12-29 2019-12-28 多传感器数据融合方法和装置
EP19905209.3A EP3879455A4 (en) 2018-12-29 2019-12-28 MULTIPLE SENSOR DATA FUSION METHOD AND APPARATUS
US17/353,017 US11353553B2 (en) 2018-12-29 2021-06-21 Multisensor data fusion method and apparatus to obtain static and dynamic environment features
US17/825,601 US20220326350A1 (en) 2018-12-29 2022-05-26 Multisensor data fusion method and apparatus to obtain static and dynamic environment fratures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811641186.3A CN111382768B (zh) 2018-12-29 2018-12-29 多传感器数据融合方法和装置

Publications (2)

Publication Number Publication Date
CN111382768A CN111382768A (zh) 2020-07-07
CN111382768B true CN111382768B (zh) 2023-11-14

Family

ID=71129136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811641186.3A Active CN111382768B (zh) 2018-12-29 2018-12-29 多传感器数据融合方法和装置

Country Status (5)

Country Link
US (2) US11353553B2 (zh)
EP (1) EP3879455A4 (zh)
JP (1) JP7140922B2 (zh)
CN (1) CN111382768B (zh)
WO (1) WO2020135810A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111856507B (zh) * 2020-07-28 2023-03-28 上海木木聚枞机器人科技有限公司 一种环境感测实现方法、智能移动设备和存储介质
CN112148769A (zh) * 2020-09-15 2020-12-29 浙江大华技术股份有限公司 数据的同步方法、装置、存储介质以及电子装置
CN112572471B (zh) * 2020-12-08 2022-11-04 西人马帝言(北京)科技有限公司 自动驾驶方法、装置、电子设备及计算机存储介质
CN114639262B (zh) * 2020-12-15 2024-02-06 北京万集科技股份有限公司 感知设备的状态检测方法、装置、计算机设备和存储介质
CN112505671B (zh) * 2021-02-07 2021-05-25 北方工业大学 Gnss信号缺失环境下毫米波雷达目标定位方法及装置
CN113012429B (zh) * 2021-02-23 2022-07-15 云控智行(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN113051500B (zh) * 2021-03-25 2022-08-16 武汉大学 一种融合多源数据的钓鱼网站识别方法及系统
CN113223090A (zh) * 2021-04-16 2021-08-06 天津开发区文博电子有限公司 铁路调车动态视觉监控方法
CN113267779A (zh) * 2021-05-17 2021-08-17 南京师范大学 一种基于雷达与图像数据融合的目标检测方法及系统
EP4092446B1 (en) * 2021-05-21 2024-05-15 Axis AB Static scene mapping using radar
CN113359117A (zh) * 2021-06-29 2021-09-07 上海智能网联汽车技术中心有限公司 一种静态标定系统及方法
CN113535877B (zh) * 2021-07-16 2023-05-30 上海高仙自动化科技发展有限公司 智能机器人地图的更新方法、装置、设备、介质及芯片
CN113688880A (zh) * 2021-08-02 2021-11-23 南京理工大学 一种基于云计算的障碍地图的创建方法
CN113589254A (zh) * 2021-08-23 2021-11-02 东莞正扬电子机械有限公司 基于雷达的移动目标检测方法、装置及雷达检测设备
CN113740843B (zh) * 2021-09-07 2024-05-07 中国兵器装备集团自动化研究所有限公司 一种跟踪目标的运动状态估计方法、系统及电子装置
CN113777601A (zh) * 2021-09-14 2021-12-10 无锡威孚高科技集团股份有限公司 一种基于特征的目标跟踪优化方法、装置和存储介质
CN113879333B (zh) * 2021-09-30 2023-08-22 深圳市商汤科技有限公司 轨迹预测方法、装置、电子设备及存储介质
CN114460598A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 一种目标识别方法、装置、设备及存储介质
CN114970630B (zh) * 2022-06-01 2024-04-19 中国人民解放军63796部队 一种时序数据多尺度分段的模型训练方法
CN115079168B (zh) * 2022-07-19 2022-11-22 陕西欧卡电子智能科技有限公司 基于激光雷达与毫米波雷达融合的建图方法、装置及设备
DE102022128787A1 (de) 2022-10-28 2024-05-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem zum Detektieren von statischen Hindernissen und entsprechend eingerichtetes Kraftfahrzeug
CN116106853B (zh) * 2023-04-12 2023-09-01 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN117372987B (zh) * 2023-12-08 2024-01-30 山东高速工程检测有限公司 道路三维数据处理方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010006828A1 (de) * 2010-02-03 2011-08-04 Volkswagen AG, 38440 Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
CN105445728A (zh) * 2014-08-27 2016-03-30 启碁科技股份有限公司 预警方法及车用雷达系统
CN106291736A (zh) * 2016-08-16 2017-01-04 张家港长安大学汽车工程研究院 无人驾驶汽车车道动态障碍物检测方法
CN108090515A (zh) * 2017-12-27 2018-05-29 南京邮电大学 一种基于数据融合的环境等级评估方法
CN108226924A (zh) * 2018-01-11 2018-06-29 李烜 基于毫米波雷达的汽车行驶环境探测方法、装置及其应用
CN108382329A (zh) * 2017-02-03 2018-08-10 福特全球技术公司 先进的v2x事件传播
CN108711163A (zh) * 2018-02-24 2018-10-26 中国人民解放军火箭军工程大学 一种基于多传感器的机器人未知环境目标跟踪方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003090877A (ja) * 2001-07-12 2003-03-28 Murata Mfg Co Ltd レーダ装置
ES2537309T3 (es) * 2005-10-07 2015-06-05 Saab Ab Procedimiento y disposición para la fusión de datos
CN101413806B (zh) 2008-11-07 2011-05-25 湖南大学 一种实时数据融合的移动机器人栅格地图创建方法
CN102323854B (zh) * 2011-03-11 2013-10-16 中国科学院研究生院 人体运动捕获装置
CN202216696U (zh) * 2011-07-07 2012-05-09 中国矿业大学(北京) 基于信息融合的煤矿救灾机器人导航装置
CN102564431B (zh) 2011-11-14 2014-11-12 南京理工大学 基于多传感器融合的非结构化环境理解方法
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
CN103984538B (zh) 2014-03-27 2017-04-26 华为技术有限公司 应用场景的识别方法、功耗管理方法、装置及终端设备
BR112017024598A2 (pt) 2015-05-15 2018-07-31 Airfusion Inc aparelho portátil e método para suporte de decisão para análise e fusão de dados de multisensor automatizado em tempo real
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
CN105389984A (zh) * 2015-11-16 2016-03-09 北京智视信息科技有限公司 一种基于移动终端传感信息融合的驾驶行为识别方法
US10565468B2 (en) 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
US10317519B2 (en) * 2016-04-15 2019-06-11 Huawei Technologies Co., Ltd. Systems and methods for environment sensing using radar
US10109073B2 (en) 2016-09-21 2018-10-23 Verizon Patent And Licensing Inc. Feature tracking and dynamic feature addition in an augmented reality environment
WO2018060313A1 (en) * 2016-09-28 2018-04-05 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
US10481602B2 (en) 2016-10-17 2019-11-19 Steering Solutions Ip Holding Corporation Sensor fusion for autonomous driving transition control
CN106908783B (zh) 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法
US10109198B2 (en) * 2017-03-08 2018-10-23 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
CN106951879B (zh) 2017-03-29 2020-04-14 重庆大学 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN107202983B (zh) 2017-05-19 2020-11-13 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
US20190016331A1 (en) * 2017-07-14 2019-01-17 Nio Usa, Inc. Programming complex parking maneuvers for driverless vehicles
US10404261B1 (en) * 2018-06-01 2019-09-03 Yekutiel Josefsberg Radar target detection system for autonomous vehicles with ultra low phase noise frequency synthesizer
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010006828A1 (de) * 2010-02-03 2011-08-04 Volkswagen AG, 38440 Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
CN105445728A (zh) * 2014-08-27 2016-03-30 启碁科技股份有限公司 预警方法及车用雷达系统
CN106291736A (zh) * 2016-08-16 2017-01-04 张家港长安大学汽车工程研究院 无人驾驶汽车车道动态障碍物检测方法
CN108382329A (zh) * 2017-02-03 2018-08-10 福特全球技术公司 先进的v2x事件传播
CN108090515A (zh) * 2017-12-27 2018-05-29 南京邮电大学 一种基于数据融合的环境等级评估方法
CN108226924A (zh) * 2018-01-11 2018-06-29 李烜 基于毫米波雷达的汽车行驶环境探测方法、装置及其应用
CN108711163A (zh) * 2018-02-24 2018-10-26 中国人民解放军火箭军工程大学 一种基于多传感器的机器人未知环境目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Takeo Miyasaka等.Ego-motion estimation and moving object tracking using multi-layer LIDAR.《2009 IEEE Intelligent Vehicles Symposium (IV)》.2009, *

Also Published As

Publication number Publication date
EP3879455A4 (en) 2022-01-12
US11353553B2 (en) 2022-06-07
US20220326350A1 (en) 2022-10-13
CN111382768A (zh) 2020-07-07
EP3879455A1 (en) 2021-09-15
WO2020135810A1 (zh) 2020-07-02
JP2022514975A (ja) 2022-02-16
US20210311167A1 (en) 2021-10-07
JP7140922B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
CN111382768B (zh) 多传感器数据融合方法和装置
JP6591842B2 (ja) 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
CN112154455B (zh) 数据处理方法、设备和可移动平台
US8233663B2 (en) Method for object formation
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN113345269A (zh) 基于v2x车联网协同的交通工具危险预警的方法、装置和设备
US10916134B2 (en) Systems and methods for responding to a vehicle parked on shoulder of the road
Zhang et al. A framework for turning behavior classification at intersections using 3D LIDAR
US20210158128A1 (en) Method and device for determining trajectories of mobile elements
US11645832B1 (en) Sensor fusion for precipitation detection and control of vehicles
US11403951B2 (en) Driving assistance for a motor vehicle when approaching a tollgate
Tarmizi et al. Vehicle detection using convolutional neural network for autonomous vehicles
JP7226368B2 (ja) 物体状態識別装置
CN116901875A (zh) 感知融合系统、车辆及控制方法
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及系统
US20210061293A1 (en) Approach to maneuver planning for navigating around parked vehicles for autonomous driving
CN113264042B (zh) 隐藏危险情况警示
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
CN112230216A (zh) 面向云控智能底盘的车载毫米波雷达多目标探测方法
CN111326002A (zh) 一种自动驾驶汽车环境感知的预测方法、装置及系统
EP4239574A1 (en) Object tracking device and object tracking method
US20230020776A1 (en) Flexible multi-channel fusion perception
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle
US20240166244A1 (en) Systems and methods for estimating the origins of abnormal driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant