CN114518574A - 用于传感器融合系统的基于峰度的修剪 - Google Patents

用于传感器融合系统的基于峰度的修剪 Download PDF

Info

Publication number
CN114518574A
CN114518574A CN202111360472.4A CN202111360472A CN114518574A CN 114518574 A CN114518574 A CN 114518574A CN 202111360472 A CN202111360472 A CN 202111360472A CN 114518574 A CN114518574 A CN 114518574A
Authority
CN
China
Prior art keywords
traces
trace
candidate
candidate object
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111360472.4A
Other languages
English (en)
Inventor
S·A·伊姆兰
J·K·希夫曼
曹年霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN114518574A publication Critical patent/CN114518574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文档描述了用于传感器融合系统的基于峰度的修剪。基于峰度的修剪使当将大型数据集融合到一起时所执行的比较的总量最小化。多个候选雷达踪迹可能与多个候选视觉踪迹中的一个相对齐。对于每个候选视觉踪迹，向每个候选雷达踪迹分配权重或其他匹配证据。每个候选视觉与每个候选雷达踪迹之间的匹配误差的逆对此证据有贡献，可对该证据进行归一化，以针对每个候选视觉踪迹来生成与所有候选雷达踪迹相关联的分布。计算了该分布的峰度或形状。基于峰度值，选择一些候选雷达踪迹用于匹配，并且修剪掉其他剩余的候选雷达踪迹。峰度有助于确定要保留多少候选和修剪多少候选。这样，基于峰度的修剪可防止由于大规模匹配所导致的组合爆炸。

Description

用于传感器融合系统的基于峰度的修剪
相关申请的交叉引用
本申请根据35U.S.C.119(e)要求于2020年11月18日提交的美国临时申请第63/115,142号的权益，该申请的公开内容通过引用以其整体并入本文。
背景技术
在一些汽车中，传感器融合系统或所谓的“融合跟踪器”可结合从多个传感器获得的信息(例如，交通工具速度、横摆率、位置)，以支持自主或半自主的控制。所组合的传感器数据可用于估计存在于视野(FOV)或所谓的仪器FOV中的感兴趣的对象。可以为每个被跟踪的对象推断位置、速度、踪迹、大小、类别和其他参数；当使用不同类别的传感器时，这些推断的准确性会提高。为了对象跟踪的目的将来自多个传感器的输入关联起来可能在计算上是复杂的，通常需要复杂且昂贵的处理硬件来处理可能导致的计算爆炸。为了改进吞吐量和处理速度，一些融合跟踪器专门或仅跟踪特定类型的对象(例如，交通工具对象)；这些专门的融合跟踪器可能故意舍弃某些类别的对象(例如，行人)的候选踪迹。然而，为了确保安全性和精确控制，期望传感器融合系统同时跟踪多个类别的对象(例如，交通工具和行人)，而无延迟且无组合爆炸的风险。
发明内容
本文档描述了用于传感器融合系统的基于峰度(Kurtosis)的修剪。在一个示例中，一种方法包括：由传感器融合系统根据从第一组传感器获得的第一传感器数据确定多个第一候选对象踪迹；由传感器融合系统根据从第二组传感器获得的第二传感器数据确定一组第二对象踪迹；以及针对来自多个第一候选对象踪迹的每个第一候选对象踪迹，由传感器融合系统将相应权重应用于来自该组第二对象踪迹的特定对象踪迹。该方法还包括：由传感器融合系统并基于针对来自多个第一候选对象踪迹的每个第一候选对象踪迹而应用于特定对象踪迹的相应权重，确定应用于特定对象踪迹的相应权重的分布；由传感器融合系统来确定应用于特定对象踪迹的相应权重的分布的峰度，并且该方法还可以包括：由传感器融合系统基于峰度来从多个第一候选对象踪迹中修剪掉至少一个候选对象踪迹。该方法还包括：即使在至少一个对象踪迹被修剪掉之后，也由传感器融合系统来将特定对象踪迹与来自多个第一候选对象踪迹的一个或多个剩余的候选对象踪迹相匹配。
在一个示例中，系统包括被配置为执行此方法和其他方法的处理器。在另一示例中，描述了包括用于执行该方法和其他方法的装置的系统。除了描述配置成执行以上概述的方法和本文所阐述的其他方法的系统之外，本文档还描述了一种计算机可读存储介质，其包括指令，该指令在被执行时配置处理器以执行以上概述的方法和本文所阐述的其他方法。
本发明内容介绍了用于传感器融合系统的基于峰度的修剪的简化概念，下面将在具体实施方式和附图中进一步描述该简化概念。本发明内容并非旨在标识出要求保护的主题的必要特征，亦非旨在用于确定要求保护的主题的范围。即，由所描述的技术解决的一个问题是可发生于其中代理和/或任务的数量以指数方式增加的其他分配场景中的组合爆炸的问题。因此，虽然在改进融合跟踪器匹配算法的情境中进行主要描述，然而基于峰度的修剪也可以应用于其中期望防止组合爆炸以减少可能的匹配分配的其他应用。
附图说明
在本文档中参照以下附图描述了用于传感器融合系统的基于峰度的修剪的一个或多个方面的细节。贯穿附图通常使用相同的数字来引用相似的特征和部件。
图1示出了根据本公开内容的技术的示例环境，在该示例环境中，系统被配置为执行用于传感器融合系统的基于峰度的修剪。
图2示出了根据本公开内容的技术的被配置为执行用于传感器融合系统的基于峰度的修剪的汽车系统的示例。
图3-1至图3-3示出根据本公开内容的技术的示例基于峰度的修剪的细节。
图4示出了根据本公开内容的技术的用于传感器融合系统的基于峰度的修剪的示例方法。
具体实施方式
概述
如已经提及，融合跟踪器面临如下挑战：快速地且正确地确定多个传感器(例如，雷达、超声、红外相机、光学相机或“视觉”相机、激光雷达)的低级候选对象踪迹之间的高级匹配。每个候选的高级的基于融合的对象踪迹对应于单个对象、多个对象、或单个对象的在融合跟踪器的FOV内可识别的一部分。在拥挤的FOV(例如，当包括交通工具和行人交通的许多对象存在时，当FOV涵盖包括三百六十度视角的大空间时)中，由于可因试图同时匹配和跟踪在大容积空间(例如，在户外)中移动的许多低级候选对象踪迹而发生的组合爆炸，融合跟踪器可能表现不佳。为了改进匹配期间的组合爆炸，描述基于峰度的修剪。
基于峰度的修剪旨在减少将多组传感器数据(例如，两组对象踪迹)融合在一起时所执行的比较的次数。考虑一个示例，其中多个基于雷达的候选对象踪迹可能与多个基于相机的对象踪迹中的一个对齐。针对每个基于相机的对象踪迹，向每个可能的基于雷达的候选对象踪迹分配权重或者其他匹配证据。该证据是从每个基于相机的对象踪迹和每个可能的基于雷达的候选对象踪迹之间存在的匹配误差中推导出的。这些误差的逆(inverse)表示这样的证据：该证据可以被归一化以针对每个基于相机的对象踪迹生成与所有基于雷达的候选对象踪迹相关联的证据分布。
计算了该分布的峰度或形状。基于峰度，选择基于雷达的候选对象踪迹以用于进行匹配，并对剩余的基于雷达的候选对象踪迹进行修剪。峰度用于确定要保留的N个对象踪迹的数量，其中N表示最高加权的基于雷达的候选对象踪迹，所述最高加权的基于雷达的候选对象踪迹是用于匹配到特定的基于相机的对象踪迹的候选。未保留的其余对象踪迹可被舍弃或修剪作为候选。通过消除在两种或多种不同类型传感器数据之间的匹配期间可能出现的候选踪迹的交叉比较，基于峰度的修剪可防止发生其他传感器融合系统所无法防止的组合爆炸。
示例环境
图1示出了根据本公开内容的技术的示例环境，在该示例环境中，系统102被配置为执行用于传感器融合系统的基于峰度的修剪。在所描绘的环境100中，传感器融合系统104被安装到交通工具102或被集成在交通工具104内。尽管示出为轿车，但交通工具102可表示包括可以用于各种目的的有人系统或无人系统的其他类型的交通工具和机械(例如，摩托车、公共汽车、牵引车、半挂车卡车、水运工具、飞行器或者其他重型设备)。交通工具102可在道路118上行驶，道路118可以排列有街道标志112、植被116或包括建筑物和停放的交通工具的其他静止对象(未示出)。移动的对象(例如，行人120和移动的交通工具110)也可以在道路118中或在道路118附近。在图1中，交通工具102沿着道路118行驶，并且交通工具02的传感器融合系统104具有涵盖除了街道标志112、植被116、行人114和移动交通工具110之外的道路118的FOV。
传感器融合系统104可基于从交通工具102的多个传感器获得的传感器数据来跟踪FOV中的对象。在多个不同传感器之间匹配对象使得传感器融合系统104能够可靠且准确地跟踪交通工具102在道路118上导航时可能需要避开的对象。
通常，制造商可以将传感器融合系统104安装到可在道路118上行驶的任何移动的平台。传感器融合系统104可从交通工具102的任何外表面投射其FOV。例如，交通工具制造商可将传感器融合系统104的至少一部分集成到侧视镜、保险杠、车顶、或任何其他内部位置或外部位置(其中FOV包括道路118和在道路118附近的移动或静止的对象)。制造商可设计传感器融合系统104的位置，以提供特定FOV，该特定FOV充分涵盖交通工具102可能行驶于其上的道路118。所描绘的环境100中，传感器融合系统104的一部分安装在交通工具102的后四分之一部分附近。
传感器融合系统104包括融合模块108以及一个或多个传感器接口106-1至106-n(统称为“传感器接口106”)，一个或多个传感器接口106-1至106-n包括激光雷达接口106-1、相机接口106-2、雷达接口106-3和一个或多个其他传感器接口106-n。传感器接口106中的每一个向传感器融合系统104提供特定类型的传感器数据。例如，激光雷达接口106-1产生由一个或多个激光雷达传感器生成的激光雷达数据，并且雷达接口106-3生成由与雷达接口106-3通信的一组雷达传感器产生的雷达数据。
通过融合或组合传感器数据，融合模块108使交通工具102能够准确跟踪并避开FOV内的障碍物。例如，尽管未在图1中精确地示出，但融合模块108在处理器或其他硬件上执行，其配置传感器融合系统104以将从传感器接口106获得的不同类型的传感器数据组合成用于跟踪FOV中的对象的对象踪迹或其他可用形式。融合模块108根据第一传感器数据(例如，从雷达接口106-3获得的)确定多个候选对象踪迹，并且融合模块108根据第二传感器数据(例如，从相机接口106-2获得的)识别一组候选对象踪迹。从第一传感器数据和第二传感器数据推断出的每个候选对象踪迹与FOV中的对象相关联。例如，对象110、112、114和116中的任何一个可以与传感器接口106处指示的候选对象踪迹相关联。融合模块108识别与相同对象相关联的候选对象踪迹，并融合从第一组传感器数据和第二组传感器数据导出的信息，以产生在FOV中识别的对象或对象的一部分的准确表示。
当将多组大的候选对象踪迹融合在一起时，融合模块108可生成如Schiffmann等人在美国专利第10,565,468号(本文中此后称为“Schiffmann”)中所描述的可行性矩阵，其全部内容通过引用并入。在Schiffmann中，传感器融合系统将标识符分配给与使用相机检测到的对象候选相关联的每个候选对象踪迹，且传感器融合系统将标识符分配给使用雷达获得的每个候选对象踪迹(例如，检测)。例如，创建二维可行性矩阵。第一维度表示总列数，每个分配的雷达标识符为一列。第二维度表示总行数，分配给相机数据的每个相机标识符为一行。针对由可行性矩阵表示的相机和雷达候选的组合，确定概率。
这些概率可代表证据矩阵。基于相机和雷达候选对象踪迹之间的误差确定证据矩阵的元(entry)，且证据矩阵的元指示用相机检测到的候选对象踪迹与和用雷达检测到的候选对象踪迹相同的对象候选相关联的置信度或可行性的程度。对于可行性矩阵的列与行的每个交点，证据矩阵包括相应的元，该相应的元可以是从零到百分之一百之间的值或某个其他等效数值。该值指示雷达标识符和相机标识符表示(映射至可行性矩阵的该交点)是否跟踪相同对象的概率。可以将一些附加滤波应用至随时间变化而计算的概率。例如，可假设候选雷达和相机检测的至少一个组合具有合理的匹配机会，并且如此的话，可以依赖于具有最大发生概率的候选的组合，而非依赖于具有过低概率(例如，值不满足阈值)的其他组合。
返回到图1的环境100，融合模块108在基于峰度的修剪的帮助下连接(join)数据集，这防止融合模块108由于大规模匹配而在过程中经历组合爆炸。例如，当包括FOV的详细观测的相机数据和激光雷达数据是密集的(例如，高分辨率)时，融合模块108存在组合爆炸的风险。基于峰度的修剪使最终通过“归一化(normalizing)”(例如调零)可行性矩阵的一些元来执行的比较的总量最小化，以改进依赖于数据的交通工具102的其他操作。例如，从已经通过峰度修剪而被修改的可行性矩阵，融合模块108可快速识别一起具有与相同对象相关联的最大可能性的基于相机的候选对象踪迹和一个或多个基于雷达的候选对象踪迹的特定组合。识别出基于相机的候选对象踪迹和一个或多个基于雷达的候选对象踪迹后，可确定位置、大小、对象类别和方向。该信息和其他信息可帮助交通工具102执行自主或半自主的驾驶功能。
图2示出了根据本公开内容的技术的被配置为执行用于传感器融合系统的基于峰度的修剪的汽车系统200的示例。汽车系统200可集成在交通工具102中。例如，汽车系统200包括控制器202以及传感器融合系统104-1。传感器融合系统104-1是传感器融合系统104的一个示例，并且可集成到汽车环境或其他交通工具环境中。传感器融合系统104和控制器202通过链路212进行通信。链路212可以是有线或无线的链路，且在某些情况下包括通信总线。控制器202基于通过链路212接收到的信息(诸如当FOV中的对象通过处理和合并对象踪迹而被识别出时从传感器融合系统104输出的数据)执行操作。
控制器202包括处理器204-1和计算机可读存储介质(CRM)206-1(例如，存储器、长期存储、短期存储)，该CRM 206-1存储用于汽车模块208的指令。除了相机接口106-2之外，传感器融合系统104-1还包括雷达接口106-3。包括传感器接口106的任何数量的其他传感器接口也可同样地被使用。传感器融合系统104-1可包括处理硬件，所述处理硬件包括处理器204-2以及计算机可读存储介质(CRM)206-2，计算机可读存储介质(CRM)206-2存储与融合模块108-1相关联的指令。作为融合模块108的示例的融合模块108-1包括修剪子模块210-1以及匹配子模块210-2。
处理器204-1和204-2可以是两个单独的微处理器，或单个微处理器，或计算设备、控制器或控制单元的一对片上系统或单个片上系统。处理器204-1和204-2执行存储在CRM206-1和CRM 206-2内的计算机可执行指令。作为示例，处理器204-1可以执行汽车模块208以执行汽车系统200的驾驶功能或其他操作。类似地，处理器204-2可执行融合模块108-1，来基于从系统102的多个不同的传感器接口106获得的传感器数据来推断FOV中的对象。汽车模块208在处理器204-1处执行时，可以响应于融合模块108-1组合并分析在传感器接口106(例如，相机接口106-2和雷达接口106-3)中的每个传感器接口处生成的传感器数据，而接收由融合模块108-1检测的一个或多个对象的指示。
通常，汽车系统200执行汽车模块208以执行功能。例如，汽车模块208可提供自动巡航控制和针对道路118中或道路118附近的对象的存在的监控。在这样的示例中，融合模块108-1向汽车模块208提供传感器数据或其衍生物(例如，可行性矩阵)。当从融合模块108-1获得的数据指示一个或多个对象在交通工具102前方交叉时，汽车模块208可提供警报。
为简单起见，以下主要参考相机接口106-2和雷达接口106-3(而不参考其他传感器接口106)描述融合模块108-1的匹配子模块210-2和修剪子模块210-1。然而，应当理解，融合模块108-1可组合来自不止两种不同类型的传感器的传感器数据，并且可依赖于从除了仅相机和雷达之外的其他类型的传感器输出的传感器数据。为了进一步降低描述的复杂性，匹配子模块210-2可以根据雷达接口106-3可检测相机接口106-2能够检测的任何交通工具的规则来进行操作。此外，相机接口106-2被配置为针对FOV中的每个感兴趣对象产生最多一个对象踪迹；雷达接口106-3被配置为针对FOV中的每个感兴趣对象来生成数个对象踪迹(例如，在半卡车和拖车的情况下为四十或五十个对象踪迹)。
在以下示例中，“匹配模式”是指将M个不同的基于雷达的候选对象踪迹中的一个分配给N个不同的基于相机的对象踪迹中的一个的特定方式。预期M个基于雷达的候选对象踪迹中的一些可能与N个基于相机的对象踪迹中的任何一个都不匹配，因为它们对应于由雷达检测到但不能通过视觉检测到的对象。术语“可行匹配”是指基于对雷达和相机中的可能误差的考虑，出于匹配目的，被视为候选对象踪迹的合法候选对的特定匹配模式。“可行匹配模式”表示由N个不同的可行匹配候选所组成的匹配模式。可行的匹配模式随后可被视为“不可行”(例如，由于对象遮挡、由于传感器遮挡、以及匹配模式的其他问题)。若只有单个匹配不可行，则即使匹配模式中的所有其他N个匹配都可行，该匹配模式也不可行。单个不可行匹配导致整个匹配模式是不可行的。
相机接口106-2可独立于雷达接口106-3操作，并且可以独立于其他传感器接口106操作。相机接口106-2输出传感器数据(所述传感器数据可以以各种形式(诸如正在被跟踪的候选对象的列表)被提供)、和针对对象的位置、速度、对象类别和参考角(例如，到对象上的“质心”参考点(诸如移动的交通工具110的后表面的中心)的方位角，到移动的交通工具110后表面的近角(near corner)的其他“延伸角”)中的每一个的估计。
雷达接口106-3可维护“检测”和对应的检测时间的列表。每个检测通常由距离值、距离变化率值和方位角值组成。对于在FOV中不被遮挡并且距离交通工具102相当近的每个交通工具，通常都有多于一个检测。与相机接口106-2类似地，雷达接口106-3提供基于雷达的候选对象踪迹列表，假设所述基于雷达的候选对象踪迹主要正跟踪它检测到的交通工具上的散射中心。
相机接口106-2可以比其他传感器类型更准确地估计方位角和对象分类，然而，相机接口106-2可能在估计一些参数方面存在缺陷，诸如，对象位置和速度。雷达接口106-3可以准确地测量对象距离和距离变化率，但在测量方位角时可能不太准确。相机和雷达的互补特性导致在融合模块108-1匹配传感器接口106-2与106-3之间的数据时的准确度。
匹配子模块210-2将在雷达接口106-3处产生的候选检测的列表与在相机接口106-2处报告的候选对象的列表进行关联。匹配子模块210-2针对每个基于相机的对象踪迹有效地计算该基于相机的对象踪迹应与有限数量的候选基于雷达的候选对象踪迹中的每一个匹配的概率。
修剪子模块210-1通过使匹配子模块210-2避免评估不太可能与相同对象关联的一些匹配来提高匹配子模块210-2的速度和效率。换句话说，修剪子模块210-1通过消除匹配子模块210-2最终尝试的基于雷达的候选和基于相机的对象踪迹的一些组合，消除了“猜测工作”中的一些，这使得雷达接口106-3与相机接口106-2之间的正确关联能以比在没有修剪子模块210-1的情况下的步骤更少的步骤被识别。
在环境100中的基于峰度的修剪期间，修剪子模块210-1针对来自多个基于激光雷达或基于雷达的对象踪迹的每个激光雷达对象踪迹或雷达对象踪迹，将相应权重或证据应用于来自基于相机的对象踪迹集的特定的基于相机的对象踪迹。在其中多个基于激光雷达或基于雷达的候选对象踪迹可能与单个(即，特定的)基于相机的对象踪迹对齐的示例中，针对每个基于相机的对象踪迹，将归一化的权重或其他匹配证据分配给每个可能的基于激光雷达或基于雷达的候选对象踪迹。计算每个基于相机的对象踪迹与对应的基于激光雷达或基于雷达的候选踪迹之间的误差。每个基于相机的对象踪迹与每个可能的基于激光雷达或基于雷达的候选对象踪迹之间的这些匹配误差的逆被计算为证据。用作证据的误差的逆，该证据可以被归一化以针对每个基于相机的对象踪迹生成与所有基于激光雷达或基于雷达的候选对象踪迹相关联的证据分布。
基于所应用的权重，修剪子模块210-1确定应用于特定的基于相机的对象踪迹的相应权重的分布。根据针对每一个基于相机的对象踪迹的考虑所有候选的证据值的分布来计算“峰度”。证据分布的峰度表示对分布的形状的度量。基于形状，选择具有较多证据的一些候选用于匹配，并且具有较少证据的剩余候选被舍弃(例如，归零)。修剪子模块210-1可以基于应用于包括至少一个对象踪迹的匹配模式的相应权重，来修剪掉至少一个基于激光雷达或基于雷达的候选对象踪迹。一些示例中，例如，若基于峰度，要保留的候选的数量等于候选的总数，则修剪子模块210-1避免修剪掉候选对象踪迹中的任何候选对象踪迹。注意，基于激光雷达或基于雷达的候选对象踪迹可针对多于一个基于相机的对象踪迹是可行的。因此，针对一个基于相机的对象踪迹修剪所述基于激光雷达或基于雷达的候选对象踪迹并不一定意味着所述基于激光雷达或基于雷达的候选对象踪迹针对其他基于相机的对象踪迹也被修剪。修剪包括舍弃基于激光雷达或基于雷达的对象踪迹，作为仅针对此特定的基于相机的对象踪迹的一个候选对象踪迹，而不影响其他基于相机的对象踪迹。该修剪过程确保了涉及针对每个基于相机的对象踪迹的基于激光雷达或基于雷达的候选对象踪迹的候选匹配模式的总量减少，这降低了组合复杂性。在针对候选对象踪迹的修剪之后，匹配子模块210-2在修剪掉至少一个对象踪迹之后，将基于相机的对象踪迹与一个或多个剩余的基于激光雷达或基于雷达的候选对象踪迹相匹配。
示例架构
图3-1至图3-3示出根据本公开内容的技术的基于峰度的修剪的示例的细节。更具体地说，可行性矩阵302-1可由匹配子模块210-2生成，如图3-1所示。然而，在评估FOV中的潜在目标或障碍物的可行性矩阵302-1之前，修剪子模块210-1细化可行性矩阵302-1，并在其位置产生可行性矩阵302-3，如图3-3所示。特别值得注意的是，可行性矩阵302-1包括十五个不同的可行性匹配(例如，每个数字一是基于雷达的对象踪迹与基于相机的对象踪迹之间的可行性匹配)。在可行性矩阵302-1的峰度修剪之后，修剪子模块210-1生成可行性矩阵302-3，该可行性矩阵302-3仅具有八个可行性匹配。匹配子模块210-2处理可行性矩阵302-3的操作少于匹配子模块210-2原来要处理可行性矩阵302-1的操作，这是由于在对一些(例如，百分之七或高于百分之四十)的可行匹配进行峰度修剪之后，要测试的可行匹配更少。
可行性矩阵302-1包括列V1至V6和行R1至R10。在该示例中，匹配子模块210-2经由雷达接口106-3获得指示十个不同的基于雷达的候选对象踪迹的雷达数据。经由相机接口106-2获得指示六个不同的基于相机的对象踪迹的其他相机数据。可行性矩阵302-1包括基于雷达的候选对象踪迹R1到R10与基于相机的对象踪迹V1到V6之间的估计的映射。匹配子模块210-2对雷达数据和相机数据应用各种选通(gating)，以获得示例可行性矩阵302-1。
对可行性矩阵302-1应用加权。加权基于唯一的匹配误差，该唯一的匹配误差针对可行匹配中的每一个被量化。例如，修剪子模块210-1针对每个可行匹配来计算匹配误差。可以按等式1计算基于相机的对象踪迹与基于雷达的候选对象踪迹之间的匹配误差：
匹配误差＝k_匹配质量_方位角_权重x az_误差_因子x delta_az+k_匹配质量_距离_权重x rng_误差_因子x delta_rng+k_匹配质量_VEL_权重x delta_speed
等式1
等式1的“匹配误差”总和结果表示针对可行匹配的基于相机的对象踪迹和基于雷达的候选对象踪迹之间的相应方位角(delta_az)、相应距离(delta_rng)和相应速度(delta_speed)的平方差的加权和。将等式应用于每个可行匹配会产生误差值，由此形成针对证据矩阵302-2的基础，如图1所示。为了获得证据矩阵302-2，确定误差矩阵的每个非零元素的逆。来自误差矩阵的每个非零元素的逆可被用于确定证据矩阵中的元素。
证据矩阵302-2的这些证据值可针对特定的基于相机的对象踪迹的所有可行匹配而被归一化。匹配误差越小，则证据值越高例如，可行匹配R1V2相对于证据矩阵302-2中的其他可行匹配具有较低的匹配误差，且可行匹配R5V3相对于其他可行匹配具有较高的匹配误差。
如图3-2的曲线306所示，修剪子模块210-1基于由证据矩阵302-2指示的证据分布来确定峰度值304。根据定义，峰度是对分布的“尾部”的度量。它是第四标准矩(standardized moment)，在等式2中被定义为：
Figure BDA0003359049900000111
如曲线306所示，正态分布的峰度值为3。当分布变得比正态分布更平坦时，所述值变得低于3。随着分布比正态分布达到更高的峰值，所述值大于3，并且变得更高。
针对每个证据分布来计算峰度值。即，对于证据矩阵302-2中的每一列，计算峰度值304。根据归一化的证据值的证据矩阵302-2，每个基于相机的对象踪迹V1到V6具有归因于基于雷达的对象踪迹R1到R10的对应的证据分布。基于相机的对象踪迹V1、V2和V3的分布的峰度值304是相等的。这表明这三个候选对象踪迹的证据分布是相似的。根据证据矩阵302-2，对于所有对应的基于雷达的候选对象踪迹，这些基于相机的对象踪迹V1、V2和V3的值大多为零，只有一个基于雷达的候选对象踪迹具有大约等于1.0的非常高的证据值。这意味着，对于基于相机的对象踪迹V1、V2和V3中的每一个，只有一个基于雷达的候选对象踪迹包含几乎所有的证据，其余的基于雷达的候选对象踪迹(几乎没有证据)保持为零。它们的分布的峰值是高的或在0.0左右。对于基于相机的对象踪迹V4和V6，只有两个基于雷达的候选对象踪迹包含几乎所有的证据，因此，它们的分布中的每一个分布的峰值略小于基于相机的对象踪迹V1、V2和V3的峰值。基于相机的对象踪迹V5也具有两个有高证据值并且因此包含“所有证据”的候选，并且其余的基于雷达的候选对象踪迹在零左右。然而，如计算出的峰度值304所示，基于相机的对象踪迹V5的峰值略小于候选对象踪迹V4和V6的峰值。
修剪子模块210-1基于峰度值304选择要修剪的可行匹配。基于每个基于相机的对象踪迹V1到V6的峰度值304，修剪子模块210-1选择N个最高证据的基于雷达的候选对象踪迹，并从用该基于相机的对象踪迹进行的考虑中舍弃其余的基于雷达的候选对象踪迹。N的值取决于峰度值304，并可以被相应地调整(tune)。通常，N将随着峰度值304的增加而线性减小，且反之亦然。接下来提供修剪模块210-1在达到这样的设置时执行的算法。
在所有基于相机的对象踪迹V1到V6的循环中：修剪子模块210-1检查峰度值是否大于或等于8.0，并且若为真，则将N设定为一。否则，修剪子模块210-1检查峰度值是否大于或等于6.0且小于8.0，并且若为真，则将N设定为二。否则，修剪子模块210-1检查峰度值是否大于或等于4.0且小于6.0，并且若为真，则将N设定为三。最后，修剪子模块210-1推断峰度值小于4.0并将N设定为4。修剪子模块210-1比较基于相机的对象踪迹中的每一个的峰度值，每次将N设定为等于一、二、三或四。
修剪子模块210-1通过在所选择的可行匹配的位置中插入空数据、零或其他非常低的值，来从可行性存储矩阵中舍弃所选择的可行匹配，并且使未选择的可行匹配具有最高的证据值(例如，等于1)。如图3所示，在比较可行性矩阵302-1与可行性矩阵302-3时，具有最高证据值的前N个候选被保留，并且其余的被舍弃作为候选。
在本示例中，在此修剪后，候选的可行模式的数量从一百四十四个减少到了仅八个。具有最高证据值的可行匹配被保留，且舍弃的仅是那些具有低证据值的匹配，舍弃的数量是基于峰度值的。减少可行候选匹配的数量对匹配子模块210-2的计算性能具有显著影响，特别是当可行性矩阵302-1不是稀疏的并且当基于相机的对象踪迹的数目较大时。此减少有助于将可行匹配的数量保持在更易于管理的阈值限制内。
示例方法
图4示出了根据本公开内容的技术的用于传感器融合系统的基于峰度的修剪的示例方法。方法400被示出为以(但不必限于)所示出或描述的操作的次序或组合被执行的一组操作(或动作)。此外，可以重复、组合或重组操作中的任何操作以提供其他方法。在以下讨论的部分中，在描述方法400的一些非限制性示例时，可参考前面介绍的附图。
在402处，根据从第一组传感器获得的第一传感器数据来确定多个第一候选对象踪迹。来自多个第一候选对象踪迹的每个对象踪迹可以是与静止对象的至少一部分或移动对象的一部分相关联的。在404处，根据从第二组传感器获得的第二传感器数据来确定一组第二对象踪迹。在一些示例中，第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，且第二组传感器包括一个或多个视觉传感器，包括光学相机或红外相机。在406处，针对来自多个第一候选对象踪迹的每个第一对象踪迹，将相应的权重应用于来自该组第二对象踪迹的特定对象踪迹。
在408处，基于针对来自多个第一候选对象踪迹的每个第一对象踪迹而应用于特定对象踪迹的相应权重，来确定应用于特定对象踪迹的相应权重的分布。这可以包括：确定来自多个第一候选对象踪迹的一个或多个候选对象踪迹与来自该组第二对象踪迹的一个或多个候选对象踪迹之间的匹配误差。可以基于匹配误差来确定应用于特定对象踪迹的相应权重。例如，匹配误差可以被确定为误差矩阵(或其他合适的结构)，该误差矩阵(或其他合适的结构)包含一个或多个概率，所述概率指示假检测(例如，假阳性或假阴性)的可能性并随后从误差矩阵的逆确定要应用于特定对象踪迹的相应权重。
在410处，确定应用于特定对象踪迹的相应权重的分布的峰度。在412处，可以基于峰度从多个第一对象踪迹中修剪掉至少一个对象踪迹。在该方案中，并不总是必须舍弃至少一个对象踪迹。例如，对于特定的基于相机的对象踪迹，可能只有一个候选的基于雷达的对象踪迹，并且单个候选的基于雷达的对象踪迹不会被舍弃，这是因为这样的操作将使基于相机的对象踪迹不具有与候选的基于雷达的对象踪迹配对的选项。峰度用于确定要保留的N个对象踪迹的数量，其中N表示最高加权的基于雷达的候选对象踪迹，所述最高加权的基于雷达的候选对象踪迹是用于匹配到特定的基于相机的对象踪迹的候选。N的值大于或者等于一。在图3-3所示的上述示例中，可行性矩阵302-1和可行性矩阵302-3各自针对视觉踪迹V1仅具有一个候选R2。对可行性矩阵302-1进行基于峰度的修剪以后，保留R2。对于视觉踪迹V5，有2个候选的基于雷达的对象踪迹，并且在基于峰度的修剪以后，这两个候选的基于雷达的对象踪迹都会保留，这是因为峰度值指示保留这两个候选的基于雷达的对象踪迹(如果不存在更多候选的基于雷达的对象踪迹的话)是可接受的。
412处的修剪可以包括：响应于确定针对至少一个候选对象踪迹而应用于特定对象踪迹的相应权重小于针对一个或多个剩余候选对象踪迹而应用于特定对象踪迹的相应权重，从多组第一候选对象踪迹中舍弃所述至少一个候选对象踪迹。例如，基于峰度，确定要从多个第一候选对象踪迹中保留的候选对象踪迹的数量。然后，可以将多个第一候选对象踪迹划分为两个子集，所述两个子集包括要保留的候选对象踪迹的第一子集和要舍弃的候选对象踪迹的第二子集。要保留的候选对象踪迹的第一子集可以包括来自应用于特定对象踪迹的多个第一候选对象踪迹的N个最高加权的候选对象踪迹，其中N等于要保留的候选对象踪迹的数量。通过从多个第一候选对象踪迹中舍弃至少一个候选对象踪迹来完成412处的修剪。
尽管从多个第一候选对象踪迹中舍弃至少一个候选对象踪迹，但可在与来自所述一组第二对象踪迹的不同候选对象踪迹的匹配中重新使用该至少一个候选对象踪迹。即使候选对象踪迹可能会被修剪掉，它也可能会被保留以用于后续匹配。从多个第一候选对象踪迹中舍弃至少一个候选对象踪迹可包括：保留所述至少一个候选对象踪迹，以用于与来自所述一组第二对象踪迹的不同候选对象踪迹相匹配。返回到上面的创建两个子集的示例，412处的修剪可以包括：避免舍弃来自多个第一候选对象踪迹的候选对象踪迹的第一子集，以在至少一个候选对象踪迹被修剪掉之后，将特定对象踪迹与来自多个第一候选对象踪迹的一个或多个剩余候选对象踪迹相匹配。
在414处，在至少一个对象踪迹被修剪掉之后，将特定对象踪迹与来自多个第一候选对象踪迹的一个或多个剩余候选对象踪迹进行匹配。在414处的将特定对象踪迹与一个或多个剩余候选对象踪迹进行匹配可通过如下操作发生：将来自一个或多个剩余候选对象踪迹的至少一个候选对象踪迹匹配到特定对象踪迹。例如，一个或多个剩余候选对象踪迹包括总量小于在402处确定的多个第一候选对象踪迹中所包括的候选对象踪迹的总量的候选对象踪迹。
具有较高相应权重/证据值的候选对象踪迹被选择用于进行匹配，并且剩余对象踪迹被修剪作为候选。峰度值有助于确定有多少高证据值的对象踪迹将被保留作为用于用不同候选对象踪迹执行的每个匹配比较的候选。对候选对象踪迹的基于峰度的修剪将大量对象踪迹融合在一起时执行的比较的总量最小化。其他融合跟踪器遇到的问题能够通过峰度修剪来避免，峰度修剪可以防止可能的匹配的组合爆炸使传感器融合系统负担过重。
附加示例
在以下部分中，提供了用于传感器融合系统的基于峰度的修剪的附加示例。
示例1.一种方法，包括：由传感器融合系统根据从第一组传感器获得的第一传感器数据来确定多个第一对象踪迹；由传感器融合系统根据从第二组传感器获得的第二传感器数据来确定一组第二对象踪迹；针对来自所述多个第一对象踪迹的每个第一对象踪迹，由传感器融合系统将相应权重应用于来自所述一组第二对象踪迹的特定对象踪迹；由所述传感器融合系统并基于针对来自所述多个第一对象踪迹的每个第一对象踪迹而应用于所述特定对象踪迹的所述相应权重，确定应用于所述特定对象踪迹的相应权重的分布；由所述传感器融合系统确定应用于特定对象踪迹的所述相应权重的所述分布的峰度；由所述传感器融合系统基于针对来自所述多个第一对象踪迹的至少一个对象踪迹而应用于所述特定对象踪迹的相应权重，从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹；以及在所述至少一个对象踪迹被修剪掉之后，由所述传感器融合系统将所述特定对象踪迹与来自所述多个第一对象踪迹的一个或多个剩余对象踪迹相匹配。
示例2.示例1的方法，其中从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹包括：响应于确定针对所述至少一个对象踪迹而应用于所述特定对象踪迹的所述相应权重小于针对所述一个或多个剩余对象踪迹中的每一个而应用于所述特定对象踪迹的所述相应权重，从所述多个第一对象踪迹中舍弃所述至少一个对象踪迹。
示例3.在前示例中的任一项的方法，进一步包括：基于所述峰度来确定要从所述多个第一候选对象踪迹中保留的候选对象踪迹的数量；将所述多个第一候选对象踪迹划分为两个子集，所述两个子集包括要保留的候选对象踪迹的第一子集、和要舍弃的候选对象踪迹的第二子集，要保留的候选对象踪迹的所述第一子集包括来自应用于所述特定对象踪迹的所述多个第一候选对象踪迹的N个最高加权的候选对象踪迹，N等于要保留的候选对象踪迹的所述数量；以及通过从所述多个第一候选对象踪迹中舍弃候选对象踪迹的所述第二子集，来从所述多个第一候选对象踪迹中舍弃所述至少一个候选对象踪迹。
示例4.在前示例中的任何示例的方法，其中从所述多个第一候选对象踪迹中舍弃所述至少一个候选对象踪迹包括：保留所述至少一个候选对象踪迹，以用于与来自所述一组第二对象踪迹的不同候选对象踪迹相匹配。
示例5.在前示例中的任何示例的方法，其中确定应用于所述特定对象踪迹的所述相应权重的所述分布包括：确定来自所述多个第一候选对象踪迹的一个或多个候选对象踪迹与来自所述一组第二对象踪迹的一个或多个候选对象踪迹之间的匹配误差；以及基于所述匹配误差，确定应用于所述特定对象踪迹的所述相应权重。
示例6.在前示例中的任何示例的方法，其中所述第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，并且所述第二组传感器包括一个或多个视觉传感器，所述一个或多个视觉传感器包括光学相机或红外相机。
示例7.在前示例中的任何示例的方法，其中来自所述多个第一对象踪迹的每个对象踪迹与静止对象或移动对象的至少一部分相关联。
示例8.在前示例中的任何示例的方法，其中将所述特定对象踪迹与所述一个或多个剩余对象踪迹相匹配包括：将来自所述一个或多个剩余对象踪迹的至少对象踪迹与所述特定对象踪迹相匹配。
示例9.在前示例中的任何示例的方法，其中所述一个或多个剩余候选对象踪迹包括总量小于所述多个第一对象踪迹中所包括的对象踪迹的总量的对象踪迹。
示例10.在前示例中的任一项的方法，进一步包括：向用于控制交通工具的控制器输出与所述特定对象踪迹相匹配的所述一个或多个剩余候选对象踪迹的指示。
示例11.在前示例中的任一项的方法，进一步包括：避免向用于控制所述交通工具的所述控制器输出基于所述峰度从所述多个第一候选对象踪迹中修剪掉的所述至少一个候选对象踪迹的指示，以改进交通工具安全性。
示例12.一种系统，所述系统包括：处理器，所述处理器被配置成用于：根据从第一组传感器获得的第一传感器数据来确定多个第一对象踪迹；根据从第二组传感器获得的第二传感器数据来确定一组第二对象踪迹；针对来自所述多个第一对象踪迹的每个第一对象踪迹，将相应权重应用于来自所述一组第二对象踪迹的特定对象踪迹；基于针对来自所述多个第一对象踪迹的每个第一对象踪迹而应用于所述特定对象踪迹的所述相应权重，来确定应用于所述特定对象踪迹的所述相应权重的分布；确定应用于特定对象踪迹的所述相应权重的所述分布的峰度；基于针对来自所述多个第一对象踪迹的所述至少一个对象踪迹而应用于所述特定对象踪迹的所述相应权重，从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹；以及在所述至少一个对象踪迹被修剪掉之后，将所述特定对象踪迹与来自所述多个第一对象踪迹的一个或多个剩余对象踪迹相匹配。
示例13.在前示例中的任何示例的系统，其中所述处理器被配置用于通过以下步骤来从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹：响应于确定针对所述至少一个对象踪迹而应用于所述特定对象踪迹的所述相应权重小于针对所述一个或多个剩余对象踪迹中的每一个而应用于所述特定对象踪迹的所述相应权重，从所述多个第一对象踪迹中舍弃所述至少一个对象踪迹。
示例14.在前示例中的任一个的系统，其中，处理器被进一步配置成用于：基于所述峰度来确定要从所述多个第一候选对象踪迹中保留的候选对象踪迹的数量；将所述多个第一候选对象踪迹划分为两个子集，所述两个子集包括要保留的候选对象踪迹的第一子集、和要舍弃的候选对象踪迹的第二子集，要保留的候选对象踪迹的所述第一子集包括来自应用于所述特定对象踪迹的所述多个第一候选对象踪迹的N个最高加权的候选对象踪迹，N等于要保留的候选对象踪迹的所述数量；以及通过从所述多个第一候选对象踪迹中舍弃候选对象踪迹的所述第二子集，来从所述多个第一候选对象踪迹中舍弃所述至少一个候选对象踪迹。
示例15.在前示例中的任一个的系统，其中，处理器被进一步配置成用于：避免舍弃来自所述多个第一候选对象踪迹的候选对象踪迹的所述第一子集，以在所述至少一个候选对象踪迹被修剪掉之后，将特定对象踪迹与来自所述多个第一候选对象踪迹的一个或多个剩余候选对象踪迹相匹配。
示例16.在前示例中的任何示例的系统，其中，处理器被配置成用于通过以下步骤来确定应用于所述特定对象踪迹的所述相应权重的所述分布：确定来自所述多个第一候选对象踪迹的一个或多个候选对象踪迹与来自所述一组第二对象踪迹的一个或多个候选对象踪迹之间的匹配误差；以及基于所述匹配误差，确定应用于所述特定对象踪迹的所述相应权重。
示例17.在前示例中的任何示例的系统，其中，所述第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，并且所述第二组传感器包括一个或多个视觉传感器，所述一个或多个视觉传感器包括光学相机或红外相机。
示例18.在前示例中的任何示例的方法，其中，处理器被配置成用于通过以下步骤来将所述特定对象踪迹与所述一个或多个剩余对象踪迹相匹配：将来自所述一个或多个剩余对象踪迹的至少对象踪迹与所述特定对象踪迹匹配。
示例19.在前示例中的任何示例的系统，其中所述系统包括传感器融合系统，所述传感器融合系统通信地耦接至交通工具的控制器，所述处理器被进一步配置成用于：向所述控制器输出与所述特定对象踪迹相匹配的所述一个或多个剩余候选对象踪迹的指示，以用于控制所述交通工具。
示例20.在前示例中的任何示例的系统，其中来自所述多个第一候选对象踪迹的每个候选对象踪迹与静止对象或移动对象的至少一部分相关联。
示例21.在前示例中的任何示例的系统，其中所述一个或多个剩余候选对象踪迹包括总量小于所述多个第一候选对象踪迹中所包括的候选对象踪迹的总量的候选对象踪迹。
示例22.一种系统，包括：用于根据从第一组传感器获得的第一传感器数据来确定多个第一对象踪迹的装置；用于根据从第二组传感器获得的第二传感器数据来确定一组第二对象踪迹的装置；用于针对来自所述多个第一对象踪迹的每个第一对象踪迹，将相应权重应用于来自所述一组第二对象踪迹的特定对象踪迹的装置；用于基于针对来自所述多个第一对象踪迹的每个第一对象踪迹而应用于所述特定对象踪迹的所述相应权重，来确定应用于所述特定对象踪迹的所述相应权重的分布的装置；用于确定应用于特定对象踪迹的所述相应权重的所述分布的峰度的装置；用于基于针对来自所述多个第一对象踪迹的至少一个对象踪迹而应用于所述特定对象踪迹的所述相应权重，从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹的装置；以及用于在所述至少一个对象踪迹被修剪掉之后，将所述特定对象踪迹与来自所述多个第一对象踪迹的一个或多个剩余对象踪迹相匹配的装置。
示例23.一种系统，所述系统包括传感器融合系统，所述传感器融合系统具有至少一个处理器，所述至少一个处理器被配置成用于执行在前示例中的任一项的方法。
示例24.在前示例中的任一项的系统，进一步包括控制器，所述控制器被配置成用于响应于所述至少一个处理器执行在前示例中的任一个的方法，控制正在使用来自传感器融合系统的信息输出的交通工具。
示例25.在前示例中的任一项的系统，进一步包括所述交通工具。
示例26.一种系统，包括用于执行在前示例的方法中的任何方法的装置。
结论
虽然在前述描述中描述并且在附图中示出了本公开的各种实施例，但应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。根据前述描述，将显而易见的是，可以做出各种更改而不偏离由接下来的权利要求所限定的本公开的精神和范围。与组合爆炸相关联的问题也可能出现在解决其中代理或任务的数量大的分配问题的其他系统中。因此，尽管被描述为改进基于交通工具的匹配技术的一种方式，上述说明书的技术可以应用于其他分配问题，以减少任务与代理之间的分配总数。
除非上下文另有明确规定，否则“或”和语法上相关的术语的使用表示无限制的非排他性替代物。如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。

Claims (20)

1.一种方法，包括：
由传感器融合系统根据从第一组传感器获得的第一传感器数据，来确定多个第一候选对象踪迹；
由所述传感器融合系统根据从所述第二组传感器获得的第二传感器数据，来确定一组第二对象踪迹；
针对来自所述多个第一候选对象踪迹的每个第一候选对象踪迹，由所述传感器融合系统将相应权重应用于来自所述一组第二对象踪迹的特定对象踪迹；
由所述传感器融合系统并基于针对来自所述多个第一候选对象踪迹的每个第一候选对象踪迹而应用于所述特定对象踪迹的所述相应权重，来确定应用于特定对象踪迹的所述相应权重的分布；
由所述传感器融合系统来确定应用于特定对象踪迹的所述相应权重的所述分布的峰度；
由所述传感器融合系统基于所述峰度从所述多个第一候选对象踪迹中修剪掉至少一个候选对象踪迹；以及
在所述至少一个对象踪迹被修剪掉之后，由所述传感器融合系统将所述特定对象踪迹与来自所述多个第一候选对象踪迹的一个或多个剩余候选对象踪迹相匹配。
2.如权利要求1所述的方法，其特征在于，从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹包括：
响应于确定针对所述至少一个对象踪迹而应用于所述特定对象踪迹的所述相应权重小于针对所述一个或多个剩余对象踪迹中的每一个而应用于所述特定对象踪迹的所述相应权重，从所述多个第一对象踪迹中舍弃所述至少一个对象踪迹。
3.如权利要求2所述的方法，进一步包括：
基于所述峰度，确定要从所述多个第一候选对象踪迹中保留的候选对象踪迹的数量；
将所述多个第一候选对象踪迹划分为两个子集，所述两个子集包括要保留的候选对象踪迹的第一子集、和要舍弃的候选对象踪迹的第二子集，要保留的候选对象踪迹的所述第一子集包括来自应用于所述特定对象踪迹的所述多个第一候选对象踪迹的N个最高加权的候选对象踪迹，N等于要保留的候选对象踪迹的所述数量；以及
通过从所述多个第一候选对象踪迹中舍弃候选对象踪迹的所述第二子集，从所述多个第一候选对象踪迹中舍弃所述至少一个候选对象踪迹。
4.如权利要求3所述的方法，其特征在于，从所述多个第一候选对象踪迹中舍弃所述至少一个候选对象踪迹包括：保留所述至少一个候选对象踪迹以用于与来自所述一组第二对象踪迹的不同候选对象踪迹相匹配。
5.如权利要求1所述的方法，其特征在于，确定应用于所述特定对象踪迹的所述相应权重的所述分布包括：
确定来自所述多个第一候选对象踪迹的一个或多个候选对象踪迹与来自所述一组第二对象踪迹的一个或多个候选对象踪迹之间的匹配误差；以及
基于所述匹配误差来确定应用于所述特定对象踪迹的所述相应权重。
6.如权利要求1所述的方法，其特征在于，所述第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，并且所述第二组传感器包括一个或多个视觉传感器，所述一个或多个视觉传感器包括光学相机或红外相机。
7.如权利要求1所述的方法，其特征在于，来自所述多个第一候选对象踪迹的每个候选对象踪迹与静止对象或移动对象的至少一部分相关联。
8.如权利要求1所述的方法，其特征在于，将所述特定对象踪迹与所述一个或多个剩余候选对象踪迹相匹配包括：
将来自所述一个或多个剩余对象踪迹的至少候选对象踪迹与所述特定对象踪迹相匹配。
9.如权利要求1所述的方法，其特征在于，所述一个或多个剩余候选对象踪迹包括总量小于所述多个第一候选对象踪迹中所包括的候选对象踪迹的总量的候选对象踪迹。
10.一种系统，所述系统包括：
处理器，所述处理器被配置用于：
根据从第一组传感器获得的第一传感器数据来确定多个第一候选对象踪迹；
根据从第二组传感器获得的第二传感器数据来确定一组第二对象踪迹；
针对来自所述多个第一候选对象踪迹的每个第一候选对象踪迹，将相应权重应用于来自所述一组第二对象踪迹的特定对象踪迹；
基于针对来自所述多个第一候选对象踪迹的每个第一候选对象踪迹而应用于所述特定对象踪迹的所述相应权重，来确定应用于特定对象踪迹的所述相应权重的分布；
确定应用于特定对象踪迹的所述相应权重的所述分布的峰度；
基于所述峰度从所述多个第一候选对象踪迹中修剪掉至少一个候选对象踪迹；
在所述至少一个对象踪迹被修剪掉之后，将所述特定对象踪迹与来自所述多个第一候选对象踪迹的一个或多个剩余候选对象踪迹相匹配。
11.如权利要求10所述的系统，其特征在于，所述处理器被配置用于通过以下步骤来从所述多个第一对象踪迹中修剪掉所述至少一个对象踪迹：
响应于确定针对所述至少一个对象踪迹而应用于所述特定对象踪迹的所述相应权重小于针对所述一个或多个剩余对象踪迹中的每一个而应用于所述特定对象踪迹的所述相应权重，从所述多个第一对象踪迹中舍弃所述至少一个对象踪迹。
12.如权利要求10所述的系统，其特征在于，所述处理器被进一步配置用于：
基于所述峰度，确定要从所述多个第一候选对象踪迹中保留的候选对象踪迹的数量；
将所述多个第一候选对象踪迹划分为两个子集，所述两个子集包括要保留的候选对象踪迹的第一子集、和要舍弃的候选对象踪迹的第二子集，要保留的候选对象踪迹的所述第一子集包括来自应用于所述特定对象踪迹的所述多个第一候选对象踪迹的N个最高加权的候选对象踪迹，N等于要保留的候选对象踪迹的所述数量；并且
通过从所述多个第一候选对象踪迹中舍弃候选对象踪迹的所述第二子集，从所述多个第一候选对象踪迹中舍弃所述至少一个候选对象踪迹。
13.如权利要求12所述的系统，其特征在于，所述处理器进一步被配置用于：
避免舍弃来自所述多个第一候选对象踪迹的候选对象踪迹的所述第一子集，以在所述至少一个候选对象踪迹被修剪掉之后，将所述特定对象踪迹与来自所述多个第一候选对象踪迹的一个或多个剩余候选对象踪迹相匹配。
14.如权利要求10所述的系统，其特征在于，所述处理器被配置用于通过以下步骤来确定应用于所述特定对象踪迹的所述相应权重的所述分布：
确定来自所述多个第一候选对象踪迹的一个或多个候选对象踪迹与来自所述一组第二对象踪迹的一个或多个候选对象踪迹之间的匹配误差；以及
基于所述匹配误差来确定应用于所述特定对象踪迹的所述相应权重。
15.如权利要求10所述的系统，其特征在于，所述第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，并且所述第二组传感器包括一个或多个视觉传感器，所述一个或多个视觉传感器包括光学相机或红外相机。
16.如权利要求10所述的系统，其特征在于，所述处理器被配置用于通过以下步骤来将所述特定对象踪迹与所述一个或多个剩余候选对象踪迹相匹配：
将来自所述一个或多个剩余候选对象踪迹的至少一个对象踪迹与所述特定对象踪迹相匹配。
17.如权利要求10所述的系统，其特征在于，所述系统包括传感器融合系统，所述传感器融合系统被通信地耦接至交通工具的控制器，所述处理器被进一步配置用于：
向所述控制器输出与所述特定对象踪迹相匹配的所述一个或多个剩余候选对象踪迹的指示，以用于控制所述交通工具。
18.如权利要求10所述的系统，其特征在于，来自所述多个第一候选对象踪迹的每个候选对象踪迹与静止对象或移动对象的至少一部分相关联。
19.如权利要求10所述的系统，其特征在于，所述一个或多个剩余候选对象踪迹包括总量小于所述多个第一候选对象踪迹中所包括的候选对象踪迹的总量的候选对象踪迹。
20.一种系统，包括：
用于根据从第一组传感器获得的第一传感器数据来确定多个第一候选对象踪迹的装置；
用于根据从第二组传感器获得的第二传感器数据来确定一组第二对象踪迹的装置；
用于针对来自所述多个第一候选对象踪迹的每个第一候选对象踪迹，将相应权重应用于来自所述一组第二对象踪迹的特定对象踪迹的装置；
用于基于针对来自所述多个第一候选对象踪迹的每个第一候选对象踪迹而应用于所述特定对象踪迹的所述相应权重，来确定应用于特定对象踪迹的所述相应权重的分布的装置；
用于确定应用于特定对象踪迹的所述相应权重的所述分布的峰度的装置；
用于基于所述峰度从所述多个第一候选对象踪迹中修剪掉至少一个候选对象踪迹的装置；以及
用于在所述至少一个候选对象踪迹被修剪掉之后，将所述特定对象踪迹与来自所述多个第一候选对象踪迹的一个或多个剩余候选对象踪迹相匹配的装置。
CN202111360472.4A 2020-11-18 2021-11-17 用于传感器融合系统的基于峰度的修剪 Pending CN114518574A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063115142P 2020-11-18 2020-11-18
US63/115,142 2020-11-18
US17/129,775 US11618480B2 (en) 2020-11-18 2020-12-21 Kurtosis based pruning for sensor-fusion systems
US17/129,775 2020-12-21

Publications (1)

Publication Number Publication Date
CN114518574A true CN114518574A (zh) 2022-05-20

Family

ID=78617169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111360472.4A Pending CN114518574A (zh) 2020-11-18 2021-11-17 用于传感器融合系统的基于峰度的修剪

Country Status (3)

Country Link
US (2) US11618480B2 (zh)
EP (1) EP4002300A1 (zh)
CN (1) CN114518574A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230038842A1 (en) * 2021-08-03 2023-02-09 Waymo Llc Association of camera images and radar data in autonomous vehicle applications
DE102021209680A1 (de) * 2021-09-03 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Verbesserung der Schätzung von Existenzwahrscheinlichkeiten
CN117541655B (zh) * 2024-01-10 2024-03-26 上海几何伙伴智能驾驶有限公司 融合视觉语义消除radar建图z轴累积误差的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6330160B2 (ja) 2014-05-09 2018-05-30 本田技研工業株式会社 物体認識装置
US10565468B2 (en) 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
WO2019033025A1 (en) * 2017-08-10 2019-02-14 Patroness, LLC SYSTEMS AND METHODS FOR IMPROVED AUTONOMOUS OPERATIONS OF A MOTORIZED MOBILE SYSTEM
US11475351B2 (en) 2017-11-15 2022-10-18 Uatc, Llc Systems and methods for object detection, tracking, and motion prediction
US11774582B2 (en) 2020-01-28 2023-10-03 Aptiv Technologies Limited Imaging and radar fusion for multiple-object tracking
US11430224B2 (en) * 2020-10-23 2022-08-30 Argo AI, LLC Systems and methods for camera-LiDAR fused object detection with segment filtering

Also Published As

Publication number Publication date
US20220153306A1 (en) 2022-05-19
US20230192146A1 (en) 2023-06-22
US11618480B2 (en) 2023-04-04
EP4002300A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
US11034349B2 (en) Autonomous driving method and apparatus
US10534079B2 (en) Vehicle and controlling method thereof integrating radar and lidar
US10793162B2 (en) Method and system for predicting driving path of neighboring vehicle
CN108931773B (zh) 车用六维点云系统
US9937905B2 (en) Side collision avoidance system and method for vehicle
US8812226B2 (en) Multiobject fusion module for collision preparation system
CN114518574A (zh) 用于传感器融合系统的基于峰度的修剪
CN111144432B (zh) 在传感器融合系统中消除模糊检测的方法
US8818702B2 (en) System and method for tracking objects
US20140347207A1 (en) Probabilistic target selection and threat assessment method and application to intersection collision alert system
US10839524B2 (en) Systems and methods for applying maps to improve object tracking, lane-assignment and classification
US11829131B2 (en) Vehicle neural network enhancement
CN113228040A (zh) 多级对象行进方向估计
US20220234581A1 (en) Vehicle control method, vehicle control device, and vehicle control system including same
CN111959482A (zh) 自主驾驶装置及方法
US20230206136A1 (en) Road Modeling with Ensemble Gaussian Processes
US20210279523A1 (en) Apparatus for clarifying object based on deep learning and method thereof
EP4181088A1 (en) Clustering track pairs for multi-sensor track association
RU2814813C1 (ru) Устройство и способ для отслеживания объектов
RU2809334C1 (ru) Беспилотное транспортное средство и способ управления его движением
EP4276773A1 (en) Deep association for sensor fusion
RU2806452C1 (ru) Устройство и способ для определения объектов
US11953590B1 (en) Radar multipath detection based on changing virtual arrays
EP4258020A1 (en) Track associations at least partially based on low confidence detections
CN115704687A (zh) 用于解析来自多种类型传感器的跟踪的遮挡约束

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240401

Address after: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240425

Address after: 2 Pestaroz Street, Schaffhausen, Switzerland

Applicant after: Anbofu Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant before: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region before: Luxembourg

TA01 Transfer of patent application right