CN116703966A - 多对象跟踪 - Google Patents

多对象跟踪 Download PDF

Info

Publication number
CN116703966A
CN116703966A CN202310167569.6A CN202310167569A CN116703966A CN 116703966 A CN116703966 A CN 116703966A CN 202310167569 A CN202310167569 A CN 202310167569A CN 116703966 A CN116703966 A CN 116703966A
Authority
CN
China
Prior art keywords
radar
undetected
detected
data
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310167569.6A
Other languages
English (en)
Inventor
庞溯
马科斯·保罗·杰拉尔多卡斯特罗
吴镇炯
克利夫顿·K·托马斯
金尼什·简
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN116703966A publication Critical patent/CN116703966A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“多对象跟踪”。在第一时间步，可基于确定第一雷达数据中的一个或多个第一雷达聚类簇以及确定第一相机数据中的一个或多个第一二维边界框，确定第一融合图像中的一个或多个第一对象。可通过将所述第一对象和所述第一雷达聚类簇输入到数据关联算法中来确定第一检测到的对象和第一未检测到的对象，所述数据关联算法确定第一概率，并通过确定成本函数来将所述第一雷达聚类簇和所述第一对象添加到第一检测到的对象或第一未检测到的对象中的一个或多个。可将所述第一检测到的对象和所述第一未检测到的对象输入到第一泊松多伯努利混合(PMBM)滤波器，以确定第二检测到的对象、第二未检测到的对象以及第二概率。可基于由所述第一PMBM滤波器确定的所述第二概率来减少所述第二检测到的对象和所述第二未检测到的对象，并且可输出所述第二检测到的对象。

Description

多对象跟踪
技术领域
本公开涉及车辆中的多对象跟踪系统。
背景技术
图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定对象的位置。计算机可以使用从图像中提取的对象位置数据来操作系统，包括车辆、机器人、安全和对象跟踪系统。
发明内容
根据本发明，提供了一种计算机，所述计算机具有：处理器；以及存储器，所述存储器包括指令，所述指令可由所述处理器执行以进行以下操作：在第一时间步，基于确定第一雷达数据中的一个或多个第一雷达聚类簇以及确定第一相机数据中的一个或多个第一二维边界框和第一置信度值，确定第一融合图像中的一个或多个第一对象；通过将所述第一对象和所述第一雷达聚类簇输入到数据关联算法中来确定第一检测到的对象和第一未检测到的对象，所述数据关联算法确定第一概率，并通过基于所述第一概率确定成本函数来将所述第一雷达聚类簇和所述第一对象添加到所述第一检测到的对象或所述第一未检测到的对象中的一个或多个；将所述第一检测到的对象和所述第一未检测到的对象输入到第一泊松多伯努利混合(Poisson multi-Bernoulli mixture，PMBM)滤波器，以确定第二检测到的对象和第二未检测到的对象以及第二概率；基于由所述第一PMBM滤波器确定的所述第二概率来减少所述第二检测到的对象和所述第二未检测到的对象；以及输出所述第二检测到的对象。
根据实施例，所述指令包括用于进行以下操作的另外的指令：在第二时间步，基于确定第二雷达数据中的一个或多个第二雷达聚类簇以及确定第二相机数据中的一个或多个第二二维边界框，确定第二融合图像中的一个或多个第二对象；将所述第二检测到的对象和所述第二未检测到的对象输入到第二PMBM滤波器，以确定更新后的第二检测到的对象和更新后的第二未检测到的对象以及第三概率；将所述第二对象、所述第二雷达聚类簇、所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象输入到所述数据关联算法中，所述数据关联算法通过以下操作来生成一个或多个第三检测到的对象和第三未检测到的对象：将所述第二对象和所述第二雷达聚类簇添加到所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象中的一个或多个，或者通过基于所述第三概率确定所述成本函数来生成新的第三检测到的对象和新的第三未检测到的对象；将所述第三检测到的对象和所述第三未检测到的对象输入到所述第一PMBM滤波器，以确定第四检测到的对象和第四未检测到的对象以及第四概率；基于由所述第一PMBM滤波器确定的所述第四概率减少所述第四检测到的对象；以及输出所述第四检测到的对象。
根据实施例，所述指令包括用于进行以下操作的另外的指令：通过基于所述第二检测到的对象确定车辆路径来操作车辆。
根据实施例，对象是包括在真实世界坐标中测量的x位置和y位置以及x和y上的速度的向量。
根据实施例，所述指令包括用于基于以下操作来确定所述第一雷达聚类簇的另外的指令：确定在用户确定的最大阈值距离内具有最小数量的相邻雷达数据点的雷达数据点核心组，然后基于所述雷达数据点核心组在用户确定的最大阈值距离内的雷达数据点确定所述第一雷达聚类簇。
根据实施例，所述指令包括用于进行以下操作的另外的指令：通过将所述第一相机数据输入到卷积神经网络、定向梯度直方图软件程序、基于区域的完全卷积网络、单发检测器软件程序和空间金字塔池化软件程序中的一个或多个来确定包括所述第一相机数据中的所述第一二维边界框和置信度值的所述第一对象。
根据实施例，所述指令包括用于进行以下操作的另外的指令：通过基于雷达相机匹配度量和雷达柱将基于所述雷达聚类簇的中心确定的柱以及通过机器学习或用户确定的对象高度和宽度中的一个或多个确定的对象高度和宽度投影到所述第一二维边界框上来确定所述第一融合图像。
根据实施例，所述第一检测到的对象和所述第二检测到的对象分别包括在真实世界坐标中相对于自顶向下地图(top-down map)测量的x坐标、y坐标以及在x和y方向上的速度vx和vy。
根据实施例，所述第一概率是基于所述第一置信度值以及所述第一雷达聚类簇与所述第一对象之间的置信度。
根据实施例，泊松点过程随机有限集(random finite set，RFS)对所述第一未检测到的对象和所述第二未检测到的对象进行建模，多伯努利混合RFS对所述第一检测到的对象和所述第二检测到的对象进行建模，并且所述PMBM滤波器组合所述第一未检测到的对象、所述第二未检测到的对象、所述第一检测到的对象和所述第二检测到的对象的估计。
根据实施例，所述第一PMBM滤波器和所述第二PMBM滤波器包括将所述泊松RFS与所述多伯努利混合RFS进行卷积。
根据实施例，所述数据关联算法基于通过匈牙利算法(Hungarian algorithm)和Murty算法中的一个或多个确定的成本，将所述第一雷达聚类簇和所述第一对象分别添加到所述第一检测到的对象、所述第二检测到的对象、所述第一未检测到的对象和所述第二未检测到的对象。
根据实施例，所述Murty算法基于成本矩阵最小化k个对象的成本，其中k为用户确定的数，并且所述成本矩阵基于对象到对象的测量距离和对象概率。
根据实施例，减少包括以下一项或多项：修剪，所述修剪基于概率去除第一检测到的轨迹；封顶，所述封顶对对象数量设置用户确定的上限；选通，所述选通限制用于组合对象的搜索距离；回收利用，所述回收利用基于低对象概率从检测到的对象生成未检测到的对象；以及合并，所述合并从两个或更多个对象生成一个对象。
根据本发明，一种方法包括：在第一时间步，基于确定第一雷达数据中的一个或多个第一雷达聚类簇以及确定第一相机数据中的一个或多个第一二维边界框和第一置信度值，确定第一融合图像中的一个或多个第一对象；通过将所述第一对象和所述第一雷达聚类簇输入到数据关联算法中来确定第一检测到的对象和第一未检测到的对象，所述数据关联算法确定第一概率，并通过基于所述第一概率确定成本函数来将所述第一雷达聚类簇和所述第一对象添加到所述第一检测到的对象或所述第一未检测到的对象中的一个或多个；将所述第一检测到的对象和所述第一未检测到的对象输入到第一泊松多伯努利混合(PMBM)滤波器，以确定第二检测到的对象和第二未检测到的对象以及第二概率；基于由所述第一PMBM滤波器确定的所述第二概率来减少所述第二检测到的对象和所述第二未检测到的对象；以及输出所述第二检测到的对象。
在本发明的一个方面，所述方法包括：在第二时间步，基于确定第二雷达数据中的一个或多个第二雷达聚类簇以及确定第二相机数据中的一个或多个第二二维边界框，确定第二融合图像中的一个或多个第二对象；将所述第二检测到的对象和所述第二未检测到的对象输入到第二PMBM滤波器，以确定更新后的第二检测到的对象和更新后的第二未检测到的对象；将所述第二对象、所述第二雷达聚类簇、所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象输入到所述数据关联算法中，所述数据关联算法确定第三概率，并通过以下操作来生成第三检测到的对象和第三未检测到的对象中的一个或多个：将所述第二对象和所述第二雷达聚类簇添加到所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象中的一个或多个，或者通过基于所述第三概率确定所述成本函数来生成新的第三检测到的对象和新的第三未检测到的对象；将所述第三检测到的对象和所述第三未检测到的对象输入到所述第一PMBM滤波器，以确定第四检测到的对象和第四未检测到的对象以及第四概率；基于由所述第一PMBM滤波器确定的所述第四概率减少所述第四检测到的对象和所述第四未检测到的对象；以及输出所述第四检测到的对象。
在本发明的一个方面，所述方法包括通过基于所述第二检测到的对象确定车辆路径来操作车辆。
在本发明的一个方面，对象是包括在真实世界坐标中测量的x位置和y位置以及x和y上的速度的向量。
在本发明的一个方面，所述方法包括基于以下操作来确定所述第一雷达聚类簇：确定在用户确定的最大阈值距离内具有最小数量的相邻雷达数据点的雷达数据点核心组，然后基于所述雷达数据点核心组在用户确定的最大阈值距离内的雷达数据点确定所述第一雷达聚类簇。
在本发明的一个方面，所述方法包括通过将所述第一相机数据输入到卷积神经网络、定向梯度直方图软件程序、基于区域的完全卷积网络、单发检测器软件程序和空间金字塔池化软件程序中的一个或多个来确定包括所述第一相机数据中的所述第一二维边界框和置信度值的所述第一对象。
附图说明
图1是示例性交通基础设施系统的框图。
图2是交通场景的示例性图像的图示。
图3是交通场景的雷达点云数据的图示。
图4是示例性卷积神经网络的图式。
图5是具有边界框的示例性图像的图示。
图6是示例性雷达数据/相机图像处理系统的图示。
图7是示例性组合的雷达数据和相机数据的图示。
图8是示例性对象跟踪系统的图示。
图9是示例性对象跟踪的图示。
图10是用于跟踪对象的示例性过程的流程图。
图11是基于被跟踪对象来操作车辆的示例性过程的流程图。
具体实施方式
感测系统可获取关于系统周围的环境的数据(例如图像数据)，并且处理所述数据以确定对象的类型、尺寸、姿态和/或位置。例如，可训练并然后使用软件程序(包括深度神经网络(DNN))来确定由系统中的传感器获取的图像数据中的对象，所述系统包括车辆引导系统、机器人操作系统、安全系统、制造系统和产品跟踪系统。车辆引导可包括车辆在包括多个对象的环境中在自主或半自主模式下操作。机器人引导可以包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以在包括多个零件的环境中进行组装。安全系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测包括多个用户的环境中的未经授权进入的特征。在制造系统中，DNN可以确定包括多个零件的环境中的一个或多个零件的位置和取向。在产品跟踪系统中，深度神经网络可以确定包括多个包裹的环境中的一个或多个包裹的位置和取向。
车辆引导在本文中将被描述为使用计算机来确定交通场景中的对象(例如，车辆和行人)并且基于所确定的对象来确定操作车辆的车辆路径的非限制性示例。交通场景是交通基础设施系统或车辆周围的环境，其可以包括道路的一部分以及包括车辆和行人等的对象。车辆或交通基础设施系统中的计算装置可被编程为从包括在车辆或交通基础设施系统中的一个或多个传感器获取一个或多个图像，确定图像中的对象，并传送标识对象的标签连同对象的位置。
所确定的对象可包括对象状态，即，描述特定时间的对象的一组物理测量值，并且可使用四元素向量来描述，所述四元素向量包括在x和y真实世界坐标中相对于自顶向下地图的对象位置以及在真实世界坐标中相对于x和y方向确定的对象速度vx、vy。可能检测到对象，其中对象状态包括在输出对象轨迹集中，所述输出对象轨迹集在多个时间步绘制对象在自顶向下地图上的位置。也可能未检测到对象，其中对象可包括对象状态，但不包括在输出对象轨迹集中。可基于对象中包括的概率来确定检测到对象还是未检测到对象。本文讨论的技术使用泊松多伯努利混合(PMBM)滤波器来基于所包括的概率来确定检测到的对象和未检测到的对象。
传感器可包括获取与反射的或发射的可见光或红外波长的光相对应的图像的摄像机或静止图像相机，以及获取测量距环境中的对象和表面的距离的点云数据的雷达传感器。传感器可包括在车辆中或可以是固定的，并且可安装在杆、建筑物或其他结构上，以给予传感器包括交通场景中的对象的交通场景的视野。在一些示例中，包括在车辆中的传感器可获取视频数据的一个或多个图像或帧，并且雷达数据的一个或多个点云处理所述图像和点云数据以确定所述图像和点云中包括的对象的轨迹。轨迹是指确定对象的速度和方向。确定对象轨迹可允许车辆中的计算装置通过允许计算装置预测对象的未来位置来确定在其上操作车辆的车辆路径。
有利地，本文描述的技术可提高车辆中的计算装置使用相机传感器和雷达传感器来预测车辆周围环境中的对象的未来位置的效率。一种单目相机包括具有单个光轴的单个镜头总成，所述单个镜头总成在单个传感器或传感器总成上形成图像。RGB相机是获取包括单独的红色像素、绿色像素和蓝色像素的彩色图像数据的相机。由单目RGB相机获取的图像可与雷达点云数据组合并使用如本文所述的PMBM滤波器进行处理，以从单目RGB图像数据和雷达点云数据确定对象跟踪数据。与仅使用单目RGB图像或雷达点云数据的系统或在处理后将单目RGB数据与雷达点云数据组合的系统相比，使用PMBM滤波器来处理组合的相机和雷达数据来确定对象跟踪数据提供了使用更少计算资源的更可靠的对象跟踪数据。
本文公开了一种方法，所述方法包括在第一时间步，基于确定第一雷达数据中的一个或多个第一雷达聚类簇以及确定第一相机数据中的一个或多个第一二维边界框和第一置信度值，确定第一融合图像中的一个或多个第一对象。可通过将所述第一对象和所述第一雷达聚类簇输入到数据关联算法中来确定第一检测到的对象和第一未检测到的对象，所述数据关联算法确定第一概率，并通过基于所述第一概率确定成本函数来将所述第一雷达聚类簇和所述第一对象添加到所述第一检测到的对象或所述第一未检测到的对象中的一个或多个。可将所述第一检测到的对象和所述第一未检测到的对象输入到第一泊松多伯努利混合(PMBM)滤波器，以确定第二检测到的对象和第二未检测到的对象以及第二概率。所公开的方法还包括基于由所述第一PMBM滤波器确定的所述第二概率来减少所述第二检测到的对象和所述第二未检测到的对象，并且输出所述第二检测到的对象。
在第二时间步，可基于确定第二雷达数据中的一个或多个第二雷达聚类簇以及确定第二相机数据中的一个或多个第二二维边界框，确定第二融合图像中的一个或多个第二对象。可将所述第二检测到的对象和所述第二未检测到的对象输入到第二PMBM滤波器，以确定更新后的第二检测到的对象和更新后的第二未检测到的对象。可将所述第二对象、所述第二雷达聚类簇、所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象输入到所述数据关联算法中，所述数据关联算法确定第三概率，并通过将所述第二对象和所述第二雷达聚类簇添加到所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象中的一个或多个来生成第三检测到的对象和第三未检测到的对象中的一个或多个。可通过基于所述第三概率确定所述成本函数来生成新的第三检测到的对象和新的第三未检测到的对象。可将所述第三检测到的对象和所述第三未检测到的对象输入到所述第一PMBM滤波器，以确定第四检测到的对象和第四未检测到的对象以及第四概率。可基于由所述第一PMBM滤波器确定的所述第四概率来减少所述第四检测到的对象和所述第四未检测到的对象，并且可输出所述第四检测到的对象。
可通过基于所述第二检测到的对象确定车辆路径来操作车辆。对象是包括在真实世界坐标中测量的x位置和y位置以及x和y上的速度的向量。可基于以下操作来确定所述第一雷达聚类簇：确定在用户确定的最大阈值距离内具有最小数量的相邻雷达数据点的雷达数据点核心组，然后基于所述雷达数据点核心组在用户确定的最大阈值距离内的雷达数据点确定所述第一雷达聚类簇。可通过将所述第一相机数据输入到卷积神经网络、定向梯度直方图软件程序、基于区域的完全卷积网络、单发检测器软件程序和空间金字塔池化软件程序中的一个或多个来确定包括所述第一相机数据中的所述第一二维边界框和置信度值的所述第一对象。可通过基于雷达相机匹配度量和雷达柱将基于所述雷达聚类簇的中心确定的柱以及通过机器学习或用户确定的对象高度和宽度中的一个或多个确定的对象高度和宽度投影到所述第一二维边界框上来确定所述第一融合图像。
所述第一检测到的对象和所述第二检测到的对象可分别包括在真实世界坐标中相对于自顶向下地图测量的x坐标、y坐标以及在x和y方向上的速度vx和vy。所述第一概率可基于所述第一置信度值以及所述第一雷达聚类簇与所述第一对象之间的置信度。泊松点过程随机有限集(RFS)可对所述第一未检测到的对象和所述第二未检测到的对象进行建模，多伯努利混合RFS可对所述第一检测到的对象和所述第二检测到的对象进行建模，并且所述PMBM滤波器可组合所述第一未检测到的对象、所述第二未检测到的对象、所述第一检测到的对象和所述第二检测到的对象的估计。所述第一PMBM滤波器和所述第二PMBM滤波器可包括将所述泊松RFS与所述多伯努利混合RFS进行卷积。所述数据关联算法可基于通过匈牙利算法和Murty算法中的一个或多个确定的成本，将所述第一雷达聚类簇和所述第一对象分别添加到所述第一检测到的对象、所述第二检测到的对象、所述第一未检测到的对象和所述第二未检测到的对象。所述Murty算法可基于成本矩阵最小化k个对象的成本，其中k为用户确定的数，并且所述成本矩阵基于对象到对象的测量距离和对象概率。减少可包括以下一项或多项：修剪，所述修剪基于概率去除第一检测到的轨迹；封顶，所述封顶对对象数量设置用户确定的上限；选通，所述选通限制用于组合对象的搜索距离；回收利用，所述回收利用基于低对象概率从检测到的对象生成未检测到的对象；以及合并，所述合并从两个或更多个对象生成一个对象。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。进一步公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括计算设备，所述计算设备被编程为：在第一时间步，基于确定第一雷达数据中的一个或多个第一雷达聚类簇以及确定第一相机数据中的一个或多个第一二维边界框和第一置信度值，确定第一融合图像中的一个或多个第一对象。可通过将所述第一对象和所述第一雷达聚类簇输入到数据关联算法中来确定第一检测到的对象和第一未检测到的对象，所述数据关联算法确定第一概率，并通过基于所述第一概率确定成本函数来将所述第一雷达聚类簇和所述第一对象添加到所述第一检测到的对象或所述第一未检测到对象中的一个或多个。可将所述第一检测到的对象和所述第一未检测到的对象输入到第一泊松多伯努利混合(PMBM)滤波器，以确定第二检测到的对象和第二未检测到的对象以及第二概率。所述指令可包括用于进行以下操作的另外的指令：基于由所述第一PMBM滤波器确定的所述第二概率来减少所述第二检测到的对象和所述第二未检测到的对象，并且输出所述第二检测到的对象。
所述指令可包括用于进行以下操作的另外的指令：在第二时间步，基于确定第二雷达数据中的一个或多个第二雷达聚类簇以及确定第二相机数据中的一个或多个第二二维边界框，确定第二融合图像中的一个或多个第二对象。可将所述第二检测到的对象和所述第二未检测到的对象输入到第二PMBM滤波器，以确定更新后的第二检测到的对象和更新后的第二未检测到的对象以及所述第二对象。可将所述第二雷达聚类簇、所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象输入到所述数据关联算法中，所述数据关联算法确定第三概率，并通过将所述第二对象和所述第二雷达聚类簇添加到所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象中的一个或多个来生成第三检测到的对象和第三未检测到的对象中的一个或多个。可通过基于所述第三概率确定所述成本函数来生成新的第三检测到的对象和新的第三未检测到的对象。可将所述第三检测到的对象和所述第三未检测到的对象输入到所述第一PMBM滤波器，以确定第四检测到的对象和第四未检测到的对象以及第四概率。可基于由所述第一PMBM滤波器确定的所述第四概率来减少所述第四检测到的对象和所述第四未检测到的对象，并且可输出所述第四检测到的对象。
所述指令可包括用于进行以下操作的另外的指令：通过基于所述第二检测到的对象确定车辆路径来操作车辆。对象是包括在真实世界坐标中测量的x位置和y位置以及x和y上的速度的向量。可基于以下操作来确定所述第一雷达聚类簇：确定在用户确定的最大阈值距离内具有最小数量的相邻雷达数据点的雷达数据点核心组，然后基于所述雷达数据点核心组在用户确定的最大阈值距离内的雷达数据点确定所述第一雷达聚类簇。可通过将所述第一相机数据输入到卷积神经网络、定向梯度直方图软件程序、基于区域的完全卷积网络、单发检测器软件程序和空间金字塔池化软件程序中的一个或多个来确定包括所述第一相机数据中的所述第一二维边界框和置信度值的所述第一对象。可通过基于雷达相机匹配度量和雷达柱将基于所述雷达聚类簇的中心确定的柱以及通过机器学习或用户确定的对象高度和宽度中的一个或多个确定的对象高度和宽度投影到所述第一二维边界框上来确定所述第一融合图像。
所述指令可包括用于进行以下操作的另外的指令：确定所述第一检测到的对象和所述第二检测到的对象，其分别包括在真实世界坐标中相对于自顶向下地图测量的x真实世界坐标、y真实世界坐标以及在x和y方向上的速度vx和vy。所述第一概率可基于所述第一置信度值以及所述第一雷达聚类簇与所述第一对象之间的置信度。泊松点过程随机有限集(RFS)可对所述第一未检测到的对象和所述第二未检测到的对象进行建模，多伯努利混合RFS可对所述第一检测到的对象和所述第二检测到的对象进行建模，并且所述PMBM滤波器可组合所述第一未检测到的对象、所述第二未检测到的对象、所述第一检测到的对象和所述第二检测到的对象的估计。所述第一PMBM滤波器和所述第二PMBM滤波器可包括将所述泊松RFS与所述多伯努利混合RFS进行卷积。所述数据关联算法可基于通过匈牙利算法和Murty算法中的一个或多个确定的成本，将所述第一雷达聚类簇和所述第一对象分别添加到所述第一检测到的对象、所述第二检测到的对象、所述第一未检测到的对象和所述第二未检测到的对象。所述Murty算法可基于成本矩阵最小化k个对象的成本，其中k为用户确定的数，并且所述成本矩阵基于对象到对象的测量距离和对象概率。减少可包括以下一项或多项：修剪，所述修剪基于概率去除第一检测到的轨迹；封顶，所述封顶对对象数量设置用户确定的上限；选通，所述选通限制用于组合对象的搜索距离；回收利用，所述回收利用基于低对象概率从检测到的对象生成未检测到的对象；以及合并，所述合并从两个或更多个对象生成一个对象。
图1是可以包括交通基础设施系统105的感测系统100的图示，所述交通基础设施系统包括服务器计算机120和固定传感器122。感测系统100包括车辆110，所述车辆可在自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也被称为非自主)模式下操作。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
计算装置115可以包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下面进一步描述的车辆通信总线通信地联接到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网络(CAN)等)通信；车辆110网络可另外或替代地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来在本公开中表示为计算装置115的装置之间通信。另外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可被配置用于通过车辆对基础设施(V2I)接口111经由网络130与远程服务器计算机120(诸如云服务器)通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网或蜂窝网络的网络130与远程服务器计算机120通信。因此，V2I接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、/>以及有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于使用例如在邻近车辆110之间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V2V)网络(例如根据专用短程通信(DSRC)和/或类似的通信)通过V2I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络和车辆对基础设施(V2I)接口111传输到服务器计算机120或用户移动装置160。
如已经提及的，通常包括在存储在存储器中并可由计算装置115的处理器执行的指令中的是用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程。使用在计算装置115中接收的数据(例如，来自传感器116的传感器数据、服务器计算机120等的数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的有效穿越的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到特定位置处的到达时间以及从到达到穿过十字路口的十字路口(无信号灯)最短时间。
如本文所使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可通信地连接到计算装置115并且从所述计算装置接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一者可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。
传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(例如，客车、轻型货车等)。车辆110包括一个或多个传感器116、V2I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但非限制，传感器116可以包括例如测高仪、摄像机、激光雷达(LIDAR)、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用来感测车辆110的操作环境，例如，传感器116可以检测诸如天气条件(降雨、外界温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。
车辆可被配备成以自主模式和乘员驾驶模式两者操作。半自主模式或完全自主模式意指车辆可由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可能被占用或未被占用，但是在任一种情况下，都可在没有乘员协助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被定义为车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主模式下，这些都不由计算机控制。
图2是交通场景202的图像200的图示。交通场景202包括道路204和车辆206、208，在该示例中为摩托车。车辆206、208可相对于交通场景202移动。图像200可由相机获取，所述相机可以是包括在车辆110中的彩色或红、绿、蓝(RGB)摄像机。交通场景202的图像200可由传感器116获取，所述传感器可以是包括在车辆110中的单目红、绿、蓝(RGB)摄像机。例如，单目RGB摄像机可以高达每秒60帧的帧速率获取多个图像200作为RGB图像数据的帧。图像200也可由单色或红外相机以可从每秒少于一帧到每秒超过60帧不等的帧速率获取。图像200也可以由包括在交通基础设施系统105中的固定传感器122获取。固定传感器122可安装在相机支架上，该相机支架可以包括交通信号杆、灯杆、专用杆或支架、建筑物、或现有结构(诸如桥梁、立交桥或标志杆)。例如，由固定传感器122获取的图像200可由交通基础设施系统105中包括的服务器计算机120传送到车辆110中的计算装置115。图像200包括车辆206、208的高分辨率图像，并且可被处理以确定车辆206、208标签，即，在该示例中，摩托车以及关于车辆206、208相对于图像200数据阵列的x位置、y位置的高分辨率数据。
图3是由包括在车辆110中的雷达传感器在与摄像机获取图像200基本上相同的时间获取的交通场景202的雷达点云图像300的图示。雷达点云图像300包括雷达点云聚类簇302、304，所述雷达点云聚类簇通过将从交通场景202中的车辆206、208反射的所接收的雷达数据点分组为聚类簇而形成。下面关于图6讨论将雷达数据点分组为雷达点云聚类簇。雷达点云聚类簇302、304包括指示从雷达传感器到包括在雷达点云聚类簇302、304中的雷达数据点的距离或范围的值，然而，雷达点云聚类簇302、304中可用的低空间分辨率使得难以将雷达点云聚类簇302、304识别为车辆，更不用说识别什么类型的车辆了。低空间分辨率还使得难以准确地确定雷达点云图像300数据阵列中雷达点云302、304的x位置、y位置。
跟踪车辆110周围的环境中的对象可提供允许车辆110中的计算装置115确定要在其上操作的车辆路径的数据。车辆路径可以是二维平面(例如，道路表面)中的多项式函数，基于所述多项式函数，计算装置115可通过向车辆控制器112、113、114传输命令来操作车辆110以控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者。可确定多项式函数以将车辆110从道路上的一个位置引导到道路上的第二位置，同时维持车辆横向加速度和纵向加速度的上限和下限。预测车辆周围的环境中的移动对象的位置可允许计算装置115确定允许车辆110高效行驶以到达环境中的所确定位置的车辆路径。
基于车辆传感器数据跟踪环境中的多个对象包括挑战。第一个挑战是确定传感器数据中对象的正确数量和位置包括固有的不确定性。快速变化的数据、复杂的交通场景、有限的时间和有限的计算资源意味着对象跟踪数据中将包括一定程度的不确定性。其次，交通场景的复杂三维性质意味着例如当对象被诸如其他车辆的其他对象或场景的诸如树叶的部分遮挡时，被跟踪对象可从视野中出现或消失。第三，被跟踪对象可能随着移出传感器的视野而消失。第四，被跟踪对象可改变状态，例如改变速度、方向或停止。除了这些挑战之外，所获取的对象数据还会因天气和光照条件而发生变化。雷达点云数据可能过于稀疏而无法支持对象检测，并且相机数据不提供范围或距离数据。如本文所讨论的对象跟踪技术可通过将雷达和相机数据组合为随机有限集(RFS)并将RFS输入到基于PMBM滤波器的多对象跟踪(MOT)系统以提高使用有限计算资源实时跟踪多个对象的效率来克服这些挑战。如本文所讨论的使用PMBM滤波器基于雷达和图像数据进行的对象跟踪技术可使用包括在车辆110中的典型计算装置115中可用的计算资源来实时跟踪多个对象。
图4是卷积神经网络(CNN)400的图示。CNN 400将图像402输入到卷积层404，所述卷积层将输入图像402与多个卷积核进行卷积，所述多个卷积核将包括在输入图像402中的对象编码为潜在变量406。潜在变量406由全连接层408处理，所述全连接层计算潜在变量406的线性和非线性函数以确定输出预测410。例如，输出预测410可包括输入图像402中包括的对象的标签和位置。可通过编译图像训练数据集来训练CNN 400以输出预测，所述图像训练数据集包括关于训练数据集中包括的图像中的对象的标签和位置的地面实况。例如，可通过获取激光雷达数据和交通场景的图像两者并将基于激光雷达数据确定的位置与通过检查图像确定的标签组合来确定关于对象的标签和位置的地面实况。
训练数据集可包括数千个图像，其中具有关于图像中包括的对象的地面实况数据。在训练时，可由CNN处理每个图像以提供输出预测，通过损失函数将所述输出预测与地面实况数据进行比较，所述损失函数测量输出预测与地面实况的比较接近程度。损失函数被提供给卷积层404和全连接层408以选择对卷积核以及线性和非线性函数进行编程的权重。可选择在多个试验中提供近似地面实况的输出预测的权重来训练CNN 400。使用具有地面实况数据的训练数据集，可训练CNN 400以输出输入图像中包括的对象的边界框和置信度值。边界框是围绕对象的最小封闭矩形。置信度值是CNN 400已正确标记并确定对象的边界框的概率。
图5是包括道路504和两个对象506、508的交通场景502的图像500的图示。可将图像500输入到经训练的CNN 400以确定对象506、508的标签和位置。计算装置115可使用从CNN 400输出的标签和位置数据来分别确定对象506、508的边界框510、512。边界框510、512将对象506、508标记为“摩托车”并将它们定位在图像500数据阵列内。本文讨论的技术将对象506、508的标签和位置与在RGB摄像机获取图像500基本上相同的时间获取的雷达点云数据组合。
图6是数据融合系统600的图示。数据融合系统600将雷达检测602输入到雷达预处理器604中。雷达预处理器604基于聚类分析来识别雷达检测602中的雷达点云聚类簇。例如，聚类分析通过使用基于密度的聚类分析来将一个或多个雷达点云聚类簇识别为对象。基于密度的聚类分析通过以下方式形成雷达点云聚类簇：基于确定在用户确定的最大阈值距离内具有最小数量的相邻雷达数据点的雷达数据点核心组将雷达图像数据点分组在一起，然后基于雷达数据点核心组在用户确定的最大阈值距离内的雷达数据点确定第一雷达聚类簇。可基于雷达点云聚类簇中包括的雷达数据点的数量以及雷达点云聚类簇的面积和平均密度超过用户选择的最小值来确定雷达点云聚类簇是雷达对象。雷达对象由雷达点云聚类簇的中心的x、y位置识别，并且包括雷达点云聚类簇距雷达传感器的平均距离。
将基于雷达点云聚类簇606的雷达对象输出到雷达/相机投影612以与在相机图像608中确定的对象组合。将与雷达图像检测602基本上同时获取的相机图像608输入到相机图像处理610。相机图像处理610可包括如上文关于图4所述的CNN 400。其他可处理相机图像以确定对象并生成边界框的图像处理软件包括：(1)定向梯度直方图(HOG)，其论述参见Dalal、Navneet和Bill Triggs的“用于人类检测的定向梯度直方图(Histograms oforiented gradients for human detection)”，2005IEEE computer society conferenceon computer vision and pattern recognition(CVPR'05)2005；(2)基于区域的完全卷积网络(R-FCN)，其论述参见Dai、Jifeng等人的“R-fcn：经由基于区域的完全卷积网络的对象检测(R-fcn:Object detection via region-based fully convolutional networks)”，Advances in neural information processing systems 29(2016)；单发检测器(SSD)，其论述参见Liu,W.、Anguelov,D.、Erhan,D.、Szegedy,C.、Reed,S.、Fu,C.Y.和Berg,A.C.(2016年10月)；(3)Ssd：单发多盒检测器，其论述参见European conference on computervision(第21-37页)，Springer；以及(4)空间金字塔池化(SPP-net)，其论述参见He,K.、Zhang,X.、Ren,S.和Sun,J.(2015)的“用于视觉识别的深度卷积网络中的空间金字塔池化(Spatial pyramid pooling in deep convolutional networks for visualrecognition)”，IEEE transactions on pattern analysis and machine intelligence，37(9)，1904-1916。
图像处理软件可将边界框510、512和每个边界框510、512的置信度值应用于相机图像608，并将结果传递给雷达/相机投影612。在相机/雷达投影612处，使用定义相机图像中的位置与雷达点云聚类簇606的距离和位置之间的关系的先前确定的雷达相机匹配度量来组合边界框510、512和基于雷达对象确定的雷达柱。可基于在将相机和雷达传感器安装在车辆110中时确定的校准数据来确定相机图像中的位置与雷达点云聚类簇的距离和位置之间的关系。下文将关于图7讨论雷达柱。边界框510、512与雷达对象的距离和位置之间的关系可基于相机的视野和雷达传感器的视野相对于车辆110的位置和取向来确定。边界框510、512与雷达对象的距离和位置之间的关系也可基于假设与车辆在其上操作的道路重合的地平面的位置。将基于组合的相机/雷达对象的一个或多个边界框510、512和一个或多个组合的雷达/相机对象614输出到对象跟踪系统800。组合的相机/雷达对象包括由CNN 400输出的置信度值。
图7是来自图6的组合的相机/雷达对象614的图示。组合的相机/雷达图像700由相机/雷达投影612确定。组合的相机/雷达对象614包括边界框702、704，所述边界框可基于通过上面关于图6讨论的相机图像处理610在输入相机图像608中检测到的对象。组合的相机/雷达对象614还可包括雷达柱706、708。基于从雷达数据预处理器604输出的雷达对象生成雷达柱。由于汽车雷达传感器通常不直接测量对象的高度和宽度，因此基于雷达传感器相对于地平面的位置和取向以及雷达传感器的外部参数(包括视野和放大倍数)来估计基于雷达对象确定的对象的高度和宽度。为了克服高度数据的缺乏，基于雷达点云聚类簇的中心将雷达对象扩展为可变高度雷达柱706、708。给定如雷达对象中所指示的距雷达传感器的距离，可基于雷达对象与假设的地平面的相交点来确定雷达图像中的位置。可基于雷达对象的所确定的高度和宽度以及点云聚类簇距传感器的距离来确定雷达柱的高度。可基于用机器学习程序处理雷达数据来确定雷达对象的高度和宽度。可基于用户确定的地面实况来训练机器学习程序。在一些示例中，可基于用户输入来确定雷达对象的高度和宽度。可在组合的相机/雷达对象614上从地平面交点到基于雷达对象距传感器的距离的高度绘制雷达柱706、708。雷达柱706、708越靠近传感器，组合的相机/雷达对象614中的雷达柱706、708的高度和宽度就越大。雷达柱706、708的倾斜是基于摄像机和雷达传感器的视野之间的关系。例如，摄像机上的广角镜头将使雷达柱706、708远离竖直方向倾斜，以模拟由广角镜头引起的失真。
可通过将基于雷达图像检测602确定的雷达柱706、708从相机图像608投影到边界框702、704上来确定组合的相机/雷达对象。组合与相机图像608基本上同时获取的雷达柱706、708可减少误报雷达对象的数量。相机/雷达投影612可将未与相机图像608边界框702、704组合出现的任何雷达柱706、708作为误报拒绝。边界框702和雷达柱706之间的组合可通过以下等式来量化：
(w-d1)*d2/(w*h)＞阈值 (1)
其中w和h为边界框702的宽度和高度，d1为边界框702的中心线710与雷达柱706之间的距离，d2为边界框702和雷达柱706的重叠高度，并且阈值为用户确定的值。当数量(w-d1)*d2/(w*h)超过阈值时，雷达柱706、708被确定为真阳性(true positive)，即，雷达柱706、708基于边界框702被确认为是组合的图像/雷达对象。当数量(w-d1)*d2/(w*h)不超过阈值时，雷达柱706、708可被确定为误报并被删除。以这种方式确认雷达柱706、708减少了误报返回的发生，增加了对象跟踪的可靠性并减少了专用于计算误报对象轨迹的计算资源量。组合的图像/雷达对象包括边界框702、704的x、y中心、雷达对象距雷达传感器的距离以及由CNN 400输出的置信度值。
图8是对象跟踪系统800的图示，所述对象跟踪系统输入边界框802和所投影的雷达柱804、从数据融合系统600输出的组合的相机/雷达对象614，并输出对象轨迹集820。输出的对象轨迹集820是包括在自顶向下地图中的一系列连接的对象位置。图9中的自顶向下地图900中示出输出对象轨迹集820。对象跟踪系统800是迭代过程，以连续的时间步输入多个雷达聚类簇606和组合的相机/雷达对象614并输出一个一个或多个对象轨迹集820。在每个时间步，对象跟踪系统800可基于新获取的雷达点云聚类簇606和组合的相机/雷达对象614来更新对象轨迹集820。对象跟踪系统800包括检测到的对象和未检测到的对象两者。检测到的对象是雷达对象或组合的相机/雷达对象614，其已由对象跟踪系统800确定为具有被包括在输出对象轨迹集820中的高概率，并且包括对象状态向量＝[x,y,vx,vy]。对象状态向量包括在真实世界坐标中相对于从自顶向下角度观察的地平面测量的x位置、y位置以及在x和y方向上的速度vx、vy。可以假设，地平面平行于支撑获取雷达和相机数据的车辆110的道路表面。地平面可被示出为自顶向下地图，所述自顶向下地图是从正上方观察的车辆周围的环境的地图。未检测到的对象是雷达点云聚类簇606或组合的相机/雷达对象614，其包括对象状态向量但尚未包括在对象跟踪系统800输出的轨迹集820中。
检测到的对象可保持被检测到，即使它可能暂时被遮挡。例如，由对象跟踪系统800跟踪的对象(诸如车辆)可从另一车辆后面经过或者被树叶或建筑物暂时挡住而无法看到。跟踪系统800将对象保留为检测到的对象，而不是删除对象，其中在该时间步中伯努利分布的存在概率降低。如果存在概率仍大于阈值，则对象将包括在输出轨迹集中。当对象回到相机或雷达传感器的视野中时，对象跟踪系统800可针对该时间步将伯努利分布的存在概率设置回1.0并保持跟踪对象。
在自顶向下数据关联808处，将雷达点云聚类簇606和组合的相机/雷达对象614的位置投影到环境的自顶向下地图上，以形成对象数据点810。自顶向下地图中的对象数据点810的位置是相对于车辆110的位置而言的。可基于包括在雷达点云聚类簇606和组合的相机/雷达对象614中的距离数据值来确定从车辆110到雷达点云聚类簇606和组合的相机/雷达对象614的距离和方向。到雷达点云聚类簇606和组合的相机/雷达对象614的距离和方向可确定对象数据点810在自顶向下地图中的位置。
自顶向下地图中的对象数据点810包括权重或存在概率。权重是自顶向下地图中的对象数据点所指示的真实世界位置处存在真实物理对象的概率。根据等式(1)，包括在边界框702、704中的雷达柱706、708具有指示所指示的真实世界位置处的真实世界对象的高权重或高概率。未包括在边界框702、702中的雷达点云302、304被分配指示所指示的真实世界位置处的真实世界对象的低权重或低概率。概率或权重是从0.0到1.0的数字，其中例如，低概率通常在0.0和0.2之间，并且高概率可在0.8和1.0之间。
对象数据点810沿着边界框802和所投影的雷达柱804从自顶向下数据关联808输出到数据关联812，其中对象数据点810与来自先前迭代的更新后的检测到的对象和未检测到的对象806组合。对象跟踪系统800是迭代过程，并且除了第一次迭代之外，来自先前迭代的更新后的检测到的对象和未检测到的对象806在数据关联808处可用。数据关联808可将对象数据点810与先前检测到的对象相关联以确定新检测到的对象。检测到的对象轨迹是来自两次或更多次迭代的一组一个或多个检测到的对象，其已通过PMBM滤波器更新816示出为包括恒定速度关系。未检测到的轨迹可包括单个未检测到的对象或多个未检测到的对象，但不呈现对象数据点810之间的恒定速度关系。检测到的对象轨迹和未检测到的对象轨迹都使用恒定速度模型进行建模。检测到的对象轨迹与未检测到的对象轨迹之间的差异在于，检测到的对象轨迹包括在最终输出轨迹集中，而未检测到的对象轨迹不包括在最终输出轨迹集中。在“背景”中跟踪未检测到的轨迹，这意味着它们被跟踪但不被输出，因为对象跟踪系统800确实具有足够的证据来验证它们的存在，而我们确信检测到的对象轨迹的存在。当PMBM滤波器更新816确定对象轨迹的存在概率为1.0时，对象轨迹得到验证。恒定速度关系是其中由于对象分别在x和y方向上以恒定速度vx、vy移动而可确定对象数据点810在连续时间步的x位置、y位置。
当对象数据点810具有高权重时，即，当雷达数据和图像数据两者确认对象数据点810的存在时，数据关联808可基于对象数据点810生成检测到的对象。当将新的对象数据点810与先前检测到的对象相关联的成本低于用户确定的阈值时，数据关联808还可生成检测到的对象。当对象数据点具有低权重时，即，当雷达数据和图像数据中的一个但不是两者都确认对象数据点810的存在时，数据关联808可生成新的未检测到的对象。未检测到的对象是与检测到的对象不相关联的对象数据点810。数据关联将新的对象数据点810与来自先前迭代的先前确定的检测到的对象806进行比较，以确定是否将新的对象数据点810与先前检测到的对象相关联。
数据关联812通过对轨迹和对象执行成本分析来根据对象数据点810确定检测到的对象和未检测到的对象。成本值基于新的对象数据点810距先前检测到的对象的距离与每个对象数据点810相关联，并且通过轨迹权重和检测到的/未检测到的状态进行修改。成本与距离成比例，即，对象数据点与轨迹之间的小距离具有小成本，而对象数据点与轨迹之间的大距离具有高成本。成本和距离之间的关系可通过检查多个轨迹和对象位置来凭经验确定。高轨迹权重或高概率降低了将对象数据点810与检测到的对象相关联的成本。同样，检测到的状态降低了将对象与轨迹相关联的成本，而未检测到的状态增加了成本。当生成新轨迹的成本低于将新对象数据点与现有轨迹组合的成本时，生成新的轨迹。可使用匈牙利算法或Murty算法来评估成本函数，所述算法根据成本对对象数据点810到现有对象的所有潜在分配进行排序，并按成本的递增顺序进行分配。Murty算法基于成本矩阵最小化k个对象分配的成本，其中k为用户确定的数，并且成本矩阵基于对象到对象的测量距离和对象概率。可基于包括在新的检测到的对象和未检测到的对象中的对象数据点810对新的检测到的对象和未检测到的对象进行重新加权。通过包括根据等式(1)在雷达和图像数据两者中确认的对象数据点810来更新的对象的概率增加。通过包括仅用雷达数据中确认的对象数据点810更新的轨迹来更新的轨迹的权重不变。仅用图像数据中确认的对象数据点810更新的轨迹具有与检测到对象时由CNN 400输出的置信值成比例地略微增加的权重。未用任何对象数据点810更新的轨迹的权重减小，因为没有对象数据点810检测到该轨迹。相对于检测到的对象具有非常低的概率和高成本的对象数据点810可能是误报并且可被丢弃。
检测到的对象和未检测到的对象814输出到PMBM滤波器更新816，以基于来自先前迭代的对象状态来确定检测到的对象和未检测到的对象的对象状态。对象状态预测是贝叶斯过程，其中与先前步骤相关联的概率用于更新当前步骤的概率。预测步骤可写为：
PMBMt+1|t(Xt+1)＝∫p(Xt+1|Xt)PMBMt|t(Xt)δXt (2)
其中X为对象状态x1、......、xn的随机有限集(RFS)，PMBMt+1|t为在时间t+1处的对象状态Xt+1，以时间t处的对象状态为条件，p(Xt+1|Xt)为与时间t+1处的对象状态相关联的概率，所述概率是基于与时间t处的对象状态相关联的先前概率确定的，并且PMBMt|t为先前对象状态概率分布。PMBM滤波器更新816是未检测到的对象的泊松RFS概率分布和检测到的对象的多伯努利混合RFS概率密度的卷积：
其中X为所有对象，Xu为未检测到的对象，并且Xd为检测到的对象。
使用泊松点过程(PPP)随机有限集(RFS)对未检测到的对象进行建模。泊松点过程描述了从非常大的潜在事件(诸如所有可能的对象位置)中获取单个事件(诸如对象位置)的统计信息。泊松点过程也可被描述为与事件发生的时间相关联的概率。泊松过程P(k)由以下等式描述：
其中k为事件的数量，并且λ为事件发生的平均速率。在泊松点过程中，泊松分布的方差等于均值的平方根。假设泊松分布使用贝叶斯推断，基于与先前未检测到的对象状态相关联的概率来确定新的未检测到的对象的对象状态。
使用多伯努利混合(MBM)RFS分布对检测到的对象进行建模。伯努利分布是具有二进制结果(例如“1”或“0”)的统计检验，并且没有其他可能的答案。例如，重复抛硬币将导致伯努利分布。MBM分布包括多个单独的事件，每个事件具有一个二进制结果。伯努利分布B(k)的概率分布函数由以下等式描述：
MBM滤波器使用贝叶斯推断基于多个先前对象状态来确定要分配给多个检测到的对象的对象状态。在新检测到的对象与先前检测到的对象相关联的概率较低的情况下，MBM分布返回对象状态的值0。当检测到的对象在车辆传感器的视野中被遮挡时，例如当诸如车辆的对象从另一车辆后面经过时，可能会发生这种情况。将对象状态设置为零不会删除检测到的对象，因此当对象返回到视野时，例如从遮挡车辆或树叶后面出来时，MBM滤波器可基于线性速度模型为检测到的对象分配值。在用PPP估计未检测到的对象并用MBM估计检测到的对象之后，将估计的未检测到的对象和检测到的对象与PMBP滤波器组合，以更新估计的未检测到的对象和检测到的对象，如上面所讨论的。
在PMBM滤波器更新816之后，将检测到的对象和未检测到的对象输入到减少818。减少818通过修剪、封顶、选通、回收利用和合并中的一项或多项来减少检测到的对象和未检测到的对象的数量。修剪基于低对象概率从检测到的轨迹中移除检测到的对象。封顶通过对允许的对象总数设置用户确定的上限来移除对象。选通限制数据关联的搜索距离。在该示例中，使用马哈拉诺比斯距离代替欧几里德距离来基于对象的概率来测量对象之间的距离。回收利用基于低对象存在概率从检测到的对象生成未检测到的对象。合并从两个或更多个相同的对象存在全局假设生成一个对象存在全局假设。
在减少818之后，将检测到的对象组合成对象轨迹集820并输出到计算装置115，在那里它们可用于操作车辆110。输出对象轨迹集820是一组连接的对象状态。基于被PMBM滤波器识别为同一检测到的对象，将对象状态分配给输出对象轨迹集820。计算装置可基于对象轨迹确定车辆110的车辆路径，并基于检测到的对象的x和y速度预测对象的未来位置。检测到的对象和未检测到的对象也被输出到预测PMBM滤波器822，所述预测PMBM滤波器可根据上面的等式(2)预测与检测到的对象和未检测到的对象相关联的概率。可将预测的对象806输出到数据关联812，其中可在下一次迭代时将新获取的对象数据点810与预测的对象806组合。
图9是自顶向下地图900的图示。自顶向下地图900上的X轴和Y轴指示以米为单位的距离。自顶向下地图900包括指示车辆110的位置的车辆图标902。自顶向下地图900中包括来自对象跟踪系统800输出的对象轨迹集820的检测到的轨迹904。自顶向下地图900中还包括被跟踪对象的地面实况数据905，所述被跟踪对象作为检测到的轨迹904被包括在内。例如，地面实况数据905可由包括在车辆110中的激光雷达传感器获取，并且可用于训练CNN400，如上面关于图4所讨论的。
图10是关于图1至图9描述的用于跟踪由车辆110中包括的传感器116获取的雷达数据和图像中的对象的过程1000的流程图。过程1000可由计算装置115的处理器实施，所述处理器将来自传感器116的图像数据作为输入，执行命令，并将对象轨迹集820输出到计算装置115。过程1000包括可按所示次序执行的多个框。替代地或另外地，过程1000可包括更少的框，或者可包括以不同次序执行的框。
过程1000开始于框1002，其中计算装置115将交通场景的图像402输入到CNN 400。图像402可由车辆110中包括的RGB摄像机获取。CNN 400可输出对象标签，所述对象标签以相对于图像阵列的像素坐标标识对象和对象的位置。CNN 400还可输出置信度值，所述置信度值是CNN 400已正确确定对象标签和位置的概率，如上面关于图2和图4所讨论的。计算装置115可确定由CNN 400确定的对象位置处的边界框510、512。
在框1004处，计算装置115从车辆110中包括的雷达传感器获取雷达数据。计算装置115可对雷达数据执行聚类分析以确定指示雷达数据中的对象的雷达点云聚类簇302、304，如上面关于图3所讨论的。
在框1006处，计算装置115组合雷达点云聚类簇302、304和图像边界框510、512，如上面关于图6和图7所讨论的。
在框1008处，计算装置115中包括的如上面关于图8所讨论的对象跟踪系统800输入雷达点云聚类簇606和组合的相机/雷达对象614。对象跟踪系统800包括自顶向下数据关联808，所述自顶向下数据关联从雷达点云聚类簇606和包括在组合的相机/雷达对象614中的对象生成对象数据点810，并确定对象数据点810在自顶向下地图900上的位置。将对象数据点810输入到数据关联812，其中通过确定成本函数将新确定的对象数据点810与来自对象跟踪系统800的先前迭代的预测的检测到的对象806组合。将组合的检测到的对象和未检测到的对象814输入到PMBM滤波器以更新检测到的对象和未检测到的对象的概率或轨迹权重。
在框1010处，将检测到的对象和未检测到的对象814输入到减少818以减少轨迹的数量。
在框1012处，将减少的检测到的对象和未检测到的对象传递到预测PMBM滤波器822，以基于时间步预测检测到的对象和未检测到的对象814，然后将其作为预测的检测到的对象和未检测到的对象806返回到数据关联812。
在框1014处，将减少的检测到的轨迹和未检测到的轨迹输出到计算装置115以用于操作车辆110。在框1014之后，过程1000结束。
图11是关于图1至图10描述的用于基于检测到的对象和未检测到的对象814来操作车辆110的过程的流程图的图示，所述检测到的对象和所述未检测到的对象由上面在图10中的过程1000中描述的对象跟踪系统800确定。过程1100可由计算装置115的处理器实施，所述处理器将来自传感器116的数据作为输入，并执行命令，且操作车辆110。过程1100包括可按所示次序执行的多个框。替代地或另外，过程1100可包括更少的框，或者可包括以不同次序执行的框。
过程1100开始于框1102，其中车辆110中的计算装置115基于来自对象跟踪系统800的图像200数据和雷达点云图像300数据来接收检测到的对象和未检测到的对象814，如关于图2至图10所描述的。
在框1104处，计算装置115基于包括在检测到的对象和未检测到的对象814中的对象数据点810的位置来确定车辆路径。车辆路径是多项式函数，其包括当车辆沿着车辆路径行进时要施加到车辆运动的最大和最小横向加速度和纵向加速度。包括在检测到的轨迹中的对象数据点810包括相对于自顶向下地图900的x和y速度，这允许计算装置115预测对象数据点810的未来位置。
在框1106处，计算装置115向控制器112、113、114输出命令以控制车辆动力传动系统、车辆转向装置和车辆制动器以控制车辆运动以沿着在框1104处确定的车辆路径操作车辆110。在框1106之后，过程1100结束。
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文论述的过程框可体现为计算机可执行命令。
计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行包括本文所描述的过程中的一者或多者的一个或多个过程。此类命令和其他数据可存储在文件中并且使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、线、无线通信，包括构成耦合到计算机的处理器的系统总线的内部件。常见形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的元素。另外，可改变这些元素中的一些或全部。相对于本文描述的介质、过程、系统、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

Claims (15)

1.一种方法，其包括：
在第一时间步，基于确定第一雷达数据中的一个或多个第一雷达聚类簇以及确定第一相机数据中的一个或多个第一二维边界框和第一置信度值，确定第一融合图像中的一个或多个第一对象；
通过将所述第一对象和所述第一雷达聚类簇输入到数据关联算法中来确定第一检测到的对象和第一未检测到的对象，所述数据关联算法确定第一概率，并通过基于所述第一概率确定成本函数来将所述第一雷达聚类簇和所述第一对象添加到所述第一检测到的对象或所述第一未检测到的对象中的一个或多个；
将所述第一检测到的对象和所述第一未检测到的对象输入到第一泊松多伯努利混合(PMBM)滤波器，以确定第二检测到的对象和第二未检测到的对象以及第二概率；
基于由所述第一PMBM滤波器确定的所述第二概率来减少所述第二检测到的对象和所述第二未检测到的对象；以及
输出所述第二检测到的对象。
2.如权利要求1所述的方法，其还包括：
在第二时间步，基于确定第二雷达数据中的一个或多个第二雷达聚类簇以及确定第二相机数据中的一个或多个第二二维边界框，确定第二融合图像中的一个或多个第二对象；
将所述第二检测到的对象和所述第二未检测到的对象输入到第二PMBM滤波器，以确定更新后的第二检测到的对象和更新后的第二未检测到的对象以及第三概率；
将所述第二对象、所述第二雷达聚类簇、所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象输入到所述数据关联算法中，所述数据关联算法通过以下操作来生成一个或多个第三检测到的对象和第三未检测到的对象：将所述第二对象和所述第二雷达聚类簇添加到所述更新后的第二检测到的对象和所述更新后的第二未检测到的对象中的一个或多个，或者通过基于所述第三概率确定所述成本函数来生成新的第三检测到的对象和新的第三未检测到的对象；
将所述第三检测到的对象和所述第三未检测到的对象输入到所述第一PMBM滤波器，以确定第四检测到的对象和第四未检测到的对象以及第四概率；
基于由所述第一PMBM滤波器确定的所述第四概率来减少所述第四检测到的对象；以及
输出所述第四检测到的对象。
3.如权利要求1所述的方法，其还包括通过基于所述第二检测到的对象确定车辆路径来操作车辆。
4.如权利要求1所述的方法，其中对象是包括在真实世界坐标中测量的x位置和y位置以及x和y上的速度的向量。
5.如权利要求1所述的方法，其还包括基于以下操作来确定所述第一雷达聚类簇：确定在用户确定的最大阈值距离内具有最小数量的相邻雷达数据点的雷达数据点核心组，然后基于所述雷达数据点核心组在用户确定的最大阈值距离内的雷达数据点确定所述第一雷达聚类簇。
6.如权利要求5所述的方法，其还包括通过将所述第一相机数据输入到卷积神经网络、定向梯度直方图软件程序、基于区域的完全卷积网络、单发检测器软件程序和空间金字塔池化软件程序中的一个或多个来确定包括所述第一相机数据中的所述第一二维边界框和置信度值的所述第一对象。
7.如权利要求1所述的方法，其还包括通过基于雷达相机匹配度量和雷达柱将基于所述雷达聚类簇的中心确定的柱以及通过机器学习或用户确定的对象高度和宽度中的一个或多个确定的对象高度和宽度投影到所述第一二维边界框上来确定所述第一融合图像。
8.如权利要求1所述的方法，其中所述第一检测到的对象和所述第二检测到的对象分别包括在真实世界坐标中相对于自顶向下地图测量的x坐标、y坐标以及在x和y方向上的速度vx和vy。
9.如权利要求1所述的方法，其中所述第一概率是基于所述第一置信度值以及所述第一雷达聚类簇与所述第一对象之间的置信度。
10.如权利要求1所述的方法，其中泊松点过程随机有限集(RFS)对所述第一未检测到的对象和所述第二未检测到的对象进行建模，多伯努利混合RFS对所述第一检测到的对象和所述第二检测到的对象进行建模，并且所述PMBM滤波器组合所述第一未检测到的对象、所述第二未检测到的对象、所述第一检测到的对象和所述第二检测到的对象的估计。
11.如权利要求10所述的方法，其中所述第一PMBM滤波器和第二PMBM滤波器包括将所述泊松RFS与所述多伯努利混合RFS进行卷积。
12.如权利要求1所述的方法，其中所述数据关联算法基于通过匈牙利算法和Murty算法中的一个或多个确定的成本，将所述第一雷达聚类簇和所述第一对象分别添加到所述第一检测到的对象、所述第二检测到的对象、所述第一未检测到的对象和所述第二未检测到的对象。
13.如权利要求12所述的方法，其中所述Murty算法基于成本矩阵最小化k个对象的成本，其中k为用户确定的数，并且所述成本矩阵是基于对象到对象的测量距离和对象概率。
14.如权利要求1所述的方法，其中减少包括以下一项或多项：修剪，所述修剪基于概率去除第一检测到的轨迹；封顶，所述封顶对对象数量设置用户确定的上限；选通，所述选通限制用于组合对象的搜索距离；回收利用，所述回收利用基于低对象概率从检测到的对象生成未检测到的对象；以及合并，所述合并从两个或更多个对象生成一个对象。
15.一种系统，其包括被编程为执行权利要求1至14中任一项所述的方法的计算机。
CN202310167569.6A 2022-03-02 2023-02-27 多对象跟踪 Pending CN116703966A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/684,509 US20230282000A1 (en) 2022-03-02 2022-03-02 Multi-object tracking
US17/684,509 2022-03-02

Publications (1)

Publication Number Publication Date
CN116703966A true CN116703966A (zh) 2023-09-05

Family

ID=87572336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310167569.6A Pending CN116703966A (zh) 2022-03-02 2023-02-27 多对象跟踪

Country Status (3)

Country Link
US (1) US20230282000A1 (zh)
CN (1) CN116703966A (zh)
DE (1) DE102023104789A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872354A (zh) * 2024-03-11 2024-04-12 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269510B (zh) * 2020-10-29 2022-03-25 维沃移动通信（杭州）有限公司 信息处理方法、装置及电子设备
US11963516B2 (en) * 2022-03-28 2024-04-23 Pumpkii Inc. System and method for tracking objects with a pet companion robot device
KR102511315B1 (ko) * 2022-09-07 2023-03-17 주식회사 스마트인사이드에이아이 환경 변수 데이터 학습에 기초한 영상 기반 객체 인식 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117872354A (zh) * 2024-03-11 2024-04-12 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质
CN117872354B (zh) * 2024-03-11 2024-05-31 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质

Also Published As

Publication number Publication date
US20230282000A1 (en) 2023-09-07
DE102023104789A1 (de) 2023-09-07

Similar Documents

Publication Publication Date Title
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US11312372B2 (en) Vehicle path prediction
US10733510B2 (en) Vehicle adaptive learning
US11460851B2 (en) Eccentricity image fusion
US11042758B2 (en) Vehicle image generation
US20230282000A1 (en) Multi-object tracking
CN110857085A (zh) 车辆路径规划
US20200020117A1 (en) Pose estimation
CN114072841A (zh) 根据图像使深度精准化
US11055859B2 (en) Eccentricity maps
JP7359735B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US11188085B2 (en) Vehicle capsule networks
US11702044B2 (en) Vehicle sensor cleaning and cooling
CN116070341A (zh) 传感器优化
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
CN115731531A (zh) 对象轨迹预测
US11610412B2 (en) Vehicle neural network training
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
CN116311216A (zh) 三维对象检测
US12116008B2 (en) Attentional sampling for long range detection in autonomous vehicles
CN115640832A (zh) 对象姿态估计
US20230368541A1 (en) Object attention network
US12046047B2 (en) Object detection
US20240094384A1 (en) Object detection using reflective surfaces
CN116136414A (zh) 传感器定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication