CN115704687A - 用于解析来自多种类型传感器的跟踪的遮挡约束 - Google Patents

用于解析来自多种类型传感器的跟踪的遮挡约束 Download PDF

Info

Publication number
CN115704687A
CN115704687A CN202210656098.0A CN202210656098A CN115704687A CN 115704687 A CN115704687 A CN 115704687A CN 202210656098 A CN202210656098 A CN 202210656098A CN 115704687 A CN115704687 A CN 115704687A
Authority
CN
China
Prior art keywords
tracking
radar
occlusion
visual
visual tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210656098.0A
Other languages
English (en)
Inventor
G·塞瓦加木尔希
S·A·伊姆兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN115704687A publication Critical patent/CN115704687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文档描述了用于使用遮挡约束来解析来自多种类型传感器的跟踪的技术。在各方面中,遮挡约束应用于在雷达跟踪和视觉跟踪之间的关联，以指示遮挡概率。在其他方面中，描述了用于交通工具以避免评估由感知系统收集的被遮挡雷达跟踪和视觉跟踪的技术。遮挡概率被用于淡化具有高遮挡可能性并且因此对于跟踪而言是无用的雷达跟踪和视觉跟踪对。所公开的技术可以提供更严密地表示交通工具的多个复杂数据集的改进的感知数据，该多个复杂数据集用于防止交通工具在环境中操作时与被遮挡的对象发生碰撞。

Description

用于解析来自多种类型传感器的跟踪的遮挡约束
背景技术
在一些汽车中，感知系统可以结合从多个传感器获得的信息(例如，方位角、交通工具速度、横摆率、位置)，以支持自主或半自主的控制。所组合的传感器数据可以用于估计存在于视场(FOV)中的感兴趣的对象。可以为每个被跟踪的对象推断位置、速度、踪迹、大小、类别和其他参数；当使用不同类型的传感器时，这些推断的准确性会提高。为了对象跟踪的目的将来自多个传感器的输入关联起来可能在计算上是复杂的，通常需要复杂且昂贵的处理硬件来处理冲突的结果。为了确保安全且精确的避免对象碰撞的交通工具控制，期望感知系统能够以准确且高效的方式解析大量传感器数据。
发明内容
本文档描述了使用遮挡约束来解析来自多种类型的传感器的跟踪的技术。根据这些技术的系统、方法和装置可以使得感知系统能够通过使用遮挡约束来修改用于对象跟踪的雷达跟踪数据和视觉跟踪数据，该遮挡约束从考虑因素中淡化表现为被遮挡的雷达和视觉跟踪的对，以改进标识视场内对象的速度和准确度(例如，根据没有被淡化的雷达和视觉跟踪对)。
在各方面中，公开了一种用于解析来自多种类型传感器的跟踪的遮挡约束的方法，该方法包括由交通工具的感知系统确定在为环境生成的视觉跟踪和雷达跟踪之间是否存在遮挡条件。响应于确定在视觉跟踪和雷达跟踪之间存在遮挡条件，对在该视觉跟踪和该雷达跟踪之间维护的关联应用遮挡约束。遮挡约束出于跟踪期间的考虑因素有效地修改在该视觉跟踪和该雷达跟踪之间维护的关联。在对在视觉跟踪和雷达跟踪之间维护的关联应用遮挡约束之后，由感知系统基于在另一个视觉跟踪和另一个雷达跟踪之间维护的另一个关联，确定环境中在从另一个视觉跟踪和另一个雷达跟踪导出的位置处的对象。该方法包括输出环境中对象的指示，该指示用于跟踪改对象来控制交通工具或启用交通工具的主动安全功能，以用于防止交通工具在环境中操作时与对象发生碰撞。
在其他方面中，系统包括被配置成用于执行该方法和其他方法的处理器。公开了具有用于执行用于使用遮挡约束来解析来自多种类型传感器的跟踪的该方法和其他方法的装置的系统。
提供本发明内容以介绍用于解析来自多种类型传感器的跟踪的遮挡约束的技术和装置的简化概念，其概念在下面的具体实施方式和附图中进一步描述。
附图说明
下面参考以下附图描述了使用遮挡约束来解析来自多种类型传感器的跟踪的技术，以下附图贯穿全文而使用一些相同的附图标记以引用类似特征和组件的示例：
图1示出了实现用于解析来自多种类型传感器的跟踪的遮挡约束的示例操作环境；
图2示出了在用于解析来自多种类型传感器的跟踪的遮挡约束中使用的传感器和数据的示例；
图3-1示出了用于实现在用于解析来自多种类型传感器的跟踪的遮挡约束中使用的传感器和数据的示例场景；
图3-2示出了用于实现在用于解析来自多种类型传感器的跟踪的遮挡约束中使用的传感器和数据的附加示例场景；
图4示出了在用于解析来自多种类型传感器的跟踪的遮挡约束中使用的示例方法；
图5-1示出了用于执行用于解析来自多种类型传感器的跟踪的遮挡约束的可行性矩阵的示例实现；
图5-2示出了用于执行用于解析来自多种类型传感器的跟踪的遮挡约束的成本矩阵的另一个示例实现；
图6示出了在用于解析来自多种类型传感器的跟踪的遮挡约束中使用的附加示例方法；以及
图7示出了用于解析来自多种类型传感器的跟踪的遮挡约束的示例方法。
具体实施方式
概述
本文档描述了使用遮挡约束来解析来自多种类型传感器的跟踪的技术。交通工具的感知系统面临如下挑战：快速且正确地确定多组传感器数据或传感器读数(例如，雷达传感器读数、超声传感器读数、红外相机传感器读数、光学或“视觉”相机传感器读数、激光雷达传感器读数)之间的相关性。每个传感器可以收集用于标识感知系统的FOV内的单个对象、多个对象或单个对象的一部分的信息。在拥挤的FOV(例如,当包括交通工具和行人交通的许多对象存在时，或当FOV涵盖包括三百六十度视角的大空间时)中，由于试图处理大量数据，感知系统可能表现不佳。如所描述，通过有效使用遮挡约束来改善或预处理传感器数据，并实现更有效或更快的对象标识，可以改善感知系统的性能。
交通工具的感知系统以准确且高效的方式处理大量数据，以在不与其环境中的移动对象发生碰撞的情况下进行导航。多个传感器(例如，雷达传感器、视觉传感器)可以发送关于不断变化的环境的快速演变的数据流。当排队等待处理的传感器数据太多使感知系统过载时，可能会出现问题。感知系统可能会提供延迟的或不准确的数据，从而导致对象碰撞。
当本文所描述的遮挡约束用于解析来自多种类型传感器的跟踪时，可以允许交通工具更快地并以更高程度的准确度处理传感器数据。通过基于遮挡约束从考虑因素中淡化跟踪关联中的一些数据，感知系统的功能性能和可扩展性会增加，因为感知系统能够快速处理甚至更大的传感器组合或更大的数据集。
尽管用于解析来自多种类型传感器的跟踪的遮挡约束的所描述的技术和装置的特征和概念可以在任意数量的不同环境中实现，但是在以下示例的上下文中描述了主要被描述成用于控制或辅助控制交通工具或启用交通工具的安全系统的方面。
示例环境
图1示出了具有感知系统104的交通工具102的示例操作环境100，该感知系统104被配置成用于执行根据本文所描述的技术的用于解析来自多种类型传感器的跟踪的遮挡约束。示出的感知系统104可以包括传感器接口106，传感器接口106连接到用于对象跟踪的多种类型传感器。作为一些示例，传感器接口106包括视觉接口106-1、雷达接口106-2和另一个传感器接口106-n(例如，激光雷达接口、超声接口、红外接口)。感知系统104还可以包括融合模块108。融合模块108可以包括用于存储从视觉接口106-1、雷达接口106-2和另一个传感器接口106-N获得的信息的跟踪关联数据存储110。如图所示，感知系统104用于感知另一个交通工具112的存在；然而，感知系统104可以用于感知任何对象(例如，行人、锥形交通路标、建筑物)。
在一些方面中，感知系统104可以包括与传感器接口106相关联的一个传感器或多个传感器。在其他示例中，感知系统104可操作地链接到传感器，这些传感器可以是交通工具102的其他系统的一部分。例如，感知系统可以包括耦合到视觉接口106-1的视觉传感器、耦合到雷达接口106-2的雷达传感器，以及耦合到其他传感器接口106-N的超声传感器、激光雷达传感器、红外传感器或任何其他类型的传感器。由传感器接口106获得的信息可以用于计算的速度、距离和方位角，作为评估遮挡概率时的因子，例如，以促进雷达跟踪。
感知系统104可以用于检测和避免与另一个交通工具112发生碰撞。例如，感知系统104利用从视觉接口106-1和雷达接口106-2获得的信息，当该信息由融合模块108处理时，可以用于确定交通工具112的存在，并且采取预防措施以避免与交通工具112发生碰撞。
在另一个示例中，感知系统104可以利用从其他传感器接口106-n(例如，激光雷达接口、超声接口)获得的进一步信息，与从视觉接口106-1、雷达接口106-2获得的信息组合，以使得融合模块108能够确定道路114上的一个或多个被遮挡对象的存在。例如，交通工具102可以沿着道路114行驶，并且利用感知系统104来确定被遮挡在视野之外的另一个交通工具112的存在，并且采取预防措施以避免与交通工具112发生碰撞。
通常，制造商可以将感知系统104安装到在道路114上行驶的任何移动平台。感知系统104可以从交通工具102的任何外表面投射其FOV。例如，交通工具制造商可将感知系统104的至少一部分集成到侧视镜、保险杠、车顶、或任何其他内部位置或外部位置(其中FOV包括道路114和在道路114附近的移动或静止的对象)。制造商可设计感知系统104的位置，以提供FOV，该FOV充分涵盖交通工具102可能行驶于其上的道路114。在所描绘的实现中，感知系统104的一部分安装在交通工具102的前部附近。
在各方面中，将遮挡约束应用于位于跟踪关联数据存储110中的雷达跟踪和视觉跟踪之间的关联，以指示遮挡的概率。在其他方面中，交通工具102可以避免评估由感知系统104收集的被遮挡的雷达跟踪和视觉跟踪。遮挡概率用于降低具有高遮挡可能性并且因此对于跟踪而言是无用的雷达跟踪和视觉跟踪对的关联概率。由感知系统104收集的经改善的数据可以更严密地表示交通工具102的多个复杂数据集，该多个复杂数据集用于防止该交通工具在环境100中操作时与被遮挡的对象发射碰撞。当遮挡约束用于解析来自多种类型传感器的跟踪时，可以允许感知系统104更快地并以更高程度的准确度处理传感器数据。通过从考虑因素中淡化来自遮挡约束应用的一些数据，感知系统104的功能性能和可扩展性会增加。
图2示出了示例系统200，在该示例系统200中，用于解析来自交通工具102的多种类型传感器的跟踪的遮挡约束可以被实现。图2中示出的示例系统200包括控制器202，控制器202包含处理器204-1和计算机可读存储介质(CRM)206-1(例如，存储器、长期存储、短期存储)，CRM 206-1存储用于汽车模块208的指令。控制器202和感知系统104-1可以通过链路212进行通信。链路可以是有线或无线的链路，并且在一些情况下包括通信总线。控制器202基于通过链路212接收的信息执行操作，诸如一个或多个对象在道路114上行驶的指示。
感知系统104-1包含视觉接口106-1、雷达接口106-2、处理器204-1、处理器204-2和CRM 206-2。CRM 206-2可以存储与融合模块108-1相关联的指令，该指令可以由处理器204-2执行，以执行融合模块108的操作。除了跟踪关联数据存储110-2和经修改的跟踪关联数据存储110-2之外，融合模块108-1还可以包括遮挡子模块210-1和k-最佳模式搜索子模块210-2(也被简称为k-最佳子模块210-2)。
处理器204-1和处理器204-2可以是两个分离的处理单元或单个处理单元(例如微处理器、处理单元中的多个处理器)或计算设备、控制器或控制单元的一对单个片上系统。处理器204-1和204-2执行存储在CRM 206-1和CRM 206-2内的计算机可执行指令。
通常，感知系统104-1执行融合模块108-1，以执行汽车功能(例如，启用制动系统)，其可以包括使用来自视觉接口106-1和雷达接口106-2的输出来跟踪对象(例如，环境100中的对象)。例如，当融合模块108-1由处理器204-2执行时，融合模块108-1可以接收由遮挡子模块210-1检测到的被遮挡对象的指示，以实现更准确的对象跟踪。下文参考图3-1和图3-2中所示的示例场景300-1和300-2来进一步详细描述系统200。
图3-1示出了示例场景300-1，在该示例场景300-1中，用于解析来自交通工具302的多种类型传感器的跟踪的遮挡约束可以被实现。示出了包括系统200的交通工具302，系统200包括感知系统104-1，在场景300-1中，感知系统104-1被卡车304遮挡而无法视觉地检测到移动的汽车306。在修改交通工具302的感知系统104-1的视觉接口106-1处获得的信息的情况下，处理器204-2可能无法通过从视觉接口106-1(例如，通过视觉传感器)获得的信息来检测移动的汽车306。然而，在修改交通工具302的感知系统104-1的雷达接口106-2处获得的信息的情况下，处理器204-2可以通过从雷达接口106-2(例如，通过雷达传感器)获得的信息来检测移动的汽车306。
出于举例的目的，交通工具302上的感知系统104-1的视觉接口106-1(例如，利用视觉传感器)检测视觉跟踪308，而感知系统104-1的雷达接口106-2(例如，利用雷达传感器)检测第一雷达跟踪310、第二雷达跟踪312、第三雷达跟踪314和第四雷达跟踪316。视觉跟踪308无法用于检测汽车306，因为汽车306被卡车304遮挡在视野之外。第二雷达跟踪312、第三雷达跟踪314和第四雷达跟踪316能被用于检测汽车306，但不是卡车304。在各方面中，确定环境中在从视觉跟踪308和雷达跟踪310、312、314、316推导出的位置处的对象(例如，移动的汽车306)可以包括：确定由雷达传感器312、314、316检测到并被遮挡在视觉传感器308视野外的移动的汽车306的存在。
图3-2进一步示出了图3-1的示例场景，在该示例场景中，用于解析来自交通工具302的多种类型传感器的跟踪的遮挡约束可以被实现。交通工具302同样包括系统200，系统200包括感知系统104-1，感知系统104-1检测视觉跟踪308-1、第一雷达跟踪310-1、第二雷达跟踪312-1、第三雷达跟踪314-1和第四雷达跟踪316-1。第一距离318示出在由视觉跟踪308-1和第一雷达跟踪310-1指示的位置之间。第二距离320示出在由视觉跟踪308-1和第二雷达跟踪312-1指示的位置之间。第三距离322示出在由视觉跟踪308-1和第三雷达跟踪314-1指示的位置之间。第四距离324示出在由视觉跟踪308-1和第四雷达跟踪316-1指示的位置之间。
感知系统104-2利用存储用于执行融合模块108-1的指令的计算机可读存储介质206-2来计算每个视觉跟踪和雷达跟踪(被称为“每个跟踪对”)之间的距离(例如，318、320、322、324)和遮挡可能性。在各方面中，融合模块108-1包括遮挡子模块210-1和k-最佳子模块210-2以及跟踪关联数据存储110-1，跟踪关联数据存储110-1包含视觉跟踪(例如，308-1)和雷达跟踪(例如，310-1、312-1、314-1、316-1)关联。遮挡子模块210-1在概率框架中实现对跟踪关联数据存储110-1内的跟踪关联数据的遮挡约束，从而产生经修改的跟踪关联数据存储110-2。k-最佳子模块210-2使用经修改的跟踪关联数据存储110-2来获得最佳假设/模式集。这有助于在最佳模式包含不满足遮挡条件的配对时，避免再次运行k-最佳子模块210-2或任何其他模式搜索算法。
当多个雷达跟踪是将与特定视觉跟踪相关联的竞争候选时，遮挡子模块210-1可以执行遮挡推理。在这种情况下，可能会发生在位置上更靠近检测对象的一个雷达跟踪被远离视觉跟踪但距离自我(ego)交通工具更近的一个或多个雷达跟踪完全或部分遮挡的情况。在这种场景中，视觉跟踪更可能将与遮挡雷达跟踪相关联，而不是与相对较近的被遮挡雷达跟踪相关联。视觉跟踪和雷达跟踪之间的遮挡概率可以从多个因素中推导出，而不仅仅是距离，包括给定雷达跟踪的遮挡雷达跟踪的总量、遮挡雷达跟踪和给定跟踪之间的重叠量、遮挡雷达跟踪和被遮挡雷达跟踪两者的方位角不确定度，以及每个遮挡雷达跟踪与其他时间跟踪相关联的概率。
在各方面中，计算成本矩阵的雷达跟踪和视觉跟踪中的每一者的遮挡概率。例如，图2的跟踪关联数据存储110-1可以包括相关联的视觉雷达跟踪对(例如，与雷达跟踪310配对的视觉跟踪308、与雷达跟踪312配对的视觉跟踪308、与雷达跟踪314配对的视觉跟踪308，以及与雷达跟踪316配对的视觉跟踪308)。经修改的跟踪关联数据存储110-2可以包括已经根据遮挡约束被修改的视觉雷达跟踪对的关联成本。在另外的方面中，可以基于场景以及一组传感器的属性来修改计算遮挡概率。例如，融合模块108和108-1也可依赖于其他信息来推导跟踪对之间是否存在遮挡。
在一些方面中，驱动遮挡概率的因素包括角度重叠量。例如，确定遮挡概率是基于与特定视觉跟踪(例如，308-1)和被遮挡的雷达跟踪在方位角上至少部分地重叠的雷达跟踪(例如，310-1、312-1、314-1、316-1)的总量和与被遮挡的雷达跟踪在方位角上至少部分地重叠的雷达跟踪的总量相关联的角度重叠量来确定遮挡概率。更多的遮挡雷达跟踪会使得雷达跟踪越来越难以进行可行的视觉跟踪匹配。在获得遮挡概率时，考虑了遮挡雷达跟踪(例如，312-1、314-1、316-1)和被遮挡的雷达(例如，310-1)跟踪之间的方位角重叠。
在示例中，计算的因子可以包括所有遮挡雷达跟踪的延伸角，并且可以进一步计算与被遮挡雷达跟踪的延伸角重叠的部分。然后，可以将该概率与多个遮挡雷达跟踪组合，以通过乘法确定遮挡惩罚。
感知系统104-1通过链路212与控制器202通信，控制器202包括处理器204-1和计算机可读存储介质206-1，计算机可读存储介质206-1存储用于执行能够控制或辅助控制交通工具302或启用交通工具302的安全系统的汽车模块208的指令。在图3-2的示出示例中，为了启用交通工具的安全系统以避免与被遮挡的汽车306发生碰撞，可以由感知系统104-1将经修改的跟踪关联数据存储110-2发射到交通工具302的控制器202。
图4示出了根据本文所描述的技术的执行用于解析来自多种类型传感器的跟踪的遮挡约束的示例方法400。感知系统104接收与雷达跟踪数据和视觉跟踪数据402有关的传感器数据。感知系统104基于依据雷达跟踪和视觉跟踪对404之间的运动学和属性信息的距离接近度生成关联，该关联被布置成雷达跟踪数据和对应的视觉跟踪数据之间的成本矩阵。运动学信息的示例包括对象的位置、对象的速度、对象航向和特定跟踪的大小。然而，属性信息的示例包括对象是否被分类为行人、交通工具、护栏、停车标志或一些其他考虑的对象。更具体地，成本矩阵可以由位于跟踪关联数据存储110-1中的视觉雷达跟踪对生成。感知系统104被配置成用于计算成本矩阵406内的每个相关联雷达跟踪和视觉跟踪对的遮挡概率。遮挡概率可以由遮挡子模块210-1计算。遮挡子模块210-1可以基于遮挡雷达跟踪的延伸角并结合遮挡雷达跟踪的数量来确定遮挡概率，以确定遮挡惩罚。
如果感知系统104发现遮挡概率高于用于雷达跟踪和视觉跟踪对408的阈值，则感知系统104对成本矩阵410内的每个被遮挡的相关联雷达跟踪和视觉跟踪对应用遮挡惩罚。如果感知系统104决定不惩罚雷达跟踪和视觉跟踪对408，则其不应用任何惩罚，并且将原始成本保留在成本矩阵412内的每个被遮挡的相关联雷达跟踪和视觉跟踪对中。将遮挡惩罚包含在原始成本中将降低雷达视觉对被包括在由k-最佳子模块210-2生成的最佳假设中的概率。在根据成本矩阵内的每个遮挡概率修改雷达跟踪和视觉跟踪对的关联成本之后，感知系统104可以提供由“A”表示的经修订的成本矩阵。经修订的成本矩阵可以在经修改的跟踪关联数据存储110-2中，并且可以由控制器202利用以用于实现交通工具的安全特征。
图5-1示出了第一可行性矩阵502的示例500。第一可行性矩阵502包括每个视觉跟踪508的可能的雷达跟踪候选列表，以表示配对是否可行。可以二维地表示可行性矩阵，其中第一维度用于视觉跟踪504并且第二维度用于雷达跟踪506。第一可行性矩阵502包括与视觉跟踪504相对应的行和与雷达跟踪506相对应的列。感知系统104确定视觉跟踪的可行雷达候选列表中是否存在遮挡概率，并且决定是否惩罚雷达跟踪和视觉跟踪对508。基于遮挡条件检查，感知系统104可以对先前估计的该对的成本应用额外的惩罚并更新矩阵。
图5-2示出了成本矩阵512-1的示例500-1，成本矩阵512-1表示雷达跟踪和视觉跟踪关联。在包含遮挡惩罚之后，成本矩阵512-1可以被变换514成第二成本矩阵516。在各方面中，变换514包括：通过将遮挡惩罚包括到成本矩阵的特定元素来将遮挡约束应用到在视觉跟踪和雷达跟踪之间维护的关联，因为在该视觉跟踪和雷达跟踪之间维护的关联是不使用视觉跟踪来跟踪环境中的对象的证据。
例如，对于给定的视觉跟踪“j”，其可行的雷达候选“i”中的一个被Nocc数量的其他雷达跟踪遮挡。其中“K是调整参数，遮挡的惩罚可以被计算如下：
Figure BDA0003687832860000101
其中，
Figure BDA0003687832860000102
Figure BDA0003687832860000103
Figure BDA0003687832860000104
Figure BDA0003687832860000105
在一些示例中，该变换可以修改具有高遮挡概率的雷达跟踪和视觉跟踪匹配。成本矩阵512-1可以利用来自查找表(未示出)的信息。该查找表维护可能的遮挡雷达跟踪列表，连同基于遮挡推理的每个雷达跟踪的数个遮挡跟踪。
图6示出了一种方法，其中图4的经修订的成本矩阵“A”经历了k-最佳算法的处理。k-最佳算法可以开始“A”的模式搜索，其中n＝1606。k-最佳算法寻找下一个最佳模式608。发生确定步骤610，其中如果“n”小于“k”，则n＝n+1612，并且重复寻找下一个最佳模式608步骤。然而，如果“n”不小于“k”，则模式搜索结束614。k-最佳算法可以在O(kN3)时间复杂度下计算，其中“k”表示要保持的最佳模式的数量，“N”表示可行的雷达和视觉跟踪的数量。通过使用遮挡约束并解析多组跟踪，在图5的“A”处得到经修订的成本矩阵，使得图6中所示的k-最佳算法的执行时间保持不变，由此允许感知系统更快且更准确的报告对象。如果没有按照每个遮挡约束修订/修改成本矩阵，则不可能保持固定的执行时间。在此类情况中，在由k最佳模式查找方法(608)生成每个模式之后，需要针对该模式检测遮挡约束。并且如果该遮挡约束不被满足，则该模式需要被丢弃并且该模式搜索方法需要重新运行。
例如，利用k-最佳算法的处理通过减少通常用于基于传感器融合的对象跟踪的成本矩阵的时间复杂度来增加数据处理的功能性能和可扩展性，即使可能的跟踪对的数量不断增加。
示例方法
图7示出了应用用于解析来自多种类型传感器的跟踪的遮挡约束的示例方法700。在该示例中，该方法确定是否存在遮挡条件，并且惩罚那些具有高遮挡概率的雷达跟踪和视觉跟踪匹配。该方法可以进一步处理那些作为预处理步骤被惩罚的雷达跟踪和视觉跟踪匹配，以减少感知系统104的处理时间。
在702处,交通工具的感知系统104将确定为环境生成的视觉跟踪和雷达跟踪之间是否存在遮挡条件。在一个示例中，感知系统104收集雷达数据和视觉数据，以确定视场中的对象。在另一个示例中，感知系统104基于视觉跟踪和雷达跟踪来确定遮挡条件的存在。
在704处，响应于确定在视觉跟踪和雷达跟踪之间存在遮挡条件，遮挡约束被应用于在视觉跟踪和雷达跟踪之间维护的关联，遮挡约束有效修改在视觉跟踪和雷达跟踪之间维护的关联成本。例如，关联的可行性在雷达跟踪和视觉跟踪满足一些距离接近度标准时形成，并且每个视觉跟踪的可行雷达跟踪的聚合被表示为可行性矩阵。在另一个示例中，基于遮挡概率来惩罚具有高遮挡概率的雷达跟踪和视觉跟踪对的聚集。在又另一个示例中，修改经惩罚的雷达跟踪和视觉跟踪关联成本。
在706处，在遮挡约束已经被应用于在视觉跟踪和雷达跟踪之间维护的关联成本之后，感知系统104基于在另一个视觉跟踪和另一个雷达跟踪之间维护的另一个关联，确定环境中在从另一个视觉跟踪和另一个雷达跟踪导出的位置处的对象。例如，雷达跟踪和视觉跟踪匹配(例如，成本矩阵)的关联已经对那些具有高遮挡概率的匹配进行淡化，并且感知系统104随后处理可用的经修订的数据，以标识被遮挡的和未被遮挡的对象。
在708处，感知系统104输出环境中的对象的指示，该指示用于跟踪该对象来控制交通工具或启用交通工具的主动安全功能，以用于防止交通工具在环境中操作时与对象发生碰撞。例如，感知系统104标识将与交通工具发生碰撞的轨迹上的被遮挡对象，并且由此控制交通工具以启用制动系统来防止与该被遮挡对象发生碰撞。
通常，可以使用软件、固件、硬件(例如，固定逻辑电路系统)、手动处理、或它们的任意组合来实现本文描述的部件、模块、方法和操作中的任一者。示例方法的一些操作可以在存储在计算机可读存储存储器上的可执行指令的一般上下文中描述，计算机可读存储介质相对于计算机处理系统为本地的和/或远程的，并且实现可包括软件应用、程序、功能等等。本文所述的任何功能可至少部分地由一个或多个硬件逻辑部件执行，包括但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)，片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
进一步的示例
下面描述一些进一步示例：
示例1：一种方法，包括：由交通工具的感知系统确定为环境生成的视觉跟踪和雷达跟踪之间是否存在遮挡条件；响应于确定在视觉跟踪和雷达跟踪之间存在遮挡条件，对在视觉跟踪和雷达跟踪之间维护的关联应用遮挡约束，遮挡约束有效修改在视觉跟踪和雷达跟踪之间维护的关联；在对在视觉跟踪和雷达跟踪之间维护的关联应用遮挡约束之后，由感知系统基于在另一个视觉跟踪和另一个雷达跟踪之间维护的另一个关联，确定环境中在从另一个视觉跟踪和另一个雷达跟踪导出的位置处的对象；以及输出环境中的对象的指示，该指示用于跟踪该对象来控制交通工具或启用交通工具的主动安全功能，以用于防止交通工具在环境中操作时与对象发生碰撞。
示例2：前述示例的方法，其中确定是否存在遮挡条件包括：利用遮挡雷达跟踪和被遮挡雷达跟踪的方位角不确定度来确定是否遮挡雷达跟踪中的任意者与视觉跟踪和被遮挡雷达跟踪在方位角上至少部分地重叠；并且响应于以足够的方位角不确定度确定遮挡雷达跟踪中的至少一个与视觉跟踪和被遮挡雷达跟踪中的至少一个在方位角上重叠,确定在该视觉跟踪和该被遮挡雷达跟踪之间存在遮挡条件。
示例3：任何前述示例的方法，进一步包括：确定在雷达跟踪和视觉跟踪之间的遮挡概率，遮挡概率指示视觉跟踪表示与每个雷达跟踪不同对象的可能性，其中确定在视觉跟踪和雷达跟踪之间是否存在遮挡条件包括：确定在雷达跟踪和视觉跟踪之间的遮挡概率是不使用视觉跟踪来跟踪环境中的对象的证据。
示例4：任何前述示例的方法，进一步包括：基于与被遮挡雷达跟踪和视觉跟踪在方位角上至少部分地重叠的遮挡雷达跟踪的总量和与被遮挡雷达跟踪在方位角上至少部分地重叠的雷达跟踪的总量相关联的角度重叠量来确定遮挡概率。
示例5：任何前述示例的方法，进一步包括：生成成本矩阵，成本矩阵包括作为成本矩阵的特定元素在视觉跟踪和雷达跟踪之间维护的关联，成本矩阵的每个其他元素表示在雷达跟踪和视觉跟踪的唯一对之间的另一个关联；以及基于遮挡概率来确定雷达跟踪和视觉跟踪的遮挡惩罚，其中，对在视觉跟踪和雷达跟踪之间维护的关联应用遮挡约束包括：将遮挡惩罚添加到在视觉跟踪和雷达跟踪之间维护的关联的成本矩阵的特定元素，以防止使用该视觉跟踪来跟踪环境中的对象。
示例6：任何前述示例的方法，其中对在视觉跟踪和雷达跟踪之间维护的关联应用遮挡约束包括增加成本矩阵中的该对的成本，以淡化在该视觉跟踪和该雷达跟踪之间维护的关联。
示例7：任何前述示例的方法，其中成本矩阵的每个元素表示在与雷达跟踪和视觉跟踪的唯一对相关联的时间状态和雷达状态之间的距离，并且应用遮挡约束来对一些元素应用惩罚。
示例8：任何前述示例的方法，进一步包括：成本矩阵的每个元素将在特定视觉跟踪和特定雷达跟踪之间的关联表示为在特定视觉跟踪和特定雷达跟踪之间的距离；在雷达跟踪和视觉跟踪之间的距离对应于成本矩阵中特定元素的成本值；并且在雷达跟踪和视觉跟踪之间的距离影响遮挡概率。
示例9：任何前述示例的方法，进一步包括：成本矩阵的每个元素将在特定视觉跟踪和特定雷达跟踪之间的关联表示为在特定视觉跟踪和特定雷达跟踪的位置之间的距离，并且特定雷达跟踪对应于成本矩阵中特定元素的成本值；以及生成成本矩阵的每个元素的遮挡概率，遮挡概率基于一个或多个遮挡雷达跟踪和在遮挡雷达跟踪和被遮挡雷达跟踪之间的方位角重叠。
示例10：任何前述示例的方法，其中确定环境中在从另一个视觉跟踪和另一个雷达跟踪导出的位置处的对象包括：确定被遮挡在视觉传感器视野外的移动交通工具；并且移动交通工具由雷达传感器检测。
示例11：任何前述示例的方法，进一步包括：修改一个或多个元素，该一个或多个元素表示具有对应的一个或多个视觉跟踪的雷达跟踪；以及提供经修订的成本矩阵。
示例12：任何前述示例的方法，其中修改成本矩阵包括：通过在遮挡约束下惩罚对的关联成本来降低输入到k-最佳算法中的k-最佳算法数据的复杂度，以使得该对以更低的可能性出现在k-最佳模式中；并且k-最佳算法在O(kN3)时间复杂度下被执行，其中“k”表示要保持的最佳模式的数量，“N”表示可行的雷达或视觉跟踪的数量。
示例13：任何前述示例的方法，其中从成本矩阵中进行修改包括：降低k-最佳算法中的复杂度，使得给定的执行时间随着模式数量增加而保持不变。
示例14：任何前述示例的方法，其中提供经修订的成本矩阵包括：响应于确定一组跟踪的遮挡概率而淡化来自该组跟踪的至少一个跟踪；以及淡化来自一组跟踪的至少一个跟踪包括：保留至少一个跟踪，以用于与来自一组跟踪的不同跟踪相匹配。
示例15：任何前述示例的方法，其中查找表维护可能的遮挡雷达跟踪的列表，连同基于遮挡推理的每个雷达跟踪的潜在视觉跟踪对。
示例16：任何前述示例的方法，其中由交通工具的感知系统计算遮挡概率可以基于场景以及一组传感器的属性而被修改。
示例17：任何前述示例的方法，其中一组传感器被用于计算以下跟踪属性：速度；距离；和方位角；其中速度、距离和方位角作为评估遮挡概率的因素。
示例18：任何前述示例的方法，其中一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声传感器，并且一组传感器包括一个或多个视觉传感器。
示例19：一种系统，该系统包括：处理器，处理器被配置成用于执行前述示例中的方法。
示例20：一种系统，包括：用于执行任何前述示例的方法的装置。
结语
尽管已经用特定于某些特征和/或方法的语言描述了用于解析来自多种类型传感器的跟踪的遮挡约束的的各方面，但是所附权利要求的主题不必限于所描述的特定特征或方法。相反，特定特征和方法被公开作为所声明的用于解析来自多种类型传感器的跟踪的遮挡约束的示例实现，并且其他等效的特征和方法也旨在落在所附权利要求的范围内。进一步地，描述了各种方面，并且应当了解，每个所述的方面可独立地或与一个或多个其他的所述的方面相结合地实施。

Claims (20)

1.一种方法，包括：
由交通工具的感知系统确定为环境生成的视觉跟踪和雷达跟踪之间是否存在遮挡条件；
响应于确定在视觉跟踪和雷达跟踪之间存在遮挡条件，对在所述视觉跟踪和所述雷达跟踪之间维护的关联应用遮挡约束，所述遮挡约束有效地修改在所述视觉跟踪和所述雷达跟踪之间维护的所述关联；
在对在所述视觉跟踪和所述雷达跟踪之间维护的所述关联应用所述遮挡约束之后，由所述感知系统基于在另一个视觉跟踪和另一个雷达跟踪之间维护的另一个关联，确定所述环境中在从所述另一个视觉跟踪和所述另一个雷达跟踪导出的位置处的对象；以及
输出所述环境中的所述对象的指示，该指示用于跟踪所述对象来控制所述交通工具或启用所述交通工具的主动安全功能，以用于防止所述交通工具在所述环境中操作时与所述对象发生碰撞。
2.如权利要求1所述的方法，其特征在于，确定是否存在遮挡条件包括：
利用遮挡雷达跟踪和被遮挡雷达跟踪的方位角不确定度来确定是否所述遮挡雷达跟踪中的任意者与所述视觉跟踪和所述被遮挡雷达跟踪在方位角上至少部分地重叠；以及
响应于以足够的方位角确定度确定所述遮挡雷达跟踪中的至少一个与所述视觉跟踪和所述被遮挡雷达跟踪中的至少一个在方位角上重叠,确定在所述视觉跟踪和所述被遮挡雷达跟踪之间存在所述遮挡条件。
3.如权利要求2所述的方法，进一步包括：
确定在所述雷达跟踪和所述视觉跟踪之间的遮挡概率，所述遮挡概率指示所述视觉跟踪表示与所述雷达跟踪中的每一个雷达跟踪不同对象的可能性。
其中确定在所述视觉跟踪和所述雷达跟踪之间是否存在遮挡条件包括：确定所述雷达跟踪和所述视觉跟踪之间的遮挡概率是否是不使用所述视觉跟踪来跟踪所述环境中对象的证据。
4.如权利要求3所述的方法，进一步包括：
基于与所述被遮挡雷达跟踪和所述视觉跟踪在方位角上至少部分地重叠的遮挡雷达跟踪的总量和与所述被遮挡雷达跟踪在方位角上至少部分地重叠的所述雷达跟踪的总量相关联的角度重叠量来确定所述遮挡概率。
5.如权利要求4所述的方法，进一步包括：
生成成本矩阵，所述成本矩阵包括作为所述成本矩阵的特定元素在所述视觉跟踪和所述雷达跟踪之间维护的所述关联，所述成本矩阵的每个其他元素表示在所述雷达跟踪和所述视觉跟踪的对之间的另一个关联；并且
基于所述遮挡概率来确定所述雷达跟踪和所述视觉跟踪的遮挡惩罚，
其中，对在所述视觉跟踪和所述雷达跟踪之间维护的所述关联应用所述遮挡约束包括：将所述遮挡惩罚添加到所述成本矩阵的、用于在所述视觉跟踪和所述雷达跟踪之间维护的所述关联的所述特定元素，以防止使用所述视觉跟踪来跟踪所述环境中的对象。
6.如权利要求5所述的方法，
其特征在于，对在所述视觉跟踪和所述雷达跟踪之间维护的所述关联应用所述遮挡约束包括：增加所述成本矩阵中的该对的成本，以淡化在所述视觉跟踪和所述雷达跟踪之间维护的所述关联。
7.如权利要求5所述的方法，
其特征在于，所述成本矩阵的每个元素表示在与所述雷达跟踪和所述视觉跟踪的对相关联的时间状态和雷达状态之间的距离，并且由于应用所述遮挡约束而对一些元素应用了惩罚。
8.如权利要求5所述的方法，进一步包括：
所述成本矩阵的每个元素将特定视觉跟踪和特定雷达跟踪之间的关联表示为所述特定视觉跟踪和所述特定雷达跟踪的每一者的状态之间的距离；
所述雷达跟踪和所述视觉跟踪之间的所述距离对应于所述成本矩阵中特定元素的成本值；并且
雷达跟踪和视觉跟踪之间的所述距离影响遮挡概率。
9.如权利要求5所述的方法，进一步包括：
所述成本矩阵的每个元素将在特定视觉跟踪和特定雷达跟踪之间的关联表示为所述特定视觉跟踪和所述特定雷达跟踪中的每一者的位置之间的距离，并且所述特定雷达跟踪对应于所述成本矩阵中特定元素的成本值；并且
生成所述成本矩阵的每个元素的遮挡概率，所述遮挡概率基于一个或多个遮挡雷达跟踪和在所述遮挡雷达跟踪与被遮挡雷达跟踪之间的方位角重叠。
10.如权利要求1所述的方法，其特征在于，确定所述环境中在从所述其它视觉跟踪和所述其它雷达跟踪导出的位置处的对象包括：确定被遮挡在视觉传感器视野外的移动交通工具；并且
所述移动交通工具由雷达传感器检测。
11.如权利要求5所述的方法，进一步包括：
从所述成本矩阵中修改一个或多个元素，所述一个或多个元素表示具有对应的一个或多个视觉跟踪的雷达跟踪；以及
提供经修订的成本矩阵。
12.如权利要求11所述的方法，其特征在于，从所述成本矩阵中进行修改包括：通过在遮挡约束下惩罚对的所述关联成本，使得所述对以更低的可能性出现在k-最佳模式中，从而降低输入到k-最佳算法中的k-最佳算法数据的复杂度；以及
所述k-最佳算法在O(kN3)时间复杂度下被执行，其中k表示要保持的最佳模式的数量，N表示可行的雷达或视觉跟踪的数量。
13.如权利要求12所述的方法，其特征在于，从所述成本矩阵中进行修改包括：降低k-最佳算法中的复杂度，使得给定的执行时间随着模式数量增加保持不变。
14.如权利要求11所述的方法，其特征在于，提供经修订的成本矩阵包括：
响应于确定一组跟踪的遮挡概率而淡化来自所述一组跟踪的至少一个跟踪；以及
淡化来自一组跟踪的所述至少一个跟踪包括：保留所述至少一个跟踪，以用于与来自一组跟踪的不同跟踪相匹配。
15.如权利要求11所述的方法，其特征在于，查找表维护可能的遮挡雷达跟踪的列表，连同基于遮挡推理的每个雷达跟踪的潜在视觉跟踪对。
16.如权利要求15所述的方法，其特征在于，由所述交通工具的所述感知系统计算所述遮挡概率可以基于场景以及一组传感器的属性来被修改。
17.如权利要求16所述的方法，其特征在于，所述一组传感器被用于计算所述以下跟踪属性：
速度；
距离；
方位角；并且
其中所述速度、所述距离和所述方位角作为评估遮挡概率的因素。
18.如权利要求17所述的方法，其特征在于，所述一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声传感器，并且所述一组传感器包括一个或多个视觉传感器。
19.一种系统，该系统包括：
处理器，所述处理器被配置成：
由交通工具的感知系统确定为环境生成的视觉跟踪和雷达跟踪之间是否存在遮挡条件；
响应于确定在视觉跟踪和雷达跟踪之间存在遮挡条件，对在所述视觉跟踪和所述雷达跟踪之间维护的关联应用遮挡约束，所述遮挡约束有效地修改在所述视觉跟踪和所述雷达跟踪之间维护的所述关联；
在所述遮挡约束已经被应用于在所述视觉跟踪和所述雷达跟踪之间维护的所述关联之后，由所述感知系统基于在另一个视觉跟踪和另一个雷达跟踪之间维护的另一个关联，确定所述环境中在从所述另一个视觉跟踪和所述另一个雷达跟踪导出的位置处的对象；并且
输出用于所述环境中所述对象的指示，该指示用于跟踪所述对象来控制所述交通工具或启用所述交通工具的主动安全功能，以用于防止所述交通工具在所述环境中操作时与所述对象发生碰撞。
20.一种系统，包括：
用于由交通工具的感知系统确定为环境生成的视觉跟踪和雷达跟踪之间是否存在遮挡条件的装置；
响应于确定在视觉跟踪和雷达跟踪之间存在遮挡条件，用于对在所述视觉跟踪和所述雷达跟踪之间维护的关联应用遮挡约束的装置，所述遮挡约束有效地修改在所述视觉跟踪和所述雷达跟踪之间维护的所述关联；
在对在所述视觉跟踪和所述雷达跟踪之间维护的所述关联应用所述遮挡约束之后，用于由所述感知系统基于在另一个视觉跟踪和另一个雷达跟踪之间维护的另一个关联来确定所述环境中在从所述另一个视觉跟踪和所述另一个雷达跟踪导出的位置处的对象的装置；以及
用于输出所述环境中所述对象的指示的装置，该指示用于跟踪所述对象来控制所述交通工具或启用所述交通工具的主动安全功能，以用于防止所述交通工具在所述环境中操作时与所述对象发生碰撞。
CN202210656098.0A 2021-08-13 2022-06-10 用于解析来自多种类型传感器的跟踪的遮挡约束 Pending CN115704687A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163233114P 2021-08-13 2021-08-13
US63/233,114 2021-08-13
US17/457,888 2021-12-06
US17/457,888 US20230046396A1 (en) 2021-08-13 2021-12-06 Occlusion Constraints for Resolving Tracks from Multiple Types of Sensors

Publications (1)

Publication Number Publication Date
CN115704687A true CN115704687A (zh) 2023-02-17

Family

ID=81307846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210656098.0A Pending CN115704687A (zh) 2021-08-13 2022-06-10 用于解析来自多种类型传感器的跟踪的遮挡约束

Country Status (3)

Country Link
US (1) US20230046396A1 (zh)
EP (1) EP4134700A1 (zh)
CN (1) CN115704687A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
US10565468B2 (en) * 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles

Also Published As

Publication number Publication date
EP4134700A1 (en) 2023-02-15
US20230046396A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US11941985B2 (en) Vehicular environment estimation device
US20200331476A1 (en) Automatic lane change with minimum gap distance
CN112154455B (zh) 数据处理方法、设备和可移动平台
CN113228040B (zh) 多级对象行进方向估计的系统和方法
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
US20180050694A1 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
US11774582B2 (en) Imaging and radar fusion for multiple-object tracking
US10635915B1 (en) Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
CN112046481B (zh) 自动驾驶装置和方法
GB2576206A (en) Sensor degradation
US11753002B2 (en) Vehicular control system
US20220153306A1 (en) Kurtosis Based Pruning for Sensor-Fusion Systems
US20200247318A1 (en) Vehicle control device
EP4060381A1 (en) History-based identification of incompatible tracks
US20220413503A1 (en) Information processing device, information processing method, and information processing program
EP4160269A1 (en) Systems and methods for onboard analysis of sensor data for sensor fusion
CN116609777A (zh) 用于对象跟踪的多扫描传感器融合
US20220262129A1 (en) Multiple Hypothesis-Based Fusion of Sensor Data
CN115704687A (zh) 用于解析来自多种类型传感器的跟踪的遮挡约束
US20200174134A1 (en) Object recognition via indirect signal reflection
US20230147100A1 (en) Clustering Track Pairs for Multi-Sensor Track Association
US20200225342A1 (en) Object recognition device and object recognition method
US20230326346A1 (en) Track Associations at Least Partially Based on Low Confidence Detections
EP4276773A1 (en) Deep association for sensor fusion
US20240123977A1 (en) Travel controller and method for travel control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240403

Address after: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240523

Address after: 2 Pestaroz Street, Schaffhausen, Switzerland

Applicant after: Anbofu Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant before: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region before: Luxembourg