CN116804741A - 补偿异构传感器阵列中的传感器缺陷 - Google Patents

补偿异构传感器阵列中的传感器缺陷 Download PDF

Info

Publication number
CN116804741A
CN116804741A CN202310763154.5A CN202310763154A CN116804741A CN 116804741 A CN116804741 A CN 116804741A CN 202310763154 A CN202310763154 A CN 202310763154A CN 116804741 A CN116804741 A CN 116804741A
Authority
CN
China
Prior art keywords
sensor
sensors
sensor data
data
interruption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310763154.5A
Other languages
English (en)
Inventor
I·阿尔瓦雷斯
D·阿尔迪奇伊里茨基
P·A·米德
J·费利普里昂
D·冈萨雷斯阿圭里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN202310763154.5A priority Critical patent/CN116804741A/zh
Publication of CN116804741A publication Critical patent/CN116804741A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)

Abstract

本申请公开了补偿异构传感器阵列中的传感器缺陷。在实施例中，装置可包括：计算设备，用于：聚合来自各个感知流水线的感知数据以标识与待由异构传感器集合监测的空间相关联的特性，各个感知流水线中的每个感知流水线与异构传感器集合中的不同类型的传感器中的相应的一个传感器相关联；检测与传感器中的第一传感器相关联的传感器缺陷；以及响应于检测到传感器缺陷，从源自传感器中的至少一个第二传感器的传感器数据导出用于各个感知流水线中的多于一个感知流水线的下一感知数据。可公开或要求保护其他实施例。

Description

补偿异构传感器阵列中的传感器缺陷
本申请是PCT国际申请号为PCT/US2017/042849、国际申请日为2017年7月19日、进入中国国家阶段的申请号为201780092310.2，题为“补偿异构传感器阵列中的传感器缺陷”的发明专利申请的分案申请。
技术领域
本公开涉及自主或半自主装置的领域，并且更具体地涉及补偿异构传感器阵列中的传感器缺陷。
背景技术
本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。除非在本文中另有指示，否则本部分中描述的材料不是本申请中的权利要求的现有技术，并且不因为包含在本部分中而被承认为现有技术。
自主或半自主装置(诸如，自动驾驶汽车、无人驾驶飞行器(UAV，也称为无人机)或机器人)可依赖于多模态的传感器集合来感知、绘制和跟踪周围环境。传感器可包括若干类型，诸如远距离雷达、中距离雷达前端、夜视相机、摄像机、后视相机、超声、中距离雷达后端等。每种类型的传感器可具有其自身的优点和缺陷。
自主或半自主装置使用的算法(诸如，道路检测算法、车道检测算法、交通信号灯检测算法等)可取决于适当地运行的传感器集合中的传感器的特定类型。由于此依赖性，如果传感器中的一个发生故障(例如，停止生成传感器数据)，则与这些算法相关的自主或半自主装置的能力可能完全丧失。自主或半自主装置可被编程，以在此类情况下安全地停止或停靠。
附图说明
通过下列结合附图的详细描述，将容易地理解实施例。为了便于该描述，相同的附图标记指示相同的结构元件。在所附附图的各图中，通过示例的方式而非通过限制的方式来图示实施例。
图1图示出根据各实施例的配备有用于补偿异构传感器阵列中的传感器缺陷的技术的示例系统。
图2图示出根据各实施例的配备有用于补偿自主交通工具或具有自动化驾驶员警告系统的交通工具的传感器的传感器缺陷的技术的另一示例系统。
图3是示出根据各实施例的补偿传感器缺陷的过程的流程图。
图4图示出一些实施例中的传感器转换模型。
图5图示出根据各实施例的可采用本文中所描述的装置和/或方法的示例计算设备。
图6图示出根据各实施例的机动车辆的异构传感器阵列的监测区域。
具体实施方式
本文公开了与补偿异构传感器阵列中的传感器缺陷相关联的装置、方法和存储介质。在实施例中，一种用于沿轨迹导航的装置可包括：异构传感器阵列，用于监测沿所述轨迹的导航，该异构传感器阵列包括多个不同类型的传感器；以及感知引擎，用于：聚合来自各个感知流水线的感知数据以标识与轨迹相关联的特性，各个感知流水线中的每个感知流水线与传感器中的相应的一个相关联；检测与传感器中的第一传感器相关联的传感器缺陷；以及响应于检测到传感器缺陷，基于源自传感器中的至少一个第二传感器的传感器数据来导出用于各个感知流水线中的多于一个感知流水线的下一感知数据。
在以下详细描述中，参考形成本文一部分的附图，其中贯穿各附图相同的标记指示相同的部分，并且其中通过图示的方式示出了可实施的实施例。应理解，可利用其他实施例，并且可作出结构或逻辑的改变而不背离本公开的范围。因此，以下详细描述不应以限制的意义来理解，并且实施例的范围由所附权利要求及其等效方案来限定。
所附说明书中公开了本公开的多个方面。可以构想本公开的替代实施例及其等效方案而不背离本公开的精神或范围。应当注意，下文所公开的相同的要素由附图中相同的附图标记指示。
可以按在理解要求保护的主题时最有帮助的方式将各操作描述为依次的多个分立动作或操作。然而，不应将描述的次序解释为暗示这些操作必然依赖于次序。具体而言，可以不按照呈现的次序执行这些操作。能以不同于所描述的实施例的次序执行所描述的操作。在附加的实施例中，可以执行各种附加操作和/或可以省略所描述的操作。
出于本公开的目的，短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
说明书可使用短语“在实施例中”或“在多个实施例中”，其可各自指代相同或不同实施例中的一个或多个。此外，如相对于本公开的实施例所使用的术语“包含”、“包括”、“具有”等是同义的。
如本文中所使用的，术语“电路系统”可指以下各项，可以是以下各项的部分，或可包括以下各项：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或组)和/或存储器(共享的、专用的、或组)、组合逻辑电路和/或提供所描述的功能的其他合适的组件。
在利用多模态的传感器集合的设备中，设备可通过利用从一个模态获得的信息来补偿另一个模态中的传感器缺陷(例如，传感器不活动、传感器故障、传感器失效、传感器重置、与传感器中的至少一个传感器相关联的安全事件)。设备可以是交通工具(诸如，轮式道路机动车辆或越野机动车辆或诸如在轨道上运行的交通工具之类的任何其他类型的交通工具、飞机、船只、机器人等、或其组合)或者非交通工具(诸如，使用多于一种传感器类型的固定式监视系统)的组件。
在一些应用中，异构传感器阵列中的每个传感器可以监测不同的物理空间。例如，在机动车辆实施例中的异构传感器阵列中，传感器可以监测机动车辆周围的不同的物理空间，诸如，机动车辆前方的特定区域、或机动车辆后方的特定区域。可以监测机动车辆前方的各个区域的不同类型的传感器可包括：超声、摄像机(明视和/或夜视)、中距离雷达和远距离雷达等。可以监测机动车辆后方的各个区域的不同类型的传感器可包括：超声、后视相机等。一个传感器的监测区域可以与另一个传感器的监测区域重叠(例如，部分重叠)。图6图示出机动车辆周围的监测区域601-607(例如，远距离雷达区域601、中距离雷达前端区域602、夜视相机区域603、摄像机区域604、超声区域605、中距离雷达后端区域606和后视相机区域607)，其中的一些区域重叠(例如，部分重叠)。
在一些实施例中，设备可以使用传感器转换模型，以将从一个模态获得的传感器数据转换为另一个模态。在发生传感器缺陷时，传感器转换模型可以基于可用的工作传感器被激活和/或提供与缺失/有缺陷的传感器相同的输入。在其中在自主交通工具(例如，自主机动车辆)中利用传感器转换模型的实施例中，此转换可允许自主交通工具在传感器故障的情况下安全地操作，而无需修改支配自主交通工具的操作行为的逻辑。同样，自主交通工具可以不需要配备有相同类型的冗余传感器以在传感器故障的情况下安全地操作(但是在传感器缺陷影响传感器及其冗余两者的情况下，配备有相同类型的重复传感器的机动车辆当然可以利用此转换以安全操作)。
一些实施例可以利用机器学习，以便通过用可靠的人工生成的数据补偿关键输入数据的缺失来使活动传感器的丢失的影响。即使“虚拟”传感器数据的质量可能不如丢失的传感器精确，但交通工具可能仍能够维持完整的感知流水线并保持其操作能力。在进一步描述补偿技术之前，应该注意，为了易于理解，可以描述用于特定自主或半自主应用、自动驾驶汽车、UAV、机器人等的示例。在特定的自主或半自主应用中的应用展示不旨在是限制性的。通常，尽管在一个应用的上下文中描述了示例，但是该示例在各自主或半自主应用中仍然是说明性的。
图1图示出根据各实施例的配备有用于补偿异构传感器阵列1中的传感器缺陷的技术的示例系统100。系统100包括异构传感器阵列1和感知引擎15，该感知引擎15用于基于传感器阵列输出11来生成传感器数据19(例如，经建模的传感器数据)。
异构传感器阵列1可包括任何数量的不同类型的传感器5A-N。传感器5A-N可以分别生成原始传感器输出6A-N。原始传感器输出6A-N中的每一个原始传感器输出可以提供关于由传感器5A-N监测的不同的物理空间的信息。
当所有传感器5A-N正在正常操作时，传感器阵列输出11可包括所有原始传感器输出6A-N(和/或可包括基于所有原始传感器输出6A-N的经处理的信息)。然而，在传感器缺陷的情况下，传感器阵列输出11可仅包括原始传感器输出6A-N中的一些原始传感器输出(和/或可包括仅基于原始传感器输出6A-N中的一些原始传感器输出的经处理的信息)。
感知引擎15可检测传感器5A-N中的至少一个传感器的传感器缺陷。在其中感知引擎15聚合来自分别与原始传感器输出6A-N相关联的各个感知流水线的数据的实施例中，感知引擎15可通过标识各个感知流水线中的一个感知流水线中的缺口来检测传感器缺陷。替代于或者附加于基于感知流水线中的缺口来标识传感器缺陷，感知引擎15可以接收由传感器5A-N中的一个传感器或另一组件生成的控制信号，该控制信号可以指示传感器缺陷(例如，控制信号中的相应一个控制信号的上升或下降)。
在检测到传感器缺陷之后，感知引擎15可以从剩余的原始传感器输出6A-N生成与同传感器缺陷相关联的传感器相对应的传感器数据19(例如，经建模的数据)。在其他实施例中，感知引擎15可以不断地生成经建模的传感器数据，并且可以响应于检测到传感器缺陷来选择不断生成的经建模的传感器数据的一部分。感知引擎15可以响应于选择来标识传感器数据19。
传感器数据19可用于补偿传感器缺陷。例如，在包括LIDAR(光检测和测距)传感器、计算机视觉传感器(例如，单眼/立体/深度相机)和雷达传感器的机动车辆中，设备可使用由LIDAR传感器、相机或雷达中的其他传感器中一个或多个生成的传感器数据来补偿LIDAR传感器、相机或雷达中的一个的传感器缺陷。
在一些实施例中，感知引擎15可以将传感器数据19(其可以基于来自感知流水线的子集的内容来生成)往回馈送到与(多个)传感器缺陷相关联的各个感知流水线中的一个或多个感知流水线以填补感知流水线缺口或防止潜在的感知流水线缺口。然后可以聚合所有单独的感知流水线的内容，以标识与要由传感器阵列1监测的空间相关联的特性。如果在监视系统中使用异构传感器阵列1，则特性可以是物体的存在，或者如果在交通工具(例如，自主交通工具或具有自动化驾驶员警告系统的交通工具)中使用异构传感器阵列1，则特性可以是轨迹的特性(诸如，障碍是否沿该轨迹定位)。
在一些实施例中，用于向驾驶员显示数据的自动化警告系统和/或用于改变交通工具的轨迹的交通工具组件(自动制动和/或转向组件)可以接收传感器数据19或从传感器数据19导出的数据来作为输入。由该交通工具组件使用的算法(诸如，道路检测算法、车道检测算法、交通信号灯检测算法等)可以继续基于传感器数据19来运行，并且与这些算法相关的自主驾驶交通工具的能力可能不完全丧失。
在其中异构传感器阵列1用于具有多于一种传感器类型的监视系统的示例中，用于基于传感器类型来确定是否输出警报(例如，入侵警报)的监视系统组件可以接收传感器数据19或从传感器数据19导出的数据来作为输入。无论一种类型的传感器的传感器缺陷如何，监视都可以继续运行。
由于补偿，可以不需要针对特定传感器类型的冗余。例如，异构传感器阵列1可以不需要例如多于一个LIDAR传感器。然而，使用冗余仍然可以是有利的，并且在使用冗余的实施例中，感知引擎15可以仅在传感器缺陷影响传感器5A-N中的一个传感器及其冗余(或多重冗余的情况下的多个冗余)的情况下生成或标识传感器数据19。
图2图示出根据各实施例的配备有用于补偿自主交通工具或具有自动化驾驶员警告系统的交通工具的传感器25A-N的传感器缺陷的技术的另一示例系统200。交通工具可以是轮式道路机动车辆、或越野机动车辆、或诸如在轨道上运行的交通工具之类的任何其他类型的交通工具、飞机、船只、机器人等、或其组合。
传感器25A-N可以生成原始传感器输出26A-N，原始传感器输出中的一些可以具有不同的传感器类型(例如，原始传感器输出26A-N中的一个原始传感器输出，假设为原始传感器输出26A，可以用于第一传感器类型，并且原始传感器输出26A-N中的另一个原始传感器输出，假设为原始传感器输出26N，可以用于不同的第二传感器类型)。在一些示例中，第一传感器类型可以是一个LIDAR、相机、雷达等，并且其他传感器类型可以是LIDAR、相机、雷达等中的不同的一个。系统200可包括数个模块，以在感知流水线和/或规划流水线的各点上操作以创建周围环境的准确地图，标识障碍，并为车辆规划安全轨迹和/或为驾驶员标识警告。这些模块可包括多模态传感器同步模块30、障碍检测模块35A-N、物体融合模块37和物体预测模块39。
多模态传感器同步模块30可以同步原始传感器数据26A-N以生成同步的传感器数据27A-N。例如，在一些示例中，多模态传感器同步模块30可以执行缓冲或其他功能以输出传感器数据27A-N，传感器数据27A-N可包括分别用于原始传感器数据26A-N的同步帧。
在正常运行中(例如，没有传感器缺陷)，多模态传感器同步模块可以接收所有原始传感器输出26A-N，并且可以分别将各个传感器数据27A-N输出到物体检测模块35A-N。在正常运行中，障碍检测模块35A-N可以分别标识障碍数据36A-N。物体融合模块37可以将障碍数据36A-N融合为周围环境的单个障碍表示38。物体预测模块39可以基于单个障碍表示38来为驾驶员规划轨迹和/或标识警告，并且生成对一个或多个车辆组件的控制输出40(诸如，自动转向、自动制动、用于警告的显示器(视觉和/或音频)等、或其组合)来激活车辆组件，以使车辆执行安全操纵(maneuver)和/或显示警告。
在传感器缺陷的情况下，原始传感器输出26A-N中的一个或多个原始传感器输出可能不可用，并且传感器数据27A-N的子集可以由多模态传感器同步模块30输出。在一些实施例中，传感器转换模块31可以从所接收的输入32检测在一个或多个模态中的一个或多个丢失的帧(在发生传感器缺陷的情况下，输入32可包括由多模态传感器同步模块30输出的传感器数据27A-N的相同子集中的一些或该相同子集全部)。检测可以基于对来自传感器25A-N中的受影响的传感器或来自多模态传感器同步模块30的输入32和/或控制信号33的所接收的帧的分析，以指示(多个)丢失的帧。在检测到时，传感器转换模块31可以提供输出29，该输出29可包括针对与传感器缺陷相关联的传感器25A-N中的(多个)传感器的经建模的传感器数据。可以将输出29提供给分别与传感器25A-N的、同传感器缺陷相关联的(多个)传感器相关联的障碍检测模块35A-35N中的(多个)障碍检测模块。障碍检测模块35A-N中的每(多)个进行接收的障碍检测模块可以基于经建模的传感器数据来继续输出其障碍数据36A-36B的部分。
如先前所指示，在一些实施例中，传感器转换模块31可以例如响应于原始传感器数据26A-26N和/或传感器数据27A-N的流的中断来“按需”执行转换。在其他实施例中，传感器转换模块31在各模态之间不断地执行转换(例如，相机-LIDAR、相机-雷达、雷达-相机等)并响应于原始传感器数据26A-26N和/或传感器数据27A-N的流的中断来选择要提供给障碍检测模块35A-N中的相应障碍检测模块的(多个)恰当转换可以是可能且实用的。在中断之前伴随转换的实施例中，零样本转换(在其中针对其没有直接训练数据的传感器对仍产生可接受的转换的效应)可用于使用传感器转换模型来转换许多不同的传感器组合(例如一对一的传感器转换中的传感器对)，该传感器转换模型可能仅针对传感器组合的子集进行了训练。与不具有零样本转换的示例相比，零样本转换的使用可以减小待存储在交通工具上的传感器转换模型数据的尺寸。
传感器转换模块31可以是一对一传感器转换模块(例如，用于基于例如LIDAR或雷达来提供合成相机数据)、一对多传感器转换模块(例如，用于基于例如雷达来提供合成相机数据和LIDAR数据)、或多对一传感器转换模块(例如，用于基于例如LIDAR和雷达来提供合成相机数据)、或其任何组合。传感器转换模块响应于传感器缺陷而使用多于一个传感器转换模型来生成多于一个的经建模的传感器数据的集合是可能且实用的。例如，响应于相机传感器缺陷，此类传感器转换模块可使用第一传感器转换模型(LIDAR-相机转换)基于LIDAR来提供第一合成相机数据，并且使用第二传感器转换模型(雷达-相机转换)基于雷达来提供第二合成相机数据。可将此类输出与传感器特定的融合技术融合，并且可以将这两个合成相机数据融合。
输出29可包括用于向物体融合模块37指示流水线中的一个流水线与通常相比较不精确的置信度分数，这可以在融合和预测时予以考虑。同样，传感器转换模型31中的置信度评分可以在已知的延迟处发生，该延迟可以在障碍融合模型37处被考虑在内。输出29的经建模的传感器数据可以承载原始传感器数据时间戳，从而允许下游设备标识延迟并将该延迟考虑在内。
输出29可包括多于一个转换。例如，输出29的经建模的传感器数据可包括基于原始传感器数据26A-N的第一子集的第一传感器数据以及基于原始传感器数据26A-N的不同的第二子集的第二传感器数据(例如，合成LIDAR传感器数据可包括基于雷达的第一合成LIDAR传感器数据以及基于相机的第二合成LIDAR传感器数据)。障碍检测模块35A-N中的一个或多个障碍检测模块可以在生成障碍数据36A-N中的其障碍数据之前将第一传感器数据和第二传感器数据进行比较，并且包括基于障碍数据36A-N的该部分中的比较和/或对第一传感器数据和第二传感器数据中的每个传感器数据的置信度评分的信息。
图3是示出根据各实施例的补偿传感器缺陷的过程300的流程图。在框301中，诸如图1的感知引擎15之类的设备或本文描述的任何其他设备可以聚合来自各个感知流水线的感知数据以标识与待监测的空间关联的特性，各个感知流水线中每个感知流水线与异构传感器集合中的不同类型的传感器中的相应的一个传感器相关联。
在框302中，感知引擎可以监测传感器缺陷。这些可以通过检查感知数据，或通过评估控制信号，或通过其组合来实现。如果在菱形框303中未检测到传感器缺陷，则过程300返回到框301。
如果在菱形框303中检测到传感器缺陷，则在框304中，感知引擎15可响应于检测到与传感器中的第一传感器相关联的传感器缺陷，从源自传感器中的(多个)第二传感器的传感器数据导出用于各个感知流水线中的多于一个感知流水线的下一感知数据。在利用冗余的实施例中，如果存在使用相同类型的冗余传感器可减轻的传感器缺陷，则过程300可以绕过框304(如果说与受传感器缺陷影响的传感器相同类型的冗余传感器是完全可操作的，则可以绕过框304)。
过程300不仅可以针对交通工具传感器被利用，还可以针对映射重叠物理空间的任何其他多模态传感器套件被利用。这可包括但不限于监视和/或机器人技术(诸如，服务机器人)。
图4图示出一些实施例中的传感器转换模型400。可以基于神经机器转换原理来训练传感器转换模型400。传感器转换模型400可包括编码器网络41、关注网络49和解码器网络50。
可以使用诸如由LTSM(长短期记忆网络)组成的多层网络之类的RNN(递归神经网络)来形成编码器网络41和解码器网络50。编码器网络41的LTSM层可包括第一层45、一个或多个隐藏的第二层46(例如，在深度LTSM编码器中的隐藏LSTM层)和第三层47。解码器网络50的LTSM层可包括一个或多个第一层52(例如，在深度LTSM解码器中的隐藏LSTM层)、第二层53和第三层54。
编码器网络41可以输入数据56(例如，初始传感器数据)作为特定尺度(传感器分辨率)的特征向量，并且可以在帧中提取更高级别的物体信息。解码器网络50可以执行与编码器网络41相反的功能，这可包括将被抽象的帧理解转换为传感器数据输出59。
过程可以由关注网络49引导(加权)，该关注网络49可以由存储编码器网络41的隐藏层的上下文向量的多层感知器网络(MPN)组成。在输入数据56的转换期间，关注网络49可以将对于感兴趣的空间区域的权重提供给解码器网络50(权重可以是双向箭头51的一部分)。这可以允许解码器网络50在转换目标传感器输出的同时“将其视线固定”在帧上下文中的突出物体上。解码器网络50可以将通信传送到关注网络，以从关注网络49请求信息(这些请求可以是双向箭头51的一部分)。可以使用传感器的实际传感器数据来分析传感器数据输出59，作为训练过程和/或评估训练过程的一部分，传感器数据输出59将模拟到该传感器。
在一些实施例中，解码器网络41可以从输入数据56提取特征，并且学习特定传感器的信息编码建模。解码器网络41的第一层45可以提供从原始传感器数据提取的特征集。在一些实施例中，这可以使用剥离了分类层的卷积神经网络来执行。其他方法可以使用卷积自动编码器或可变自动编码器。然后可以将特征向量馈送到一个或多个第二隐藏层46(例如，深度LSTM网络)中。LSTM网络可能特别适于“忘记”不必要的信息，诸如，在特定帧处进行特征编码期间拾取的噪声伪像。由于在th处编码的信息会影响在th+1处记住的信息，因此随着时间的推移结果可以是针对特定传感器输入的信息建模的强健模型。第三层47(例如，softmax层)可以用于将各个向量分数转换成分布。编码器41在特定时刻th的输出48可以是隐藏向量henc。
在一些实施例中，关注网络49可以使解码器网络50处的特征转换关注于帧上的信息的子集。通用机制能以与人的视线环顾图片四周以描述图片类似的方式工作。在传感器数据转换的每个步骤中，关注网络49可以专注于不同的感兴趣的空间区域。关注网络49可以通过提供由以下函数支配的上下文向量/>来关注：/>其中henc i是与编码器网络41相对应的特征向量，而αi是特征向量的权重。可以通过取决于先前状态th-1的关注模型函数来计算在特定时刻th的特征向量的权重。使用此模型，在特定时刻的关注状态(感兴趣的区域)可以取决于之前转换的特征。
解码器网络50的功能可以是将传感器数据重构为特定目标传感器输出，实质上按照与来自编码器网络41相反的步骤。其中输入是来自编码器的隐藏向量henc而输出是所生成的目标传感器数据。在一些示例中，可以通过包含目标传感器模型的深度LSTM网络执行此过程。如先前所述，可以通过关注网络49操纵转换。一个或多个第一层52的结果可以是被馈送到经训练用于输出目标传感器格式的第二层53(例如，去卷积解码器网络)中的隐藏向量hdec。第三层54可以类似于第三层47。
在一些示例中，可以使用一个或多个数据中心来产生用于表示传感器转换模型400的配置数据。该配置数据可以在制造时嵌入到设备(诸如,带有传感器的交通工具、带有传感器的监视系统、带有传感器的机器人组件、或者具有多于一种类型的传感器的一些不同类型的设备)上以监测重叠的物理空间。在一些示例中，可以在制造后通过网络从(多个)数据中心将配置数据下载到设备，以提供更新。在一些示例中，设备的处理器可以重新训练传感器转换模型400。重新训练可用于补偿与输入数据的生成相关联的操作变量与室外操作(例如，不同的天气)中影响设备的传感器的操作变量之间不同的操作变量。重新训练可以与处理感知流水线同时进行或不同时进行。在同时进行的重新训练中，设备的处理器的独立处理器资源和/或不同的处理核可用于重新训练和感知流水线处理。
在一些示例中，在训练和/或重新训练传感器转换模型400之后，可以将经训练和/或经重新训练的传感器转换模型提供给以下各项的处理器组件(例如，处理器核)以监测重叠的物理空间：带有传感器的交通工具、带有传感器的监视系统、带有传感器的机器人组件、或者具有多于一种类型的传感器的一些不同类型的设备。所提供的传感器转换模型可包括拓扑的描述符，该拓扑的描述符具有隐藏层和表面层中的初始化的权重和值，这些权重和值具有通过训练和/或重新训练传感器阵列上的传感器转换的结果。在一些示例中，训练和/或重新训练可以发生在独立的处理器组件(例如，交通工具的处理器的不同核)中。接收所提供的传感器转换模型的处理组件可以利用该传感器转换模型以在运行时执行传感器转换任务。例如，该处理组件可以使用该传感器转换模型来生成置信度分数。
图5图示出根据各个实施例的可采用本文所描述的装置和/或方法(例如，与之前参考图1-4和图6所描述的任何计算设备或电子设备相关联的任何装置和/或方法)的示例计算设备500。在实施例中，示例计算设备500可以被安装在自主或半自主交通工具(即，自动驾驶汽车、UAV、机器人等)中。如所示，示例计算设备500可包括多个组件，诸如，一个或多个处理器504(示出一个)、至少一个通信芯片506以及不同类型的传感器507。至少一个通信芯片506可具有用于与网络相对接以获得经训练的传感器转换模型和/或从附加的远程传感器(未示出)接收原始传感器数据的接口。
在各实施例中，一个或多个处理器504各自可包括一个或多个处理器核。在各实施例中，至少一个通信芯片506可物理地或电气地耦合至一个或多个处理器504。在进一步的实现中，至少一个通信芯片506可以是一个或多个处理器504的一部分。在各实施例中，计算设备500可包括印刷电路板(PCB)502。对于这些实施例，可以将一个或多个处理器504和至少一个通信芯片506设置在印刷电路板上。
取决于其应用，计算设备500可包括可物理地且电气地耦合至PCB 502或可以不物理地且电气地耦合至PCB 502的其他组件。这些其他组件包括但不限于：存储器控制器(未示出)、易失性存储器(例如，动态随机存取存储器(DRAM)520)、诸如闪存522之类的非易失性存储器、硬件加速器524、I/O控制器(未示出)、数字信号处理器(未示出)、密码协处理器(未示出)、图形处理器530、一个或多个天线528、显示器(未示出)、触摸屏显示器532、触摸屏控制器546、电池536、音频编解码器(未示出)、视频编解码器(未示出)、全球定位系统(GPS)设备540、罗盘542、加速度计(未示出)、陀螺仪(未示出)、扬声器550和大容量存储设备(诸如，硬盘驱动器、固态驱动器、紧凑盘(CD)、数字多功能盘(DVD))(未示出)等等。
在一些实施例中，一个或多个处理器504、DRAM 520、闪存522和/或存储设备(未示出)可包括存储编程指令的相关联的固件(未示出)，这些编程指令被配置成用于使计算设备500能够响应于由一个或多个处理器504执行编程指令来执行本文中所描述的方法，诸如补偿异构传感器阵列中的传感器缺陷。在各实施例中，这些方面可以附加地或可替代地使用与一个或多个处理器504、闪存512或存储设备511分开的硬件(诸如，硬件加速器524(其可以是现场可编程门阵列(FPGA)))来实现。
至少一个通信芯片506可启用有线和/或无线通信，以用于往返于计算设备500的数据传递。术语“无线”和其衍生词可用于描述可通过使用通过非固态介质的调制的电磁辐射来传递数据的电路、设备、系统、方法、技术、通信信道等。该术语不意指相关联的设备不包含任何线，尽管在一些实施例中，它们可以不包含任何线。至少一个通信芯片506可实现多种无线标准或协议的任何一个，包括但不限于IEEE 702.20、长期演进(LTE)、LTE高级(LTE-A)、通用分组无线服务(GPRS)、演进数据最优化(Ev-DO)、演进型高速分组接入(HSPA+)、演进型高速下行链路分组接入(HSDPA+)、演进型高速上行链路分组接入(HSUPA+)、全球移动通信系统(GSM)、GSM演进增强型数据速率(EDGE)、码分多址(CDMA)、时分多址(TDMA)、数字增强型无绳电信(DECT)、全球微波互联接入(WiMAX)、蓝牙、其衍生物、以及被指定为3G、4G、5G以及更高世代的任何其他无线协议。至少一个通信芯片506可包括多个通信芯片506。例如，第一通信芯片506可专用于诸如Wi-Fi和蓝牙的较短距离无线通信，而第二通信芯片506可专用于诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO及其他的较长距离无线通信。
在各实现中，计算设备500可以是交通工具的组件、机器人的组件、监视系统的组件、膝上型计算机、上网本、笔记本、超级本、智能电话、计算平板、个人数字助理(PDA)、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元(例如，游戏控制台或汽车娱乐单元)、数码相机、家电、便携式音乐播放器或数字录像机。在进一步的实现中，计算设备500可以是处理数据的任何其他电子设备。
一个或多个网络和/或数据中心(类似于本文所述的任何网络和/或数据中心，诸如，参照图4描述的那些网络和/或数据中心)可用于生成将由计算设备500使用的传感器转换模型。这些网络和/或数据中心可包括分布式计算设备的系统，这些分布式计算设备各自可包括与计算设备500组件中的任何一个相似的组件。网络和/或数据中心的计算设备可能不需要传感器507，因为此类计算设备可以接收从计算设备500或具有类似于传感器507的传感器的某个其他类似的计算设备(假如为计算设备500的原型)收集的输入传感器数据。
可以利用一个或多个计算机可用介质或计算机可读介质的任何组合。计算机可用介质或计算机可读介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体的示例(非排他性列表)将包括下述项：具有一条或多条线的电连接件、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储设备、诸如支持互联网或内联网的传输介质的传输介质、或磁存储设备。注意，计算机可用或计算机可读介质甚至可以是其上打印有程序的纸张或另一合适的介质，因为程序可以经由例如对纸张或其他介质的光学扫描而被电子地捕获，随后如有必要被编译、解释，或以其他合适的方式处理，并随后存储在计算机存储器中。在本文档的上下文中，计算机可用介质或计算机可读介质可以是可以包含、存储、通信、传播、或传输程序以供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备一起使用的任何介质。计算机可用介质可包括被传播的数据信号与随其具体化在基带中或作为载波的一部分的计算机可用程序代码。可使用任何合适的介质(包括但不限于无线、有线、光纤缆线、RF等)来传送该计算机可用程序代码。
用于执行本公开的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，该一种或多种编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言的常规的过程编程语言。该程序代码可完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立式软件包执行，部分地在用户的计算机上并且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一场景中，可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))将远程计算机连接至用户的计算机，或可(例如，通过使用互联网服务提供商的互联网)进行至外部计算机的连接。
示例
示例1是一种用于补偿异构传感器阵列中传感器缺陷的装置。该装置可包括：异构传感器阵列，用于监测物理空间，该异构传感器阵列包括多个不同类型的传感器；以及感知引擎，用于：聚合来自各个感知流水线的感知数据以标识与物理空间相关联的特性，各个感知流水线中的每个感知流水线与传感器中的相应的一个传感器相关联；检测与传感器中的第一传感器相关联的传感器缺陷；以及响应于检测到传感器缺陷，基于源自传感器中的至少一个第二传感器的传感器数据来导出用于各个感知流水线中的多于一个感知流水线的下一感知数据。
示例2包括示例1(或本文所述的任何其他示例)的主题，进一步包括感知引擎用于：响应于检测到传感器缺陷，访问传感器转换模型以将针对至少一个第二传感器的传感器数据转换成针对第一传感器的合成传感器数据，其中第一传感器的感知流水线的下一感知数据基于合成传感器数据。
示例3包括示例1-2的任一项(或本文所述的任何其他示例)的主题，其中传感器转换模型包括以下至少一者：雷达-LIDAR(光检测和测距)转换模型、LIDAR-相机转换模型、或相机-LIDAR转换模型。
示例4包括示例1-3的任一项(或本文所述的任何其他示例)的主题，其中传感器中的至少一个第二传感器包括多个传感器，其中多个传感器中的每个传感器与第一传感器不同。
示例5包括示例1-4的任一项(或本文所述的任何其他示例)的主题，其中感知数据包括障碍数据，并且其中物理空间包括与轨迹相关联的物理空间，并且其中与物理空间相关联的特性包括障碍特性。
示例6包括示例1-5中任一项(或本文所述的任何其他示例)的主题，进一步包括感知引擎用于：响应于检测到传感器缺陷，标识与第一传感器相同类型的冗余传感器是否可用；以及响应于与第一传感器相同类型的冗余传感器不可用而访问传感器转换模型。
示例7包括示例1-6中任一项(或本文所述的任何其他示例)的主题，其中传感器缺陷基于以下至少一项：传感器不活动、传感器故障、传感器失效、传感器重置、或与传感器中的至少一个传感器相关联的安全事件。
示例8包括示例1-7中任一项(或本文所述的任何其他示例)的主题，其中感知引擎包括处理器以及由该处理器操作的一个或多个感知模块。
示例9包括示例1-8中任一项(或本文所述的任何其他示例)的主题，其中装置包括自主或半自主移动设备。
示例10包括示例1-9中任一项(或本文所述的任何其他示例)的主题，其中装置包括交通工具，该交通工具包含用于基于特性的标识来向驾驶员显示数据的自动化警告系统。
示例11是一种用于补偿异构传感器阵列中传感器缺陷的计算机可读介质。计算机可读介质可包括可执行指令，其中指令响应于由处理器的执行而使该处理器：聚合来自各个感知流水线的感知数据以标识与待由异构传感器集合监测的空间相关联的特性，各个感知流水线中的每个感知流水线与异构传感器的集合中的不同类型的传感器中的相应的一个传感器相关联；检测与传感器中的第一传感器相关联的传感器缺陷；以及响应于检测到传感器缺陷，从源自传感器中的至少一个第二传感器的传感器数据导出用于各个感知流水线中的多于一个感知流水线的下一感知数据。
示例12包括示例11(或本文所述的任何其他示例)的主题，其中感知数据包括以下至少一者：监视数据、或通过监测设备沿轨迹的导航而获得的数据。
示例13包括示例11-12(或本文所述的任何其他示例)的主题，其中指令进一步使处理器：响应于检测到传感器缺陷，访问传感器转换模型以将针对至少一个第二传感器的传感器数据转换成针对第一传感器的模拟的传感器数据，其中第一传感器的感知流水线的下一感知数据基于模拟的传感器数据。
示例14包括示例11-13的任一项(或本文所述的任何其他示例)的主题，其中传感器转换模型包括以下至少一者：雷达-LIDAR(光检测和测距)转换模型、LIDAR-相机转换模型、或相机-LIDAR转换模型。
示例15包括示例11-14中任一项(或本文所述的任何其他示例)的主题，其中指令进一步使处理器：响应于检测到传感器缺陷，标识与第一传感器相同类型的冗余传感器是否可用；以及响应于与第一传感器相同类型的冗余传感器不可用而访问传感器转换模型。
示例16是用于补偿异构传感器阵列中传感器缺陷的装置。该装置可包括：物体预测模块，用于输出将被用于轨迹规划系统或驾驶员警告系统中的至少一个的信息；物体融合模块，耦合至物体预测模块的输入，用于聚合来自各个感知流水线的感知数据，并且将经聚合的感知数据输出到物体预测模块，各个感知流水线中的每个感知流水线与异构传感器集合中的不同类型的传感器中的一个传感器相关联；多个物体检测模块，耦合至物体融合模块的输入，每个物体检测模块用于生成各个感知流水线中的相应的一个感知流水线的信息；以及传感器转换模型，选择性地耦合至多个物体检测模块的至少一个输入，该传感器转换模型用于响应于传感器缺陷，将基于异构传感器集合中的第一传感器的原始传感器数据的信息转换为针对异构传感器集合中的第二传感器的合成的传感器数据，该传感器缺陷与第二传感器相关联。
示例17包括示例16中任一项(或本文所述的任何其他示例)的主题，进一步包括多模态传感器同步模块，该多模态传感器同步模块选择性地耦合至传感器转换模型的输入，该多模态传感器同步模块用于基于原始传感器数据生成信息。
示例18包括示例16-17中任一项(或本文所述的任何其他示例)的主题，其中异构传感器的集合中的传感器的输出耦合至多模态传感器同步模块的输入。
示例19包括示例16-18中任一项(或本文所述的任何其他示例)的主题，其中传感器转换模型包括一对多传感器转换模型。
示例20包括示例16-19的任一项(或本文所述的任何其他示例)的主题，其中传感器转换模型包括以下至少一者：雷达-LIDAR(光检测和测距)转换模型、LIDAR-相机转换模型、或相机-LIDAR转换模型。
示例21是一种用于补偿异构传感器阵列中传感器缺陷的设备。该设备可包括：自动制动和/或转向组件；以及异构传感器阵列，用于监测设备沿轨迹的导航，该异构传感器阵列包括多个不同类型的传感器；以及感知引擎，用于：聚合来自各个感知流水线的感知数据以标识与轨迹相关联的特性，各个感知流水线中的每个感知流水线与传感器中的相应的一个相关联，；检测与传感器中的第一传感器相关联的传感器缺陷；基于源自传感器中的至少一个第二传感器的传感器数据来导出用于各个感知流水线中的多于一个感知流水线的下一感知数据；以及基于下一感知数据来控制自动制动和/或转向组件。
示例22包括示例21(或本文所述的任何其他示例)的主题，进一步包括处理器用于：响应于检测到传感器缺陷，访问传感器转换模型以将针对至少一个第二传感器的传感器数据转换成针对第一传感器的合成传感器数据，其中第一传感器的感知流水线的下一感知数据基于合成传感器数据。
示例23包括示例21-22的任一项(或本文所述的任何其他示例)的主题，其中传感器转换模型包括以下至少一者：雷达-LIDAR(光检测和测距)转换模型、LIDAR-相机转换模型、或相机-LIDAR转换模型。
示例24包括示例21-23中任一项(或本文所述的任何其他示例)的主题，其中传感器缺陷基于以下至少一者：传感器不活动、传感器故障、传感器失效、传感器重置、或与传感器中的至少一个传感器相关联的安全事件。
示例25包括示例21-24中任一项(或本文所述的任何其他示例)的主题，其中传感器转换模型包括一对多传感器转换模型。
示例26是一种用于补偿异构传感器阵列中传感器缺陷的设备。该设备可包括：用于聚合来自各个感知流水线的感知数据以标识与待由异构传感器集合监测的空间相关联的特性的装置，各个感知流水线中的每个感知流水线与异构传感器集合中的不同类型的传感器中的相应的一个传感器相关联；以及用于响应于检测到传感器缺陷的检测而从源自传感器中的至少一个第一传感器的传感器数据导出用于各个感知流水线中的多于一个感知流水线的下一感知数据的装置，该传感器缺陷与传感器中的不同的第二传感器相关联。
示例27包括示例26(或本文所述的任何其他示例)的主题，其中感知数据包括以下至少一者：监视数据、或通过监测设备沿轨迹的导航而获得的数据。
示例28包括示例26-27中任一项(或本文所述的任何其他示例)的主题，进一步包括用于响应于检测到传感器缺陷而将针对至少一个第二传感器的传感器数据转换为针对第一传感器的传感器数据的装置，其中第一传感器的感知流水线的下一感知数据基于传感器数据。
示例29包括示例26-28的任一项(或本文所述的任何其他示例)的主题，其中用于转换的装置包括以下至少一者：雷达-LIDAR(光检测和测距)转换模型、LIDAR-相机转换模型、或相机-LIDAR转换模型。
示例30包括示例26-29的任一项(或本文所述的任何其他示例)的主题，进一步包括用于响应于检测到传感器缺陷而标识与第二传感器相同类型的冗余传感器是否可用的装置；以及用于响应于与第二传感器相同类型的冗余传感器不可用而访问传感器转换模型的装置。
示例31是一种用于补偿异构传感器阵列中传感器缺陷的方法。该方法可包括：聚合来自各个感知流水线的感知数据以标识与待由异构传感器集合监测的空间相关联的特性，各个感知流水线中的每个感知流水线与异构传感器集合中的不同类型的传感器中的相应的一个传感器相关联；以及响应于检测到传感器缺陷，从源自传感器中的至少一个第一传感器的传感器数据导出用于各个感知流水线中的多于一个感知流水线的下一感知数据，该传感器缺陷与传感器中的不同的第二传感器相关联。
示例32包括示例31(或本文所述的任何其他示例)的主题，其中感知数据包括以下至少一者：监视数据、或通过监测设备沿轨迹的导航而获得的数据。
示例33包括示例31-32中任一项(或本文所述的任何其他示例)的主题，进一步包括：响应于检测到传感器缺陷，将针对至少一个第二传感器的传感器数据转换为针对第一传感器的传感器数据，其中第一传感器的感知流水线的下一感知数据基于传感器数据。
示例34包括示例31-33的任一项(或本文所述的任何其他示例)的主题，其中转换利用以下至少一者：雷达-LIDAR(光检测和测距)转换模型、LIDAR-相机转换模型、或相机-LIDAR转换模型。
示例35包括示例31-34中任一项(或本文所描述的任何其他示例)的主题，进一步包括：响应于检测到传感器缺陷，标识与第二传感器相同类型的冗余传感器是否可用；以及响应于与第二传感器相同类型的冗余传感器不可用而访问传感器转换模型。
虽然出于描述的目的已经说明和描述了某些实施例，但经计算以实现相同目的的各种各样的替代和/或等效实施例或实现方式可替代所示和所描述的实施例，而不背离本公开的范围。本申请旨在涵盖本文中所讨论的实施例的任何修改或变体。因此，明确地旨在仅由权利要求来限定本文所描述的实施例。
在本公开记载“一个”或“第一”要素或其等效物的情况下，这种公开包括一个或多个此类要素，既不要求也不排除两个或更多个此类要素。此外，所标识的要素的顺序指示符(例如，第一、第二或第三)用于在要素之间进行区分，并且不指示或暗示所要求或所限定数量的此类要素，也不指示此类要素的特定位置或顺序，除非另外特别声明。

Claims (25)

1.一种装置，包括：
异构传感器阵列，用于监测物理空间，所述异构传感器阵列包括多个传感器，其中所述多个传感器中的至少一个传感器是与所述多个传感器中的另一个传感器不同类型的传感器；以及
感知电路系统，所述感知电路系统连接到所述异构传感器阵列，其中所述感知电路系统用于：
通过对应的感知流水线馈送由所述多个传感器中的相应的传感器生成的传感器数据以检测物体；
检测与所述多个传感器中的第一传感器相关联的第一传感器数据的中断；以及
响应于检测到所述中断，使用与所述多个传感器中的第二传感器相关联的第二传感器数据来补偿所述第一传感器数据的中断。
2.如权利要求1所述的装置，其中，所述对应的感知流水线中的每个感知流水线用于：基于由所述相应的传感器生成的传感器数据来检测一个或多个物体。
3.如权利要求1所述的装置，其中，所述感知电路系统用于将由所述对应的感知流水线中的每个感知流水线输出的检测数据融合为周围环境的单个表示。
4.如权利要求1所述的装置，其中，感知流水线包括用于跨传感器以及随时间进展关联物体的长短期记忆网络LSTM模型。
5.如权利要求1所述的装置，其中，感知流水线包括包含编码器网络、关注网络和解码器网络的深度学习模型。
6.如权利要求1所述的装置，其中，感知流水线用于：响应于检测到所述中断，访问用于将所述第二传感器数据转换为合成的第一传感器数据的传感器转换模型，其中所述合成的第一传感数据用于补偿所述第一传感器数据的中断。
7.如权利要求6所述的装置，其中，所述传感器转换模型是包括编码器网络、关注网络和解码器网络的深度学习模型。
8.如权利要求7所述的装置，其中，所述装置包括用于操作所述对应的感知流水线或所述传感器转换模型的至少一个处理器。
9.如权利要求1所述的装置，其中，所述第一传感器数据的中断基于以下至少一项：所述第一传感器数据的缺失部分、所述第一传感器数据的损坏部分、所述第一传感器数据之中的有噪声数据、所述第一传感器数据的对于物体检测不可靠的部分、或者所述第一传感器数据被确定为不可用于感知。
10.如权利要求1所述的装置，其中，所述第一传感器数据的中断基于以下至少一项：所述第一传感器的不活动、所述第一传感器的故障、所述第一传感器的失效、所述第一传感器的重置、或者与所述第一传感器相关联的安全事件。
11.如权利要求1所述的装置，其中，所述装置被设置在自主或半自主驾驶交通工具、机器人或移动设备中。
12.一种或多种非暂态计算机可读介质NTCRM，包括指令，其中由计算设备的一个或多个处理器对所述指令的执行使得所述计算设备：
促进由多个传感器中的相应的传感器生成的传感器数据流向对应的物体检测器，其中所述多个传感器中的至少一个传感器是与所述多个传感器中的至少另一个传感器不同类型的传感器；
检测与所述多个传感器中的第一传感器相关联的第一传感器数据的中断；以及
响应于检测到所述中断，使用与所述多个传感器中的第二传感器相关联的第二传感器数据来补偿所述第一传感器数据的中断。
13.如权利要求12所述的一种或多种NTCRM，其中，所述指令的执行用于使所述计算设备操作所述对应的物体检测器中的每个物体检测器以：
基于由所述相应的传感器生成的传感器数据来检测一个或多个物体。
14.如权利要求12所述的一种或多种NTCRM，其中，所述指令的执行用于使所述计算设备操作所述对应的物体检测模块中的每个物体检测模块以：
随时间进展对由所述对应的物体检测器中的每个物体检测器输出的检测数据执行数据融合以融合为周围环境的单个表示。
15.如权利要求12所述的一种或多种NTCRM，其中，所述第一传感器数据的中断基于以下至少一项：所述第一传感器数据的缺失部分、所述第一传感器数据的损坏部分、所述第一传感器数据之中的有噪声数据、所述第一传感器数据的对于物体检测不可靠的部分、或者所述第一传感器数据被确定为不可用于感知、所述第一传感器的不活动、所述第一传感器的故障、所述第一传感器的失效、所述第一传感器的重置、或者与所述第一传感器相关联的安全事件。
16.如权利要求12所述的一种或多种NTCRM，其中，所述指令的执行使得所述计算设备：
操作用于跨传感器以及随时间进展关联物体的长短期记忆网络LSTM模型。
17.如权利要求12所述的一种或多种NTCRM，其中，所述指令的执行使得所述计算设备：
操作传感器转换模型以将所述第二传感器数据转换为合成的第一传感器数据，其中所述合成的第一传感数据用于补偿所述第一传感器数据的中断。
18.如权利要求17所述的一种或多种NTCRM，其中，所述传感器转换模型是包括编码器网络、关注网络和解码器网络的深度学习模型。
19.一种计算系统，包括：
接口电路系统，用于将所述计算系统连接到一个或多个机械组件，并将所述计算系统连接到用于监测自主或半自主系统周围的物理空间的异构传感器阵列，其中，所述异构传感器阵列包括多个传感器，其中所述多个传感器中的至少一个传感器是与所述多个传感器中的其他传感器不同类型的传感器；以及
感知电路系统，经由所述接口电路系统被连接到所述异构传感器阵列，其中所述感知电路系统用于：
通过对应的感知流水线将由所述多个传感器中的相应的传感器生成的传感器数据馈送到对应的物体检测器；
检测与所述多个传感器中的第一传感器相关联的第一传感器数据的中断；
响应于检测到所述中断，使用与所述多个传感器中的第二传感器相关联的第二传感器数据来补偿所述第一传感器数据的中断；
基于由所述对应的物体检测器输出的感知数据来确定轨迹，其中，所述感知数据基于对被中断的第一传感器数据的补偿；以及
基于所确定的轨迹来控制所述一个或多个机械组件。
20.如权利要求19所述的计算系统，其中，所述一个或多个机械组件包括推进系统、转向机构和制动机构中的一个或多个。
21.如权利要求19所述的计算系统，其中，所述对应的对象检测器中的每个对象检测器用于：基于由所述相应的传感器生成的传感器数据来检测一个或多个物体。
22.如权利要求19所述的计算系统，其中，所述感知电路系统用于将由所述对应的对象检测器中的每个对象检测器输出的感知数据馈送到数据融合模块，所述数据融合模块用于随时间进展将所述感知数据融合为周围环境的单个表示。
23.如权利要求19所述的计算系统，其中，所述感知电路系统包括用于跨传感器以及随时间进展关联物体的长短期记忆网络LSTM模型。
24.如权利要求19所述的计算系统，其中，所述感知电路系统用于操作深度学习模型，其中，所述深度学习模型包括编码器网络、关注网络和解码器网络。
25.如权利要求19所述的计算系统，其中，所述深度学习模型是传感器转换模型，并且所述感知电路系统用于操作所述传感器转换模型以将所述第二传感器数据转换为合成的第一传感器数据，其中，所述合成第一传感器数据用于补偿所述第一传感器数据的中断。
CN202310763154.5A 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷 Pending CN116804741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310763154.5A CN116804741A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202310763154.5A CN116804741A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷
CN201780092310.2A CN111033298A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷
PCT/US2017/042849 WO2019017935A1 (en) 2017-07-19 2017-07-19 COMPENSATION OF SENSOR DEFICIENCY IN A NETWORK OF HETEROGENEOUS SENSORS

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780092310.2A Division CN111033298A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷

Publications (1)

Publication Number Publication Date
CN116804741A true CN116804741A (zh) 2023-09-26

Family

ID=65016509

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310763154.5A Pending CN116804741A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷
CN201780092310.2A Pending CN111033298A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780092310.2A Pending CN111033298A (zh) 2017-07-19 2017-07-19 补偿异构传感器阵列中的传感器缺陷

Country Status (4)

Country Link
US (2) US11474202B2 (zh)
EP (2) EP4325252A3 (zh)
CN (2) CN116804741A (zh)
WO (1) WO2019017935A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197631A (zh) * 2023-11-06 2023-12-08 安徽蔚来智驾科技有限公司 多模态传感器融合感知方法、计算机设备、介质及车辆

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11474202B2 (en) * 2017-07-19 2022-10-18 Intel Corporation Compensating for a sensor deficiency in a heterogeneous sensor array
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
US10839262B2 (en) * 2018-04-24 2020-11-17 Here Global B.V. Machine learning a feature detector using synthetic training data
DE102019107443A1 (de) * 2019-03-22 2020-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betrieb eines Roboters mit verbesserter Objektdetektion
JP7241597B2 (ja) * 2019-04-23 2023-03-17 東京エレクトロン株式会社 制御方法、計測方法、制御装置及び熱処理装置
KR102635388B1 (ko) * 2019-10-24 2024-02-13 현대모비스 주식회사 자동차용 센서 통합 모듈 및 이를 이용한 시스템
US11308363B2 (en) 2020-03-26 2022-04-19 Intel Corporation Device and method for training an object detection model
CN112519803A (zh) 2021-01-07 2021-03-19 蔚来汽车科技(安徽)有限公司 自动驾驶控制系统及自动驾驶控制装置
US11814086B1 (en) * 2022-10-20 2023-11-14 Rivian Ip Holdings, Llc Middleware software layer for vehicle autonomy subsystems

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (de) * 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JP2003329773A (ja) * 2002-05-10 2003-11-19 Hitachi Ltd 複数の距離検知センサを設置した車両制御装置
DE102010007520B3 (de) * 2010-02-11 2011-05-05 Sick Ag Sicherheitssteuerung mit einer Vielzahl von Anschlüssen für Sensoren
US8536988B2 (en) * 2010-05-20 2013-09-17 Raytheon Bbn Technologies Corp. Self-organizing extensible distributed sensor array architecture
US20140032167A1 (en) * 2011-04-01 2014-01-30 Physical Sciences, Inc. Multisensor Management and Data Fusion via Parallelized Multivariate Filters
EP2604478B2 (de) * 2011-12-13 2021-03-31 Aptiv Technologies Limited Verfahren zur erkennung von funktionsfehlern einer multisensoranordnung
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
KR101470190B1 (ko) 2013-07-09 2014-12-05 현대자동차주식회사 자율주행 시스템의 고장 처리 장치 및 그 방법
US9406177B2 (en) * 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
WO2015156795A1 (en) * 2014-04-09 2015-10-15 Empire Technology Development, Llc Sensor data anomaly detector
US20160048399A1 (en) * 2014-08-15 2016-02-18 At&T Intellectual Property I, L.P. Orchestrated sensor set
US9857181B2 (en) * 2015-08-11 2018-01-02 Gm Global Technology Operations Llc. Methods and apparatus for evaluating operation of a vehicle onboard navigation system using lateral offset data
US9914475B2 (en) * 2015-10-05 2018-03-13 Delphi Technologies, Inc. Humanized steering model for automated vehicles
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
KR101786237B1 (ko) * 2015-12-09 2017-10-17 현대자동차주식회사 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법
US10310087B2 (en) * 2017-05-31 2019-06-04 Uber Technologies, Inc. Range-view LIDAR-based object detection
US11474202B2 (en) * 2017-07-19 2022-10-18 Intel Corporation Compensating for a sensor deficiency in a heterogeneous sensor array

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197631A (zh) * 2023-11-06 2023-12-08 安徽蔚来智驾科技有限公司 多模态传感器融合感知方法、计算机设备、介质及车辆
CN117197631B (zh) * 2023-11-06 2024-04-19 安徽蔚来智驾科技有限公司 多模态传感器融合感知方法、计算机设备、介质及车辆

Also Published As

Publication number Publication date
EP4325252A2 (en) 2024-02-21
WO2019017935A1 (en) 2019-01-24
US11994615B2 (en) 2024-05-28
EP3655795A4 (en) 2021-02-24
US20200200869A1 (en) 2020-06-25
US20230123665A1 (en) 2023-04-20
US11474202B2 (en) 2022-10-18
CN111033298A (zh) 2020-04-17
EP3655795A1 (en) 2020-05-27
EP4325252A3 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
US11994615B2 (en) Compensating for a sensor deficiency in a heterogeneous sensor array
US11966673B2 (en) Sensor simulation and learning sensor models with generative machine learning methods
US20220019893A1 (en) Distance estimation to objects and free-space boundaries in autonomous machine applications
US10671068B1 (en) Shared sensor data across sensor processing pipelines
EP3577528B1 (en) Enabling remote control of a vehicle
EP3974869A1 (en) Perception system error detection and re-verification
US11176007B2 (en) Redundant processing fabric for autonomous vehicles
WO2022061277A1 (en) Measuring the effects of augmentation artifacts on a machine learning network
CN110936959B (zh) 车辆感知系统在线诊断和预测
US20210078611A1 (en) Detecting out-of-model scenarios for an autonomous vehicle
US11693470B2 (en) Voltage monitoring over multiple frequency ranges for autonomous machine applications
WO2024015632A1 (en) Surround scene perception using multiple sensors for autonomous systems and applications
CN116776151A (zh) 可与车外人员进行自主交互的自动驾驶模型和训练方法
US20230001950A1 (en) Using predictive visual anchors to control an autonomous vehicle
US20220340149A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
US20210103738A1 (en) Autonomous system terminus assistance techniques
US20210012220A1 (en) Rules-based structured data filtering in an autonomous vehicle
WO2022061289A1 (en) Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
US20240020255A1 (en) Dynamic skew realignment over multiple transmission lanes in integrated computing platforms
US20240161341A1 (en) Sensor calibration for autonomous systems and applications
US11603119B2 (en) Method and apparatus for out-of-distribution detection
US20240012415A1 (en) True vision autonomous mobile system
WO2023206346A1 (en) Detecting hardware faults in data processing pipelines
CN114604241A (zh) 车辆驾驶风险评估方法、装置、电子设备及边缘计算设备
WO2022226238A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination