CN111670382A - 用于车辆自动化和故障操作自动化的架构 - Google Patents

用于车辆自动化和故障操作自动化的架构 Download PDF

Info

Publication number
CN111670382A
CN111670382A CN201980008137.2A CN201980008137A CN111670382A CN 111670382 A CN111670382 A CN 111670382A CN 201980008137 A CN201980008137 A CN 201980008137A CN 111670382 A CN111670382 A CN 111670382A
Authority
CN
China
Prior art keywords
sensor
data
view
cartridge
sensor cartridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980008137.2A
Other languages
English (en)
Other versions
CN111670382B (zh
Inventor
F·A·穆吉卡
M·P·克洛斯基
P·A·贝克
J·Y·邝
L·W·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111670382A publication Critical patent/CN111670382A/zh
Application granted granted Critical
Publication of CN111670382B publication Critical patent/CN111670382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

在实施方案中，用于车辆的自动化系统可以采用各种多样性来增强该车辆的自动化操作中的可靠性、准确性和稳定性。例如，在实施方案中，用于车辆的自动化系统可以包括具有重叠视场的多个传感器盒。在实施方案中，每个传感器盒可以包括多个不同的传感器，从而提供该车辆周围的环境的多个视图。具有重叠视场的传感器盒的集合也可以在不同的时间点传输其对象数据，从而提供时间上的多样性。其他区域中的冗余，诸如将该传感器盒连接到自动化控制器的网络交换机，也可能有助于提供故障操作功能。在实施方案中，该传感器盒可以包括本地处理以将由该传感器捕获的该数据处理成对象识别。

Description

用于车辆自动化和故障操作自动化的架构
背景技术
技术领域
本文所述的实施方案涉及车辆自动化。
背景技术
随着更多的公司参与自动化解决方案的开发，车辆自动化的进展迅速地进行。通常，车辆自动化可能需要对车辆操作环境(例如，道路路线、其他车辆、固定对象、道路中的障碍物等)进行高度准确的感测。当车辆内的部件发生故障时，也要求车辆的控制机构具有高度准确性并且能够抵抗故障，从而保持对车辆的控制并继续安全操作或使车辆安全地停止。这些挑战也需要通过可批量生产的经济且高效的系统来解决。
发明内容
在实施方案中，用于车辆的自动化系统可以采用各种多样性来增强车辆的自动化操作中的可靠性、准确性和稳定性。例如，在实施方案中，用于车辆的自动化系统可以包括具有重叠视场的多个传感器盒。在实施方案中，每个传感器盒可以包括多个不同的传感器，从而提供车辆周围的环境的多个视图。重叠视场可以在传感器盒的故障的情况下提供帮助，因为由发生故障的传感器盒监视的区域至少部分被仍在运行的传感器盒覆盖。重叠视场还可以提供环境中的对象的多个视图，这可以允许在实施方案中验证各种传感器盒和/或丢弃来自与其他传感器盒不一致的传感器盒的数据。具有重叠视场的传感器盒的集合也可以在不同的时间点传输其对象数据，从而提供时间上的多样性。其他区域中的冗余，诸如将传感器盒连接到自动化控制器的网络交换机，也可能有助于提供故障操作功能。在一些实施方案中，也可以使用多种传感器处理算法来提供算法意义上的多样性。
在实施方案中，传感器盒可以包括本地处理以将由传感器捕获的数据处理为对象识别。可以显著减小在传感器盒和自动化控制器之间传送的数据量，从而减小传感器盒和自动化控制器之间所需的带宽。在实施方案中，传感器盒和自动化控制器之间的处理分布还可以减小在自动化控制器中实现的处理能力的量。
附图说明
下面的详细描述参照附图，现在对这些附图进行简要说明。
图1是车辆的一个实施方案与自动化系统的一个实施方案的框图。
图2是车辆的另一个实施方案与自动化系统的另一个实施方案的框图。
图3是传感器盒的一个实施方案的框图。
图4是示出针对一个实施方案的传感器盒中的传感器数据的处理的框图。
图5是到自动化控制器的传感器数据帧转移的一个实施方案的框图。
图6是以高水平示出传感器盒处理的一个实施方案的操作的流程图。
图7是以高水平示出自动化控制器处理的一个实施方案的操作的流程图。
图8是自动化控制器的一个实施方案的框图。
图9是与自动化控制器中的网络交换机的传感器网络连接的若干示例性实施方案的框图。
图10是计算机可访问存储介质的一个实施方案的框图。
图11是示出传感器盒中的处理器多样化的一个实施方案的框图。
图12是示出自动化控制器中的处理器多样化的一个实施方案的框图。
尽管本公开中所述的实施方案可受各种修改形式和另选形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的具体实施方式不旨在将实施方案限制为所公开的特定形式，而相反，本发明旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”、“包含”是指包括但不限于。如本文所用，术语“第一”、“第二”等充当其之后的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)，除非有明确指出。
在本公开内，不同实体(其可被不同地称为“单元”、“电路”、其他部件等等)可被描述或声称成“被配置为”执行一个或多个任务或操作。此表达方式—被配置为[执行一个或多个任务]的[实体]—在本文中用于指代结构(即，物理的事物，诸如电子电路)。更具体地，此表达方式用于指示此结构被布置成在操作期间执行一个或多个任务。结构可被描述成“被配置为”执行某个任务，即使该结构当前并非正被操作亦如此。“被配置为生成输出时钟信号的时钟电路”旨在涵盖例如在操作期间执行该功能的电路，即使所涉及的电路当前并非正被使用(例如该电路并未连接到电源)。因此，被描述或表述成“被配置为”执行某个任务的实体是指物理的事物，诸如设备、电路、存储可执行以实施该任务的程序指令的存储器等。该短语在本文中不被用于指代无形的事物。通常，形成与“被配置为”对应的结构的电路可包括硬件电路。硬件电路可包括以下项的任意组合：组合式逻辑电路、时钟存储设备(诸如触发器、寄存器、锁存器等)、有限状态机、存储器(诸如静态随机存取存储器或嵌入式动态随机存取存储器)、定制设计电路、模拟电路、可编程逻辑阵列等。类似地，为了描述方便，可将各种单元/电路/部件描述为执行一个或多个任务。此类描述应当被解释为包括短语“被配置为”。
术语“被配置为”并不旨在表示“可被配置为”。例如，未经编程的FPGA不会被认为是“被配置为”执行某个特定功能，虽然其可能“可被配置为”执行该功能。在适当编程之后，FPGA然后可被配置为执行该功能。
所附权利要求书中表述被配置为执行一个或多个任务的单元/电路/部件或其他结构明确地旨在对该项权利要求不援引35U.S.C.§112(f)的解释。于是，所提交的本申请中没有任何权利要求旨在要被解释为具有装置-加-功能要素。如果申请人在申请过程中想要援引112(f)部分，则其将利用“用于”[执行功能]“的装置”结构来表述权利要求的要素。
在实施方案中，可通过以硬件描述语言(HDL)诸如Verilog或VHDL对电路的描述进行编码来实现根据本公开的硬件电路。可针对为给定集成电路制造技术设计的单元库来合成HDL描述，并可出于定时、功率和其他原因而被修改，以获得可被传输到工厂以生成掩模并最终产生集成电路的最终的设计数据库。一些硬件电路或其部分也可在示意图编辑器中被定制设计并与合成电路一起被捕获到集成电路设计中。该集成电路可包括晶体管并还可包括其他电路元件(例如，无源元件，诸如电容器、电阻器、电感器等)，以及晶体管和电路元件之间的互连件。一些实施方案可实现耦接在一起的多个集成电路，以实现硬件电路，和/或可在一些实施方案中使用离散元件。另选地，HDL设计可被合成为可编程逻辑阵列诸如现场可编程门阵列(FPGA)并且可在FPGA中实现。
如本文所用，术语“基于”或“取决于”用于描述影响确定的一个或多个因素。此术语不排除可能有附加因素可影响确定。也就是说，确定可仅基于指定的因素或基于所指定的因素及其他未指定的因素。考虑短语“基于B确定A”。这个短语指定B是用于确定A的因素或者其影响A的确定。这个短语并不排除A的确定也可能基于某个其他因素诸如C。这个短语还旨在涵盖A仅基于B来确定的实施方案。如本文所用，短语“基于”与短语“至少部分地基于”是同义的。
本说明书包括对各种实施方案的参考，以指示本公开并非旨在提及一个特定具体实施，而是提及落入包括所附权利要求书的本公开的实质内的一系列实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
具体实施方式
本文描述的自动化系统的实施方案可以实现各种多样性。通常，使自动化系统多样化可包括使用系统中的部件的多个差异以提供有关自动化车辆操作环境的附加信息，和/或在没有部件的实际物理复制的情况下在系统中提供冗余(至少在一些情况下)。例如，各种不同部件在其检测某些对象或其他环境参数的能力方面可能具有不同弱点，并且因此一个部件的弱点可能被另一个部件的优势抵消。由于用于感测环境的机构在不同类型中是不同的，因此这些不同类型的部件可以被称为具有不同的“模态”。在不同时间点具有重叠视场的不同部件中捕获环境“快照”可相对于重叠区域中的对象提供时间多样性。具有重叠视场的传感器(或在一个实施方案中，传感器盒)可以在物理上彼此尽可能远地放置，从而提供空间的多样性。应用于传感器盒中的不同模态或应用于不同传感器盒的处理算法可以提供算法多样性。这些多样性可以允许部件弥补其他部件中的弱点或甚至故障，和/或可以允许部件对自动化系统中的故障进行自诊断，从而使得在发生这种故障的情况下能够迅速采取纠正动作。
除了多样性之外，自动化系统的实施方案还可以在系统的不存在多样性和/或多样性可能不足以提供故障操作的部分中包括冗余。冗余的示例可以是具有重叠视场的传感器盒与中心自动化控制器中的不同网络交换机的连接，或者每个传感器盒与网络交换机中的两个或更多个网络交换机的连接。在传感器盒中以及在自动化控制器中执行处理的处理器也可以是冗余的。
在实施方案中，传感器盒可以包括本地处理以识别由传感器覆盖的视场中的对象，将已识别对象的集合而不是原始传感器数据传输到自动化控制器。在实施方案中，可以通过与原始传感器数据相比更少量的数据(对象数据)来识别对象的集合，从而减小了传感器盒和自动化控制器之间的带宽要求。可以使用成本较低的连接介质(例如，在以太网网络的情况下，双绞线电缆)来连接传感器盒和自动化控制器。另外地，在实施方案中，在传感器盒中将原始传感器数据处理成对象数据可以改善系统的模块性。例如，在实施方案中，可以将不同类型的传感器和/或改进版本的传感器包括在放置在车辆中的传感器盒中，而无需改变自动化控制器。通常，对象数据可以是指描述视场中的对象的数据(例如，对象的位置、对象与车辆10的距离或深度、对象是静止的还是运动的、对象的分类等)。
现在转到图1，示出了包括自动化系统的一个实施方案的车辆10的一个实施方案的框图。如图1中的标签所示，车辆的前部可以处于如图1所示的顶部，并且车辆的后部可以处于图1的底部。车辆10可以是在道路上合法操作的任何类型的机动运输工具。例如，车辆10可以包括由以汽油为燃料的内燃机、柴油发动机、混合动力发动机、全电动发动机等提供动力的汽车。车辆10可以包括运输货物(例如“半成品”)的皮卡车和较大卡车。车辆10可以包括公共汽车和其他质量运输车辆。车辆10可以包括摩托车。
在实施方案中，自动化系统可以包括传感器盒(附图标号12A-12D)的集合和自动化控制器14。传感器盒12A-12D可以使用网络电缆来耦接到自动化控制器14。例如，在实施方案中，自动化系统可以实现以太网联网并且网络电缆可以是一个或多个双绞线导体。其他实施方案可以实现任何联网拓扑和/或无线连接。
图1中的传感器盒12A-12D的位置可以表示车辆10上的传感器盒12A-12D的物理位置，其周边由表示车辆10的框指示。也就是说，传感器盒12A-12D可以在车辆10上实际可行的空间中扩展。例如，车辆10的前部中的传感器盒12A-12B可以被设计为安装在车辆10上的前灯组件中或附近，这些前灯组件通常在汽车的前拐角附近。车辆10的后部中的传感器盒12C-12D可以被设计为安装在车辆10上的尾灯组件中或附近，这些尾灯组件通常在汽车的后拐角附近。物理上尽可能远离地放置传感器盒可以提供自动化系统可用的总视场的更大范围。另外，当对象在总视场中时，传感器盒12A-12D的较宽放置可提供的围绕对象的可见性比较窄放置将提供的可见性更大。因此，传感器盒12A-12D的放置可以提供空间的多样性。
另外，传感器盒12A-12B的视场可以重叠，传感器盒12C-12D的视场也可以重叠。例如，传感器盒12A的视场由实线16示出，并且传感器盒12B的视场由虚线18示出。重叠区域20被两个传感器盒12A-12B覆盖。因此，如果传感器盒12A-12B中的一个传感器盒发生故障，则另一个传感器盒12A-12B仍将提供对区域20中的对象的可见性。区域20在汽车的前方大致居中，这可能是可见性的重要区域，因为区域20中的对象可能最难以经由路线的改变来避免。当没有发生传感器故障时，区域20中的重叠也可以为区域20中的对象提供更高的准确度，因为两个传感器集合可以检测对象。类似地，传感器盒12C的视场由实线22示出并且传感器盒12D的视场由虚线24示出，其中重叠区域26对于车辆10的后部大致居中。视场的重叠可以提供冗余。如果提供了足够的重叠，则可能不需要传感器盒12A-12D本身的完全冗余(例如，完全冗余将要求在相同位置中安装两个或更多个传感器盒)。
传感器盒12A-12D的故障可能是暂时的或永久的。暂时故障可包括传感器盒12A-12D中的电力损失、传感器盒12A-12D中的传感器的模糊(例如，将泥浆溅到传感器盒12A-12D上、道路污垢使传感器盒12A-12D模糊等)等。暂时故障可以被纠正以将传感器盒12A-12D重新投入使用(例如，清洁传感器盒12A-12D、恢复传感器盒12A-12D的电力等)。另一方面，永久故障可以通过替换传感器盒12A-12D来纠正。由于对传感器盒12A-12D的物理损坏(例如，在事故中)、传感器盒12A-12D中的部分的磨损等，可能会出现永久故障。
传感器盒12A-12D的数量和放置可能因实施方案而异。例如，图2是具有自动化系统的车辆10的实施方案的框图，该自动化系统包括传感器盒12A-12D以及传感器盒12E-12F。像传感器盒12A-12D一样，传感器盒12E-12F例如通过网络电缆耦接到自动化控制器14。传感器盒12E-12F分别在车辆10的前部和后部中居中地放置。也就是说，传感器盒12E安装在车辆10的前部的中心附近，而传感器盒12F安装在车辆10的后部的中心附近。传感器盒12E-12F可以在制造公差范围内安装在中心处。另选地，如果车辆10的一部分阻止在中心处安装传感器盒12E-12F，则传感器盒12E-12F可以安装在阻止部分附近。
类似于图1，经由虚线30示出了传感器盒12E的视场，连同线16和18分别示出了传感器盒12A和12B的视场。因此，图2中的区域20可以具有来自传感器盒12A-12B和12E的三重重叠覆盖。附加区域32和34分别具有来自传感器盒12A和12E以及传感器盒12B和12E的重叠覆盖。因此，整体视场的较大区域在传感器12A-12B和12E之间重叠。类似地，车辆10的后部处的区域26具有来自传感器盒12C-12D和12F的三重重叠覆盖，其视场由虚线36示出。附加区域38和40分别具有来自传感器12C和12F以及传感器12D和12F的重叠覆盖。
应当注意，尽管图1和图2的实施方案在车辆的前部和后部中实现相同数量的传感器盒，但其他实施方案在前部中包括的传感器盒可以多于在后部中包括的传感器盒(反之亦然)。例如，在许多情况下，前部对于安全性而言可能更为重要(由于车辆通常向前行驶)，并且因此可能期望在前部中包括更多的传感器盒。
现在转向图3，示出了传感器盒12A的一个实施方案的框图。其他传感器盒12B-12F可能是类似的。在所示的实施方案中，传感器盒12A包括传感器50A-50C的集合、处理复合体52和网络接口控制器(NIC)54。处理复合体52可以包括多个处理器56A-56N和存储器58。存储器58可以存储多个代码序列(例如，线程或程序)60A-60M以及从传感器50A-50C捕获的传感器数据62。
如前所述，传感器盒可以包括具有不同模态的多个传感器。模态可以是指传感器感测自动化系统周围的环境的方式。模态可以采用特定感测技术，例如，观察各种波长的能量(被动感测)或传输能量并观察其反射(主动感测)。传感器模态的多样性可以改善传感器盒的准确性，并且也可以由于多个传感器正在观察类似的视场而提供冗余。如果一个传感器发生故障，则其他传感器可以继续操作并且从而自动化系统可以继续检测传感器盒的视场中的对象。在其他实施方案中，传感器盒可以包括至少一个传感器和将传感器数据处理成对象数据的处理复合体。
在所示的实施方案中，传感器盒12A包括相机传感器50A、无线电检测和测距(雷达)传感器50B，以及光检测和测距(激光雷达)传感器50C。
相机传感器50A可以是捕获视场的可见光图像的任何种类的传感器。相机传感器50A的输出可以是指示在由相机传感器50A捕获的帧(或图片)内的该位置处的光的颜色/强度的像素的集合。可见光相机传感器可以是捕获可见光(可见光频谱中的电磁波)的被动传感器。其他类型的相机可以捕获其他波长的光(例如，红外相机)。如果感测波长在环境中是普遍的并且由环境中的对象反射(例如，可见光)或者由对象主动发射，则相机传感器50A可以是被动传感器。如果相机传感器50A主动发射光并观察任何反射光(例如，红外光)，则相机传感器50A也可以是主动传感器。
雷达传感器50B可以是主动传感器，其发射无线电频谱中的电磁波(无线电波)和/或微波频谱中的电磁波，并且观察无线电波/微波的反射以检测反射无线电波的对象。雷达可以用于检测对象的范围(例如，位置和距离)、对象的运动等。
激光雷达传感器50C可以是主动传感器，其发射具有在光频谱中的波长的电磁波(光波)并观察发射波的反射。例如，激光雷达传感器50C可以从激光器发射红外波脉冲并检测反射脉冲。其他激光雷达传感器可以使用发射其他波长的光(诸如紫外光、可见光、近红外光等)的激光器。像雷达一样，激光雷达传感器50C可以用于检测距离、运动等。
在图3的实施方案中示出了三个传感器50A-50C，但可以在传感器盒12A中实现任何数量的一个或多个传感器。另外，在一些实施方案中，根据需要，不同传感器盒12A-12F可以包括不同的传感器组。作为所示的传感器的补充和/或代替，可以使用超出图3所示的那些的附加传感器(例如，超声等)。
处理复合体52可以耦接到传感器50A-50C，并且可以被配置为捕获存储器58中的来自传感器50A-50C的传感器数据62。处理复合体52可以处理传感器数据以识别车辆10周围的物理区域中的对象。由于传感器50A-50C的模态不同，因此代码序列60A-60M可以包括不同的代码序列以处理来自不同的传感器50A-50C的数据。在一些实施方案中，可以提供不同的处理算法以处理来自给定传感器50A-50C的数据。不同的传感器盒12A-12F可以使用不同的处理算法，从而提供所使用的算法的多样性。代码序列60A-60M还可以包括捕获来自传感器50A-50C的数据的代码。另选地，传感器盒12A中可以存在直接存储器访问(DMA)硬件以转移来自传感器50A-50C的数据。如前所述，可以处理传感器数据62以识别视场中的对象，并且可以将对象数据传输到自动化控制器14。
处理器56A-56N可能以任何方式设置。例如，处理器56A-56N可以是分立处理器集成电路，其可以例如与存储器58一起组装在印刷电路板(PCB)上。处理器56A-56N可以是多核处理器集成电路上的多个核。处理器56A-56N可以是一个或多个片上系统(SOC)集成电路上的中央处理单元(CPU)处理器核。例如，在一个实施方案中，可以在处理复合体52中包括多个SOC，从而在发生故障的情况下在SOC中提供冗余。
在另一个实施方案中，处理器56A-56N可以被配置为以多样化方式处理来自传感器50A-50C的传感器数据，以便容忍处理器中的一个处理器的故障。图11示出了一个示例，其中来自传感器50A的数据由处理器56A和56C处理，来自传感器50B的数据由处理器56A和56B处理，并且来自传感器50C的数据由处理器56B和56C处理。如图所示，处理器56A可以输出处理传感器50A的奇数数据帧的结果以及处理传感器50B的偶数数据帧的结果；处理器56B可以输出处理传感器50B的奇数数据帧的结果以及处理传感器50C的偶数数据帧的结果；处理器56C可以输出处理传感器50C的奇数数据帧和传感器50A的偶数数据帧的结果。因此，一个处理器56A-56C的故障可能导致损失来自两个传感器50A-50C的处理结果的一半，但可以处理来自每个传感器50A-50C的至少一些数据。
NIC 54可以提供从传感器盒12A到自动化控制器14的网络连接。可以使用任何网络或点对点通信协议。在一个实施方案中，采用了以太网。在实施方案中，可以使用高速串行接口，其通过同轴电缆或双绞线布线来运输。在所示的实施方案中，未使用冗余NIC和/或冗余网络电缆。传感器盒12A-12F的重叠视场可以在NIC故障或网络电缆故障的情况下为故障操作提供足够的覆盖范围。在其他实施方案中，可以提供冗余NIC和/或网络电缆。
在另一个实施方案中，可以在自动化控制器14中针对一个或多个传感器盒12A-12D执行由处理复合体52执行的处理的至少一部分。在实施方案中，针对给定传感器盒12A-12D的所有处理可以在自动化控制器14中执行，并且处理复合体52不需要包括在对应的传感器盒12A-12D中。在实施方案中，处理复合体52可以不包括在传感器盒12A-12D的任一者中。
图4是示出在传感器盒12A-12F中的一个中处理传感器数据的一个实施方案的框图。其他传感器盒12B-12F中的处理可能是类似的。在实施方案中，可能以存储在存储器58中并由处理器56A-56N执行的代码序列60A-60M中的一个或多个代码序列来实现图4所示的处理。也就是说，当在处理器56A-56N上执行时，代码序列60A-60M致使传感器盒执行在图4中示出并在下面描述的操作。
可以使用深度神经网络70和72处理来自相机传感器50A的数据。神经网络70可能已经用相机图像来训练以检测可能在道路上观察到的各种对象，诸如其他车辆、交通信号、交通标志、涂在道路上的交通方向、行人等。神经网络70可以接收相机图像数据并且可以检测图像数据中的各种对象。所得对象可以被馈送到神经网络72，该神经网络可能已经被训练为以对自动化控制器14可能有用的各种方式对于对象进行分类。例如，可以对移动(或可移动)对象(诸如车辆和行人)进行分类，并且可以对静止对象进行分类。可以对不同类型的车辆进行分类。可以对车辆的前视图和后视图进行分类(这可以指示行驶方向)。可以对各种交通标志、信号等进行分类。在另一个实施方案中，可以将相机数据与雷达数据和激光雷达数据中的一者或两者融合。融合数据可以输入到神经网络70和72。在其他实施方案中，可以将融合和单独的传感器数据供应给检测块。虽然将神经网络处理用作相机数据的示例，但任何对象检测和分类机制都可以用于任何传感器和/或来自多个传感器的融合数据。
对于雷达和激光雷达数据，代码序列可以处理每个数据集合以从数据中提取特征(特征提取块74和76)。通常，所提取的特征可以是指示视场中的对象、其相距的距离和其运动方向(如果有的话)的数据。并非特征的数据是来自感兴趣频率下的噪声、背景散射等的数据。由于激光雷达传感器和雷达传感器50B-50C都在感测近似相同的视场，因此从两个传感器识别出的特征应当来自相同的对象。因此，处理可以包括来自激光雷达传感器50C和雷达传感器50B的特征的融合(块78)。两个传感器之间不匹配的特征可能是噪音，并且因此可能被移除。处理可以包括对象检测80和对象分类82，类似于以上块70和72的讨论。然而，在此实施方案中，对象检测和分类80和82可能未实现为神经网络。在其他实施方案中，对象检测和分类80和82中的一者或两者可以是通过指示可在道路中发现的各种对象的激光雷达和雷达数据训练的神经网络。来自分类块72和82的分类结果可以被提供给对象关联和跟踪块84，该对象关联和跟踪块可以具有描述根据最近处理的相机、雷达和激光雷达数据在视场中检测的对象的数据。对象关联和跟踪块84可以将在相机、雷达和激光雷达数据中检测的对象与先前检测的对象相关联(或将对象识别为新检测的对象)。因此，块84可以跟踪对象在视场中的移动。
应当注意，传感器盒12A-12F可能未连续地尝试感测车辆10周围的环境。也就是说，传感器盒12A-12F可以对环境进行采样，从而以采样率捕获对象的快照。采样率可以为足够高的以允许对附近对象的高准确度检测和跟踪，并且为足够高的以支持车辆10在其环境中的安全操作。例如，以每秒数十个样本(Hz)为单位的采样率可以是足够的，但如果可用带宽和处理能力支持在捕获下一个数据帧之前或同时完成每个数据帧的处理，则可以支持更高的采样率。在该上下文中，数据帧可以指与来自传感器盒12A-12F中的一个或多个传感器的传感器数据相对应的数据。数据帧中的数据可以是原始传感器数据，或者可以是从传感器数据导出的数据(例如，在传感器数据中检测的对象集合)，或者是原始传感器数据和导出数据的组合。
由于自动化系统包括具有重叠视场的多个传感器盒(更简单地“重叠传感器盒”)，因此数据帧可以至少部分地彼此相关。也就是说，可以在来自多个传感器盒的数据帧中表示重叠区域中的对象。数据帧可能以一种方式或另一种方式来同步(例如，公共时钟源可以用于盒，或者在盒之间可以存在显式同步)。图5是示出针对实施方案的来自重叠传感器盒12A-12F的数据的采样以及在数据帧中识别的对象的传输的时序图。
图5示出了图2中的车辆10的前部上的传感器盒12A-12B和12E的示例。车辆10的后部上的传感器盒12C-12D和12F可以采用类似的方案。图5中的箭头90上方是用于捕获和传输数据帧的一种方式，其中每个重叠的传感器盒近似同时捕获数据帧并且近似同时将数据帧传输到自动化控制器14。由于数据帧在时间上是同步的，因此可以针对重叠区域中的对象直接比较数据帧。另一方面，在网络上的带宽可能转移数据帧时表现出显著的峰值，但在数据帧之间几乎没有带宽。网络可以被设计为处理峰值，这可能增加成本。如图5所示，采样频率可以是XHz，其中X基于数据帧之间的时间量。
图5中的箭头90下方是用于传输数据帧的另一种方式，其中每个重叠传感器盒在不同时间点捕获数据帧。例如，右前传感器盒12B可能以XHz捕获数据帧；中心前传感器盒12E可能以XHz捕获数据帧，但与右前传感器盒12B呈120度异相；并且左前传感器盒12A可能以XHz捕获数据帧，但与右前传感器盒12B呈240度异相并且与中心前传感器盒12E呈120度异相。如果期望比较，则自动化控制器14可以将运动补偿应用于数据帧。而且，由于以较大速率(例如，在该示例中为3XHz)提供重叠区域的数据帧，因此有效采样率可以增加。由于数据帧在时间上扩展，因此带宽峰值的量值也可以减小。此外，如箭头90的下方所示的，错开数据帧还可以为自动化系统提供时间上的多样性。也就是说，数据帧与其他数据帧在不同的时间被获取。也可以使用其他顺序的数据帧。
如果所有数据帧同步传输，则有效采样率通常可以是采样率的Y倍，其中Y是重叠传感器盒的数量。例如，图1中的车辆10上的传感器盒12A-12B和12C-12D可以使用一种方案，其中以是同步采样率2倍的有效采样频率传输数据帧(每个重叠传感器盒捕获与其他传感器盒呈180度异相的数据帧)。大量的重叠传感器盒可以彼此呈较小角度异相。在某一时刻，随着重叠传感器盒的数量增加，一些实施方案可能延长相同传感器盒中的连续数据帧之间的间隔(例如，减小XHz中的X)。
图6是示出实施方案中的可以在传感器盒12A-12F中实现的某些操作的流程图。流程图中的一个或多个框可能以传感器盒12A-12F中的硬件来实现，和/或一个或多个框可能以传感器盒12A-12F中的处理器56A-56N所执行的软件(例如，代码序列60A-60M)来实现。然而，为了便于理解，在图6中框图以特定顺序示出，也可使用其他顺序。框可能以硬件和/或以可在处理器56A-56N上并行执行的不同代码序列60A-60M在组合逻辑中并行实现。框、框的组合和/或流程图作为一个整体可在多个时钟周期内为流水线式和/或序列式的。因此，传感器盒12A-12F可以被配置为以硬件、以软件或以它们的组合来实现图6所示的操作。
传感器盒12A-12F可以从包括在传感器盒12A-12F中的传感器50A-50C中的每个传感器捕获视场的数据帧(框92)。在实施方案中，原始传感器数据可以被写入存储器58，使得其可以由处理器56A-56N进行处理。传感器盒12A-12F可以处理数据帧，从而识别视场中的对象并且对于对象进行分类(框94)。在实施方案中，可以在对象检测和分类之前融合激光雷达数据、相机数据和雷达数据中的一者或多者。
传感器盒12A-12F可以检测传感器之间是否存在冲突结果(判定框96)。例如，在激光雷达和雷达数据的融合期间，可能检测冲突的结果。冲突的结果可能被移除，或者可能被标记为冲突，并且由相机传感器检测的对象可以用于确定要保留的结果。如果一个传感器在视场的重叠部分中检测到对象并且另一个传感器未检测到对象，或者另一个传感器检测到不同的东西，则结果可能冲突。如果存在冲突的结果(决策框96，“是”分支)，则可以将由少数传感器50A-50C检测的对象视为不准确，并且可以移除对象(框98)。另外，在将对象与先前检测到的对象(来自先前数据帧)相关联时，例如在图4的框84中，可以基于先前数据帧来移除对象。例如，可以移除与仍然在视场中的先前检测的对象冲突(重叠)的对象(框100)。传感器盒12A-12F可以将剩余对象和对应特性作为来自传感器盒12A-12F的当前数据帧(例如，图5中的黑点中的一个黑点)传输到自动化控制器14(框102)。
用不同对象发送的特性可能因实施方案而异，并且可能取决于传感器盒12A-12F在数据帧之间检测和/或保持多少信息(从实施方案至实施方案)。例如，特性可以包括对象的分类(车辆、交通标志或信号、障碍物等)、移动(静止或运动中、运动方向、速度)等。
图7是示出在实施方案中的可以在自动化控制器14中实现的某些操作的流程图。流程图中的一个或多个框可能以自动化控制器14中的硬件来实现，和/或一个或多个框可能以由自动化控制器14中的处理器执行的软件(例如，图8所示和下面描述的代码序列)来实现。然而，为了便于理解，在图7中框图以特定顺序示出，也可使用其他顺序。框可能以硬件和/或以可在不同处理器上并行执行的不同代码序列在组合逻辑中并行实现。框、框的组合和/或流程图作为一个整体可在多个时钟周期内为流水线式和/或序列式的。因此，自动化控制器可以被配置为以硬件、以软件或以它们的组合来实现图7所示的操作。
自动化控制器14可以从一个或多个传感器盒12A-12F接收一个或多个对象的集合(框110)。在实现来自重叠传感器盒12A-12F的对象的交错传输的实施方案中，自动化控制器14可以对重叠视场内的对象应用运动估计以将对象移到近似相同的时刻，使得可以比较对象(框112)。自动化控制器14可以比较在重叠视点中的对象(框114)。如果在传感器盒之间存在冲突结果(判定框116，“是”分支)，则自动化控制器14可以丢弃来自与大部分不一致的传感器盒的输入(框118)。不一致可以被记录以用于诊断。也就是说，如果一个传感器盒因与其他传感器不一致而始终被丢弃，则该传感器盒可能有故障或可能具有发生故障的部件。间歇的不一致可能是由各种其他因素引起的。例如，如果传感器盒被泥土、道路污垢、从地面溅到其上面的水等暂时模糊，则传感器盒可能无法检测一个或多个对象，但在未被模糊时，可能会再次正常运行。基于对象并随时间推移跟踪对象，自动化控制器可以形成导航计划以在已经检测到的环境中继续朝向其目的地安全地行进(框120)。
图8是示出自动化控制器14的一个实施方案的框图。在图8的实施方案中，自动化控制器14包括处理复合体130，该处理复合体包括处理器132A-132L和存储器134。存储器134可以存储多个代码序列136A-136P以及识别由传感器盒12A-12F检测的对象的对象数据138。自动化控制器14还包括冗余网络交换机140以耦接到传感器盒12A-12N。自动化控制器14也可以耦接到各种致动器(例如，加速器、制动器、转向等)以控制车辆10。也就是说，自动化控制器14可以通过控制致动器来遵循导航计划。另选地，自动化控制器14可以将导航计划传递到控制致动器的车辆控制器。在一些实施方案中，也可以提供与致动器的冗余连接。
处理器132A-132L可以被配置为以多样化方式处理对象数据138以便在一个处理器的故障的情况下提供冗余。例如，图12示出了一个实施方案，其中来自相同传感器盒的不同传感器模态被分配为由不同处理器处理。处理器132A可以被分配为处理来自右前盒12B中的传感器50A的数据、来自前中心盒12E中的传感器50B的数据，以及来自左前盒12A中的传感器50C的数据。如图所示，处理器132B和132C可以被分配为处理来自不同传感器盒的传感器的数据。因此，一个处理器的故障可能导致来自若干传感器盒中的一个传感器模态的数据的丢失，但这些传感器盒中的至少一些模态得以保留。
网络交换机140在与传感器盒12A-12N的连接中提供冗余。可以使用各种连接。例如，图9示出了用于前传感器盒12A-12B和12E的连接的某些实施方案。在一个实施方案中，在图9中的左侧所示，前传感器盒12A-12B和12E耦接到网络交换机140A。因此，网络交换机的故障可能导致与传感器盒12A-12B和12E的通信的丢失。另一方面，图9左侧的冗余方案提供了进入自动化控制器14的附加路径，并且因此，两个网络交换机140A-140B中的一个网络交换机的故障仍将允许自动化控制器14接收来自传感器盒12A-12B和12E的完整数据。在另一个实施方案中，传感器盒可以被配置为向冗余网络交换机传输交替的偶数数据帧和奇数数据帧，使得减小了总网络带宽(例如，总带宽可能与图9右侧所示的非冗余情况相同)。在实施方案中，可以设置偶数数据帧和奇数数据帧从传感器盒到网络交换机140A-140B的映射以增加覆盖范围并平衡利用率。例如，传感器盒12A可以将偶数数据帧发送到网络交换机140A并且将奇数数据帧发送到网络交换机140B，而传感器盒12B可以将奇数数据帧发送到网络交换机140A并且将偶数数据帧发送到网络交换机140B。因此，一个网络交换机140A-140B在偶数/奇数方案中的故障可能导致丢失数据帧的一半，但可以接收来自每个传感器盒的至少一些数据帧。尽管在图8和图9中示出了网络交换机140的双重冗余，但是根据需要，其他实施方案可以包括另外的冗余。由每个传感器发送的数据可以在网络交换机之间以任何期望的方式(诸如循环)变化。
在为处理器132A-132L或甚至为SOC(其中包括多个SOC以提供处理器132A-132L)提供冗余和故障操作操作的方面中，处理复合体130可以类似于图3中的处理复合体52。取决于用于传感器盒处理和自动化控制器处理的计算资源的相对量，处理器132A-132L的数量可以与处理器56A-56N的数量不同。代码序列136A-136P可以实现自动化控制器14的各种处理操作，包括在图7所示的操作。
图10是计算机可访问存储介质200的一个实施方案的框图。一般来讲，计算机可访问存储介质可包括在使用期间能够被计算机访问以向计算机提供指令和/或数据的任何存储介质。例如，计算机可访问存储介质可包括诸如磁性或光学介质的存储介质，例如，盘(固定或可拆卸)、带、CD-ROM、DVD-ROM、CD-R、CD-RW、DVD-R、DVD-RW或蓝光。存储介质还可包括易失性或非易失性存储器介质，诸如RAM(例如，同步动态RAM(SDRAM)、Rambus DRAM(RDRAM)、静态RAM(SRAM)等)、ROM或闪存存储器。存储介质可被物理地包括在存储介质将指令/数据提供至其的计算机内。另选地，存储介质可连接至计算机。例如，存储介质可通过网络或无线链路诸如网络附接存储装置而被连接至计算机。存储介质可通过外围接口诸如通用串行总线(USB)而被连接。通常，计算机可访问存储介质200可以非暂态方式存储数据，其中非暂态在该上下文中可指不通过信号传输指令/数据。例如，非暂态存储装置可为易失性的(并且响应于断电而可能会丢失所存储的指令/数据)或为非易失性的。
图10中的计算机可访问存储介质200可以存储形成代码序列60A-60M和/或代码序列136A-136P的代码。计算机可访问存储介质200还可以进一步存储一个或多个数据结构，诸如传感器数据62和/或对象数据138。代码序列60A-60M和/或代码序列136A-136P可以包括指令，这些指令在被执行时实现以上针对这些部件描述的操作。载体介质可包括计算机可访问存储介质以及诸如有线或无线传输的传输介质。
一旦充分了解了上面的公开，许多变型和修改对于本领域的技术人员而言将变得显而易见。本公开旨在使以下权利要求书被阐释为包含所有此类变型和修改。

Claims (15)

1.一种自动化系统，包括：
至少一个传感器盒，其中所述至少一个传感器盒包括至少一个传感器和处理复合体，所述处理复合体被配置为处理来自所述至少一个传感器的传感器数据以识别所述至少一个传感器的视场中的对象；以及
自动化控制器，所述自动化控制器耦接到所述至少一个传感器盒，其中所述自动化控制器被耦接以从所述至少一个传感器盒接收对象数据，其中所述对象数据描述所述视场中的所述对象，并且其中所述自动化控制器被配置为处理所述对象数据以确定由所述自动化系统控制的车辆的导航路径。
2.根据权利要求1所述的自动化系统，其中所述至少一个传感器包括多个传感器，其中所述多个传感器实现不同模态。
3.根据权利要求1或2所述的自动化系统，还包括耦接到所述自动化控制器的至少一个附加传感器盒，其中所述至少一个附加传感器盒的视场与所述至少一个传感器盒的所述视场重叠。
4.根据权利要求3所述的自动化系统，其中所述至少一个附加传感器盒被配置为从所述至少一个附加传感器盒中的至少一个传感器捕获数据帧，以及在与所述至少一个传感器盒捕获数据帧并传输对象数据的第二时间不同的第一时间传输对应的对象数据，其中所述第二时间是从所述第一时间的预定偏移。
5.根据权利要求1至4中任一项所述的自动化系统，其中所述至少一个传感器包括多个传感器，其中所述处理复合体为所述多个传感器的子集实现至少两种不同的处理算法。
6.根据权利要求1至4中任一项所述的自动化系统，其中所述处理复合体包括多个处理器，并且其中在所述多个处理器中的不同处理器上处理来自所述至少一个传感器的数据帧的不同子集。
7.根据权利要求1至4中任一项所述的自动化系统，其中所述至少一个传感器盒包括多个传感器盒，并且其中在所述自动化控制器中的多个处理器中的两个或更多个处理器上处理来自所述多个传感器盒中的每个传感器盒中的所述至少一个传感器的数据帧。
8.根据权利要求1所述的自动化系统，其中所述至少一个传感器盒包括多个传感器盒，其中所述多个传感器盒中的第一传感器盒的第一视场与所述多个传感器盒中的第二传感器盒的第二视场重叠；并且所述自动化控制器被配置为比较来自所述第一传感器盒和所述第二传感器盒的所述视场的所述重叠部分中的对象以确认所述对象。
9.根据权利要求7所述的自动化系统，其中所述自动化控制器被配置为响应于所述第一传感器盒的故障而通过覆盖所述重叠部分的所述第二传感器盒继续操作。
10.根据权利要求1所述的自动化系统，其中所述至少一个传感器盒包括多个传感器盒，其中所述多个传感器盒中的第一传感器盒的第一视场与所述多个传感器盒中的第二传感器盒的第二视场重叠，并且其中所述第一传感器盒被配置为在第一时间传输所述第一视场的第一数据帧，并且所述第二传感器盒被配置为在从所述第一时间偏移的第二时间传输所述第二视场的第二数据帧；并且所述自动化控制器被配置为响应于所述第一数据帧和所述第二数据帧而比较所述第一视场和所述第二视场的所述重叠部分中的对象。
11.根据权利要求10所述的自动化系统，其中所述自动化控制器被配置为在比较所述第一视场和所述第二视场中的对象之前将运动估计应用于所述第一数据帧和所述第二数据帧中的至少一者。
12.根据权利要求11所述的自动化系统，其中所述运动估计基于所述偏移。
13.根据权利要求10至12中任一项所述的自动化系统，其中在所述第一传感器盒的故障的情况下，所述自动化控制器被配置为使用所述第二传感器盒来继续操作。
14.一种方法，包括：
感测至少一个传感器盒中的至少一个传感器中的视场中的数据，其中所述至少一个传感器盒包括处理复合体；
处理来自所述至少一个传感器的所述传感器数据以识别所述至少一个传感器的所述视场中的对象；以及
在自动化控制器中从所述至少一个传感器盒接收对象数据，其中所述对象数据描述所述视场中的所述对象；以及
在所述自动化控制器中处理所述对象数据以确定由所述自动化系统控制的车辆的导航路径。
15.根据权利要求14所述的方法，其中所述至少一个传感器盒包括多个传感器盒，其中所述多个传感器盒中的第一传感器盒的第一视场与所述多个传感器盒中的第二传感器盒的第二视场重叠，所述方法还包括在所述自动化控制器中比较来自所述第一传感器盒和所述第二传感器盒的所述视场的所述重叠部分中的对象以确认所述对象。
CN201980008137.2A 2018-01-11 2019-01-11 用于自动化和故障操作自动化的架构 Active CN111670382B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862616068P 2018-01-11 2018-01-11
US62/616,068 2018-01-11
PCT/US2019/013186 WO2019140185A1 (en) 2018-01-11 2019-01-11 Architecture for vehicle automation and fail operational automation

Publications (2)

Publication Number Publication Date
CN111670382A true CN111670382A (zh) 2020-09-15
CN111670382B CN111670382B (zh) 2024-01-02

Family

ID=65352109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008137.2A Active CN111670382B (zh) 2018-01-11 2019-01-11 用于自动化和故障操作自动化的架构

Country Status (4)

Country Link
US (1) US11685396B2 (zh)
EP (1) EP3737968A1 (zh)
CN (1) CN111670382B (zh)
WO (1) WO2019140185A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018202296A1 (de) * 2018-02-15 2019-08-22 Robert Bosch Gmbh Radarsensor-System und Verfahren zum Betreiben eines Radarsensor-Systems
US11176007B2 (en) * 2019-04-12 2021-11-16 Ghost Locomotion Inc. Redundant processing fabric for autonomous vehicles
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
US20220194381A1 (en) * 2020-12-23 2022-06-23 Robert Bosch Gmbh Lane Boundary Detection Using Radar Signature Trace Data

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9600587D0 (en) * 1995-01-11 1996-03-13 Loral Vought Systems Corp Visual recognition system for ladar sensors
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US20060072014A1 (en) * 2004-08-02 2006-04-06 Geng Z J Smart optical sensor (SOS) hardware and software platform
US20070219720A1 (en) * 2006-03-16 2007-09-20 The Gray Insurance Company Navigation and control system for autonomous vehicles
US20080009965A1 (en) * 2006-07-05 2008-01-10 Battelle Energy Alliance, Llc Autonomous Navigation System and Method
US20080150787A1 (en) * 2006-12-20 2008-06-26 Cummings Steven T Multiple sensor processing
US7477285B1 (en) * 2003-12-12 2009-01-13 Careview Communication, Inc. Non-intrusive data transmission network for use in an enterprise facility and method for implementing
US20110184605A1 (en) * 2006-11-29 2011-07-28 Neff Ryan A Driverless vehicle
RU2479015C1 (ru) * 2012-01-11 2013-04-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Способ определения траектории движения автономного транспортного средства в динамической среде
US20140195138A1 (en) * 2010-11-15 2014-07-10 Image Sensing Systems, Inc. Roadway sensing systems
US8885151B1 (en) * 2012-09-04 2014-11-11 Google Inc. Condensing sensor data for transmission and processing
WO2015082293A1 (fr) * 2013-12-02 2015-06-11 Commissariat A L'energie Atomique Et Aux Energies Alternatives Reconnaissance de formes par correction d'image
US20150160613A1 (en) * 2013-12-09 2015-06-11 Consiglio Nazionale Delle Ricerche - Cnr Reconstruction of an image of an object at least partially hidden by a flame
WO2016059122A1 (en) * 2014-10-14 2016-04-21 Osr Enterprises Ag Device, system and method for processing data
CN105723747A (zh) * 2013-11-13 2016-06-29 宝马股份公司 用于监控物体的位置或位置变化的方法和设施
CN106101590A (zh) * 2016-06-23 2016-11-09 上海无线电设备研究所 雷达视频复合数据探测与处理系统及探测与处理方法
US20170060574A1 (en) * 2015-08-27 2017-03-02 FogHorn Systems, Inc. Edge Intelligence Platform, and Internet of Things Sensor Streams System
WO2017064944A1 (ja) * 2015-10-16 2017-04-20 日立オートモティブシステムズ株式会社 自動運転システム、自動運転制御方法、データｅｃｕおよび自動運転ｅｃｕ
US20170168494A1 (en) * 2015-12-11 2017-06-15 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
CN106871915A (zh) * 2015-12-04 2017-06-20 大众汽车有限公司 在机动车中用于自动驾驶的方法和装置
WO2017108374A1 (en) * 2015-12-22 2017-06-29 Philips Lighting Holding B.V. Sensor system.
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107077780A (zh) * 2014-10-30 2017-08-18 三菱电机株式会社 车载设备、自动驾驶车辆、自动驾驶辅助系统、自动驾驶监视装置、道路管理装置及自动驾驶信息收集装置
CN206493897U (zh) * 2017-02-06 2017-09-15 宿迁学院 车辆环境感知系统及自动驾驶汽车
GB201713958D0 (en) * 2016-09-08 2017-10-18 Ford Global Tech Llc Perceiving roadway conditions from fused sensor data
WO2017210222A1 (en) * 2016-05-30 2017-12-07 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
WO2013005815A1 (ja) * 2011-07-01 2013-01-10 日本電気株式会社 物体検出装置、物体検出方法及びプログラム
US10585409B2 (en) * 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements
US10317901B2 (en) * 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
US10565464B2 (en) * 2017-12-21 2020-02-18 At&T Intellectual Property I, L.P. Adaptive cloud offloading of mobile augmented reality
US11603593B2 (en) * 2020-09-04 2023-03-14 General Electric Company Systems and methods for automatic detection of coating defects

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9600587D0 (en) * 1995-01-11 1996-03-13 Loral Vought Systems Corp Visual recognition system for ladar sensors
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US7477285B1 (en) * 2003-12-12 2009-01-13 Careview Communication, Inc. Non-intrusive data transmission network for use in an enterprise facility and method for implementing
US20060072014A1 (en) * 2004-08-02 2006-04-06 Geng Z J Smart optical sensor (SOS) hardware and software platform
US20070219720A1 (en) * 2006-03-16 2007-09-20 The Gray Insurance Company Navigation and control system for autonomous vehicles
US20080009965A1 (en) * 2006-07-05 2008-01-10 Battelle Energy Alliance, Llc Autonomous Navigation System and Method
US20110184605A1 (en) * 2006-11-29 2011-07-28 Neff Ryan A Driverless vehicle
US20080150787A1 (en) * 2006-12-20 2008-06-26 Cummings Steven T Multiple sensor processing
US20140195138A1 (en) * 2010-11-15 2014-07-10 Image Sensing Systems, Inc. Roadway sensing systems
RU2479015C1 (ru) * 2012-01-11 2013-04-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Способ определения траектории движения автономного транспортного средства в динамической среде
US8885151B1 (en) * 2012-09-04 2014-11-11 Google Inc. Condensing sensor data for transmission and processing
CN105723747A (zh) * 2013-11-13 2016-06-29 宝马股份公司 用于监控物体的位置或位置变化的方法和设施
WO2015082293A1 (fr) * 2013-12-02 2015-06-11 Commissariat A L'energie Atomique Et Aux Energies Alternatives Reconnaissance de formes par correction d'image
US20150160613A1 (en) * 2013-12-09 2015-06-11 Consiglio Nazionale Delle Ricerche - Cnr Reconstruction of an image of an object at least partially hidden by a flame
WO2016059122A1 (en) * 2014-10-14 2016-04-21 Osr Enterprises Ag Device, system and method for processing data
CN107077780A (zh) * 2014-10-30 2017-08-18 三菱电机株式会社 车载设备、自动驾驶车辆、自动驾驶辅助系统、自动驾驶监视装置、道路管理装置及自动驾驶信息收集装置
US20170060574A1 (en) * 2015-08-27 2017-03-02 FogHorn Systems, Inc. Edge Intelligence Platform, and Internet of Things Sensor Streams System
WO2017064944A1 (ja) * 2015-10-16 2017-04-20 日立オートモティブシステムズ株式会社 自動運転システム、自動運転制御方法、データｅｃｕおよび自動運転ｅｃｕ
JP2017074887A (ja) * 2015-10-16 2017-04-20 日立オートモティブシステムズ株式会社 自動運転システム、自動運転制御方法、データｅｃｕおよび自動運転ｅｃｕ
CN106871915A (zh) * 2015-12-04 2017-06-20 大众汽车有限公司 在机动车中用于自动驾驶的方法和装置
US20170168494A1 (en) * 2015-12-11 2017-06-15 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
WO2017108374A1 (en) * 2015-12-22 2017-06-29 Philips Lighting Holding B.V. Sensor system.
WO2017210222A1 (en) * 2016-05-30 2017-12-07 Faraday&Future Inc. Generating and fusing traffic scenarios for automated driving systems
CN106101590A (zh) * 2016-06-23 2016-11-09 上海无线电设备研究所 雷达视频复合数据探测与处理系统及探测与处理方法
GB201713958D0 (en) * 2016-09-08 2017-10-18 Ford Global Tech Llc Perceiving roadway conditions from fused sensor data
CN206493897U (zh) * 2017-02-06 2017-09-15 宿迁学院 车辆环境感知系统及自动驾驶汽车
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NICO KAEMPCHEN, ET AL: "DATA SYNCHRONIZATION STRATEGIES FOR MULTI-SENSOR FUSION", 《PROCEEDINGS OF THE IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEM》, pages 1 - 9 *
SEBASTIAN THRUN: "Stanley: The robot that won the DARPA Grand Challenge", 《JOURNAL OF FIELD ROBOTICS》 *
SEBASTIAN THRUN: "Stanley: The robot that won the DARPA Grand Challenge", 《JOURNAL OF FIELD ROBOTICS》, no. 9, 30 September 2006 (2006-09-30) *
邢皎玉: "基于智能纯电动汽车的前方车辆检测与识别技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
邢皎玉: "基于智能纯电动汽车的前方车辆检测与识别技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 7, 15 July 2017 (2017-07-15) *

Also Published As

Publication number Publication date
US20210362740A1 (en) 2021-11-25
CN111670382B (zh) 2024-01-02
WO2019140185A1 (en) 2019-07-18
EP3737968A1 (en) 2020-11-18
US11685396B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN111670382B (zh) 用于自动化和故障操作自动化的架构
KR101963422B1 (ko) 자율 주행 가능 차량용 충돌-회피 시스템
JP7430734B2 (ja) 車両内通信システム、車両内通信方法、およびデバイス
CN109900491B (zh) 使用冗余处理器架构通过参数数据进行诊断故障检测的系统、方法和装置
EP3223195B1 (en) Device and method for detecting object
US10449956B2 (en) Object tracking by unsupervised learning
Schueler et al. 360 degree multi sensor fusion for static and dynamic obstacles
CA3207406C (en) Autonomous vehicle computing system with processing assurance
US20200377124A1 (en) Multi-hypothesis object tracking for automated driving systems
US20200160552A1 (en) Object detection device, object detection method, and computer program for detecting object
JP2009176091A (ja) 物体検出装置
US20230415729A1 (en) Vehicular control system
CN109249935A (zh) 自行装载式自主车辆
US20230097584A1 (en) Object pose estimation
Jhung et al. Hardware accelerators for autonomous vehicles
US20220221868A1 (en) Automation Control Using Stop Trajectories
Thomaidis et al. Multi‐sensor tracking and lane estimation in highly automated vehicles
CN112710346B (zh) 用于同步至少两个传感器-系统的方法
CN115511911A (zh) 一种用于智能汽车的3d目标追踪方法
US11815983B2 (en) Communication ECU
Möller et al. Automotive E/E and automotive software technology
US20200408877A1 (en) Radar sensor system and method for operating a radar sensor system
EP4012603B1 (en) Method for classifying a tracked object
US11909944B1 (en) Dynamic calibration of cameras in a stereoscopic configuration
US20240043036A1 (en) Augmented capabilities for automotive applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant