CN110799404A - 包括驾驶相关系统的安全系统 - Google Patents

包括驾驶相关系统的安全系统 Download PDF

Info

Publication number
CN110799404A
CN110799404A CN201880025484.1A CN201880025484A CN110799404A CN 110799404 A CN110799404 A CN 110799404A CN 201880025484 A CN201880025484 A CN 201880025484A CN 110799404 A CN110799404 A CN 110799404A
Authority
CN
China
Prior art keywords
driving
fault
selection module
management unit
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880025484.1A
Other languages
English (en)
Inventor
里昂尼德·斯莫尔扬斯基
尤西·阿贝利
埃尔哈南·鲁辛克
什穆埃尔·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of CN110799404A publication Critical patent/CN110799404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1629—Error detection by comparing the output of redundant processing systems
    • G06F11/1641—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components
    • G06F11/1645—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components and the comparison itself uses redundant hardware
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/021—Means for detecting failure or malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0297—Control Giving priority to different actuators or systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Retry When Errors Occur (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种系统，该系统可以包括：多个驾驶相关系统，被配置为执行驾驶相关操作；选择模块；多个故障收集和管理单元，被配置为监测该多个驾驶相关系统的状态，并向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；并且其中，选择模块被配置为通过执行下列项中的至少一项来对该报告作出响应：(i)重置该多个故障收集和管理单元以及多个驾驶相关系统当中的至少一个实体；以及(ii)选择从驾驶相关系统输出的数据。

Description

包括驾驶相关系统的安全系统
相关申请的交叉引用
本申请要求专利申请日期为2017年4月17日的美国临时序列号62/2486008的优先权，其通过引用并入本文中。
背景技术
需要符合不断提高的汽车安全完整性等级(ASIL)，尤其是ASIL B和ASIL D等级，并符合标准ISO 26262。
ASIL是指汽车系统或这样的系统的元件中的固有安全风险的抽象分类。在ISO26262中使用ASIL分类来表达防止特定危害所需的风险降低等级，其中ASIL D代表最高等级，并且ASIL A代表最低等级。然后，针对给定危害进行评估的ASIL被分配给安全目标集以解决该危害，并然后由根据该目标得出的安全要求继承(参见：www.wikipedia.org)
需要提供一种比其一些组件更安全的系统，特别是通过使用固有较低ASIL等级的片上系统(Soc)来实现一定ASIL。例如，ASIL-B SoC应能够以降低的系统成本来在系统级别达到ASIL-D。
发明内容
下面的详细描述参考附图。在可能的情况下，在附图和以下描述中使用相同的附图标记来指代相同或相似的部件。尽管本文描述了若干说明性实施例，但修改、改编和其他实现方式是可能的。例如，可以对附图中示出的组件进行替换、添加或修改，并且可以通过对所公开的方法进行替换、重新排序、移除或增加步骤来修改本文描述的说明性方法。因此，以下详细描述可以不限于所公开的实施例和示例。
所公开的实施例提供了可以用作自主导航/驾驶和/或驾驶员辅助技术特征的一部分或与之结合的系统和方法。与全自主驾驶相反，驾驶员辅助技术是指用于辅助驾驶员导航和/或控制其车辆的任何合适的技术，例如，FCW、LDW和TSR。
可以提供一种系统，该系统可以包括：多个驾驶相关系统，被配置为执行驾驶相关操作；选择模块；多个故障收集和管理单元，被配置为监测多个驾驶相关系统的状态，并向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；其中，选择模块被配置为通过执行下列项中的至少一项来对该报告作出响应：(i)重置多个故障收集和管理单元以及多个驾驶相关系统当中的至少一个实体；以及(ii)选择从驾驶相关系统输出的数据。
可以提供一种用于保护系统的方法，该方法可以包括：由多个驾驶相关系统执行驾驶相关操作；由多个故障收集和管理单元监测多个驾驶相关系统的状态；向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；由选择模块通过执行下列项中的至少一项来对该报告作出响应：(i)重置多个故障收集和管理单元以及多个驾驶相关系统当中的至少一个实体；以及(ii)选择从驾驶相关系统输出的数据。
可以提供一种存储程序指令的计算机程序产品，该指令用于：由多个驾驶相关系统执行驾驶相关操作；由多个故障收集和管理单元监测多个驾驶相关系统的状态；向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；由选择模块通过执行下列项中的至少一项来对该报告作出响应：(i)重置该多个故障收集和管理单元以及多个驾驶相关系统当中的至少一个实体；以及(ii)选择从驾驶相关系统输出的数据。
附图说明
在说明书的结论部分中特别指出并明确要求保护被视为本发明的主题。然而，在结合附图阅读以下详细描述时可以最好地理解本发明的组织和操作方法以及其目的、特征和优点，在附图中：
图1是与所公开的实施例一致的系统的框图表示；
图2A是包括与所公开的实施例一致的系统的示例性车辆的示意性侧视图；
图2B是与所公开的实施例一致的图2A中所示的车辆和系统的示意性俯视图；
图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的示意性俯视图；
图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的示意性俯视图；
图2E是与所公开的实施例一致的示例性车辆控制系统的示意图；
图3是与所公开的实施例一致的包括后视镜和用于车辆成像系统的用户接口的车辆内部的示意图；
图4示出了ADAS/AV系统；
图5示出了ADAS/AV系统；
图6示出了ADAS/AV系统；
图7示出了ADAS/AV系统；
图8示出了SoC中的故障收集和管理单元(FCMU)；
图9示出了SoC系统；以及
图10示出了一种方法。
具体实施方式
在下面的详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述公知的方法、过程和组件，以免模糊本发明。
在说明书的结论部分中特别指出并明确要求保护被视为本发明的主题。然而，在结合附图阅读时，通过参考以下详细描述可以最好地理解本发明的组织和操作方法以及其目的、特征和优点。
应当理解，为了图示的简单和清楚起见，附图中所示的元件未必按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被放大。此外，在认为适当的情况下，可以在附图中重复附图标记以指示相应或相似的元件。
由于本发明的所示实施例大部分可以使用本领域技术人员已知的电子组件和电路来实现，因此为了理解和解释本发明的基本概念，并且为了不混淆或分散本发明的教导，将不以比上述所认为必要的更大的程度来解释细节。
说明书中对方法的任何引用应进行必要的修改以应用于能够执行该方法的系统。
说明书中对系统的任何引用应进行必要的修改以应用于系统可以执行的方法。
在详细讨论处理在道路上导航的车辆前方的环境图像来训练神经网络或深度学习算法以基于图像来估计车辆的未来路径的特征、或使用经训练的神经网络来处理在道路上导航的车辆前方的环境图像以估计车辆的未来路径的特征的示例之前，提供了对可用于执行和实施根据当前公开的主题的示例的方法的车辆可安装系统的各种可能的实现方式和配置的描述。在一些实施例中，系统的各种示例可以被安装在车辆中，并且可以在车辆运动时进行操作。在一些实施例中，系统可以实现根据当前公开的主题的示例的方法。
现在参考的图1是与所公开的实施例一致的系统的框图表示。系统100可以包括取决于特定实现方式的要求的各种组件。在一些示例中，系统100可以包括处理单元110、图像获取单元120和一个或多个存储单元140、150。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其他合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任何数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像采集设备(例如，相机)，例如，图像采集设备122、图像采集设备124和图像采集设备126。在一些实施例中，系统100还可以包括将处理单元110通信地连接到图像获取设备120的数据接口128。例如，数据接口128可以包括任何一个或多个有线和/或无线链路，以用于将由图像获取设备120获取的图像数据发送到处理单元110。
应用处理器180和图像处理器190都可以包括各种类型的处理设备。例如，应用处理器180和图像处理器190中的一者或两者都可以包括一个或多个微处理器、预处理器(例如，图像预处理器)、图形处理器、中央处理器(CPU)、支持电路、数字信号处理器、集成电路、存储器、或适用于运行应用以及图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，包括例如可从制造商(例如，等)获得的处理器，并且可以包括各种架构(例如，x86处理器、
Figure BDA0002235997900000052
等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的EyeQ系列处理器芯片中的任何一种。这些处理器设计各自包括具有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，
Figure BDA0002235997900000054
使用以332Mhz运行的90nm微米技术。
Figure BDA0002235997900000055
架构具有两个浮点、超线程32位RISC CPU(核心)、五个视觉计算引擎(VCE)、三个矢量微码处理器
Figure BDA0002235997900000057
Denali 64位移动DDR控制器、128位内部超音速互连、双16位视频输入、以及18位视频输出控制器、16通道DMA和多个外围设备。MIPS34K CPU管理五个VCE、三个VMPTM和DMA、第二MIPS34K CPU和多通道DMA以及其他外围设备。五个VCE、三个
Figure BDA00022359979000000511
和MIPS34 CPU可以执行多功能套件应用所需的密集视觉计算。在另一示例中，可以在所公开的示例中使用
Figure BDA0002235997900000058
其为第三代处理器并且性能是
Figure BDA0002235997900000059
的六倍。在又一示例中，可以在所公开的示例中使用第四代处理器
Figure BDA00022359979000000510
或任何进一步的芯片。
尽管图1描绘了包括在处理单元110中的两个分离的处理设备，但是可以使用更多或更少的处理设备。例如，在一些示例中，单个处理设备可以用于完成应用处理器180和图像处理器190的任务。在其他实施例中，这些任务可以由两个以上的处理设备执行。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，例如，控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器、或用于图像处理和分析的任何其他类型的设备。图像预处理器可以包括用于采集、数字化和处理来自图像传感器的图像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。支持电路可以是本领域中通常公知的任何数量的电路，包括缓存、电源、时钟和输入-输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件，包括例如经训练的系统，例如，神经网络。存储器可以包括任何数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光学存储装置、可移动存储装置和其他类型的存储装置。在一种情况下，存储器可以与处理单元110分离。在另一情况下，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储单元可以包括各种数据库和图像处理软件。存储单元可以包括随机存取存储器、只读存储器、闪存、磁盘驱动器、光学存储装置、磁带存储装置、可移动存储装置和/或任何其他类型的存储装置。在一些示例中，存储单元140、150可以与应用处理器180和/或图像处理器190分离。在其他实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
在一些实施例中，系统可以包括位置传感器130。位置传感器130可以包括适合于确定与系统100的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括GPS接收器。这样的接收器可以通过处理由全球定位系统卫星广播的信号来确定用户的位置和速度。来自位置传感器130的位置信息可以对应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以可操作地连接到可以安装系统100的车辆上的各种系统、设备和单元，并且系统100可以通过任何合适的接口(例如，通信总线)与车辆的系统进行通信。系统100可以与之配合的车辆系统的示例包括：节流系统、制动系统和转向系统。
在一些实施例中，系统100可以包括用户接口170。用户接口170可以包括适合于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备，包括例如触摸屏、麦克风、键盘、指示器设备、拨轮、相机、旋钮、按钮等。系统100可以通过用户接口170向用户提供信息。
在一些实施例中，系统100可以包括地图数据库160。地图数据库160可以包括用于存储数字地图数据的任何类型的数据库。在一些示例中，地图数据库160可以包括与各种项(包括道路、水特征、地理特征、兴趣点等)在参考坐标系中的位置有关的数据。地图数据库160不仅可以存储这些项的位置，而且可以存储与那些项有关的描述符，包括例如与任何所存储的特征相关联的名称以及关于它们的其他信息。例如，数据库中可以包括已知障碍物的位置和类型、有关道路地形或沿道路的某些点的坡度的信息等。在一些实施例中，地图数据库160可以与系统100的其他组件在物理上定位在一起。替代地或附加地，地图数据库160或其一部分可以远离系统100的其他组件(例如，处理单元110)。在这样的实施例中，来自地图数据库160的信息可以通过有线或无线数据连接下载到网络(例如，通过蜂窝网络和/或互联网等)。
图像采集设备122、124和126各自可以包括适合于从环境采集至少一个图像的任何类型的设备。此外，可以使用任何数量的图像采集设备来获取图像以输入到图像处理器。当前公开的主题的一些示例可以包括仅单个图像采集设备或可以利用仅单个图像采集设备来实现，而其他示例可以包括两个、三个、或甚至四个或更多个图像采集设备或可以利用它们来实现。下文将参考图2B-2E进一步描述图像采集设备122、124和126。
应理解，系统100可以包括其他类型的传感器或可以与其他类型的传感器可操作地关联，包括例如：声传感器、RF传感器(例如，雷达收发器)、LIDAR传感器。这样的传感器可以独立于图像获取设备120来使用或与图像获取设备120配合使用。例如，来自雷达系统(未示出)的数据可以用于验证从图像获取设备120所获取的处理图像接收的处理信息，例如，以过滤由图像获取设备120获取的经处理的图像而导致的某些误报，或者它可以与来自图像获取设备120的图像数据、或者来自图像获取设备120的图像数据的某些经处理的变化或派生物进行组合，或者以其他方式对其进行补充。
系统100或其各种组件可以被结合到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有处理单元110和系统100的任何其他组件，如以上关于图1所描述的。尽管在一些实施例中车辆200可以仅配备单个图像采集设备(例如，相机)，但是在其他实施例中，例如结合图2B-2E所讨论的，可以使用多个图像采集设备。例如，如图2A所示，车辆200的图像采集设备122和124中的任一个可以是ADAS(高级驾驶员辅助系统)成像集的一部分。
作为图像获取单元120的一部分包括在车辆200上的图像采集设备可以被定位在任何合适的位置。在一些实施例中，如图2A-2E和图3A-3C所示，图像采集设备122可以位于后视镜附近。该位置可以提供与车辆200的驾驶员相似的视线，这可以帮助确定驾驶员可见和不可见的东西。
还可以使用图像获取单元120的图像采集设备的其他位置。例如，图像采集设备124可以位于车辆200的保险杠上或之中。这样的位置可以特别适合于具有宽视场的图像采集设备。位于保险杠上的图像采集设备的视线可能与驾驶员的视线不同。图像采集设备(例如，图像采集设备122、124和126)也可以位于其他位置。例如，图像采集设备可以位于车辆200的侧镜的一个或两个上或之中、在车辆200的车顶上、在车辆200的引擎盖上、在车辆200的后备箱上、在车辆200的侧面上，安装在车辆200的任何窗户上、位于其后方或位于其前方，以及安装在车辆200的前面和/或后面的光象(light figure)中或附近。图像采集单元120或作为在图像采集单元120中使用的多个图像采集设备之一的图像采集设备可以具有与车辆的驾驶员的视场(FOV)不同的FOV，并且不总是看到相同的物体。在一个示例中，图像获取单元120的FOV可以延伸超过典型驾驶员的FOV，并且因此可以对驾驶员的FOV之外的物体进行成像。在又一示例中，图像获取单元120的FOV是驾驶员的FOV的一些部分。在一些实施例中，图像获取单元120的FOV对应于覆盖车辆前方的道路的区域并且可能还覆盖道路的周围的扇区。
除了图像采集设备之外，车辆200还可以包括系统100的各种其他组件。例如，处理单元110可以包括在车辆200上，其与车辆的发动机控制单元(ECU)集成在一起或与之分离。车辆200还可以配备有位置传感器130，例如，GPS接收器，并且还可以包括地图数据库160以及存储单元140和150。
图2A是根据当前公开的主题的示例的车辆成像系统的示意性侧视图。图2B是图2A所示示例的示意性俯视图。如图2B所示，所公开的示例可以包括车辆200，该车辆200在其主体中包括系统100，该系统100具有定位在车辆200的后视镜附近和/或驾驶员附近的第一图像采集设备122、定位在车辆200的保险杠区域(例如，保险杠区域210之一)上或之中的第二图像采集设备124、以及处理单元110。
如图2C所示，图像采集设备122和124都可以位于车辆200的后视镜附近和/或驾驶员附近。另外，尽管在图2B和2C中示出了两个图像采集设备122和124，但是应当理解，其他实施例可以包括多于两个的图像采集设备。例如，在图2D所示的实施例中，第一、第二和第三图像采集设备122、124和126包括在车辆200的系统100中。
如图2D所示，图像采集设备122、124和126可以位于车辆200的后视镜附近和/或驾驶员座椅附近。所公开的示例不限于任何特定数量和配置的图像采集设备，并且图像采集设备可以定位在车辆200内和/或上的任何适当位置。
还应理解，所公开的实施例不限于特定类型的车辆200，并且可适用于所有类型的车辆，包括汽车、卡车、拖车、摩托车、自行车、自平衡运输装置和其他类型的车辆。
第一图像采集设备122可以包括任何合适类型的图像采集设备。图像采集设备122可以包括光轴。在一个实例中，图像采集设备122可包括具有全局快门的Aptina M9V024WVGA传感器。在另一示例中，可以使用滚动快门传感器。图像获取单元120以及被实现为图像获取单元120的一部分的任何图像采集设备可以具有任何期望的图像分辨率。例如，图像采集设备122可以提供1280×960像素的分辨率，并且可以包括滚动快门。
图像获取单元120以及被实现为图像获取单元120的一部分的任何图像采集设备可以包括各种光学元件。在一些实施例中，可以包括一个或多个透镜，例如，为图像获取单元120以及被实现为图像获取单元120的一部分的任何图像采集设备提供期望的焦距和视场。在一些示例中，被实现为图像获取单元120的一部分的图像采集设备可以包括任何光学元件或与任何光学元件相关联，例如，6mm透镜或12mm透镜。在一些示例中，图像采集设备122可以被配置为采集具有期望(且已知)视场(FOV)的图像。
第一图像采集设备122可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指图像传感器可以获取与特定扫描线中包括的每个像素相关联的图像数据的速率。
图2E是根据当前公开的主题的示例的车辆控制系统的图示。如图2E所示，车辆200可以包括节流系统220、制动系统230和转向系统240。系统100可以通过一个或多个数据链路(例如，用于传输数据的任何一个或多个有线和/或无线链路)向节流系统220、制动系统230和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像采集设备122、124和/或126获取的图像的分析，系统100可以向节流系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转弯、变道等)。此外，系统100可以从节流系统220、制动系统230和转向系统240中的一个或多个接收指示车辆200的运行状况(例如，速度、车辆200在制动和/或转弯等)的输入。
如图3所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户接口170。例如，车辆应用中的用户接口170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用把手(例如，位于车辆200的转向柱上或附近，包括例如转向信号把手)、按钮(例如，位于车辆200的方向盘上)等与系统100进行交互。在一些实施例中，麦克风350可以被定位成与后视镜310相邻。类似地，在一些实施例中，图像采集设备122可以位于后视镜310附近。在一些实施例中，用户接口170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
如受益于本公开的本领域技术人员将认识到的，可以对前述公开的实施例进行多种变化和/或修改。例如，并非所有组件对于系统100的操作都是必不可少的。此外，任何组件可以位于系统100的任何适当的部分中，并且组件可以被重新布置为各种配置并同时提供所公开的实施例的功能。因此，前述配置是示例并且与以上讨论的配置无关，系统100可以提供广泛的功能以分析车辆200的周围环境，并且响应于该分析，导航和/或以其他方式控制和/或操作车辆200。车辆200的导航、控制和/或操作可以包括(直接地或经由中间控制器，例如上述控制器)启用和/或禁用与车辆200相关联的各种特征、组件、设备、模式、系统和/或子系统。导航、控制和/或操作可以可替代地或附加地包括与用户、驾驶员、乘客、路人、和/或其他车辆或位于车辆200内部或外部的用户的交互，例如，通过提供视觉、听觉、触觉、和/或其他感官警报和/或指示。
如下面进一步详细讨论并且与各种公开的实施例一致的，系统100可以提供与自主驾驶、半自主驾驶、和/或驾驶员辅助技术有关的多种特征。例如，系统100可以分析图像数据、位置数据(例如，GPS位置信息)、地图数据、速度数据、和/或来自车辆200中包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130和其他传感器收集数据以进行分析。此外，系统100可以分析所收集的数据以确定车辆200是否应当采取某种动作，并然后在没有人工干预的情况下自动采取所确定的动作。应当理解，在某些情况下，由车辆自动采取的动作在人工监督之下，并且在某些情况下或在任何时候都启用进行人工干预以调节中止或覆盖机械动作的能力。例如，当车辆200在没有人工干预的情况下导航时，系统100可以自动控制车辆200的制动、加速、和/或转向(例如，通过向节流系统220、制动系统230和转向系统240中的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向驾驶员、乘客、用户或在车辆内部或外部的其他人(或其他车辆)发出警告、指示、建议、警报或指令。下面提供关于系统100所提供的各种实施例的附加细节。
多成像系统
如上所述，系统100可以提供使用单相机或多相机系统的驾驶辅助功能或半自主或全自主驾驶功能。多相机系统可以使用面向车辆前方的一个或多个相机。在其他实施例中，多相机系统可以包括面向车辆侧面或车辆后部的一个或多个相机。在一个实施例中，例如，系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像采集设备122和124)可以位于车辆(例如，车辆200)的前部和/或侧面。第一相机的视野可以大于、小于第二相机的视野，或部分地与之重叠。另外，第一相机可以连接至第一图像处理器以对由第一相机提供的图像执行单眼图像分析，并且第二相机可以连接至第二图像处理器以对由第二相机提供的图像进行单眼图像分析。第一和第二图像处理器的输出(例如，经处理的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中，每个相机具有不同的视野。因此，这样的系统可以基于从位于车辆的前方和侧面的不同距离处的物体导出的信息来做出决策。对单眼图像分析的引用可以指其中基于从单个视点(例如，从单个相机)采集的图像来执行图像分析的实例。立体图像分析可以指其中基于利用图像采集参数的一个或多个变化而采集的两个或多个图像来执行图像分析的实例。例如，适合于执行立体图像分析的采集图像可以包括使用不同焦距以及视差信息等从两个或多个不同位置、从不同视场采集的图像。
例如，在一个实施例中，系统100可以使用图像采集设备122-126来实现三相机配置。在这样的配置中，图像采集设备122可以提供窄视场(例如，34度，或者从约20到45度的范围中选择的其他值等)，图像采集设备124可以提供宽视场(例如，150度，或从约100到约180度的范围中选择的其他值)，并且图像采集设备126可以提供中间视场(例如，46度，或从约35到约60度的范围中选择的其他值)。在一些实施例中，图像采集设备126可以用作主相机或主要相机。图像采集设备122-126可以定位在后视镜310的后面，并且基本上并排定位(例如，相距6cm)。此外，在一些实施例中，图像采集设备122-126中的一个或多个可以安装在与车辆200的挡风玻璃齐平的防眩罩的后面。这种屏蔽可以使来自汽车内部的任何反射对图像采集设备122-126的影响最小化。
在另一实施例中，宽视场相机(例如，以上示例中的图像采集设备124)可以被安装为低于窄视场和主视场相机(例如，以上示例中的图像设备122和126)。这种配置可以提供来自宽视场相机的自由视线。为了减少反射，可以将相机安装为靠近车辆200的挡风玻璃，并且可以在相机上包括偏振器以衰减反射光。
三相机系统可以提供某些性能特征。例如，一些实施例可以包括基于来自另一相机的检测结果来验证一个相机对物体的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，三个如上所述的EyeQ系列处理器芯片)，每个处理设备专用于处理由一个或多个图像采集设备122-126采集的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并执行窄FOV相机甚至裁剪FOV相机的处理。在一些实施例中，第一处理设备可以被配置为使用经训练的系统(例如，经训练的神经网络)来检测车辆的当前位置前方的物体和/或道路特征(通常称为“道路物体”)、预测车辆的当前位置前方车辆的路径等。
第一处理设备可以进一步适于执行图像处理任务，例如，其可以旨在检测其他车辆、行人、车道标记、交通标志、交通信号灯和其他道路物体。更进一步，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并创建车辆200的环境的3D重建。然后，第一处理设备可以将3D重建与3D地图数据(例如，深度图)或与基于来自另一相机的信息计算出的3D信息结合。在一些实施例中，根据当前公开的主题的示例，第一处理设备可以被配置为在深度信息(例如，3D地图数据)上使用经训练的系统。在该实现方式中，可以在深度信息(例如，3D地图数据)上训练系统。
第二处理设备可以从主相机接收图像，并且可以被配置为执行视觉处理以检测其他车辆、行人、车道标记、交通标志、交通信号灯、道路障碍、碎片和其他道路物体。另外，第二处理设备可以计算相机位移，并且基于该位移来计算连续图像之间的像素的视差并创建场景的3D重构(例如，来自运动的结构)。第二处理设备可以将结构从基于运动的3D重建发送到第一处理设备，以与立体3D图像或与通过立体处理获得的深度信息进行组合。
第三处理设备可以从宽FOV相机接收图像并且处理图像以检测车辆、行人、车道标记、交通标志、交通信号灯和其他道路物体。第三处理设备可以执行附加的处理指令来分析图像以识别在图像中移动的物体，例如，变道车辆、行人等。
在一些实施例中，独立地采集和处理基于图像的信息的流可以提供在系统中提供冗余的机会。这样的冗余可以包括例如使用第一图像采集设备和从该设备处理的图像来验证和/或补充通过采集和处理来自至少第二图像采集设备的图像信息而获得的信息。
在一些实施例中，系统100可以在为车辆200提供导航辅助时使用两个图像采集设备(例如，图像采集设备122和124)，并使用第三图像采集设备(例如，图像采集设备126)来提供冗余并验证对从其他两个图像采集设备接收到的数据的分析。例如，在这样的配置中，图像采集设备122和124可以提供图像以供系统100进行立体分析来导航车辆200，而图像采集设备126可以提供图像以供系统100进行单眼分析以提供对基于从图像采集设备122和/或图像采集设备124采集的图像而获得的信息的冗余和验证。即可以认为图像采集设备126(和相应的处理设备)提供了冗余子系统，以提供对从图像采集设备122和124导出的分析的检查(例如，以提供自主紧急制动(AEB)系统)。
本领域技术人员将认识到，上述相机配置、相机位置、相机数量、相机位置等仅是示例。相对于整个系统描述的这些组件和其他组件可以在不脱离所公开的实施例的范围的情况下以各种不同的配置进行组装和使用。下面是关于使用多相机系统来提供驾驶员辅助和/或自主驾驶功能的更多细节。
如受益于本公开的本领域技术人员将认识到的，可以对前述公开的示例进行多种变化和/或修改。例如，并非所有组件对于系统100的操作都是必不可少的。此外，任何组件可以位于系统100的任何适当的部分中，并且这些组件可以被重新布置为各种配置并同时提供所公开的实施例的功能。因此，前述配置是示例并且与以上讨论的配置无关，系统100可以提供广泛的功能以分析车辆200的周围环境并响应于分析而导航车辆200或警告车辆的用户。
如下面更详细地讨论并且根据当前公开的主题的示例，系统100可以提供与自主驾驶、半自主驾驶和/或驾驶员辅助技术有关的各种特征。例如，系统100可以分析图像数据、位置数据(例如，GPS位置信息)、地图数据、速度数据和/或来自车辆200中包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130和其他传感器收集数据以进行分析。此外，系统100可以分析所收集的数据以确定车辆200是否应当采取特定动作，并然后在没有人工干预的情况下自主采取所确定的动作，或者系统100可以提供警告、警报或指令，其可以向驾驶员指示需要采取特定动作。自主动作可以在人工监督下执行，并且可受到人工干预和/或覆盖。例如，当车辆200在没有人为干预的情况下导航时，系统100可以自主控制车辆200的制动、加速和/或转向(例如，通过向节流系统220、制动系统230和转向系统240中的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。
提供了一种可以包括故障收集和管理单元的系统。故障收集和管理单元(FCMU)可包含在驱动控制/辅助系统(以下称为驾驶相关系统)中，或者可以耦合至驾驶相关系统。
驾驶相关系统耦合至传感器，并且可以执行与自主驾驶有关的各种操作和/或用于支持驾驶员的操作。例如，驾驶相关系统可以检测车辆的环境、可以检测障碍物、可以控制车辆的驾驶、可以将车辆的控制移交给驾驶员、可以向驾驶员提供与车辆的环境有关的警报(或任何类型的指示)等。
驾驶相关模块和/或驾驶相关系统可包括组件，例如但不限于处理单元110、存储单元(例如，存储器140和/或存储器150)和用户接口170。
每个驾驶相关系统可以包括一个或多个驾驶相关模块。每个驾驶相关模块可以包括芯片、片上系统(SOC)、可以包括一个或多个芯片、和/或可以包括一个或多个SOC。这种模块的非限制性示例是以色列的Mobileye的EyeQ片上系统系列(任何代的)。可以在一个或多个SOC中实现一个或多个与驾驶相关模块。
FCMU可以作为SOC的一部分或作为离散实体而安装在每个驾驶相关模块、一些驾驶相关模块等中。
在下面的示例中，假设每个驾驶相关系统都包括可以与一个或多个其他芯片耦合的单个SOC。
图4示出了高ASIL等级(例如，D等级)的系统100’的示例。根据本公开的实施例，系统100’包括多个驾驶相关系统和多个驾驶相关模块，以及选择模块和备用模块。
注意，驾驶相关模块的类型和数量、传感器的类型和/或数量、选择模块和备用模块的类型和数量可以与图中所示的不同。例如，具有三对驾驶相关模块(形成三个驾驶相关系统)仅是示例，并且可以提供任何数量的驾驶相关模块(以及驾驶相关系统)。驾驶相关系统可以包括一个、三个、或更多个驾驶相关模块。
系统100’可以包括：
1.第一驾驶相关系统111，包括第一对驾驶相关模块。该第一对包括(i)第一驾驶相关模块101，可以接收和处理来自第一传感器信息，以及(ii)第二驾驶相关模块102，可以接收和处理来自第二传感器的信息。第一和/或第二传感器可以包括任何类型的传感器，例如，雷达、激光雷达、相机等。
2.第二驾驶相关系统，包括第二对驾驶相关模块。该第二对包括(i)第二驾驶相关模块103，可以接收和处理来自第一传感器的信息，以及(ii)第四驾驶相关模块104，可以接收和处理来自第二传感器的信息。
3.选择模块119，耦合到第一和第二对驾驶相关模块，并且可以选择使用哪一对。该选择可以基于每个对所提供的状态信息和/或故障信息。故障信息可以至少部分地由每个对的FCMU提供。
4.附加驾驶相关系统，例如，第三驾驶相关系统113，包括第三对驾驶相关模块。该第三对可以包括(i)第五驾驶相关模块105，可以接收和处理来自第三传感器的信息，以及(ii)第六驾驶相关模块106，可以接收和处理来自第四传感器的信息。
第三驾驶相关系统可以类似于第一和/或第二驾驶相关系统。
第三驾驶相关系统113可以包括或可以不包括FCMU。
在第一对和/或第二对发生故障的情况下，将第三驾驶相关系统用作备用系统。第三驾驶相关系统可以具有与第一和第二驾驶相关系统相同的功能。替代地，第三驾驶相关系统可以具有更多受限的功能。举例来说，第三驾驶相关系统可以负责将汽车驾驶到安全区域，向驾驶员和/或第三方通知重大故障，并在到达安全区域后关闭汽车。安全区域可以是停车场，也可以是可以安全停放汽车的任何位置。
系统100’还包括一个或多个FCMU，但是为了说明的简单起见未示出它们。
在图5中，系统100’被示为包括第一FCMU 20(1)和第二FCMU 20(2)，其分别包括在第一和第二驾驶相关系统111和112中。
在图6中，系统100’被示为具有第一FCMU 20(1)和第二FCMU 20(2)，其分别耦合到第一和第二驾驶相关系统111和112(但未包括在其中)。
图4-6还示出了各种信号401-404和411-414以及通信接口116和117的示例。通信接口116和117分别耦合在选择模块119与第一和第二驾驶相关系统之间，通信接口116和117用于交换与信号401-404和411-414不同的数据和/或控制信号。信号401-404和411-414是信号的示例，并且包括：
1.ERROR_CR 401，指示第一驾驶相关系统111的严重错误。该信号从第一驾驶相关系统111发送到选择模块119。
2.ERROR_NCR 402，指示第一驾驶相关系统111的非严重错误。该信号从第一驾驶相关系统111发送到选择模块119。
3.RESET_SOC 403，重置第一驾驶相关系统111的SOC，而不重置第一FCMU 20(1)。该信号从选择模块119发送到第一驾驶相关系统111。
4.RESET_FCMU 404，重置第一FCMU 20(1)。该信号从选择模块119发送到第一驾驶相关系统111。
5.ERROR_CR 411，指示第二驾驶相关系统112的严重错误。该信号从第二驾驶相关系统112发送到选择模块119。
6.ERROR_NCR 412，指示第二驾驶相关系统112的非严重错误。该信号从第二驾驶相关系统112发送到选择模块119。
7.RESET_SOC 403，重置第二驾驶相关系统112的SOC，而不重置第二FCMU 20(2)。该信号从选择模块119发送到第二驾驶相关系统112。
8.RESET_FCMU 404，重置第二FCMU 20(2)。该信号从选择模块119发送到第二驾驶相关系统112。
图7示出了系统100’，其中，每个驾驶相关系统包括由第一传感器和第二传感器馈送的单个驾驶相关模块(未示出)。
图8示出了FCMU 20(1)。应当注意，FCMU 20(2)可以具有相同的结构。
注意，FCMU的信号的数量和类型以及组件(逻辑、寄存器)的数量和类型可能与图8所示的不同。例如，FCMU可以由两个以上的不同时钟信号馈送，可能存在组件的一个、三个、或更多个复制品等。
FCMU包括两个理想地完全相同的部分，每个部分可以由不同的时钟信号馈送，并且独立于另一部分来操作。如果没有FCMU的检测，则独立生成和馈送的时钟信号很难篡改。这两个部分所监测的状态应是相同的，由不同的部分报告的状态之间的不匹配可以指示故障、违反或另一错误。不同的部分可能具有不同的OPC端口，并且可生成不同的控制信号。每个部分均包括FCMU逻辑、配置寄存器、状态寄存器等。
FCMU 20(1)包括两个FCMU逻辑21和22、第一和第二配置寄存器23和35、第一和第二状态寄存器24和26。FCMU 20(1)由第一和第二时钟信号馈送。FCMU 20(1)可以从每个驾驶相关模块内或每个驾驶相关系统内的任何单元/模块/电路、和/或从外部连接的设备接收故障信号。
FCMU 20(1)还可从(一个或多个)内部CPU上运行的软件接收故障信号。内部CPU属于SOC。
FCMU 20(1)可以接收到大量(甚至数十或数百、甚至更多)故障和/或状态信号，并且大量故障和/或状态信号使FCMU能够以可靠和快捷的方式检测、记录和报告故障。状态寄存器可以存储粘性位，其指示检测到故障，并且只能通过上电复位或软件来清除。
FCMU的至少一些寄存器可受密码保护，因此对一个或多个位进行编程需要接收密码。密码可以存储在FCMU中。如果提供了错误的密码，则将不允许编程。这可以确保这些位不会被恶意错误编程。
第一FCMU逻辑21和第二FCMU逻辑22接收故障信号，并确定是否生成错误信号，例如，ERROR_CR 401、ERROR_NCR 402、中断(INT)405、以及不可屏蔽中断(NMI)406。提供这些信号作为示例。这样的信号的数量和定义可以适合于特定应用。
可以将ERROR_CR 401和ERROR_NCR 402发送到驾驶相关系统之外，并发送至选择模块199。中断信号INT 405和NMI 406被发送到SOC的CPU(内部CPU)。
第一FCMU逻辑21和第二FCMU逻辑22可以包括诸如第一计数器27和第二计数器28之类的计数器。
故障计数器可用于严重故障和非严重故障二者。如果(例如)可以从中恢复，则非严重故障可以被视为可容忍的。然而，如果这些故障达到阈值，则它们可能会对系统性能产生严重影响，并且应将其报告给SOC CPU和/或外部选择模块。故障计数器对故障数量进行计数(根据每种故障类型)。
第一FCMU逻辑和第二FCMU逻辑中的每一个可以包括一个或多个硬件组件，用于实现用于监测故障(基于接收到的故障信号(例如，来自各种IP的故障信号和/或辅助信号、和/或例如来自SOC的奇偶校验和/或纠错码信号)和/或基于FCMU本身执行的测试)以及用于响应检测到的故障的规则(可以是可编程的和/或以其他方式设置)。
在图8中，从驾驶相关模块的内置自测(BIST)模块(Soc LBIST、MBIST)和/或从IP(Soc IP)，以及从外部连接的设备和从在(一个或多个)内部CPU上运行的SW提供各种故障信号。例如，故障信号608和辅助信号可以从Soc IP和/或从LBIST和/或MBIST提供。SOC NOC(互连)可以提供系统总线和奇偶校验/ECC信号607。
诸如OCP(和/或AXI、ACE、AHB、APB)之类的SoC总线级接口和奇偶校验信号可以连接到驾驶相关模块的互连(Soc Noc)。这些接口用于访问FCMU控制和状态寄存器以进行FCMU维护。
规则可以存储在FCMU中、可以被编程到FCMU、可以随时间变化、可以是固定的等。
例如，规则可以定义事件，并且可以确定事件是否表示严重错误、事件是否表示非严重错误、事件是否需要中断驾驶相关系统的CPU等。
当特定故障发生一次、重复发生至少预定次数、和/或在时间窗口内重复发生至少预定次数时，可以定义事件。
基于规则，FCMU可以确定如何做出反应，例如，确定何时生成诸如INT 405、MNI406、ERROR_CR 401和ERROR_NCR 402之类的信号。
第一FCMU逻辑21、第一配置寄存器23和第一状态寄存器24可以由第一时钟馈送，而第二FCMU逻辑22、第二配置寄存器25和第二状态寄存器26可以由第二时钟馈送。
第一和第二状态寄存器应反映第一驾驶相关系统的当前状态。当前状态应反映故障或无故障。
第一和第二配置寄存器应反映第一驾驶相关系统的期望配置，并且这可以代表上述规则中的一个或多个。例如，配置可以包括严重错误和非严重错误的分类。
又对于另一示例，配置寄存器可以包括用于存储阈值(根据故障类型)的阈值寄存器，一旦达到阈值(发生故障类型)，则应被视为事件，并因此应报告给选择模块。
使用来自分开的时钟和电源单元29的两个不同的时钟可以提高FCMU的强健性，并且可以提高其对时钟信号篡改尝试的抵抗力。
第一和第二配置寄存器的内容可以彼此比较以发现错误(例如，不匹配可以被视为错误)。第一和第二状态寄存器的内容可以彼此比较以发现错误(例如，不匹配可以指示错误)。
第一和第二时钟信号可以从单独的时钟和电源单元29提供。根据本公开的实施例，即使当驱动相关模块的其他电路被重置时，FCMU也能够起作用并且不被重置，并且由与用于重置其他组件的重置信号不同的重置信号来馈送。
此外，FCMU可以存储驾驶相关系统的其他组件(例如，SOC的IP)的状态，包括故障，例如，在驾驶相关系统的其他组件之后，可以找出导致故障的块。这同样适用于驾驶相关模块的其他组件，甚至适用于整个驾驶相关模块或系统(当驾驶相关系统或模块中不包括FCMU时)。
当驾驶相关模块发生故障时，该故障可经由来自FCMU的错误信号报告给选择模块119或备用模块118。
选择模块或备用模块可以通过某些通信接口(例如，SPI)请求(与故障有关的)详细信息。该接口可能由于故障而无法正常运行。在这种情况下，选择或备份模块能够重置SoC以恢复其(和通信接口)的功能。FCMU保留故障日志而不管这种重置，因此一旦其再次运行，就可以通过通信接口报告该日志数据。
选择模块119包括用于实现响应规则的部分电路，该响应规则确定选择模块应如何响应状态报告、故障信号、和/或驾驶相关系统所提供的数据。规则可以是预定义的、可以随时间变化、可以是固定的。
选择模块119可以包括用于存储规则和来自驾驶相关系统的信号/报告/数据的存储单元，以及用于实现规则的控制器或处理器。
选择模块119可以选择从更安全(无故障)的驾驶相关系统(如果存在，并且如果驾驶相关系统当前安全)输出信号。如果所有驾驶相关系统都不安全，则选择模块可以选择重置(至少)这些驾驶相关系统。如果所有驾驶相关系统都是安全的，则选择模块可以根据任意顺序或规则以任何方式(随机、伪随机)选择输出其信号的所选驾驶相关系统。
图8示出了根据本公开实施例的两个复位信号RESET_SOC 603和RESET_FCMU 604。
RESET_SOC 603可以在有/没有施加电源的情况下被断言，它针对所有SoC逻辑以及FCMU SoC级总线接口被重置。它不重置FCMU状态位的值。
RESET_FCMU 604可以在有/没有施加电源的情况下被断言，它针对包括状态位的FCMU逻辑被重置。
当接收到来自特定FCMU或特定驾驶相关系统的ERROR_CR时，选择模块119的响应可包括：
1.从该特定驾驶相关系统(或特定FCMU)获取故障报告，其经由耦合至该特定驾驶相关系统的通信接口发送ERROR_CR信号。
2.如果成功接收到故障报告，则断言将发送到该特定驾驶相关系统或特定FCUM的RESET_SOC和RESET_FCMU，并进入安全状态。
3.其他-
i.断言将发送到该特定驾驶相关系统或特定FCUM的RESET_SOC(重置SOC而不重置FCMU)。
ii.经由耦合到该特定驾驶相关系统的通信接口获取故障报告。
iii.断言将发送到该特定驾驶相关系统或特定FCUM的RESET_FCMU和RESET_SOC。
应注意，RESET_SOC和/或RESET_SOC也可以被发送到未发送ERROR_CR信号的FCMU和/或驾驶相关系统。
当接收到来自特定FCMU或特定驾驶相关系统的ERROR_NCR时，选择模块的响应可包括：
1.经由耦合到该某个驾驶相关系统的通信接口获取故障报告。
2.如果成功，则根据收到的状态采取动作。
3.其他-
i.断言将发送到该特定驾驶相关系统或特定FCUM的RESET_SOC(重置SOC而不重置FCMU)。
ii.经由耦合到该某个驾驶相关系统的通信接口获取故障报告。
iii.断言将发送到该特定驾驶相关系统或特定FCUM的RESET_FCMU和RESET_SOC。
FCMU可以用作故障记录和报告的ASIL-D“安全岛”。这可以至少部分地通过具有专用电源(例如，单独的时钟和电源单元29)来实现。
应注意，选择模块119可以选择从更可靠(较少故障)的驾驶相关系统输出信号(例如，驾驶相关系统的输出(例如，经处理的数据))。
在这种情况下，行为将是：
i.IP断言信号
ii.FCMU采样、过滤、并向选择模块发送服务请求(例如，ASIL-D MCU)和/或SOCCPU
iii.选择模块/CPU清除源IP(然后FCMU)中的故障信号(通过Ctrl/状态寄存器)
严重故障可以立即报告给选择模块119。
每个FCMU可以从IP获得物理信号，并经由ERROR_xxx引脚向选择模块118报告。
FCMU可以在故障信号的上升沿或在其他任何时间处理故障。
选择模块119还可经由通信接口116和/或117获得完整的FCMU/IP状态报告。
在特定点(尽可能早)，选择模块118(经由通信接口)可以清除FCMU和IP中的状态位，但同时可能发生未被报告(因为尚未清除状态)更多同一类型的故障。
典型的选择模块119对严重故障的反应是SoC重置(RESET_SOC)。
当第一和/或第二驾驶相关系统发生故障(特别是严重错误)时，可以使用备用模块118来代替第一或第二驾驶相关系统。
图9示出了包括SOC的第一驾驶相关系统，该SOC包括耦合至多个IP的缓存一致性互连510。
该多个IP包括：
1.第一组IP 501，包括经由二级缓存(L2缓存)耦合到缓存一致性互连510的计算机视觉处理器(例如，十八个计算机视觉处理器)。每个计算机视觉处理器都执行图像处理操作。
2.第二组IP，包括经由二级缓存(L2缓存)耦合到缓存一致性互连510的CPU(例如，八个CPU)。
3.动态存储器模块接口503，例如，第四代低功耗双倍数据速率(LPDDR4)块。
4.外围设备504。外围设备可以包括例如四路串行外围设备接口总线(SPI)、八路SPI、安全数字(SD4.1)、嵌入式多媒体卡(eMMC5.1)、千兆以太网(GbE)、音频视频桥接时间敏感网络(AVB/TSN)、PCI Express(PCIe)第四代(Gen4)、锁相环(PLL)、通用异步收发器(UART)、通用输入输出(GPIO)、内部集成总线(I2C)、以及具有灵活数据速率的受控区域网络(CAN-FD)等。
5.硬件安全模块505。
6.FCMU 506。
7.运动联合图像专家组(MJPEG)单元507。
8.ISRAM 508。
9.启动ROM 509。
10.传感器接口511，例如，传感器串行接口CSI2。
IP和互连耦合到FCUM 20(1)并且可以发送FCMU 20(！)故障信号。
可以从这些IP发送到FCMU的故障信号(在图8中表示为608)的非限制性示例可以包括(以下提供的故障类型是示例，可以定义其他类型)：
1.完整性检查故障。指示IP检测到完整性错误。
2.SRAM可纠正数据故障。指示IP中的SRAM之一检测到可纠正数据错误(即由IP纠正的ECC单个位错误)。这可被认为是非严重故障。
3.SRAM不可纠正数据故障。指示IP中的SRAM之一检测到不可纠正数据错误(即ECC检测到可以由IP纠正的更多错误)。这可被认为是严重故障。
4.SRAM不可纠正地址故障。指示IP中的SRAM之一检测到不可纠正地址错误(即ECC检测到可以由IP纠正的更多错误)。这可被认为是严重故障。
5.数据路径故障。指示IP在数据路径中检测到奇偶校验错误。
6.地址路径故障。指示IP在地址路径中检测到奇偶校验错误。
7.配置寄存器故障。指示IP在配置寄存器中检测到奇偶校验错误。
8.状态寄存器故障。指示IP在状态寄存器中检测到奇偶校验错误。
9.事务超时(内部接口，例如，OCP/AXI/AHB等)。指示IP检测到事务超时错误。
10.协议故障(外部接口，例如，PCIe、以太网、SPI等)。指示IP检测到协议错误。
11.地址冲突故障。指示IP检测到地址访问冲突。
12.LBIST(逻辑内置自检)故障。LBIST在加速器或核心之一上运行并向CPU返回FAIL，其通过软件引发LBIST故障。
13.MBIST(存储器内置自检)故障。MBIST故障，MBIST在嵌入式存储器之一上运行并向CPU返回FAIL，其通过软件引发MBIST故障。
可以(以难以更改为严重故障或非严重故障的安全方式)定义上述故障信号。
FCMU可接收到以下辅助信号：
1.来自看门狗定时器的中断/重置。看门狗定时器发送的中断/请求，指示预定义时间段期满而未发生预定义动作。
2.安全违规事件，硬件安全模块根据其向CPU警告潜在的安全威胁的事件(例如，验证失败)。
故障信号可以是半静态的。故障信号在以下意义上可以是半静态的，它可以在检测到故障之后被设置为特定等级，但可仅由诸如FCMU本身之类的授权实体被重置为另一等级(指示故障不存在)。
图9示出了片上系统，该片上系统可以是根据本发明实施例的第一至第六驱动相关模块中的任何一个。
图10示出了方法600。
方法600用于保护系统。
方法600包括以下步骤：
步骤610，由多个驾驶相关系统执行驾驶相关操作。
步骤620，由多个故障收集和管理单元监测多个驾驶相关系统的状态的。
步骤630，向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障。
步骤640，由选择模块通过执行下列项中的至少一项来对该报告作出响应：(i)重置该多个故障收集和管理单元以及多个驾驶相关系统当中的至少一个实体；以及(ii)选择从驾驶相关系统输出的数据。
重置允许从错误中恢复并进行数据选择，以便从更可靠的驾驶相关系统中提供并认为更可靠的数据。
步骤640可以包括下列项中的至少一项：
1.在发生与特定驾驶相关系统有关的严重故障之后，由选择模块重置该特定驾驶相关系统，而不重置与该特定驾驶相关系统相关联的特定故障收集和管理单元。例如，如果特定故障收集和管理单元似乎正常运行(例如，未故障)，则可能会发生这种情况。
2.在发生与特定驾驶相关系统有关的严重故障之后，由选择模块重置该特定驾驶相关系统以及与该特定驾驶相关系统相关联的特定故障收集和管理单元。例如，如果特定故障收集和管理单元似乎未正常运行(例如故障)，则可能会发生这种情况。
3.由选择模块重置有故障的故障收集和管理单元。
4.由选择模块重置有故障的故障收集和管理单元以及与有故障的故障收集和管理单元相关联的驾驶相关系统。
5.在与特定驾驶相关系统有关的非严重故障重复发生至少预定数量之后，由选择模块重置该特定驾驶相关系统而不重置与该特定驾驶相关系统相关联的特定故障收集和管理单元。
6.在与特定驾驶相关系统有关的非严重故障重复发生至少预定数量之后，由选择模块重置该特定驾驶相关系统并重置与该特定驾驶相关系统相关联的特定故障收集和管理单元。
步骤640可以包括确定故障收集和管理单元是否故障。每个故障收集和管理单元可以包括彼此相同的多个部分。
步骤640可以包括通过专用时钟信号来馈送每个部分，并且由每个部分确定与故障收集和管理单元相关联的驾驶相关系统的状态。该确定可以包括由故障收集和管理单元在由多个部分确定的状态之间进行比较，以检测指示有故障的收集和管理单元的不匹配。
方法600可以包括通过与馈送多个驾驶相关系统的传感器不同的传感器来馈送附加驾驶相关系统。
多个驾驶相关系统中的每一个都包括单个芯片上系统。
多个驾驶相关系统中的每一个都包括多个驾驶相关系统模块。方法600可以包括通过不同的传感器馈送不同的驾驶相关模块。
对系统的任何引用应进行必要的修改以应用于由系统执行的方法和/或应用于存储指令的计算机程序产品，该指令一旦由系统执行，则将使系统执行该方法。该计算机程序产品是非暂态的并且可以是例如集成电路、磁存储器、光存储器、磁盘等。
对方法的任何引用应进行必要的修改以应用于配置为执行该方法的系统和/或应用于存储指令的计算机程序产品，该指令一旦由系统执行，则将使系统执行该方法。
对计算机程序产品的任何引用应进行必要的修改以应用于由系统执行的方法和/或配置为执行存储在计算机程序产品中的指令的系统。
术语“和/或”是附加地或替代地。
在前述说明书中，已经参考本发明的实施例的特定示例描述了本发明。然而，将明显的是，可以在其中进行各种修改和改变而不脱离所附权利要求书所阐述的本发明的更广泛的精神和范围。
此外，说明书和权利要求书中的术语“前”、“后”、“顶部”、“底部”、“上方”、“下方”等(如果有的话)仅用于描述目的，而不必用于描述永久相对位置。应理解，如此使用的术语在适当的情况下是可互换的，使本文所述的本发明的实施例例如能够以不同于本文所示或以其他方式描述的其他取向来操作。
用于实现同一功能的任何布置的组件被有效地“关联”以实现期望功能。因此，本文中进行组合以实现特定功能的任何两个组件可以被视为彼此“关联”，从而实现期望的功能，而与架构或中间组件无关。同样地，如此关联的任何两个组件还可以被视为彼此“可操作地连接”或“可操作地耦合”以实现期望功能。
此外，本领域技术人员将认识到上述操作之间的边界仅是示例性的。可以将多个操作组合成单个操作，可以将单个操作分布在附加操作中，并且可以在时间上至少部分重叠地执行操作。此外，替代实施例可以包括特定操作的多个实例，并且在各种其他实施例中可以改变操作的顺序。
然而，其他修改、变化和替代也是可能的。因此，说明书和附图应被认为是说明性的而不是限制性的。
短语“可以是X”表示可以满足条件X。此短语还暗示可能不满足条件X。例如，任何将系统包含特定组件的引用也应涵盖系统不包含特定组件的情况。
术语“包括”、“包含”、“具有”、“由...组成”和“基本上由...组成”以可互换的方式使用。例如，任何方法都可以至少包括附图和/或说明书中包括的步骤、仅包括附图和/或说明书中包括的步骤。这同样适用于系统和移动计算机。
应理解，为了图示的简单和清楚起见，附图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被放大。此外，在认为适当的情况下，可以在附图之间重复附图标记以指示相应或相似的元件。
此外，例如，在一个实施例中，所示示例可以被实现为位于单个集成电路上或在同一设备内的电路。替代地，示例可以被实现为以合适的方式彼此互连的任何数量的分离的集成电路或分离的设备。
此外，例如，示例或示例的部分可以被实现为物理电路的软件或代码表示或可转换为物理电路的逻辑表示，例如，以任何适当类型的硬件描述语言。
此外，本发明不限于以非可编程硬件实现的物理设备或单元，还可以应用于能够通过根据合适的程序代码进行操作来执行期望的设备功能的可编程设备或单元，例如，大型机、小型计算机、服务器、工作站、个人计算机、记事本、个人数字助理、电子游戏、汽车和其他嵌入式系统、蜂窝电话和各种其他无线设备，在本申请中通常称为“计算机系统”。
然而，其他修改、变化和替代也是可能的。因此，说明书和附图应被认为是说明性的而不是限制性的。
在权利要求中，放在括号之间的任何参考符号不应解释为对权利要求的限制。此外“包括”并不排除权利要求中列出的元件或步骤之外的其他元件或步骤的存在。此外，本文所使用的术语“一”、“一个”被定义为一个或多个。此外，在权利要求中使用诸如“至少一个”和“一个或多个”之类的介绍性短语不应解释为暗示由不定冠词“一”或“一个”引入另一权利要求要素将包含这种引入的权利要求要素的任何特定权利要求限制为仅包含一个这样的要素的发明，即使同一权利要求包括介绍性短语“一个或多个”或“至少一个”以及不定冠词，例如，“一”或“一个”。对于定冠词的使用也是如此。除非另有说明，否则诸如“第一”和“第二”之类的术语用于任意地区分此类术语所描述的要素。因此，这些术语不一定旨在指示这些要素的时间或其他优先次序，仅在互不相同的权利要求中记载某些措施的事实并不表示不能有利地使用这些措施的组合。
尽管已经在本文中图示和描述了本发明的某些特征，但本领域普通技术人员现在将想到许多修改、替换、改变和等同物。因此，应理解，所附权利要求书旨在覆盖落入本发明的真实精神内的所有这样的修改和改变。
可以提供在任何附图和/或说明书和/或权利要求中示出的系统的任何组件和/或单元的任何组件的任何组合。
可以提供在任何附图和/或说明书和/或权利要求中示出的任何系统的任何组合。
可以提供在任何附图和/或说明书和/或权利要求中示出的步骤、操作和/或方法的任何组合。
可以提供在任何附图和/或说明书和/或权利要求中示出的操作的任何组合。
可以提供在任何附图和/或说明书和/或权利要求中示出的方法的任何组合。
此外，尽管本文已经描述了说明性实施例，但本领域技术人员基于本公开将理解具有等同要素、修改、省略、(例如，各个实施例的各个方面)组合、改编和/或变更的任何和所有实施例的范围。权利要求书中的限定应基于权利要求书中使用的语言来广泛地解释，并且不限于本说明书中或在本申请进行过程中描述的示例。这些示例应被解释为非排他性的。此外，可以以任何方式修改所公开的方法的步骤，包括通过重新排序步骤和/或插入或删除步骤。因此，本说明书和示例仅被认为是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围指示。

Claims (25)

1.一种系统，包括：
多个驾驶相关系统，所述多个驾驶相关系统被配置为执行驾驶相关操作；
选择模块；
多个故障收集和管理单元，所述多个故障收集和管理单元被配置为监测所述多个驾驶相关系统的状态，并向所述选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；
其中，所述选择模块被配置为通过执行下列项中的至少一项来对所述报告作出响应：
(i)重置所述多个故障收集和管理单元以及所述多个驾驶相关系统当中的至少一个实体；以及
(ii)选择从驾驶相关系统输出的数据。
2.根据权利要求1所述的系统，其中，所述选择模块被配置为在发生与特定驾驶相关系统有关的严重故障之后，重置所述特定驾驶相关系统，而不重置与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
3.根据权利要求1所述的系统，其中，所述选择模块被配置为在发生与特定驾驶相关系统有关的严重故障之后，重置所述特定驾驶相关系统以及与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
4.根据权利要求1所述的系统，其中，所述选择模块被配置为重置有故障的故障收集和管理单元。
5.根据权利要求1所述的系统，其中，所述选择模块被配置为重置有故障的故障收集和管理单元以及与所述有故障的故障收集和管理单元相关联的驾驶相关系统。
6.根据权利要求1所述的系统，其中，所述选择模块被配置为在与特定驾驶相关系统有关的非严重故障重复发生了至少预定次数之后，重置所述特定驾驶相关系统，而不重置与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
7.根据权利要求1所述的系统，其中，所述选择模块被配置为在与特定驾驶相关系统有关的非严重故障重复发生了至少预定次数之后，重置所述特定驾驶相关系统，并且重置与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
8.根据权利要求1所述的系统，其中，每个故障收集和管理单元包括彼此相同的多个部分，每个部分由专用时钟信号馈送并且被配置为确定与所述故障收集和管理单元相关联的驾驶相关系统的状态。
9.根据权利要求8所述的系统，其中，所述故障收集和管理单元被配置为在由所述多个部分确定的状态之间进行比较以检测不匹配，所述不匹配指示有故障的收集和管理单元。
10.根据权利要求1所述的系统，还包括附加驾驶相关系统和备用模块；其中，所述附加驾驶相关系统由与馈送所述多个驱动相关系统的传感器不同的传感器来馈送。
11.根据权利要求1所述的系统，其中，所述多个驾驶相关系统中的每一个都包括单个芯片上系统。
12.根据权利要求1所述的系统，其中，所述多个驾驶相关系统中的每一个都包括多个驾驶相关模块；其中，不同的驾驶相关模块由不同的传感器馈送。
13.一种用于保护系统的方法，所述方法包括：
由多个驾驶相关系统执行驾驶相关操作；
由多个故障收集和管理单元监测所述多个驾驶相关系统的状态；
向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；
由所述选择模块通过执行下列项中的至少一项来对所述报告作出响应：
(i)重置所述多个故障收集和管理单元以及所述多个驾驶相关系统当中的至少一个实体；以及
(ii)选择从驾驶相关系统输出的数据。
14.根据权利要求13所述的方法，包括：在发生与特定驾驶相关系统有关的严重故障之后，由所述选择模块重置所述特定驾驶相关系统，而不重置与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
15.根据权利要求13所述的方法，包括：在发生与特定驾驶相关系统有关的严重故障之后，由所述选择模块重置所述特定驾驶相关系统以及与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
16.根据权利要求13所述的方法，包括：由所述选择模块重置有故障的故障收集和管理单元。
17.根据权利要求13所述的方法，包括：由所述选择模块重置有故障的故障收集和管理单元以及与所述有故障的故障收集和管理单元相关联的驾驶相关系统。
18.根据权利要求13所述的方法，包括：在与特定驾驶相关系统有关的非严重故障重复发生了至少预定次数之后，由所述选择模块重置所述特定驾驶相关系统，而不重置与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
19.根据权利要求13所述的方法，包括：在与特定驾驶相关系统有关的非严重故障重复发生了至少预定次数之后，由所述选择模块重置所述特定驾驶相关系统，并且重置与所述特定驾驶相关系统相关联的特定故障收集和管理单元。
20.根据权利要求13所述的方法，其中，每个故障收集和管理单元包括彼此相同的多个部分，其中，所述方法包括：由专用时钟信号馈送每个部分，并且由每个部分确定与所述故障收集和管理单元相关联的驾驶相关系统的状态。
21.根据权利要求20所述的方法，包括：由所述故障收集和管理单元在由所述多个部分确定的状态之间进行比较以检测不匹配，所述不匹配指示有故障的收集和管理单元。
22.根据权利要求13所述的方法，包括：由与馈送所述多个驱动相关系统的传感器不同的传感器馈送附加驾驶相关系统。
23.根据权利要求13所述的方法，其中，所述多个驾驶相关系统中的每一个都包括单个芯片上系统。
24.根据权利要求13所述的方法，其中，所述多个驾驶相关系统中的每一个都包括多个驾驶相关模块；其中，所述方法包括通过不同的传感器馈送不同的驾驶相关模块。
25.一种存储程序指令的计算机程序产品，所述指令用于：
由多个驾驶相关系统执行驾驶相关操作；
由多个故障收集和管理单元监测所述多个驾驶相关系统的状态；
向选择模块报告下列项中的至少一项：(a)发生至少一个严重故障；(b)不存在至少一个严重故障；(c)发生至少一个非严重故障；以及(d)不存在至少一个非严重故障；以及
由所述选择模块通过执行下列项中的至少一项来对所述报告作出响应：(i)重置所述多个故障收集和管理单元以及所述多个驾驶相关系统当中的至少一个实体；以及(ii)选择从驾驶相关系统输出的数据。
CN201880025484.1A 2017-04-17 2018-04-17 包括驾驶相关系统的安全系统 Pending CN110799404A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762486008P 2017-04-17 2017-04-17
US62/486,008 2017-04-17
PCT/IL2018/050432 WO2018193449A1 (en) 2017-04-17 2018-04-17 Secure system that includes driving related systems

Publications (1)

Publication Number Publication Date
CN110799404A true CN110799404A (zh) 2020-02-14

Family

ID=62200493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880025484.1A Pending CN110799404A (zh) 2017-04-17 2018-04-17 包括驾驶相关系统的安全系统

Country Status (6)

Country Link
US (2) US11608073B2 (zh)
EP (2) EP3612425B1 (zh)
JP (1) JP2020517028A (zh)
KR (1) KR102263828B1 (zh)
CN (1) CN110799404A (zh)
WO (1) WO2018193449A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608073B2 (en) 2017-04-17 2023-03-21 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019229534A2 (en) * 2018-05-28 2019-12-05 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems
EP3830696A2 (en) 2018-08-03 2021-06-09 Mobileye Vision Technologies Ltd. Error correction coding in a dynamic memory module
US11208111B2 (en) * 2018-12-11 2021-12-28 Waymo Llc Redundant hardware system for autonomous vehicles
DE102018222720B4 (de) * 2018-12-21 2022-01-05 Continental Teves Ag & Co. Ohg Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
EP3754449A4 (en) * 2018-12-26 2021-09-29 Huawei Technologies Co., Ltd. VEHICLE ORDERING PROCESS, ASSOCIATED DEVICE, AND COMPUTER STORAGE MEDIA
CN109874007A (zh) * 2019-02-21 2019-06-11 北京经纬恒润科技有限公司 一种摄像头故障注入方法及装置
JP6658943B1 (ja) * 2019-04-10 2020-03-04 トヨタ自動車株式会社 車両の制御装置
JP7372784B2 (ja) * 2019-08-30 2023-11-01 マツダ株式会社 中央演算装置
JP6806228B1 (ja) * 2019-12-25 2021-01-06 トヨタ自動車株式会社 車両制御装置
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
CN112977467B (zh) * 2021-02-25 2022-09-23 沃行科技(南京)有限公司 一种车端无人化的远程故障复位方法
CN113044063B (zh) * 2021-03-31 2022-09-06 重庆长安汽车股份有限公司 用于高级自动驾驶的功能冗余控制系统
US20220371622A1 (en) * 2021-05-21 2022-11-24 Honda Motor Co., Ltd. System and method for completing joint risk localization and reasoning in driving scenarios
EP4368457A1 (en) * 2021-07-23 2024-05-15 Huawei Technologies Co., Ltd. Fault information transmission method and apparatus, and storage medium
US11803668B2 (en) 2021-07-30 2023-10-31 Nvidia Corporation Isolating a region of a system on a chip for safety critical operations
WO2023009559A1 (en) * 2021-07-30 2023-02-02 Nvidia Corporation Isolating a region of a system on a chip for safety critical operations
US11698833B1 (en) * 2022-01-03 2023-07-11 Stmicroelectronics International N.V. Programmable signal aggregator

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6897629B2 (en) * 2000-12-27 2005-05-24 Transportation Techniques, Llc Method and apparatus for adaptive control and protection of hybrid electric vehicle systems
EP1616746A2 (en) * 2004-07-15 2006-01-18 Hitachi, Ltd. Vehicle control system
US20120159241A1 (en) * 2010-12-16 2012-06-21 Hitachi, Ltd. Information processing system
US20130246866A1 (en) * 2012-03-14 2013-09-19 GM Global Technology Operations LLC System and method for verifying the integrity of a safety-critical vehicle control system
US20140052326A1 (en) * 2012-02-15 2014-02-20 Getrag Getriebe- Und Zahnradfabrik Hermann Hagenmeyer Gmbh & Cie Kg Method and control device for a drive train component
US20140257624A1 (en) * 2013-03-08 2014-09-11 The Boeing Company Electrical power health monitoring system
US8878542B2 (en) * 2011-04-01 2014-11-04 Robert Bosch Gmbh Method and apparatus for dealing with faults in an electrical drive system
US20150346717A1 (en) * 2005-07-11 2015-12-03 Brooks Automation, Inc. Intelligent condition monitoring and fault diagnostic system for preventative maintenance
US20160200421A1 (en) * 2014-05-01 2016-07-14 Alakai Technologies Corporation Clean fuel electric multirotor aircraft for personal air transportation and manned or unmanned operation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3343143B2 (ja) * 1992-12-02 2002-11-11 日本電気株式会社 故障診断方法
JP3788168B2 (ja) * 2000-02-29 2006-06-21 トヨタ自動車株式会社 車両の走行支援装置
JP3770053B2 (ja) 2000-05-26 2006-04-26 三菱ふそうトラック・バス株式会社 車両用ネットワークの通信復帰判定方法
US7245995B2 (en) 2003-02-19 2007-07-17 Robert Bosch Gmbh Fault-tolerant vehicle stability control
JP4321520B2 (ja) * 2005-12-28 2009-08-26 トヨタ自動車株式会社 動力出力装置およびこれを搭載する車両並びに動力出力装置の制御方法
JP2007253704A (ja) * 2006-03-22 2007-10-04 Denso Corp 異常検出装置
DE102011086530A1 (de) * 2010-11-19 2012-05-24 Continental Teves Ag & Co. Ohg Mikroprozessorsystem mit fehlertoleranter Architektur
US8725395B2 (en) * 2012-01-10 2014-05-13 Toyota Jidosha Kabushiki Kaisha System for constructing a spanning forest in a vehicular network
JP5743932B2 (ja) * 2012-03-16 2015-07-01 株式会社デンソー Ｅｃｕの異常監視回路
FR3012098B1 (fr) * 2013-10-17 2017-01-13 Renault Sa Systeme et procede de controle de vehicule avec gestion de defauts
JP6323235B2 (ja) 2014-07-29 2018-05-16 株式会社デンソー 電子制御装置
JP6434840B2 (ja) 2015-03-30 2018-12-05 日立オートモティブシステムズ株式会社 電子制御装置
EP3085596B1 (en) * 2015-04-20 2017-11-29 Autoliv Development AB A vehicle safety electronic control system
KR102400899B1 (ko) * 2015-07-15 2022-05-23 엘지전자 주식회사 차량 제어 장치 및 그 방법
WO2018193449A1 (en) 2017-04-17 2018-10-25 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems
US20220334865A1 (en) * 2021-04-16 2022-10-20 Stmicroelectronics Application Gmbh Processing system, related integrated circuit, device and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6897629B2 (en) * 2000-12-27 2005-05-24 Transportation Techniques, Llc Method and apparatus for adaptive control and protection of hybrid electric vehicle systems
EP1616746A2 (en) * 2004-07-15 2006-01-18 Hitachi, Ltd. Vehicle control system
US20150346717A1 (en) * 2005-07-11 2015-12-03 Brooks Automation, Inc. Intelligent condition monitoring and fault diagnostic system for preventative maintenance
US20120159241A1 (en) * 2010-12-16 2012-06-21 Hitachi, Ltd. Information processing system
US8878542B2 (en) * 2011-04-01 2014-11-04 Robert Bosch Gmbh Method and apparatus for dealing with faults in an electrical drive system
US20140052326A1 (en) * 2012-02-15 2014-02-20 Getrag Getriebe- Und Zahnradfabrik Hermann Hagenmeyer Gmbh & Cie Kg Method and control device for a drive train component
US20130246866A1 (en) * 2012-03-14 2013-09-19 GM Global Technology Operations LLC System and method for verifying the integrity of a safety-critical vehicle control system
US20140257624A1 (en) * 2013-03-08 2014-09-11 The Boeing Company Electrical power health monitoring system
US20160200421A1 (en) * 2014-05-01 2016-07-14 Alakai Technologies Corporation Clean fuel electric multirotor aircraft for personal air transportation and manned or unmanned operation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608073B2 (en) 2017-04-17 2023-03-21 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems
US11951998B2 (en) 2017-04-17 2024-04-09 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems

Also Published As

Publication number Publication date
US20200039530A1 (en) 2020-02-06
JP2020517028A (ja) 2020-06-11
US20230202493A1 (en) 2023-06-29
WO2018193449A1 (en) 2018-10-25
EP3612425A1 (en) 2020-02-26
US11608073B2 (en) 2023-03-21
EP4186769A1 (en) 2023-05-31
EP3612425B1 (en) 2023-01-04
KR20200002925A (ko) 2020-01-08
KR102263828B1 (ko) 2021-06-15
US11951998B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US11951998B2 (en) Secure system that includes driving related systems
US20240045426A1 (en) Systems and methods for safe and reliable autonomous vehicles
US20210365750A1 (en) Systems and methods for estimating future paths
US20210073557A1 (en) Systems and methods for augmenting upright object detection
US11366717B2 (en) Systems and methods for error correction
US20230032305A1 (en) Communicating faults to an isolated safety region of a system on a chip
Chitnis et al. Enabling functional safety ASIL compliance for autonomous driving software systems
US11953559B2 (en) Secure system that includes driving related systems
US20230036117A1 (en) Isolating a region of a system on a chip for safety critical operations
JP2022190646A (ja) 自律マシン・アプリケーションのための複数の周波数範囲にわたる電圧監視
US11654926B2 (en) Secure system that includes an open source operating system
US20230259355A1 (en) Updating software elements with different trust levels
US20200353884A1 (en) System on chip
KR101437743B1 (ko) 실시간 차선 위치 감지 시스템 및 방법, 이를 이용한 차량용 네비게이션 및 블랙박스 장치
US20220114261A1 (en) Secure debugging
US20220374246A1 (en) On the fly configuration of a processing circuit
US20230116945A1 (en) A multi-part compare and exchange operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination