CN114564876A - 用于验证道路交通标志的方法、系统和设备 - Google Patents

用于验证道路交通标志的方法、系统和设备 Download PDF

Info

Publication number
CN114564876A
CN114564876A CN202111254118.3A CN202111254118A CN114564876A CN 114564876 A CN114564876 A CN 114564876A CN 202111254118 A CN202111254118 A CN 202111254118A CN 114564876 A CN114564876 A CN 114564876A
Authority
CN
China
Prior art keywords
traffic sign
information
vehicle
sign information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111254118.3A
Other languages
English (en)
Inventor
M·S·福克斯
D·波尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN114564876A publication Critical patent/CN114564876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B60W2555/80—Country specific, e.g. driver age limits or right hand drive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于验证道路交通标志的方法、系统和设备。一种设备，包括：一个或多个处理器，一个或多个处理器被配置成用于获得交通标志的图像，对该图像进行分析以确定交通标志信息，基于交通标志信息来标识验证信息，并且对该交通标志信息的有效性进行验证。其中，对交通标志信息的有效性进行验证包括：将验证信息与进一步的验证信息进行比较，并确定该验证信息是否与进一步的验证信息相同。其中，一个或多个处理器被进一步配置成用于基于该确定来生成指令。其中，一个或多个处理器进一步被配置成用于获得该交通标志的进一步图像，并对该进一步的图像进行分析以确定进一步的交通标志信息，其中该进一步的交通标志信息包括该进一步的验证信息。

Description

用于验证道路交通标志的方法、系统和设备
技术领域
本公开的各个方面总体上涉及验证自主驾驶系统中的道路交通标志。
背景技术
自主驾驶利用可靠的驾驶控制和安全性系统，该驾驶控制和安全性系统处理在交通工具处采集的数据。使用在交通工具处采集的数据(该数据可包括关于交通工具的外部环境、内部环境的数据或关于交通工具自身的数据)，交通工具可更改其移动，修改其相对于外部要素的定位，和/或对新近检测到的事件进行响应。另外，自主交通工具可被配置成与其他设备(诸如，其他交通工具、网络基础设施元件、无线设备等)通信，以辅助移动性控制，提供更快的信息处理，并且一般而言，传输信息以便改善整体系统性能。
正确地标识交通工具的环境内的交通标志是高级驾驶员辅助系统(ADAS)和自主驾驶(AD)技术的一项关键任务。人类驾驶员在标识交通标志时可能依赖于驾驶规则和他们自己的驾驶经验。ADAS和AD技术可能易受到假的交通标志的影响。标识交通标志是否有效是ADAS/AD技术可以改进的领域。ADAS/AD系统可能将插入驾驶环境的无效交通标志解释为有效。例如，有效的交通标志可能被破坏并且未被检测到，或者被检测为具有与交通上显示的信息不同的信息的交通标志。假的和被破坏的交通标志可能不会影响人类驾驶员，但它们可靠地欺骗了ADAS/AD技术中建立的自动图像识别系统。
确保ADAS/AD系统感知有效的交通标志可能是一项资源密集型任务。将所有交通标志数据存储在ADAS/AD可访问的数据库中，可能是验证交通标志信息的可靠方法。然而，交通标志的绝对数量和所需的更新率可能过于复杂以至于无法使其成为可行的选项。例如，临时交通标志必须被添加到数据库，并在它们不再处于使用中时被移除。
附图说明
在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的原理。在下列描述中，参照下列附图描述本公开的各个方面，在附图中：
图1示出根据本公开的各个方面的示例性自主交通工具。
图2示出根据本公开的各个方面的交通工具的安全性系统的各种示例性电子组件。
图3示出根据一些方面的交通工具的示例性示图。
图4示出根据一些方面的感知系统的示例性示图。
图5示出根据一些方面的交通标志验证系统的示例性示图。
图6示出根据一些方面的示例性交通标志。
图7示出根据一些方面的示例性交通标志表面。
图8A和图8B示出根据一些方面的交通标志的示例性可检测的视角范围。
图9示出根据一些方面的交通标志的示例性可检测的视角范围。
图10示出根据一些方面的感知交通标志的示例性交通工具。
图11和图12示出根据一些方面的对交通标志进行验证的示例性方法。
具体实施方式
交通标志可以被修改或模仿，以可靠地欺骗感知交通标志的ADAS和AD技术。ADAS/AD技术可以依赖于包含所有交通标志的地图数据来避免不正确地感知交通标志。然而，地图数据可能是过时的。确保可靠的交通标志检测和解释可能是期望的。
以下详细描述中对附图进行参考，附图通过图示方式示出了可在其中实施本公开的示例性细节和方面。
在本文中使用词语“示例性”来意指“充当示例、实例或说明”。本文中被描述为“示例性”的任何方面或设计不必被解释为相比其他方面或设计是优选或有利的。
贯穿附图，应注意，除非另有说明，否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
术语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如，一个、两个、三个、四个、[...]等)。术语“多个(a plurality)”可被理解为包括大于或等于二的数量(例如，两个、三个、四个、五个、[...]等)。
说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此，任何明确地援引上述词语来指代某个数量的要素的短语(例如，“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。说明书中和权利要求书中的短语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量，即一个或多个。短语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集，说明性地，指代集合的包含比该集合少的元素的子集。
关于一组要素的短语“……中的至少一个”在本文中可用于意指来自包括这些要素的组的至少一个要素。例如，关于一组要素的短语“……中的至少一个”在本文中可用于意指以下各项中的选择：所列要素中的一个、多个所列要素中的一个要素、多个个体所列要素、或多个个体所列要素中的多个。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。
任何向量和/或矩阵记号本质上是示例性的，并且仅出于解释目的而被采用。相应地，伴随着向量和/或矩阵记号的本公开的各个方面不限于仅使用向量和/或矩阵来实现，并且相关联的过程和计算可以等效地相对于数据、观察、信息、信号、样本、符号、元件等的集合、序列、组等来执行。
应当领会，本文中所采用的任何向量和/或矩阵记号本质上是示例性的，并且仅出于解释目的而被采用。相应地，应当理解，本公开中详述的方法不限于仅使用向量和/或矩阵来实现，并且相关联的过程和计算可以等效地相对于数据、观察、信息、信号、样本、符号、元件等的集合、序列、组等来执行。此外，应当领会，对“向量”的引用可指任何尺寸或取向的向量，例如包括1×1向量(例如，标量)、1×M向量(例如，行向量)、以及M×1向量(例如，列向量)。类似地，应当领会，对“矩阵”的引用可指任何尺寸或取向的矩阵，例如包括1×1矩阵(例如，标量)、1×M矩阵(例如，行向量)、以及M×1矩阵(例如，列向量)。
例如，如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地，如本文中所使用的处理器或控制器可被理解为任何种类的电路(例如，任何种类的模拟或数字电路)，并且还可被称为“处理电路”、“处理电路系统”等等。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能的单个实体等等，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能的两个(或更多个)分开的实体等等。
如本文中所使用，“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱等等、或其任何组合。在本文中，寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令，包括固件。
除非明确地指定，否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。类似地，术语“接收”涵盖直接和间接的接收两者。此外，术语“发射”、“接收”、“传递”和其他类似术语涵盖物理传输(例如，对无线电信号的传输)和逻辑传输(例如，通过逻辑软件级连接对数字数据的传输)两者。例如，处理器或控制器可通过与另一处理器或控制器的软件级连接以无线电信号的形式对数据进行发射或接收，其中，物理发射和接收由诸如RF收发机和天线之类的无线电层组件处置，并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或两者，即，在传入方向和传出方向中的一个方向或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学表达式/公式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
可以将“交通工具”理解为包括任何类型的被驾驶或可驾驶的对象。作为示例，交通工具可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驾驶对象。交通工具可以是或者可以包括汽车、公共汽车、小型公共汽车、货车、卡车、房车、车辆拖车、摩托车、自行车、三轮车、火车机车、火车车厢、移动机器人、个人运输机、船只、船、潜水器、潜艇、无人机、飞机、火箭等等。
“地面交通工具”可被理解为包括如上文所述的被配置成用于在地面上(例如，在街道上、在道路上、在轨道上、在一条或多条轨道上、越野等)穿行或被驾驶的任何类型的交通工具。“空中交通工具”可被理解为如上文所述的能够在任何持续时间内在地面上方被操纵的任何类型的交通工具，例如无人机。类似于具有用于在地面上提供移动性的轮、带等的地面交通工具，“空中交通工具”可具有一个或多个螺旋桨、机翼、风扇等等，以用于提供在空中机动的能力。“水域交通工具”可被理解为如上文所述的能够在液体表面上或液体表面下方机动的任何类型的交通工具，例如，水面上的船只或水面下方的潜水艇。要领会，一些交通工具可被配置成用于作为地面交通工具、空中交通工具和/或水域交通工具中的一者或多者来进行操作。
术语“自主交通工具”可描述能够在不具有驾驶员输入的情况下实现至少一种导航改变的交通工具。导航改变可描述或包括交通工具的转向、制动、或加速/减速中的一者或多者的改变。即使在交通工具不是完全自动(例如，在有驾驶员输入或无驾驶员输入的情况下完全操作)的情况下，也可以将交通工具描述为自主的。自主交通工具可以包括可以在某些时间段内在驾驶员控制下操作并且在其他时间段内无需驾驶员控制而操作的那些交通工具。自主交通工具还可包括仅控制交通工具导航的一些方面的交通工具，交通工具导航的一些方面诸如转向(例如，在交通工具车道约束之间维持交通工具路线)或在某些情形下(但并非在所有情形下)进行一些转向操作，但可能将交通工具导航的其他方面留给驾驶员(例如，在某些情形下进行制动或刹车)。自主交通工具还可以包括在某些情形下共同控制交通工具导航的一个或多个方面的交通工具(例如，动手操作(诸如响应于驾驶员的输入))和在某些情形下控制交通工具导航的一个或多个方面的交通工具(例如，放手操作(诸如独立于驾驶员的输入))。自主交通工具还可以包括在某些情形下(诸如，在某些环境状况下(例如，空间区域、道路状况))控制交通工具导航的一个或多个方面的交通工具。在一些方面，自主交通工具可以处置交通工具的制动、速率控制、速度控制和/或转向的一些或所有方面。自主交通工具可以包括可以在没有驾驶员的情况下操作的那些交通工具。交通工具的自主性级别可以由交通工具的汽车工程师协会(SAE)级别(例如，由SAE例如在SAEJ3016 2018：道路机动交通工具的驾驶自动化系统相关术语的分类和定义中定义)或由其他相关专业组织进行描述或确定。SAE级别可以具有范围从最小级别(例如，0级(说明性地，基本上没有驾驶自动化))到最大级别(例如，5级(说明性地，完全驾驶自动化))的值。
在本公开的上下文中，“交通工具操作数据”可被理解为描述与交通工具的操作有关的任何类型的特征。作为示例，“交通工具操作数据”可描述交通工具的状态，诸如，(多个)推进单元的类型、交通工具的轮胎或推进器的类型、交通工具的类型、和/或交通工具的制造的时限。更一般地，“交通工具操作数据”可描述或包括静态特征或静态交通工具操作数据(说明性地，不随时间改变的特征或数据)。作为另一示例，附加地或替代地，“交通工具操作数据”可描述或包括在交通工具的操作期间改变的特征，例如，交通工具的操作期间的环境状况(诸如，天气状况或道路状况)、燃料水平、液位、交通工具的驱动源的操作参数等。更一般地，“交通工具操作数据”可描述或包括变化的特征或变化的交通工具操作数据(说明性地，时变特征或数据)。
本文中的各个方面可利用一个或多个机器学习模型来执行或控制交通工具的功能(或本文中所描述的其他功能)。例如，如本文中所使用的术语“模型”可被理解为根据输入数据提供输出数据的任何种类的算法(例如，根据输入数据生成或计算输出数据的任何种类的算法)。机器学习模型可由计算系统执行以渐进地改进特定任务的性能。在一些方面中，可在训练阶段期间基于训练数据来调整机器学习模型的参数。可在推断阶段期间使用经训练的机器学习模型基于输入数据来作出预测或决策。在一些方面中，可使用经训练的机器学习模型来生成附加的训练数据。可在第二训练阶段期间基于所生成的附加训练数据来调整附加机器学习模型。可在推断阶段期间使用经训练的附加机器学习模型来基于输入数据作出预测或决策。
本文中所描述的机器学习模型可采取任何合适的形式或利用任何合适的技术(例如，以用于训练目的)。例如，这些机器学习模型中的任何机器学习模型均可利用监督式学习、半监督式学习、无监督式学习、或强化学习技术。
在监督式学习中，可使用训练数据集来建立模型，该训练数据集既包括输入又包括对应的期望输出(说明性地，每个输入可与针对该输入的期望或预期输出相关联)。每个训练实例可包括一个或多个输入并且包括期望输出。训练可包括通过训练实例迭代以及使用目标函数来教导模型预测针对新的输入的输出(说明性地，对于训练集中不包括的输入)。在半监督式学习中，训练集中的输入中的部分可能缺少相应的期望输出(例如，一个或多个输入可能不与任何期望或预期的输出相关联)。
在无监督式学习中，可从仅包括输入而不包括期望输出的训练数据集来建立模型。无监督式模型可用于说明性地通过发现数据中的模式而找到该数据中的结构(例如，对数据点的分组或聚类)。可在无监督式学习模型中实现的技术可包括例如自组织图、最近邻映射、k均值聚类、以及奇异值分解。
强化学习模型可包括正反馈或负反馈以改善准确性。强化学习模型可尝试使一个或多个目标/回报最大化。可在强化学习模型中实现的技术可包括例如Q学习、时间差(TD)和深度对抗网络。
本文中所描述的各个方面可利用一个或多个分类模型。在分类模型中，输出可限于值的有限集合(例如，一个或多个类)。分类模型可输出针对具有一个或多个输入值的输入集合的类。输入集合可包括传感器数据，诸如图像数据、雷达数据、激光雷达数据等等。如本文中所描述的分类模型可例如对某些驾驶状况和/或环境状况(诸如，天气状况、道路状况)等等进行分类。本文中对分类模型的引用可构想实现例如下列技术中的任何一种或多种技术的模型：线性分类器(例如，逻辑回归或朴素贝叶斯分类器)、支持向量机、决策树、提升树、随机森林、神经网络或最近邻。
本文中所描述的各方面可利用一个或多个回归模型。回归模型可基于具有一个或多个值的输入集合(说明性地，从具有一个或多个值的输入集合开始或使用具有一个或多个值的输入集合)输出连续范围中的数字值。本文中对回归模型的引用可设想实现例如下列技术(或其他合适技术)中的任何一种或多种技术的模型：线性回归、决策树、随机森林、或神经网络。
本文中所描述的机器学习模型可以是或可包括神经网络。神经网络可以是任何种类的神经网络，诸如卷积神经网络、自编码器网络、变分自编码器网络、稀疏自编码器网络、循环神经网络、去卷积网络、生成性对抗网络，前瞻性神经网络、和积神经网络等等。神经网络可包括任何数量的层。对神经网络的训练(例如，调整神经网络的层)可使用或可基于任何种类的训练原理，诸如反向传播(例如，使用反向传播算法)。
贯穿本公开，下列术语可作为同义词来使用：驾驶参数集，驾驶模型参数集，安全层参数集，驾驶员辅助、自动化驾驶模型参数集，和/或类似术语(例如，驾驶安全参数集)。这些术语可与用于实现引导交通工具根据本文中所描述的方式来操作的一个或多个模型的各组值对应。
此外，贯穿本公开，下列术语可作为同义词来使用：驾驶参数、驾驶模型参数、安全层参数、驾驶员辅助和/或自动化驾驶模型参数、和/或类似术语(例如，驾驶安全参数)，并且可对应于先前所描述的集合内的特定值。
图1示出根据各个方面的包括移动性系统120和控制系统200(还参见图2)的交通工具100。应领会，交通工具100和控制系统200本质上是示例性的，并且因此可出于解释的目的而被简化。例如，尽管交通工具100被描绘为地面交通工具，但本公开的各方面可同等地或类似地应用于诸如无人机之类的空中交通工具或诸如船只之类的水域交通工具。此外，要素的数量和位置以及关系距离(如上文所讨论的，这些图并未按比例绘制)是作为示例而提供，并不限于此。交通工具100的组件可围绕交通工具100的交通工具壳体布置，安装在该交通工具壳体上或该交通工具壳体外部，封闭在交通工具壳体内，或者其中在交通工具100行进时组件与其一起移动的相对于交通工具壳体的任何其他布置。交通工具壳体(诸如，汽车主体、无人机主体、飞机或直升机机身、船体、或类似类型的交通工具主体)取决于交通工具100属于的交通工具类型。
除了包括控制系统200之外，交通工具100还可包括移动性系统120。移动性系统120可包括交通工具100的、与交通工具100的转向和移动有关的组件。在一些方面，在交通工具100是汽车的情况下，例如，移动性系统120可包括车轮和轮轴、悬架、引擎、变速器、制动器、方向盘、相关联的电气电路系统和布线、以及汽车的驾驶中所使用的任何其他组件。在一些方面，在交通工具100是空中交通工具的情况下，移动性系统120可包括以下各项中的一项或多项：转子、螺旋桨、喷气式引擎、机翼、方向舵或机翼襟翼、空气制动器、轭或轮转、相关联的电气电路系统和布线、以及空中交通工具的飞行中所使用的任何其他组件。在一些方面，在交通工具100是水上或水下交通工具的情况下，移动性系统120可包括以下各项中的任何一项或多项：方向舵、引擎、螺旋桨、方向盘、相关联的电气电路系统和布线、以及水域交通工具的转向或移动中所使用的任何其他组件。在一些方面，移动性系统120还可包括自主驾驶功能，并且相应地可包括与一个或多个处理器102和传感器阵列的接口，该一个或多个处理器102被配置成用于执行自主驾驶计算和决策，该传感器阵列用于移动感测和障碍物感测。在这个意义上说，可向移动性系统120提供来自控制系统200的一个或多个组件的、用于指引交通工具100的导航和/或移动性的指令。移动性系统120的自主驾驶组件还可与一个或多个射频(RF)收发器108对接，以促进与执行和自主驾驶有关的决策和/或计算的其他附近的交通工具通信设备和/或中央联网组件的移动性协调。
取决于特定实现方式的要求，控制系统200可以包括各种组件。如图1和图2中所示，控制系统200可包括一个或多个处理器102、一个或多个存储器104、天线系统106(该天线系统106可包括处于交通工具上的不同位置处的、用于射频(RF)覆盖的一个或多个天线阵列)、一个或多个射频(RF)收发器108、一个或多个数据采集设备112、一个或多个定位设备114(该一个或多个定位设备114可包括用于基于全球导航卫星系统(GNSS)和/或全球定位系统(GPS)来接收并确定位置的组件和电路系统)、以及一个或多个测量传感器116(例如，速度计、高度计、陀螺仪、速度传感器等)。
控制系统200可被配置成用于经由移动性系统120和/或与其环境的交互(例如，与其他设备或诸如基站之类的网络基础设施元件(NIE)的通信)、经由数据采集设备112和射频通信布置(包括一个或多个RF收发器108并包括天线系统106)来控制交通工具100的移动性。
一个或多个处理器102可包括数据采集处理器214、应用处理器216、通信处理器218、和/或任何其他合适的处理设备。一个或多个处理器102中的每个处理器214、216、218可包括各种类型的基于硬件的处理设备。作为示例，每个处理器214、216、218可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器，或适合用于运行应用以及用于图像处理和分析的任何其他类型的设备。在一些方面，每个处理器214、216、218可包括任何类型的单核或多核处理器、移动设备微控制器、CPU等。这些处理器类型可各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。
本文中所公开的处理器214、216、218中的任一者可被配置成用于根据可被存储在一个或多个存储器104中的一个存储器中的程序指令来执行某些功能。换言之，一个或多个存储器104中的存储器可存储在由处理器(例如，由一个或多个处理器102)执行时控制系统(例如，驾驶和/或安全系统)的操作的软件。例如，一个或多个存储器104中的存储器可存储一个或多个数据库和图像处理软件、以及经训练的系统(诸如，神经网络、或深度神经网络)。一个或多个存储器104可包括任何数量的随机存取存储器、只读存储器、闪存、盘驱动器、光存储、磁带存储、可移动存储、以及其他类型的存储。替代地，处理器214、216、218中的每一者可包括用于此类存储的内部存储器。
数据采集处理器214可包括用于处理由数据采集单元112采集的数据的处理电路系统，诸如CPU。例如，如果一个或多个数据采集单元是图像采集单元(例如，一个或多个相机)，则数据采集处理器可包括用于使用从图像采集单元获得的信息作为输入来处理图像数据的图像处理器。数据采集处理器214因此可被配置成用于基于来自数据采集单元112(即，在该示例中为相机)的数据输入来创建体素地图，该体素地图详述交通工具100的周围环境。
应用处理器216可以是CPU，并且可被配置成用于处置协议栈以上的层，包括传输层和应用层。应用处理器216可被配置成用于在交通工具100的应用层处执行交通工具100的各种应用和/或程序，这些应用和/或程序诸如操作系统(OS)、用于支持用户与交通工具100交互的用户接口(UI)206和/或各种用户应用。应用处理器216可与通信处理器218对接，并且充当用户数据的源(在发射路径中)和宿(在接收路径中)，用户数据诸如语音数据、音频/视频/图像数据、消息收发数据、应用数据、基本互联网/网络接入数据等。
因此，在发射路径中，通信处理器218可根据协议栈的层特定功能接收和处理由应用处理器216提供的传出数据，并将所得到的数据提供给数字信号处理器208。通信处理器218随后可对接收到的数据执行物理层处理，以产生数字基带样本，数字信号处理器可将该数字基带样本提供给(多个)RF收发器108。(多个)RF收发器108随后可处理数字基带样本以将数字基带样本转换为模拟RF信号，(多个)RF收发器108可经由天线系统106无线地发射模拟RF信号。在接收路径中，(多个)RF收发器108可从天线系统106接收模拟RF信号，并处理模拟RF信号以获得数字基带样本。(多个)RF收发器108可将数字基带样本提供给通信处理器218，通信处理器218可对数字基带样本执行物理层处理。通信处理器218随后可将所得到的数据提供给一个或多个处理器102中的其他处理器，这些其他处理器可根据协议栈的层特定功能处理所得到的数据，并将所得到的传入数据提供给应用处理器216。应用处理器216随后可在应用层处置传入数据，这可以包括利用数据执行一个或多个应用程序和/或经由一个或多个用户接口206将数据呈现给用户。用户接口206可包括一个或多个屏幕、麦克风、鼠标、触摸板、键盘、或提供用于用户输入或与用户通信(例如，向用户传递通知)的机制的任何其他接口。虽然各种实际设计可以包括用于每种支持的无线电通信技术的分开的通信组件(例如，分开的天线、RF收发器、数字信号处理器、和控制器)，但是为了简洁起见，图1和图2中示出的交通工具100的配置可以描绘此类组件的仅单个实例。
通信处理器218可被配置成用于实现一种或多种交通工具对外界(V2X)通信协议，该一种或多种交通工具对外界(V2X)通信协议可包括交通工具对交通工具(V2V)、交通工具对基础设施(V2I)、交通工具对网络(V2N)、交通工具对行人(V2P)、交通工具对设备(V2D)、交通工具对网格(V2G)、和其他协议。通信处理器218可被配置成用于传输通信，这些通信包括交通工具100与该交通工具100的环境中的一个或多个其他(目标)交通工具之间的通信(单向或双向)(例如，以促进交通工具100考虑到该交通工具100的环境中的其他(目标)交通工具或与其他(目标)交通工具一起的导航的协调)、或甚至向正在传输的交通工具100的附近区域中的未指定接收者进行的广播传输。
存储器214可具体化交通工具100的存储器组件，诸如硬盘驱动器或另一此类持久性存储器设备。虽然在图1和图2中没有明确描绘，但图1和图2中所示的交通工具100的各种其他组件(例如，一个或多个处理器102)可以附加地各自包括(诸如用于存储软件程序代码、缓冲数据等的)集成的持久性和非持久性存储器组件。
取决于特定应用的要求，数据采集设备112可包括任何数量的数据采集设备和组件。这可包括：用于提供关于交通工具的环境(交通工具外部的和内部的两者)的数据的图像采集设备、接近度检测器、声学传感器、红外传感器、压电传感器等。图像采集设备可包括相机(例如，标准相机、数字相机、视频相机、单透镜反射相机、红外相机、立体相机等)、电荷耦合器件(CCD)或任何类型的图像传感器。接近度检测器可包括雷达传感器、光检测和测距(LIDAR)传感器、毫米波雷达传感器等。声学传感器可包括：话筒、声纳传感器、超声传感器等。相应地，数据采集单元中的每一个可被配置成用于观察交通工具100的环境的特定类型的数据，并将该数据转发至数据采集处理器214，以便向交通工具提供对该交通工具的环境的准确描绘。数据采集设备112可被配置成用于结合所采集的数据来实现预处理的传感器数据，诸如雷达目标列表或激光雷达目标列表。
测量设备116可包括用于测量交通工具状态参数的其他设备，诸如：用于测量交通工具100的速度的速度传感器(例如，速度计)、用于测量交通工具100沿一个或多个轴的加速度的一个或多个加速度计(单轴的或多轴的)、用于测量取向和/或角速度的陀螺仪、里程表、高度计、温度计等。要领会，取决于交通工具的类型(例如，汽车相对于无人机相对于船只)，交通工具100可具有不同的测量设备116。
一个或多个定位设备114可包括用于确定交通工具100的位置的组件。例如，这可包括全球定位系统(GPS)或全球导航卫星系统(GNSS)电路系统，被配置成用于接收来自卫星系统的信号并确定交通工具100的位置。相应地，定位系统114可向交通工具100提供卫星导航特征。
一个或多个存储器104可将数据存储在例如数据库中或以任何不同格式存储数据，这些数据可对应于地图。例如，地图可指示以下各项的位置：已知地标、道路、路径、网络基础设施元件、或交通工具100的环境的其他要素。一个或多个处理器102可以处理交通工具100的环境的传感信息(诸如图像、雷达信号、来自对两个或更多个图像的LIDAR或立体处理的深度信息)以及位置信息(诸如一个或多个GPS坐标、交通工具的自我运动等)，以确定交通工具100相对于已知地标的当前位置，并细化对交通工具的位置的确定。该技术的某些方面可以被包括在定位技术(诸如映射和路由模型)中。
地图数据库(DB)204可包括存储用于交通工具100(例如，用于控制系统200)的(数字)地图数据的任何类型的数据库。地图数据库204可以包括与各种项目(包括道路、水景、地理特征、商业、感兴趣的点、餐馆、加油站等)在参考坐标系中的位置相关的数据。地图数据库204不仅可以存储此类项目的位置，还可以存储与这些项目相关的描述符，包括例如与存储的特征中的任何特征相关联的名称。在一些方面，一个或多个处理器102中的处理器可以通过至通信网络(例如，通过蜂窝网络和/或互联网等)的有线或无线数据连接从地图数据库204下载信息。在一些情形下，地图数据库204可存储稀疏数据模型，包括针对交通工具100的某些道路特征(例如，车道标记)或目标轨迹的多项式表示。地图数据库204还可以包括各种识别出的地标的所存储的表示，这些所存储的表示可被提供以确定或更新交通工具100相对于目标轨迹的已知位置。地标表示可以包括诸如地标类型、地标位置、以及其他潜在标识符之类的数据字段。
此外，控制系统200可包括例如在高级驾驶辅助系统(ADAS)和/或驾驶辅助系统及自动化驾驶系统中实现的驾驶模型。作为示例，控制系统200可包括(例如，作为驾驶模型的部分的)形式模型(诸如，安全性驾驶模型)的计算机实现方式。安全性驾驶模型可以是或可包括对适用于自驾驶交通工具的适用法律、标准、政策等的解释进行形式化的数学模型。安全驾驶模型可被设计为实现例如三个目标：第一，法律的解释在它符合人类如何解释法律的意义上应该是合理的；第二，解释应该带来有用的驾驶策略，这意味着它将带来灵活的驾驶策略而不是过度防御性的驾驶，该过度防御性的驾驶不可避免地会使其他人类驾驶员感到迷惑并将阻塞交通，并且进而限制系统部署的可扩展性；以及第三，在可以严格地证明自驾驶(自主)交通工具正确地实现该法律的解释的意义上，解释应当是高效地可验证的。说明性地，安全驾驶模型可以是或可包括用于安全保障的数学模型，该数学模型实现对危险情况的恰当响应的标识和执行，使得可以避免自身导致的事故。
如上文所描述，交通工具100可包括控制系统200，还参考图2来描述该控制系统200。交通工具100可包括一个或多个处理器102，该一个或多个处理器102与电子控制单元(ECU)集成或分开，电子控制单元可被包括在交通工具100的移动性系统120中。一般而言，控制系统200可生成数据来控制或辅助控制ECU和/或交通工具100的其他组件，以直接地控制交通工具100的移动或间接地经由移动性系统120控制交通工具100的移动。交通工具100的一个或多个处理器102可被配置成用于实现本文中描述的各方面和方法。
可经由任何适当的接口使图1和图2中所图示的组件操作地彼此连接。此外，应当领会，并非组件之间的所有连接均被明确地示出，并且组件之间的其他接口可被覆盖在本公开的范围内。
图3示出根据一些方面的交通工具100的示例性框图300，其中焦点置于若干组件。交通工具100可以能够感测其环境和/或感测交通工具内部的改变，并在不具有直接的人类输入的情况下进行导航和/或向交通工具的乘员提供通知。
一个或多个数据采集处理器214可包括感知系统302、预测系统304、以及规划系统306，这些系统进行协作以感知交通工具100的外部(即，交通工具的外部的)和/或内部(即，交通工具的内部的)环境并确定用于控制交通工具100的移动性或定位的规划和/或向一个或多个乘员发出通知。
感知系统302可以接收来自一个或多个数据采集设备112的数据，该一个或多个数据采集设备耦合至交通工具100或以其他方式被包括在交通工具100内。作为示例，一个或多个数据采集设备112可包括一个或多个相机(用于提供一个或多个模态(例如，颜色、红外、深度等)的数据)、LIDAR系统、雷达系统、和/或其他数据采集设备。数据可以包括描述交通工具100的周围环境和/或内部环境内的对象的位置的信息。
例如，对于一个或多个相机，可以执行各种处理技术(例如，距离成像技术，诸如例如运动恢复结构、结构光、立体三角测量、和/或其他技术)来标识与由一个或多个相机捕捉的成像中所描绘的对象对应的数个点的位置(例如，在相对于一个或多个相机的三维空间中)。其他传感器系统也可以标识与对象对应的点的位置。
一个或多个定位设备114可以是用于确定交通工具100的位置的任何设备或电路系统(例如，GPS、GNSS、关于地面通信设备的三角测量方法)，并且可以向地图数据库DB 204和/或感知系统302提供信息。
数据采集设备112和定位设备114由此可用于收集数据，该数据包括描述与交通工具100的周围环境和/或内部环境内的对象对应的点的位置(例如，在相对于交通工具100的三维空间中)的信息。
除了来自一个或多个数据采集设备112的数据之外，感知系统302还可检取或以其他方式获取来自地图数据库DB 204的地图数据，该地图数据库DB 204提供关于交通工具100的周围环境的详细信息。地图数据库DB 204数据可提供与以下各项相关的信息：不同行进路径(例如，道路)、路段、建筑物、或其他物品或对象(例如，路灯、人行横道等)的身份和位置；交通车道的位置和方向(例如，停车道、转弯车道、自行车道、或特定道路内的其他车道的位置和方向)；交通控制数据(例如，标牌、交通灯、或其他交通控制设备的位置和指令)；和/或提供辅助交通工具100的一个或多个处理器102监测其外部环境和/或内部环境并与其外部环境和/或内部环境进行通信的信息的任何其他地图数据。
感知系统302可基于从一个或多个数据采集设备112和/或地图数据库DB 204接收到的数据来标识可能影响交通工具100的控制的一个或多个对象/特征。例如，根据一些方面，感知系统302可监测交通工具100的内部环境，并且对于每个对象/特征，确定描述如所描述的此类对象的当前状态的状态数据。作为示例，每个对象的状态数据可描述对象的以下各项的估计：当前位置或定位；当前速率或速度；当前加速度；当前前进方向；当前取向；尺寸/覆盖面积(例如，如由诸如外接多边形或多面体之类的外接形状所表示)；偏航速率；和/或其他状态信息。根据一些方面，感知系统302可确定在数个迭代和/或帧上每个对象/特征的状态数据。具体而言，感知系统302可在每个迭代或帧时更新每个对象的状态数据。由此，感知系统302可随时间检测并跟踪对象和/或特征(例如，诸如其他交通工具之类的交通工具外部的对象和/或特征、诸如人之类的交通工具内部的对象和/或特征等)。感知系统302可实现一个或多个机器学习模型以便执行这些任务。
预测系统304可接收来自感知系统302的状态数据，并基于此类状态数据来预测每个对象的一个或多个未来位置。例如，预测系统304可预测在接下来的1秒、2秒、10秒等内每个对象将位于何处。例如，可根据对象的当前速度和/或加速度预测该对象遵循其当前轨迹。然而，可实现其他更复杂的预测技术或建模。
规划系统306可至少部分地基于由感知系统302或预测系统304提供的、所感知和/或所预测的、对象的一个或多个未来位置和/或对象的状态数据，来为交通工具100确定一个或多个规划。换言之，给定与所感知的对象的当前位置和/或所感知的对象的所预测的未来位置有关的信息，规划系统306可为交通工具100确定对相对于处于当前位置或未来位置的对象而对交通工具100进行最佳响应或导航的规划。
规划系统306可将规划提供至移动性系统120的、控制一个或多个交通工具控件的交通工具控制器320以执行该规划，该一个或多个交通工具控件诸如引擎控件322、制动控件324、和/或转向控件326。交通工具控制器320可至少部分地基于规划系统306的输出来生成用于自主交通工具的一个或多个交通工具控制信号。规划系统306可附加地或替代地向应用处理器216提供通知，以经由一个或多个用户接口UI 206进行通信。
感知系统302、预测系统304、规划系统306、以及交通工具控制器320中的每一者可包括用于提供如本文中所讨论的期望功能的计算机逻辑。根据一些方面，感知系统302、预测系统304、规划系统306、以及交通工具控制器320中的每一者可采用控制通用处理器的硬件、固件和/或软件来实现。例如，根据一些方面，感知系统302、预测系统304、规划系统306、以及交通工具控制器320中的每一者可包括被存储在存储设备上、被加载到存储器中、并由一个或多个处理器执行的程序指令或文件。在其他方面中，感知系统302、预测系统304、规划系统306、以及交通工具控制器320中的每一者可包括被存储在非暂态计算机可读存储介质中的一个或多个计算机可执行指令集合。
在各种实现方式中，感知系统302、预测系统304和/或规划系统306中的一者或多者可以包括或以其他方式利用一个或多个机器学习模型(诸如卷积神经网络)。
图4示出根据一些方面的提供感知系统302的进一步细节的示例性框图400。如图3中所讨论，数据采集处理器214中的一个或多个处理器102可包括感知系统302，该感知系统302可标识和/或跟踪可能影响交通工具100的一个或多个对象和/或特征(处于外部环境或内部环境中)。
根据一些方面，感知系统302可包括分段组件402、对象/特征关联组件404、跟踪组件406、以及分类组件408。感知系统302可接收来自一个或多个数据采集设备112、一个或多个定位设备114的数据和/或来自地图数据库DB 204的地图数据作为输入。感知系统302可在确定交通工具100的外部和/或内部环境中的对象和/或不同对象的行为时使用这数据。根据一些方面，感知系统302可迭代地处理输入数据，以检测、跟踪从输入数据标识出的对象并对这些对象进行分类。
分段系统402可处理接收到的输入数据，以例如使用一个或多个对象检测系统来确定外部和/或内部环境内的潜在对象和/或特性。对象/特征关联组件404可接收与所确定的对象和/或特征有关的数据并分析先前的对象/特征实例数据，以确定每个所确定的对象/特征与先前的对象/特征实例的最可能的关联，或者在一些情况下，确定潜在的对象/特征是否为新的对象/特征实例。跟踪组件406可确定每个对象/特征实例的例如在其当前位置、速度、加速度、前进方向、取向、不确定性等等方面的当前状态。跟踪组件406可进一步被配置成用于跟踪(例如，在由一个或多个相机提供的多个视频帧上)对象/特征的状态随时间的改变。分类组件408可接收来自跟踪组件406的数据并对每个对象/特征实例进行分类。例如，分类组件408可按照来自预定对象/特征集合的对象/特征、以及基于所跟踪的对象/特征所采取的动作(例如，驾驶员处于警示位置、驾驶员正在发短信)来对所跟踪的对象/特征进行分类。分类组件408还可提供用于对分段组件402的训练的反馈。
感知系统302可提供对象/特征和状态数据，以供交通工具100内的各种其他系统(诸如预测系统304)使用。
图5示出交通标志验证方法500的示例性流程图。自主交通工具的一个或多个处理器可以被配置成用于执行如下所述的交通标志验证方法500。交通标志验证方法500可以与ADAS/AD系统进行对接，以便可靠地验证交通标志信息。交通标志验证方法500可以搜索图像传感器数据，以在阶段502中标识交通工具环境内的交通标志的图像。例如，感知系统302可以标识交通工具环境内的交通标志。该方法可以保持对所识别的交通标志图像的跟踪，并确定新的交通标志是否在阶段504中已被标识。如果新的交通标志被标识，则新的交通标志的交通标志图像被存储在阶段506中。该方法在阶段508中确定该交通标志的交通标志图像与先前存储的该交通标志的交通标志图像相比是否是新的。如果该交通标志图像不是新的，则该方法返回到阶段506。如果交通标志图像是新的，则该方法移动到阶段510，以在阶段510中对交通标志图像进行分析并确定交通标志信息。该交通标志信息可包括验证信息。交通标志信息和验证信息可在阶段506处被存储。如果没有更多的交通标志的新图像，该方法在阶段508中确定交通工具已经过交通标志，并移动到阶段512。该方法将不同交通标志图像的验证信息进行比较，并基于阶段512中的比较来确定交通标志信息是否是有效的。然后，该方法可以基于所验证的交通标志信息来生成交通工具指令。
ADAS/AD系统可以与交通标志验证方法对接，以感知被配置成用于显示交通标志信息的交通标志并对交通标志信息进行验证。交通标志可以被配置成用于显示包括验证信息的交通标志信息。交通标志信息可以以人类和机器可读的格式显示在交通标志显示器上。机器可读的交通标志信息可被编码到交通标志显示器中。经编码的交通标志信息可包括用于验证标志信息的验证信息。这可以在没有地图数据的情况下来离线完成。然而，地图数据可用于确认已验证的交通标志信息。交通标志可被配置成用于在不同的可检测视角范围下示出不同的交通标志信息。这可能需要配备有ADAS/AD的交通工具驾驶经过交通标志以完全地读取交通标志信息的全部。
被配置成用于显示变化的交通标志信息的交通标志可以由配备有ADAS/AD的交通工具进行验证，而不依赖于最新的地图数据或活动的移动数据连接。被包括在交通标志信息中的验证信息使得此类交通标志不太容易受到攻击。
经验证的交通标志信息可与地图数据和或存储交通标志信息的数据库进行确认。例如，可将经验证的交通信息与地图数据进行比较。如果地图数据不能证实经验证的交通标志信息，该方法可以确定地图数据是否是旧的。如果地图数据是旧的，则经验证的交通标志信息可能是更可靠的。然而，如果经验证的交通标志信息与地图数据或数据库进行比较并且被发现是经证实的，则ADAS/AD系统可以以比不具有经验证的交通标志信息的情况下更高的置信度水平来信任经验证的交通标志信息。
交通标志信息验证的方法将可信度机制添加到众包地图数据，并且可以将不断改变的交通标志环境考虑在内。例如，施工区域中的临时交通标志。此外，初始调查和数据库创建将受益于利用交通标志信息验证的方法聚集的附加元数据。
该方法允许对交通标志信息进行离线验证。这允许ADAS/AD系统在不依赖于移动数据覆盖或地图数据的情况下对交通标志信息进行验证。
交通标志信息验证的方法可与实时在线验证组合地工作。当存在移动数据连接时，所获得的交通标志图像可以在云中被处理。如果使用神经网络的ADAS/AD系统交通标志检测得出一个结果，并且本公开中所示的交通标志信息验证方法异步地得出不同的结论，则该差异可能是可以被作用的有价值的数据。
ADAS/AD系统可以包括用于验证如本公开所述的交通标志信息的方法。该方法可以分析由ADAS/AD系统的图像传感器捕获的交通标志图像。用于验证交通标志信息的方法可以在视频或图像流中搜索交通标志。该方法可将其搜索限于从前视图像传感器感知到的交通标志。该方法可在交通工具向前移动时跟踪所识别的交通标志。交通标志显示器可包括交通标志显示器内编码中的验证信息，如下文所述。例如，类似QR的编码可以被包括在交通标志显示器中。交通标志信息可取决于其视角范围而改变。该方法可以跟踪并存储不同的检测到的交通标志信息。不同的交通标志信息被处理以确定验证信息。该验证信息用于以高置信度确定交通标志信息是否是有效的或交通标志是否被操纵。
交通标志可被操纵以欺骗ADAS/AD系统，使其感知到不正确的交通标志。例如，在现有的交通标志上方策略性地放置胶带可以欺骗ADAS/AD系统，使其将限速标志感知为停车标志。然而，策略性地放置的胶带可能无法模拟在不同视角范围下显示不同交通标志信息的交通标志显示器。交通标志信息验证方法将能够检测到交通标志被操纵，因为该方法可以确定来自不同交通标志信息的验证信息不调和。如果策略性地放置的胶带将能够在不同的视角范围内模拟不同的交通标志信息，则交通标志信息可以利用公钥/私钥签名系统来克服攻击。
投影仪可以投影交通标志的图像以欺骗ADAS/AD系统。然而，投影将必须取决于视角范围而改变，并且将需要通过投影仪系统(诸如无人机)主动地跟踪单个交通工具。同样，在交通标志显示器中包括公钥/私钥系统将限制投影仪的攻击。
而自主交通工具交通标志数据库，只要自主交通工具与人类驾驶员共享道路，自主交通工具与人类驾驶员两者就应该使用相同的数据源来导航道路，并且主要数据源是实体的交通标志。
只要人类驾驶的交通工具和自主交通工具共存，交通标志就可以继续成为交通法规的重要部分。道路上的所有参与者都需要对适用的规则和限制具有相同的理解。虽然不是所有的交通标志都会同时被更新，但在事故多发位置的标志可能会首先被替换，直到在未来的某个时间替换所有的标志。
图6示出示例性交通标志600。交通标志600可被配置成用于在可检测的视角范围下显示不同的交通标志信息。感知系统302可以分析交通标志600的图像，以确定图像是交通标志。例如，与交通标志图像620相比，交通标志图像610可能是从较大距离拍摄的交通标志图像。因为交通标志图像610可能是从比交通标志图像620更远的距离拍摄的，交通标志图像610的分辨率可能比交通标志图像620的分辨率小。交通标志600可被配置成用于在较高的分辨率图像(与较低的分辨率图像相比)处显示更多的交通标志信息。例如，交通标志图像610可以包括边界框612。边界框612可包括9乘9像素网格616。交通标志600可被配置成用于在特定的分辨率和视角范围下将交通标志信息嵌入所显示的图像内。在交通标志图像610的分辨率下的像素可以在活动像素614处嵌入交通标志信息。交通标志图像620可包括边界框622。边界框622可包括18乘18像素网格626。交通标志600可被配置成用于在较高的分辨率和第二视角范围下将交通标志信息嵌入所显示的图像内。在交通标志图像620的分辨率下的像素可以在活动像素624处嵌入交通标志信息。因为交通标志图像620的分辨率比交通标志图像610的分辨率大，所以交通标志图像620包括较大数量的像素。较大数量的像素使得更多的交通标志信息被嵌入到图像中。
将交通标志配置成以人类可读形式和机器可读形式显示交通标志信息可以包括交通标志显示器图像和所嵌入的编码。所嵌入的编码可包括交通标志信息，并取决于视角范围。该交通标志信息可以包括验证信息，以验证交通标志信息和/或交通标志位置。
用于显示交通标志信息的所嵌入的编码可以是完全定制的编码或扩展现有的标准化编码，诸如QR码、数据矩阵码、阿兹特克码等。
交通标志可以被配置成使用类似QR码来显示交通标志信息。例如，交通标志信息可包括在交通标志图像的像素中被划分的编码。交通标志的每个编码可以由一定数量的像素组成。每个像素可以基于像素中显示的一种或多种颜色来表示0或1的数字值。像素值可能跨所显示的不同交通标志信息而不相同。
例如，被配置成显示3个不同交通标志信息的交通标志。不同的交通标志信息可以使用微QR码(Micro-QR code)来嵌入。交通标志信息可以包括交通标志类型ID、取向、纬度、经度、唯一ID、验证密钥等。
第一交通标志信息可以根据微QR码(样式M3，ECC-级别M)被配置成大距离、低分辨率、和低信息密度，该微QR码提供如下具有15％的冗余度的7个字节：
Figure BDA0003323451980000221
第二交通标志信息可以根据微QR码(样式M4，ECC-级别M)被配置成中等距离、中等分辨率、和中等信息，该微QR码提供如下具有15％的冗余度的13个字节：
Figure BDA0003323451980000222
8
第三交通标志信息可被配置成小距离、高分辨率、和高信息密度，具有15％的冗余度的30个字节，如下：
Figure BDA0003323451980000231
Figure BDA0003323451980000232
如图6所示，编码可以被嵌入到与交通标志的环重叠的像素位置。如活动像素614和624所示。以此方式，标志的人类可读部分不受影响，并且可用于嵌入机器可读交通标志信息的交通标志信息。ADAS/AD系统的图像传感器可以检测所嵌入的交通标志信息，并将其用于将经编码的交通标志信息与以人类可读形式显示的信息进行比较。
ADAS/AD系统可以感知交通标志并指定边界框。交通标志图像可被划分为所指定的边界框内的像素网格。边界框内的像素网格可独立于ADAS/AD系统的图像传感器所捕获的图像的分辨率而被定义。
用于嵌入交通标志信息的编码方案可包括不同的颜色、偏振、或其他对比度生成因素。应选择不影响交通标志检测系统的编码方案。例如，用于欧洲限速交通标志的两个阶段编码方案(参见图6要素600)可以如下表所述进行配置：
Figure BDA0003323451980000241
编码方案不一定需要限于两种颜色或状态。例如，具有三种甚至更多颜色或对比机制的变体可以编码更多信息。为编码方案选择的状态或颜色将对于交通标志检测系统而言理想地表现为噪音，从而不影响其检测率。
被包括在所嵌入的编码中的交通标志信息可由冗余和验证信息保护。例如，验证信息可以是用于验证不同交通标志信息的校验和。交通标志信息的数据密度可能取决于视角范围和图像传感器分辨率。交通标志信息可以包括交通标志的类型、数值、GPS坐标、和/或唯一的ID。交通标志的类型可以包括速度标志，或停车标志，或任何其他类型的交通标志。交通标志的数值可以包括限速。
随着交通标志图像的像素网格的增加，更多的信息可以被嵌入到交通标志显示器中。随着图像传感器和交通标志之间的距离减少，更多的信息可以被嵌入到交通标志显示器中。
在较大的视角范围下捕获的交通标志图像可被划分为较小的像素。例如，与在较小的视角范围下捕获的较低分辨率图像相比，可以在较大的视角范围下捕获较高分辨率图像。与较低分辨率图像相比，较高分辨率图像可以被划分为更大数量的较小像素。像素越多，可以在交通标志信息中嵌入的交通标志信息就越多。像素网格(包括像素尺寸和像素数量)取决于ADAS/AD系统的图像传感器相对于交通标志的正面的位置和角度。
交通标志可以被配置成用于显示成像(诸如空白标志)，以用于只能被交通标志信息与其不相关的其他交通车道上的汽车看到的视角范围。替代地，单个交通标志可被配置成用于显示相邻道路或车道的不同信息。
交通标志信息可包括与其上下文含义有关的信息。例如，信息是针对哪条车道的、交通标志是针对哪些交通参与者的、以及每小时的有效性。被配置成用于显示改变的交通标志信息的交通标志可以与传统的交通标志结合使用。
图7示出用于显示不同交通标志信息的示例性交通标志配置。例如，交通标志600可以包括双凸透镜阵列702。两个静态图像704和706可以被定位在双凸透镜708下方。可以在可检测的视角范围712下观看静态图像704。可以在可检测的视角范围710下观看静态图像706。双凸透镜阵列702可被扩展以与多于两个的静态图像一起工作。
交通标志可以使用双凸透镜在不同的视角范围下显示不同的交通标志信息。双凸透镜是创建依赖于视角的图像的低成本并且经过验证的方法。双凸透镜也可以与交通标志中通常使用的高反射率的逆反射器箔片组合。
多个静态图像可以被放置在双凸透镜的阵列下方。例如，为了显示两个静态图像，两个静态图像的交替部分可以被定位在双凸透镜下方。透镜阵列的每个透镜可以使两个静态图像的不同交替部分定位在其下方。两个静态图像的每个部分均在相应的视角范围下出现。该原理可以扩展到多于两个静态图像。
双凸透镜阵列的一个特征在于，它们是挤压型2D透镜阵列。因此，从双凸透镜下方显示的图像仅在视角范围从单个平面改变时才会改变。在规划交通标志相对于经过的交通工具的取向时，需要考虑该平面。交通标志信息显示的改变应该被经过的交通工具检测到。交通标志上的双凸透镜的取向可能取决于交通标志相对于道路的位置。例如，架空或路边交通标志。
例如，路边交通标志可被配置成用于沿着交通标志的前方与沿道路接近交通标志的交通工具之间的平面显示不同的交通标志信息。来自不同方向或另一条道路的其他交通工具可能无法看到交通标志显示器的改变或根本看不到任何交通标志信息。类似地，架空交通标志可被配置成用于改变接近交通工具的交通标志信息显示。
双凸透镜已被证明可与电子显示器兼容。可以使用高分辨率显示器并且在高分辨率显示器前方正确地对齐双凸透镜阵列来实现这一点。
选择不同的视角范围可能取决于以下因素：取决于交通工具速度的交通标志显示器的相对变化、连续嵌入的编码之间的分离和对比度、以及由ADAS/AD系统图像传感器施加的分辨率要求。
例如，我们可以比较三个视角范围。交通标志可以在5度下显示第一交通标志信息。与其他视角范围相比，该交通标志信息可能与较低的分辨率和较远的距离相关联。因此，所嵌入的编码相对于其他交通标志信息而言可能包括较少的信息。与其他视角范围相比，该视角范围可能被感知更长的时间。
交通标志可以在20度下显示第二交通标志信息。该交通标志信息可以与其他视角范围之间的分辨率和距离相关联。所嵌入的编码可包括比在第一视角范围下显示的交通标志信息更多的信息，但比在第三视角范围下显示的交通标志信息更少的信息。用于附加数据(例如校验和、ID)的中等分辨率QR码。
交通标志可以在45度下显示第三交通标志信息。与其他视角范围相比，该交通标志信息可能与更高的分辨率和更大的距离相关联。与在其他视角范围内显示的交通标志信息相比，所嵌入的编码可能包括更多的信息。
先前的示例中提到的角度仅是示例，并且交通标志显示器可以在整个视角范围内显示相同的交通标志信息。所显示的交通标志信息的增加提供了更稳健的交通标志信息验证。
替代地，不同的交通标志信息可以利用二维微透镜阵列来显示。微透镜阵列可由不昂贵的塑料材料生产。微透镜阵列允许交通标志信息被显示在从交通标志表面开始并从交通标志向外扩展的锥形空间中。交通标志可以针对其在道路上方或沿着路的位置进行单独地优化。例如，如果交通标志被定位在弯道附近。
图8A和图8B示出了示例性交通标志800。图8A示出交通标志800在所有角度下对人类而言都可能看起来是相同的。然而，交通标志800可以包括三个静态交通标志图像802、804和806。每个交通标志图像可以包括交通标志信息。交通标志800可被配置成用于在不同的可检测视角范围下显示不同的静态交通标志图像。当交通工具820在方向822上接近交通标志800时，图像传感器可以捕获交通标志800的一个或多个图像。例如，交通标志800可以被配置成用于在视角范围816下显示交通标志图像802。交通标志800可以被配置成用于在视角范围814下显示交通标志图像804。交通标志800可以被配置成用于在视角范围812下显示交通标志图像806。
图8B示出交通工具820驾驶经过的交通标志800的不同角度。交通工具820可以包括用于捕获交通标志800的图像的一个或多个图像传感器。图8B示出交通工具820在接近交通标志800时的不同时间点。在第一时间点842，图像传感器可以捕获交通标志800的第一图像。在时间点842，图像传感器可处于相对于交通标志800的可检测的视角816。交通标志800可以被配置成用于在视角范围816下显示交通标志图像802。图像传感器可捕获交通标志图像802。在第二时间点844，图像传感器可以捕获交通标志800的第二图像。在时间点844，图像传感器可处于相对于交通标志800的可检测的视角816。交通标志800可以被配置成用于在视角范围814下显示交通标志图像804。图像传感器可捕获交通标志图像804。在第三时间点846，图像传感器可以捕获交通标志800的第三图像。在时间点846，图像传感器可处于相对于交通标志800的可检测的视角812。交通标志800可以被配置成用于在视角范围812下显示交通标志图像806。图像传感器可捕获交通标志图像806。
当交通工具820接近交通标志800时，其图像传感器可在不同的距离处捕获图像。例如，图像传感器可在相对于交通标志图像804更远的距离处捕获交通标志图像802。此外，图像传感器可在相对于交通标志图像806更远的距离处捕获交通标志图像804。与在较近距离处捕获的交通标志图像相比，在较远距离处捕获的图像可能具有较低的分辨率。与在较近距离处捕获的交通标志图像相比，具有较低分辨率的交通标志图像可能包含较少的交通标志信息。例如，与交通标志图像804相比，交通标志图像802可能具有较低的分辨率和较少的交通标志信息。与交通标志图像806相比，交通标志图像804可能具有较低的分辨率和较少的交通标志信息。
离线交通标志验证可使用包括交通标志信息的交通标志图像的渐进式捕获。所捕获的交通标志信息旨在增加可信度。交通标志信息中包含的基本数据可以是冗余的，使得每一个嵌入的编码均包含基本级别的信息，诸如限速。
例如，交通工具正以200km/h(55.56m/s)的速度移动，如果图像传感器每秒捕获30帧，则得到每帧移动1.85米。使用双凸透镜，所显示的交通标志信息编码在一定的视角范围内可以是可见的。该范围是可修改的并且取决于双凸透镜阵列后面的图像的特征和尺寸。
对于第一交通标志信息而言，从交通标志相对于交通工具移动的角度改变是非常小的。在此，标志可以被检测到并且交通标志信息可以被读取的最小距离是至关重要的。假设该距离是55.56m，我们也可以假设交通工具与交通标志之间的中心线距离约为3米。初始角度大约为3.1度，然而，我们可以从0度开始。考虑到先前所述的速度和帧捕获率，我们将采集30帧，直到交通工具经过交通标志。要为所显示的三种不同的交通标志信息中的每一种采集10帧，大致每隔18.5m就可能显示不同的交通标志信息。
基于先前的示例，可以针对交通标志配置以下视角范围：
视角范围1＝>0度直到4.6度
视角范围2＝>4.6度直到9.2度
视角范围3＝>9.2度直到90度
使用以下公式来计算：
Figure BDA0003323451980000281
其中i＝视角范围。
例如，i＝1针对视角范围1。
所有类型的交通标志可以被配置成用于在不同的可检测视角范围下显示交通标志信息。例如，限速标志可被配置成用于在第一可检测的视角范围下显示限速和验证码。限速标志可以被配置成用于在第二可检测的视角范围下显示限速、交通标志的GPS坐标、以及验证码。
如果在ADAS/AD系统的图像传感器与交通标志之间存在障碍物，则仍然可以估计交通标志的位置，直到它回到视线中。如果障碍物很短，则ADAS/AD系统可以捕获所有所显示的不同交通标志信息。在不同的交通标志信息内包括冗余可避免所丢失的较长障碍物的信息。
图9示出用于在不同的可检测视角范围下显示交通标志信息的示例性配置。例如，交通工具922接近交通标志912。角度902可以是交通标志显示器的中心与交通工具922的图像传感器之间的角度。交通标志显示器可能未被配置成用于在角度902下显示交通标志信息的改变。然而，交通标志914可以被定位在道路的一侧上。交通标志914可被配置成用于在视角范围904下显示交通标志信息。当交通工具924继续驾驶并接近交通标志914时，交通工具904的图像传感器可以检测到在视角范围904下的改变的交通标志信息。交通标志916可被配置成用于在不同角度下显示不同的交通标志信息。例如，交通工具926和928可以在不同的视角范围下接近交通标志916。交通标志916可被配置成用于向交通工具926显示限速信息，并且向交通工具928显示动物横越信息。替代地，交通标志916可以被配置成用于不向这些交通工具中的一个交通工具显示任何信息。
图10示出用于显示来自架空交通标志的交通标志信息的示例性配置。交通标志显示器1010、1012和1014可以包括夹持结构。例如，交通标志显示器1010和1012的夹持结构可以夹持至架空结构1020。架空结构可被定位在道路上方。交通标志显示器1010可被配置成用于向交通标志显示器1010下方的交通工具1002显示交通标志信息。交通标志显示器1012可被配置成用于向交通标志显示器1012下方和侧面的交通工具1002显示交通标志信息。
例如，与路边交通标志相比，架空交通标志可能必须在不同的视角范围下配置双凸透镜。架空标志的视角范围可能无法作为路边交通标志来运作。
交通标志显示器1014的夹持结构可以夹持至交通标志柱1022。交通标志柱1022可以被定位在道路的一侧上。交通标志显示器1014可被配置成用于向如图9所述的交通工具1002显示交通标志信息。
图11示出根据一些方面的验证交通标志信息的示例性方法1100。如图11所示，方法1100包括获得交通标志的图像(阶段1102)，分析该图像以确定交通标志信息(阶段1104)，基于该交通标志信息确定验证信息(阶段1106)，以及验证该交通标志信息的有效性(阶段1108)。
图12示出根据一些方面的验证交通标志信息的示例性方法1200。如图12所示，方法1200包括获得交通标志的图像(阶段1202)，分析该图像以确定交通标志信息(阶段1204)，基于该交通标志信息来标识验证信息(阶段1206)，获得该交通标志的进一步的图像(阶段1208)，分析该进一步的图像以确定进一步的交通标志信息；其中，进一步的交通标志信息包括进一步的验证信息(阶段1210)，将验证信息与进一步的验证信息进行比较(阶段1212)，确定验证信息是否与进一步的验证信息相同(阶段1214)，验证交通标志信息的有效性(阶段1216)，以及基于该确定来生成指令(阶段1218)。
在下文中，将对本公开的各个方面进行说明。
示例1是一种交通标志，包括：交通标志显示器，该交通标志显示器包括交通标志信息，其中该交通标志信息包括用于验证该交通标志信息的有效性的验证信息。
在示例2中，示例1的主题可以任选地进一步包括：其中交通标志显示器进一步包括第一可检测的视角范围和第二可检测的视角范围；其中第一可检测的视角范围被配置成用于显示交通标志信息；其中第二可检测的视角范围被配置成用于显示进一步的交通标志信息；以及其中进一步的交通标志信息包括用于验证交通标志信息的有效性的进一步的验证信息。
在示例3中，示例2的主题可任选地进一步包括，其中验证信息与进一步的验证信息相同。
在示例4中，示例1至3中任一项的主题可任选地进一步包括，其中交通标志信息包括交通标志位置的基于卫星的坐标。
在示例5中，示例2至示例4中任一项的主题可以任选地进一步包括，其中第二可检测的视角范围被配置成用于显示空白信息。
在示例6中，示例2至示例5中任一项的主题可以任选地进一步包括：其中第一可检测的视角范围被配置成用于以人类可读格式显示交通标志信息；以及第二可检测的视角范围被配置成用于以人类可读格式显示进一步的交通标志信息。
在示例7中，示例2至示例5中任一项的主题可以任选地进一步包括：其中第一可检测的视角范围被配置成用于以机器可读格式显示交通标志信息，以及第二可检测的视角范围被配置成用于以机器可读格式显示进一步的交通标志信息。
在示例8中，示例2至示例7中任一项的主题，可以任选地进一步包括：其中第一可检测的视角范围被配置成用于第一显示分辨率，并且第二可检测的视角范围被配置成用于第二显示分辨率。
在示例9中，示例8的主题，可以任选地进一步包括：其中第二显示分辨率大于第一显示分辨率。
在示例10中，示例8或示例9中任一项的主题可任选地进一步包括：其中进一步的交通标志信息包括比交通标志信息更大的数据量。
在示例11中，示例10的主题可任选地进一步包括：其中进一步的交通标志信息包括来自交通标志信息的数据的至少一部分。
在示例12中，示例2至示例11中任一项的主题可任选地进一步包括：其中第二可检测的视角范围大于第一可检测的视角范围。
在示例13中，示例2至示例12中的任一项的主题可任选地进一步包括，其中第二可检测的视角范围与第一可检测的视角范围的比率。
在示例14中，示例2至13中的任一项的主题可以任选地进一步包括，其中该比率为4:3。
在示例15中，示例2至13中的任一项的主题可以任选地进一步包括，其中交通标志显示器包括电子显示器。
在示例16中，示例15的主题可以任选地进一步包括，其中电子显示器包括发光二极管(LED)。
在示例17中，示例2至11中的任一项的主题可任选地进一步包括，其中交通标志显示器被印刷在衬底上。
在示例18中，示例2至示例11或示例17中的任一项的主题可任选地进一步包括，其中交通标志显示器包括多个双凸透镜。
在示例19中，示例2至示例11或示例17中的任一项的主题可任选地进一步包括，其中交通标志显示器包括微透镜的阵列。
示例20是一种设备，包括：一个或多个处理器，该一个或多个处理器被配置成用于获得交通标志的图像，对该图像进行分析以确定交通标志信息，基于该交通标志信息来标识验证信息，并且对该交通标志信息的有效性进行验证。
在示例21中，示例20的主题可任选地进一步包括：其中对交通标志信息的有效性进行验证包括：将验证信息与进一步的验证信息进行比较，以及确定验证信息是否与进一步的验证信息相同。
在示例22中，示例20或21中的任一项的主题，可任选地进一步包括：其中一个或多个处理器被配置成用于基于该确定来生成指令。
在示例23中，示例20至22中任一项的主题，可任选地进一步包括其中一个或多个处理器进一步被配置成用于获得交通标志的进一步的图像，并且对该进一步的图像进行分析以确定进一步的交通标志信息，其中该进一步的交通标志信息包括进一步的验证信息。
在示例24中，示例21至23中的任一项的主题可以任选地进一步包括存储进一步的验证信息的存储器。
在示例25中，示例21至示例23中的任一项的主题可任选地进一步包括：通信接口，该通信接口被配置成用于从数据库接收进一步的验证信息。
在示例26中，示例23至示例25中任一项的主题可任选地进一步包括：其中交通标志的进一步图像包括比交通标志的图像更高的分辨率。
在示例27中，示例26的主题可任选地进一步包括：其中进一步的交通标志信息包括比交通标志信息更大的数据量。
在示例28中，示例26或示例27中的任一项的主题可任选地进一步包括其中进一步的交通标志信息包括来自交通标志信息的数据的至少一部分。
在示例29中，示例18至示例25中的任一项的主题可任选地进一步包括：其中验证信息和进一步的验证信息是相同的，并且该指令包括交通标志信息被验证的消息。
在示例30中，示例21至示例29中的任一项的主题可任选地进一步包括：其中验证信息和进一步的验证信息是不相同的，并且该指令包括交通标志信息未被验证的消息。
在示例31中，示例22至30中任一项的主题可以任选地进一步包括：其中一个或多个处理器被进一步配置成用于将交通标志信息与进一步的交通标志信息进行比较，并且其中指令进一步基于交通标志信息和进一步的交通标志信息的比较。
示例32是一种设备，包括：存储器，该存储器被配置成用于存储指令；一个或多个处理器，该一个或多个处理器耦合到存储器以执行存储在存储器中的指令，其中处理器被配置成用于：实现交通标志验证模型，其中验证包括：获得交通标志的图像，对图像进行分析以确定交通标志信息，基于交通标志信息来标识验证信息，以及对交通标志信息的有效性进行验证。
在示例33中，示例32的主题可任选地进一步包括：其中对交通标志信息的有效性进行验证包括：将验证信息与进一步的验证信息进行比较，以及确定验证信息是否与进一步的验证信息相同。
在示例34中，示例32或33中的任一项的主题，可任选地进一步包括：其中一个或多个处理器被配置成用于基于该确定来生成指令。
示例35是一种方法，包括：获得交通标志的图像，对该图像进行分析以确定交通标志信息，基于该交通标志信息来标识验证信息，并且对该交通标志信息的有效性进行验证。
在示例36中，示例35的主题可任选地进一步包括：其中对交通标志信息的有效性进行验证包括：将验证信息与进一步的验证信息进行比较，以及确定验证信息是否与进一步的验证信息相同。
在示例37中，示例35或36中的任一项的主题可任选地进一步包括基于该确定来生成指令。
在示例38中，示例35至示例37中任一项的主题可任选地进一步包括：获得交通标志的进一步的图像，并且对该进一步的图像进行分析以确定进一步的交通标志信息，其中该进一步的交通标志信息包括进一步的验证信息。
在示例39中，示例36至38中任一项的主题可任选地进一步包括从数据库接收进一步的验证信息。
在示例40中，示例38至示例39中任一项的主题可任选地进一步包括：其中交通标志的进一步图像包括比交通标志的图像更高的分辨率。
在示例41中，示例40的主题可任选地进一步包括：其中进一步的交通标志信息包括比交通标志信息更大的数据量。
在示例42中，示例40或示例41中的任一项的主题可任选地进一步包括其中进一步的交通标志信息包括来自交通标志信息的数据的至少一部分。
在示例43中，示例36至示例42中的任一项的主题可任选地进一步包括：其中验证信息和进一步的验证信息是相同的，并且该指令包括交通标志信息被验证的消息。
在示例44中，示例36至示例42中的任一项的主题可任选地进一步包括：其中验证信息和进一步的验证信息是不相同的，并且该指令包括交通标志信息未被验证的消息。
在示例45中，示例37至示例44中的任一项的主题可任选地进一步包括：对交通标志信息和进一步的交通标志信息进行比较，其中，指令进一步基于交通标志信息和进一步的交通标志信息的比较。
示例46是包括根据示例20-34的、被配置成用于实现根据示例35-45的方法的一个或多个设备的系统。
示例47是包括根据示例1-19的一个或多个设备以及根据示例20-34的、被配置成用于实现根据示例35-45的方法的一个或多个设备的系统。
示例48是一种或多种非暂态计算机可读介质，其上包括可编程指令，这些可编程指令在由设备的一个或多个处理器执行时使得该设备执行如示例35-45所述的方法中的任一项。
示例49是一种用于实现示例1-34中的任一项的装置。
尽管以上描述和相关描述、附图可将设备组件描绘为单独的元件，但技术人员将会领会将分立的元件组合或集成为单个元件的各种可能性。此类可能性可包括：组合两个或更多个电路以用于形成单个电路，将两个或更多个电路安装到共同的芯片或基座上以形成集成元件，在共同的处理器核上执行分立的软件组件，等等。相反，技术人员将意识到可将单个元件分成两个或更多个分立的元件，诸如，将单个电路分解为两个或更多个单独的电路，将芯片或基座分成最初设置在其上的分立的元件，将软件组件分成两个或更多个部分并在单独的处理器核上执行每个部分，等等。
应当领会，本文中详述的方法的实现方式在本质上是说明性的，并且因此被理解为能够在相应的设备中实现。同样，应当领会，本文中详述的设备的实现方式被理解为能够被实现为相应的方法。因此，应当理解，与本文详述的方法对应的设备可以包括被配置成执行相关方法的每个方面的一个或多个组件。
以上描述中定义的所有首字母缩写词附加地包含在本文包括的所有示例中。

Claims (25)

1.一种交通标志，包括：
交通标志显示器，所述交通标志显示器包括交通标志信息，
其中所述交通标志信息包括用于验证所述交通标志信息的有效性的验证信息。
2.如权利要求1所述的交通标志，
其中所述交通标志显示器进一步包括第一可检测的视角范围和第二可检测的视角范围；
其中所述第一可检测的视角范围被配置成用于显示交通标志信息；
其中所述第二可检测的视角范围被配置成用于显示进一步的交通标志信息；以及
其中所述进一步的交通标志信息包括用于验证所述交通标志信息的有效性的进一步的验证信息。
3.如权利要求1和2中任一项所述的交通标志，其特征在于，在所述第一可检测的视角范围下显示的所述验证信息与在第二可检测的视角范围下显示的所述进一步的验证信息相同。
4.如权利要求1和2中任一项所述的交通标志，其特征在于，所述第二可检测的视角范围被配置成用于显示空白信息。
5.如权利要求1和2中任一项所述的交通标志，其特征在于，所述第一可检测的视角范围被配置成用于第一显示分辨率，并且所述第二可检测的视角范围被配置成用于第二显示分辨率。
6.如权利要求5所述的交通标志，其特征在于，所述第二显示分辨率大于所述第一显示分辨率。
7.如权利要求6所述的交通标志，其特征在于，所述进一步的交通标志信息包括比所述交通标志信息更大的数据量。
8.如权利要求7所述的交通标志，其特征在于，所述进一步的交通标志信息包括来自所述交通标志信息的数据的至少一部分。
9.一种设备，包括：
一个或多个处理器，所述一个或多个处理器被配置成用于：
获得交通标志的图像；
对所述图像进行分析以确定交通标志信息；以及
基于所述交通标志信息来标识验证信息，其中所述交通标志信息包括用于对所述交通标志信息的有效性进行验证的验证信息。
10.如权利要求9所述的设备，
其中，对所述交通标志信息的有效性进行验证包括：
将所述验证信息与进一步的验证信息进行比较；以及
确定所述验证信息是否与所述进一步的验证信息相同。
11.如权利要求9和10中任一项所述的设备，
其中，所述一个或多个处理器被配置成用于基于所述确定来生成交通工具控制指令。
12.如权利要求11所述的设备，
所述一个或多个处理器被进一步配置成用于：
获得所述交通标志的进一步的图像；以及
对所述进一步的图像进行分析以确定进一步的交通标志信息，其中所述进一步的交通标志信息包括所述进一步的验证信息。
13.如权利要求10所述的设备，进一步包括：
存储器，所述存储器存储所述进一步的验证信息。
14.如权利要求13所述的设备，进一步包括：
通信接口，所述通信接口被配置成用于从数据库接收所述进一步的验证信息。
15.一种方法，包括：
获得交通标志的图像；
对所述图像进行分析以确定交通标志信息；以及
基于所述交通标志信息来标识验证信息，其中所述交通标志信息包括用于对所述交通标志信息的有效性进行验证的验证信息。
16.如权利要求15所述的方法，
其中，对所述交通标志信息的有效性进行验证包括：
将所述验证信息与进一步的验证信息进行比较，以及
确定所述验证信息是否与所述进一步的验证信息相同。
17.如权利要求15和16中任一项所述的方法，进一步包括：
基于所述确定来生成交通工具控制指令。
18.如权利要求17所述的方法，进一步包括：
获得所述交通标志的进一步的图像；以及
对所述进一步的图像进行分析以确定进一步的交通标志信息，其中所述进一步的交通标志信息包括所述进一步的验证信息。
19.如权利要求18所述的方法，进一步包括：从数据库中接收所述进一步的验证信息。
20.如权利要求19所述的方法，其特征在于，所述交通标志的所述进一步的图像包括比所述交通标志的图像更高的分辨率。
21.如权利要求18所述的方法，其特征在于，所述进一步的交通标志信息包括比所述交通标志信息更大的数据量。
22.如权利要求18所述的方法，其特征在于，所述进一步的交通标志信息包括来自所述交通标志信息的数据的至少一部分。
23.如权利要求18所述的方法，其特征在于，所述验证信息和所述进一步的验证信息是相同的，并且所述指令包括所述交通标志信息被验证的消息。
24.如权利要求18所述的方法，其特征在于，所述验证信息和所述进一步的验证信息是不相同的，并且所述指令包括所述交通标志信息未被验证的消息。
25.如权利要求18所述的方法，能进一步包括：将所述交通标志信息与所述进一步的交通标志信息进行比较，其中所述指令进一步基于所述交通标志信息和所述进一步的交通标志信息的比较。
CN202111254118.3A 2020-11-27 2021-10-27 用于验证道路交通标志的方法、系统和设备 Pending CN114564876A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/105,689 2020-11-27
US17/105,689 US20210097313A1 (en) 2020-11-27 2020-11-27 Methods, systems, and devices for verifying road traffic signs

Publications (1)

Publication Number Publication Date
CN114564876A true CN114564876A (zh) 2022-05-31

Family

ID=75161547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254118.3A Pending CN114564876A (zh) 2020-11-27 2021-10-27 用于验证道路交通标志的方法、系统和设备

Country Status (3)

Country Link
US (1) US20210097313A1 (zh)
EP (1) EP4006872A1 (zh)
CN (1) CN114564876A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11667304B2 (en) * 2021-05-12 2023-06-06 Ford Global Technologies, Llc Enhanced vehicle operation
CN114579549A (zh) * 2022-03-02 2022-06-03 北京百度网讯科技有限公司 信息核实方法、装置、电子设备、存储介质及产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4691993A (en) * 1985-05-13 1987-09-08 Minnesota Mining And Manufacturing Company Transparent sheets containing directional images and method for forming the same
JP2006132173A (ja) * 2004-11-05 2006-05-25 Three M Innovative Properties Co 再帰性反射標識
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US10957227B2 (en) * 2012-09-12 2021-03-23 Delorean, Llc Vehicle-mounted, location-controlled sign
DE102013224824A1 (de) * 2013-12-04 2015-06-11 Robert Bosch Gmbh Steuer- und Erfassungseinrichtung für ein Kraftfahrzeug und Verfahren zur Erkennung eines Bild-Codes mittels einer in einem Kraftfahrzeug verbauten Erkennungseinheit
KR101822895B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
WO2018064198A1 (en) * 2016-09-28 2018-04-05 3M Innovative Properties Company Hierarchichal optical element sets for machine-read articles
JP2019534507A (ja) * 2016-09-28 2019-11-28 スリーエム イノベイティブ プロパティズ カンパニー 静的データ及び動的ルックアップデータ光学要素セットを含む多次元光コード
KR20190133039A (ko) * 2017-03-31 2019-11-29 쓰리엠 이노베이티브 프로퍼티즈 캄파니 상황 인지 표지판 시스템
US11138880B2 (en) * 2017-09-29 2021-10-05 3M Innovative Properties Company Vehicle-sourced infrastructure quality metrics
WO2020217087A1 (en) * 2019-04-24 2020-10-29 Harman International Industries, Incorporated System and cryptographic hardening method for traffic signal verification
US20210156696A1 (en) * 2019-11-27 2021-05-27 Here Global B.V. Method and system to validate road signs

Also Published As

Publication number Publication date
EP4006872A1 (en) 2022-06-01
US20210097313A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
EP3974270A1 (en) Device for determining safety state of a vehicle
US11651240B2 (en) Object association for autonomous vehicles
US11932249B2 (en) Methods and devices for triggering vehicular actions based on passenger actions
US10935978B2 (en) Vehicle self-localization using particle filters and visual odometry
US20200298891A1 (en) Perception and Motion Prediction for Autonomous Devices
US11348339B2 (en) Association and tracking for autonomous devices
US10788585B2 (en) System and method for object detection using a probabilistic observation model
US11501105B2 (en) Automatic creation and updating of maps
EP3885992A1 (en) Device and method for training an object detection model
CN113449578A (zh) 用于准确标识交通工具的环境中的对象的设备和方法
CN113442936A (zh) 用于在自主驾驶系统中检测对象并计算接触时间的方法和设备
CN111758017A (zh) 信息处理装置、信息处理方法、程序及移动体
US11321211B1 (en) Metric back-propagation for subsystem performance evaluation
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
CN114564876A (zh) 用于验证道路交通标志的方法、系统和设备
US11703562B2 (en) Semantic segmentation of radar data
WO2020198121A1 (en) Perception and motion prediction for autonomous devices
US20230150543A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
US20230168363A1 (en) Method to detect radar installation error for pitch angle on autonomous vehicles
US20230343109A1 (en) Systems and methods for detecting traffic lights of driving lanes using a camera and multiple models
CN118124616A (zh) 用于基于乘客动作来触发交通工具动作的方法和设备
Craven et al. How Car Autopilot Works
CN116229703A (zh) 用于检测交通信号的方法、系统和存储介质
WO2023150430A1 (en) Distance representation and encoding
WO2024081172A1 (en) Detection transformer (detr) back propagation using global loss function expressed as sum of assignment-independent term and assignment-dependent term defined by assignment cost matrix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination