CN115209041A - 用于控制支持传感器信息的人工审查的相机的系统 - Google Patents

用于控制支持传感器信息的人工审查的相机的系统 Download PDF

Info

Publication number
CN115209041A
CN115209041A CN202210283900.6A CN202210283900A CN115209041A CN 115209041 A CN115209041 A CN 115209041A CN 202210283900 A CN202210283900 A CN 202210283900A CN 115209041 A CN115209041 A CN 115209041A
Authority
CN
China
Prior art keywords
feature
camera
vehicle
processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210283900.6A
Other languages
English (en)
Inventor
肖恩·亨特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN115209041A publication Critical patent/CN115209041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Atmospheric Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

一种用于控制支持传感器信息的人工审查的相机的系统。提供了用于控制被安装在交通工具(100)上的相机(126、148)的操作的相机控制系统。系统包括处理器(110)和被通信地耦合到处理器的存储器(115)。存储器存储相机控制模块(141)，该相机控制模块(141)被配置为将与特征相关联的识别置信度等级与预定阈值进行比较，并且响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机(136、148)的操作以在交通工具(100)的移动期间捕获特征的至少一个图像。

Description

用于控制支持传感器信息的人工审查的相机的系统
技术领域
本公开涉及解释交通工具传感器数据以识别所检测的对象，并且更具体地涉及人工审查传感器数据，以出于更新交通工具传感器系统对象识别能力的目的而将数据与所识别的对象相关。
背景技术
交通工具通常包含激光雷达和雷达传感器，以检测交通工具的环境中的特征。交通工具还可以包含传感器数据处理例程和硬件，其被配置为，解释传感器数据以尝试识别和/或分类所检测的特征，例如通过与描述已知的和先前遇到的特征的、所存储的信息进行比较。然而，一些所检测的特征可能是无法由传感器数据处理例程可识别的，例如因为该特征以前从未被遇到过、由于所检测的特征的条件或因为该特征由传感器“查看”的角度使得难以准确地将所处理的数据与已知特征进行比较。还存在用于生成传感器数据(诸如，点云)的2维和3维表示用于人工审查的软件。然而，由于这种软件的限制，因此即使对于审查所生成的特征的表示的人工审查方而言，所检测的对象的确切标识也可能是不清楚的。
发明内容
在本文中所描述的实施例的一个方面中，提供了一种用于控制被安装在交通工具上的相机的操作的相机控制系统。该系统包括处理器和被通信地耦合到处理器的存储器。存储器存储相机控制模块，该相机控制模块包括计算机可读指令，该计算机可读指令在由处理器执行时使处理器：将与特征相关联的识别置信度等级与预定阈值进行比较，并且响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机的操作，以在交通工具的移动期间捕获特征的至少一个图像。
在本文中所描述的实施例的另一方面中，提供了一种用于控制被安装在交通工具上的相机的操作的方法。该方法包括步骤：将与特征相关联的识别置信度等级与预定阈值进行比较；以及响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机的操作，以在交通工具的移动期间捕获特征的至少一个图像。
在本文中所描述的实施例的又一方面中，提供了一种用于控制被安装在交通工具上的相机的操作的非瞬态计算机可读介质。该介质在其中存储有指令，该指令在由计算系统执行时使计算系统执行功能，该功能包括：将与特征相关联的识别置信度等级与预定阈值进行比较；以及响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机的操作，以在交通工具的移动期间捕获特征的至少一个图像。
附图说明
并入说明书中并且构成说明书部分的附图图示了本公开的各种系统、方法和其他实施例。应了解，图中所图示的元素边界(例如框、框组或其他形状)表示一个实施例的边界。在一些实施例中，一个元素可以被设计为多个元素，或多个元素可以被设计为一个元素。在一些实施例中，被示出为另一元素的内部组件的元素可以被实现为外部组件，反之亦然。此外，元素可能未按比例进行绘制。
图1是根据本文中所描述的实施例的包含相机控制系统的交通工具的示意性框图。
图2是图示了根据本文中所描述的实施例的相机控制系统的操作的流程图。
图3是根据本文中所描述的实施例的在相机控制系统的操作期间沿着道路移动的交通工具的示意性平面图。
具体实施方式
本文中所描述的实施例涉及一种用于控制被安装在交通工具上的相机的操作的相机控制系统。该系统包括处理器和被通信地耦合到处理器的存储器。存储器存储相机控制模块，该相机控制模块被配置为，将与特征相关联的识别置信度等级与预定阈值进行比较。响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机的操作，以在交通工具的移动期间捕获特征的至少一个图像。所捕获的图像可以同与所检测的特征相关的激光雷达和/或雷达数据时间相关，并且与相机图像同时被获取。如果置信度等级低于预定阈值，那么时间相关的相机图像和所处理的激光雷达/雷达信息可以被转发给人工审查方。人工审查方可以将激光雷达/雷达信息与在激光雷达/雷达信息中所表示的实际特征的相机图像进行比较和相关。当激光雷达/雷达信息被分类或与实际已知特征相关联时，与特征相关的新获取的激光雷达/雷达信息可以被添加到与特征相关联的已知激光雷达/雷达信息的目录中，从而扩展用于与新获取的激光雷达/雷达信息进行比较的资源数据库。这可以促进该特征或其他交通工具中的类似特征的未来识别，该其他交通工具使用相同的数据库作为用于比较的已知激光雷达/雷达信息的源。
图1示出了根据本文中所描述的实施例的包含相机控制系统的交通工具100的示意性框图。相机控制系统可以被配置为，控制被安装在交通工具100上的审查支持相机148的操作。如本文中所使用，“交通工具”是任何形式的机动运输方式。在一个或多个实施方式中，交通工具100是常规乘用车(诸如，轿车、皮卡车或SUV)，但是交通工具100可以是包括激光雷达传感器和/或雷达传感器作为交通工具传感器的部分的任何形式的机动运输方式。
交通工具100还包括各种元素。将理解，在各种实施例中，可以不需要使交通工具100具有图1中所示出的元素中的所有元素。交通工具100可以具有图1中所示出的各种元素的任何组合。进一步地，交通工具100可以具有图1中所示出的元素的附加元素。在一些布置中，交通工具100可以在没有图1中所示出的元素中的一个或多个元素的情况下被实施。虽然各种元素被示出为位于图1中的交通工具100内，但将理解，这些元素中的一个或多个元素可以位于交通工具100的外部。
交通工具100的可能元素中的一些元素被示出在图1中并且将参照图1进行描述。附加地，将了解，出于说明的简单性和清晰性，在适当的情况下，在不同的图中可能已经重复了附图标记以指示对应或类似的元素。此外，讨论概述了许多具体细节以提供对本文中所描述的实施例的透彻理解。然而，本领域的技术人员将理解，可以使用这些元素的各种组合来实践本文中所描述的实施例。
在一些实例中，交通工具100可以被配置为在自主模式、一个或多个半自主操作模式和/或手动模式之间选择性地切换。这种切换可以以现在已知或稍后开发的合适方式来实施。“手动模式”是指交通工具的导航和/或操控中的所有或大部分导航和/或操控是根据从用户(例如，人类驾驶员)接收到的输入而进行的。在一个或多个布置中，交通工具100可以是常规交通工具，其被配置为仅在手动模式下运行。
在一个或多个实施例中，交通工具100是自主交通工具。如本文中所使用，“自主交通工具”是指可以在自主模式下运行的交通工具。“自主模式”是指使用一个或多个计算系统沿着行驶路线来导航和/或操控交通工具100，以在有来自人类驾驶员的极少输入或没有来自人类驾驶员的输入的情况下控制交通工具100。在一个或多个实施例中，交通工具100是高度自动化或完全自动化。在一个或多个布置中，交通工具100被配置为一个或多个半自主操作模式，在该半自主操作模式下，一个或多个计算系统执行交通工具沿着行驶路线的导航和/或操控的部分，并且交通工具操作方(即，驾驶方)向交通工具提供输入以执行交通工具100沿着行驶路线的导航和/或操控的部分。
本文中所描述的相机控制模块141的实施例可以自主地控制审查支持相机148的操作，以用于本文中所描述的在交通工具正在手动模式下或自主模式下运行时的目的两者。相机控制模块141可以根据需要与自主驾驶模块160接口连接，以促进对相机148的自主控制。
交通工具100可以包括一个或多个处理器110。在一个或多个布置中，(多个)处理器110可以是交通工具100的(多个)主处理器。例如，(多个)处理器110可以是电子控制单元(ECU)。交通工具100可以包括用于存储一个或多个类型的数据的一个或多个数据存储库115。(多个)数据存储库115可以包括易失性和/或非易失性存储器。(多个)合适的数据存储库115的示例包括RAM(随机存取存储器)、闪速存储器、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、寄存器、磁盘、光盘、硬盘驱动器或任何其他合适的存储介质，或其任何组合。(多个)数据存储库115可以是(多个)处理器110的组件，或(多个)数据存储库115可以可操作地连接到(多个)处理器110用于其使用。如贯穿本说明书使用的术语“可操作地连接”可以包括直接或间接连接，包括没有直接物理接触的连接。
一个或多个数据存储库115可以包括传感器数据119。在该上下文中，“传感器数据”是指关于交通工具100被配备具有的传感器的任何信息，包括关于这种传感器的能力和其他信息。如下面将解释的，交通工具100可以包括传感器系统120。传感器数据119可以与传感器系统120的一个或多个传感器相关。作为示例，在一个或多个布置中，传感器数据119可以包括关于传感器系统120的(多个)雷达传感器109、(多个)激光雷达传感器125和(多个)相机126的操作信息和规范。(多个)数据存储库115可以可操作地连接到交通工具无线通信接口169，以用于向云或其他车外实体发送信息。
在一个或多个布置中，一个或多个数据存储库115可以包括地图数据189。地图数据189可以包括一个或多个地理区域的地图。在一些实例中，地图数据189可以包括关于一个或多个地理区域中的道路、交通控制设备、道路标记、结构、感兴趣的特征和/或地标的信息或数据。地图数据189可以呈任何合适形式。在一些实例中，地图数据189可以包括区域的航测图。在一些实例中，地图数据189可以包括区域的地面视图，包括360度的地面视图。地图数据189可以包括针对地图数据189中所包括的一个或多个项和/或相对于地图数据189中所包括的其他项的测量、尺寸、距离和/或信息。地图数据189可以包括具有关于道路几何形状、道路等级和坡度的信息以及其他道路信息(包括关于交通工具100当前正在行驶的道路的信息)的数字地图。地图数据189可以是高质量和/或高度详细的。在一个或多个布置中，地图数据189可以被连续更新(即，一旦与修订相关的信息变为可用)或从交通工具外部的云源或其他源而被定期更新。来自地图数据189的信息可以用于确定与由激光雷达和雷达扫描所检测的环境的特征相关的位置信息。
相机图像信息165可以包括由相机(诸如，审查支持相机148)捕获的和/或从由相机获取的数据生成的环境的特征的图像(诸如，数字图像)。相机图像信息165可以包括相机图像数据，从该相机图像数据中可以生成由人工审查方可查看的相机图像。相机控制模块141可以包括计算机可读指令，该计算机可读指令在由处理器执行时，使处理器将相机图像信息165与同时发生的所获取的激光雷达扫描信息和/或雷达扫描信息时间相关(例如，相机图像数据可以及时被链接到与激光雷达和/或雷达数据同时获取的激光雷达数据和/或雷达数据)。因此，例如，由审查支持相机148在交通工具一日游期间于下午2:05时捕获的相机图像可以与由激光雷达传感器125在一日游期间于下午2:05执行的激光雷达扫描时间相关。
激光雷达扫描信息118可以包括由激光雷达传感器125在激光雷达扫描期间所获取的扫描数据、描述由激光雷达扫描所检测的特征的位置的位置信息、特征的计算机生成的标识和/或分类、与特征标识相关的置信度等级、描述从相关联的激光雷达扫描生成的点云的信息、执行相关联的激光雷达扫描的当天日期和时间、描述已知或所标识的点云配置以用于与新获取的扫描数据和相关联的点云执行比较的目的的信息、和与由激光雷达传感器125执行的激光雷达扫描相关的其他信息。如上面所陈述，激光雷达扫描信息可以与同时发生的所获取的相机图像信息和/或雷达扫描信息时间相关(即，激光雷达数据可以及时被链接到与相机图像和/或雷达数据同时获取的相机图像和/或雷达数据)。使用从激光雷达和/或雷达扫描获取的数据，(多个)处理器110可以生成表示在交通工具环境中所检测的特征的点云。
雷达扫描信息123可以包括由雷达传感器109在雷达扫描期间所获取的扫描数据、描述由雷达扫描所检测的特征的位置的位置信息、特征的计算机生成的标识和/或分类、与特征标识相关的置信度等级、描述从相关联的雷达扫描所生成的点云的信息、执行相关联的雷达扫描的当天日期和时间、描述已知或所标识的点云配置以用于与新获取的扫描数据和相关联的点云执行比较的目的的信息、和与由雷达传感器109执行的雷达扫描相关的其他信息。如上面所陈述，雷达扫描信息可以与同时发生的所获取的相机图像信息和/或雷达扫描信息时间相关(即，雷达数据可以及时被链接到与相机图像和/或雷达数据同时获取的相机图像和/或雷达数据)。
使用从激光雷达和/或雷达扫描获取的数据，(多个)处理器110可以以已知方式生成表示在交通工具环境中所检测的特征的点云。
如上文所提到，交通工具100可以包括传感器系统120。传感器系统120可以包括一个或多个传感器。“传感器”是指可以检测和/或感测某事物的任何设备、组件和/或系统。一个或多个传感器可以被配置为实时检测和/或感测。如本文中所使用，术语“实时”是指用户或系统感测为对于要做出的特定过程或确定而言足够即时的处理响应性等级，或使处理器能够跟上某种外部过程的处理响应性等级。在传感器系统120包括多个传感器的布置中，传感器可以彼此独立地工作。备选地，传感器中的两个或更多个传感器可以彼此组合地工作。在这种情况下，两个或更多个传感器可以形成传感器网络。传感器系统120和/或一个或多个传感器可以可操作地连接到(多个)处理器110、(多个)数据存储库115和/或交通工具100的(多个)其他元素(包括图1中所示出的任何元素)。
传感器系统120可以包括任何合适的类型的传感器。在本文中将描述不同类型的传感器的各种示例。然而，将理解，实施例不限于所描述的特定传感器。在本文中描述了传感器系统120的传感器的各种示例。示例传感器可以是一个或多个环境传感器122和/或一个或多个交通工具传感器121的部分。然而，将理解，实施例不限于所描述的特定传感器。传感器系统120可以包括适合于和/或需要执行本文中所预期的任何数据获取和/或交通工具控制操作的任何传感器。
传感器系统120的传感器可以被通信地耦合到交通工具100的各种系统和组件。传感器可以可操作地连接到交通工具无线通信接口169，以用于将信息发送给云或其他存储设施或用于交通工具到交通工具(V2V)或车联万物(V2X)通信。传感器还可以可操作地连接到其他交通工具系统和组件(诸如，数据存储库115和(多个)处理器110)，以促进交通工具和环境传感器数据的存储和处理。可以使用传感器数据来计算或以其他方式确定本文中所描述的各种条件的存在。
传感器系统120的传感器可以包括(或可操作地连接到)一个或多个定时器或时钟(未示出)，该定时器或时钟被配置为使可以获取、追踪、存储、生成和/或处理如本文中所描述的时间相关的传感器数据和其他信息。可以向人工审查方提供该时间相关的信息以辅助审查方将由激光雷达和雷达扫描所检测的特征与相关联的相机图像中所示出的物理特征相关联。
传感器系统120可以包括一个或多个交通工具传感器121。(多个)交通工具传感器121可以检测、确定和/或感测关于交通工具100本身和/或交通工具内部的任何乘员的信息。(多个)交通工具传感器121可以包括被配置为检测交通工具内部或乘员室内部的条件和/或事件的传感器。在一个或多个布置中，(多个)交通工具传感器121可以被配置为诸如(例如)基于惯性加速度来检测和/或感测交通工具100的地点和定向变化。在一个或多个布置中，(多个)交通工具传感器121可以包括一个或多个加速度计、一个或多个陀螺仪、惯性测量单元(IMU)、航位推算系统、全球导航卫星系统(GNSS)、全球定位系统(GPS)、导航系统147和/或其他合适的传感器。(多个)交通工具传感器121可以被配置为检测和/或感测交通工具100的一个或多个特性，诸如交通工具的当前地理位置。在一个或多个布置中，(多个)交通工具传感器121可以包括速度计以确定交通工具100的当前速度和加速/减速。(多个)交通工具传感器121可以包括交通工具方向传感器(未示出)，该交通工具方向传感器被配置为确定交通工具的当前航向或交通工具所指向的方向。(多个)交通工具传感器121可以包括传感器，该传感器被配置为感测交通工具机械和电气组件和/或系统的方面，以辅助确定交通工具的机械条件以及交通工具的现有和/或潜在问题。
传感器系统120可以包括一个或多个环境传感器122，该环境传感器122被配置为获取交通工具100的外部环境的至少部分(例如，附近对象)的数据。环境传感器122可以检测关于交通工具所处的外部环境或其一个或多个部分的数据或信息。例如，环境传感器122可以被配置为检测、量化和/或感测交通工具100的外部环境的至少部分中的障碍物和/或关于这种障碍物的信息/数据。这种障碍物可以是静止对象和/或动态对象。一个或多个环境传感器122可以被配置为，检测、测量、量化和/或感测交通工具100的外部环境中的其他事物，诸如(例如)车道标记、标志、交通灯、交通标志、车道线、人行横道、交通工具100附近的路缘、越野对象、天气条件、其他交通工具等。作为示例，在一个或多个布置中，环境传感器122可以包括一个或多个雷达传感器109、一个或多个激光雷达传感器125、一个或多个相机126(包括审查支持相机148)和/或其他类型的传感器127。
环境传感器(诸如，(多个)激光雷达传感器125和(多个)雷达传感器109)可以操作以尝试检测和识别交通工具环境中的特征。雷达109、激光雷达125、(多个)相机126和/或其他传感器也可以用于监测交通工具100的环境中的特征的速度、加速度、地点和其他特性，诸如标牌、枝叶、其他交通工具、行人等。环境传感器122可以被配置为检测道路几何形状、道路等级/坡度、交通条件、其他交通工具的移动和特性以及其他外部事件和条件的方面。
在一个或多个布置中，环境传感器122可以被配置为(单独地或与导航系统147和传感器控制模块142协作)确定或获取与由传感器所检测的交通工具环境的特征相关的位置信息。该位置信息可以与传感器数据相关联，以使得能够在获取传感器数据时确定所扫描的特征相对于交通工具100的位置的位置。
“位置信息”可以是详细描述从激光雷达数据生成的特征、点云或激光雷达/雷达数据点的位置的信息，该信息足以使相机控制模块141(下面描述)能够将审查支持相机148引导和聚焦于位置或特征上。位置信息可以以呈空间坐标的形式或呈适合于本文中所描述的目的的任何其他形式。“空间坐标”是指表示交通工具环境的任何特征(包括如本文中所描述的交通工具环境的低识别置信度等级特征)的位置的数字或其他名称。可以使用提供低识别置信度等级特征的位置的空间坐标系，审查支持相机可以尝试出于图像捕获的目的而将相机聚焦于该位置上。
在相对于地球表面为静态的低识别置信度等级特征的情况下，空间坐标可以表示相对于参考系(例如，在地球表面上)的位置，该参考系可以被视为相对于移动的交通工具是固定的。在相对于地球表面移动的低识别置信度等级特征的情况下，空间坐标可以表示移动对象相对于交通工具本身的当前位置。空间坐标可以是笛卡尔坐标、极坐标、地理坐标和/或适合于指定交通工具环境地点的特征的一个或多个任何其他类型的坐标。可以由与交通工具导航系统147结合运行的(多个)处理器110和/或在已经依据相关坐标系确定了位置的特征之后使用地图数据189将空间坐标指派给所检测的特征。
审查支持相机148可以是被配置为捕获环境的特征的图像或拍摄环境的特征的相机。特征的“捕获图像”可以包括获取可以从中构建数字图像的数据。由审查支持相机的“拍摄”可以包括：通过使用相机(诸如，数码相机)来拍摄照片或获取可以构建照片(诸如，数码照片)的数据。
在一个或多个布置中，审查支持相机148可以是专用相机，其专门用于拍摄或捕获如本文中所描述的低置信度等级特征的图像，以用于支持与低置信度等级特征相关的信息的人工审查的目的。备选地，环境传感器的另一相机可以被重新分配任务，以根据需要并且如本文中所描述一般执行审查支持功能。在这种情况下，可以省略专用审查支持相机，并且对另一相机的控制可以从传感器控制模块142转移到相机控制模块141，以用于捕获可用于支持激光雷达/雷达扫描信息的人工审查的图像的目的。
审查支持相机148可以包括被配置为由相机控制模块141可控制的各种元素(下面更详细地描述)。审查支持相机148可以包括使得相机148的定向、视场和/或焦点可以出于本文中所描述的目的而进行调整所需的相机、任何相机配件、(多个)电动机、齿轮、机构和/或其他元素(未单独示出)。相机148还可以根据需要包括其他元素(未示出)。
相机148的视场可以是空间体积(相对于相机的当前位置)，相机镜头可以朝向该空间体积指向和聚焦以使得能够捕获位于空间体积内的特征的图像。然后，当控制相机148，以将特征包括在相机视场中时，由相机捕获的图像将包括该特征的图像。相机148也可以被引导和聚焦，使得其视场包括含有特征的空间坐标集，从而使得所捕获的图像——坐标也将示出该特征。
再次参考图1，传感器融合算法167可以是被配置为接受来自传感器系统120的数据作为输入的算法(或存储算法的计算设备)。例如，数据可以包括表示在传感器系统120的传感器处所感测的信息的数据。传感器融合算法167可以包括或被配置为使用例如卡尔曼滤波器、贝叶斯网络或其他算法来执行。传感器融合算法167可以基于来自传感器系统120的数据来提供各种评定。取决于实施例，评定可以包括对交通工具100的环境中的个体对象和/或特征的评估、对特定情况的评估和/或对基于特定情况的可能影响的评估。其他评定是可能的。因此，例如在一个或多个布置中，传感器融合可以用于尝试从最近所扫描的点云标识特征。
交通工具无线通信接口169可以被配置为，启用和/或促进交通工具的组件和系统与交通工具外部的实体(诸如，云设施、蜂窝和其他移动通信设备、其他交通工具、远程服务器、行人等)之间的通信。无线通信接口169可以被配置为，促进、建立、维持和结束与任何车外实体(例如，其他可连接配置的交通工具和所连接的交通工具、行人、位于云中的服务器和实体、边缘服务器以及其他信息源和实体)的无线V2V和V2X通信。信息(诸如，传感器数据、相机图像信息、激光雷达和雷达扫描信息以及其他类型的信息)可以经由通信接口169而被发送和接收。无线通信接口169可以包含与任何车外实体和/或网络通信所需的任何网络接口或与其通信。
交通工具100可以包括输入系统130。“输入系统”包括使信息/数据能够被键入机器中的任何设备、组件、系统、元素或布置或其组。例如，输入系统130可以包括键盘、触摸屏或其他交互式显示器、语音识别系统和/或促进用户与交通工具之间的通信的任何其他设备或系统。输入系统130可以接收来自交通工具乘员(例如，驾驶员或乘客)或远离交通工具100的用户的输入。交通工具100还可以包括输出系统135。“输出系统”包括使信息/数据可以被呈现给交通工具乘员(例如，驾驶员、交通工具乘客等)或远程用户的任何设备、组件或布置或其组。
交通工具100可以包括统称为140的一个或多个交通工具系统。交通工具系统140可以包括导航系统147。导航系统147可以包括现在已知或稍后开发的一个或多个设备、应用和/或其组合，它们被配置为确定针对交通工具100的地理位置和/或确定针对交通工具100的行驶路线。导航系统147可以包括一个或多个地图应用，以确定针对交通工具100的行驶路线。导航系统147可以包括全球定位系统、本地定位系统或地理定位系统。导航系统147可以被配置为，追踪交通工具沿着行驶路线的路径。导航系统147可以被配置为，与自主驾驶模块160结合运行，以沿着由用户选择的行驶路线来引导交通工具。导航系统147可以被配置为，与相机控制模块141结合运行以确定和更新与低识别置信度等级特征相关的位置信息，并且辅助在交通工具100的移动期间朝向低识别置信度等级特征引导和维持相机148的方向和焦点。
交通工具系统140还可以包括其他系统(统称为145)。例如，交通工具系统140可以包括推进系统、制动系统、转向系统、节流阀系统、悬架系统、变速器系统(图1中均未明确示出)。这些交通工具系统中的每个交通工具系统都可以包括现在已知或稍后开发的一个或多个设备、组件和/或其组合。
交通工具100可以包括一个或多个致动器150。致动器150可以是任何元素或元素组合，其可操作以修改、调整和/或更改交通工具系统140或其组件中的一个或多个以响应于从(多个)处理器110、存储在存储器112中的模块中的任何模块和/或任何其他交通工具组件或系统所接收的信号或其他输入。可以使用任何合适的致动器。例如，一个或多个致动器150可以包括电动机、气动致动器、液压活塞、继电器、螺线管和/或压电致动器，仅举几种可能性。
在本文中所描述的实施例中，存储器112可以存储自主驾驶模块160、传感器控制模块142、特征识别模块143和相机控制模块141。存储器112可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪速存储器或用于存储模块160、141、142和143的其他合适的存储器。例如，模块160、141、142和143是计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器110执行本文中所公开的各种功能。附加模块(未示出)也可以存储在存储器112中。
交通工具100可以包括一个或多个模块，在本文中描述了这些模块中的至少一些模块。模块可以被实现为计算机可读程序代码，该计算机可读程序代码在由(多个)处理器110执行时实现本文中所描述的各种过程中的一个或多个过程。模块中的一个或多个模块可以是(多个)处理器110的组件，或者模块中的一个或多个模块可以在(多个)处理器110可操作地连接到的其他处理系统上被执行和/或分布在这些处理系统之间。模块可以包括由一个或多个处理器110可执行的指令(例如，程序逻辑)。备选地或附加地，(多个)数据存储库115中的一个或多个数据存储库或交通工具100的另一部分可以含有这种指令。
通常，如本文中所使用的模块包括执行特定任务或实现特定数据类型的例程、程序、对象、组件、数据结构等。在其他方面中，存储器通常存储所提到的模块。与模块相关联的存储器可以是嵌入在处理器、RAM、ROM、闪速存储器或另一合适的电子存储介质内的缓冲器或高速缓存。在又一些方面中，如本公开所设想的模块被实现为专用集成电路(ASIC)、片上系统(SoC)的硬件组件、可编程逻辑阵列(PLA)或嵌入有所定义的配置集(例如，指令)的另一合适的硬件组件，以用于执行所公开的功能。
在一个或多个布置中，本文中所描述的模块中的一个或多个模块可以包括人工或计算智能元素，例如神经网络、模糊逻辑或其他机器学习算法。进一步地，在一个或多个布置中，模块中的一个或多个模块可以被分布在本文中所描述的多个模块之间。在一个或多个布置中，本文中所描述的模块中的两个或更多个模块可以被组合成单个模块。
交通工具100可以包括一个或多个自主驾驶模块160。(多个)自主驾驶模块160可以被配置为，从传感器系统120和/或能够捕获与交通工具100和/或交通工具100的外部环境相关的信息的任何其他类型的系统来接收数据。(多个)自主驾驶模块160可以确定交通工具100的位置和速度。(多个)自主驾驶模块160可以确定障碍物的位置、障碍物或其他环境特征，包括交通标志、树木、灌木、邻近交通工具、行人等。(多个)自主驾驶模块160可以被配置为接收和/或确定针对交通工具100的外部环境内的障碍物的位置信息用于(多个)处理器110和/或本文中所描述的模块中的一个或多个模块用于估计交通工具100的位置和定向、基于来自多个卫星的信号在全球坐标中的交通工具位置或任何其他数据和/或信号，该任何其他数据和/或信号可以用于确定交通工具100的当前状态或确定交通工具100相对于其环境的地点，以用于创建地图或确定交通工具100相对于地图数据的地点。
(多个)自主驾驶模块160可以被配置为，基于由传感器系统120获取的数据和/或从导航系统(诸如，导航系统147)所接收的信息来确定(多条)行驶路径、交通工具100的当前自主驾驶操控、未来自主驾驶操控和/或对当前自主驾驶操控的修改。“驾驶操控”是指影响交通工具移动的一个或多个动作。驾驶操控的示例包括：加速、减速、制动、转弯、在交通工具100的横向方向上移动、改变行驶车道、并入行驶车道中和/或倒车，仅举几种可能性。(多个)自主驾驶模块160可以被配置为实现所确定的驾驶操控。(多个)自主驾驶模块160可以直接或间接地使这种自主驾驶操控被实现。如本文中所使用，“使(cause/causing)”是指使得、迫使、促使、引导、命令、指示事件或动作和/或使事件或动作能够发生或至少处于可以以直接或间接的方式发生这种事件或动作的状态。
(多个)自主驾驶模块160可以被配置为，执行各种交通工具功能和/或将数据发送给交通工具100或其一个或多个系统(例如，交通工具系统140中的一个或多个交通工具系统)，从该交通工具100或其一个或多个系统接收数据、与该交通工具100或其一个或多个系统交互和/或控制该交通工具100或其一个或多个系统。(多个)自主驾驶模块160可以被配置为，自主地控制用户交通工具，以便沿着从初始或开始位置到目的地的行驶路线驾驶交通工具。
(多个)处理器110、自主驾驶模块160、相机控制模块141和/或本文中所描述的其他模块可以可操作地连接以彼此通信并且与交通工具的其他元素(包括各种交通工具系统140和/或其单独组件)通信。例如，参考图1，(多个)处理器110和(多个)自主驾驶模块160可以通信以从各种交通工具系统140发送和/或接收信息来控制交通工具100的移动、速度、操控、航向、方向等。(多个)处理器110、(多个)自主驾驶模块160和/或交通工具的其他元素可以控制一些或所有交通工具系统140，因此可以是部分或完全自主的。
(多个)处理器110、(多个)自主驾驶模块160和导航系统147可以可操作以通过控制交通工具系统140和/或其组件中的一个或多个来控制交通工具100的导航和/或操控。例如，当(多个)处理器110和/或(多个)自主驾驶模块160在自主模式下运行时，(多个)处理器110和/或(多个)自主驾驶模块160可以控制交通工具100的方向和/或速度。(多个)处理器和/或(多个)自主驾驶模块160可以使交通工具100加速(例如，通过增加向引擎提供的燃料供应)、减速(例如，通过减少向引擎提供的燃料供应和/或通过应用制动)和/或改变方向(例如，通过转动前两个车轮)。
交通工具100可以包括传感器控制模块142。传感器控制模块142可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器控制交通工具传感器121和/或环境传感器122的操作。例如，传感器控制模块142可以被配置为，控制一个或多个传感器的操作，以改变传感器扫描速率、改变扫描或可视角度和根据现有条件和检测要求来控制其他传感器操作参数。备选地，交通工具传感器121和/或环境传感器122中的一个或多个传感器可以通过在其中包含独立处理器和/或存储器而被配置为用于自动控制或内部控制，从而消除了对(多个)相关传感器的单独控制器的需要。
在一个或多个特定布置中，传感器控制模块142可以被配置为控制环境传感器122中除了审查支持相机148之外的一个或多个环境传感器的操作，其操作可以由相机控制模块141控制。在其他特定布置中，如本文中所描述的相机控制模块141的控制功能可以并入传感器控制模块142中(并且由传感器控制模块142执行)。
交通工具100可以包括特征识别模块143。特征识别模块143可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器处理从环境的激光雷达和/或雷达扫描获取和/或生成的激光雷达和雷达扫描数据和/或其他信息，以尝试识别或标识由数据和/或其他信息表示的交通工具环境的特征。
产生的特征标识随后可以被传送给人类驾驶员以辅助驾驶员做出决策。产生的特征标识也可以由其他模块和/或其他交通工具系统使用或进一步处理用于做出自主决策。
交通工具环境可以包括在交通工具内部空间外部并且与交通工具100分开的任何事物。交通工具环境的特征可以是位于交通工具环境中的离散对象或离散对象的部分。特征可以或可以不通过由特征识别模块143处理激光雷达和/或雷达扫描数据来标识或识别。在从激光雷达扫描接收到数据后，特征识别模块143(或另一模块)可以与(多个)处理器110协作地处理激光雷达和/或雷达数据以生成包括所扫描的特征的表示的一个或多个点云。特征识别模块143然后可以与(多个)处理器110协作地执行特征识别例程，该特征识别例程涉及标识或识别由点云表示的特征。产生的特征标识随后可以被传送给人类驾驶员以辅助驾驶员做出决策。所产生的特征标识也可以由其他模块和/或其他交通工具系统使用或进一步处理用于做出自主决策。例如，特征识别模块143可以被配置为将从激光雷达和/或雷达扫描数据生成的点云与点云和/或表示已知特征的其他信息执行比较，该已知特征可以存在于交通工具环境中。关于已知特征的信息可以存储在存储器(诸如，被配置为特征识别模块143可访问的激光雷达扫描信息118、雷达扫描信息123和/或另一存储器)中。
特征识别模块143可以包括计算机可读指令，该计算机可读指令在由(多个)处理器执行时使(多个)处理器与环境传感器122和导航系统147协作，以确定与由特征识别模块标识的环境的特征相关的位置信息。可以使用存储在激光雷达扫描信息118和/或雷达扫描信息123中的、并且在激光雷达和/或雷达扫描期间所获取的位置信息来确定特征位置。传感器扫描速率可以高到足以使得特定特征一旦被标识就可以针对其位置、识别置信度等级和其他相关联的特性的变化而被可靠地追踪和监测，并且使得可以更新存储在存储器中的特征信息。
特征识别模块143可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器计算由特征识别模块143生成的针对特征标识的识别置信度等级。识别置信度等级可以与特征标识相关联地存储在存储器中。
由激光雷达扫描所检测的一些特征可能不容易被特征识别模块143标识，这是由于相对于交通工具100的扫描特征的角度，因为表示特征的点云与存储在存储器中用于执行比较的点云不够类似，因为扫描被部分阻碍和/或由于其他原因。因此，由特征识别模块143生成的特征标识可以具有与其相关联的不同程度的确定性。因此，特征识别模块143可以被配置为计算要与每个特征的标识相关联的置信度等级(CL)。置信度等级可以是由特征识别模块143对特征的标识正确的置信度或确定性的测量。例如，在特征位于不寻常的可视角度(由于大风或对被扫描的特征的损坏)时审查从所获取的数据生成的点云可以导致与将在理想的传感器扫描条件下审查相同特征相比，基于特征的计算机所生成的识别的相对较低的所计算的置信度等级。
“识别置信度等级”或“置信度等级”是交通工具环境的特征的计算机所生成的识别中的置信度等级的数字或其他指示符。识别置信度等级的指示符可以是由处理器确定并且设计为用于与数字预定特征识别置信度等级阈值进行比较的数字指示符。特征识别模块可以被配置为将识别置信度等级(CL)指派给由激光雷达或雷达扫描所检测的特征的计算机生成的标识。“低识别置信度等级”是指低于预定阈值的识别置信度等级。“低识别置信度等级特征”是识别置信度等级低于预定阈值的环境的特征。
出于本文中所描述的目的，识别置信度等级可以基于任何多个标准。例如，在一个或多个布置中，随着从交通工具到扫描特征的距离减小和/或随着传感器扫描波的一部分与特征接触的角度在交通工具移动期间发生变化，置信度等级可以至少部分地基于从在交通工具移动期间所进行的一系列连续激光雷达/雷达扫描导出的信息与一个或多个参考点云之间的比较来计算。该“扫描角度”可以与在从移动交通工具的视角查看时特征在视觉上呈现的方式相关联。如果比较表明随着交通工具移动，扫描特征与由参考点云表示的特征越来越类似，那么可以计算相对较高的置信度等级并且将其指派给特征标识。可以在配置为计算要与特征标识相关联的置信度等级的算法中采用任何各种附加或备选标准。
特征识别模块143可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器将特征标识的置信度等级与预定阈值执行比较。如果给定特征标识的置信度等级高于阈值，那么由特征识别模块确定的特征标识可以由交通工具系统用于执行进一步计算和功能。然而，如果给定特征标识的置信度等级处于或低于阈值，那么可以如本文中所描述的一般捕获低置信度等级特征的图像，用于人工审查方审查。
特征识别模块143可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器存储与所标识的特征相关的位置信息、相关联的置信度等级、关于特征分类的信息(例如，“枝叶”)和与所检测的环境特征的扫描相关的其他信息。例如，这种信息可以存储在存储器(诸如，激光雷达扫描信息118(针对与激光雷达扫描相关的信息))中。
特征识别模块143可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器(在存储器中)基于特征信息来更新最新激光雷达/雷达扫描。这种所更新的特征信息可以包括经过修订的识别置信度等级、所更新的特征位置信息、表示特征的所更新的点云信息和与特征相关的任何其他信息。在一个或多个布置中，可以在正在存储信息的存储器中(例如，在激光雷达扫描信息118中)更新这种信息。
交通工具100可以包括相机控制模块141。相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器将与特征相关联的识别置信度等级与预定阈值执行比较，并且响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机的操作，以在交通工具的移动期间捕获特征的至少一个图像。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器控制审查支持相机148的操作，以与激光雷达传感器125的操作同时地捕获交通工具环境的特征的图像。相机控制模块还可以包括计算机可读指令，该计算机可读指令在由处理器执行时使处理器控制交通工具相机的操作，以与雷达传感器109的操作同时地捕获特征的图像。审查支持相机148以及雷达和激光雷达传感器的这些同时操作使得由这些传感器获取的信息能够是时间相关的和相关联的。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器控制所有审查支持相机操作，包括响应于交通工具移动方向和速度的移动、指向、聚焦和图像捕获；与要成像的环境的低识别置信度等级特征相关的位置信息和其他相关信息。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器将激光雷达数据和/或雷达数据(即，由激光雷达和雷达传感器在扫描期间所获取的数据)与由相机148捕获的特征的至少一个同时发生的图像(即，在由激光雷达扫描和/或雷达扫描获取激光雷达/雷达扫描数据的同时捕获的图像)时间相关，反之亦然。该时间相关性可以用于将激光雷达和雷达扫描与同时发生的捕获的图像相关联，用于人工审查。因此，例如，由审查支持相机148在交通工具旅行期间于下午2:05捕获的相机图像可以被链接到由激光雷达传感器125在旅行期间于下午2:05执行的激光雷达扫描，以促进激光雷达数据和相关联的相机图像的人工审查。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器执行时使(多个)处理器将激光雷达数据与由交通工具相机捕获的特征的至少一个同时发生的图像时间相关。
相机控制模块还可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器将雷达数据与由相机捕获的特征的至少一个同时发生的图像时间相关。
相机图像可以与同时发生的获取的激光雷达扫描数据和/或雷达扫描数据时间相关(例如，相机图像可以在时间上被链接到与激光雷达和/或雷达数据同时所获取的激光雷达和/或雷达数据)。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器与导航系统147协作，以在交通工具100的移动期间“追踪”或保持聚焦于特征或地理或空间位置。操作相机148以便维持对特征或区域的聚焦的能力可以取决于相机148可以旋转、移位、升高和降低的程度和/或镜头可以指向的程度和其可以重新聚焦的程度等。需要在交通工具100正在移动时将交通工具环境的特征维持在相机148的当前视场中，以在交通工具正在移动时启用特征的图像的高频获取。
在一个或多个布置中，出于访问控制审查支持相机148的操作所需的特征信息的目的，相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器访问存储器(例如，激光雷达扫描信息118或雷达扫描信息123)，其中针对特征位置信息、置信度等级和其他信息而存储特征信息。访问与低置信度等级特征相关的位置信息可以使相机控制模块141能够控制相机148通过将相机聚焦于特征上或者特征所处的位置上来捕获特征的图像。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器周期性地访问或响应于激光雷达/雷达扫描信息中的更新而访问所更新的特征信息，该所更新的特征信息与先前被确定为低置信度等级特征的特征相关并且当前选择为用于由相机148执行图像捕获。可以这样做以确定与特征相关的置信度等级是否已经在传感器扫描之间发生了变化。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器将与特征相关联的当前识别置信度等级(即，使用来自最新传感器扫描的数据所确定的置信度等级)与预定阈值执行比较。通过将当前识别置信度等级与预定阈值执行比较，这种比较可以使相机控制模块141能够基于对最新雷达/激光雷达扫描数据的解释(例如，由于因交通工具的移动而引起的传感器的扫描角度的变化)来确定置信度等级是否已经上升到高于预定阈值。基于该比较，相机控制模块141可以控制相机148以停止尝试捕获特征的图像(如果识别置信度等级处于或高于阈值)，或继续尝试捕获特征的图像(如果相机当前正在尝试捕获特征的图像，那么与该特征相关联的当前识别置信度等级是低的，并且最新的先前所确定的识别置信度等级也是低的)。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器响应于识别置信度等级低于预定阈值并且使用与特征相关联的位置信息，控制相机148的操作，以在交通工具100的移动期间捕获特征的至少一个图像。因此，当与特征相关联的置信度等级首先被确定为低于阈值时，相机控制模块141可以控制审查支持相机148，以开始捕获特征的图像。此外，只要与特征相关联的置信度等级继续低于阈值，相机控制模块141就可以控制审查支持相机148继续尝试捕获特征的图像。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器响应于识别置信度等级处于或高于预定阈值，控制相机148的操作，以停止尝试捕获特征的图像。因此，当特征识别模块143已经将特征识别到足够的置信度等级时，可能不再需要特征的人工审查，并且可以控制审查支持相机148以停止捕获特征的图像。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器在相机148已经捕获到特征的至少一个图像之后确定特征当前是否处于相机排除位置，并且响应于特征处于相机排除位置，控制相机148的操作，以停止尝试捕获特征的图像。
当低识别置信度等级特征不再处于相对于交通工具100的位置中时，可以将低识别置信度等级特征确定为位于“相机排除位置”，使得可以控制相机148，以将特征包括在相机的视场中(即，相机148不再能够被旋转、升高、降低、平移或以其他方式控制以将特征带入其视场中)。
相机控制模块141可以包括计算机可读指令，该计算机可读指令在由(多个)处理器110执行时使(多个)处理器在交通工具相机148已经拍摄了特征的至少一张照片之后，响应于特征处于相机排除区，控制交通工具100的操作以向车外实体发送特征信息用于人工审查。在一个或多个布置中，车外实体可以是人工审查设施196(图1)。人工审查设施196可以包括人工审查管理方195，该人工审查管理方195被配置为分配或指派从各种交通工具接收到的特征信息用于人工审查方HR1、HR2、HR3等进行人工审查。在特定布置中，只要由相机148进行的所尝试的图像捕获被停止，特征信息就可以被实时转发给人工审查设施196。这使能够快速审查低识别置信度水平特征的特征信息和分类。
在特定布置中，特征信息可以包括表示低置信度等级特征的点云数据和由相机148捕获的特征的一个或多个时间相关的图像。人工审查设施196可以具有处理点云数据以生成由点云表示的特征的二维或三维图形表示所需的硬件和软件，用于由人工审查方与一个或多个相关联的相机图像进行比较。
在一个或多个布置中，在已经由人工审查方对低识别置信度等级特征执行分类之后，标识、与特征相关联的(多个)点云和其他相关信息可以被转发给服务器设施或其他实体197，其中新特征信息可以并入特征标识系统(未示出)中，该特征标识系统被配置为促进点云信息的分析和标识。特征标识系统可以包括参考已知点云，以用于与由其他交通工具198、199获取的激光雷达和雷达扫描数据进行比较，该交通工具198、199将特征标识系统用作已知参考点云源。其他交通工具198、199然后可以访问新特征信息，以用于与从由这些交通工具执行的激光雷达和雷达扫描生成的点云进行比较。新特征信息可以被存储在服务器设施197中用于其他交通工具198、199根据需要进行远程访问，或可以将新特征信息传播给交通工具198、199以根据需要执行本地使用。
图2是图示了根据本文中所描述的实施例的相机控制系统的操作的流程图。图3是在相机控制系统的操作期间沿着道路153在方向S1上移动的交通工具100的示意性平面图。图3示出了交通工具100在其沿着道路153(图3)从地点“A”移动到地点“D”时的进展。尽管将依据扩增由激光雷达传感器125获取的数据来描述审查支持相机控制系统的操作，但将理解，以下描述也可以适用于与由雷达传感器或任何其他传感器获取的数据一起使用，该雷达传感器或任何其他传感器获取点云数据或其他数据，可以处理这些数据以标识或识别交通工具环境中的特征。
在沿着道路153(图3)移动期间，传感器控制模块142可以控制环境传感器122的操作以调查交通工具环境，以用于进行可能的威胁检测，从而确定交通工具相对于环境中的特征的地点的目的和其他目的。交通工具环境可以包括由激光雷达扫描可检测的各种特征，例如交通标志或灯、枝叶、行人、其他交通工具等。沿着交通工具100的路径可以是从道路153的边缘153a倒退的未经识别或低识别置信度等级特征99。当交通工具100处于地点“A”中时，特征可以由激光雷达扫描的部分125a检测。
参考图2和图3，在地点“A”中，传感器控制模块142可以(在图2的框302中)控制激光雷达传感器125的操作，以扫描交通工具环境。特征99可以由激光雷达扫描的部分125a检测。交通工具环境的激光雷达扫描可以以预定扫描速率而进行。
在从激光雷达扫描接收到数据后，特征识别模块143(或另一模块)可以与(多个)处理器110协作地处理激光雷达数据，以生成包括所扫描的特征的表示的一个或多个点云。特征识别模块143然后可以(在框304中)执行涉及标识所检测的特征(包括特征99)的例程。特征识别模块143然后可以计算针对特征标识的识别置信度等级，包括针对特征99的标识的置信度等级。特征识别模块143然后可以(在框306中)将与所有所检测的特征(包括特征99)相关的特征信息存储在存储器(诸如，激光雷达扫描信息118)中。
当交通工具100仍然处于地点“A”中(或处于移动交通工具中间端“A”和地点“B”的地点中)时，相机控制模块141可以(在框307中)访问存储器中的所存储的特征信息，以确定任何所检测的特征的识别置信度等级是否低于预定阈值。在图2中所示出的示例中，特征99可以具有低于阈值的置信度等级。如果没有所存储的置信度等级低于预定阈值，那么控制可以回传到框302，在框302中，激光雷达传感器125可以继续扫描交通工具环境。然而，如果任何所存储的置信度等级低于预定阈值，那么相机控制模块141可以(在框308中)从存储器中访问位置信息，该位置信息描述低置信度等级特征的位置。因此，在示例中，相机控制模块141可以访问描述特征99的位置的位置信息。相机控制模块141然后可以(在框310中)确定低置信度等级特征99是否位于相机排除位置。
此时，交通工具100已经移动到地点“B”(图3)。如果低置信度等级特征99位于相机排除位置，那么相机148无法捕获特征的图像。在这种情况下，相机控制模块141可以(在框312中)不控制相机148以尝试捕获特征99的图像。然而，如果低置信度等级特征99不位于相机排除位置，那么相机控制模块141可以(在框314中)控制审查支持相机148的操作，以开始捕获特征99的图像。从相机148到特征99的视线在图3中被示出为148a。在相机148聚焦于特征99上之后，相机控制模块141还可以(在框314中)将特征99的任何所捕获的图像与在相机148开始捕获图像之后发生的同时发生的激光雷达扫描时间相关。同时，激光雷达扫描(框316)和特征标识/置信度等级确定(框318)的过程在特征99的图像被捕获的同时继续进行。一旦执行新扫描并且处理新扫描数据，与特征99相关的特征信息就也在激光雷达扫描信息118中被更新(框320)。
响应于每个特征信息更新，相机控制模块141可以(在框322中)访问与特征99相关联的置信度等级。相机控制模块然后可以(在框324中)确定低置信度等级特征99当前是否位于相对于交通工具100的相机排除位置。如果低置信度等级特征99不位于相机排除位置，那么相机控制模块141可以(在框326中)将所更新的置信度等级与预定阈值执行比较，以确定所更新的置信度等级是否仍然低于阈值。交通工具现在可以处于图2中的地点“C”中。如果所更新的置信度等级仍然低于阈值，那么控制可以回传到框314，在框314中，相机控制模块继续控制相机148以捕获特征99的图像。
只要与特征99相关联的置信度等级保持在阈值以下，并且只要特征99在相机148的视场内(即，只要该特征不处于相机排除位置)，相机控制模块141就可以如刚才所描述的一般继续控制相机148以捕获特征99的图像。
返回到框326(图2)，如果所更新的置信度等级仍未低于阈值，那么置信度等级已经上升到特征99可以被视为“已识别”或“已标识”的等级。控制然后可以传递到框328，在框328中，相机控制模块141可以控制相机148以停止尝试捕获特征99的图像。
返回到框324，如果低置信度等级特征99位于相机排除位置，那么相机148不再能够捕获特征的图像。在这种情况下，相机控制模块141可以(在框330中)控制相机148，以停止尝试捕获特征99的图像。图2示出了处于地点“D”中的交通工具100，其中特征99处于相机148不再可以聚焦于特征99上的排除位置中。然而，激光雷达传感器125仍然可以从地点“D”检测特征99(以及其他交通工具环境特征)。
此外，在框330处，因为与特征99相关联的置信度等级在图像捕获和更新特征信息期间从未达到处于阈值或高于阈值的等级，所以特征99保持被分类为“未经标识”。因此，在框330之后，相机控制模块141可以(在框332中)执行最终检查，以确定特征99的任何图像到那时为止是否已经被捕获。如果尚未捕获到图像，那么将不存在要转发给人工审查方的相机图像，并且图像捕获例程可以在框334处结束。然而，如果已经捕获到低置信度等级特征99的图像，那么相机控制模块141可以(在框336中)控制交通工具100的操作，以发送与特征99相关的特征信息以用于人工审查。
在本文中所描述的实施例中，人工审查方可以将激光雷达/雷达信息与在激光雷达/雷达信息中所表示的实际特征的相关联的相机图像(实时地)进行比较和相关。其标识正在由人类审查的特征的相机图像的提供可以启用特征的更快速和准确的标识，并且因此实现点云与其表示的物理对象之间的更准确的相关性。此外，当激光雷达/雷达信息被分类或与实际已知特征相关联时，与特征相关的新获取的激光雷达/雷达信息可以被添加到与特征相关联的已知激光雷达/雷达信息的目录中，从而扩展由计算系统用于与新获取的激光雷达/雷达信息进行比较的资源数据库。这可以使用与已知激光雷达/雷达信息的源相同的数据库进行比较来促进该特征或其他交通工具中的类似特征的未来识别。
在本文中公开了详细实施例。然而，将理解，所公开的实施例仅旨在作为示例。因此，本文中所公开的具体结构和功能细节不应被解释为限制性的，而是仅仅作为权利要求书的基础和作为用于教导本领域的技术人员利用几乎任何适当详细的结构来以不同方式采用本文中的方面的代表性基础。进一步地，本文中所使用的术语和短语并不旨在作为限制，而是提供对可能实施方式的可理解的描述。在图1到图4B中示出了各种实施例，但实施例不限于所图示的结构或应用。
图中的流程图和框图图示了根据各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。就此而言，流程图或框图中的每个框可以表示代码的模块、段或部分，这些模块、段或部分包括用于实现(多个)指定逻辑功能的一个或多个可执行指令。还应注意，在一些备选实现中，框中所提到的功能可以不按图中所提到的顺序发生。例如，实际上，连续地示出的两个框可以大体上同时执行，或这些框有时可以按相反顺序执行，这取决于所涉及的功能性。
上述系统、组件和/或过程可以在硬件或硬件与软件的组合中实现，并且可以在一个处理系统中以集中方式实现，或以不同元素分散在若干互连处理系统中的分布式方式实现。适用于实施本文中所描述的方法的任何种类的处理系统或另一装置都是合适的。硬件与软件的典型组合可以是具有计算机可用程序代码的处理系统，该计算机可用程序代码在被加载和执行时控制处理系统，使得其实现本文中所描述的方法。系统、组件和/或过程还可以嵌入计算机可读存储装置(诸如，计算机程序产品或其他数据程序存储设备)中，该计算机可读存储装置由机器可读、有形地具化由机器可执行的指令程序以执行本文中所描述的方法和过程。这些元素还可以嵌入应用产品中，该应用产品包括使得可以实现本文中所描述的方法的所有特征并且在被加载到处理系统中时能够实现这些方法。
此外，本文中所描述的布置可以采取具化在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质在其上具化(例如，存储)有计算机可读程序代码。可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。短语“计算机可读存储介质”是指非瞬态存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下项：便携式计算机磁盘、硬盘驱动器(HDD)、固态驱动器(SSD)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、光学存储设备，磁性存储设备或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是任何有形介质，该有形介质可以包含或存储用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
具化在计算机可读介质上的程序代码可以使用任何适当的介质来传输，该介质包括但不限于无线、有线、光纤、电缆、RF等或前述的任何合适的组合。可以利用一个或多个编程语言(包括面向对象的编程语言(诸如，JavaTM、Smalltalk、C++等)和常规过程编程语言(诸如，“C”编程语言或类似编程语言))的任何组合来编写用于实现本布置的方面的操作的计算机程序代码。程序代码可以完全在用户的计算机上、部分在用户的计算机上、作为独立式软件封装、部分在用户的计算机上并且部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))而被连接到用户的计算机，或可以与外部计算机(例如，通过使用互联网服务提供方的互联网)形成连接。
如本文中所使用，术语“一”或“一个”被限定为一个或一个以上。如本文中所使用，术语“多个”被限定为两个或两个以上。如本文中所使用，术语“另一”被限定为至少第二个或更多个。如本文中所使用，术语“包括”和/或“具有”被限定为包含(即，开放式语言)。如本文中所使用的短语“……和……中的至少一个”是指并且涵盖相关联的所列出的项中的一个或多个相关联的所列出的项的任何和所有可能的组合。作为示例，短语“A、B和C中的至少一个”包括仅A、仅B、仅C或其任何组合(例如AB、AC、BC或ABC)。
本文中的方面可以在不脱离其精神和本质属性的情况下以其他形式具化。因此，应参考以下权利要求，而非前述说明书，如指示其范围。

Claims (20)

1.一种用于控制被安装在交通工具(100)上的相机(126、148)的操作的相机控制系统，所述系统包括：
处理器(110)；以及
存储器(115)，被通信地耦合到所述处理器(110)并且存储相机控制模块(141)，所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)：
将与所述交通工具(100)的环境中的特征相关联的识别置信度等级与预定阈值进行比较；以及
响应于所述识别置信度等级低于所述预定阈值并且使用与所述特征相关联的位置信息，控制所述相机(126、148)的操作以在所述交通工具(100)的移动期间捕获所述特征的至少一个图像。
2.根据权利要求1所述的相机控制系统，其中
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)响应于所述识别置信度等级处于或高于所述预定阈值，控制所述相机(126、148)的操作以停止尝试捕获所述特征的图像。
3.根据权利要求1所述的相机控制系统，其中
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)：
在所述相机(126、148)已经捕获到所述特征的至少一个图像之后，确定所述特征当前是否处于相机排除位置位置；以及
响应于所述特征处于相机排除位置，控制所述相机(126、148)的操作以停止尝试捕获所述特征的图像。
4.根据权利要求3所述的相机控制系统，其中
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)：在所述相机(126、148)已经捕获到所述特征的至少一个图像之后响应于所述特征处于相机排除位置，控制所述交通工具(100)的操作以将与所述特征相关的特征信息发送给车外实体以用于人工审查。
5.根据权利要求4所述的相机控制系统，其中
所述特征信息包括表示所述特征的点云数据以及由所述相机(126、148)捕获的、并且与所述点云数据时间相关的所述特征的一个或多个图像。
6.根据权利要求1至5中任一项所述的相机控制系统，其中
所述交通工具(100)包括激光雷达传感器(125)，所述激光雷达传感器(125)能够操作以尝试检测所述交通工具环境中的所述特征，以及
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)控制所述相机(126、148)的操作，以与所述激光雷达传感器(125)的操作同时地捕获所述特征的一个或多个图像。
7.根据权利要求6所述的相机控制系统，其中
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)：将激光雷达数据与由所述相机(126、148)捕获的所述特征的至少一个同时发生的图像时间相关。
8.根据权利要求1至5中任一项所述的相机控制系统，其中
所述交通工具(100)包括雷达传感器(109)，所述雷达传感器(109)能够操作以尝试检测所述交通工具环境中的所述特征，以及
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)控制所述相机(126、148)的操作，以与所述雷达传感器(109)的操作同时地捕获所述特征的图像。
9.根据权利要求8所述的相机控制系统，其中
所述相机控制模块(141)包括计算机可读指令，所述计算机可读指令在由所述处理器(110)执行时使所述处理器(110)：将雷达数据与由所述相机(126、148)捕获的所述特征的至少一个同时发生的图像时间相关。
10.一种用于控制被安装在交通工具(100)上的相机(126、148)的操作的计算机实现的方法，所述方法包括步骤：
将与特征相关联的识别置信度等级与预定阈值进行比较；以及
响应于所述识别置信度等级低于所述预定阈值并且使用与所述特征相关联的位置信息，控制所述相机(126、148)的操作以在所述交通工具(100)的移动期间捕获所述特征的至少一个图像。
11.根据权利要求10所述的方法，还包括步骤：
响应于所述识别置信度等级处于或高于所述预定阈值，控制所述相机(126、148)的操作以停止尝试捕获所述特征的图像。
12.根据权利要求10所述的方法，还包括步骤：
在所述相机(126、148)已经捕获到所述特征的至少一个图像之后，确定所述特征当前是否处于相机排除位置；以及
响应于所述特征处于相机排除位置，控制所述相机(126、148)的操作以停止尝试捕获所述特征的图像。
13.根据权利要求12所述的方法，还包括步骤：在所述相机(126、148)已经捕获到所述特征的至少一个图像之后响应于所述特征处于相机排除位置，控制所述交通工具(100)的操作以将与所述特征相关的特征信息发送给车外实体以用于人工审查。
14.根据权利要求13所述的方法，其中：
所述特征信息包括表示所述特征的点云数据和由所述相机(126、148)捕获的、并且与所述点云数据时间相关的所述特征的一个或多个图像。
15.根据权利要求10至14中任一项所述的方法，其中
所述交通工具(100)包括激光雷达传感器(125)，所述激光雷达传感器(125)能够操作以尝试检测所述交通工具环境中的所述特征，以及
所述方法还包括步骤：控制所述相机(126、148)的操作，以与所述激光雷达传感器(125)的操作同时地捕获所述特征的一个或多个图像。
16.根据权利要求15所述的方法，还包括步骤：
将激光雷达数据与由所述相机(126、148)捕获的所述特征的至少一个同时发生的图像时间相关。
17.根据权利要求10至14中任一项所述的方法，其中
所述交通工具(100)包括雷达传感器(109)，所述雷达传感器(109)能够操作以尝试检测所述交通工具环境中的所述特征，以及
所述方法还包括步骤：与所述雷达传感器(109)的操作同时地捕获所述特征的图像。
18.根据权利要求17所述的方法，还包括步骤：
将雷达数据与由所述相机(126、148)捕获的所述特征的至少一个同时发生的图像时间相关。
19.一种非瞬态计算机可读介质，用于控制被安装在交通工具(100)上的相机(126、148)的操作，所述介质在其中存储有指令，所述指令在由计算系统执行时使所述计算系统执行功能，所述功能包括：
将与特征相关联的识别置信度等级与预定阈值进行比较；以及
响应于所述识别置信度等级低于所述预定阈值并且使用与所述特征相关联的位置信息，控制所述相机(126、148)的操作以在所述交通工具(100)的移动期间捕获所述特征的至少一个图像。
20.根据权利要求19所述的非瞬态计算机可读介质，还包括步骤：
在所述相机(126、148)已经捕获到所述特征的至少一个图像之后，确定所述特征当前是否处于相机排除位置；以及
响应于所述特征处于相机排除位置，控制所述相机(126、148)的操作以停止尝试捕获所述特征的图像。
CN202210283900.6A 2021-03-24 2022-03-21 用于控制支持传感器信息的人工审查的相机的系统 Pending CN115209041A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163165240P 2021-03-24 2021-03-24
US63/165,240 2021-03-24
US17/500,059 2021-10-13
US17/500,059 US11763569B2 (en) 2021-03-24 2021-10-13 System for controlling a camera supporting human review of sensor information

Publications (1)

Publication Number Publication Date
CN115209041A true CN115209041A (zh) 2022-10-18

Family

ID=83192917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283900.6A Pending CN115209041A (zh) 2021-03-24 2022-03-21 用于控制支持传感器信息的人工审查的相机的系统

Country Status (4)

Country Link
US (1) US11763569B2 (zh)
JP (1) JP7294476B2 (zh)
CN (1) CN115209041A (zh)
DE (1) DE102022106248A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180025636A1 (en) * 2016-05-09 2018-01-25 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US20190316915A1 (en) * 2016-06-10 2019-10-17 Pioneer Corporation Information processing device, measurement device and control method
US20200018852A1 (en) * 2018-07-12 2020-01-16 Toyota Research Institute, Inc. System and method for calibrating a lidar and a camera together using semantic segmentation
CN110895147A (zh) * 2018-08-24 2020-03-20 百度（美国）有限责任公司 自动驾驶车辆的用相机捕获图像数据的图像数据获取逻辑
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
US9165468B2 (en) * 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
US9711182B2 (en) 2011-06-07 2017-07-18 In Situ Media Corporation System and method for identifying and altering images in a digital video
US20140263143A1 (en) 2013-03-15 2014-09-18 The Carpenter Group Articulated Arm Lifting System
US9665595B2 (en) 2013-05-01 2017-05-30 Cloudsight, Inc. Image processing client
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
WO2019188391A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 制御装置、制御方法、並びにプログラム
CN109800805A (zh) 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理系统以及计算机设备
CN110789533B (zh) * 2019-09-25 2021-08-13 华为技术有限公司 一种数据呈现的方法及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180025636A1 (en) * 2016-05-09 2018-01-25 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
US20190316915A1 (en) * 2016-06-10 2019-10-17 Pioneer Corporation Information processing device, measurement device and control method
US20200018852A1 (en) * 2018-07-12 2020-01-16 Toyota Research Institute, Inc. System and method for calibrating a lidar and a camera together using semantic segmentation
CN110895147A (zh) * 2018-08-24 2020-03-20 百度（美国）有限责任公司 自动驾驶车辆的用相机捕获图像数据的图像数据获取逻辑
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor

Also Published As

Publication number Publication date
US20220311932A1 (en) 2022-09-29
US11763569B2 (en) 2023-09-19
DE102022106248A1 (de) 2022-09-29
JP7294476B2 (ja) 2023-06-20
JP2022151680A (ja) 2022-10-07

Similar Documents

Publication Publication Date Title
US10788585B2 (en) System and method for object detection using a probabilistic observation model
US10471955B2 (en) Stop sign and traffic light alert
CN106485198B (zh) 使用全光摄像机自主代客停车的系统和方法
US11815897B2 (en) Method and system for generating an importance occupancy grid map
US11216000B2 (en) System and method for estimating lane prediction errors for lane segments
US10657811B2 (en) Travel lane identification without road curvature data
US10846818B2 (en) Systems and methods for registering 3D data with 2D image data
US11250576B2 (en) Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
US10699565B2 (en) Systems and methods for inferring lane obstructions
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US10928819B2 (en) Method and apparatus for comparing relevant information between sensor measurements
CN111351493A (zh) 一种定位方法和系统
US11183061B2 (en) Parking monitoring for wait time prediction
US10710599B2 (en) System and method for online probabilistic change detection in feature-based maps
US10546499B2 (en) Systems and methods for notifying an occupant of a cause for a deviation in a vehicle
US11222215B1 (en) Identifying a specific object in a two-dimensional image of objects
US11417188B2 (en) Control of vehicle status display for occupant threat reduction
US11200679B1 (en) System and method for generating a probability distribution of a location of an object
CN112937582A (zh) 改进车道改变检测的系统、非暂态计算机可读介质和方法
JP6895745B2 (ja) 無人移動体及び無人移動体の制御方法
US11763569B2 (en) System for controlling a camera supporting human review of sensor information
Elfring et al. Vehicle localization using a traffic sign map
US11238292B2 (en) Systems and methods for determining the direction of an object in an image
US20230349716A1 (en) Systems and methods for simulating change detection data
US20230350034A1 (en) System and method for adjusting bounding box dimensions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination