CN115244427A - 模拟激光雷达设备和系统 - Google Patents

模拟激光雷达设备和系统 Download PDF

Info

Publication number
CN115244427A
CN115244427A CN202180007192.7A CN202180007192A CN115244427A CN 115244427 A CN115244427 A CN 115244427A CN 202180007192 A CN202180007192 A CN 202180007192A CN 115244427 A CN115244427 A CN 115244427A
Authority
CN
China
Prior art keywords
vehicle
sensor
sensors
radar
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180007192.7A
Other languages
English (en)
Inventor
阿伦·Cs·库马尔
迪沙·阿胡贾
阿诗瓦特·艾塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weilai Automobile Technology Anhui Co Ltd
Original Assignee
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weilai Automobile Technology Anhui Co Ltd filed Critical Weilai Automobile Technology Anhui Co Ltd
Publication of CN115244427A publication Critical patent/CN115244427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/006—Simulators for teaching or training purposes for locating or ranging of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/54—Simulation of radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于使用雷达数据和图像数据来生成模拟激光雷达数据的系统和方法。使用诸如损失函数等深度学习技术来训练算法，以使用雷达数据和图像数据来生成模拟激光雷达数据。一旦经过训练，算法就可以在配备有雷达和图像传感器的诸如车辆等系统中实施，以便生成描述系统环境的模拟激光雷达数据。车辆控制系统可以使用该模拟激光雷达数据来确定、生成和实施修改驾驶操作。

Description

模拟激光雷达设备和系统
技术领域
本披露内容总体上涉及传感器系统、具体地涉及用于机动车辆的传感器系统。
背景技术
近年来，运输方法显著地变化。这种变化部分是由于考虑到自然资源的有限可用性、个人技术激增、以及对采用更环保的运输解决方案的社会转变。这些考虑鼓励了许多新型灵活燃料车辆、混合动力电动车辆和电动车辆的发展。
这些变化导致了自主车辆和半自主车辆的发展，这些车辆依靠各种传感器来收集关于车辆环境的数据以确定驾驶操作。例如，认识到的是需要创建车辆环境的详细视觉表示。在这种背景下，激光雷达已经成为更高自主车辆操作级别的最关键部件之一。对激光雷达传感器的需要对于准确估计环境的3D结构而言至关重要。虽然激光雷达点云相当稀疏，但对于大多数感知问题仍然是足够的。但激光雷达系统的主要挑战是制造成本过高，一般在几千美元到几万美元，从而大大增加了车辆的制造成本。另外，另一个挑战是大多数系统需要多于一个激光雷达系统来对3D场景进行全面建模，从而产生进一步的费用和复杂性。
用于获取3D信息的另一常见系统是雷达。与激光雷达不同，雷达点极为稀疏。然而，雷达系统的制造要便宜得多。此外，雷达技术的进步已经实现了更高点密度成像，这使得雷达成为激光雷达的虽然噪声更大但是更可负担的替代方案。与激光雷达相比，雷达的另一个关键优势是雷达系统的工作距离更长，并且雷达系统能够在低能见度条件下(诸如多云天气或夜间操作)更好地发挥作用。然而，仅雷达数据通常不足以生成自主车辆操作所需的高质量的3D图像类型。
因此，对于系统来说，使用较便宜的雷达设备来模拟高质量的激光雷达数据将是有利的。本披露涉及一种基于学习的架构，该架构学习以从传统图像数据(包括夜视相机数据)和雷达点云生成模拟激光雷达(伪激光雷达或仿激光雷达)数据。通过将富含文本信息和语义信息的图像与从雷达获取的稀疏且有噪声的3D场景结构相结合，可以训练深度学习算法以生成可以实时使用的模拟激光雷达数据。实质上，本披露涉及使用便宜得多的雷达和图像传感器来生成与使用昂贵的激光雷达设备生成的点云类似的点云。
已经尝试了各种技术来生成模拟激光雷达数据。这些技术包括在以下参考文献中描述的技术，这些参考文献并入本文：
[1]Wang,Yan,et al,“Pseudo-lidar from visual depth estimation:Bridgingthe gap in 3d object detection for autonomous driving[来自视觉深度估计的伪激光雷达：缩小用于自主驾驶的3D对象检测的差距]”,Proceedings of the IEEEConference on Computer Vision and Pattern Recognition[IEEE计算机视觉和模式识别会议论文集],2019。
[2]You,Yurong等人,“Pseudo-LiDAR++:Accurate Depth for 3D ObjectDetection in Autonomous Driving[伪激光雷达++：自主驾驶中3D对象检测的准确深度]”,arXiv preprint arXiv:1906.06310(2019)。
[3]Weng,Xinshuo和Kris Kitani,“Monocular 3D Object Detection withPseudo-LiDAR Point Cloud[使用伪激光雷达点云的单目3D对象检测]”,arXiv preprintarXiv:1903.09847(2019)。
[4]Zhou,Tinghui等人,“Unsupervised learning of depth and ego-motionfrom video[从视频无监督学习深度和自运动]”,Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition[IEEE计算机视觉和模式识别会议论文集],2017。
[5]Godard,Clément,Oisin Mac Aodha和Gabriel J.Brostow,“Unsupervisedmonocular depth estimation with left-right consistency[利用左右一致的无监督单目深度估计]”,Proceedings of the IEEE Conference on Computer Vision andPattern Recognition[IEEE计算机视觉和模式识别会议论文集],2017。
[6]“Pseudo-LiDAR from Visual Depth Estimation:Bridging the Gap in 3DObject Detection for Autonomous Driving[来自视觉深度估计的伪激光雷达：缩小用于自主驾驶的3D对象检测的差距]”,https://patrick-llgc.github.io/Learning-Deep- Learning/paper_notes/pseudo_lidar.html
例如，Wang和You试图使用立体图像或单目帧来计算深度图，Zhou和Godard使用相邻帧来教授类似的技术。在这些技术中，使用基于空间变换网络的架构来回归帧之间的变换，然后将该变换用来预测深度。大多数这种方法的目的是从图像(主要使用图像一致性或立体设置)来估计深度图(图像中每个像素的3D值)。随后，将深度图用于生成激光雷达点云。虽然Wang、You和Godard的伪激光雷达方法是合理的，但该方法有三个主要缺点。
首先，设置具有宽基线的立体相机(如Wang和You所使用的)在车辆上是非常有挑战性的，因为校准立体相机是很麻烦的，并且对于产品来说绝对不是有安全保障的。因此，大多数立体相机的设置需要自动校准模块和其他预防措施，以使系统有安全保障，而这较为繁琐。为此，大多数基于相机的自主解决方案提供商都避免使用立体相机设置。
另一方面，使用单目相机(多帧)的方法虽然免除了前面提到的大多数问题，但容易遇到略有不同的一组挑战。从连续的配对中提取姿势信息即使没有更具挑战性，也具有同等的挑战性。执行该任务的任何算法都必须考虑独立移动的对象，并可能地对该对象的运动进行良好的建模，同时对场景的运动进行建模。大多数解决该问题的方法，诸如Zhou和Godard所使用的方法(通常使用图像一致性)都具有上述问题，并且尚未提供可靠的解决方案。
进一步，当使用单目相机时，估计的深度仅在达到任意尺度时有效，并且真实尺度对于系统是未知的。尽管保持了这些点之间的相对尺度和相对欧几里得几何形状，但实际尺度仍然是未知的，除非使用传感器从外部注入。因此，建立在这样的单目途径上的所有算法都将在任意尺度假设下起作用。
发明内容
本披露可以提供对上述问题的综合解决方案。本披露可以包括既可以使用多视图/多帧设置(立体或相邻单目多帧)来训练，也可以使用单帧来训练的算法。在推断时，该算法只需要单个相机帧和该帧的雷达点云就可以生成综合的模拟激光雷达数据。该方法可以以场景的真实尺度而不是在任意尺度上回归点云。而且，该方法可以使用基于物理的渲染引擎来生成可定制的激光雷达点云。本披露的基于物理的渲染引擎可以像激光雷达射束一样运行，从而允许系统生成特定于传感器(如Velodyne(旋转)或Aeva(固态))的模拟点云，与常规激光雷达点云相比，这些点云对射束数量和点密度的控制能力更强。
附图说明
图1示出了根据本披露内容的实施例的车辆；
图2示出了根据本披露内容的至少一些实施例的车辆的平面图；
图3是根据本披露内容的实施例的车辆的通信环境的实施例的框图；
图4示出了根据本披露内容的一个实施例的车辆的仪表板的实施例；
图5是车辆的通信子系统的实施例的框图；
图6是与本文呈现的实施例相关联的计算环境的框图；
图7是与本文描述的一个或多个部件相关联的计算设备的框图；
图8A示出了根据本披露内容的实施例的由车辆的第一传感器随时间检测到的传感器信息的图形表示；
图8B示出了根据本披露内容的实施例的由车辆的第二传感器随时间检测到的传感器信息的图形表示；
图8C示出了根据本披露内容的实施例的由车辆的第三传感器随时间检测到的传感器信息的图形表示；
图9示出了根据本披露内容的实施例的车辆的传感器之间的被比较传感器信息的图形表示；
图10示出了根据本披露内容的实施例的车辆的传感器之间的被比较传感器信息的图形表示；
图11A示出了根据本披露内容的实施例的由车辆的成像系统在第一行进时刻检测到的成像传感器信息的示意图；
图11B示出了根据本披露内容的实施例的由车辆的成像系统在第二行进时刻检测到的成像传感器信息的示意图；
图11C示出了根据本披露实施例的由车辆的成像系统在第三行进时刻检测到的成像传感器信息的示意图；
图12是根据本披露内容的实施例的车辆的通信环境的实施例的框图；
图13是示出了根据本披露内容的实施例的模拟激光雷达系统的训练方法的流程图；以及
图14示出了根据本披露内容的实施例的车辆的操作的流程图。
具体实施方式
将结合车辆并且在一些实施例中结合电动车辆、可再充电电动车辆和/或混合动力电动车辆以及相关联的系统来描述本披露内容的实施例。
图1示出了根据本披露内容的实施例的车辆100的透视图。电动车辆100包括车辆前部110、车辆尾部或后部120、车顶130、至少一个车辆侧面160、车辆底盘140以及车辆内部150。在任何情况下，车辆100可以包括框架104以及安装或附连至其上的一个或多个车身面板108。车辆100可以包括一个或多个内部部件(例如，车辆100的内部空间150或用户空间内部的部件等)、外部部件(例如，车辆100的内部空间150或用户空间外部的部件等)、驱动系统、控制系统、结构部件等。
尽管以轿车的形式示出，但是应当理解，本文描述的车辆100可以包括任何运输工具或任何型号的运输工具，其中运输工具被设计用于移动一个或多个有形物体，诸如人、动物、货物等。术语“车辆”不要求运输工具移动或能够移动。典型的车辆可以包括但不限于轿车、卡车、摩托车、公共汽车、汽车、火车、铁路运输工具、船只、船舶、海上运输工具、海底运输工具、飞机、航天飞机、飞行器、人力运输工具等。
在一些实施例中，车辆100可以包括能够辅助驾驶操作的多个传感器、设备和/或系统。各种传感器和系统的示例可以包括但不限于以下一者或多者：相机(例如，独立图像、立体图像、组合图像等)、红外(IR)传感器、射频(RF)传感器、超声传感器(例如，换能器、收发器等)、雷达传感器(例如，物体检测传感器和/或系统)、测距传感器和/或设备(例如，编码器等)、取向传感器(例如，加速度计、陀螺仪、磁力计等)、导航传感器和系统(例如，GPS等)、以及其他测距、成像和/或物体检测传感器。传感器可以设置在车辆100的内部空间150中和/或在车辆100的外部上。在一些实施例中，传感器和系统可以设置在车辆100的一个或多个部分中(例如，车架104、车身面板、隔室等)。
可以选择和/或配置车辆传感器和系统以适应与车辆100相关联的操作级别。除其他之外，可以改变系统中使用的传感器的数量以增加或减少可用于车辆控制系统的信息(例如，影响车辆100的控制能力)。另外或可替代地，传感器和系统可以是与车辆100相关联的一个或多个高级驾驶员辅助系统(ADAS)的一部分。在任何情况下，传感器和系统可以用于在任何操作级别(例如，从完全手动操作到完全自主操作等)提供驾驶辅助，如本文所描述。
可以将车辆的各种控制和/或操作级别描述为对应于与车辆100相关联的实现车辆驾驶操作的自主级别。例如，在级别0或完全手动驾驶操作下，驾驶员(例如，人类驾驶员)可以负责与车辆相关联的所有驾驶控制操作(例如，转向、加速、制动等)。级别0可以被称为“无自动化”级别。在级别1下，车辆可以负责与车辆相关联的有限数量的驾驶操作，而驾驶员仍然负责大多数驾驶控制操作。级别1车辆的示例可以包括可以由车辆控制油门控制和/或制动操作(例如，巡航控制操作等)的车辆。级别1可以被称为“驾驶员辅助”级别。在级别2下，车辆可以收集(例如，经由一个或多个驾驶辅助系统、传感器等)关于车辆的环境(例如，周围区域、道路、交通、环境条件等)的信息、并且使用所收集的信息来控制与车辆相关的驾驶操作(例如，转向、加速、制动等)。在级别2自主车辆中，可以要求驾驶员执行不受车辆控制的其他方面的驾驶操作。级别2可以被称为“部分自动化”级别。应当理解，级别0至2全部都涉及驾驶员监控车辆的驾驶操作。
在级别3下，除了当车辆请求操作者作用或干预控制一个或多个驾驶操作时，驾驶员可以脱离对车辆的所有驾驶操作的控制。换言之，除非要求驾驶员接管车辆，否则驾驶员可以脱离对车辆的控制。级别3可以被称为“条件自动化”级别。在级别4下，驾驶员可以脱离对车辆的所有驾驶操作的控制，并且即使当用户未能响应干预请求时，车辆也可以控制驾驶操作。级别4可以被称为“高度自动化”级别。在级别5下，车辆可以在所有驾驶模式下控制与车辆相关联的所有驾驶操作。级别5的车辆可以在驾驶车辆时连续监测交通、车辆、道路和/或环境条件。在级别5下，在任何驾驶模式中都不需要人类驾驶员交互。因此，级别5可以被称为“完全自动化”级别。应当理解，在级别3至5下，车辆和/或与车辆相关联的一个或多个自动化驾驶系统监控车辆的驾驶操作和驾驶环境。
如图1所示，车辆100可以例如包括以下至少一个：测距和成像系统112、成像传感器116A、116F(例如，相机、IR等)、无线电物体检测和测距系统传感器116B(例如，雷达、RF等)、超声传感器116C和/或其他物体检测传感器116D、116E。在一些实施例中，传感器可以安装在车辆100的车顶130上。在一个实施例中，雷达传感器116B可以至少设置在车辆100的前部110、尾部120或侧面160处。除其他之外，雷达传感器可以用于监控和/或检测在车辆100附近或接近车辆的其他车辆、行人和/或其他物体的位置。虽然被示为与车辆100的一个或多个区域相关联，但应当理解，图1和图2中示出的任何传感器和系统116A至116K、112可以在车辆100的任何位置、区域和/或区中设置在车辆100中、上和/或周围。
现在参考图2，描述了根据本披露内容的实施例的车辆100的平面图。特别地，图2示出了至少部分地由设置在车辆100中、上和/或周围的传感器和系统116A至116K、112限定的车辆感测环境200。每个传感器116A至116K可以包括操作检测范围R和操作检测角度α。操作检测范围R可以限定传感器116A至116K的有效检测极限或距离。在一些情况下，这个有效检测极限可以被限定为从传感器116A至116K的一部分(例如，透镜、感测表面等)到偏离传感器116A至116K的空间中的点的距离。有效检测极限可以限定某一距离，超过该距离，传感器116A至116K的感测能力就恶化、不能工作或不可靠。在一些实施例中，有效检测极限可以限定某一距离，在该距离内，传感器116A至116K的感测能力能够提供准确和/或可靠的检测信息。操作检测角度α可以限定传感器116A至116K的跨度或水平极限和/或垂直极限之间的至少一个角度。如可以理解，传感器116A至116K的操作检测极限和操作检测角度α一起可以限定传感器116A至116K的有效检测区216A至216D(例如，有效检测区域和/或体积等)。
在一些实施例中，车辆100可以包括测距和成像系统112。测距和成像系统112可以配置为检测车辆100周围的环境中的视觉信息。可以处理在测距和成像系统112周围的环境中检测到的视觉信息(例如，经由一个或多个传感器和/或系统处理器等)，以生成车辆周围的环境200的完整360度视图。测距和成像系统112可以配置为例如在车辆100驾驶时实时地生成环境200的变化360度视图。在一些情况下，测距和成像系统112可以具有有效检测极限204，所述有效检测极限是从车辆100的中心向外在360度上的某一距离。测距和成像系统112的有效检测极限204限定车辆100周围的观察区208(例如，区域和/或体积等)。落在观察区208之外的任何物体处于未检测到的区212中并且将不会被车辆100的测距和成像系统112检测到。
传感器数据和信息可以由监控车辆感测环境200的车辆100的一个或多个传感器或系统116A至116K、112收集。可以处理这个信息(例如，经由处理器、计算机视觉系统等)以确定与车辆感测环境200相关联的一个或多个检测区208、216A至216D内的目标(例如，物体、标志、人、标记、道路、路况等)。在一些情况下，可以处理来自多个传感器116A至116K的信息以形成复合传感器检测信息。例如，第一传感器116A和第二传感器116F可以对应于瞄准车辆100的向前行进方向的第一相机116A和第二相机116F。在这个示例中，可以组合由相机116A、116F收集的图像以形成立体图像信息。这个复合信息可以通过例如增加确定与一个或多个检测区208、216A至216D中的目标相关联的深度的能力来提高一个或多个传感器116A至116K中的单个传感器的能力。类似的图像数据可以由瞄准向后行进方向车辆100的后视相机(例如，传感器116G、116H)收集。
在一些实施例中，可以有效地接合多个传感器116A至116K以增大加感测区并提供增大的感测覆盖范围。例如，可以接合设置在车辆的前部110上的多个雷达传感器116B，以提供跨越车辆的整个前部110的覆盖区216B。在一些情况下，多个雷达传感器116B可以覆盖包括一个或多个其他传感器检测区216A的检测区216B。这些重叠的检测区可以提供冗余感测、增强感测，和/或提供在较大区(例如，区216B)的特定部分(例如，区216A)内的更多感测细节。另外或可替代地，车辆100的传感器116A至116K可以布置为经由车辆100周围的一个或多个感测区208、216A至216D而产生完全覆盖。在一些区域中，两个或更多个传感器116D、116E的感测区216C可以在重叠区220处相交。在一些区域中，(例如，两个或更多个传感器116E、116J、116K的)两个或更多个感测区216C、216D的角度和/或检测极限可以在虚拟交叉点224处会合。
车辆100可以包括设置在车辆100的后部120附近的多个传感器116E、116G、116H、116J、116K。这些传感器可以包括但不限于，成像传感器、相机、IR、无线电物体检测和测距传感器、雷达、RF、超声传感器和/或其他物体检测传感器。除其他之外，这些传感器116E、116G、116H、116J、116K可以检测靠近或接近车辆100的后部的目标。例如，可以由测距和成像系统112、后视相机116G、116H和/或面向后部的雷达传感器116J、116K中的一者或多者检测接近车辆100的后部120的另一车辆。如上所述，可以处理来自后视相机116G、116H的图像以生成对两个相机116G、116H可见的目标的立体视图(例如，提供与物体或环境相关联的深度等)。作为另一示例，车辆100可能正在驾驶，并且测距和成像系统112、面向前部的相机116A、116F、面向前部的雷达传感器116B和/或超声传感器116C中的一者或多者可以检测车辆100前方的目标。这种方法可以在上述自主驾驶级别中的至少一个自主驾驶级别中向车辆控制系统提供关键传感器信息。例如，当车辆100自主地驾驶(例如，级别3、级别4或级别5)并且检测到在行进路径中停止的其他车辆时，可以将传感器检测信息发送到车辆100的车辆控制系统以控制与车辆100相关联的驾驶操作(例如，制动、减速等)(在这个示例中，使车辆100减慢以避免与停止的其他车辆碰撞)。作为又一示例，车辆100可以操作，并且测距和成像系统112和/或面向侧面的传感器116D、116E(例如，雷达、超声、相机、其组合和/或其他类型的传感器)中的一者或多者可以检测位于车辆100的侧面的目标。应当理解，传感器116A至116K可以检测既在车辆100的侧面160又在前部110处的目标(例如，与从车辆100的前部110行进到车辆的后部120的车辆100的中心线成对角角度设置)。另外或可替代地，传感器116A至116K可以检测既在车辆100的侧面160又在后部120处或同时在这两个位置处的目标(例如，与车辆100的中心线成对角角度设置)。
图3是根据本披露内容的实施例的车辆100的通信环境300的实施例的框图。通信系统300可以包括一个或多个车辆驾驶车辆传感器和系统304、传感器处理器340、传感器数据存储器344、车辆控制系统348、通信子系统350、控制数据364、计算设备368、传感器清洁系统370、显示设备372、以及可以与车辆100相关联的其他部件374。这些相关联的部件可以经由至少一个总线360彼此电耦合和/或通信耦合。在一些实施例中，一个或多个相关联的部件可以通过通信网络352向导航源356A、控制源356B或某个其他实体356N中的至少一个发送和/或接收信号。
根据本披露内容的至少一些实施例，通信网络352可以包括任何类型的已知通信介质或通信介质集合，并且可以使用任何类型的协议，诸如SIP、TCP/IP、SNA、IPX、AppleTalk等，以在端点之间传输消息。通信网络352可以包括有线和/或无线通信技术。互联网是通信网络352的示例，该通信网络构成了互联网协议(IP)网络，该互联网协议网络由位于世界各地的许多计算机、计算网络和其他通信设备构成，它们通过许多电话系统和其他方式连接。通信网络104的其他示例包括但不限于标准的普通老式电话系统(POTS)、综合业务数字网(ISDN)、公共交换电话网(PSTN)、比如以太网、令牌环网络和/或类似等局域网(LAN)、广域网(WAN)、包括但不限于虚拟专用网络(“VPN”)的虚拟网络；互联网、内联网、外联网、蜂窝网络、红外网络；无线网络(例如，在IEEE 802.9或802.11协议集、本领域已知的
Figure BDA0003693413520000105
协议和/或任何其他无线协议中的任何一种下运行的网络)，以及本领域已知的任何其他类型的分组交换或电路交换网络和/或这些和/或其他网络的任意组合。另外，可以理解，通信网络352不必限于任何一种网络类型，而是可以包括许多不同的网络和/或网络类型。通信网络352可以包括多个不同的通信介质，诸如同轴电缆、铜电缆/电线、光纤电缆、用于发射/接收无线消息的天线、以及其组合。
驾驶车辆传感器和系统304可以包括至少一个导航传感器或系统308(例如，全球定位系统(GPS)等)、取向传感器或系统312、测距传感器或系统316、雷达传感器或系统324、超声传感器或系统328、相机传感器或系统332、红外(IR)传感器或系统336、和/或其他传感器或系统338。这些驾驶车辆传感器和系统304可以与结合图1和图2描述的传感器和系统116A至116K、112类似(如果不相同的话)。
导航传感器308可以包括具有接收器和天线的一个或多个传感器，所述传感器配置为利用基于卫星的导航系统，所述导航系统包括能够向车辆100的至少一个部件提供地理定位和时间信息的导航卫星网络。本文描述的导航传感器308的示例可以包括但不限于以下至少一个：
Figure BDA0003693413520000101
GLOTM系列GPS与GLONASS组合传感器、
Figure BDA0003693413520000102
GPS 15xTM系列传感器、
Figure BDA0003693413520000103
GPS 16xTM系列的具有高灵敏度接收器和天线的传感器、
Figure BDA0003693413520000104
GPS18x OEM系列高灵敏度GPS传感器、Dewetron DEWE-VGPS系列GPS传感器、GlobalSat 1-Hz系列GPS传感器、其他工业等效导航传感器和/或系统，并且可以使用任何已知或未来开发的标准和/或架构来执行导航和/或地理定位功能。
取向传感器312可以包括配置为确定车辆100相对于至少一个参考点的取向的一个或多个传感器。在一些实施例中，取向传感器312可以包括至少一个压力换能器、应力/应变仪、加速度计、陀螺仪和/或地磁传感器。本文描述的导航传感器308的示例可以包括但不限于以下至少一个：Bosch Sensortec BMX 160系列低功率绝对定向传感器、BoschSensortec BMX055 9轴传感器、Bosch Sensortec BMI055 6轴惯性传感器、BoschSensortec BMI160 6轴惯性传感器、具有集成Cortex M0+微控制器的Bosch SensortecBMF055 9轴惯性传感器(加速度计、陀螺仪和磁力计)、Bosch Sensortec BMP280绝对气压传感器、Infineon TLV493D-A1B6 3D磁传感器、Infineon TLI493D-W1B6 3D磁传感器、Infineon TL系列3D磁传感器、Murata Electronics SCC2000系列组合式陀螺仪传感器与加速度计、Murata Electronics SCC1300系列组合式陀螺仪传感器与加速度计、其他工业等效取向传感器和/或系统，这些传感器和/或系统可以使用任何已知或未来开发的标准和/或架构来执行取向检测和/或确定功能。
测距传感器和/或系统316可以包括配置为确定车辆100的位置随时间的变化的一个或多个部件。在一些实施例中，测距系统316可以利用来自一个或多个其他传感器和/或系统304的数据来确定车辆100相对于车辆100的先前测得位置的位置(例如，距离、定位等)。另外或可替代地，测距传感器316可以包括一个或多个编码器、霍尔速度传感器、和/或配置为随时间测量车轮速度、旋转和/或转数的其他测量传感器/设备。如本文所描述的测距传感器/系统316的示例可以包括但不限于以下中的至少一个：Infineon TLE4924/26/27/28C高性能速度传感器、Infineon TL4941plusC(B)单芯片差动霍尔轮速传感器、Infineon TL5041plusC巨磁电阻(GMR)效应传感器、Infineon TL系列磁传感器、EPC 25SP型Accu-CoderProTM增量式轴编码器、采用先进的磁感测和信号处理技术的EPC 30M紧凑型增量式编码器、EPC 925型绝对轴编码器、EPC型958绝对轴编码器、EPC型MA36S/MA63S/SA36S绝对轴编码器、DynaparTMF18换向光学编码器、DynaparTMHS35R系列相控阵列编码器传感器、其他工业等效测距传感器和/或系统，并且可以使用任何已知的或未来开发的标准和/或架构来执行位置变化检测和/或确定功能的改变。
雷达传感器324可以包括配置为检测车辆100的环境中的物体/目标的一个或多个无线电部件。在一些实施例中，雷达传感器324可以随时间确定与目标相关联的距离、位置和/或运动向量(例如，角度、速度等)。雷达传感器324可以包括配置为产生和发射电磁波(例如，无线电、微波等)的发射器、以及配置为检测返回的电磁波的接收器。在一些实施例中，雷达传感器324可以包括配置为解释返回的电磁波并确定目标的位置特性的至少一个处理器。如本文所述的雷达传感器324的示例可以包括但不限于以下至少一个：InfineonRASICTMRTN7735PL发射器与RRN7745PL/46PL接收器传感器、Autoliv ASP车辆雷达传感器、Delphi L2C0051TR77GHz ESR电子扫描雷达传感器、Fujitsu Ten Ltd.公司汽车紧凑型77GHz 3D电子扫描毫米波雷达传感器、其他工业等效雷达传感器和/或系统，并且可以使用任何已知或未来开发的标准和/或架构在车辆100周围的环境中执行无线电目标/或障碍物检测。
超声传感器328可以包括配置为检测车辆100的环境中的物体/目标的一个或多个部件。在一些实施例中，超声传感器328可以随时间确定与目标相关联的距离、位置和/或运动向量(例如，角度、速度等)。超声传感器328可以包括配置为产生和发射超声并解释那些波的返回回波的超声发射器与接收器、或收发器。在一些实施例中，超声传感器328可以包括配置为解释返回的超声波并确定目标的位置特性的至少一个处理器。本文描述的超声传感器328的示例可以包括但不限于以下至少一个：Texas Instruments TIDA-00151汽车超声传感器接口IC传感器、
Figure BDA0003693413520000121
MB8450超声波接近度传感器、
Figure BDA0003693413520000122
ParkSonarTM-EZ超声波接近度传感器、Murata Electronics MA40H1S-R开放式结构超声传感器、Murata Electronics MA40S4R/S开放式结构超声传感器、Murata ElectronicsMA58MF14-7N防水超声传感器、其他工业等效的超声传感器和/或系统，并且可以使用任何已知的或未来开发的标准和/或架构来在车辆100周围的环境中执行目标物和/或障碍物超声波检测。
相机传感器332可以包括配置为检测与车辆100的环境相关联的图像信息的一个或多个部件。在一些实施例中，相机传感器332可以包括透镜、滤波器、图像传感器和/或数字图像处理器。本披露内容的一方面在于，可以一起使用多个相机传感器332来产生立体图像，从而提供深度测量。如本文所述的相机传感器332的示例可以包括但不限于以下至少一个：ON
Figure BDA0003693413520000134
MT9V024全局快门VGA GS CMOS图像传感器、Teledyne DALSAFalcon2相机传感器、CMOSIS CMV50000高速CMOS图像传感器、其他工业等效相机传感器和/或系统，并且可以使用任何已知或未来开发的标准和/或架构在车辆100周围的环境中执行视觉目标和/或障碍物检测。
红外(IR)传感器336可以包括配置为检测与车辆100的环境相关联的图像信息的一个或多个部件。IR传感器336可以配置为在少光、黑暗或不良光照环境中检测目标。IR传感器336可以包括IR发光元件(例如，IR发光二极管(LED)等)和IR光电二极管。在一些实施例中，IR光电二极管可以配置为检测与IR发光元件发射的波长相同或大约相同波长的返回IR光。在一些实施例中，IR传感器336可以包括配置为解释返回的IR光并确定目标的位置特性的至少一个处理器。IR传感器336可以配置为检测和/或测量与目标(例如，物体、行人、其他车辆等)相关联的温度。如本文所述的IR传感器336的示例可以包括但不限于以下至少一个：光电二极管铅盐IR阵列传感器、光电二极管OD-850近红外LED传感器、光电二极管SA/SHA727稳态IR发射器与IR检测器、
Figure BDA0003693413520000131
LS微测辐射热计传感器、
Figure BDA0003693413520000132
TacFLIR 380-HD InSb MWIR FPA与HD MWIR热传感器、
Figure BDA0003693413520000133
VOx 640x480像素检测器传感器、DelphiIR传感器、其他工业等效IR传感器和/或系统，并且使用任何已知或未来开发的标准和/或架构在车辆100周围的环境中执行IR视觉目标和/或障碍物检测。
在一些实施例中，驾驶车辆传感器和系统304可以包括其他传感器338和/或上述传感器308至336的组合。另外或可替代地，上述传感器308至336中的一个或多个传感器可以包括配置为处理和/或解释由一个或多个传感器308至336检测到的信号的一个或多个处理器。在一些实施例中，由车辆传感器和系统304提供的至少一些传感器信息的处理可以由至少一个传感器处理器340来处理。原始的和/或经处理的传感器数据可以存储在传感器数据存储器344存储介质中。在一些实施例中，传感器数据存储器344可以存储由传感器处理器340用来处理由传感器和系统304提供的传感器信息的指令。在任何情况下，传感器数据存储器344可以是磁盘驱动器、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储设备，它们可以是可编程的、可闪存更新的和/或类似的。
车辆控制系统348可以从传感器处理器340接收经处理的传感器信息，并且确定要控制车辆100的某个方面。控制车辆100的某个方面可以包括经由与车辆相关联的一个或多个显示设备372来呈现信息、向与车辆相关联的一个或多个计算设备368发送命令、和/或控制车辆的驾驶操作。在一些实施例中，车辆控制系统348可以对应于根据上述驾驶自主性级别来控制车辆100的驾驶操作的一个或多个计算系统。在一个实施例中，车辆控制系统348可以通过控制给车辆的加速度计和/或制动系统的输出信号来操作车辆100的速度。在这个示例中，车辆控制系统348可以接收描述车辆100周围的环境的传感器数据，并且基于所接收的传感器数据来确定要调整车辆100的加速度、动力输出和/或制动。车辆控制系统348可以另外控制车辆100的转向和/或其他驾驶功能。
车辆控制系统348可以与驾驶传感器和系统304实时地通信，从而形成反馈环路。特别地，在接收到描述车辆100周围环境中的目标状况的传感器信息时，车辆控制系统348可以自主地改变车辆100的驾驶操作。然后，车辆控制系统348可以接收描述由于改变了驾驶操作而对在环境中检测到的目标状况的任何改变的后续传感器信息。这种观察(例如，经由传感器等)和动作(例如，车辆操作的所选控制或非控制等)的连续循环允许车辆100在环境中自主地操作。
在一些实施例中，车辆100的一个或多个部件(例如，驾驶车辆传感器304、车辆控制系统348、显示设备372等)可以经由车辆100的通信子系统350通过通信网络352与一个或多个实体356A至356N通信。结合图5更详细地描述通信子系统350的实施例。例如，导航传感器308可以接收来自导航源356A的全球定位、位置和/或导航信息。在一些实施例中，仅举几个示例，导航源356A可以是与NAVSTAR GPS、GLONASS、EU Galileo和/或北斗导航卫星系统(BDS)类似(如果不相同的话)的全球导航卫星系统(GNSS)。
在一些实施例中，车辆控制系统348可以接收来自一个或多个控制源356B的控制信息。控制源356可以提供车辆控制信息，包括自主驾驶控制命令、车辆操作超驰控制命令等。控制源356可以对应于自主车辆控制系统、交通控制系统、行政控制实体、和/或一些其他控制服务器。本披露内容的一方面在于，车辆控制系统348和/或车辆100的其他部件可以通过通信网络352并且经由通信子系统350与控制源356交换讯息。
与控制车辆100的驾驶操作相关联的信息可以存储在控制数据存储器364存储介质中。控制数据存储器364可以存储由车辆控制系统348用来控制车辆100的驾驶操作的指令、历史控制信息、自主驾驶控制规则等。在一些实施例中，控制数据存储器364可以是磁盘驱动器、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储设备，它们可以是可编程的、可闪存更新的和/或类似的。
除了本文描述的机械部件之外，车辆100还可以包括多个用户界面设备。用户界面设备接收人为输入并将其转换为机械运动或电信号或刺激。人为输入可以是以下一个或多个：运动(例如，在二维或三维空间中的身体运动、身体部位运动等)、语音、触摸、和/或与车辆100的部件的物理交互。在一些实施例中，人为输入可以配置为控制本文描述的车辆100和/或车辆100的系统的一个或多个功能。用户界面可以包括但不限于以下各项的至少一个图形用户界面：显示设备、方向盘或转向机构、变速杆或按钮(例如，包括停车位置、空挡位置、倒车位置和/或驱动位置等)、油门控制踏板或机构、制动器控制踏板或机构、动力控制开关、通信设备等。
图4示出了车辆100的仪表板400的一个实施例。车辆100的仪表板400包括：方向盘410、车辆操作显示器420(例如，配置为呈现和/或显示驾驶数据，诸如速度、测量到的空气阻力、车辆信息、娱乐信息等)、一个或多个辅助显示器424(例如，配置为呈现和/或显示从操作显示器420、娱乐应用、电影、音乐等分离的信息)、抬头显示器434(例如，配置为显示先前描述的任何信息，包括但不限于，诸如到目的地的路线的引导信息、或用于警告潜在碰撞的障碍物警告信息、或者诸如速度、阻力等一些或全部主要车辆操作数据)、电力管理显示器428(例如，配置为显示与车辆100的电力水平、备用电力、充电状态等相对应的数据)、以及输入设备432(例如，控制器、触摸屏或配置为与仪表板或车辆100的部件中的一个或多个显示器对接的其他接口设备。输入设备432可以配置为操纵杆、鼠标、触摸板、平板计算机、3D手势捕获设备等)。在一些实施例中，输入设备432可以用于手动操纵车辆100的一部分进入充电位置(例如，将充电板移动到希望的分隔距离等)。
虽然仪表板400的一个或多个显示器可以是触摸屏显示器，但是应当理解，车辆操作显示器可以是不能接收触摸输入的显示器。例如，横跨内部空间中心线404并跨越第一区408A和第二区408B的操作显示器420可以与接收来自触摸的输入、尤其是接收来自乘客的输入隔离。在一些情况下，提供车辆操作或关键系统信息和界面的显示器可以被约束而无法接收触摸输入和/或配置为非触摸显示器。这种类型的配置可以防止在提供触摸输入时的危险错误，其中这种输入可能导致事故或不想要的控制。
在一些实施例中，仪表板400的一个或多个显示器可以是移动设备和/或驻留在诸如智能电话等移动设备上的应用。另外或可替代地，本文描述的任何信息可以呈现给操作显示器420的一个或多个部分420A至420N或其他显示器424、428、434。在一个实施例中，仪表板400的一个或多个显示器可以与仪表板400物理地分离或从其拆卸。在一些情况下，可拆卸的显示器可以保持栓系到仪表板。
操作显示器420的部分420A至420N可以动态地重新配置和/或调整大小以适应所描述的任何信息显示。另外或可替代地，用于经由操作显示器420可视地呈现信息的部分420A至420N的数量可以根据需要动态地增加或减少，并且不限于所示的配置。
图5示出了根据本披露内容的实施例的可以可选地与车辆100相关联的通信部件的硬件图。
通信部件可以包括一个或多个有线或无线设备，诸如(一个或多个)收发器和/或调制解调器，该调制解调器不仅允许本文披露的各种系统之间的通信而且还允许与诸如网络上的设备和/或诸如互联网等分布式网络上和/或云中的设备等其他设备和/或与(一个或多个)其他车辆通信。
通信子系统350还可以包括车辆间和车辆内通信能力，诸如用于车辆乘员和/或车辆到车辆通信中的任何一个或多个的热点和/或接入点连接。
另外，虽然未具体示出，但通信子系统350可以包括一个或多个通信链路(可以是有线或无线)和/或通信总线(由总线管理器574管理)，包括以下一个或多个：CANbus、OBD-II、ARCINC 429、Byteflight、CAN(控制器局域网)、D2B(国内数字总线)、FlexRay、DC-BUS、IDB-1394、IEBus、I2C、ISO 9141-1/-2、J1708、J1587、J1850、J1939、ISO 11783、关键词协议2000、LIN(本地互联网络)、MOST(媒体导向系统传输)、多功能车辆总线、SMARTwireX、SPI、VAN(车辆局域网)等、或者总体上是任何通信协议和/或标准(一个或多个)。
各种协议和通信可以无线地和/或通过传输介质中的一个或多个进行通信，这些传输介质诸如单线、双绞线、光纤、IEEE 1394、MIL-STD-1553、MIL-STD-1773、电力线通信等。(所有上述标准和协议均通过援引以其全文并入本文)。
如所讨论，通信子系统350实现任何车辆间系统和子系统之间的通信以及与非并置资源的通信，诸如通过诸如互联网等网络可获得的那些资源。
除了众所周知的部件(为清楚起见而省略)之外，通信子系统350还包括互连元件，包括以下一个或多个：一个或多个天线504、交织器/解交织器508、模拟前端(AFE)512、存储器/存储设备/高速缓存516、控制器/微处理器520、MAC电路系统522、调制器/解调器524、编码器/解码器528、多个连接性管理器534、558、562、566、GPU 540、加速器544、复用器/解复用器552、发射器570、接收器572、以及无线电578部件、诸如Wi-Fi
Figure BDA0003693413520000172
模块580、Wi-Fi/BT MAC模块584、发射器588和接收器592。设备350中的各种元件通过一个或多个链路/总线5(同样为了清楚起见而未示出)进行连接。
设备350可以具有一个或多个天线504，以用于无线通信，诸如多输入多输出(MIMO)通信、多用户多输入多输出(MU-MIMO)通信
Figure BDA0003693413520000171
LTE、4G、5G、近场通信(NFC)等，并且通常用于任何类型的无线通信。(一个或多个)天线504可以包括但不限于以下一个或多个：定向天线、全向天线、单极天线、贴片天线、环形天线、微带天线、偶极天线、以及适用于通信发射/接收的任何其他天线(一个或多个)。在示例性实施例中，使用MIMO的发射/接收可能需要特定的天线间隔。在另一示例性实施例中，MIMO发射/接收可以实现空间分集，从而允许每个天线处的不同信道特性。在又一实施例中，MIMO发射/接收可以用于将资源分配给例如在车辆100内和/或另一车辆中的多个用户。
(一个或多个)天线504通常与模拟前端(AFE)512交互，这对于实现正确处理接收到的调制信号并对发射的信号进行信号调节来说是必需的。AFE 512可以在功能上位于天线与数字基带系统之间，以便将模拟信号转换为数字信号以进行处理，反之亦然。
子系统350还可以包括控制器/微处理器520和存储器/存储装置/高速缓存516。子系统350可以与存储器/存储装置/高速缓存516交互，该存储器/存储装置/高速缓存可以存储对于配置和发射或接收本文描述的信息来说必要的信息和操作。存储器/存储设备/高速缓存516还可以与控制器/微处理器520执行应用编程或指令结合使用，并且用于程序指令和/或数据的临时或长期存储。作为示例，存储器/存储装置/高速缓存520可以包括计算机可读设备、RAM、ROM、DRAM、SDRAM和/或其他存储设备(一个或多个)和介质。
控制器/微处理器520可以包括通用可编程处理器或控制器，以用于执行与子系统350相关的应用编程或指令。此外，控制器/微处理器520可以执行用于配置和发射/接收信息的操作，如本文所述。控制器/微处理器520可以包括多个处理器核和/或实施多个虚拟处理器。可选地，控制器/微处理器520可以包括多个物理处理器。作为示例，控制器/微处理器520可以包括专门配置的专用集成电路(ASIC)或其他集成电路、数字信号处理器(一个或多个)、控制器、硬连线电子或逻辑电路、可编程逻辑设备或门阵列、专用计算机等。
子系统350还可以包括发射器570和接收器572，该发射器和接收器可以使用一个或多个天线504和/或链路/总线分别向其他设备、子系统和/或其他目的地发射信号和从其接收信号。子系统350电路系统中包括介质访问控制或MAC电路系统522。MAC电路系统522提供用于控制对无线介质的访问。在示例性实施例中，MAC电路系统522可以被布置为争夺无线介质并且对通过有线/无线介质传送的帧或分组进行配置。
子系统350还可以可选地包含安全模块(未示出)。此安全模块可以包含关于但不限于将设备连接到一个或多个其他设备或其他可用网络(一个或多个)所需的安全参数的信息，并且可以包括WEP或WPA/WPA-2(可选地+AES和/或TKIP)安全访问密钥、网络密钥等。WEP安全访问密钥是Wi-Fi网络使用的安全密码。知道这个码可以使得无线设备能够与接入点和/或另一设备交换信息。信息交换可以通过编码消息进行，其中WEP访问码通常由网络管理员选择。WPA是也与网络连接结合使用的附加安全标准，其中加密比WEP更强。
在一些实施例中，通信子系统350还包括GPU 540、加速器544、Wi-Fi/BT/BLE PHY模块580和Wi-Fi/BT/BLE MAC模块584、以及无线发射器588和接收器592。在一些实施例中，GPU 540可以是包括至少一个电路和/或芯片的图形处理单元或视觉处理单元，其操纵和改变存储器以加速帧缓冲器中的图像的创建以便输出到至少一个显示设备。GPU 540可以包括以下一个或多个：显示设备连接端口、印刷电路板(PCB)、GPU芯片、金属氧化物半导体场效应管(MOSFET)、存储器(例如，单倍数据速率随机存取存储器(SDRAM)、双倍数据速率随机存取存储器(DDR)RAM等、和/或其组合)、辅助处理芯片(例如，处理视频输出能力、处理和/或除GPU芯片之外的其他功能等)、电容器、散热器、温度控制或冷却风扇、母板连接、屏蔽等。
各种连接性管理器534、558、562、566管理和/或协调子系统350与本文披露的一个或多个系统以及一个或多个其他设备/系统之间的通信。连接性管理器534、558、562、566包括充电连接性管理器534、车辆数据库连接性管理器558、远程操作系统连接性管理器562、以及传感器连接性管理器566。
充电连接性管理器534不仅可以协调车辆100与充电设备/车辆之间的物理连接性，而且还可以与电力管理控制器、一个或多个第三方以及可选地计费系统(一个或多个)中的一者或多者通信。作为示例，车辆100可以与充电设备/车辆建立通信以进行以下一者或多者：协调两者间的互连性(例如，通过将车辆上的充电插座与充电车辆上的充电器空间对准)，以及可选地共享导航信息。一旦完成充电，就可以跟踪所提供的充电量并且可选地将其转发给例如第三方以进行计费。除了能够管理用于交换电力的连接性之外，充电连接性管理器534还可以将诸如计费信息等信息传送给充电车辆和/或第三方。此计费信息可以是例如车辆的所有者、车辆的驾驶员/乘员(一个或多个)、公司信息、或者通常可用于针对所接收的电力向适当的实体收费的任何信息。
车辆数据库连接性管理器558允许子系统接收和/或共享存储在车辆数据库中的信息。此信息可以与其他车辆部件/子系统和/或诸如第三方和/或充电系统等其他实体共享。该信息还可以与一个或多个车辆乘员设备共享，诸如驾驶员用于跟踪关于车辆100和/或经销商或服务/维护提供商的信息的移动设备上的app(应用)。通常，存储在车辆数据库中的任何信息可以可选地与可选地受到任何隐私或机密约束的任何一个或多个其他设备共享。
远程操作系统连接性管理器562促进车辆100与任何一个或多个自主车辆系统之间的通信。这些通信可以包括以下一个或多个：导航信息、车辆信息、其他车辆信息、天气信息、乘员信息、或者通常与车辆100的远程操作有关的任何信息。
传感器连接性管理器566促进任何一个或多个车辆传感器(例如，驾驶车辆传感器和系统304等)与任何一个或多个其他车辆系统之间的通信。传感器连接性管理器566还可以促进任何一个或多个传感器和/或车辆系统与任何其他目的地(诸如服务公司、应用程序、或者通常地需要传感器数据的任何目的地)之间的通信。
根据一个示例性实施例，可以经由用于充电的导体(一个或多个)来传送本文讨论的任何通信。可用于这些通信的一个示例性协议是电力线通信(PLC)。PLC是使用电线同时携载数据以及交流电(AC)电力传输或电力分配的通信协议。它也被称为电力线载波、电力线数字订户线(PDSL)、电源通信、电力线通信、或电力线联网(PLN)。对于车辆中的DC环境，PLC可以与CAN总线、电力线上的LIN总线(DC-LIN)和DC-BUS结合使用。
通信子系统还可以可选地管理与车辆和其中的一个或其他系统或子系统或部件相关联的一个或多个标识符，诸如IP(互联网协议)地址(一个或多个)。这些标识符可以与本文讨论的任何一个或多个连接性管理器结合使用。
图6示出了可以用作本文提供和描述的服务器、用户计算机或其他系统的计算环境600的框图。计算环境600包括一个或多个用户计算机或计算设备，诸如车辆计算设备604、通信设备608和/或更多设备612。计算设备604、608、612可以包括通用个人计算机(仅作为示例，包括运行各种版本的微软公司的
Figure BDA0003693413520000203
和/或苹果公司的
Figure BDA0003693413520000201
操作系统的个人计算机和/或膝上型计算机)和/或运行各种可商购的
Figure BDA0003693413520000202
或类UNIX操作系统中的任一种的工作站计算机。这些计算设备604、608、612还可以具有各种应用中的任一种，包括例如数据库客户端和/或服务器应用以及网络浏览器应用。可替代地，计算设备604、608、612可以是能够经由网络352进行通信和/或显示和导航网页或其他类型的电子文档的任何其他电子设备，诸如瘦客户端计算机、支持互联网的移动电话和/或个人数字助理。尽管示出了具有两个计算设备的示例性计算环境600，但可以支持任何数量的用户计算机或计算设备。
计算环境600还可以包括一个或多个服务器614、616。在这个示例中，服务器614被示为网络服务器，并且服务器616被示为应用服务器。网络服务器614可以用于处理来自计算设备604、608、612的针对网页或其他电子文档的请求。网络服务器614可以运行操作系统，包括上面讨论的那些中的任一操作系统以及任何可商购的服务器操作系统。网络服务器614还可以运行各种各样的服务器应用，包括SIP(会话发起协议)服务器、HTTP服务器、FTP服务器、CGI服务器、数据库服务器、Java服务器等。在一些情况下，网络服务器614可以将操作可用操作发布为一个或多个网络服务。
计算环境600还可以包括一个或多个文件和/或应用服务器616，所述服务器除了操作系统之外还可以包括可由在计算设备604、608、612中的一个或多个计算设备上运行的客户端访问的一个或多个应用。(一个或多个)服务器616和/或614可以是能够响应于计算设备604、608、612而执行程序或脚本的一个或多个通用计算机。作为一个示例，服务器616、614可以执行一个或多个网络应用。网络应用可以被实施为用诸如JavaTM、C、
Figure BDA0003693413520000211
或C++等任何编程语言和/或诸如Perl、Python或TCL等任何脚本语言以及任何编程/脚本语言的组合编写的一个或多个脚本或程序。(一个或多个)应用服务器616还可以包括数据库服务器，包括但不限于可从
Figure BDA0003693413520000212
Figure BDA0003693413520000213
等商购的那些数据库服务器，这些数据块服务器可以处理来自在计算设备604、608、612上运行的数据库客户端的请求。
由服务器614和/或616创建的网页可以经由网络(文件)服务器614、616转发到计算设备604、608、612。类似地，网络服务器614可以能够从计算设备604、608、612(例如，用户计算机等)接收网页请求、网络服务调用和/或输入数据，并且可以将网页请求和/或输入数据转发到网络(应用)服务器616。在另外的实施例中，服务器616可以用作文件服务器。尽管为了便于描述，图6示出了单独的网络服务器614和文件/应用服务器616，但是本领域技术人员将认识到，关于服务器614、616描述的功能可以由单个服务器和/或多个专用服务器执行，具体取决于特定于实施方式的需求和参数。计算机系统604、608、612、网络(文件)服务器614和/或网络(应用)服务器616可以用作图1至图6中描述的系统、设备或部件。
计算环境600还可以包括数据库618。数据库618可以驻留在各种位置。作为示例，数据库618可以驻留在一个或多个计算机604、608、612、614、616的本地(和/或驻留在其中)的存储介质上。可替代地，该数据库可以远离任何或所有计算机604、608、612、614、616，并且与这些计算机中的一个或多个计算机通信(例如，经由网络352)。数据库618可以驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。类似地，用于执行归属于计算机604、608、612、614、616的功能的任何必要文件可以视情况而本地存储在相应计算机上和/或远程地存储。数据库618可以是适于响应于SQL格式的命令而存储、更新和取得数据的关系数据库，诸如Oracle
Figure BDA0003693413520000221
图7示出了计算机系统700的一个实施例，其上可以部署或执行上述服务器、用户计算机、计算设备或者其他系统或部件。计算机系统700被示出为包括可以经由总线704电耦合的硬件元件。硬件元件可以包括一个或多个中央处理单元(CPU)708；一个或多个输入设备712(例如，鼠标、键盘等)；以及一个或多个输出设备716(例如，显示设备、打印机等)。计算机系统700还可以包括一个或多个存储设备720。作为示例，(一个或多个)存储设备720可以是磁盘驱动器、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储设备，它们可以是可编程的、可闪存更新的和/或类似的。
计算机系统700可以另外地包括计算机可读存储介质读取器724；通信系统728(例如，调制解调器、网卡(无线或有线)、红外通信设备等)；以及工作存储器736，其可以包括如上所述的RAM和ROM设备。计算机系统700还可以包括处理加速单元732，其可以包括DSP、专用处理器和/或类似物。
计算机可读存储介质读取器724还可以连接到计算机可读存储介质，它们一起(并且可选地，结合(一个或多个)存储设备720)全面地表示远程、本地、固定和/或可移动存储设备加上用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统728可以允许与上文关于本文描述的计算机环境描述的网络和/或任何其他计算机交换数据。此外，如本文所披露，术语“存储介质”可以表示用于存储数据的一个或多个设备，包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、磁心存储器、磁盘存储介质、光学存储介质、闪速存储器设备和/或用于存储信息的其他机器可读介质。
计算机系统700还可以包括被示出为当前位于工作存储器736内的软件元件，包括操作系统740和/或其他代码744。应当理解，计算机系统700的替代实施例可以具有与上述不同的许多变型。例如，也可以使用定制硬件和/或可以在硬件、软件(包括便携式软件，诸如小应用程序)或两者中实施的特定元件。此外，可以采用到诸如网络输入/输出设备等其他计算设备的连接。
本文描述的处理器340、708的示例可以包括但不限于以下至少一个：
Figure BDA0003693413520000231
800和801、具有4G LTE集成和64位运算的
Figure BDA0003693413520000232
Figure BDA0003693413520000233
620和615、具有64位架构的
Figure BDA0003693413520000234
A7处理器、
Figure BDA0003693413520000235
M7运动协处理器、
Figure BDA0003693413520000236
系列、
Figure BDA0003693413520000237
CoreTM系列处理器、
Figure BDA0003693413520000238
系列处理器、
Figure BDA0003693413520000239
AtomTM系列处理器、Intel
Figure BDA00036934135200002310
系列处理器、
Figure BDA00036934135200002311
i5-4670K和i7-4770K 22nm Haswell、
Figure BDA00036934135200002312
i5-3570K 22nm Ivy Bridge、
Figure BDA00036934135200002313
FXTM系列处理器、
Figure BDA00036934135200002314
FX-4300、FX-6300和FX-8350 32nm Vishera、
Figure BDA00036934135200002315
Kaveri处理器、Texas
Figure BDA00036934135200002316
Jacinto C6000TM汽车信息娱乐处理器、Texas
Figure BDA00036934135200002317
OMAPTM汽车级移动处理器、
Figure BDA00036934135200002318
CortexTM-M处理器、
Figure BDA00036934135200002319
Cortex-A和ARM926EJ-STM处理器、其他工业等效处理器；并且可以使用任何已知的或未来开发的标准、指令集、库、和/或架构来执行计算功能。
图8A至图8C示出了车辆100的不同传感器(例如，第一传感器、第二传感器和第三传感器等)随时间检测到的传感器信息的图形表示801至803。如本文所提供，术语传感器可以用于指代车辆100的任何传感器(例如，驾驶车辆传感器和系统304、测距和成像系统112、传感器116A至116K等)或传感器的组合。如图8A至图8C所示，每个图形表示801至803包括图表，其具有原点804(或第一检测点)、终点806(或最后检测点)、随时间的输出(或许多输出)808A至808C(例如，波形)、表示与检测到的传感器信息相关联的强度的纵轴812、表示与每个输出相关联的时间的横轴816。
第一检测点804可以对应于传感器开始检测(例如，提供检测信息等)的时间点。在一些情况下，第一检测点804可以对应于检测到的传感器信息的经分析部分的第一点。在这个示例中，第一检测点804可以不是传感器开始检测的时间点，而可以是被限定用于或传感器处理器340自动地选择用于确定传感器测量车辆100的环境的能力的点。
最后检测点806可以对应于传感器停止检测(例如，停止提供检测信息)的时间点。在一些情况下，最后检测点806可以对应于检测到的传感器信息的经分析部分的最后点。在这个示例中，最后检测点806可以不是传感器停止检测的时间点，而可以是被限定用于或传感器处理器340自动地选择用于确定传感器测量车辆100的环境的能力的最后点。
随时间的输出808A至808C可以对应于随时间检测到的传感器信息的强度或测量单位(例如，范围、距离、速度、飞行时间等)。在一些实施例中，随时间的输出808A至808C可以包括在第一检测点804和最后检测点806内的时刻的多个输出。随着感测环境随时间变化(例如，随着目标相对于传感器移动)，检测到的传感器信息的强度可以改变。例如，当车辆100接近车辆100前方110的十字路口和目标时，雷达传感器116B可以通过在车辆100操作的多个不同时刻记录强度或测量单位来确定到目标的距离。在这个示例中，随着车辆100接近目标，到目标的距离随时间而减小。在输出强度或测量单位是与发射和感测值相关联的飞行时间的情况下，图形表示801至803将表明，与在第二或后续时刻(例如，当车辆100和传感器更靠近目标时)的输出的高度相比，在第一时刻的输出更高(例如，指示传感器发射花费很长时间返回到传感器)。在输出强度或测量单位是返回的传感器信号的强度的情况下，图形表示801至803将表明，与在第二或后续时刻(例如，当车辆100和传感器更靠近目标并且从返回信号测量的传感器信号强度更接近发射的信号强度时)处的输出的高度相比，在第一时刻的输出更短(例如，指示从返回信号测量的传感器信号强度从发射的信号强度减少了一定量，因为目标在第一时刻离得更远)。在任何情况下，到目标的范围的变化可以被示为与随时间的输出808A至808C相关联地改变强度的传感器输出。
图8A示出了车辆100的第一传感器的随时间的输出808A的图形表示801。如图8A所示，随时间的输出808A可以包括针对横轴816中的一个或多个时刻的沿着纵轴812的强度或测量单位的不同水平。图8B示出了车辆100的第二传感器的随时间的输出808B的图形表示802。如图8A至图8B所示，第一传感器和第二传感器的随时间的输出808A、808B基本上相似(如果不相同的话)。在一些实施例中，第一传感器和第二传感器可以是相同类型的传感器(例如，成像和测距系统112、传感器116A至116K、雷达324、超声328、相机332、红外(IR)336和/或其他传感器或系统338等)。例如，第一传感器和第二传感器可以是雷达传感器324。每当随时间的输出808A、808B在车辆100上的相同类型和/或位置的传感器之间基本上相似时，就可以确定传感器具有相同的操作特性或能力。在一个实施例中，这种相似性可以指示传感器未被任何物体遮挡。
图8C示出了车辆100的第三传感器的随时间的输出808C的图形表示803。在一些实施例中，第一传感器和/或第二传感器中的一个或多个传感器可以与车辆100的第三类型的传感器不同。例如，第三相同类型的传感器可以是车辆100的成像传感器116A、116F、332、336(例如，相机等)。尽管随时间的输出808C被示意性地表示为2D波形，但是应当理解，视觉数据不必如此限制。在任何情况下，第三传感器输出的随时间的输出808C被示出为随时间改变(例如，强度和/或测量单位的改变，如上所述)。
图9示出了图形表示901，示出了在相同时间段内车辆100的三个传感器的重叠的随时间的输出808B、808C、908的示例。如上所述，本文描述的方法和系统可以利用与图8A至图9中所示类似(如果不相同的话)的传感器检测信息(例如，与一个或多个传感器相关联以检测传感器遮挡，包括在传感器表面上、与之接触或作为其部分的物体。例如，图9的图形表示901示出了被挡住的第一传感器随时间的输出1008的示例。可以通过比较相同时间段内的类似传感器(例如，第二传感器)的随时间的输出808B来确定图9中的第一传感器被挡住。用虚线示出第二传感器的随时间的输出908B，它与被挡住的第一传感器的随时间的输出908重叠。在这个示例性图形表示901中，可以在曲线图的不一致区域902上确定或观察到随时间的输出908、808B之间的差异。如图9所示，第一传感器和第二传感器提供在所述时间段的第一部分(例如，在所述时间部分上类似的随时间的输出908、808B)类似(如果不相同的话)的检测到的传感器信息。然而，对于所述时间段的相同剩余部分，当与第二传感器的随时间的输出808B进行比较时，第一传感器在不一致区域902上提供不同的检测到的传感器信息(例如，随时间的输出908)。
在一些实施例中，随时间的输出908、808B之间的差异可以指示车辆100的至少一个传感器被遮挡和/或无功能。本披露内容的一方面在于，一个或多个特定传感器可以被识别为被遮挡的一个或多个传感器。这种识别可以包括参考与车辆100的传感器相关联的信号特征、强度、测量值等。在一个实施例中，传感器处理器340可以根据预测或预设的阈值而确定来自传感中的一个传感器的检测到的传感器信息没有改变。检测到的传感器信息的这种变化的缺乏可以指示传感器在一段时间或在一段时间内被完全遮挡或挡住。
在一些实施例中，传感器处理器340可以确定当与至少一个其他传感器(例如，不同类型的传感器、第三传感器等)的检测到的传感器信息进行比较时，根据至少一个其他传感器的变化特性，来自传感器中的一个传感器的检测到的传感器信息没有改变。例如，提供随时间的输出808C的第三传感器可以在车辆100上以与具有随时间的输出908、808B的第一传感器和/或第二传感器类似的位置定向(例如，感测车辆100周围的环境中、在车辆100的特定侧、区域或区处等的移动、目标或变化)。在这个示例中，传感器处理器340可以确定第二传感器随时间的输出808B和第三传感器随时间的输出808C虽然不一定相同但指示所感的环境中的相关随时间的变化。另外或可替代地，传感器处理器340可以确定第一传感器随时间的输出1008和第三传感器随时间的输出808C至少在一部分时间(例如，不一致区域902)上没有关系。在一些实施例中，传感器处理器340可以使用这个变化信息关系来唯一地识别一个或多个传感器中的被遮挡的传感器。
图10示出了图形表示1001，示出了在相同时间段内车辆100的多个传感器的重叠的随时间的输出1008、808B的示例。如上所述，本文描述的方法和系统可以利用与图8A至图10中所示类似(如果不相同的话)的传感器检测信息(例如，与一个或多个传感器相关联以检测传感器遮挡，包括在传感器表面上、与之接触或作为其部分的物体。在一个示例中，传感器可能被灰尘或碎屑遮挡，并且可以提供以某种方式受损的信息(例如，不如干净的传感器那样精确、传感器的范围受限等)。例如，图10的图形表示1001示出了被遮挡的第一传感器随时间的输出1008的示例。可以通过将相同时间段内的类似传感器(例如，第二传感器)的随时间的输出808B与第一传感器的随时间的输出1008进行比较来确定图10中的第一传感器被遮挡。用虚线示出第二传感器的随时间的输出808B，它与被遮挡的第一传感器的随时间的输出1008重叠。在这个示例性图形表示1001中，可以在曲线图的不一致区域1002或测量变化上确定或观察到随时间的输出1008、808B之间的差异。如图10所示，第一传感器和第二传感器提供在所述时间段内类似(如果不相同的话)的检测到的传感器信息(例如，类似的随时间的输出1008、808B)。然而，当与同一时间段内的第二传感器的随时间的输出808B进行比较时，第一传感器在该时间段内提供检测到的传感器信息(例如，随时间的输出1008)的缩放(例如，减小、缩小、不太精确等)测量变化1002。在一些实施例中，测量变化1002可以归因于目标与特定传感器的接近度，但是当测量变化1002(例如，测量偏移等)在一段时间内进行的所有测量上基本一致时，可以确定传感器(至少部分地)被遮挡。在图10中，例如，提供趋缓的强度或测量值(例如，缩小、降低或减小的值等)的传感器可以被确定为被遮挡的传感器。
图11A至图11C示出了由车辆100的至少一个成像系统检测的成像传感器信息1101至1103的示意图，该成像传感器信息描述了随时间(T1至T3)变化(例如，当车辆100正在驾驶时等)的视觉环境(例如，在车辆100处或周围的某个点处)。在一些实施例中，成像系统可以是上述成像传感器116A、116F、332、336(例如，相机等)中的一个或多个成像传感器。11A至11C的示意图示出了计算机生成的图像1101至1103，所述图像包括在车辆100沿着路径1106或道路操作时被检测为在形状、大小、范围和/或几何形状上变化的一个或多个目标1104A至1104E。
图11A示出了根据本披露内容的实施例的由车辆100的成像系统在第一行进时刻T1检测到的成像传感器信息1101的示意图。在一些实施例中，车辆100可能正沿着街道、道路或其他驾驶路径1104驾驶。在车辆100正在驾驶时，成像系统可以在视觉上检测成像系统的感测区域中的描述(例如，视觉上)车辆100外部的环境的目标。环境可以包括道路1106上的第一目标1104A(例如，另一车辆、行人、物体等)，和/或一个或多个其他目标1104B至1104E(例如，建筑物、地标、标志、标记等)。
在车辆100沿着路径1106移动时，与目标1104A至1104E相关联的视觉特性可以在第二时刻T2变化。图11B示出了根据本披露内容的实施例的由车辆100的成像系统在第二行进时刻T2检测到的成像传感器信息1102的示意图。在图11B中，到所有目标1104A至1104E的范围已经改变。例如，车辆目标1104和建筑物目标1104B、1104D、1104E的大小和形状在第二时刻T2的尺寸增加，而建筑物目标1104C被示为正向图像外移动。
随着车辆100在后续时刻继续沿着路径1106移动，与目标1104A至1104E相关联的视觉特性可以继续改变。在图11C中，示出了根据本披露内容的实施例的由车辆100的成像系统在第三行进时刻T3检测到的成像传感器信息1103的示意图。图11C示出了目标信息已经改变以包括与一些目标相关联的更大的形状和大小，而其他目标已完全移到图像外。例如，车辆目标1104和建筑物目标1104B的形状和大小已经增加，而建筑物目标1204D被示为正向图像外移动并且建筑物目标1104C、1104E已完全移到图像外。在一些实施例中，图11A至图11C示出了未被遮挡的成像系统和/或传感器的随时间(例如，T1至T3)变化的成像传感器信息。
图12是根据本披露内容的实施例的车辆100的通信环境1200的各方面的实施例的框图，该通信环境包括用于生成模拟激光雷达数据的系统。通信系统1200可以包括图3所示的部件，为简单起见省略了其中几个部件。然而，应当理解，图3中的所有部件都可以与图12的特征集成或以其他方式结合该图的特征使用。
如图3所示，驾驶车辆传感器可以包括雷达324和相机332。相机332可以是配置为收集图像数据的任何类型的传感器，包括夜视相机或红外相机。传感器处理器系统340包括激光雷达自动编码器1215和渲染引擎1220，该激光雷达自动编码器可以包括下面更详细描述的卷积神经网络自动编码器，该渲染引擎可以包括下面更详细描述的定制激光雷达渲染引擎。激光雷达自动编码器1215接收来自雷达324和相机332的数据，并将数据输出到渲染引擎1220。渲染引擎1220将模拟激光雷达数据输出到车辆控制系统348。
车辆控制系统348可以接收来自渲染引擎1220的模拟激光雷达数据，并且确定要控制车辆100的某个方面。控制车辆100的某个方面可以包括经由与车辆相关联的一个或多个显示设备372来呈现信息、向与车辆相关联的一个或多个计算设备368发送命令、和/或控制车辆的驾驶操作。在一些实施例中，车辆控制系统348可以对应于根据上述驾驶自主性级别来控制车辆100的驾驶操作的一个或多个计算系统。在一个实施例中，车辆控制系统348可以通过控制给车辆的加速度计和/或制动系统的输出信号来操作车辆100的速度。在这个示例中，车辆控制系统348可以接收描述车辆100周围的环境的传感器数据，并且基于所接收的传感器数据来确定要调整车辆100的加速度、动力输出和/或制动。车辆控制系统348可以另外控制车辆100的转向和/或其他驾驶功能。在另一实施例中，车辆控制系统348可以计算修改驾驶操作并基于那些修改驾驶操作生成控制信号，以控制一个或多个致动器1250，从而实施修改驾驶操作。
应当理解，车辆控制系统300的操作和修改的通信环境1200可以如上面参考图3描述地那样运行。
图13是示出了用于激光雷达模拟算法的训练操作的流程图。该训练方法利用(1)诸如卷积神经网络自动编码器等激光雷达自动编码器1215，其将来自相机332的图像数据(I)和来自雷达324的雷达数据作为输入，并输出预测深度(D)；(2)渲染引擎1220，其配置为在固态激光雷达系统的情况下利用任意数量的射束或单个光栅来模拟任何类型的激光雷达数据；以及(3)一系列损失函数(连同用于训练的附加网络，未示出)，其涉及使分布之间的几何损失和误差最小化。因此，在步骤1305处，自动编码器1215接收稀疏雷达数据和图像数据。在步骤1310处，自动编码器1215应用卷积神经网络自动编码操作。在步骤1315处，自动编码器1215输出预测的密集深度图或点云。在步骤1320处，对数据应用第一损失函数集合。在步骤1325处，定制激光雷达渲染引擎1220将密集深度图或点云渲染成稀疏深度图或点云。在步骤1330处，渲染引擎1220输出稀疏深度图或点云。在步骤1335处，应用第二损失函数集合。
在步骤1320处，可以使用包括以下的几个损失函数：
平方和误差：给定图像I(X×Y×3)和雷达点云R(N×3，(x，y，z))，自动编码器1215输出深度图D(X×Y×1)。平方和损失是雷达点云R中(x，y)的最接近z值和与(x，y)处对应的深度值D和表示深度值置信度的概率图P之间的平方差之和的平均值。此损失函数的目的是迫使网络学习从雷达获取的场景的真实尺度。经由损失函数使用雷达点还可以使得网络能够学习忽略有噪声的雷达点，从而减少或消除对去噪模块的需要。
图像一致性损失：第二自动编码器1215B(未示出)可以附有与自动编码器1215相同的配置。自动编码器1215B将预测的深度图D(自动编码器1215的输出)作为输入，并输出图像I的渲染版本，表示为I’。循环一致性是使用循环一致性损失(L2范数或顺序损失)||I-I’||2得以实现的。该损失函数的目的是确保图像和深度图是一致的——图像中较平滑的区域在深度图中也更平滑，反之亦然，并且附近的区域与图像中的相同纹理共享相同的深度(以隐式地对抗雷达点云的稀疏性)。
交叉熵损失：类似于图像一致性损失函数，交叉熵损失函数操作以确保熵在局部邻域中的图像与深度图之间相对一样。此方法再次帮助确保深度图在图像中类似纹理的区域上保持一致，但为在局部邻域中。该损失函数还使平滑度约束在预测的深度图中得以实现。
在步骤1335处应用的损失函数可以包括以下：
对抗损失：一旦深度图被渲染成激光雷达数据，如果生成的激光雷达数据和实际的激光雷达数据属于相同的分布，则该算法可以学习惩罚。这是使用鉴别器网络G(生成式对抗网络架构)来完成的，该鉴别器网络计算生成的激光雷达点与实际的激光雷达点的基础分布之间的距离(瓦瑟斯坦距离)。尽管使用激光雷达点来测试鉴别器，但这不构成使用激光雷达进行监督(正如本披露所设想的)，并且使得能够在没有使用激光雷达进行监督的情况下训练算法。此阶段可以获取任意激光雷达样本，并将其作为真实值(ground truth)馈送到鉴别器。例如，如果该算法希望生成模拟Velodyne 64射束激光雷达图像，则渲染引擎1220配置为进行该操作，并且任何已有的Velodyne 64射束数据集可以从任何数据集中收集以用于训练对抗损失。
语义损失：该损失函数确保渲染的点云不但美观且与真实点云相似，而且可以用作真实的激光雷达点云来解决感知问题。例如，在2D图像中存在对象分割注释或在2D图像中存在对象检测注释的情况下，所生成的激光雷达数据可以用于执行对象检测和/或点分割，并且使用定位损失或交叉熵损失(在分割的情况下)来训练模拟激光雷达生成网络。这确保了模拟激光雷达网络不仅学习生成语义上有意义的点云，还学习生成对于对象检测而言关键的对象点的明显提示。
现在将提供对自动编码器1215的进一步描述。自动编码器1215不同于典型的自动编码器，其具有两个卷积头(编码器)——一个用于来自相机332的图像数据，另一个用于来自雷达324的雷达数据。输出是如上所述的密集深度图D。为了在自动编码器1215与雷达点云之间创建更强的依赖性(以确保雷达数据被很好地利用)，自动编码器1215在雷达卷积头(编码器)与解码器之间使用跳跃连接(skip connection)，并且还在多个尺度(在解码器的多个层)上回归深度图，并且在每个尺度上迫使雷达数据与预测的深度图之间的损失最小化，从而使对雷达点云依赖性更强。
自动编码器1215可以可选地使用并行架构进行深度的迭代回归。自动编码器1215的目标是增加雷达点云密度。因此，自动编码器1215可以通过以下方式被迭代地馈送：仅选择深度图D的用P表示的置信度超过特定阈值的点，并且在每个步骤处作为输入馈送到自动编码器1215。这允许自动编码器1215迭代地增加雷达点云密度。然而，应当注意，本文描述的技术可以使用非迭代架构来实施以提高实时实施的容易性。
相反，自动编码器B(如上所述)可以是以深度图D作为输入和I’作为输出的典型自动编码器。D和I是大小相同的矩阵。
类似地，用于计算对抗损失的鉴别器G是典型的卷积神经网络，其具有卷积、非线性全连接层，随后是提供所生成的数据和真实值数据是否属于相同分布的概率的softmax函数。这可以经由极小极大决策规则或瓦瑟斯坦损失来得以实现。
通过在两个相邻图像帧之间添加附加的图像一致性损失函数，该训练方法还可扩展到多帧设置。在该方法中，算法在“独立”模式下针对每个图像运行，并为每个实例生成单独的深度图。随后，可以与两个独立的深度图同时地估计场景变换，从而允许还估计独立移动的3D点/区域。这实际上提供了独立移动的两个3D点之间的距离，该距离可以附加地用作速度信息。这是与已知的昂贵的多视图图像重建技术相比的优势。
现在将描述渲染引擎1220的操作。给定深度图D和光心O(x，y，z)，渲染引擎1220通过基于传感器的输入数据和配置算法地生成激光雷达点云来对激光雷达进行模拟。例如，为了模拟Velodyne 64的取向和倾斜，引擎1220将64个不同的光心放置在传感器光心的上方和下方，生成360度的射束，并针对64个光心中的每个光心的射束的每个投影提取对应的深度点。类似地，对于如Aeva的任何固态传感器，引擎1220执行光栅渲染以生成多个点而不是360度射束。
此外，算法可以使用估计的深度图直接操作而无需渲染引擎，但是渲染引擎提供了与实际激光雷达相比稀疏性水平和相似性质水平相同的模仿激光雷达数据的方式。使用渲染引擎对于对抗损失函数也是必要的，因为真实值和生成的数据必须具有相同的分布，但是在其他方面，生成的深度图如果没有更好也至少同样地用在大多数感知途径中。
图14是示出了在算法已经被训练之后在现场激光雷达模拟系统1405和车辆控制系统348的操作的流程图。激光雷达模拟系统1405执行与图13所示相同的步骤，不同之处在于现在省略了损失函数，因为该算法是充分训练后得到的。因此，在步骤1415处，自动编码器1215接收来自雷达324的稀疏雷达数据和来自相机332的图像数据。在步骤1420处，自动编码器1215应用卷积神经网络自动编码操作。在步骤1425处，自动编码器1215输出预测的密集深度图或点云。在步骤1430处，定制激光雷达渲染引擎1220将密集深度图或点云渲染成稀疏深度图或点云。在步骤1435处，渲染引擎1220输出稀疏深度图或点云。
模拟激光雷达数据(例如，稀疏深度图或点云)被输出到车辆控制系统348，该车辆控制系统在步骤1440处接收数据。在步骤1445处，车辆控制系统348基于接收到的模拟激光雷达数据确定并生成修改驾驶操作信号。在步骤1450处，车辆控制系统348输出修改驾驶操作信号以例如通过控制一个或多个致动器来操作车辆，从而实施所生成的修改驾驶操作信号。车辆控制系统如上面关于图3和图12所描述地那样操作。
可以连续且自动地执行本文讨论的任何步骤、功能和操作。
已经关于车辆系统和电动车辆描述了本披露内容的示例性系统和方法。然而，为了避免不必要地模糊本披露内容，前面的描述省略了许多已知的结构和设备。这种省略不应被解释为对要求保护的披露内容的范围的限制。阐述了许多具体细节以提供对本披露内容的理解。然而，应当理解，本披露内容可以以超出本文阐述的具体细节的各种方式来实践。
此外，虽然本文所示的示例性实施例示出了系统的相搭配的各种部件，但是系统的某些部件可以远程地定位、定位在诸如LAN和/或互联网的分布式网络的远距离部分处、或者定位在专用系统内。因此，应当理解，该系统的部件可以组合成一个或多个设备，诸如服务器、通信设备，或并置在分布式网络的特定节点上，诸如模拟和/或数字电信网络、分组交换网络或电路交换网络。从前面的描述中将理解，并且出于计算效率的原因，系统的部件可以布置在分布式部件网络内的任何位置，而不影响系统的操作。
此外，应当理解，连接元件的各种链路可以是有线或无线链路或其任何组合、或能够将数据提供/和传送到经连接的元件并从经连接的元件提供和/或传送数据的任何其他已知或后续发展的(一个或多个)元件。这些有线或无线链路也可以是安全链路，并且可以能够传送加密信息。例如，用作链路的传输介质可以是用于电信号的任何合适的载体，包括同轴电缆、铜线和光纤，并且可以采用声波或光波的形式，诸如在无线电波和红外线数据通信期间生成的那些。
尽管已经关于特定的事件序列讨论和说明了流程图，但是应当理解，在不实质上影响所披露的实施例、配置和方面的操作的情况下，可以发生对这个序列的改变、添加和省略。
可以使用本披露内容的许多变化和修改。可以提供本披露内容的一些特征而不提供其他特征。
在又一实施例中，可以结合专用计算机、经编程的微处理器或微控制器和(一个或多个)外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬连线的电子器件或逻辑电路(诸如离散元件电路)、可编程逻辑设备或门阵列(诸如PLD、PLA、FPGA、PAL)、专用计算机、任何相当的装置等来实施本披露内容的系统和方法。通常，可以使用能够实施本文所示方法的任何(一个或多个)设备或装置来实施本披露内容的各个方面。可以用于本披露的示例性硬件包括计算机、手持式设备、电话(例如，蜂窝、互联网、数字、模拟、混合等)，以及本领域中已知的其他硬件。这些设备中的一些设备包括处理器(例如，单个或多个微处理器)、存储器、非易失性存储器、输入设备和输出设备。此外，还可以构造替代性软件实施方式，包括但不限于，分布式处理或部件/对象分布式处理、并行处理或虚拟机处理，以实施本文描述的方法。
在又一实施例中，所披露的方法可以容易地结合使用对象或面向对象的软件开发环境的软件来实施，该软件开发环境提供可以在各种计算机或工作站平台上使用的便携式源代码。可替代地，可以使用标准逻辑电路或VLSI设计部分地或完全地以硬件实施所披露的系统。使用软件还是硬件来实施根据本披露内容的系统取决于对系统的速度和/或效率要求、特定功能以及所使用的特定软件或硬件系统或微处理器或微计算机系统。
在又一实施例中，所披露的方法可以部分地以软件来实施，该软件可以存储在存储介质上，在与控制器和存储器合作的经编程通用计算机、专用计算机、微处理器等上执行。在这些情况下，本披露内容的系统和方法可以实施为嵌入在个人计算机上的程序(诸如小应用程序、
Figure BDA0003693413520000341
或CGI脚本)、驻留在服务器或计算机工作站上的资源、嵌入专用测量系统、系统部件等的例程。该系统还可以通过将系统和/或方法物理地结合到软件和/或硬件系统中来实施。
尽管本披露内容参考特定标准和协议描述了在实施例中实施的部件和功能，但是本披露内容不限于这类标准和协议。本文未提及的其他类似标准和协议是存在的并且被认为包括在本披露内容中。而且，本文提及的标准和协议以及本文未提及的其他类似标准和协议定期地被具有基本相同功能的更快或更有效的等效物所取代。具有相同功能的这类替代标准和协议被认为是包括在本披露内容中的等效物。
本披露内容在各种实施例、配置和方面包括基本上如本文所描绘和描述的部件、方法、过程、系统和/或装置，包括其各种实施例、子组合以及子集。本领域技术人员在理解本披露内容之后将明白如何制造和使用本文披露的系统和方法。本披露在多个不同实施例、构型和方面包括在不存在本文未描绘和/或描述的事项的情况下，或在其不同的实施例、构型或方面包括在不存在在之前的设备或过程中可能已经使用的此类事项的情况下，提供设备和过程，以例如用于改善性能、实现方便和/或降低实施成本。
已经出于说明和描述的目的呈现了本披露内容的前述讨论。前述内容并不旨在将本披露内容限制于本文披露的一种或多种形式。在例如上述具体实施方式中，出于精简本披露内容的目的，将本披露内容的各种特征在一个或多个实施例、配置或方面中组合在一起。本披露内容的实施例、配置或方面的特征可以在除了以上讨论的那些之外的替代性实施例、配置或方面中进行组合。本披露内容的这种方法不应被解释为反映以下意图：所要求保护的本披露内容需要比在各权利要求中明确叙述的更多的特征。而是，如所附权利要求所反映的，创造性方面仰赖于少于单个前述所披露实施例、配置或方面的所有特征。因此，所附权利要求特此结合在本具体实施方式中，其中每条权利要求依赖其自身作为本披露内容的独立的优选实施例。
而且，虽然本披露的描述已经包括了对一个或多个实施例、构型或方面以及某些变化和修改的描述，但其他的变更、组合、以及修改也在本披露的范围之内，例如，正如可能在本领域的技术人员理解了本披露之后的技能和知识范围之内。旨在获得在允许的范围内包括替代性实施例、配置或方面的权利，包括对所要求保护的那些的替代性的、可互换的和/或等效的结构、功能、范围或步骤，而无论此类替代性的、可互换的和/或等效的结构、功能、范围或步骤是否在本文中披露，并且并非旨在公开地献出任何可获专利的主题。
实施例包括一种系统，该系统包括：第一传感器，该第一传感器配置为感测稀疏信号；第二传感器，该第二传感器配置为感测图像信号；编码器，该编码器耦合到所述第一传感器和所述第二传感器，并且配置为接收所述稀疏信号中的至少一个和所述图像信号中的至少一个；处理器，该处理器耦合到所述编码器；以及计算机可读介质，该计算机可读介质耦合到所述处理器并且包括存储在其上的指令，这些指令使得该处理器基于所述稀疏信号中的所述至少一个和所述图像信号中的所述至少一个来生成模拟激光雷达输出。
上述系统的各方面包括：其中，所述第一传感器包括雷达阵列，并且所述稀疏信号包括雷达信号；其中，所述第二传感器包括相机；其中，所述稀疏信号中的所述至少一个由雷达点云组成；其中，所述图像信号中的所述至少一个由单个帧组成；其中，所述模拟激光雷达输出包括模拟激光雷达点云；并且其中，所述模拟激光雷达输出包括深度图。
实施例包括一种车辆，该车辆包括：模拟激光雷达成像系统，该模拟激光雷达成像系统包括：第一传感器，该第一传感器配置为感测稀疏信号；第二传感器，该第二传感器配置为感测图像信号；编码器，该编码器耦合到所述第一传感器和所述第二传感器，并且配置为接收所述稀疏信号中的至少一个和所述图像信号中的至少一个；第一处理器，该第一处理器耦合到所述编码器；以及第一计算机可读介质，该第一计算机可读介质耦合到所述第一处理器并且包括存储在其上的指令，这些指令使得所述第一处理器基于所述稀疏信号中的所述至少一个和所述图像信号中的所述至少一个来生成模拟激光雷达输出；第二处理器，该第二处理器配置为接收所述模拟激光雷达输出；以及第二计算机可读介质，该第二计算机可读介质耦合到所述第二处理器并且包括存储在其上的指令，这些指令使得所述第二处理器执行包括以下的步骤：响应于所述模拟激光雷达图像而生成至少一个修改驾驶操作信号；以及将所述修改驾驶操作信号传送到一个或多个致动器，以响应于所述修改驾驶操作信号而控制一个或多个车辆部件执行选定操作。
上述车辆的各方面包括：其中，所述第一传感器包括雷达阵列，并且所述稀疏信号包括雷达信号；其中，所述第二传感器包括相机；其中，所述稀疏信号中的所述至少一个由雷达点云组成；其中，所述图像信号中的所述至少一个由单个帧组成；其中，所述模拟激光雷达输出包括模拟激光雷达点云；并且其中，所述模拟激光雷达输出包括深度图。
实施例包括一种方法，该方法包括：由第一传感器感测至少一个稀疏信号；由第二传感器感测至少一个图像信号；由耦合到所述第一传感器和所述第二传感器的编码器接收所述至少一个稀疏信号和所述至少一个图像信号；以及由处理器基于所述至少一个稀疏信号和所述至少一个图像信号生成模拟激光雷达输出。
上述方法的各方面包括：其中，所述第一传感器包括雷达阵列，并且所述稀疏信号包括雷达信号；其中，所述稀疏信号中的所述至少一个由雷达点云组成；其中，所述图像信号中的所述至少一个由单个帧组成；其中，所述模拟激光雷达输出包括模拟激光雷达点云；并且其中，所述模拟激光雷达输出包括深度图。
如本文基本上披露的所述方面/实施例中的任一个或多个方面/实施例。
如本文基本上披露的任何一个或多个方面/实施例可选地与如本文基本上披露的任何一个或多个其他方面/实施例相组合。
一个或装置适于执行如本文基本上披露的上述方面/实施例中的任何一个或多个方面/实施例。
短语“至少一个”、“一个或多个”、“或”和“和/或”是开放式表达，这些短语在操作中既是合取性又是析取性的。例如，表达“A、B和C中的至少一二个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”、“A、B和/或C”、“A、B或C”中的每个表达意指单独的A、单独的B、单独的C、A和B在一起、A和C在一起、B和C在一起、或A、B和C在一起。
术语“一”或“一个”实体指的是一个或多个该实体。这样，术语“一”(或“一个”)，“一个或多个”和“至少一个”在本文中可互换使用。还应当注意，术语“包括”、“包含”和“具有”可互换使用。
如本文所使用的，术语“自动”及其变型指的是在执行过程或操作时，在没有重要的人为输入的情况下完成的任何过程或操作，该过程或操作通常是连续的或半连续的。然而，如果在执行过程或操作之前接收到输入，即使过程或操作的执行使用了重要的或不重要的人为输入，过程或操作也可以是自动的。如果人为输入影响过程或操作的执行方式，则认为此类输入是重要的。不认为同意执行过程或操作的人为输入是“重要的”。
本披露内容的各方面可以采取完全是硬件的实施例、完全是软件的实施例(包括固件、常驻软件、微代码等)、或者组合了软件和硬件方面的实施例的形式，这些通常都可以在本文被称为“电路”、“模块”或“系统”。可以使用一个或多个计算机可读介质(一个或多个)的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。
计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下：具有一根或多根电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述的任何合适组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储程序以用于由指令执行系统、装置或设备使用或与其结合使用。
计算机可读信号介质可以包括传播的数据信号，其中计算机可读程序代码嵌入在该数据信号中，例如，在基带中或作为载波的一部分。这种传播的信号可以采用各种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其并非计算机可读存储介质并且可以传送、传播或传输程序，以用于由指令执行系统、装置或设备使用或与其结合使用。计算机可读介质上嵌入的程序代码可以使用任何适当的媒介来传输，包括但不限于无线、有线、光纤电缆、RF等、或者前述的任何合适的组合。
如本文所使用的，术语“确定”、“计算”、“推断”及其变型可互换使用，并且包括任何类型的方法、过程、数学运算或技术。
术语“电动车辆”(EV)在本文中也称为电驱动车辆，可以使用一个或多个电动马达或牵引马达来推进。电动车辆可以用来自车外来源的电力通过收集器系统被供电、或者可以自含有电池或发电机以将燃料转换成电力。电动车辆总体上包括可再充电的电力储存系统(RESS)(也称为全电动车辆(FEV))。电力储存方法可以包括：储存在车辆的车载电池(例如，电池电动车辆或BEV)中的化学能、车载动能储存装置(例如，惯性轮)、和/或静态能量(例如，通过车载双层电容器)。可再充电的车载电储存装置的形式可以有电池、双电层电容器和惯性轮能量储存装置。
术语“混合动力电动车辆”是指可以将常规(通常是化石燃料供能的)动力系与某种形式的电动推进相结合的车辆。大多数混合动力电动车辆将常规内燃机(ICE)推进系统与电动推进系统(混合动力车辆传动系)相结合。在并联式混合动力车中，ICE和电动马达都连接至机械传动装置、并且通常可以通过常规传动装置同时传递动力以驱动车轮。在串联式混合动力车中，仅电动马达驱动动力系，并且较小的ICE用作发电机以对电动马达供电或对电池再充电。动力分配式混合动力车具有串联和并联特性。完全混合动力车、有时也称为强混合动力车，是可以仅以发动机、仅以电池或以两者的组合运行的车辆。中型混合动力车是不能单独以其电动马达驱动的车辆，因为电动马达没有足够的动力来自行推进车辆。
术语“可再充电电动车辆”或“REV”是指具有车载可再充电能量储存装置的车辆，包括电动车辆和混合动力电动车辆。

Claims (20)

1.一种系统，包括：
第一传感器，用于感测稀疏信号；
第二传感器，用于感测图像信号；
编码器，所述编码器耦合到所述第一传感器和所述第二传感器，用于接收所述稀疏信号中的至少一个和所述图像信号中的至少一个；
处理器，所述处理器耦合到所述编码器；以及
计算机可读介质，所述计算机可读介质耦合到所述处理器并且包括存储在其上的指令，所述指令使得所述处理器基于所述稀疏信号中的所述至少一个和所述图像信号中的所述至少一个来生成模拟激光雷达输出。
2.如权利要求1所述的系统，其中，所述第一传感器包括雷达阵列，并且所述稀疏信号包括雷达信号。
3.如权利要求1所述的系统，其中，所述第二传感器包括相机。
4.如权利要求1所述的系统，其中，所述稀疏信号中的所述至少一个由雷达点云组成。
5.如权利要求1所述的系统，其中，所述图像信号中的所述至少一个由单个帧组成。
6.如权利要求1所述的系统，其中，所述模拟激光雷达输出包括模拟激光雷达点云。
7.如权利要求1所述的系统，其中，所述模拟激光雷达输出包括深度图。
8.一种车辆，包括：
模拟激光雷达成像系统，包括：
第一传感器，所述第一传感器感测稀疏信号；
第二传感器，所述第二传感器感测图像信号；
编码器，所述编码器耦合到所述第一传感器和所述第二传感器，接收所述稀疏信号中的至少一个和所述图像信号中的至少一个；
第一处理器，所述第一处理器耦合到所述编码器；以及
第一计算机可读介质，所述第一计算机可读介质耦合到所述第一处理器并且包括存储在其上的指令，所述指令使得所述第一处理器基于所述稀疏信号中的所述至少一个和所述图像信号中的所述至少一个来生成模拟激光雷达输出；
第二处理器，所述第二传感器接收所述模拟激光雷达输出；以及
第二计算机可读介质，所述第二计算机可读介质耦合到所述第二处理器并且包括存储在其上的指令，所述指令使得所述第二处理器：
响应于所述模拟激光雷达图像而生成至少一个修改驾驶操作信号；以及
将所述修改驾驶操作信号传送到一个或多个致动器，以响应于所述修改驾驶操作信号而控制一个或多个车辆部件执行选定操作。
9.如权利要求8所述的车辆，其中，所述第一传感器包括雷达阵列，并且所述稀疏信号包括雷达信号。
10.如权利要求8所述的车辆，其中，所述第二传感器包括相机。
11.如权利要求8所述的车辆，其中，所述稀疏信号中的所述至少一个由雷达点云组成。
12.如权利要求8所述的车辆，其中，所述图像信号中的所述至少一个由单个帧组成。
13.如权利要求8所述的车辆，其中，所述模拟激光雷达输出包括模拟激光雷达点云。
14.如权利要求8所述的车辆，其中，所述模拟激光雷达输出包括深度图。
15.一种方法，包括：
由第一传感器感测至少一个稀疏信号；
由第二传感器感测至少一个图像信号；
由耦合到所述第一传感器和所述第二传感器的编码器接收所述至少一个稀疏信号和所述至少一个图像信号；以及
由处理器基于所述至少一个稀疏信号和所述至少一个图像信号生成模拟激光雷达输出。
16.如权利要求15所述的方法，其中，所述第一传感器包括雷达阵列，并且所述稀疏信号包括雷达信号。
17.如权利要求15所述的方法，其中，所述稀疏信号中的所述至少一个由雷达点云组成。
18.如权利要求15所述的方法，其中，所述图像信号中的所述至少一个由单个帧组成。
19.如权利要求15所述的方法，其中，所述模拟激光雷达输出包括模拟激光雷达点云。
20.如权利要求15所述的方法，其中，所述模拟激光雷达输出包括深度图。
CN202180007192.7A 2020-03-16 2021-03-16 模拟激光雷达设备和系统 Pending CN115244427A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/819,557 2020-03-16
US16/819,557 US11493625B2 (en) 2020-03-16 2020-03-16 Simulated LiDAR devices and systems
PCT/US2021/022569 WO2021188541A1 (en) 2020-03-16 2021-03-16 Simulated lidar devices and systems

Publications (1)

Publication Number Publication Date
CN115244427A true CN115244427A (zh) 2022-10-25

Family

ID=77664762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180007192.7A Pending CN115244427A (zh) 2020-03-16 2021-03-16 模拟激光雷达设备和系统

Country Status (3)

Country Link
US (1) US11493625B2 (zh)
CN (1) CN115244427A (zh)
WO (1) WO2021188541A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115629388A (zh) * 2022-12-23 2023-01-20 成都远望探测技术有限公司 一种基于红外和微波成像仪数据的雷达回波模拟方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644549B2 (en) * 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
US20220032820A1 (en) * 2020-07-30 2022-02-03 Robert Bosch Gmbh Modular Smart Controller for Electric Motor
US11189049B1 (en) * 2020-10-16 2021-11-30 Ford Global Technologies, Llc Vehicle neural network perception and localization
US11995920B2 (en) * 2020-10-23 2024-05-28 Argo AI, LLC Enhanced sensor health and regression testing for vehicles
US11733346B2 (en) * 2021-02-24 2023-08-22 Qualcomm Incorporated Assistance information to aid with cooperative radar sensing with imperfect synchronization
US20220357441A1 (en) * 2021-05-10 2022-11-10 Qualcomm Incorporated Radar and camera data fusion
KR20230014344A (ko) * 2021-07-21 2023-01-30 현대모비스 주식회사 차량의 주변 환경 모니터링 장치 및 방법
US11914599B2 (en) 2021-11-19 2024-02-27 Hamilton Sundstrand Corporation Machine learning intermittent data dropout mitigation
US20230177839A1 (en) * 2021-12-02 2023-06-08 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
US12001175B2 (en) * 2021-12-20 2024-06-04 Gm Cruise Holdings Llc Long tail lidar 3-D object detection improvement with targeted simulation data injection
CN114895316B (zh) * 2022-07-11 2022-10-28 之江实验室 一种多激光雷达测距的快速数值仿真方法和装置
US20240051568A1 (en) * 2022-08-09 2024-02-15 Motional Ad Llc Discriminator network for detecting out of operational design domain scenarios

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280068B2 (en) * 2005-07-14 2007-10-09 Agilent Technologies, Inc. System and method for microwave imaging with suppressed sidelobes using a sparse antenna array
US9411042B2 (en) * 2012-05-09 2016-08-09 Duke University Multi-sensor compressive imaging
US9274221B2 (en) * 2013-02-01 2016-03-01 GM Global Technology Operations LLC Method and apparatus for remote object sensing employing compressive sensing
US20150192668A1 (en) * 2014-01-06 2015-07-09 Honeywell International Inc. Mathematically combining remote sensing data with different resolution to create 3d maps
CN107204037B (zh) 2016-03-17 2020-11-24 中国科学院光电研究院 基于主被动三维成像系统的三维影像生成方法
US9739881B1 (en) 2016-03-24 2017-08-22 RFNAV, Inc. Low cost 3D radar imaging and 3D association method from low count linear arrays for all weather autonomous vehicle navigation
US10228693B2 (en) 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10509120B2 (en) 2017-02-16 2019-12-17 GM Global Technology Operations LLC Lidar-radar relative pose calibration
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10877152B2 (en) * 2018-03-27 2020-12-29 The Mathworks, Inc. Systems and methods for generating synthetic sensor data
WO2019191306A1 (en) 2018-03-27 2019-10-03 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
US11521009B2 (en) 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US11461963B2 (en) * 2018-11-16 2022-10-04 Uatc, Llc Systems and methods for generating synthetic light detection and ranging data via machine learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115629388A (zh) * 2022-12-23 2023-01-20 成都远望探测技术有限公司 一种基于红外和微波成像仪数据的雷达回波模拟方法

Also Published As

Publication number Publication date
US11493625B2 (en) 2022-11-08
US20210286068A1 (en) 2021-09-16
WO2021188541A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US11493625B2 (en) Simulated LiDAR devices and systems
US10992860B2 (en) Dynamic seam adjustment of image overlap zones from multi-camera source images
US11815623B2 (en) Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud
US10606274B2 (en) Visual place recognition based self-localization for autonomous vehicles
US11821990B2 (en) Scene perception using coherent doppler LiDAR
US11668798B2 (en) Real-time ground surface segmentation algorithm for sparse point clouds
US20200225661A1 (en) Vehicle path-planner monitor and controller
US10982968B2 (en) Sensor fusion methods for augmented reality navigation
US10286915B2 (en) Machine learning for personalized driving
US11726189B2 (en) Real-time online calibration of coherent doppler lidar systems on vehicles
US10845803B2 (en) Method and apparatus for simultaneous processing and logging of automotive vision system with controls and fault monitoring
CN110254392B (zh) 使用灵活认证装置和方法来提供并控制访问车辆的方法
US11014569B2 (en) Vehicle control system using nonlinear dynamic model states and steering offset estimation
US20190383631A1 (en) Autonomous vehicle sensor data and map integration
US11340354B2 (en) Methods to improve location/localization accuracy in autonomous machines with GNSS, LIDAR, RADAR, camera, and visual sensors
US10538174B2 (en) Real-time nonlinear receding horizon control of batteries for power systems
US11702110B2 (en) Methods and systems to enhance safety of bi-directional transition between autonomous and manual driving modes
US10073463B2 (en) Snow plow mode for autonomous driving
US11560131B2 (en) Lane prediction and smoothing for extended motion planning horizon
US11647164B2 (en) Methods and systems for camera sharing between autonomous driving and in-vehicle infotainment electronic control units
US20210179128A1 (en) Method and system for adjusting vehicle noise output in pedestrian and vehicular traffic environments
CN116461428A (zh) 车辆监控系统和方法
CN116359943A (zh) 使用无源图像传感器和现有光源的飞行时间相机
US11257230B2 (en) Adaptive feature map anchor pruning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination