CN114118350A - 观察的车辆姿态的自监督估计 - Google Patents

观察的车辆姿态的自监督估计 Download PDF

Info

Publication number
CN114118350A
CN114118350A CN202110567589.3A CN202110567589A CN114118350A CN 114118350 A CN114118350 A CN 114118350A CN 202110567589 A CN202110567589 A CN 202110567589A CN 114118350 A CN114118350 A CN 114118350A
Authority
CN
China
Prior art keywords
vehicle
neural network
image
local
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110567589.3A
Other languages
English (en)
Inventor
普纳杰·查克拉瓦蒂
T·图伊泰拉尔
C·皮克龙
汤姆·鲁塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114118350A publication Critical patent/CN114118350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“观察的车辆姿态的自监督估计”。一种方法可包括：接收在第一时间实例处由相机捕获的第一图像，其中所述第一图像包括所观察车辆的至少一部分；基于自我车辆的坐标系和所述所观察车辆的对应于所述第一图像的坐标系来确定第一射线角；接收在第二时间实例处由所述相机捕获的第二图像，其中所述第二图像包括所述所观察车辆的以不同视角取向的至少一部分；基于所述自我车辆的坐标系和所述所观察车辆的对应于所述第二图像的所述坐标系来确定第二射线角；基于所述第一射线角和所述第二射线角确定局部角差；以及使用所述局部角差、所述第一图像和所述第二图像来训练深度神经网络。

Description

观察的车辆姿态的自监督估计
技术领域
本公开总体上涉及深神经网络。
背景技术
深度神经网络(DNN)可以用于执行许多图像理解任务，包括分类、分割和生成字幕。通常，DNN需要大量的训练图像(数万至数百万)。另外，为了训练和预测的目的，通常需要对这些训练图像进行注解。
发明内容
一种系统可包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：接收在第一时间实例处由相机捕获的第一图像，其中所述第一图像包括所观察车辆的至少一部分；基于自我车辆的坐标系和所观察车辆的对应于所述第一图像的坐标系来确定第一射线角；接收在第二时间实例处由所述相机捕获的第二图像，其中所述第二图像包括所观察车辆的以不同视角取向的至少一部分；基于所述自我车辆的坐标系和所观察车辆的对应于所述第二图像的所述坐标系来确定第二射线角；基于所述第一射线角和所述第二射线角确定局部角差；以及使用所述局部角差、所述第一图像和所述第二图像来训练深度神经网络。
在其他特征中，所述处理器还被编程为：接收车辆测距数据；以及基于所述第一射线角、所述第二射线角和所述车辆测距数据确定局部角差。
在其他特征中，所述深度神经网络包括卷积神经网络。
在其他特征中，所述深度神经网络包括孪生神经网络。
在其他特征中，所述孪生神经网络包括第一卷积神经网络和第二卷积神经网络。
在其他特征中，所述孪生神经网络基于第一彩色图像确定第一局部角并基于第二彩色图像确定第二局部角，并且基于所述第一局部角与所述第二局部角之间的差值确定对比损失。
在其他特征中，所述处理器还被编程为：基于所述对比损失来更新所述深度神经网络。
在其他特征中，所述处理器还被编程为：基于所述对比损失来更新与所述深度神经网络的神经元相关联的至少一个权重。
在其他特征中，相机包括单目相机。
在其他特征中，所述处理器还被编程为：经由所述经训练的深度神经网络基于所述第一图像或所述第二图像中的至少一者来计算对应于所观察车辆的横摆分量。
在其他特征中，所述处理器还被编程为：经由所述经训练的深度神经网络基于所述第一图像或所述第二图像中的至少一者来计算对应于所观察车辆的俯仰分量、侧倾分量、x分量、y分量和z分量。
一种方法包括：接收在第一时间实例处由相机捕获的第一图像，其中所述第一图像包括所观察车辆的至少一部分；基于自我车辆的坐标系和所观察车辆的对应于所述第一图像的坐标系来确定第一射线角；接收在第二时间实例处由所述相机捕获的第二图像，其中所述第二图像包括所观察车辆的以不同视角取向的至少一部分；基于所述自我车辆的坐标系和所观察车辆的对应于所述第二图像的所述坐标系来确定第二射线角；基于所述第一射线角和所述第二射线角确定局部角差；以及使用所述局部角差、所述第一图像和所述第二图像来训练深度神经网络。
在其他特征中，该方法包括：接收车辆测距数据；以及基于所述第一射线角、所述第二射线角和所述车辆测距数据确定局部角差。
在其他特征中，所述深度神经网络包括卷积神经网络。
在其他特征中，所述深度神经网络包括孪生神经网络。
在其他特征中，所述孪生神经网络包括第一卷积神经网络和第二卷积神经网络。
在其他特征中，所述孪生神经网络基于第一彩色图像确定第一局部角并基于第二彩色图像确定第二局部角，并且基于所述第一局部角与所述第二局部角之间的差值确定对比损失。
在其他特征中，该方法包括：基于所述对比损失来更新所述深度神经网络。
一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：在训练的深度神经网络处接收包括所观察车辆的至少一部分的图像；以及经由所述经训练的深度神经网络基于所述图像来确定所观察车辆的局部取向角，其中所述经训练的深度神经网络包括包括激活的神经网络和停用的神经网络的孪生神经网络，其中所述激活的深度神经网络确定所观察车辆的局部取向角。
在其他特征中，所述处理器还被编程为：经由所述经训练的深度神经网络基于所述局部取向角和所述图像来计算对应于所观察车辆的横摆分量、俯仰分量、侧倾分量、x分量、y分量和z分量。
附图说明
图1是用于训练深度神经网络的示例性系统的图示。
图2是系统内的示例性服务器的图示。
图3A和图3B是表示自我车辆和所观察车辆的坐标系的示例图。
图4是示例性深度神经网络的图示。
图5是示例性深度神经网络的另一个图示。
图6至图9是用于基于自我车辆相对于所观察车辆的路径来确定射线角和局部角的图示。
图10A至图10C是用于经由监督训练过程来训练深度神经网络的图示。
图11和图12是用于经由自监督训练过程来训练示例性深度神经网络的图示。
图13是示出用于训练深度神经网络的示例性过程的流程图。
图14是示出用于使用经训练的深度神经网络确定所观察车辆的一个或多个多自由度(MDF)姿态分量的示例性过程的流程图。
具体实施方式
本公开提供了一种用于训练深度神经网络以计算和输出车辆的多自由度(MDF)姿态的系统和方法。所述深度神经网络的所述训练基于至少由自我车辆内的前置相机捕获的输入图像。本系统和方法可以在没有准确标记的训练数据的情况下训练深度神经网络，因为获得和/或生成准确标记的训练数据可能是成本密集且耗时的。
图1是示例性车辆系统100的框图。系统100包括车辆105，所述车辆是陆地车辆，诸如汽车、卡车等。车辆105包括计算机110、车辆传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。经由网络135，通信模块130允许计算机110与服务器145通信。
计算机110包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以执行各种操作(包括如本文所公开的操作)的指令。
计算机110可以以自主模式、半自主模式或非自主(手动)模式来操作车辆105。出于本公开的目的，自主模式被限定为其中由计算机110控制车辆105推进、制动和转向中的每一者的模式；在半自主模式下，计算机110控制车辆105推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆105推进、制动和转向中的每一者。
计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。另外，计算机110可以被编程为确定人类操作员是否以及何时控制此类操作。
计算机110可以包括多于一个处理器，或者例如经由如以下进一步描述的车辆105通信模块130而通信地耦接到所述多于一个处理器，所述多于一个处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ECU)等(例如动力传动系统控制器、制动控制器、转向控制器等)中。此外，计算机110可以经由车辆105通信模块130与使用全球定位系统(GPS)的导航系统通信。作为示例，计算机110可以请求并接收车辆105的位置数据。位置数据可以是已知的形式，例如地理坐标(纬度坐标和经度坐标)。
计算机110通常被布置用于依靠车辆105通信模块130并且还利用车辆105内部有线和/或无线网络(例如车辆105中的总线等，诸如控制器局域网(CAN)等)和/或其他有线和/或无线机制进行通信。
经由车辆105通信网络，计算机110可以向车辆105中的各种装置传输消息和/或从所述各种装置接收消息，所述各种装置例如车辆传感器115、致动器120、车辆部件125、人机界面(HMI)等。替代地或另外，在其中计算机110实际上包括多个装置的情况下，车辆105通信网络可以用于在本公开中表示为计算机110的装置之间的通信。此外，如以下所提及，各种控制器和/或车辆传感器115可以向计算机110提供数据。
车辆传感器115可以包括诸如已知的用于向计算机110提供数据的多种装置。例如，车辆传感器115可以包括设置在车辆105的顶部上、在车辆105的前挡风玻璃后面、在车辆105周围等的光探测和测距(激光雷达)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状和/或周围的情况。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可以提供数据以提供对象(可能地包括第二车辆106)等相对于车辆105的位置的速度并进行测距。车辆传感器115还可以包括一个或多个相机传感器115(例如，前视、侧视、后视等)，所述相机传感器提供来自车辆105内部和/或外部的视野的图像。
车辆105致动器120经由如已知那样可以根据适当控制信号致动各种车辆子系统的电路、芯片、马达或者其他电子和/或机械部件来实现。致动器120可以用于控制部件125，包括车辆105的制动、加速和转向。
在本公开的上下文中，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可以包括方向盘、转向齿条等中的一者或多者)、制动部件(如以下所描述)、停车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
此外，计算机110可以被配置用于经由车辆对车辆通信模块或接口130与车辆105外部的装置通信，例如，通过车辆对车辆(V2V)或车辆对基础设施(V2X)无线通信与另一车辆、远程服务器145(通常经由网络135)通信。模块130可以包括计算机110可借以通信的一种或多种机制，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或者当利用多个通信机制时为多个拓扑)。经由模块130提供的示例性通信包括提供数据通信服务的蜂窝、
Figure BDA0003081331250000071
IEEE 802.11、专用短程通信(DSRC)和/或广域网(WAN)，包括互联网。
网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，缆线和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合和任何期望的网络拓扑(或在利用多个通信机制时的多个拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用蓝牙、低功耗蓝牙(BLE)、IEEE 802.11、车辆对车辆(V2V)(诸如专用短程通信(DSRC))等)、局域网(LAN)和/或广域网(WAN)，包括互联网。
计算机110可以基本上连续地、周期性地和/或当由服务器145指示时等从传感器115接收并分析数据。此外，对象分类或识别技术可以在例如计算机110中基于激光雷达传感器115、相机传感器115等的数据用于识别对象的类型(例如，车辆、人、岩石、坑洞、自行车、摩托车等)以及对象的物理特征。
图2是示例性服务器145的框图。服务器145包括计算机235和通信模块240。计算机235包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机235执行以用于执行各种操作(包括如本文所公开的操作)的指令。通信模块240允许计算机235与其他装置(诸如车辆105)通信。
图3A是对应于车辆105(例如，自我车辆)的坐标系302的示例图。如图所示，坐标系302以车辆105的传感器115为中心。在示例性实现方式中，传感器115可以是相机304，所述相机304被取向成捕获表示相对于车辆105的前向环境的图像。在示例性实现方式中，相机304可以是单目相机。图像可以包括红绿蓝(RGB)图像。
图3B示出了对应于可由车辆105的一个或多个传感器115检测到的车辆308的坐标系306的示例图。如图所示，坐标系306以车辆308的车身的中心310为中心。在本上下文内，坐标系302、306的正X轴可以被定义为沿着车辆105、308的前向方向取向，正Y轴可以被定义为沿着车辆105、308的左侧(例如，驾驶员侧)取向。正Z轴可以被定义为取向到图3A和图3B中。如本文所述，计算机110确定车辆(诸如所观察车辆308)的多自由度(MDF)姿态的横摆分量。通过基于合适的图像处理技术估计射线角和局部角来确定横摆分量。
图4是确定车辆308的MDF姿态的一个或多个分量的示例性深度神经网络400的图示。例如，深度神经网络400可以是可加载到存储器中并由车辆105和/或服务器145中的处理器执行的软件程序。MDF姿态可以包括六(6)个分量，包括x分量、y分量、z分量、俯仰分量、侧倾分量和横摆分量，其中x分量、y分量和z分量是根据笛卡尔坐标系(例如，坐标系302、306(包括X轴、Y轴和Z轴))的平移，并且侧倾、俯仰和横摆分量是分别围绕X轴、Y轴和Z轴的旋转。
如下所述，传感器115(诸如相机304)可以捕获包括车辆308的至少一部分的一个或多个图像，并且计算机110使用深度神经网络400可以确定车辆308的多自由度(MDF)姿态——例如，六自由度(6DOF)姿态。一旦深度神经网络400使用图像和该MDF姿态信息进行了训练，计算机110就可以确定车辆相对于所检测的车辆308的位置，以及用于指示车辆105通过导航的航路点数据。例如，使用检测的(例如，观察的)车辆308的MDF姿态，计算机110可以采用车道变换过程、情境减轻过程、车道保持过程。应当理解，计算机110可以基于估计的MDF姿态使用其他神经网络来操作车辆105。
在示例性实现方式中，深度神经网络400可以包括卷积神经网络(CNN)。在该实现方式中，深度神经网络400可以适于基于捕获的图像数据(例如，作为对CNN的输入)对车辆姿态进行分类。深度神经网络400可以包括卷积层402、池化层404和平坦化层406。卷积层402可以接收图像帧并使用内核或滤波器对图像帧进行卷积——例如，从而产生多个卷积特征。此后，池化层404可以减小卷积特征的空间大小。通常(尽管不是必需的)，可能存在多次卷积迭代，之后是池化。此后，平坦化层406可以将池化输出转换为合适的列矢量以输入到神经网络，其中发生分类(例如，使用至少一个预定神经网络函数，例如，诸如SoftMax)——即时示例中的分类与MDF姿态有关。
在一些情况下，输入图像帧包括当车辆105穿越路径时从不同视角描绘所检测的车辆308的一个或多个部分的多个图像。在一些情况下，可以基于由部署在整个车辆105中的多个相机(例如，传感器115)捕获的图像将图像帧拼接在一起。计算机110可以在将图像作为输入提供给深度神经网络400之前执行拼接。
图5是示例性深度神经网络(DNN)500诸如深度神经网络400的图示。DNN 500可以表示本公开内描述的深度神经网络架构。DNN500包括多个节点505，并且节点505被布置成使得DNN 500包括输入层、一个或多个隐藏层、和输出层。DNN 500的每一层可以包括多个节点505。尽管图5示出了三(3)个隐藏层，但是应理解，DNN 500可以包括更多的或更少的隐藏层。输入层和输出层还可以包括多于一(1)个的节点505。
因为节点505被设计来模仿生物(例如人类)神经元，它们有时称为人工神经元505。每个神经元505的一组输入(由箭头表示)各自乘以相应的权重。然后，可以将加权的输入在输入函数中求和，以提供净输入，所述净输入可能通过偏差进行调整。然后，可将净输入提供给激活函数，所述激活函数进而为连接的神经元505提供输出。所述激活函数可以是通常基于经验分析而选择的各种合适的函数。如图5中的箭头所示，然后可以提供神经元505的输出以将其包括在到下一层中的一个或多个神经元505的输入集合中。
可以训练DNN 500以接受数据作为输入并基于输入生成输出。在一些实现方式中，DNN 500可用地面实况数据即关于真实世界状况或状态的数据进行训练。例如，DNN 500可以用地面实况数据进行训练或者由处理器用附加数据进行更新。例如，可以通过使用高斯分布初始化权重，并且可以将每个节点505的偏差设置为零。训练DNN500可以包括：经由合适技术(诸如反向传播)加以优化来更新权重和偏差。地面实况数据可以包括但不限于指定图像内的对象的数据或指定物理参数(例如，对象相对于另一对象的角度、速度、距离或角度)的数据。基于所接收的由车辆105内的各种相机捕获的图像，深度神经网络400估计所检测的车辆308的MDF姿态。例如，深度神经网络400可以估计所检测的车辆308相对于车辆105的取向，例如横摆分量。
参考图6，所观察车辆相对于自我车辆的取向θ(例如，取向角)可以被分解为两个角——射线角(θ射线)和局部角(θ局部)。例如，相机304的射线602从车辆105的原点(其与相机304中心对准)(例如，自我车辆坐标系302)沿着地面平面延伸，并且与所观察车辆308坐标系306的原点相交，该原点以车辆308的车身为中心。射线角被定义为利用射线602与车辆308的负Y轴对向形成的角度。计算机110可以基于校准的相机304和相机304的图像平面内的二维(2D)边界框的中心来分析地确定射线角。例如，可以使用合适的对象检测和分类技术来定义围绕所观察车辆308的2D边界框。
局部角被定义为射线602与所观察车辆308坐标系306之间的角度。计算机110基于相机304在两个不同时间实例处捕获的至少两个图像来估计局部角差。然后可以将局部角差提供给DNN 400以用于训练目的。例如，出于更新一个或多个权重的目的，DNN 400可以接收图像和局部角差作为输入。射线角和局部角构成所观察车辆308的取向角(θ)，其被称为角度604。
图7示出了车辆105相对于所观察车辆308穿越的示例性路径。在该示例中，车辆308可以是静止的。当车辆105穿越路径时，射线角增加并且局部角减小。基于各种计算的射线角和局部角，计算机110可以连续地计算所观察车辆308的取向角。
图8示出了车辆105相对于静止车辆308穿越路径的另一个图示。车辆105相对于车辆308的运动用于训练深度神经网络400。在示例性实现方式中，可以使用测距法(诸如视觉测距法或由一个或多个传感器115提供的测距法)来估计车辆105运动，所述车辆105运动提供车辆105在相对于车辆308行进时的姿态变化。可以基于表示车辆105的前向环境的捕获图像来计算视觉测距法。估计的运动可以包括车辆105行进的距离及其航向矢量的角差。计算机110可以使用估计的运动，并且射线角(例如，θ1和θ2)用于确定车辆308的局部角(例如，θ局部1和θ局部2)的差值。如上所述，对应的射线角和局部角构成了所观察车辆308的取向角。图9示出了另一图示，其中图像由相机304和侧视相机902，例如传感器115捕获。侧视相机902可以提供相对于由相机304捕获的图像偏移九十度(90°)的图像。在该实现方式中，图像偏移为深度神经网络400提供了附加约束，因为图像的图像偏移是已知的。
在深度神经网络400的训练期间，车辆105的相机304捕获表示所观察车辆308的各种视角的多个图像。当所观察车辆308静止时，局部角的变化仅由车辆105的坐标系302由于车辆105的运动而引起的变化引起。计算机110使用输入图像来估计射线角。使用估计的射线角和测距数据，计算机110确定所观察车辆308的局部角之间的相对差。使用估计的局部角，计算机110可以基于射线角和取向角来确定所观察车辆308的取向角。
可以经由监督训练过程或自监督训练过程来训练深度神经网络400。在示例性实现方式中，图10A和图10B示出了根据本公开的一个或多个实现方式的用于训练DNN 400的示例性过程。如图10A所示，在初始训练阶段期间，DNN 400接收一组经标记的训练图像(例如，训练图像1005和训练标签1010)。训练图像1005可以描绘车辆相机的视野(FOV)内的对象。训练标签1010可以包括对应于所观察车辆308的对象标签、对象类型和/或局部角。在一些情况下，激光雷达传感器115数据可以用作地面实况。在初始训练阶段之后，在监督训练阶段，将一组N个训练图像1015输入到DNN 400。DNN 400生成指示N个训练图像1015中的每一个的局部角的输出。
图10B示出了生成N个训练图像1015中的一个训练图像1015(诸如未经标记的训练图像)的输出的示例。基于初始训练，DNN 400基于车辆105的运动输出所观察车辆308的局部角的矢量表示1020。将矢量表示1020与地面实况数据1025进行比较。DNN 400基于与地面实况框1025的比较来更新网络参数。例如，可以经由反向传播来更新网络参数，例如与神经元相关联的权重。DNN 400可以在服务器145处训练，并且经由通信网络135提供给车辆105。车辆105还可以将由车辆105系统捕获的数据提供给服务器145以用于进一步的训练目的。
在训练之后，DNN 400可以用于估计与所接收的图像相对应的局部角，如图10C所示。DNN 400的输出是计算机110可用来计算所观察车辆308的取向角和/或MDF姿态的局部角。
图11示出了用于DNN 400的自监督训练的示例性实现方式。如图所示，DNN 400可以包括包括第一CNN 1102和第二CNN 1104的孪生神经网络1100。CNN 1102、1104可以包括相同的权重以用于CNN 1102、1104的输出之间的比较目的。可以基于表示由计算机110计算的相对局部角差的数据来更新权重。CNN 1102、1104各自接收可以包括相同图像帧或类似图像帧的输入。类似帧可以被定义为由车辆105的另一个相机(例如，传感器115)捕获的所观察车辆308的另一个图像，所述另一个图像对应于由相机304捕获的图像帧，例如，在相同时间实例处捕获的所观察车辆308的图像。
每个CNN 1102、1104基于相应的输入来输出估计的局部角。估计的局部角被提供给对比损失函数1106，并且对比损失函数1106生成表示由CNN 1102、1104输出的估计的局部角之间的差值的局部角差。将所述局部角差与由计算机110基于车辆105的运动生成的估计的局部角值进行比较。所述比较可以用于更新CNN 1102、1104的权重以用于训练目的。一旦被训练，就可以使用单个CNN 1102、1104来以各种时间间隔基于所观察车辆308的输入图像来生成估计的绝对局部角。
可以设想，DNN 400还可以使用上述类似过程(例如，使用射线角和测距数据来确定局部角差)来计算所观察车辆308的MDF姿态的其他分量。例如，可以基于表示各种时间间隔处的所观察车辆的一个或多个输入图像来确定MDF姿态的局部横摆分量和局部俯仰分量。在DNN 400的测试期间，可以设想，DNN 400使用至少一个图像来输出所观察车辆308的局部角。在一些情况下，DNN 400使用单个图像来确定所观察车辆308的局部角。
图12示出了用于DNN 400的自监督训练的示例性实现方式。如图所示，DNN 400可以包括孪生神经网络1200，所述孪生神经网络包括第一CNN 1202、第二CNN 1204、第三CNN1206和第四CNN1208。CNN 1202、1204可以包括基于相应接收的深度图来输出深度图的CNN。深度图像可以由一个或多个车辆105传感器115捕获。CNN 1206、1208包括类似于CNN 1102、1104的CNN，所述CNN基于相应接收的图像来输出估计的局部角。
孪生神经网络1200还包括区域层1210、1212，所述区域层分别从CNN 1202、1206和CNN 1204、1208接收深度图和估计的局部角。区域层1210、1212各自基于对应的输入生成三维(3D)边界框。3D边界框可以沿着相机304的射线602围绕车辆308定位在基于深度图估计的距离处。区域层1210、1212可以各自旋转所生成的3D边界框。
对比损失函数1214可以接收由区域层1210、1212生成的3D边界框，以生成表示所生成的边界框之间的差异的3D边界框差异。所述比较可以用于更新CNN 1202、1204、1206、1208的权重以用于训练目的。一旦被训练，3D边界框就可以用于生成用于MDF姿态的X分量、Y分量和Z分量。
图13是用于训练深度神经网络(诸如深度神经网络400)的示例性过程1300的流程图。过程1300的框可以由计算机110或计算机235执行。过程1300开始于框1305，其中接收在两个不同的时间实例处捕获的至少两个图像。被接收的每个图像包括所观察车辆的至少一部分。在框1310处，接收车辆105的测距。在示例性实现方式中，计算机110可以基于所接收的图像来确定车辆105的测距数据，或者从内部测量装置(例如，传感器115)接收测距测量结果。车辆测距法可以指示车辆105的位置从一个图像到另一个图像的估计变化以及车辆105的航向矢量的角差。在框1315处，基于对应于图像的测距和/或图像来确定车辆105的射线角。在框1320处，基于射线角和测距数据来确定所观察车辆的相对局部角。在框1325处，确定相对局部角之间的差。在框1330处，相对局部角差和输入图像被提供给深度神经网络以用于训练目的。在框1335处，深度神经网络确定对应于输入图像的第一相对局部角和第二相对局部角。
在框1340处，确定第一相对局部角与第二相对局部角之间的对比损失。在框1345处，确定对比损失输出是否大于预定误差阈值。如果对比损失输出小于或等于预定误差阈值，则过程1300结束。否则，在框1340处使用对比损失输出更新深度神经网络，并且过程1300返回到框1305。例如，经由合适技术(诸如反向传播)加以优化来更新与深度神经网络400的节点(诸如节点505)相关联的一个或多个权重。
图14是用于经由经训练的深度神经网络(诸如深度神经网络400)来确定车辆的MDF姿态的示例性过程1400的流程图。过程1400的框可以由计算机110执行。过程1400开始于框1405，其中接收描绘所观察车辆的一部分的图像。在框1410处，计算机110可以裁剪所接收的图像。在框1415处，将图像提供给经训练的深度神经网络。
在框1420处，经训练的深度神经网络确定对应于所观察车辆的一个或多个MDF分量。在示例性实现方式中，在训练之后，深度神经网络400可以仅使用孪生神经网络1100或孪生神经网络1200的一个路径来确定所观察车辆308的MDF姿态分量。例如，可以在训练之后在孪生神经网络1100中停用CNN 1102或CNN 1104。在另一实例中，可以在训练之后在孪生神经网络1200中停用一对CNN 1202、1206或一对CNN 1204、1208。因此，孪生神经网络1100或孪生神经网络1200的激活路径用于在训练之后确定MDF姿态分量。
在框1425处，基于所观察车辆308的确定的MDF姿态来确定是否致动车辆105部件中的一个或多个。例如，计算机110可以确定是否致动车辆105的一个或多个部件，以便改变车辆105速度、车辆105加速度、车辆105方向等。在框1430处，如果确定致动一个或多个车辆105部件，则计算机110发出一个或多个命令以致动对应的车辆105部件。然后，过程1400结束。如果确定不需要车辆105致动，则过程1400结束。
通常，所描述的计算系统和/或装置可以采用多个计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型：福特
Figure BDA0003081331250000151
应用程序、AppLink/Smart Device Link中间件、微软
Figure BDA0003081331250000152
操作系统、微软
Figure BDA0003081331250000161
操作系统、Unix操作系统(例如，由加州红杉海岸的甲骨文公司发布的
Figure BDA0003081331250000162
操作系统)、由纽约阿蒙克市的国际商业机器公司发布的AIX UNIX操作系统、Linux操作系统、由加州库比蒂诺的苹果公司发布的Mac OSX和iOS操作系统、由加拿大滑铁卢的黑莓有限公司发布的BlackBerry OS以及由谷歌公司和开放手机联盟开发的Android操作系统、或由QNX Software Systems供应的
Figure BDA0003081331250000163
CAR信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型计算机或手持计算机、或一些其他计算系统和/或装置。
计算机和计算装置一般包括计算机可执行指令，其中所述指令可能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以由使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用程序中的一些可以在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)接收来自例如存储器、计算机可读介质等的指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一者或多者。此类指令和其他数据可以使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成耦接到ECU的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或者计算机可从其读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(例如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。
在一些示例中，系统元件可被实施为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所描述功能的此类指令。
关于本文描述的介质、过程、系统、方法、启发等，应当理解，虽然此类过程等的步骤已被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。
因此，应理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用对于本领域的技术人员将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总之，当应理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
除非本文做出明确的相反指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和一般的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
根据本发明，提供了一种系统，其具有计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：接收在第一时间实例处由相机捕获的第一图像，其中所述第一图像包括所观察车辆的至少一部分；基于自我车辆的坐标系和所观察车辆的对应于所述第一图像的坐标系来确定第一射线角；接收在第二时间实例处由所述相机捕获的第二图像，其中所述第二图像包括所观察车辆的以不同视角取向的至少一部分；基于所述自我车辆的坐标系和所观察车辆的对应于所述第二图像的所述坐标系来确定第二射线角；基于所述第一射线角和所述第二射线角确定局部角差；以及使用所述局部角差、所述第一图像和所述第二图像来训练深度神经网络。
根据一个实施例，所述处理器还被编程为：接收车辆测距数据；以及基于所述第一射线角、所述第二射线角和所述车辆测距数据确定局部角差。
根据一个实施例，所述深度神经网络包括卷积神经网络。
根据一个实施例，所述深度神经网络包括孪生神经网络。
根据一个实施例，所述孪生神经网络包括第一卷积神经网络和第二卷积神经网络。
根据一个实施例，所述孪生神经网络基于第一彩色图像确定第一局部角并基于第二彩色图像确定第二局部角，并且基于所述第一局部角与所述第二局部角之间的差值确定对比损失。
根据一个实施例，所述处理器还被编程为：基于所述对比损失来更新所述深度神经网络。
根据一个实施例，所述处理器还被编程为：基于所述对比损失来更新与所述深度神经网络的神经元相关联的至少一个权重。
根据一个实施例，所述相机包括单目相机。
根据一个实施例，所述处理器还被编程为：经由所述经训练的深度神经网络基于所述第一图像或所述第二图像中的至少一者来计算对应于所观察车辆的横摆分量。
根据一个实施例，所述处理器还被编程为：经由所述经训练的深度神经网络基于所述第一图像或所述第二图像中的至少一者来计算对应于所观察车辆的俯仰分量、侧倾分量、x分量、y分量和z分量。
根据本发明，一种方法包括：接收在第一时间实例处由相机捕获的第一图像，其中所述第一图像包括所观察车辆的至少一部分；基于自我车辆的坐标系和所观察车辆的对应于所述第一图像的坐标系来确定第一射线角；接收在第二时间实例处由所述相机捕获的第二图像，其中所述第二图像包括所观察车辆的以不同视角取向的至少一部分；基于所述自我车辆的坐标系和所观察车辆的对应于所述第二图像的所述坐标系来确定第二射线角；基于所述第一射线角和所述第二射线角确定局部角差；以及使用所述局部角差、所述第一图像和所述第二图像来训练深度神经网络。
在本发明的一个方面，该方法包括：接收车辆测距数据；以及基于所述第一射线角、所述第二射线角和所述车辆测距数据确定局部角差。
在本发明的一个方面，所述深度神经网络包括卷积神经网络。
在本发明的一个方面，所述深度神经网络包括孪生神经网络。
在本发明的一个方面，所述孪生神经网络包括第一卷积神经网络和第二卷积神经网络。
在本发明的一个方面，所述孪生神经网络基于第一彩色图像确定第一局部角并基于第二彩色图像确定第二局部角，并且基于所述第一局部角与所述第二局部角之间的差值确定对比损失。
在本发明的一个方面，该方法包括：基于所述对比损失来更新所述深度神经网络。
根据本发明，提供了一种系统，其具有计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：在训练的深度神经网络处接收包括所观察车辆的至少一部分的图像；以及经由所述经训练的深度神经网络基于所述图像来确定所观察车辆的局部取向角，其中所述经训练的深度神经网络包括包括激活的神经网络和停用的神经网络的孪生神经网络，其中所述激活的深度神经网络确定所观察车辆的局部取向角。
根据一个实施例，所述处理器还被编程为：经由所述经训练的深度神经网络基于所述局部取向角和所述图像来计算对应于所观察车辆的横摆分量、俯仰分量、侧倾分量、x分量、y分量和z分量。

Claims (11)

1.一种包括计算机的系统，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：
接收在第一时间实例处由相机捕获的第一图像，其中所述第一图像包括所观察车辆的至少一部分；
基于自我车辆的坐标系和所述所观察车辆的对应于所述第一图像的坐标系来确定第一射线角；
接收在第二时间实例处由所述相机捕获的第二图像，其中所述第二图像包括所述所观察车辆的以不同视角取向的至少一部分；
基于所述自我车辆的坐标系和所述所观察车辆的对应于所述第二图像的所述坐标系来确定第二射线角；
基于所述第一射线角和所述第二射线角确定局部角差；以及
使用所述局部角差、所述第一图像和所述第二图像来训练深度神经网络。
2.如权利要求1所述的系统，其中所述处理器还被编程为：
接收车辆测距数据；以及
基于所述第一射线角、所述第二射线角和所述车辆测距数据确定局部角差。
3.如权利要求1所述的系统，其中所述深度神经网络包括卷积神经网络。
4.如权利要求1所述的系统，其中所述深度神经网络包括孪生神经网络。
5.如权利要求4所述的系统，其中所述孪生神经网络包括第一卷积神经网络和第二卷积神经网络。
6.如权利要求4所述的系统，其中所述孪生神经网络基于第一彩色图像确定第一局部角并基于第二彩色图像确定第二局部角，并且基于所述第一局部角与所述第二局部角之间的差值确定对比损失。
7.如权利要求6所述的系统，其中所述处理器还被编程为：
基于所述对比损失来更新所述深度神经网络。
8.如权利要求7所述的系统，其中所述处理器还被编程为：
基于所述对比损失来更新与所述深度神经网络的神经元相关联的至少一个权重。
9.如权利要求1所述的系统，其中所述相机包括单目相机。
10.如权利要求1所述的系统，其中所述处理器还被编程为：
经由所述经训练的深度神经网络基于所述第一图像或所述第二图像中的至少一者来计算对应于所观察车辆的横摆分量。
11.如权利要求10所述的系统，其中所述处理器还被编程为：
经由所述经训练的深度神经网络基于所述第一图像或所述第二图像中的至少一者来计算对应于所述所观察车辆的俯仰分量、侧倾分量、x分量、y分量和z分量。
CN202110567589.3A 2020-06-08 2021-05-24 观察的车辆姿态的自监督估计 Pending CN114118350A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/895,267 2020-06-08
US16/895,267 US11887323B2 (en) 2020-06-08 2020-06-08 Self-supervised estimation of observed vehicle pose

Publications (1)

Publication Number Publication Date
CN114118350A true CN114118350A (zh) 2022-03-01

Family

ID=78605401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110567589.3A Pending CN114118350A (zh) 2020-06-08 2021-05-24 观察的车辆姿态的自监督估计

Country Status (3)

Country Link
US (1) US11887323B2 (zh)
CN (1) CN114118350A (zh)
DE (1) DE102021112616A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663728B2 (en) * 2020-01-16 2023-05-30 Samsung Electronics Co., Ltd. Depth estimation method and apparatus
US11619727B2 (en) * 2020-06-29 2023-04-04 Ford Global Technologies, Llc Determining multi-degree-of-freedom pose for sensor calibration
EP3985411A1 (en) * 2020-10-19 2022-04-20 Aptiv Technologies Limited Method and device for detecting objects
US20230326077A1 (en) * 2022-04-12 2023-10-12 GM Global Technology Operations LLC System and method for online camera to ground alignment
CN118629084A (zh) * 2023-03-10 2024-09-10 北京字跳网络技术有限公司 对象姿势识别模型的构建方法、对象姿势识别方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073647A2 (en) * 2004-12-03 2006-07-13 Sarnoff Corporation Method and apparatus for unsupervised learning of discriminative edge measures for vehicle matching between non-overlapping cameras
US20120114181A1 (en) 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
US10839226B2 (en) * 2016-11-10 2020-11-17 International Business Machines Corporation Neural network training
CN108898628B (zh) 2018-06-21 2024-07-23 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
US20200020117A1 (en) 2018-07-16 2020-01-16 Ford Global Technologies, Llc Pose estimation
EP3853764A1 (en) * 2018-09-20 2021-07-28 NVIDIA Corporation Training neural networks for vehicle re-identification
DE102019101737A1 (de) * 2019-01-24 2020-07-30 Sick Ag Verfahren zur Überwachung eines Schutzbereichs
US11276189B2 (en) * 2019-03-06 2022-03-15 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
US10475208B1 (en) * 2019-05-02 2019-11-12 Capital One Services, Llc Vehicle analysis platform
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
US20210125036A1 (en) * 2019-10-29 2021-04-29 Nvidia Corporation Determining object orientation from an image with machine learning
US11068549B2 (en) * 2019-11-15 2021-07-20 Capital One Services, Llc Vehicle inventory search recommendation using image analysis driven by machine learning
US20210150757A1 (en) * 2019-11-20 2021-05-20 Nvidia Corporation Training and inferencing using a neural network to predict orientations of objects in images
US20210335007A1 (en) * 2020-04-27 2021-10-28 GM Global Technology Operations LLC Active targets for automatic optical sensor alignment

Also Published As

Publication number Publication date
DE102021112616A1 (de) 2021-12-09
US20210383167A1 (en) 2021-12-09
US11887323B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
US11887323B2 (en) Self-supervised estimation of observed vehicle pose
US11107228B1 (en) Realistic image perspective transformation using neural networks
US20220111859A1 (en) Adaptive perception by vehicle sensors
US11657635B2 (en) Measuring confidence in deep neural networks
US12045950B2 (en) Object pose estimation
CN113298250A (zh) 用于定位和对象检测的神经网络
CN112784867A (zh) 利用合成图像训练深度神经网络
CN116136963A (zh) 自适应地修剪神经网络系统
CN115937306A (zh) 神经网络对象姿态确定
US11710254B2 (en) Neural network object detection
CN114119625A (zh) 点云数据的分割与分类
CN114117334A (zh) 多维传感器数据中的异常检测
CN112462383A (zh) 定位移动对象
US11823465B2 (en) Neural network object identification
US11068749B1 (en) RCCC to RGB domain translation with deep neural networks
CN114581865A (zh) 深度神经网络中的置信度测量
US10977783B1 (en) Quantifying photorealism in simulated data with GANs
CN114758313A (zh) 实时神经网络再训练
CN113159271A (zh) 时间cnn后部碰撞警报系统
CN112700001A (zh) 用于深度强化学习的认证对抗鲁棒性
CN112519779A (zh) 基于位置的车辆操作
US11158066B2 (en) Bearing only SLAM with cameras as landmarks
US11321587B2 (en) Domain generation via learned partial domain translations
EP4145352A1 (en) Systems and methods for training and using machine learning models and algorithms
CN117521748A (zh) 计算高效的无监督dnn预训练

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination