CN115690719A - 用于车辆周围的对象接近监测的系统和方法 - Google Patents

用于车辆周围的对象接近监测的系统和方法 Download PDF

Info

Publication number
CN115690719A
CN115690719A CN202210813663.XA CN202210813663A CN115690719A CN 115690719 A CN115690719 A CN 115690719A CN 202210813663 A CN202210813663 A CN 202210813663A CN 115690719 A CN115690719 A CN 115690719A
Authority
CN
China
Prior art keywords
vehicle
candidate object
candidate
object detection
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210813663.XA
Other languages
English (en)
Inventor
杨曾力
M·维尔丹迪
S·塔卡瓦莱
S·戈桑吉
G·博恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rivian Automotive LLC
Original Assignee
Rivian Automotive LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rivian Automotive LLC filed Critical Rivian Automotive LLC
Publication of CN115690719A publication Critical patent/CN115690719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了系统和方法，用于基于表示车辆周围的环境的捕获图像的传感器数据来生成候选对象的对象检测表示。基于该对象检测表示，做出关于该候选对象是否是异常值的确定。响应于确定该候选对象不是异常值，将该候选对象验证为对象，确定该对象到该车辆的接近距离，并且发送该对象的该接近距离作为输出。

Description

用于车辆周围的对象接近监测的系统和方法
相关申请的交叉引用
本公开要求2021年7月29日提交的美国临时申请63/227,028的权益，该申请的公开内容据此全文以引用方式并入本文。
引言
在自主车辆和半自主车辆中，对于车辆可能很有用的是，确定道路上是否存在车辆将遇到的对象(或停放车辆时车辆附近是否存在对象)，以及确定此类对象与车辆之间的距离。然而，已证明，在给定有限的计算资源及能量资源的条件下，稳健地监测对象与车辆的接近度的能力具有挑战性。
发明内容
因此，本文公开了系统和方法，其包括：处理电路，该处理电路被配置为：基于表示车辆周围的环境的捕获图像的传感器数据来生成候选对象的对象检测表示；基于对象检测表示来确定候选对象是否为异常值；以及响应于确定候选对象不是异常值：将候选对象验证为对象；确定对象到车辆的接近距离；以及输出对象的接近距离。
在一些实施方案中，多个图像传感器被配置为基于车辆周围的环境的捕获图像来生成传感器数据。多个图像传感器可分别包括在多个单目鱼眼相机中。
在一些实施方案中，处理电路被配置为：基于表示车辆周围的环境的捕获图像的传感器数据，基于经训练机器学习模型将捕获图像作为输入并提供对象检测表示的输出，生成候选对象的对象检测表示。
在一些实施方案中，对象检测表示包括与候选对象有关的边界形状；并且经训练机器学习模型是使用多个训练图像来训练的，每个相应训练图像包括对有关的边界形状的注释和对从对象到与相应训练图像相关联的车辆的距离的注释。
在一些实施方案中，处理电路被配置为：基于对象检测表示，通过使用经训练机器学习模型来确定候选对象是否为异常值，该经训练机器学习模型将对象检测表示作为输入并提供以下作为输出：确定候选对象是否与目标范围外的位置相关联；以及确定候选对象的位置是否指示候选对象不太可能是有效对象。
在一些实施方案中，可提供一种非暂态计算机可读介质，其具有编码在其上的非暂态计算机可读指令，该非暂态计算机可读指令在由处理器执行时致使处理器：基于表示车辆周围的环境的捕获图像的传感器数据来生成候选对象的对象检测表示；基于对象检测表示来确定候选对象是否为异常值；以及响应于确定候选对象不是异常值：将候选对象验证为对象；确定对象到车辆的接近距离；以及输出对象的接近距离。
附图说明
参考以下附图详细描述了根据一个或多个各种实施方案的本公开。附图仅出于举例说明的目的而提供，并且仅示出典型的或示例性实施方案。提供这些附图以有利于理解本文所公开的概念，并且这些附图不应被认为是对这些概念的广度、范围或适用性的限制。应当指出的是，为了清楚起见和便于说明，这些附图未必按比例绘制。
图1示出了根据本公开的一些实施方案的车辆的系统的部件的框图，该系统被配置为输出对车辆与对象之间的距离的预测；
图2示出了根据本公开的一些实施方案的车辆的系统的框图，该系统被配置为输出对车辆与对象之间的距离的预测；
图3示出了根据本公开的一些实施方案的车辆的系统的框图，该系统被配置为输出对车辆与对象之间的距离的预测；
图4示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像；
图5示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像；
图6示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像；
图7示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像；
图8示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像；
图9A至图9F示出了根据本公开的一些实施方案的可用于注释用于一个或多个机器学习模型的训练图像的示例性边界形状；
图10示出了根据本公开的一些实施方案的用于输出对车辆与对象之间的距离的预测的例示性过程的流程图。
具体实施方式
图1示出了根据本公开的一些实施方案的车辆101的系统的部件的框图，该系统被配置为输出对车辆101与对象之间距离的预测。车辆101可以是汽车(例如，轿跑车、轿车、卡车、SUV、公共汽车或任何其他合适的车辆，或它们的任何组合)、摩托车、飞行器(例如，无人机或任何其他合适的飞行器，或它们的任何组合)、船舶(例如，小船或任何其他合适的船舶，或它们的任何组合)、或任何其他类型的车辆。
车辆101可包括处理电路102，该处理电路可包括处理器104和存储器106。处理器104可包括硬件处理器、软件处理器(例如，使用虚拟机模拟的处理器)或它们的任何组合。在一些实施方案中，处理器104和存储器106的组合可被称为车辆100的处理电路102。在一些实施方案中，单独的处理器104可被称为车辆101的处理电路102。存储器106可包括用于非暂态存储命令或指令的硬件元件，该命令或指令在由处理器104执行时致使处理器104根据上文和下文所讨论的实施方案操作车辆101。处理电路102可经由一个或多个线或经由无线连接来通信地连接到车辆101的部件。
处理电路102可经由输入电路108通信地连接到输入接口116(例如，方向盘、触摸屏显示器、按钮、旋钮、麦克风或其他音频捕获设备、或任何其他合适的输入接口，或它们的任何组合)。在一些实施方案中，可允许车辆101的驾驶员结合车辆101的操作选择特定设置。在一些实施方案中，处理电路102可通信地连接到车辆101的GPS系统134或其他定位设备，其中驾驶员可经由输入接口116与GPS系统进行交互。GPS系统134可与远离车辆101的多个卫星和/或服务器136通信以确定驾驶员的位置并且向处理电路102提供导航方向。又如，定位设备可对地面信号(诸如移动电话信号、Wi-Fi信号或超宽带信号)进行操作以确定车辆101的位置。所确定的位置可以呈任何合适的形式，诸如地理坐标、街道地址、附近界标诸如最近的充电站的标识、或与车辆相关联的标记位置(例如，存储在存储器106中的用户家庭的位置、或任何其他合适的位置，或它们的任何组合)。在一些实施方案中，处理电路102使用所确定的位置来识别车辆101是否在标记位置的阈值范围内。
处理电路102可通过输出电路110通信地连接到显示器112和扬声器115。显示器112可位于车辆101的仪表板和/或车辆101的挡风玻璃处的平视显示器处。例如，可生成GPS系统134的界面或信息娱乐系统的界面以用于显示，并且显示器112可包括LCD显示器、OLED显示器、LED显示器或任何其他类型的显示器。扬声器115可位于车辆101的舱室内的任何位置处，例如，在车辆101的仪表板处，在车门的内部部分上，或任何其他合适的位置，或它们的任何组合。
处理电路102可以可通信地连接(例如，通过传感器接口114)到传感器(例如，前传感器124、后传感器126、左侧传感器128、右侧传感器130、取向传感器118、速度传感器120、或任何其他合适的传感器，或它们的任何组合)。取向传感器118可以是倾斜计、加速度计、倾斜仪、任何其他俯仰传感器或它们的任何组合，并且可被配置为向处理电路102提供车辆取向值(例如，车辆的俯仰和/或车辆的倾侧)。速度传感器120可以是速度计、GPS传感器等中的一者或它们的任何组合，并且可被配置为向处理电路102提供车辆的当前速度的读数。前传感器124、后传感器126、左侧传感器128和/或右侧传感器130可以定位在车辆101的各个位置处，并且可以是各种类型中的一种或多种类型，例如，图像传感器、超声波传感器、雷达传感器、LED传感器、LIDAR传感器或任何其他合适的传感器，或它们的任何组合。此类传感器中的一个或多个传感器可被配置为测量车辆101与车辆周围环境中的对象之间的距离(例如，通过输出光或无线电波信号，并测量返回信号要检测的时间和/或返回信号的强度，和/或对由图像传感器捕获的车辆101的周围环境的图像执行图像处理)。在一些实施方案中，处理电路102可以在确定车辆101与对象之间的预测距离时，例如，基于由取向传感器118生成的传感器数据，考虑车辆101的加速。在一些实施方案中，处理电路102可以利用获得的传感器数据来执行车辆101的自主或半自主停车和/或执行车辆101的自主或半自主导航。
处理电路102可通信地连接到电池系统132，该电池系统可被配置为在操作期间向车辆101的部件中的一个或多个部件提供电力。在一些实施方案中，车辆101可以是电动车辆或混合动力电动车辆。
在一些实施方案中，通信电路135和/或用户设备138(例如，移动设备，诸如智能手机、平板电脑、密钥卡或任何其他合适的用户设备，或它们的任何组合)可以与一个或多个服务器136通信(例如，经通信网络，诸如互联网或任何其他合适的通信网络，或它们的任何组合)，该一个或多个服务器可以被配置为执行上文和下文描述的处理的任何合适部分。
应当理解，图1仅示出了车辆101的一些部件，并且应当理解，车辆101还包括车辆(例如，电动车辆或任何其他合适的车辆，或它们的任何组合)中常见的其他元件，例如，马达、制动器、车轮、车轮控件、转向灯、窗户、门等。
图2示出了根据本公开的一些实施方案的车辆101的系统200的框图，该系统被配置为输出对车辆101与对象之间距离的预测。系统200可包括多个相机204、206、208和对象检测网络210以及接近感测模块218。在一些实施方案中，系统200的一个或多个部件(例如，对象检测网络210和接近感测模块218或任何其他合适的部件，或它们的任何组合)可以由处理电路102(和/或服务器136的处理电路)实现。相机204、206、208中的一个或多个相机可对应于传感器124、126、128、130中的一个传感器。
相机204、206、208可以安装在车辆101的任何合适的内部或外部部分上。在一些实施方案中，相机204、206、208中的一个或多个相机可以对应于单目鱼眼相机，该单目鱼眼相机被配置为覆盖车辆101周围的宽视野。虽然图2描绘了三个相机，但是应当理解，可以采用任何合适数量的相机(例如，小于三个相机或多于三个相机，例如分别定位在车辆101的前部、后部和每一侧处的四个相机)。此类相机可以安装在车辆101的任何合适的相应位置处，以便于在车辆101处于静止或运动的同时，捕获车辆101周围的整个区域或环境202的图像。可以由相机204、206、208捕获一系列图像，包括任何合适数量的图像。在一些实施方案中，可以例如以预先确定的频率重复地捕获图像，以随时间推移捕获车辆101的周围环境。
由相机204、206、208捕获的一个或多个图像或帧可以输入到对象检测网络210，例如包括帧队列212和机器学习模型214(例如，神经网络或任何其他合适的机器学习模型，或它们的任何组合)。对象检测网络210可以被配置为使用任何合适的图像识别技术来识别由相机204、206、208捕获的图像中的一个或多个候选对象。在一些实施方案中，处理电路102可以操纵一系列捕获图像中的任一捕获图像，使得候选对象跨所有相机图像位于类似位置处。对象检测网络210可以被配置为输出针对一个或多个候选对象的一个或多个2D对象检测表示216。例如，对象检测网络210可以被配置为绘制定位在车辆101的前方、后方或侧方的候选对象(例如，车辆、人、动物或其他障碍物)周围的2D边界形状(例如，边界框、边界多边形、边界三角形、边界椭圆形、边界圆等)。帧队列212可以存储由相机204、206、208捕获的车辆101的周围环境的多个图像，并且此类图像可以以例如先进先出方式或使用任何其他合适的方案或以它们的任何组合来输入到机器学习模型214。机器学习模型214可以是神经网络，例如卷积神经网络(CNN)或任何其他合适的机器学习模型，或它们的任何组合，其被训练为接受车辆101的周围环境的图像作为输入并输出针对一个或多个候选对象的相应对象检测表示216。可以基于对象检测表示来估计与车辆101的对象接近度，如结合图3更详细地讨论的。在一些实施方案中，相机204、206、208中的一个或多个相机对应于基于其广角透镜产生相对大的畸变的鱼眼相机，并且可以使用具有与由鱼眼相机透镜产生的畸变类似的畸变的图像来训练机器学习模型214。在一些实施方案中，与车辆101正在进行道路导航或越野导航的场景相比，可以相对于停车场景使用独立训练图像来训练该模型。
边界框或其他边界机制的计算可以任何方式执行，诸如通过用于识别对象并将框拟合到其外边缘的已知的基于计算机视觉的方法和过程。例如，可以使用任何方法诸如边缘检测方法、特征搜索方法、概率对象模型、图形匹配、馈送到分类器(诸如支持向量机、Haar Cascade分类器等)的梯度方向直方图(HOG)，来在图像内识别和定位对象及其外边界。考虑任何合适的方法。在一些实施方案中，可以任何方式诸如通过绘制矩形框来将2D边界框拟合到所识别对象，该矩形框的边缘都平行于摄像头坐标系的轴线取向，并且各自与所识别对象的外边缘相切。在一些实施方案中，可以通过绘制矩形框来将2D边界框拟合到所识别对象，该矩形框的竖直边缘平行于车辆101的轴线定向，该车辆的取向由车辆101的取向传感器确定。在2021年7月23日提交的共有申请17/384,510中更详细地论述了神经网络和边界框，该申请的全部内容据此以引用方式并入本文。
在一些实施方案中，一个或多个机器学习模型214可被训练为学习与某些类别的对象(例如，人、汽车、公共汽车、摩托车、火车、自行车、背景等)相关联的图案和特征。在一些实施方案中，此类机器学习模型可被训练为学习与类别(例如，汽车或任何其他合适的类别)的子类别(例如，轿车、小型货车、卡车或任何其他合适的子类别)相关联的图案和特征。可以由机器学习模型214执行分类，该机器学习模型包括一个或多个机器学习模型，例如被训练以接收车辆周围的对象的输入图像(例如，其中该图像可以用与对象有关的任何合适的边界形状和/或车辆到对象距离注释和/或对象类别注释进行注释)并输出这些车辆对应于特定车辆类别的可能性的CNN。此类CNN可以在包含手动标记有其特定车辆类型的车辆的图像的训练数据集上进行训练。在一些实施方案中，可以采用以下类别的任何组合来训练和/或评估该模型(例如，背景、飞机、自行车、鸟、小船、瓶子、公共汽车、汽车、猫、椅子、牛、餐桌、狗、马、轻型摩托车、摩托车、人、盆栽植物、绵羊、沙发、火车、TV监视器、卡车、停车标志、交通灯、交通标志、马达或任何其他合适的类别，或它们的任何组合)。在一些实施方案中，可以输出置信度分数以及对所识别对象所属的类别的预测(例如，所识别对象是人类的86％概率或任何其他合适的概率)。在一些实施方案中，可以将置信度分数与预定义阈值置信度分数进行比较，以确定如何分类对象。
在一些实施方案中，可以使用任何合适的批次大小(例如，32、64或任何其他合适的大小，或它们的任何组合)来训练该模型。在一些实施方案中，可以采用难负样本挖掘技术，并且难负样本挖掘的neg_pos_ratio可以是任何合适的值(例如，3、5或任何其他合适的值，或它们的任何组合)。在一些实施方案中，可以将任何合适的权重数量和任何合适的权重值应用于对象的类别(例如，以考虑熵损失)。例如，自行车、公共汽车、汽车、摩托车、人和火车的类别可以被分配以下相应权重：1.25、0.9、0.9、0.9、0.91.25、0.9。在一些实施方案中，可以基于特定对象(例如，人)的边界形状的特性来更新用作基线起点的先验框或标准框。
接近感测模块218(在图3中更详细地论述)可以被配置为输出对候选对象(与对象检测表示216相关联)与车辆101的接近度的确定220。如图3所示，接近感测模块218可以包括异常值剔除模型322和对象到车辆距离估计模型324或任何其他合适的部件，或它们的任何组合。在一些实施方案中，接近感测模块218的一个或多个部件(例如，异常值剔除模型322和对象到车辆距离估计模块324或任何其他合适的部件，或它们的任何组合)可以由处理电路102(和/或服务器136的处理电路)实现。
接近感测模块218可以从对象检测网络210接收一个或多个对象检测表示216，并且在121处执行预处理，以例如从对象检测表示216提取合适的特征、和/或将对象检测表示216转换为合适的数值(例如，矢量或矩阵)表示、和/或将对象检测表示216与训练数据323在格式化、归一化、大小调整、最小化等方面进行匹配。在一些实施方案中，预处理可以包括：在一些实施方案中，使图像或其部分颜色变浅；使图像或其部分颜色变深；使图像发生颜色偏移(例如，在颜色方案中，从彩色到灰度、或其他映射)；裁剪图像；扩缩图像；调节图像的纵横比；调节图像的对比度；执行任何其他合适的处理来准备图像；或它们的任何组合。候选对象的任何合适数量的特征(例如，x坐标、y坐标、高度、宽度或与对象相关联的任何其他合适的特征，或它们的任何组合)可以输入到接近感测模块218。
接近感测模块218的异常值剔除模型322可以被训练为将对象检测表示216作为输入(例如，任选地在预处理321之后)并输出对候选对象是否为异常值的确定。例如，此类确定可以基于候选对象是否可能是对象的错误检测(例如，在候选对象定位在对应于所识别对象不太可能位于其处的位置的图像的一部分的情形下，诸如在被分类为人的对象被确定为位于天空中的情形下、或可能是对象的错误检测的任何其他合适的场景、或它们的任何组合)和/或关于所检测候选对象是否位于目标范围之外或超出该目标范围(例如，距离车辆的主体8英尺、距离车辆的主体10英尺或任何其他合适的距离)的预测。在一些实施方案中，异常值剔除模型322可被实现为分类算法(例如，朴素贝叶斯算法、支持向量机、逻辑回归、线性回归、随机森林、最近邻算法和/或任何其他合适的分类器或机器学习模型，或它们的任何组合)。结合2021年4月8日提交的共有美国申请17/225,518更详细地讨论了分类器，该申请的全部内容据此以引用方式整体并入本文。在一些实施方案中，可以利用异常值剔除模型322的输出来执行车辆101的自主停车或半自主停车和/或执行车辆101的自主导航或半自主导航，例如，确定对象存在于车辆101的附近(或对象与错误检测相关联)并基于该确定执行或推荐合适的动作。在一些实施方案中，与车辆101正在进行道路导航或执行越野导航的场景相比，可以相对于停车场景使用独立训练图像来训练该模型。
如果确定候选对象是错误检测或在目标范围之外，则可以忽略或剔除候选对象，例如，不用于监测车辆101的条件，例如当车辆101在进行道路地形或越野地形导航中被停放时等等。异常值剔除模型322可以使用假阳性图像检测的一般观察到的训练图像(例如在训练对象检测网络210的过程中被观察到并标记为假阳性)进行训练，和/或使用用于训练机器学习模型214的数据的目标子集进行训练。可以采用异常值剔除模型322来对来自对象检测网络的广泛所见的假阳性具有稳健性。在一些实施方案中，如果与候选对象相关联的边界形状距车辆101太远和/或与候选对象相关联的边界框对应于输入图像中在其处不太可能存在有效对象(例如，被识别为在天空中的小型货车或人)的位置，则异常值剔除模型322可以确定候选对象可能是错误检测。
在一些实施方案中，训练数据可以分为多个组。例如，异常值剔除模型322可以使用其中对象距车辆8英尺以内的训练图像(例如，手动标记以指示从对象到车辆的距离)进行训练，并且对象到车辆距离估计模型324可以在使用其中对象距车辆10英尺以内的训练图像(例如，手动标记以指示从对象到车辆的距离)时进行训练。在一些实施方案中，异常值剔除模型322和/或对象到车辆距离估计模型324可被训练为学习具有一定大小并且在某个位置处的特定类别的对象(例如，车辆或人)对应于与车辆101的特定距离。在一些实施方案中，异常值剔除模型322和/或对象到车辆距离估计模型324可被训练为学习框大小高度(例如，像素级)、与框的中心的距离(例如，像素级)以及其他参数之间的相关性，以及对象与车辆之间的距离。
响应于确定候选对象(i)在目标范围内并且(ii)不是对象的错误检测，可以将候选对象验证为所检测对象，并且处理可以继续进行到对象到车辆距离估计模型324。可以采用模型324来监测车辆101周围的环境并估计或预测经验证的所检测对象与车辆101之间的距离。模型324可以使用车辆101的周围图像的训练图像(利用对针对特定训练图像的车辆101与对象之间的距离的指示进行注释)进行训练，并且可以输出关于经验证的所检测对象是否在车辆101的预定义范围(例如，8英尺或10英尺，或任何其他合适的距离)内的预测。在一些实施方案中，在326处，在确定对象距与以已捕获车辆周围区域的图像的相机相关联的车辆的距离时，可以将具有任何合适距离值的上边界和下边界与模型324的输出进行比较。在一些实施方案中，下边界可以为例如4英尺或任何其他合适的距离。在一些实施方案中，可以采用后处理技术(例如，非极大值抑制(NMS)或任何其他合适的技术，或它们的任何组合)。可以对单独或共同捕获的每个执行结合图3描述的处理，使得与来自多个图像的图像数据相关联的一个或多个输出可以融合在一起以促进对在目标范围内车辆101周围的目标对象的监测。因此，可以在检测可靠且错误警报少的情况下实现准确的对象到车辆距离估计，可以在车辆101周围的良好范围内监测对象接近度。此外，在一些实施方案中，所有的图像和视觉处理可以在一个低功率电子控制单元(ECU)上实现，该低功率ECU可以在对驱动范围和电池寿命具有最小影响的始终开启模式下运行，由此因所公开系统和方法的计算效率和低功率要求而对驱动范围和电池寿命具有最小影响。在一些实施方案中，本文所述的系统和方法可以用于自主驾驶应用和/或半自主驾驶应用中。
图4示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像。训练图像400可以包括对车辆401的描绘。在一些实施方案中，可以使用任何合适数量的训练图像，并且可以使用一组不同训练图像(例如，示出在各种不同的环境中彼此相距不同距离的各种不同的对象和不同的车辆并从车辆401的各个相机捕获的、或任何其他合适的图像、或它们的任何组合)来训练一个或多个机器学习模型(例如图2的模型214和/或图3的模型322和/或图3的模型324或任何其他合适的机器学习模型，或它们的任何组合)。在一些实施方案中，在某些训练图像中，可以在训练图像被捕获的环境中采用轮廓网402，并且可以在训练图像中描绘轮廓网402(例如，轮廓网402可以跨越任何合适的距离，例如，轮廓网402可以总共跨越10英尺，其中该网的每个元件可以间隔1英尺，或可以采用任何其他合适的总距离和/或间隔开的距离，或可以采用它们的任何组合)。在一些实施方案中，训练图像可用一个或多个边界框和车辆与对象之间的距离(例如，以英尺为单位或任何其他合适的测量方案)进行注释。在一些实施方案中，训练图像400可以包括任何合适大小(例如，1376×976鱼眼图像或任何其他合适的大小，或它们的任何组合)的鱼眼图像。在一些实施方案中，可以在任何合适数量的人(例如，人404、406、408、410、412)在车辆401周围走动或以其他方式存在于车辆附近的情况下捕获训练数据。在一些实施方案中，每个相应相机(例如，图像传感器124、126、128、130中的一个或多个图像传感器)可以捕获任何合适数量的训练图像(例如，描绘距车辆401一个或多个特定距离(例如10英尺)内的对象的至少1000个图像)。
图5示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像500。训练图像500可以从相机204、206、208取得，并且可以描绘对象502(例如，人)。在一些实施方案中，人到车辆距离可以基于由相机204、206、209检测到的人502的边界框504进行估计，并且可以基于对人处于特定位姿(例如，直立)的假设。可以利用针对不同相机位置的不同权重来训练机器学习模型(例如图2的模型214和/或图3的模型322和/或图3的模型324)。在一些实施方案中，此类机器学习模型(例如，模型324)中的一个或多个机器学习模型可对应于随机森林模型，其中可以通过增加决策树的数量和深度来改进训练准确性，并且/或者可以采用线性回归模型。在一些实施方案中，与边界框514相关联的对象516可以包括在训练图像500中。
在训练一个或多个机器学习模型时，可以使用任何合适数量的特征。例如，在xc、yc、w、h分别表示对象的中心坐标、宽度、高度的情况下，在训练模型324(和/或从其接收输出)时，可以使用以下特征的任何合适的组合：cx、cy、1/w、1/h、1/w2、1/h2、1/wh、y2。在一些实施方案中，异常值剔除模型322可用于剔除错误检测以及距车辆超过预定义范围(例如，8英尺)的对象。在一些实施方案中，可以使用预定义范围(例如，10英尺)内的经注释数据来训练对象到车辆距离估计模型324。在一些实施方案中，训练图像500还可以包括对分别对应于边界框508、512的对象506和510的描绘。
图6示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像600。训练图像600可以描绘对象602、606和对应的边界框604、608。训练图像600可以由车辆101的右侧相机(例如，鱼眼相机)捕获。
图7示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像700。训练图像700可以描绘对象702、706和对应的边界框704、708。训练图像700可以由车辆101的前相机(例如，鱼眼相机)捕获。
图8示出了根据本公开的一些实施方案的用于训练机器学习模型的示例性训练图像800。训练图像800可以描绘对象802、806和对应的边界框804、808。训练图像800可以由车辆101的后相机(例如，鱼眼相机)捕获。
在一些实施方案中，在训练一个或多个机器学习模型以识别图像中描绘的特定对象(例如，人)时，可以在训练数据中注释特定对象的各种类别。例如，可以将任何合适数量的类别(例如，12)用于注释以指示在距车辆不同距离处的人(例如，针对3英尺距离的不同注释；大于10英尺的距离，处在未知距离处的人；其至少一部分(诸如所描绘的面部)被遮挡的人等等)。在一些实施方案中，边界框可以覆盖所描绘的人的基本上所有部分以及所描绘的人的衣服和鞋子，并且可以在预定义数量的帧(例如，每3帧到5帧，其在训练数据包括图4的网402的情形下，可以通过对地面上的标记的数量进行计数来验证)之后注释对象。在一些实施方案中，可以使用任何合适的技术将训练图像重新设定为更高或更低的分辨率(例如，300×300分辨率或任何数量的其他合适的分辨率，或它们的任何组合)。例如，可以对一个或多个训练图像进行降采样，例如，以减少一个或多个图像中的数据量和/或降低其分辨率以使一个或多个图像能够被更容易地处理和/或占用较少的存储空间。附加地或另选地，可以对一个或多个训练图像进行升采样，例如，以增加一个或多个图像中的数据量和/或增加(例如，从默认分辨率)其分辨率以使一个或多个图像的一个或多个特征能够被更清楚地确定，例如，在训练模型和/或在利用经训练模型时由机器学习模型更清楚地确定。
图9A至图9F示出了根据本公开的一些实施方案的可用于注释用于一个或多个机器学习模型的训练图像的示例性边界形状。在一些实施方案中，可以在捕获图像(例如，鱼眼相机图像)中使用各种2D对象检测表示。例如，边界形状可以包括图9A的标准框902、图9B的定向框904、图9C的椭圆906、图9D的曲线框908、图9E的具有任何合适数量的点(例如，4个或任何其他合适的数量)的多边形910、图9F的具有任何合适数量的点(例如，24个或任何其他合适的数量)的多边形910。根据捕获图像中描绘的对象的位置、大小和形状，不同的边界配置可更适合于特定情况。
在一些实施方案中，在对象到车辆距离估计(例如，要触发威胁事件的人到车辆距离估计)中，可以采用任何合适的度量。例如，针对均方根差(RMSE)度量的公式(1)可用于每个离散距离：
(1)
Figure BDA0003740250020000151
其中d∈{1,2,3,4,5,6,7,8,9,10}，其中英尺单位为人与车辆之间的真值距离，pi d在真值距离为d英尺时为第i预测距离，Nd在真值距离为d英尺时为样本数量。在一些实施方案中，注释可能不均匀地分布在所有位置上，在这种情况下，可以利用合适的加权或偏差。在一些实施方案中，可以在数据收集和注释中使用对所有可用离散距离的RMSE平均值的总体度量，如公式(2)所示：
(2)
Figure BDA0003740250020000152
在一些实施方案中，dmax＝10，并且dmin可为1或2。在一些实施方案中，前相机可以具有窄视野(FOV)，并且dmin可为1。假设人可以具有大于1英尺的宽度，在1英尺内的mRMSE可能是足够的并且从每个相机都被观察到。在一些实施方案中，可以基于来自机器学习模型214的输出来执行测试。
在评估所公开的机器学习模型(例如，机器学习模型214、异常值剔除模型322、对象到车辆距离估计模型324)中的一个或多个机器学习模型的性能时，真阳性(TP)、假阳性(FP)、假阴性(FN)和真阴性(TN)。可以利用交并比(IOU)阈值，指示与对象的实际边界形状相比，预测边界形状的重叠度量。TP可以是正确的检测，在IOU阈值内)；FP可以是错误的检测，其中IOU<阈值，并且如果存在与真值重叠的多于一个检测，则第一检测可以被认为是TP，而其他检测是FP；未检测到真值时，可以为FN；并且真阴性可能不适用。在一些实施方案中，可以测量各种量，例如精度、召回率和平均精度。精度可以被理解为模型仅识别相关对象的能力，即正确的阳性预测的百分比，并且由下式给出：
Figure BDA0003740250020000161
召回率可以被理解为模型找到所有相关情况(所有真值边界框)的能力(即在所有相关真值中检测到的真阳性的百分比)并且由下式给出：
Figure BDA0003740250020000162
平均精度(AP)可以通过计算精度×召回率曲线的曲线下面积(AUC)进行计算。AP是用于评估不同置信度值下的精确和召回率的度量，并且因此可以确定给定不同置信水平时TP分类和FP分类的量。
可以在评估机器学习模型时使用的示例性度量可以包括：具有IOU阈值t＝0.5的AP，其可用于通过计算对所有点进行插值的精度×召回率曲线下的面积来单独测量每个类别的AP，并且为了将检测分类为TP或FP，IOU阈值可以设置为t＝0.5；AP@.5和AP@.75(用于评估精度×曲线，可以在N＝101个召回点中执行插值，并且每个类别的计算结果可以被求和并除以类别数量，并对所有计算结果取平均值)。在一些实施方案中，可以用任何合适的数据集测试所公开的机器学习模型中的一个或多个机器学习模型。
图10示出了根据本公开的一些实施方案的用于输出对车辆与对象之间的距离的预测的例示性过程的流程图。过程1000可以至少部分地由车辆101的处理电路102和/或服务器136的处理电路执行。
在10102处，处理电路102可以使用例如由相机204、206、208(其可以是广角鱼眼相机)捕获的车辆101周围的环境的任何合适数量的训练图像来训练机器学习模型214。在一些实施方案中，机器学习模型214的训练图像可以包括附加到其上或以其他方式与训练图像输入到模型的注释，其中注释指示特定类别(例如，人、汽车、公共汽车、摩托车、火车、自行车等)和/或车辆到对象距离注释。在一些实施方案中，一组训练图像可以对应于停车场景(例如，在停车场、道路的一侧、在车道中、越野等)，并且另一组训练图像可以对应于导航场景，例如，在道路上驾驶车辆101或对其进行越野驾驶。
在1004处，处理电路102可以使用例如由相机204、206、208(其可以是广角鱼眼相机)捕获的车辆101周围的环境的任何合适数量的训练图像来训练异常值剔除模型322。在一些实施方案中，可以使用机器学习模型214的训练数据或其一部分(例如，指示对象与受试车辆之间的距离的注释，和/或包括候选对象的一般观察到的假阳性检测)来训练异常值剔除模型322。在一些实施方案中，可以使用其中对象距车辆8英尺以内的训练图像(例如，手动标记以指示从对象到车辆的距离)来训练异常值剔除模型322。在一些实施方案中，一组训练图像可以对应于停车场景(例如，在停车场、道路的一侧、在车道中、越野等)，并且另一组训练图像可以对应于导航场景，例如，在道路上驾驶车辆101或对其进行越野驾驶。
在1006处，处理电路102可以使用例如由相机204、206、208(其可以是广角鱼眼相机)捕获的车辆101周围的环境的任何合适数量的训练图像来训练对象到车辆距离估计模型324。在一些实施方案中，可以使用机器学习模型214的训练数据或其一部分(例如，指示对象与受试车辆之间的距离的注释)来训练对象到车辆距离估计模型324。在一些实施方案中，可以在使用其中对象距车辆10英尺以内的训练图像(例如，手动标记以指示从对象到车辆的距离)时训练对象到车辆距离估计模型324。在一些实施方案中，一组训练图像可以对应于停车场景(例如，在停车场、道路的一侧、在车道中、越野等)，并且另一组训练图像可以对应于导航场景，例如，在道路上驾驶车辆101或对其进行越野驾驶。
在1008处，相机204、206、208可以在车辆101的周围环境中捕获图像。可以以任何合适的捕获速率捕获任何合适数量的图像。在一些实施方案中，车辆101的此类环境可以对应于例如停车场、车道、部分道路之外或越野，例如在车辆101被停放的情形下等等。在一些实施方案中，车辆101的此类环境可以对应于例如道路或越野，例如在车辆101(例如，在道路中或在越野的其他移动车辆中)被导航的情形下。
在1010处，处理电路102可以使捕获图像输入到经训练神经网络对象检测器214，其可以被配置为识别输入图像中描绘的对象并输出以获得与对象相关联的对象检测表示216。例如，可以生成围绕所识别对象的边缘的边界形状。
在1012处，处理电路102可以将对象检测表示216输入到接近感测模块218中。更具体地，可以对对象检测表示216执行预处理，并且任选预处理的对象检测表示216可以输入到异常值剔除模型322，该异常值剔除模型可以被配置为输出对对象检测表示216是否是错误识别的对象和/或是否超出距车辆101的目标范围(例如，10英尺)的预测。
在1014处，基于接近感测模块218的输出，处理电路102可以确定对象检测表示216是否是异常值。例如，处理电路102可以确定候选是否位于图像的一部分(例如，天空)处，在该位置处，特定类别的对象(例如，人)不太可能被检测到并且/或者超出距车辆101的目标范围(例如，10英尺)。如果输出指示对象检测表示216是错误识别的对象和/或超出距车辆101的目标范围(例如，10英尺)，则可以在1016处丢弃图像。否则，处理可以进行到1018，其中候选对象可以被验证为对象。
在1018处，可以将对象检测表示216输入到经训练对象到车辆距离估计模型324中以获得对对象到车辆的接近距离的确定，从而获得对与车辆的接近度的预测。例如，基于对象到车辆距离估计模型324的输出，可以不断地确定车辆101与经验证的对象之间的距离。
在1020处，处理电路102可以基于对象到车辆距离估计模型324所输出的对车辆101与经验证的对象之间的距离的确定，来确定对象是否比预定义距离设置更靠近(例如，距车辆101的外部主体8英尺以内或10英尺以内)。如果确定经验证的对象比预定义设置更靠近车辆101，则处理可以进行到1022，其中可以基于对象的接近距离生成输出信号，例如，可以向车辆101的操作者输出警报。另一方面，如果处理电路102基于对象到车辆距离估计模型324的输出确定对象不在预定义距离设置内，则处理可以返回到1008，以捕获车辆101周围的环境的附加图像，以通过迭代执行后续步骤来继续监测此类环境。
前述内容只是举例说明本公开的原理，并且在不脱离本公开的范围的情况下，本领域的技术人员可作出各种修改。上述实施方案是出于举例说明而非限制的目的而呈现的。本公开还可采用除本文明确描述的那些形式之外的许多形式。因此，应当强调的是，本公开不限于明确公开的方法、系统和仪器，而是旨在包括其变型和修改，这些变型和修改在以下权利要求书的实质内。

Claims (18)

1.一种车辆的系统，所述系统包括：
处理电路，所述处理电路被配置为：
基于表示所述车辆周围的环境的捕获图像的传感器数据来生成候选对象的对象检测表示；
基于所述对象检测表示来确定所述候选对象是否为异常值；以及
响应于确定所述候选对象不是异常值：
将所述候选对象验证为对象；
确定所述对象到所述车辆的接近距离；以及
输出所述对象的所述接近距离。
2.根据权利要求1所述的系统，所述系统还包括：
多个图像传感器，所述多个图像传感器被配置为基于所述车辆周围的所述环境的捕获图像来生成所述传感器数据。
3.根据权利要求2所述的系统，其中所述多个图像传感器分别包括在多个单目鱼眼相机中。
4.根据权利要求1所述的系统，其中所述处理电路被配置为：
基于表示所述车辆周围的所述环境的所述捕获图像的所述传感器数据，基于经训练机器学习模型将所述捕获图像作为输入并提供所述对象检测表示的输出，生成所述候选对象的所述对象检测表示。
5.根据权利要求4所述的系统，其中：
所述对象检测表示包括与所述候选对象有关的边界形状；并且
经训练神经网络机器学习模型是使用多个训练图像来训练的，每个相应训练图像包括对所述有关的边界形状的注释和对从所述对象到与所述相应训练图像相关联的车辆的距离的注释。
6.根据权利要求1所述的系统，其中所述处理电路被配置为：
基于所述对象检测表示，通过使用经训练机器学习模型来确定所述候选对象是否为异常值，所述经训练机器学习模型将所述对象检测表示作为输入并提供以下作为输出：
确定所述候选对象是否与目标范围外的位置相关联；以及
确定所述候选对象的所述位置是否指示所述候选对象不太可能是有效对象。
7.一种方法，所述方法包括：
基于表示所述车辆周围的环境的捕获图像的传感器数据来生成候选对象的对象检测表示；
基于所述对象检测表示来确定所述候选对象是否为异常值；以及
响应于确定所述候选对象不是异常值：
将所述候选对象验证为对象；
确定所述对象到所述车辆的接近距离；以及
输出所述对象的所述接近距离。
8.根据权利要求7所述的方法，其中所述传感器数据由多个图像传感器生成，所述多个图像传感器被配置为基于所述车辆周围的所述环境的捕获图像来生成所述传感器数据。
9.根据权利要求8所述的方法，其中所述多个图像传感器分别包括在多个单目鱼眼相机中。
10.根据权利要求7所述的方法，其中基于表示所述车辆周围的所述环境的所述捕获图像的所述传感器数据，基于经训练机器学习模型将所述捕获图像作为输入并提供所述对象检测表示的输出，执行所述候选对象的所述对象检测表示的所述生成。
11.根据权利要求10所述的方法，其中：
所述对象检测表示包括与所述候选对象有关的边界形状；并且
经训练神经网络机器学习模型是使用多个训练图像来训练的，每个相应训练图像包括对所述有关的边界形状的注释和对从所述对象到与所述相应训练图像相关联的车辆的距离的注释。
12.根据权利要求7所述的方法，所述方法还包括：
基于所述对象检测表示，通过使用经训练机器学习模型来确定所述候选对象是否为异常值，所述经训练机器学习模型将所述对象检测表示作为输入并提供以下作为输出：
确定所述候选对象是否与目标范围外的位置相关联；以及
确定所述候选对象的所述位置是否指示所述候选对象不太可能是有效对象。
13.一种非暂态计算机可读介质，所述非暂态计算机可读介质具有编码在其上的非暂态计算机可读指令，所述非暂态计算机可读指令在由处理器执行时致使所述处理器：
基于表示所述车辆周围的环境的捕获图像的传感器数据来生成候选对象的对象检测表示；
基于所述对象检测表示来确定所述候选对象是否为异常值；以及
响应于确定所述候选对象不是异常值：
将所述候选对象验证为对象；
确定所述对象到所述车辆的接近距离；以及
输出所述对象的所述接近距离。
14.根据权利要求13所述的非暂态计算机可读介质，其中所述传感器数据由多个图像传感器生成，所述多个图像传感器被配置为基于所述车辆周围的所述环境的捕获图像来生成所述传感器数据。
15.根据权利要求14所述的非暂态计算机可读介质，其中所述多个图像传感器分别包括在多个单目鱼眼相机中。
16.根据权利要求13所述的非暂态计算机可读介质，其中所述指令的执行致使：基于表示所述车辆周围的所述环境的所述捕获图像的所述传感器数据，基于经训练神经网络机器学习模型将所述捕获图像作为输入并提供所述对象检测表示的输出，生成所述候选对象的所述对象检测表示。
17.根据权利要求16所述的非暂态计算机可读介质，其中：
所述对象检测表示包括与所述候选对象有关的边界形状；并且
经训练神经网络机器学习模型是使用多个训练图像来训练的，每个相应训练图像包括对所述有关的边界形状的注释和对从所述对象到与所述相应训练图像相关联的车辆的距离的注释。
18.根据权利要求13所述的非暂态计算机可读介质，其中所述指令的执行致使所述处理器：
基于所述对象检测表示，通过使用经训练机器学习模型来确定所述候选对象是否为异常值，所述经训练机器学习模型将所述对象检测表示作为输入并提供以下作为输出：
确定所述候选对象是否与目标范围外的位置相关联；以及
确定所述候选对象的所述位置是否指示所述候选对象不太可能是有效对象。
CN202210813663.XA 2021-07-29 2022-07-11 用于车辆周围的对象接近监测的系统和方法 Pending CN115690719A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163227028P 2021-07-29 2021-07-29
US63/227,028 2021-07-29
US17/567,054 US20230033243A1 (en) 2021-07-29 2021-12-31 Systems and methods for object proximity monitoring around a vehicle
US17/567,054 2021-12-31

Publications (1)

Publication Number Publication Date
CN115690719A true CN115690719A (zh) 2023-02-03

Family

ID=84889899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210813663.XA Pending CN115690719A (zh) 2021-07-29 2022-07-11 用于车辆周围的对象接近监测的系统和方法

Country Status (3)

Country Link
US (1) US20230033243A1 (zh)
CN (1) CN115690719A (zh)
DE (1) DE102022119103A1 (zh)

Also Published As

Publication number Publication date
DE102022119103A1 (de) 2023-02-02
US20230033243A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
US10152649B2 (en) Detecting visual information corresponding to an animal
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US11727668B2 (en) Using captured video data to identify pose of a vehicle
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
WO2021096629A1 (en) Geometry-aware instance segmentation in stereo image capture processes
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
US20120155711A1 (en) Apparatus and method for analyzing video
US11443622B2 (en) Systems and methods for mitigating a risk of being followed by a vehicle
CN115683135A (zh) 用于确定可行驶空间的系统和方法
CN111985388A (zh) 行人注意力检测驾驶辅助系统、装置和方法
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN116434162A (zh) 用于减少在车辆的周围环境中的跟踪对象的漏检测的系统和方法
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
US20230033243A1 (en) Systems and methods for object proximity monitoring around a vehicle
CN116710971A (zh) 物体识别方法和飞行时间物体识别电路
US20230230257A1 (en) Systems and methods for improved three-dimensional data association using information from two-dimensional images
EP4148600A1 (en) Attentional sampling for long range detection in autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination