CN114066929A - 预测目标车辆相对于自主车辆的轨迹的方法 - Google Patents

预测目标车辆相对于自主车辆的轨迹的方法 Download PDF

Info

Publication number
CN114066929A
CN114066929A CN202110903056.8A CN202110903056A CN114066929A CN 114066929 A CN114066929 A CN 114066929A CN 202110903056 A CN202110903056 A CN 202110903056A CN 114066929 A CN114066929 A CN 114066929A
Authority
CN
China
Prior art keywords
image
target object
tire
contact information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110903056.8A
Other languages
English (en)
Inventor
车妍华
皇甫明
权宁旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Phantom Artificial Intelligence Co ltd
Original Assignee
Phantom Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Phantom Artificial Intelligence Co ltd filed Critical Phantom Artificial Intelligence Co ltd
Publication of CN114066929A publication Critical patent/CN114066929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种预测目标车辆相对于自主车辆的轨迹的方法，包括：从安装在所述自主车辆上的相机接收具有表示道路上的目标车辆的目标对象的第一图像；生成与所述目标车辆相关联的边界框，所述边界框围绕所述目标对象的轮廓；从所述第一图像提取所述目标对象与路面的多个轮胎接触信息，其中每个所述多个轮胎接触信息表示相应轮胎与所述道路之间的接触在所述第一图像中的坐标；将所述多个轮胎接触信息从所述第一图像映射到所述第一图像的鸟瞰视图；以及使用所述鸟瞰视图上的映射的轮胎接触信息计算所述目标对象的参考所述自主车辆的移动方向的所述轨迹。

Description

预测目标车辆相对于自主车辆的轨迹的方法
技术领域
本发明的构思涉及一种预测道路上的车辆的轨迹的方法，更具体地，一种使用道路上的车辆的轮胎接触信息预测车辆的轨迹的方法。
背景技术
使用自动驾驶技术或驾驶辅助技术的自主车辆(ego vehicle)的安全驾驶可能取决于预测道路上的相邻车辆的轨迹。相邻车辆的可靠轨迹预测可受益于自主车辆配备了各种传感器。例如，各种传感器可包括激光、声纳、雷达、相机和观察自主车辆的周围环境的其他设备。利用这些传感器中的至少一个，自主车辆可识别相邻车辆、预测其轨迹并控制自身以避免与相邻车辆的碰撞。因此，自主车辆的安全驾驶可能需要对相邻车辆的轨迹进行可靠且快速的预测。
发明内容
根据本发明的示例性实施例，一种预测目标车辆相对于自主车辆的轨迹的方法，包括从安装在所述自主车辆上的相机接收具有表示道路上的目标车辆的目标对象的第一图像；生成与所述目标车辆相关联的边界框，所述边界框围绕所述目标对象的轮廓；从所述第一图像提取所述目标对象与路面的多个轮胎接触信息，其中所述多个轮胎接触信息中的每一个表示相应轮胎与所述道路之间的接触在所述第一图像中的坐标；将所述多个轮胎接触信息从所述第一图像映射到所述第一图像的鸟瞰视图；以及使用所述鸟瞰视图上的多个映射的轮胎接触信息计算所述目标对象的参考所述自主车辆的移动方向的所述轨迹。
根据本发明的示例性实施例，一种预测目标车辆相对于自主车辆的轨迹的方法，包括：从安装在所述自主车辆上的相机接收具有表示道路上的多个目标车辆的多个目标对象的第一图像；使用第一卷积神经网络从所述第一图像中检测所述多个目标对象；生成与所述多个目标对象相关联的多个初步边界框；裁剪所述多个初步边界框以生成多个输入图像；将所述多个输入图像中的每一个调整大小成预定义大小；从多个已调整大小输入图像中检测所述多个目标对象的多个轮廓；从所述多个已调整大小输入图像中的对应的已调整大小输入图像中提取所述多个目标对象中的第一目标对象的多个轮胎接触信息，所述多个轮胎接触信息中的每一个表示所述第一目标对象的对应轮胎与所述道路之间的接触在所述第一图像中的坐标；基于所述多个目标对象的所述多个轮廓生成多个边界框；将所述第一目标对象的多个轮胎接触信息从所述第一图像映射到鸟瞰视图中；以及使用所述鸟瞰视图上的多个映射的轮胎接触信息计算所述第一目标对象参考所述自主车辆的移动方向的轨迹。
根据本发明的示例性实施例，一种控制自主车辆的方法，包括：从安装在所述自主车辆上的相机接收具有表示道路上的多个目标车辆的多个目标对象的第一图像；使用第一卷积神经网络生成围绕所述多个目标对象的多个初步边界框；通过对由所述多个初步边界框限定的多个图像部调整大小，从所述第一图像生成多个输入图像；所述多个输入图像具有相同的大小；使用第二卷积神经网络，从所述多个输入图像中的每一个生成对应的目标对象的轮廓以及与所述对应的目标对象的至少两个轮胎相关联的至少两个轮胎接触信息，所述至少两个轮胎接触信息同与所述对应的目标对象的至少两个轮胎对应的所述轮廓的至少两个轮廓部相关联，并且所述至少两个轮胎接触信息中的每一个表示对应的轮胎与所述道路之间的接触在所述第一图像中的坐标；将所述至少两个轮胎接触信息从所述第一图像映射到所述第一图像的鸟瞰视图上；以及使用所述鸟瞰视图上映射的至少两个轮胎接触信息计算所述对应的目标对象的参照所述自主车辆的第一移动方向的移动方向；以及响应于所述对应的目标对象的所述移动方向的计算，将所述自主车辆的所述第一移动方向调整成其第二移动方向。
附图说明
通过参考附图详细描述本发明的示例性实施例，本发明的这些和其他特征将变得更加明显，其中：
图1示出了根据本发明的示例性实施例的自主车辆的道路环境；
图2示出了根据本发明的示例性实施例的自主车辆的道路环境感知系统；
图3示出了根据本发明的示例性实施例的安装在自主车辆上的相机；
图4示出了根据本发明的示例性实施例的使用道路环境感知系统预测目标车辆的轨迹的方法；
图5示出了根据本发明的示例性实施例的实现图4的步骤S100的流程图；
图6示出了根据本发明的示例性实施例的由自主车辆的前置相机取得的围绕自主车辆的道路环境的图像；
图7示出了根据本发明的示例性实施例的从图像生成初始边界框的构思；
图8示出了根据本发明的示例性实施例的裁剪初始边界框并从裁剪后的图像生成已调整大小图像的构思；
图9示出了根据本发明的示例性实施例的生成围绕车辆对象的轮廓的精细边界框的构思；
图10A示出了根据本发明的示例性实施例的从已调整大小图像中检测到的车辆对象的轮廓；
图10B示出了根据本发明的示例性实施例的行驶在自主车辆的右侧的目标车辆的侧轮胎的子边界框；
图11A至图11C示出了根据本发明的示例性实施例的在执行图4的步骤S100之后获得的具有目标车辆的轮胎接触信息的第一图像；
图12示出了根据本发明的示例性实施例的实现图4的步骤S200的流程图；
图13A至图13C示出了根据本发明的示例性实施例的目标车辆的轮胎接触信息从输入图像到自上而下视图的映射操作；以及
图14示出了根据本发明的示例性实施例的计算目标车辆的移动方向的流程图。
应当理解，为了图示的简单和清楚起见，附图中图示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸相对于其他元件被放大了。此外，在认为合适的情况下，附图中重复附图标记以表示对应或类似的元件。
具体实施方式
下面将参照附图详细描述本发明的示例性实施例。提供以下详细描述以帮助读者全面理解这里描述的方法、装置和/或系统。然而，在理解了本申请的公开内容之后，这里描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。这里描述的操作顺序仅仅是示例，而并不限于这里阐述的那些，而是可以在理解本申请的公开内容之后显而易见地改变，除了必须以特定顺序发生的操作。为了简化描述，可以省略对本领域普通技术人员公知的功能和构造的描述。
这里描述的特征可以以不同的形式和/或步骤来体现，并且不应被解释为限于这里描述的示例。相反，提供这里描述的示例仅仅是为了说明在理解本申请的公开内容之后将显而易见的、实现这里描述的方法、装置和/或系统的许多可能方式中的一些方式。
这里可以使用诸如第一、第二、A、B、(a)和(b)等术语来描述部件(或步骤)。这些术语中的每一种均不用以定义相应组件(或步骤)的顺序，而仅用于将相应组件(或步骤)与其他组件区分开来。例如，第一组件(或步骤)可称为第二组件(步骤)，并且类似地，第二组件(步骤)也可称为第一组件(或步骤)。
图1示出了根据本发明的示例性实施例的自主车辆的道路环境。在道路环境中，自主车辆100与多个相邻车辆210至230一起沿着路面300行驶。在下文中，自主车辆100可以指具有道路环境感知系统的自动车辆或半自动车辆，该道路环境感知系统根据本发明的示例性实施例操作。道路环境感知系统可以是自动驾驶和/或驾驶员辅助技术的一部分以预测多个相邻车辆210至230中的至少一个的轨迹。为了简化描述，道路环境包括三个相邻车辆210至230。本发明不限于此。在示例性实施例中，道路环境可包括一个或两个相邻车辆，或多于三个相邻车辆。
自主车辆100包括用于定期确定多个相邻车辆210至230中的至少一个的轨迹的道路环境感知系统。例如，自主车辆100的道路环境感知系统预测第一相邻车辆210的第一轨迹/T1。术语“/T1”表示预测第一相邻车辆210遵循的轨迹的矢量。第一轨迹/T1包括角位置以及第一相邻车辆210的移动方向/u1，该角位置包括第一相邻车辆210距自主车辆100的相对距离rd1和自主车辆100的相对于移动方向110的角度θ1。术语“/u1”表示第一相邻车辆210的单位速度，其对应于第一相邻车辆210的移动方向.
相对距离rd1可以是自主车辆100(例如，自主车辆100的相机)与第一相邻车辆210的预定点之间的距离。在示例性实施例中，第一相邻车辆210的预定点可包括其至少一个轮胎接触信息，这将在后面进行描述。角度θ1可以是自主车辆100的移动方向110与测量相对距离rd1所沿着的方向之间的角度。当在相对于移动方向110的顺时针方向上测量时，角度θ1可以是正的，而当在相对于移动方向110的逆时针方向上测量时，角度θ1可以是负的。本发明并不局限于此。在示例性实施例中，标志符号可能会变成相反的。
利用第一相邻车辆210的第一轨迹/T1，自主车辆100可控制自主车辆100的转向、加速度和/或减速度，以安全地遵循路线或避免与第一相邻车辆210碰撞。本发明并不局限于此。在示例性实施例中，自主车辆100还可预测第二相邻车辆220的第二轨迹/T2和第三相邻车辆230的第三轨迹/T3，以安全地遵循路线或避免与第一相邻车辆210至第三相邻车辆230的碰撞。
道路环境包括具有两条北行车道310和320的路面300。在该道路环境中，假定自主车辆100沿着北行车道310行驶并且接近多个相邻车辆210至230。本发明并不局限于此。在示例性实施例中，路面300可以是单行道或可包括多于两条车道。如图2中所示，当在道路环境中沿着北行车道310行驶时，自主车辆100可检测的多个相邻车辆210至230。
图2示出了根据示例性实施例的自主车辆100的道路环境感知系统。道路环境感知系统120包括相机121和处理器122。相机121可以是单目相机。本发明并不局限于此。在示例性实施例中，相机121可包括至少一个立体相机。相机121可以由诸如互补金属氧化物半导体(CMOS)图像传感器的图像传感器形成。相机121可包括安装在自主车辆100的各个位置上的多个相机。例如，如图3中所示，相机121包括前置相机121F和右侧相机121RS。前置相机121F安装在后视镜上并且沿着自主车辆100的移动方向面向前方。右侧相机121RS安装在车顶柱上，以面向自主车辆100的右侧。相机121可进一步包括面向自主车辆100的左侧的左侧相机和沿着自主车辆100的移动方向面向后方的后置相机。本发明并不局限于此。在示例性实施例中，相机121的位置和/或相机121的数量可以根据自主车辆100的形状或设计而改变。在示例性实施例中，相机121可采用各种配置，诸如长视场角(FOV)、短FOV、广角、鱼眼等。
在下文中，假定前置相机121F拍摄围绕自主车辆100的道路环境，如图2中所示。该道路环境包括如上面参照图1和图2所描述的第一相邻车辆210至第三相邻车辆230。
处理器122被耦接到相机121。处理器122运行以接收从相机121(例如，前置相机121F)生成的输入图像IMG01。在示例性实施例中，处理器122可耦接到多个相机。在示例性实施例中，处理器122可包括耦接到多个相机的多个处理器。多个处理器中的每一个可从多个相机的相应相机接收输入图像，并且可计算由相应相机拍摄的相邻车辆的轨迹。处理器122可在单核或多核中实现，以处理将参照图4进行描述的多个操作。在示例性实施例中，处理器122可包括应用处理器、图像处理器或被配置为执行图4的多个操作的任何其他处理设备。为了简化描述，从道路环境感知系统120中省略了多个组件，诸如用于存储从相机121获得的图像数据的存储器系统和用于与围绕自主车辆100的道路环境有关的信息通信的通信系统。
图4示出了使用根据示例性实施例的道路环境感知系统来预测目标车辆的轨迹的方法。为了便于描述，第一相邻车辆210也被称为目标车辆。在步骤S100中，道路环境感知系统120检测目标车辆在路面上的多次轮胎接触(接触点)，并生成目标车辆的多个轮胎接触信息。在步骤S200中，道路环境感知系统120使用多个轮胎接触信息来计算目标车辆的第一轨迹/T1。第一轨迹/T1包括目标车辆的角位置以及目标车辆的移动方向/u1，该角位置包括目标车辆距自主车辆100的相对距离rd1和相对于自主车辆100的移动方向110的角度θ1。
参照图5至图8，将详细地描述图4中的步骤S100。图5示出了实施根据示例性实施例的图4的步骤S100的流程图。图6示出了由自主车辆的前置相机拍摄的围绕自主车辆的道路环境的图像。图7示出了根据示例性实施例的从图像生成初始边界框的构思。图8示出了根据示例性实施例的裁剪初始边界框并从裁剪后的图像生成已调整大小图像的构思。
参照图5和图6的步骤S110，处理器122运行以从前置相机121F接收输入图像IMG01。在示例性实施例中，输入图像IMG01是512×288像素的图像。本发明并不局限于此。在示例性实施例中，输入图像IMG01可具有各种尺寸。输入图像IMG01中的每一个像素的位置例如用笛卡尔坐标系表示。在示例性实施例中，输入图像IMG01中的每一个像素的坐标由有序对(x,y)定义，其中x是像素在x轴上距输入图像IMG01的原点的水平距离，并且y是像素在y轴上与输入图像IMG01原点的垂直距离。输入图像IMG01的原点对应于输入图像IMG01的预定像素(例如，输入图像IMG01的左上角的像素)。在示例性实施例中，输入图像IMG01包括由前置相机121F拍摄的、与如图2中所示的多个相邻车辆210至230对应的多个车辆对象210-O至230-O。该坐标系并不限于此。在示例性实施例中，该坐标系可以以各种方式进行配置。
参照图5和图7的步骤S120，处理器122运行以使用基于训练的对象检测算法来生成多个初始边界框(即，初步边界框)。在示例性实施例中，基于训练的对象检测算法可包括诸如区域卷积神经网络(R-CNN)的卷积神经网络(CNN)，以从输入图像IMG01检测多个车辆对象210-O至230-O。
在示例性实施例中，可训练R-CNN以检测道路上的各种车辆对象。例如，道路上的各种车辆对象可以代表四轮车辆、诸如自行车和摩托车的两轮车辆，或六轮或更多轮车辆。R-CNN可检测多个车辆对象210-O至230-O，并且可生成多个初始边界框210-IB、220-IB和230-IB。多个初始边界框210-IB至230-IB中的每一个可围绕多个车辆对象210-O至230-O中的相应车辆对象。在示例性实施例中，R-CNN可包括使用例如锚框的对象建议算法，该锚框被馈送给用于检测各种车辆对象的分类器。
R-CNN接收输入图像IMG01并生成多个初始边界框210-IB至230-IB。多个初始边界框210-IB至230-IB中的每一个围绕输入图像IMG01上的相应车辆对象。在图1和图2的道路环境中，例如，R-CNN分别生成围绕三个车辆对象210-O、220-O和230-O的三个初始边界框210-IB至230-IB。R-CNN还可以输出输入图像IMG01中的三个初始边界框210-IB至230-IB中的每一个的坐标。在示例性实施例中，初始边界框(例如，第一初始边界框210-IB)的坐标可对应于初始边界框的左上角处的像素的坐标。
参照图5和图8的步骤S130，处理器122运行以选择多个初始边界框210-IB至230-IB作为多个感兴趣区域(ROI)，并裁剪多个初始边界框210-IB至230-IB以生成多个裁剪后图像210-CI、220-CI和230-CI。多个裁剪后图像210-CI、220-CI和230-CI中的每一个可以在输入图像IMG01上具有由R-CNN生成的相应的初始边界框的坐标。例如，第一裁剪后图像210-CI对应于第一初始边界框210-IB，并且在输入图像IMG01上具有在第一初始边界框210-IB的左上角处的像素的坐标(m1,n1)。第二裁剪后图像220-CI对应于第二初始边界框220-IB，并且在输入图像IMG01上具有在第二初始边界框220-IB的左上角处的像素的坐标(m2,n2)。第三裁剪后图像230-CI对应于第三初始边界框230-IB，并且在输入图像IMG01上具有在第三初始边界框230-IB的左上角处的像素的坐标(m3,n3)。处理器122运行以调整多个裁剪后图像210-CI至230-CI的大小，以生成多个已调整大小图像210-RI、220-RI和230-RI。多个已调整大小图像210-RI至230-RI可具有相同大小的预定大小(例如，96×96像素)。在示例性实施例中，在调整多个裁剪后图像210-CI至230-CI的大小的过程中，不保持多个裁剪后图像210-CI至230-CI中的每一个的长宽比。
为了便于描述，假定第一裁剪后图像210-CI大于预定尺寸(例如，96×96像素)，而第二裁剪后图像220-CI和第三裁剪后图像230-CI小于预定尺寸。在这种情况下，使用诸如兰开斯插值的插值方法将第二裁剪后图像220-CI和第三裁剪后图像230-CI增大到预定尺寸。例如，兰开斯插值可以在8×8像素邻域上执行。使用图像抽取方法将第一裁剪后图像210-CI减小到预定尺寸，在该方法中基于像素面积关系对第一裁剪后图像210-CI的像素进行重新采样。可以在没有莫尔效应的情况下执行该图像抽取方法。
在下文中，参照图9和图10A，将详细描述图5的步骤S140。图9示出了根据示例性实施例的生成围绕车辆对象轮廓的精细边界框的构思。图10A示出了根据示例性实施例的从已调整大小图像中检测到的车辆对象的轮廓。
在图5的步骤S140中，处理器122运行以使用诸如卷积神经网络的基于训练的对象轮廓检测算法，分别从多个已调整大小图像210-RI至230-RI生成与多个车辆对象210-O、220-O和230-O对应的多个轮廓210-CT、220-CT和230-CT。使用基于训练的对象轮廓检测算法，处理器122运行以分别围绕多个轮廓210-CT、220-CT和230-CT生成多个精细边界框210-RB、220-RB和230-RB。
在示例性实施例中，基于训练的对象轮廓检测算法可以使用执行逐像素级标注的完全卷积编码器-解码器网络来实现。在示例性实施例中，编码器网络可包括诸如MobileNet架构和EfficientNet-Edge TPU的卷积神经网络，并且解码器网络可以使用16个向上采样和反卷积单元。本发明并不局限于此。在示例性实施例中，编码器网络的配置可以改变。由于已知包括三个已调整大小图像210-RI至230-RI的CNN编码器的输入补丁具有车辆对象，因此可以简化或优化CNN编码器以检测车辆对象的轮廓。在示例性实施例中，网络的CNN编码器可具有针对多个已调整大小图像210-RI至230-RI中的每一个图像的大小和分辨率而优化的结构。CNN解码器网络可以对低分辨率CNN编码器的特征进行上采样和映射，以生成多个轮廓210CT至230CT。
利用基于训练的对象轮廓检测算法，处理器122运行以从多个已调整大小图像210-RI至230-RI生成多个车辆对象210-O至230-O中的每一个的轮胎接触信息。基于训练的对象轮廓检测算法被训练用于检测如图10A中所示的与路面接触的至少一个轮胎。
在图10A中，基于训练的对象轮廓检测算法从对应于目标车辆的第一车辆对象210-O中检测对应于至少一个轮胎的轮廓部，并生成围绕对应于至少一个轮胎的轮廓部的至少一个子边界框。例如，基于训练的对象轮廓检测算法接收第一已调整大小图像210-RI，并生成与第一已调整大小图像210-RI中的第一车辆对象210-O对应的轮廓210-CT。基于轮廓210-CT，基于训练的轮廓提取算法生成第一精细边界框210-RB以及第一至第三子边界框210-FLBB、210-RLBB和210-RRBB。
例如，第一子边界框210-FLBB围绕与第一车辆对象210-O(即，第一相邻车辆210)的左前轮胎对应的轮廓部。第二子边界框210-RLBB围绕与第一车辆对象210-O的左后轮胎对应的轮廓部。第三子边界框210-RRBB围绕与第一车辆对象210-O的右后轮胎对应的轮廓部。
使用第一至第三子边界框210-FLBB、210-RLBB和210-RRBB，处理器122运行以生成目标车辆的三个轮胎接触信息。在示例性实施例中，处理器122运行以搜索第一子边界框210-FLBB的底侧与第一车辆对象210-O的左前轮胎对应的轮廓部之间的接触点，并将两者之间的接触点确定为对应于目标车辆的左前轮胎与路面之间的轮胎接触。在示例性实施例中，第一子边界框210-FLBB的底侧可接触与第一车辆对象210-O的左前轮胎对应的轮廓部上的至少两个像素。在这种情况下，处理器122可运行以选择至少两个像素(例如，至少两个像素中的中间位置的像素)中的一个作为接触点，或者选择至少两个像素的平均坐标(或最接近平均坐标的像素)作为接触点。在第一已调整大小图像210-RI中，第一子边界框210-FLBB的接触点的坐标可对应于目标车辆的左前轮胎的接触信息。由于第一已调整大小图像210-RI具有输入图像IMG01中的初始边界框210-IB的坐标(m1,n1)以及初始边界框210-IB的大小，因此例如参照输入图像IMG01的笛卡尔坐标系来计算第一子边界框210-FLBB的接触点的坐标。
关于第一车辆对象210-O的左后轮胎的接触信息和第一车辆对象210-O的右后轮胎的接触信息，可适用上面的描述。在示例性实施例中，处理器122运行以搜索第二子边界框210-RLBB的底侧与第一车辆对象210-O的左后轮胎对应的轮廓部之间的接触点，并将两者之间的接触点确定为对应于目标车辆的左后轮胎与路面之间的轮胎接触。在示例性实施例中，第二子边界框210-RLBB的底侧可接触与第一车辆对象210-O的左后轮胎对应的轮廓部上的至少两个像素。在这种情况下，处理器122可运行以选择至少两个像素(例如，至少两个像素中的中间位置的像素)中的一个作为接触点，或者可选择至少两个像素的平均坐标(或最接近平均坐标的像素)作为接触点。在第一已调整大小图像210-RI中，第二子边界框210-RLBB的接触点的坐标对应于目标车辆的左后轮胎的接触信息。由于第一已调整大小图像210-RI具有输入图像IMG01中的初始边界框210-IB的坐标(m1,n1)以及初始边界框210-IB的大小，因此例如参照输入图像IMG01的笛卡尔坐标系计算第二子边界框210-RLBB的接触点的坐标。
在示例性实施例中，处理器122运行以搜索第三子边界框210-RRBB的底侧与第一车辆对象210-O的右后轮胎对应的轮廓部之间的接触点，并将两者之间的接触点确定为对应于目标车辆的右后轮胎与路面之间的轮胎接触。在示例性实施例中，第三子边界框210-RRBB的底侧可接触与第一车辆对象210-O的右后轮胎对应的轮廓部上的至少两个像素。在这种情况下，处理器122可运行以选择至少两个像素(例如，至少两个像素中的中间位置的像素)中的一个作为接触点，或者可选择至少两个像素的平均坐标(或最接近平均坐标的像素)作为接触点。在第一已调整大小图像210-RI中，第三子边界框210-RRBB的接触点的坐标对应于目标车辆的右后轮胎的接触信息。由于第一已调整大小图像210-RI具有输入图像IMG01中的初始边界框210-IB的坐标(m1,n1)以及初始边界框210-IB的大小，因此例如参照输入图像IMG01的笛卡尔坐标系计算第三子边界框210-RRBB的接触点的坐标。
图10B示出了在自主车辆100的右侧行驶的目标车辆的侧轮胎的子边界框。当假定目标车辆在自主车辆100的右侧行驶时，道路环境感知系统120使用右侧相机121RS检测目标车辆的两个侧轮胎，并确定围绕与目标车辆左前轮胎对应的轮廓部的第一子边界框210-FLBB和围绕与目标车辆的左后轮胎对应的轮廓部的第二子边界框210-RLBB。利用第一子边界框210-FLBB和第二子边界框210-RLBB，根据参照图10A的上述方法来计算左前轮胎的轮胎接触信息和左后轮胎的轮胎接触信息。图10B的输入图像IMG01例如使用具有鱼眼镜头的右侧相机121RS来取得。在这种情况下，图10B的输入图像IMG01可转换为笛卡尔平面。
图11A至图11C示出了具有在执行图4的步骤S100后获得的目标车辆的轮胎接触信息的第一图像IMG01。图11A示出了具有由自主车辆100检测到的具有三个轮胎(例如，两个后轮胎和一个左前轮胎)的目标车辆的轮胎接触信息的第一图像IMG01。图11B示出了具有由自主车辆100检测到的具有两个后轮胎的目标车辆的轮胎接触信息的第一图像IMG01。图11C示出了具有由自主车辆100检测到的具有两个侧轮胎(例如，左前轮胎和左后轮胎)的目标车辆的轮胎接触信息的第一图像IMG01。本发明并不局限于此。在示例性实施例中，自主车辆100可以从以相反方向接近自主车辆100的车辆中检测包括两个前轮胎的至少两个轮胎。在这种情况下，从上面讨论的输入图像计算轮胎接触信息的方法适用于包括至少两个轮胎的输入图像，所述至少两个轮胎包括以相反方向接近自主车辆100的车辆的两个前轮胎。
参照图12、图13A至图13C以及图14，将详细描述图4的步骤S200。图12示出了根据示例性实施例的实施图4的步骤S200的流程图。图13A至图13C示出了目标车辆的轮胎接触信息从输入图像到自上而下视图图像(top down view image)的映射操作。图14示出了计算目标车辆的移动方向的流程图。在示例性实施例中，该自上而下视图可以对应于鸟瞰视图。
图12示出了根据示例性实施例的实施图4的步骤S200的流程图。处理器122运行以将轮胎接触信息从输入图像IMG01映射到自上而下视图平面，以计算目标车辆的轨迹。为了便于说明，第一相邻车辆210是目标车辆。
参照图12的步骤S210和图13A，处理器122运行以通过使用逆透视矩阵将目标车辆的轮胎接触信息从输入图像IMG01映射到自上而下视图图像TV01上，生成输入图像IMG01的自上而下视图图像TV01。该逆透视矩阵对应于配置为生成鸟瞰视图的投影变换。在示例性实施例中，逆透视矩阵可用于计算由相机121取得的输入图像IMG1中的每一个点(例如，像素)与自上而下视图图像TV01的对应点之间的映射。
图13A示出了将目标车辆的轮胎接触信息从第一输入图像IMG01映射到诸如由逆透视矩阵生成的鸟瞰视图的自上而下视图图像TV01上的操作。第一图像IMG01具有由自主车辆100检测到的具有三个轮胎(例如，两个后轮胎和一个左前轮胎)的目标车辆的轮胎接触信息，并且输入图像IMG01上的三个轮胎的轮胎接触信息映射到自上而下视图图像TV01上。
图13B示出了将第一输入图像IMG01的目标车辆的轮胎接触信息映射到诸如由逆透视图矩阵生成的鸟瞰视图的上下视图图像TV01上的操作。第一图像IMG01具有包含两个侧轮胎(例如，左前轮胎和左后轮胎)的目标车辆的轮胎接触信息，并且两侧轮胎的轮胎接触信息映射到自上而下视图图像TV01上。本发明并不局限于此。在示例性实施例中，输入图像IMG01可包括由自主车辆100检测到的具有两个前轮胎的目标车辆的至少两个轮胎接触信息。在这种情况下，目标车辆可以以相反的方向接近自主车辆100。
图13C示出了将第一输入图像IMG01的目标车辆的轮胎接触信息映射到诸如由逆透视图矩阵生成的鸟瞰视图的上下视图图像TV01上的操作。第一图像IMG01具有包含两个后轮胎的目标车辆的轮胎接触信息，并且输入图像IMG01上的两个后轮胎的轮胎接触信息映射到自上而下视图图像TV01上。
参照图12、图13A和图14的步骤S220，处理器122运行以判定输入图像IMG01是否具有目标车辆的两个后轮胎的轮胎接触信息(S221)，并响应于目标车辆具有两个后轮胎的轮胎接触信息(例如输入图像01上的轮胎接触点RL和RR)的判定，计算自上而下视图上的两个对应点RL’和RR’的第一移动方向/u1(S224)。第一移动方向/u1可以对应于垂直于连接两个对应点RL’和RR’的线的方向。在示例性实施例中，参照自主车辆100的移动方向110计算第一移动方向/u1。在示例性实施例中，例如使用两个对应点RL’和RR’的中心点来计算相对距离rd1和角度θr1。本发明并不局限于此。在示例性实施例中，可使用两个对应点RL’和RR’中的一个来计算相对距离rd1和角度θr1。在示例性实施例中，可使用围绕对应的轮廓的精细边界框的中心点来计算相对距离rd1和角度θr1。
在示例性实施例中，处理器122运行以将第一移动方向/u1设置为目标车辆的移动方向。然而，本发明并不局限于此。在示例性实施例中，处理器122运行以进行到步骤S222来判定输入图像IMG01是否具有目标车辆的两个侧轮胎(例如，目标车辆的同一侧的一个后轮胎和一个前轮胎)的轮胎接触信息(例如，轮胎接触点RL和FL)(S222)，并响应于目标车辆具有两侧轮胎的轮胎接触信息的判定，由自上而下视图上的两个对应点RL’和FL’计算第二移动方向/u2(S225)。第二移动方向/u2与连接两个点RL’和FL’的线平行。在示例性实施例中，处理器122运行以将第二移动方向/u2设置为目标车辆的移动方向。本发明并不局限于此。在示例性实施例中，处理器122在获得第一移动方向/u1和第二移动方向/u2之后继续进行以进行到步骤S223，来计算第一移动方向/u1和第二移动方向/u2的平均值。在这种情况下，处理器122运行以将平均移动方向设定为目标车辆的移动方向。
参照图13B和图14，处理器122运行以判定输入图像IMG01是否具有目标车辆的两个后轮胎的轮胎接触信息(S221)。响应于对输入图像IMG01不具有两个后轮胎的轮胎接触信息的判定，处理器122运行以进行到步骤S222来判定输入图像IMG01是否具有目标车辆的两个侧轮胎的轮胎接触信息(S222)。响应于将输入图像IMG01判定为具有两侧轮胎的轮胎接触信息，处理器122运行以计算目标车辆的第二移动方向/u2(S225)。目标车辆的第一移动方向/u1与连接两个点RL’和FL’的线平行。在这种情况下，处理器122运行以将第二移动方向/u2设置为目标车辆的移动方向，而不进一步进行到步骤S223。
参照图13C和图14，处理器122运行以判定输入图像IMG01是否具有目标车辆的两个后轮胎的轮胎接触信息(S221)。响应于将输入图像IMG01判定为具有两个后轮胎的轮胎接触信息，处理器122运行以计算目标车辆的第一移动方向/u1(S224)。目标车辆的第一移动方向/u1垂直于连接两个点RL’和RR’的线。在示例性实施例中，处理器122运行以将第一移动方向/u1设置为目标车辆的移动方向，而不进一步地进行到步骤S222。本发明的构思并不限于此。在示例性实施例中，处理器进一步运行以进行到步骤S222，来判定输入图像IMG01是否具有两个侧轮胎的轮胎接触信息。在输入图像IMG01没有两侧轮胎的轮胎接触信息的情况下，处理器122运行以将第一移动方向/u1设置为目标车辆的移动方向，而不进一步地进行到步骤S223。
根据示例性实施例，自主车辆100利用目标车辆的轮胎接触信息预测目标车辆的轨迹，并且基于该轨迹，控制自主车辆的转向、加速度和/或减速度以安全地遵循路线或避免与目标车辆的碰撞。
尽管已参照本发明的构思的示例性实施例示出并描述了本发明的构思，但对于本领域普通技术人员而言明显的是，在不背离下列权利范围限定的本发明的构思的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (20)

1.一种预测目标车辆相对于自主车辆的轨迹的方法，所述方法包括：
从安装在所述自主车辆上的相机接收具有目标对象的第一图像，所述目标对象代表道路上的目标车辆；
生成与所述目标车辆相关联的边界框，其中所述边界框围绕所述目标对象的轮廓；
从所述第一图像提取所述目标对象与路面的多个轮胎接触信息，其中所述多个轮胎接触信息中的每一个表示相应轮胎与所述道路之间的接触在所述第一图像中的坐标；
将所述多个轮胎接触信息从所述第一图像映射到所述第一图像的鸟瞰视图；以及
使用所述鸟瞰视图上的多个映射的轮胎接触信息计算所述目标对象的参考所述自主车辆的移动方向的所述轨迹。
2.根据权利要求1所述的方法，
其中所述目标对象的所述轨迹包括所述目标车辆的参照所述自主车辆的所述移动方向的移动方向以及所述目标车辆参照所述自主车辆的位置。
3.根据权利要求1所述的方法，
其中生成所述边界框包括：
从所述第一图像中检测所述目标对象；
生成与所述目标对象相关联的初步边界框；
使用所述初步边界框裁剪输入图像；
将所述输入图像调整大小为预定义的大小；
从已调整大小输入图像中检测所述目标对象的轮廓；以及
基于所述轮廓生成所述边界框。
4.根据权利要求3所述的方法，
其中提取所述轮胎接触信息包括：
从所述已调整大小输入图像中检测与所述目标对象的至少两个轮胎对应的至少两个轮廓部；以及
判定所述至少两个轮廓部中的每一个的轮胎类型及其在所述第一图像内的坐标。
5.根据权利要求4所述的方法，进一步包括：
生成围绕所述至少两个轮廓部的至少两个子边界框，
其中所述多个轮胎接触信息包括所述至少两个子边界框中的每一个的底侧与所述至少两个轮廓部中的对应一个接触的位置的坐标。
6.根据权利要求4所述的方法，
其中所述至少两个轮廓部代表所述目标对象的两个后轮胎或所述目标对象的至少一个后轮胎和至少一个前轮胎。
7.根据权利要求6所述的方法，
其中计算所述轨迹包括：
响应于与所述目标对象的两个后轮胎对应的所述至少两个轮廓部，计算与所述两个后轮胎的坐标之间的线垂直的第一方向作为所述目标车辆的参照所述自主车辆的所述移动方向的第一移动方向；以及
响应于与位于所述目标对象的同一侧处的第一后轮胎和第一前轮胎对应的所述至少两个轮廓部，计算沿着所述第一后轮胎和所述第一前轮胎的坐标之间的线延伸的第二方向作为所述目标车辆的参照所述自主车辆的所述移动方向的第二移动方向。
8.根据权利要求7所述的方法，
其中计算所述轨迹进一步包括：
响应于与所述目标对象的所述两个后轮胎和所述第一前轮胎对应的所述至少两个轮廓部，计算所述第一移动方向和所述第二移动方向的平均值作为所述目标车辆的参照所述自主车辆的所述移动方向的移动方向。
9.根据权利要求4所述的方法，
其中提取所述轮胎接触信息进一步包括：
将所述已调整大小输入图像输入到卷积神经网络中，
其中所述卷积神经网络执行与所述目标对象的至少两个轮胎对应的所述至少两个轮廓部的所述检测以及所述至少两个轮廓部中的每一个的轮胎类型及其在所述第一图像内的坐标的所述判定。
10.根据权利要求4所述的方法，
其中计算所述轨迹包括：
使用所述多个映射的轮胎接触信息中的至少一个计算所述自主车辆和所述目标对象之间的距离。
11.一种预测目标车辆相对于自主车辆的轨迹的方法，所述方法包括：
从安装在所述自主车辆上的相机接收具有多个目标对象的第一图像，所述多个目标对象代表道路上的多个目标车辆；
使用第一卷积神经网络从所述第一图像中检测所述多个目标对象；
生成与所述多个目标对象相关联的多个初步边界框；
裁剪所述多个初步边界框以生成多个输入图像；
将所述多个输入图像中的每一个调整大小成预定义大小；
从多个已调整大小输入图像中检测所述多个目标对象的多个轮廓；
从所述多个已调整大小输入图像中的对应的已调整大小输入图像中提取所述多个目标对象中的第一目标对象的多个轮胎接触信息，其中所述多个轮胎接触信息中的每一个表示所述第一目标对象的对应轮胎与所述道路之间的接触在所述第一图像中的坐标；
基于所述多个目标对象的所述多个轮廓生成多个边界框；
将所述第一目标对象的多个轮胎接触信息从所述第一图像映射到鸟瞰视图中；以及
使用所述鸟瞰视图上的多个映射的轮胎接触信息计算所述第一目标对象的参考所述自主车辆的移动方向的轨迹。
12.根据权利要求11所述的方法，
其中提取所述多个轮胎接触信息包括：
从所述多个已调整大小输入图像中的与所述第一目标对象相关联的已调整大小输入图像中检测与所述第一目标对象的至少两个轮胎对应的至少两个轮廓部；以及
判定所述至少两个轮廓部中的每一个的轮胎类型及其在所述第一图像内的坐标。
13.根据权利要求12所述的方法，
其中所述至少两个轮廓部表示所述第一目标对象的两个后轮胎或所述第一目标对象的至少一个后轮胎和至少一个前轮胎。
14.根据权利要求13所述的方法，
其中提取所述多个轮胎接触信息进一步包括：
将所述多个已调整大小输入图像输入到第二卷积神经网络中以从所述多个已调整大小输入图像输入中的每一个中提取所述多个轮胎接触信息，以及
其中所述第二卷积神经网络配置成执行从与所述第一目标对象相关联的已调整大小输入图像中检测至少两个轮廓部，以及判定所述至少两个轮廓部中的每一个的所述轮胎类型及其在所述第一图像内的坐标。
15.根据权利要求11所述的方法，
其中所述第一目标对象的所述轨迹包括所述第一目标车辆的参照所述自主车辆的所述移动方向的移动方向以及所述第一目标车辆的参照所述自主车辆的位置。
16.一种控制自主车辆的方法，所述方法包括：
从安装在所述自主车辆上的相机接收具有多个目标对象的第一图像，所述多个目标对象代表道路上的多个目标车辆；
使用第一卷积神经网络生成围绕所述多个目标对象的多个初步边界框；
通过对由所述多个初步边界框限定的多个图像部调整大小，从所述第一图像生成多个输入图像，
其中所述多个输入图像具有相同的大小；
使用第二卷积神经网络，从所述多个输入图像中的每一个生成对应的目标对象的轮廓以及与所述对应的目标对象的至少两个轮胎相关联的至少两个轮胎接触信息，
其中所述至少两个轮胎接触信息同与所述对应的目标对象的至少两个轮胎对应的所述轮廓的至少两个轮廓部相关联，并且
其中所述至少两个轮胎接触信息中的每一个表示对应的轮胎与所述道路之间的接触在所述第一图像中的坐标；
将所述至少两个轮胎接触信息从所述第一图像映射到所述第一图像的鸟瞰视图上；以及
使用所述鸟瞰视图上映射的至少两个轮胎接触信息计算所述对应的目标对象的参照所述自主车辆的第一移动方向的移动方向；以及
响应于所述对应的目标对象的所述移动方向的计算，将所述自主车辆的所述第一移动方向调整成其第二移动方向。
17.根据权利要求16所述的方法，
其中使用逆透视矩阵来执行所述映射，以及
其中使用所述逆透视矩阵来从所述第一图像生成所述鸟瞰视图。
18.根据权利要求16所述的方法，
其中所述相机是单目相机。
19.根据权利要求16所述的方法，
其中从所述多个输入图像中的每一个生成所述对应的目标对象的所述轮廓包括：
生成围绕所述对应的目标对象的所述轮廓的边界框，以及围绕与所述对应的目标对象的至少两个轮胎对应的所述轮廓的所述至少两个轮廓部的至少两个子边界框。
20.根据权利要求19所述的方法，
其中所述至少两个接触信息包括所述至少两个子边界框中的每一个的底侧与所述至少两个轮廓部中的对应一个接触的位置的坐标。
CN202110903056.8A 2020-08-09 2021-08-06 预测目标车辆相对于自主车辆的轨迹的方法 Pending CN114066929A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/988,703 2020-08-09
US16/988,703 US11210533B1 (en) 2020-08-09 2020-08-09 Method of predicting trajectory of vehicle

Publications (1)

Publication Number Publication Date
CN114066929A true CN114066929A (zh) 2022-02-18

Family

ID=79168449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110903056.8A Pending CN114066929A (zh) 2020-08-09 2021-08-06 预测目标车辆相对于自主车辆的轨迹的方法

Country Status (3)

Country Link
US (1) US11210533B1 (zh)
CN (1) CN114066929A (zh)
DE (1) DE102021119920A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144065B2 (en) * 2018-03-20 2021-10-12 Phantom AI, Inc. Data augmentation using computer simulated objects for autonomous control systems
US11620350B2 (en) 2020-08-24 2023-04-04 Snap Inc. Vehicle recognition system
TWI778756B (zh) * 2021-08-20 2022-09-21 財團法人資訊工業策進會 三維邊界框重建方法、三維邊界框重建系統及非暫態電腦可讀取媒體
US11869250B2 (en) * 2021-08-24 2024-01-09 GM Global Technology Operations LLC Systems and methods for detecting traffic objects
US11845439B2 (en) * 2021-09-29 2023-12-19 Canoo Technologies Inc. Prediction of target object's behavior based on world and image frames
KR20230097540A (ko) * 2021-12-24 2023-07-03 포항공과대학교 산학협력단 물체 경계 예측 불확실성 및 강조 신경망을 이용한 물체 검출 장치 및 방법
WO2023176854A1 (ja) * 2022-03-15 2023-09-21 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP7438515B2 (ja) 2022-03-15 2024-02-27 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
DE102022112318B3 (de) 2022-05-17 2023-08-03 Audi Aktiengesellschaft Verfahren zur Ermittlung einer Ausdehnungsinformation eines Zielobjekts, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
CN117542012B (zh) * 2024-01-09 2024-04-12 武汉易为泰汽车技术开发股份有限公司 基于5g短切片专网传输的新能源汽车控制方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466000B2 (en) 2011-05-19 2016-10-11 The Regents Of The University Of California Dynamic Bayesian Networks for vehicle classification in video
US9052329B2 (en) * 2012-05-03 2015-06-09 Xerox Corporation Tire detection for accurate vehicle speed estimation
DE102013012930A1 (de) 2013-08-02 2015-02-05 Connaught Electronics Ltd. Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
US10259453B2 (en) 2015-04-10 2019-04-16 Continental Automotive Systems, Inc. Collision avoidance based on front wheel off tracking during reverse operation
US10909394B2 (en) 2015-09-11 2021-02-02 Intel Corporation Real-time multiple vehicle detection and tracking
WO2017165627A1 (en) 2016-03-23 2017-09-28 Netradyne Inc. Advanced path prediction
US10127465B2 (en) 2016-06-27 2018-11-13 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected movement of a target vehicle
US10304191B1 (en) 2016-10-11 2019-05-28 Zoox, Inc. Three dimensional bounding box estimation from two dimensional images
US10077047B2 (en) 2017-02-10 2018-09-18 Waymo Llc Using wheel orientation to determine future heading
US10609292B2 (en) * 2017-02-28 2020-03-31 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus, axle load measuring system, and imaging method
US11200433B2 (en) * 2017-05-03 2021-12-14 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
KR102541559B1 (ko) 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR102463175B1 (ko) 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
US10438371B2 (en) 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US11062461B2 (en) 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle
US10816992B2 (en) 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US10586456B2 (en) 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance

Also Published As

Publication number Publication date
DE102021119920A1 (de) 2022-02-10
US11210533B1 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
US11210533B1 (en) Method of predicting trajectory of vehicle
EP3751455A2 (en) Image fusion for autonomous vehicle operation
JP7228652B2 (ja) 物体検出装置、物体検出方法およびプログラム
EP3418943B1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
EP3566903B1 (en) Method and apparatus for vehicle position detection
JP5172314B2 (ja) ステレオカメラ装置
EP2933790B1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US20190156131A1 (en) Image Processing Device, Outside Recognition Device
US20030091228A1 (en) Image recognition apparatus
US11577748B1 (en) Real-time perception system for small objects at long range for autonomous vehicles
US11760275B2 (en) Image pickup system and image pickup device
CN109522779B (zh) 图像处理装置
US11715277B2 (en) Perception system for autonomous vehicles
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JP4768499B2 (ja) 車載周辺他車検出装置
US11373389B2 (en) Partitioning images obtained from an autonomous vehicle camera
CN113492850B (zh) 倾斜角检测装置及控制装置
US11461922B2 (en) Depth estimation in images obtained from an autonomous vehicle camera
EP4395352A1 (en) Imaging setting apparatus, image pickup apparatus, vehicle, and imaging setting method
CN115179864A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
CN113204234A (zh) 车辆控制方法与车用控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination