CN112020461B - 用于确定汽车到车道距离的系统和方法 - Google Patents

用于确定汽车到车道距离的系统和方法 Download PDF

Info

Publication number
CN112020461B
CN112020461B CN201980028505.XA CN201980028505A CN112020461B CN 112020461 B CN112020461 B CN 112020461B CN 201980028505 A CN201980028505 A CN 201980028505A CN 112020461 B CN112020461 B CN 112020461B
Authority
CN
China
Prior art keywords
vehicle
wheel
lane
wheels
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980028505.XA
Other languages
English (en)
Other versions
CN112020461A (zh
Inventor
王泮渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Publication of CN112020461A publication Critical patent/CN112020461A/zh
Application granted granted Critical
Publication of CN112020461B publication Critical patent/CN112020461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

提供了一种用于确定汽车到车道距离的系统和方法。在一个方面，该系统包括相机、处理器和计算机可读存储器，相机被配置为生成图像。处理器被配置为：接收来自相机的图像；生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮的；以及生成车道分割图，车道分割图表示在图像中检测到的一个或多个车道。针对车轮分割图中的车轮中的至少一个车轮，处理器还被配置为确定车轮与车道分割图中的至少一个附近车道之间的距离。处理器还被配置为基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。

Description

用于确定汽车到车道距离的系统和方法
优先权要求
本文档要求于2018年4月27日提交的题为“SYSTEM AND METHOD FOR DETERMININGCAR TO LANE DISTANCE”的编号为15/965,568的美国专利申请的优先权，其以整体内容通过引用并入本文。
技术领域
所描述的技术主要涉及用于确定汽车到车道距离的系统和方法，并且更特别地，涉及用于确定汽车与车道之间距离的图像处理技术。
背景技术
在自主驾驶系统中，成功地感知和预测周围驾驶环境和交通参与者对于做出用于控制自主驾驶或车主驾驶车辆的正确安全决策来说是至关重要的。视觉感知技术可以包括对象识别、二维(2D)或三维(3D)对象检测和场景理解。在快速发展的深度学习技术和计算能力(诸如图形处理单元(GPU))的帮助下，这些视觉感知技术可以成功地应用于自主车辆或主机车辆。场景理解的一个方面可以包括环境内的其它车辆的位置的确定(例如车辆相对于车道标记的位置)。
发明内容
一个发明方面是一种车载控制系统，包括：相机，相机被配置为生成图像；处理器；以及计算机可读存储器，计算机可读存储器与处理器通信并且存储有计算机可执行指令以使处理器：接收来自相机的图像；生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮；生成车道分割图，车道分割图表示在图像中检测到的一个或多个车道；针对车轮分割图中的车轮中的至少一个车轮，确定车轮与车道分割图中的至少一个附近车道之间的距离；以及基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。
另一方面是一种非瞬时计算机可读存储介质，在其上存储有指令，当指令被执行时，使至少一个计算设备：接收来自安装在本车辆上的相机的图像；生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮；生成车道分割图，车道分割图表示在图像中检测到的一个或多个车道；针对车轮分割图中的车轮中的至少一个车轮，确定车轮与车道分割图中的至少一个附近车道之间的距离；以及基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。
又一方面是一种用于确定车辆与车道之间距离的方法，包括：接收来自安装在本车辆上的相机的图像；生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮；生成车道分割图，车道分割图表示在图像中检测到的一个或多个车道；针对车轮分割图中的车轮中的至少一个车轮，确定车轮与车道分割图中的至少一个附近车道之间的距离；以及基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。
这些和其它方面在本文档中公开。
附图说明
在附图中，通过示例而非限制性方式示出各种实施例。本公开中包括了更具体的描述和同样有效的实施方式。
图1是示出根据本公开的方面的示例生态系统的框图，其包括车载控制系统和图像处理模块。
图2A是根据本公开的方面，从位于本车辆上的相机获取的示例图像。
图2B包括根据本公开的方面，从相机获取的另一示例图像和基于该示例图像生成的车轮分割图。
图3是示出根据本公开的方面，用于确定车辆与(一个或多个)车道之间的距离的示例方法的示例流程图。
图4A至图4C示出可以在图3的方法过程中生成的各种图像和分割图。
图5A至图5C示出可以在图3的方法过程中生成的图像和分割图的另一实施例。
图6A至图6C示出可以在图3的方法过程中生成的图像和分割图的又一实施例。
图7是示出根据本公开的方面，用于确定车辆与(一个或多个)车道之间的距离的另一示例方法的示例流程图。
在可能的情况下，使用相同附图标记来表示附图中共同的相同元件。可以预期的是，在一个实施方式中公开的元件可以有益地用于其它实施方式，而不需要具体叙述。
具体实施方式
以下详细描述参考附图，附图以说明方式形成特定实施例，在这些特定实施例中可以实践所公开的主题。然而，应当理解的是，可以利用其它实施例，并且可以在不脱离所公开主题的范围的情况下做出结构改变。以下特征和元件的任意组合均预期用于实施和实践本公开。
在说明书中，共同或相似特征可以由共同的附图标记表示。如本文所使用的，“示例性”可以指示示例、实施方式或方面，并且不应该被解释为限制或指示偏好或优选实现方式。
车载控制系统介绍
如在各种示例实施例中所描述的，本文描述了用于确定汽车到车道距离的系统和方法。本文公开的示例实施例可以在车辆生态系统101中的车载控制系统150的背景中使用。在一个示例实施例中，具有驻留在车辆105中的图像处理模块200的车载控制系统150可以与图1所示的架构和生态系统101类似地配置。然而，对于本领域普通技术人员来说将显而易见的是，本文所描述的图像处理模块200也可以被实现、配置和用于各种其它应用和系统中。
继续参考图1，框图示出示例生态系统101，示例实施例的车载控制系统150和图像处理模块200可以在该生态系统101中实现。这些部件将在下面更详细地描述。生态系统101包括各种系统和部件，这些系统和部件能够生成一个或多个信息/数据源和相关服务，和/或将一个或多个信息/数据源和相关服务传递至可以安装在车辆105中的车载控制系统150和图像处理模块200。例如，作为车辆子系统140的设备之一，安装在车辆105中的相机可以生成可以由车载控制系统150接收的图像和定时数据。车载控制系统150和在车载控制系统150中运行的图像处理模块200可以接收该图像和定时数据输入。如下面更详细描述的，图像处理模块200可以处理图像输入并且提取对象特征，该对象特征可以由作为车辆子系统140的另一子系统的自主车辆控制子系统使用。自主车辆控制子系统例如可以使用实时提取的对象特征，在现实世界驾驶环境中安全且高效地导航和控制车辆105，同时避开障碍物并且安全地控制车辆。
在如本文所述的示例实施例中，车载控制系统150可以与多个车辆子系统140进行数据通信，所有这些车辆子系统可以驻留在用户的车辆105中。提供车辆子系统接口141，以促进车载控制系统150与多个车辆子系统140之间的数据通信。车载控制系统150可以包括数据处理器171，数据处理器171被配置为执行图像处理模块200，用于处理从车辆子系统140中的一个或多个车辆子系统接收的图像数据。数据处理器171可以与作为车载控制系统150中的计算系统170一部分的数据存储设备172进行组合。数据存储设备172可以用于存储数据、处理参数和数据处理指令。可以提供处理模块接口165，以促进数据处理器171与图像处理模块200之间的数据通信。在各种示例实施例中，可以提供与图像处理模块200类似地被配置的多个处理模块，以由数据处理器171执行。如图1中的虚线所示，图像处理模块200可以集成到车载控制系统150中，可选地被下载到车载控制系统150，或者与车载控制系统150分开部署。
车载控制系统150可以被配置为向/从广域网120和与广域网120连接的网络资源122接收或发送数据。车载网络使能设备130和/或用户移动设备132可以被用于经由网络120通信。网络使能设备接口131可以由车载控制系统150使用，以促进车载控制系统150与网络120之间经由车载网络使能设备130的数据通信。类似地，用户移动设备接口133可以由车载控制系统150使用，以促进车载控制系统150与网络120之间经由用户移动设备132的数据通信。以这种方式，车载控制系统150可以经由网络120获取对网络资源122的实时访问。网络资源122可以被用于获取由数据处理器171执行的处理模块、训练内部神经网络的数据内容、系统参数或其它数据。
生态系统101可以包括广域数据网120。网络120表示一个或多个传统广域数据网，诸如因特网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等。这些网络120中的一个或多个网络可以用于将用户或客户端系统与诸如网站、服务器、中央控制站等网络资源122连接。网络资源122可以生成和/或分发数据，该数据可以经由车载网络使能设备130或用户移动设备132在车辆105中被接收。网络资源122还可以托管网络云服务，这可以支持用于计算或辅助处理图像输入或图像输入分析的功能。天线可以用于经由蜂窝、卫星、无线电或其它传统信号接收机制，将车载控制系统150和图像处理模块200与数据网络120连接。此类蜂窝数据网络是目前可用的(例如VerizonTM、AT&TTM、T-MobileTM等)。此类基于卫星的数据或内容网络也是目前可用的(例如SiriusXMTM、HughesNetTM等)。诸如AM/FM无线电网络、寻呼机网络、UHF网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等的广播网络也是可用的。因此，车载控制系统150和图像处理模块200可以经由车载网络使能设备接口131接收基于网络的数据或内容，车载网络使能设备接口131可以用于与车载网络使能设备接收器130和网络120连接。以这种方式，车载控制系统150和图像处理模块200可以支持来自车辆105内的各种可网络连接的车载设备和系统。
如图1所示，车载控制系统150和图像处理模块200还可以从用户移动设备132接收数据、图像处理控制参数和训练内容，用户移动设备132可以位于车辆105的内部或附近。用户移动设备132可以表示标准移动设备，诸如蜂窝电话、智能电话、个人数字助理、MP3播放器、平板计算设备、膝上型计算机、CD播放器及其它移动设备，这些设备可以产生、接收和/或传递用于车载控制系统150和图像处理模块200的数据、图像处理控制参数和内容。如图1所示，移动设备132还可以与网络云120进行数据通信。移动设备132可以从移动设备132自身的内部存储器部件，或者经由网络120从网络资源122获取数据和内容。附加地，移动设备132本身可以包括GPS数据接收器、加速度计、WiFi三角测量或移动设备中的其它地理位置传感器或部件，这些传感器或部件可以用于确定用户在任何时刻(经由移动设备)的实时地理位置。在任何情况下，车载控制系统150和图像处理模块200均可以从如图1所示的移动设备132接收数据。
仍然参考图1，生态系统101的示例实施例可以包括车辆操作子系统140。对于在车辆105中实施的实施例，许多标准车辆包括操作子系统，诸如电子控制单元(ECU)，用于发动机、制动器、变速器、电气系统、排放系统、内部环境等的辅助监测/控制子系统。例如，经由车辆子系统接口141从车辆操作子系统140(例如车辆105的ECU)通信至车载控制系统150的数据信号可以包括关于车辆105的一个或多个部件或子系统状态的信息。特别地，可以从车辆操作子系统140通信至车辆105的控制器局域网(CAN)总线的数据信号可以经由车辆子系统接口141由车载控制系统150接收和处理。本文描述的系统和方法的实施例可以与使用本文所定义的CAN总线或类似数据通信总线的基本上任何机械化系统一起使用，包括但不限于工业设备、船、卡车、机械或机动车；因此，本文所使用的术语“车辆”可以包括任何此类机械化系统。本文描述的系统和方法的实施例也可以与采用某种形式的网络数据通信的任何系统一起使用；然而，这种网络通信不是必需的。
仍然参考图1，生态系统101的示例实施例，以及生态系统101中的车辆操作子系统140，可以包括支持车辆105操作的各种车辆子系统。一般地，车辆105可以采用例如汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、雪地车、飞行器、休闲车、游乐园车辆、农场设备、建筑设备、有轨电车、高尔夫球车、火车和手推车的形式。其它车辆也是可能的。车辆105可以被配置为完全或部分地以自主模式操作。例如，在自主模式下，车辆105可以控制其自身，并且可以可操作地确定车辆的当前状态及车辆的环境，确定环境中至少一个其它车辆的预测行为，确定可以对应于至少一个其它车辆执行预测行为的可能性的置信水平，并且基于所确定的信息控制车辆105。在自主模式下，车辆105可以被配置为在没有人类交互的情况下操作。
车辆105可以包括各种车辆子系统，诸如车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148。如上所述，车辆105还可以包括车载控制系统150、计算系统170和图像处理模块200。车辆105可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。此外，车辆105的子系统和元件中的每个子系统和元件可以互连。因此，车辆105的所描述功能中的一个或多个功能可以被分割为附加功能部件或物理部件，或者被组合为更少的功能部件或物理部件。在一些进一步示例中，附加功能部件和物理部件可以添加至图1所示的示例。
车辆驱动子系统142可以包括可操作为提供车辆105的动力运动的部件。在一个示例实施例中，车辆驱动子系统142可以包括发动机或马达、车轮/轮胎、变速器、电气子系统和动力源。发动机或马达可以是内燃机、电动机、蒸汽机、燃料电池发动机、丙烷发动机或其它类型的发动机或马达的任意组合。在一些示例实施例中，发动机可以被配置为将动力源转换为机械能。在一些示例实施例中，车辆驱动子系统142可以包括多种类型的发动机或马达。例如，气电混合动力汽车可以包括汽油发动机和电动马达。其它示例也是可能的。
车辆105的车轮可以是标准轮胎。车辆105的车轮可以被配置为各种形式，包括独轮车、自行车、三轮车或四轮形式，例如在汽车或卡车上。其它车轮几何构造也是可能的，诸如那些包括六个或更多个车轮的车轮几何构造。车辆105的车轮的任意组合可以可操作为相对于其它车轮差动地旋转。术语“车轮”一般可以指包括轮辋的结构，轮辋被配置为固定地附接至通常由橡胶构成的轮胎。可选地，车轮可以包括附接至轮辋外表面的毂盖，或者轮胎可以在不包括毂盖的情况下暴露于环境。如本文所使用的，图像内车轮的检测和/或分割可以包括检测整个车轮/轮胎组合，包括在可见时检测橡胶轮胎和中心车轮。
给定车辆的车轮可以表示固定地被耦接至变速器的至少一个车轮和耦接至车轮的轮辋的至少一个轮胎，该轮胎可以与行驶表面接触。车轮可以包括金属和橡胶的组合，或其它材料的组合。变速器可以包括可操作为将机械动力从发动机传递至车轮的元件。为此，变速器可以包括齿轮箱、离合器、差速器和驱动轴。变速器也可以包括其它元件。驱动轴可以包括一个或多个轴，该轴可以被耦接至一个或多个车轮。电气系统可以包括可操作为传送和控制车辆105中的电信号的元件。这些电信号可以用于激活车辆105的灯、伺服系统、电动马达和其它电驱动或控制设备。动力源可以表示可以全部或部分地为发动机或马达提供动力的能量源。也就是说，发动机或马达可以被配置为将动力源转换为机械能。动力源的示例包括汽油、柴油、其它基于石油的燃料、丙烷、其它基于压缩气体的燃料、乙醇、燃料电池、太阳能电池板、电池和其它电力源。动力源可以附加地或替代地包括燃料箱、电池、电容器或飞轮的任意组合。动力源还可以为车辆105的其它子系统提供能量。
车辆传感器子系统144可以包括多个传感器，这些传感器被配置为感测关于车辆105的环境或状况的信息。例如，车辆传感器子系统144可以包括惯性测量单元(IMU)、全球定位系统(GPS)收发器、RADAR单元、激光测距仪/LIDAR单元以及一个或多个相机或图像捕捉设备。车辆传感器子系统144还可以包括被配置为监测车辆105的内部系统的传感器(例如O2监测器、燃料表、发动机油温)。其它传感器也是可能的。包括在车辆传感器子系统144中的一个或多个传感器可以被配置为单独地或共同地被激活，以修改一个或多个传感器的位置、朝向或位置和朝向两者。
IMU可以包括被配置为基于惯性加速度感测车辆105的位置和朝向变化的传感器(例如加速度计和陀螺仪)的任意组合。GPS收发器可以是被配置为估计车辆105的地理位置的任何传感器。为此，GPS收发器可以包括接收器/发射器，接收器/发射器可操作为提供关于车辆105相对于地球的位置的信息。RADAR单元可以表示利用无线电信号来感测车辆105的本地环境中的对象的系统。在一些实施例中，除了感测对象之外，RADAR单元可以附加地被配置为感测接近车辆105的对象的速度和行进方向。激光测距仪或LIDAR单元可以是被配置为使用激光来感测车辆105所处环境中的对象的任何传感器。在一个示例实施例中，激光测距仪/LIDAR单元可以包括一个或多个激光源、激光扫描仪以及一个或多个检测器和其它系统部件。激光测距仪/LIDAR单元可以被配置为在相干(例如使用外差检测)或非相干检测模式下操作。相机可以包括被配置为捕捉车辆105的环境的多个图像的一个或多个设备。相机可以是静止图像相机或运动视频相机。
车辆控制系统146可以被配置为控制车辆105及其部件的操作。相应地，车辆控制系统146可以包括各种元件，诸如转向单元、油门、制动单元、导航单元和自主控制单元。
转向单元可以表示可操作为调整车辆105的行进方向的机构的任意组合。油门可以被配置为控制例如发动机的运行速度，并且进而控制车辆105的速度。制动单元可以包括被配置为使车辆105减速的机构的任意组合。制动单元可以利用摩擦以标准方式使车轮降速。在其它实施例中，制动单元可以将车轮的动能转换为电流。制动单元也可以采用其它形式。导航单元可以是被配置为确定车辆105的驾驶路径或路线的任何系统。导航单元可以附加地被配置为在车辆105运行时动态地更新驾驶路径。在一些实施例中，导航单元可以被配置为合并来自图像处理模块200、GPS收发器和一个或多个预定地图的数据，以确定车辆105的驾驶路径。自主控制单元可以表示被配置为识别、评估和避免或以其它方式协商车辆105的环境中的潜在障碍物的控制系统。一般地，自主控制单元可以被配置为控制车辆105以在没有驾驶员的情况下操作，或者在控制车辆105时提供驾驶员辅助。在一些实施例中，自主控制单元可以被配置为结合来自图像处理模块200、GPS收发器、RADAR、LIDAR、相机和其它车辆子系统的数据，以确定针对车辆105的驾驶路径或轨迹。车辆控制系统146可以附加地或备选地包括除所示和所描述的那些部件之外的部件。
乘员接口子系统148可以被配置为允许车辆105与外部传感器、其它车辆、其它计算机系统和/或车辆105的乘员或用户之间的交互。例如，乘员接口子系统148可以包括标准视觉显示设备(例如等离子显示器、液晶显示器(LCD)、触摸屏显示器、平视显示器等)、扬声器或其它音频输出设备、麦克风或其它音频输入设备、导航接口和用于控制车辆105的内部环境(例如温度、风扇等)的接口。
在一个示例实施例中，乘员接口子系统148可以提供例如用于车辆105的用户/乘员与其它车辆子系统交互的能力。视觉显示设备可以向车辆105的用户提供信息。用户接口设备还可以可操作为经由触摸屏接受来自用户的输入。触摸屏可以被配置为经由电容感测、电阻感测或表面声波处理以及其它可能方式，感测用户手指的位置和移动中的至少一个。触摸屏可以能够感测与触摸屏表面平行或共面的方向上、与触摸屏表面正交的方向上或者这两个方向上的手指移动，并且还可以能够感测施加至触摸屏表面的压力水平。触摸屏可以由一个或多个半透明或透明的绝缘层和一个或多个半透明或透明的导电层形成。触摸屏也可采用其它形式。
在其它实例中，乘员接口子系统148可以提供用于车辆105与车辆105的环境内的设备通信的能力。麦克风可以被配置为从车辆105的用户接收音频(例如语音命令或其它音频输入)。类似地，扬声器可以被配置为向车辆105的用户输出音频。在一个示例实施例中，乘员接口子系统148可以被配置为直接或经由通信网络与一个或多个设备无线地通信。例如，无线通信系统可以使用3G蜂窝通信，诸如CDMA、EVDO、GSM/GPRS，或者4G蜂窝通信(诸如WiMAX或LTE)。备选地，无线通信系统可以例如使用与无线局域网(WLAN)通信。在一些实施例中，无线通信系统146可以例如使用红外链路、/>或/>直接地与设备通信。在本公开的背景内，诸如各种车辆通信系统等其它无线协议也是可能的。例如，无线通信系统可以包括一个或多个专用短程通信(DSRC)设备，专用短程通信(DSRC)设备可以包括车辆和/或路边站之间的公共或私人数据通信。
车辆105的许多或所有功能可以由计算系统170控制。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器)，数据处理器171执行存储在非瞬时计算机可读介质(诸如数据存储设备172)中的处理指令。计算系统170还可以表示多个计算设备，多个计算设备可以服务于以分布式方式控制车辆105的单独部件或子系统。在一些实施例中，数据存储设备172可以包含可由数据处理器171执行的处理指令(例如程序逻辑)，以执行车辆105的各种功能，包括本文结合附图所描述的那些功能。数据存储设备172也可以包含附加指令，包括向车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148中的一个或多个传送数据、从车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148中的一个或多个接收数据、与车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148中的一个或多个交互或控制车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148中的一个或多个的指令。
除了处理指令之外，数据存储设备172还可以存储诸如图像处理参数、训练数据、道路地图和路径信息等数据。在车辆105以自主、半自主和/或手动模式操作期间，这些信息可以由车辆105和计算系统170使用。
车辆105可以包括用户接口，用于向车辆105的用户或乘员提供信息或从车辆105的用户或乘员接收输入。用户接口可以控制可以在显示设备上显示的交互式图像的内容和布局，或者可以实现这种控制。此外，用户接口可以包括乘员接口子系统148的组内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风或无线通信系统。
计算系统170可以基于从各种车辆子系统(例如车辆驱动子系统142、车辆传感器子系统144和车辆控制子系统146)以及乘员接口子系统148接收的输入，来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制系统146的输入，来控制转向单元以避开由车辆传感器子系统144和图像处理模块200检测到的障碍物、以使转向单元以受控方式移动或基于由图像处理模块200生成的输出而遵循路径或轨迹。在一个示例实施例中，计算系统170可以可操作为提供对车辆105及车辆105的子系统的许多方面的控制。
虽然图1示出了车辆105的各种部件，例如集成在车辆105中的车辆子系统140、计算系统170、数据存储设备172和图像处理模块200，但这些部件中的一个或多个部件可以与车辆105分开安装或关联。例如，数据存储设备172可以部分地或全部地与车辆105分开存在。因此，车辆105可以设置为可以分开定位或一起定位的设备元件的形式。构成车辆105的设备元件可以以有线或无线方式被通信地耦接在一起。
另外，如上所述，其它数据和/或内容(在此表示为辅助数据)可以通过车载控制系统150从本地和/或远程源获取。如本文所述，辅助数据可以用于基于各种因素来增强、修改或训练图像处理模块200的操作，这些因素包括用户操作车辆的背景(例如车辆的位置、特定目的地、行驶方向、速度、时刻、车辆状态等)以及可从本地和远程的各种源获取的各种其它数据。
在一个特定实施例中，车载控制系统150和图像处理模块200可以实现为车辆105的车载部件。在各种示例实施例中，车载控制系统150和与车载控制系统150进行数据通信的图像处理模块200可以实现为集成部件或分离部件。例如，图像处理模块200可以作为存储在非瞬时计算机可读介质(诸如数据存储设备172)中的指令集被包括在内，用于使数据处理器171执行各种图像处理功能。在一个示例实施例中，车载控制系统150和/或图像处理模块200的软件部件可以通过使用经由网络120与移动设备132和/或网络资源122的数据连接而被动态地升级、修改和/或增强。车载控制系统150可以周期性地向移动设备132或网络资源122查询一个或多个更新，该一个或多个更新可以被推送到车载控制系统150。
汽车到车道距离的确定
在本文公开的各种示例实施例中，提供了一种用于确定车辆与附近车道标记之间距离的系统和方法。本车辆相机视场内给定车辆与距离其最近的(一个或多个)车道之间的距离可以用作多种不同估计、预测和/或检测技术的输入信息。如本文所使用的，术语“本车辆”一般用于表示在其上运用所描述的汽车到车道距离技术的车辆(例如图1所示的车辆105)，并且可以例如包括自主车辆。
车辆与车辆的(一个或多个)附近车道之间的距离可以提供用于准确的车辆姿态估计、车辆意图预测或车道变换事件检测的关键信息。准确的汽车到车道距离可以是用于自主驾驶系统的重要的确定，因为该距离可以提供可以用于确定以下一个或多个的直接信息：a)车辆姿态/方向(例如通过计算车辆与其(一个或多个)附近车道之间的角度)，b)车辆驾驶模式(例如车辆是否更喜欢沿其车道的特定侧驾驶——车辆是否在其车道内摆动等)，c)车辆的意图预测(例如车辆是否要变道——车辆是否要离开高速公路等)。因此，本公开的方面涉及确定可见车辆与最近的(一个或多个)车道之间的距离。在某些方面，如下文中详细描述的，车辆的车轮相对于车道标记的位置可以用于确定车辆与车道之间的距离。
为了基于由本车辆的相机(例如使用来自车辆传感器子系统144的相机)捕捉的图像来确定车辆与其(一个或多个)附近车道之间的距离，图像处理模块200确定图像内车辆和车道中的每一个车辆和车道的位置。一种可以用于确定车辆在捕捉图像内的位置的技术包括使用基于深度学习的对象检测模块，在该对象检测模块中为图像内的每个所检测到的车辆生成二维(2D)边界框。然而，由于从相机获取的2D图像中的视角变化，只有2D边界框可能无法提供车辆与(一个或多个)车道之间距离的准确表达。例如，图2A是根据本公开的方面，从位于本车辆上的相机获取的示例图像。
基于图2A中的图像201，执行图像处理模块200的处理器可以为针对在图像201内检测到的车辆中的每个车辆生成边界框205、210、215。在某些实施例中，边界框205、210、215中的每一个边界框可以表示图像的2D矩形区域，相应的所检测到的车辆的像素位于该矩形区域内。基于边界框205、210、215确定所检测到的车辆中给定车辆与(一个或多个)附近车道之间的距离可能存在某些限制。例如，如图2A所示，边界框205可能比对应车辆更宽。因此，边界框205的边缘与附近车道之间的距离可能小于车辆与车道之间的地面实况距离。此外，如将理解的，归因于相机的视角原因，某些边界框210和215可能比地面实况距离更靠近(一个或多个)附近车道。例如，虽然与边界框215相对应的车辆位于车辆的车道内，但由于车辆的视角，边界框215的右侧与附近的右侧车道重叠。
相应地，本公开的方面涉及解决了至少一些上述限制的用于确定所检测到的车辆与车辆的(一个或多个)附近车道之间距离的技术。一种技术可以包括确定经由本车辆上的相机捕捉的针对在图像201中的所检测到的车辆中的至少一些车辆的三维(3D)边界框。3D边界框可以提供界定车辆并且限定八个拐角和车辆行进的方向的矩形立方体。因此，3D边界框的生成可以在计算车辆与车辆的(一个或多个)附近车道之间的距离时克服或减少视角扭曲。然而，3D边界框的计算(例如仅使用诸如图像201等2D源图像)可能需要大量资源以进行计算，因为3D边界框计算可以包括3D边界框的正确注释，这可能需要外部和内部相机参数以及本车辆的运动的准确测量。在某些实施方式中，由于车辆生态系统101的硬件和/或软件限制，可能无法实现充分准确地测量外部和内部相机参数以及本车辆的运动。另外，可能难以获取图像201中的车辆的地面实况(例如图像辨识训练数据和车辆位置的测量)以正确地训练图像处理模块200，以产生足够准确的3D边界框。
用于确定所检测到的车辆与其(一个或多个)附近车道之间距离的另一种技术包括在接收到的图像201中检测并且识别车辆的车轮，并且使用检测到的车轮来测量车辆与(一个或多个)附近车道之间的距离。与其它技术(例如基于2D边界框的技术)相比，使用车辆车轮位置来确定汽车到车道的距离可以改进距离测量，因为车轮是与道路表面接触的。由于车轮与道路表面接触，任何2D视角扭曲都被大幅度减少或甚至从距离计算中消除。车轮在车辆上的位置还可以提供车辆姿态的稳健估计，因为车辆通常具有用作参考点的4个或更多个车轮。附加地，图像处理模块200可以能够比使用基于深度学习的车轮分割模块形成3D边界框更容易地检测车辆的车轮。
在某些实施例中，图像处理模块200可以被配置为在所接收到的图像201内检测车轮，并且形成指示在图像201中检测到的(一个或多个)车轮的(一个或多个)位置的分割图。图2B包括根据本公开的方面，从相机获取的另一示例图像和基于该示例图像生成的车轮分割图。如图2B所示，从相机接收的图像231可以包括多个车辆，车辆包括可以由图像处理模块200分割的车轮。车轮分割处理可以形成车轮分割图251，车轮分割图251包括关于接收到的图像231中表示(一个或多个)车轮的像素的指示。如图2B所示，被识别车轮可以对应于图像231中车轮的所有可见部分，包括轮胎和中心轮或者毂盖。如下面将详细描述的，可以确定最靠近图像底部的给定车轮的像素与道路表面接触。
图像处理模块200还可被配置为使用例如基于深度学习的车道检测技术来检测接收到的图像201内的(一个或多个)车道。车道检测技术可以形成指示在图像201中检测到的(一个或多个)车道的(一个或多个)位置的分割图。分割图中的每个分割图可以包括分别位于车轮分割图和车道分割图内的(一个或多个)所检测到的车轮和车道的像素级表达。
图3是示出根据本公开的方面，用于确定车辆与(一个或多个)车道之间的距离的示例方法的示例流程图。图3中所示的方法300可以由车载控制系统(诸如图1的车载控制系统150)或车载控制系统的(一个或多个)部件执行。例如，图3所示的方法300的步骤可以由车载控制系统或(一个或多个)关联系统的(一个或多个)处理器和/或(一个或多个)其它部件执行。为了方便起见，方法300被描述为由车载控制系统的处理器执行。
方法300从框301开始。在框305处，处理器接收来自相机的图像，相机可以作为车辆传感器子系统144的部件被包括在内。图像可以包括一个或多个车辆以及将道路分成多个车道的一个或多个车道标志。在可选框310处，处理器针对在接收到的图像中检测到的每个车辆生成边界框。这可以包括例如检测被包括在图像中的车辆中的至少一个车辆的像素，以及确定包括车辆中所围绕的大多数像素的2D边界。虽然在某些实施例中，处理器可以使用边界框将一个或多个所检测到的车轮与给定车辆相关联，但在其它实施例中，处理器可以被配置为在不使用边界框的情况下确定所检测到的车轮与车道之间的距离。
在框315处，处理器针对接收到的图像生成车轮分割图。车轮分割图可以包括关于在图像内所检测到的为车轮的一部分的每个像素的指示。在框320处，处理器针对接收到的图像生成车道分割图。车道分割图可以包括关于在图像内所检测到的为车道标记的一部分的每个像素的指示。
在框325处，处理器确定车轮分割图中的(一个或多个)车轮与来自车道分割图的(一个或多个)车轮的(一个或多个)附近车道之间的距离。在某些实施方式中，车轮与附近车道之间的距离可以基于位于车轮分割图中的车轮与车道分割图中的车道之间的像素的数量来确定。如下面将描述的，处理器可以使用车轮与车道之间所确定的距离作为车辆与车道之间的距离的指示(例如由在车轮分割图中与车轮重叠的边界框所界定的车辆)。该方法在框330处结束。
图4A至图4C示出可以在图3所示方法300的过程中生成的各种图像和分割图。特别地，图4A是根据本公开的方面，与接收到的图像相对应的示例2D边界框图。图4B是根据本公开的方面，与接收到的图像相对应的示例车轮分割图。图4B还示出所检测到的车辆的修改边界框。图4C是根据本公开的方面，与接收到的图像相对应的示例车道分割图。
首先参考图4A，2D边界框图401可以包括多个边界框405，边界框405界定和/或包围图像内所检测到的车辆中的每个车辆的像素。边界框图401可以是由处理器在方法300的步骤310中生成的图。在图4B中，车轮分割图431包括多个像素组，像素组表示例如通过方法300的步骤315生成的车轮435。车轮分割图431中还示出一组梯形440，梯形440可以基于所检测到的车轮435生成。下面将详细描述与生成梯形440相关的(一种或多种)技术。
图4C示出车道分割图461，包括例如通过方法300的步骤320生成的表示车道465的像素组。图4C还示出可以在方法300的步骤325处计算的距离值470的一个实施例。虽然在图4C的实施例中，距离值470被说明为覆盖在车道分割图461上，但根据实施例不同，这些值可以不被定位在图上，而是作为方法300的输出而提供。因此，距离值可以由车载控制系统使用以确定例如相应车辆的行为预测(例如通过分析车辆与车辆(一个或多个)附近车道之间的距离随时间的变化)。
图5A至图5C和图6A至图6C示出可以在图3的方法300过程中生成的图像和分割图的附加实施例。特别地，图5A和图6A提供了与接收到的图像相对应的示例2D边界框图501、601，图5B和图6B提供了与接收到的图像相对应的示例车轮分割图531、631，并且图5C和图6C提供了与接收到的图像相对应的示例车道分割图561、661。图5A至图5C示出车道曲线的实施例，而图6A至图6C示出车辆的一个后轮被遮挡的实施例。由于图5A至图5C和图6A至图6C的其余特征基本上与图4A至图4C类似，所以为了清楚起见，省略了其它附图标记及其详细描述。
图7是示出根据本公开的方面，用于确定车辆与(一个或多个)车道之间的距离的另一示例方法的示例流程图。图7中所示的方法700可以由车载控制系统(例如图1的车载控制系统150)或车载控制系统的(一个或多个)部件执行。例如，图7所示的方法700的步骤可以由车载控制系统或(一个或多个)关联系统的(一个或多个)处理器和/或(一个或多个)其它部件执行。为了方便起见，方法700被描述为由车载控制系统的处理器执行。
在某些实施例中，方法700可以包括由处理器在执行方法300的步骤325中执行的多个步骤。因此，方法700可以包括用于基于车轮分割图和车道分割图，确定在从相机接收的图像内检测到的车辆与车辆最近的(一个或多个)车道之间的距离的技术。
方法700在框701处开始。在框705处，处理器将在车轮分割图中识别的车轮与边界框图中的相应的边界框相关联。例如，处理器可以响应在车轮分割中检测到的车轮与边界框至少部分地重叠，将车轮与边界框相关联。在某些实施方式中，基于从相机接收到的图像逐帧地生成车轮分割图。通过将所检测到的车轮与给定边界框相关联，处理器可以能够做出关于所检测到的车轮在车辆上的位置的某些确定。例如，处理器可以能够确定给定车轮是车辆的后轮还是前轮，和/或车轮是车辆的最左轮还是最右轮。在一个实施方式中，车轮与边界框的关联可以包括裁剪车轮分割图中与从边界框图中的选定边界框相对应的区域。
在框710处，处理器通过计算已裁剪图像内相连像素组的数量，对已裁剪区内的车轮数量计数。处理器还可以被配置为基于在已裁剪车轮分割图内检测到的车轮数量，确定车辆的左侧和右侧。特别地，用于确定车辆和(一个或多个)附近车道之间距离的技术可以取决于边界框内的车轮数量及车轮的位置。下面概述了取决于在框710处检测到的车轮数量的多个示例技术。
裁剪区内未检测到车轮
当在剪切区域内未检测到车轮时，处理器可以推断i)车辆至少部分地被图像内的另一对象遮挡，ii)车辆超出本车辆前方的阈值距离，使得所检测到的车辆的车轮基于接收到的图像检测是不可检测的，或者iii)所检测到的车辆和边界框反映了假阳性检测。由于在边界框内未检测到车轮，处理器可以将边界框的左下角和右下角设置为指示车辆的左侧和右侧。
裁剪区内仅检测到一个车轮
当在剪切区域内仅检测到一个车轮时，处理器可以推断视图中仅有部分车辆。当仅检测到一个车轮时，处理器可以判断车辆是否被遮挡。基于对两个边界框的底部边缘位置的比较来执行遮挡检测。如果一个边缘高于另一边缘，则处理器可以确定相应车辆被遮挡。响应于确定车辆被遮挡，处理器可以将边界框的左下角和右下角设置为表示车辆的左侧和右侧。响应于确定车辆未被遮挡，处理器可以将所检测到的车轮的最左像素和最右像素设置为表示车辆的左侧和右侧。虽然使用单个车轮可以不代表整个车辆的实际左侧和右侧，但是所检测到的车轮与(一个或多个)附近车道之间的距离可以仍然是有用的。在某些实施例中，在输出距离测量结果时，处理器还可以提供关于仅有单个车轮被用于确定汽车与附近车道之间距离的指示。
裁剪区域内检测到两个车轮
当在剪切区域内检测到两个车轮时，处理器可以将所检测到的车轮中的每个车轮视为单独地表示车辆的左侧和右侧。对于每个车轮，处理器可以确定所检测到的车轮中每列像素的底部像素与2D边界框的底部边缘之间的距离(例如基于像素的数量)。因此，最靠近边界框的底部的像素可以指示与道路表面接触的像素。在某些实施例中，处理器可以取与边界框底部距离最短的所有像素列的平均值(例如像素位置)作为表示车辆的左侧或右侧。
裁剪区域内检测到多于两个车轮
当在剪切区域内检测到多于两个车轮时，处理器可以选择所检测到的车轮中的两个车轮来表示车辆的左侧和右侧。在一个实施例中，处理器选择具有位于最左列和最右列中的像素的车轮。也就是说，处理器可以选择位于边界框的最左侧和最右侧的车轮作为上述两个车轮。然而，当两个或更多个车轮共享图像中同一像素列的像素时，处理器可以选择最底部车轮来表示车辆的相应侧(例如左侧或右侧)。一旦处理器已选定两个所检测到的车轮，处理器就可以在裁剪区域内检测到两个车轮时，以类似于上述技术的方式限定车辆的左侧和右侧。
一旦如上所述基于所检测到的车轮的数量确定了车辆的左侧和右侧，处理器就可以在框715处确定表示车辆左侧和/或右侧的梯形。如由框710所确定的，这可以例如包括处理器将边界框的尺寸减小为梯形形状，该梯形形状具有由车辆的左侧和右侧限定的两个底部顶点。处理器可以基于最靠近图像底部(或最靠近相应边界框底部)的车轮的像素，确定给定车轮的位置。也就是说，可以推断所检测到的车轮的最低部分与道路表面接触(或至少足够靠近车轮与道路表面接触的部分，以用于估计车轮在车轮的车道内的位置)。当确定多于一个像素最靠近边界框底部(例如像素在同一行中)时，处理器可以取最靠近边界框底部的像素位置的平均值作为车轮的位置。
梯形的实施例在图4B、图5B和图6B中示出。例如，如图4B和图5B所示，可以相对于检测到的给定车辆的底部车轮来限定梯形。在图7B中，右侧车辆的右下轮是不可见的，因此，梯形可以基于检测到的两个左轮来限定。
在框720处，处理器基于在框715中确定的梯形和车道分割图，确定车辆与车辆的(一个或多个)附近车道之间的距离。在某些实施方式中，处理器可以确定表示梯形的底部两个顶点的像素的坐标(例如这些像素中每个像素的行和列)。例如，梯形的左下顶点可以具有在图像中的坐标(行r，列c)。继续该示例，对于行r，处理器可以获取在车道分割图识别的车道同一行(例如行r)中所有列的对应值。处理器可以随后通过为同一行中的每个车道选择中心和边缘像素并且基于所有选定中心和边缘像素的列值对所有选定中心和边缘进行排序，来定位同一行(例如行r)中的各种车道。在某些实施方式中，处理器可以基于中心位置确定车道宽度。处理器可以将梯形顶点的列值(例如该示例中左下顶点的列值)与同一行中车道的经排序的中心值进行比较。
然后，处理器可以确定顶点与最靠近顶点左侧和右侧的车道中心之间的距离(以像素为单位)。对于最近的左车道和右车道中的每一个车道，处理器还可以确定以像素为单位的到车道的距离与以像素为单位测量的总车道宽度之间的比率。
根据梯形的给定顶点的位置，顶点的位置可以划分为三个主要类别。顶点可以是：i)位于最近车道上(例如与最近车道重叠)，ii)位于两个车道之间，或者iii)两个最近车道中的一个车道可能缺失(例如在与顶点同一行的视图中至少部分地被遮挡，或在图像中整体缺失)。
当梯形的给定顶点位于最近车道上时，处理器可以计算最近车道的距离0，以及等于第二最近车道的车道宽度的像素距离。处理器可以确定以像素为单位的到车道距离与车道宽度为0的最近车道和车道宽度为1的第二最近车道的总车道宽度之间的比率。
当梯形的给定顶点位于车道之间时，处理器可以基于顶点的列坐标与最近的两个车道的中心列坐标之间的绝对差来计算像素之间的距离。处理器可以基于以下项来确定比率：顶点和车道中心之间的以像素为单位的距离；以及以像素为单位测量的与顶点同一行的车道宽度。
当最近车道中的一个车道对于梯形的给定顶点缺失时，处理器可以输出关于无法计算到缺失边的距离的指示。例如，处理器可输出值-1以指示缺失车道。因为不能计算车道的宽度，处理器还可以提供针对比率值的通道中的至少一个通道缺失(例如通过输出值-1)的指示。该方法在框725处结束。
本文描述的一些实施例可以使用以下基于条款的描述来获取。
条款1.一种车载控制系统，包括：相机，被配置为生成图像；处理器；以及计算机可读存储器，与处理器通信并且在其上存储有计算机可执行指令以使处理器：接收来自相机的图像，生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮，生成车道分割图，车道分割图表示在图像中检测到的一个或多个道路车道，针对车轮分割图中的至少一个车轮，确定车轮与车道分割图中的至少一个附近车道之间的距离，以及基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。
条款2.根据条款1所述的系统，其中存储器还在其上存储有计算机可执行指令以使处理器：检测表示图像中的至少一个车辆的像素组，以及针对所检测到的车辆中的每个车辆：生成二维(2D)边界框，二维(2D)边界框界定表示车辆的像素组，确定车轮分割图中的车轮中的至少一个车轮与2D边界框重叠，以及将重叠的至少一个车轮与2D边界框相关联。
条款3.根据条款1或2所述的系统，其中存储器还在其上存储有计算机可执行指令以使处理器针对所检测到的车辆中的每个车辆：确定与2D边界框重叠的车轮的数量，其中车辆与车道之间的距离的确定还基于与2D边界框重叠的车轮的数量。
条款4.根据条款1-3中任一项所述的系统，其中存储器还在其上存储有计算机可执行指令以使处理器针对所检测到的车辆中的每个车辆：基于与2D边界框重叠的车轮的位置，确定表示车辆的左侧和右侧的梯形，选择梯形的底部顶点，确定将底部顶点与车道分隔的像素的数量，以及基于像素的数量确定车辆与车道之间的距离。
条款5.根据条款1-4中任一项所述的系统，其中确定将底部顶点与车道分隔的像素的数量包括：确定将位于像素和底部顶点同一行中的车道的中心与底部顶点分隔的像素的数量。
条款6.根据条款1-5中任一项所述的系统，其中确定梯形的步骤包括：确定车轮分割图中的车轮中的至少两个车轮与2D边界框重叠，选择至少两个车轮中的第一车轮作为车辆的左下轮，选择至少两个车轮中的第二车轮作为车辆的右下轮，以及生成具有左下顶点和右下顶点梯形，左下顶点基于左下轮的位置，右下顶点基于右下轮的位置。
条款7.根据条款1-6中任一项所述的系统，其中图像中的车辆与车道之间的距离包括：i)车轮与车道之间的绝对距离或ii)绝对距离与车道的宽度之间的比率。
条款8.根据条款1-7中任一项所述的系统，其中存储器还在其上存储有计算机可执行指令以使处理器：基于车辆与车道之间的距离确定车辆的预测行为。
条款9.一种非瞬时计算机可读存储介质，在其上存储有指令，当指令被执行时，使至少一个计算设备：
接收来自安装在本车辆上的相机的图像；生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮；生成车道分割图，车道分割图表示在图像中检测到的一个或多个车道；针对车轮分割图中的车轮中的至少一个车轮，确定车轮与车道分割图中的至少一个附近车道之间的距离；以及基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。
条款10.根据条款9所述的非瞬时计算机可读存储介质，还在其上存储有指令，当指令被执行时，使至少一个计算设备：检测表示图像中的至少一个车辆的像素组，以及
针对所检测到的车辆中的每个车辆：生成二维(2D)边界框，二维(2D)边界框界定表示车辆的像素组，确定车轮分割图中的至少一个车轮与2D边界框重叠，以及将重叠的至少一个车轮与2D边界框相关联。
条款11.根据条款9或10所述的非瞬时计算机可读存储介质，还在其上存储有指令，当指令被执行时，使至少一个计算设备针对每个所检测到的车辆：确定与2D边界框重叠的车轮的数量，其中车辆与车道之间的距离的确定还基于与2D边界框重叠的车轮的数量。
条款12.根据条款9-11中任一项所述的非瞬时计算机可读存储介质，还在其上存储有指令，当指令被执行时，使至少一个计算设备针对所检测到的车辆中的每个车辆：基于与2D边界框重叠的车轮的位置，确定表示车辆的左侧和右侧的梯形，选择梯形的底部顶点，确定将底部顶点与车道分隔的像素的数量，以及基于像素的数量确定车辆与车道之间的距离。
条款13.根据条款9-12中任一项所述的非瞬时计算机可读存储介质，其中确定将底部顶点与车道分隔的像素的数量包括：确定将位于像素和底部顶点同一行中的车道的中心与底部顶点分隔的像素的数量。
条款14.根据条款9-13中任一项所述的非瞬时计算机可读存储介质，还在其上存储有指令，当指令被执行时，使至少一个计算设备：确定车轮分割图中的车轮中的至少两个车轮与2D边界框重叠，选择至少两个车轮中的第一车轮作为车辆的左下轮，选择至少两个车轮中的第二车轮作为车辆的右下轮，以及生成具有左下顶点和右下顶点的梯形，左下顶点基于左下轮的位置，右下顶点基于右下轮的位置。
条款15.一种用于确定车辆与车道之间距离的方法，包括：接收来自安装在本车辆上的相机的图像；生成车轮分割图，车轮分割图表示在图像中检测到的一个或多个车轮；生成车道分割图，车道分割图表示在图像中检测到的一个或多个车道；针对车轮分割图中的车轮中的至少一个车轮，确定车轮与车道分割图中的至少一个附近车道之间的距离；以及基于车轮与车道之间的距离，确定图像中的车辆与车道之间的距离。一些示例实施例在图3和图7中示出。
条款16.根据条款15所述的方法，还包括：检测表示图像中的至少一个车辆的像素组，以及针对所检测到的车辆中的每个车辆：
生成二维(2D)边界框，二维(2D)边界框界定表示车辆的像素组，确定车轮分割图中的车轮中的至少一个车轮与2D边界框重叠，以及将重叠的至少一个车轮与2D边界框相关联。
条款17.根据条款16所述的方法，还包括，针对所检测到的车辆中的每个车辆：确定与2D边界框重叠的车轮的数量，其中车辆与车道之间的距离的确定还基于与2D边界框重叠的车轮的数量。
条款18.根据条款16或17所述的方法，包括，针对所检测到的车辆中的每个车辆：基于与2D边界框重叠的车轮的位置，确定表示车辆的左侧和右侧的梯形，选择梯形的底部顶点，确定将底部顶点与车道分隔的像素的数量，以及基于像素的数量确定车辆与车道之间的距离。
条款19.根据条款15-18中任一项所述的方法，其中确定将底部顶点与车道分隔的像素的数量包括：确定将位于像素和底部顶点同一行中的车道的中心与底部顶点分隔的像素的数量。
条款20.根据条款15-19中任一项所述的方法，还包括：
确定车轮分割图中的车轮中的至少两个车轮与2D边界框重叠，选择至少两个车轮中的第一车轮作为车辆的左下轮，选择至少两个车轮中的第二车轮作为车辆的右下轮，以及生成具有左下顶点和右下顶点的梯形，左下顶点基于左下轮的位置，右下顶点基于右下轮的位置。
本文档中所公开的实施例及其它的实施例、模块和功能操作可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本文档中所公开的结构及其结构等效物，或其中一个或多个的组合。所公开的及其它的实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、实现机器可读传播信号的物质组合或其中一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机，或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电、光或电磁信号，这些信号被生成以编码信息，从而传输至适当的接收器装置。
计算机程序(也称程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且计算机程序可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其它程序或数据的文件的一部分中(例如存储在标记语言文档中的一个或多个脚本)、存储在专用于所讨论程序的单个文件中，或者存储在多个协同文件中(例如存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在一个计算机上执行，或者在位于一个地点或分布在多个地点并通过通信网络互连的多个计算机上执行。
本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该可编程处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程还可以由专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适用于执行计算机程序的处理器包括，例如通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。一般地，处理器从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是处理器，用于执行指令，以及一个或多个存储设备，用于存储指令和数据。一般地，计算机还包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦接至一个或多个大容量存储设备，以从其接收数据或向其传送数据，或者从其接收数据和向其传送数据两者。然而，计算机不一定具有这些设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CDROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节，但这些细节不应解释为对任何发明的范围或可能要求保护的范围的限制，而应解释为对可能特定于特定发明的特定实施例的特征的描述。本专利文档中在单独实施例的背景中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的背景中描述的各种特征也可以在多个实施例中单独地或以任何适当的子组合来实现。此外，虽然特征可能在上文中被描述为在某些组合中起作用并且甚至最初被这样要求保护，但来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以是针对子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应理解为要求以所示的特定顺序或以连续顺序执行这些操作，或者要求执行所有示出的操作以达到期望结果。此外，本专利文档中描述的实施例中的各种系统部件的分离不应理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例。基于本专利文档中所描述和示出的内容，可以做出其它实施方式、增强和变型。
本文所描述的实施例的说明示旨在提供对各种实施例的结构的一般理解，并且不旨在用作可能利用本文所描述结构的部件和系统的所有元件和特征的完整描述。在阅读了本文提供的描述之后，许多其它实施例对于本领域普通技术人员来说将是明显的。可以利用和导出其它实施例，使得可以在不脱离本公开范围的情况下进行结构和逻辑替换和改变。本文的附图仅仅是代表性的，并且可以不按比例绘制。附图中的某些比例可能被夸大，而其它比例可能被最小化。因此，说明书和附图应视为是说明性的而非限制性的。
一些实施例在两个或更多个特定互连硬件模块或设备中实现功能，其中，相关控制和数据信号在模块之间和通过模块传送，或者作为专用集成电路的部分。因此，示例系统可应用于软件、固件和硬件实施方式。
提供摘要以允许读者快速确定本技术公开的实质。应当理解的是，摘要并非用于解释或限制权利要求的范围或含义。另外，在前述具体实施方式中，可以看出为了使本公开流畅，各种特征被一起分组在单个实施例中。这种公开方法不应解释为反映了所要求保护的实施例需要比每个权利要求中明确记载的特征更多特征的意图。相反地，如所附权利要求所反映的，发明主题在于少于单个公开实施例的所有特征。因此，以下权利要求于此并入具体实施方式中，其中每个权利要求本身独立地作为单独实施例。
虽然前述内容是针对本公开的实施方式，但在不脱离本公开的基本范围的情况下，可以设计本公开的其它和进一步实施方式，并且本公开的范围由所附权利要求确定。

Claims (20)

1.一种车载控制系统，包括：
相机，被配置为生成图像；
处理器；以及
计算机可读存储器，与所述处理器通信并且在其上存储有计算机可执行指令以使所述处理器：
接收来自所述相机的所述图像，
生成车轮分割图，所述车轮分割图表示在所述图像中检测到的一个或多个车轮，
生成车道分割图，所述车道分割图表示在所述图像中检测到的一个或多个车道，
针对所述车轮分割图中的车轮，确定所述车轮与所述车道分割图中的车道之间的距离，以及
基于所述车轮与所述车道之间的距离，确定所述图像中的车辆与所述车道之间的距离。
2.根据权利要求1所述的系统，其中所述存储器还在其上存储有计算机可执行指令以使所述处理器：
检测表示所述图像中的至少一个车辆的像素组，以及
针对所检测到的车辆中的每个车辆：
生成二维(2D)边界框，所述二维(2D)边界框界定表示所述车辆的所述像素组，
确定所述车轮分割图中的车轮中至少一个车轮与所述2D边界框重叠，以及
将重叠的至少一个车轮与所述2D边界框相关联。
3.根据权利要求2所述的系统，其中所述存储器还在其上存储有计算机可执行指令以使所述处理器针对所检测到的车辆中的每个车辆：
确定与所述2D边界框重叠的所述车轮的数量，
其中所述车辆与所述车道之间的距离的确定还基于与所述2D边界框重叠的所述车轮的数量。
4.根据权利要求2所述的系统，其中所述存储器还在其上存储有计算机可执行指令以使所述处理器针对所检测到的车辆中的每个车辆：
基于与所述2D边界框重叠的所述车轮的位置，确定表示所述车辆的左侧和右侧的梯形，
选择所述梯形的底部顶点，
确定将所述底部顶点与所述车道分隔的像素的数量，以及
基于所述像素的数量确定所述车辆与所述车道之间的距离。
5.根据权利要求4所述的系统，其中确定将所述底部顶点与所述车道分隔的所述像素的数量包括：确定将位于像素和所述底部顶点同一行中的所述车道的中心与所述底部顶点分隔的所述像素的数量。
6.根据权利要求4所述的系统，其中确定所述梯形包括：
确定所述车轮分割图中的车轮中的至少两个车轮与所述2D边界框重叠，
选择所述至少两个车轮中的第一车轮作为所述车辆的左下轮，
选择所述至少两个车轮中的第二车轮作为所述车辆的右下轮，并且
生成具有左下顶点和右下顶点的梯形，所述左下顶点基于所述左下轮的位置，所述右下顶点基于所述右下轮的位置。
7.根据权利要求1-6中任一项所述的系统，其中所述车道与所述图像中的车辆之间的距离包括：i)所述车轮与所述车道之间的绝对距离，以及ii)所述绝对距离与所述车道的宽度之间的比率。
8.根据权利要求1-6中任一项所述的系统，其中所述存储器还在其上存储有计算机可执行指令以使所述处理器：
基于所述车辆与所述车道之间的距离确定所述车辆的预测行为。
9.一种非瞬时计算机可读存储介质，在其上存储有指令，当所述指令被执行时，使至少一个计算设备：
接收来自安装在本车辆上的相机的图像；
生成车轮分割图，所述车轮分割图表示在所述图像中检测到的一个或多个车轮；
生成车道分割图，所述车道分割图表示在所述图像中检测到的一个或多个车道；
针对所述车轮分割图中的车轮中的至少一个车轮，确定所述车轮与所述车道分割图中的至少一个附近车道之间的距离；以及
基于所述车轮与所述车道之间的距离，确定所述图像中的车辆与所述车道之间的距离。
10.根据权利要求9所述的非瞬时计算机可读存储介质，还在其上存储有指令，当所述指令被执行时，使至少一个计算设备：
检测表示所述图像中的至少一个车辆的像素组，以及
针对所检测到的车辆中的每个车辆：
生成二维(2D)边界框，所述二维(2D)边界框界定表示所述车辆的所述像素组，
确定所述车轮分割图中的车轮中的至少一个车轮与所述2D边界框重叠，以及
将重叠的至少一个车轮与所述2D边界框相关联。
11.根据权利要求10所述的非瞬时计算机可读存储介质，还在其上存储有指令，当所述指令被执行时，使至少一个计算设备针对所检测到的车辆中的每个车辆：
确定与所述2D边界框重叠的所述车轮的数量，
其中所述车辆与所述车道之间的距离的确定还基于与所述2D边界框重叠的所述车轮的数量。
12.根据权利要求10所述的非瞬时计算机可读存储介质，还在其上存储有指令，当所述指令被执行时，使至少一个计算设备针对所检测到的车辆中的每个车辆：
基于与所述2D边界框重叠的所述车轮的位置，确定表示所述车辆的左侧和右侧的梯形，
选择所述梯形的底部顶点，
确定将所述底部顶点与所述车道分隔的像素的数量，以及
基于所述像素的数量确定所述车辆与所述车道之间的距离。
13.根据权利要求12所述的非瞬时计算机可读存储介质，其中确定将所述底部顶点与所述车道分隔的所述像素的数量包括：确定将位于像素和所述底部顶点同一行中的所述车道的中心与所述底部顶点分隔的所述像素的数量。
14.根据权利要求10-12中任一项所述的非瞬时计算机可读存储介质，还在其上存储有指令，当所述指令被执行时，使至少一个计算设备：
确定所述车轮分割图中的车轮中的至少两个车轮与所述2D边界框重叠，
选择所述至少两个车轮中的第一车轮作为所述车辆的左下轮，
选择所述至少两个车轮中的第二车轮作为所述车辆的右下轮，并且
生成具有左下顶点和右下顶点的梯形，所述左下顶点基于所述左下轮的位置，所述右下顶点基于所述右下轮的位置。
15.一种用于确定车辆与车道之间距离的方法，包括：
接收来自安装在本车辆上的相机的图像；
生成车轮分割图，所述车轮分割图表示在所述图像中检测到的一个或多个车轮；
生成车道分割图，所述车道分割图表示在所述图像中检测到的一个或多个车道；
针对所述车轮分割图中的车轮中的至少一个车轮，确定所述车轮与所述车道分割图中的至少一个附近车道之间的距离；以及
基于所述车轮与所述车道之间的距离，确定所述图像中的车辆与所述车道之间的距离。
16.根据权利要求15所述的方法，还包括:
检测表示所述图像中的至少一个车辆的像素组，以及
针对所检测到的车辆中的每个车辆：
生成二维(2D)边界框，所述二维(2D)边界框界定表示所述车辆的所述像素组，
确定车轮分割图中的车轮中的至少一个车轮与2D边界框重叠，以及
将重叠的至少一个车轮与2D边界框相关联。
17.根据权利要求16所述的方法，还包括，针对所检测到的车辆中的每个车辆：
确定与所述2D边界框重叠的所述车轮的数量，
其中所述车辆与所述车道之间的距离的确定进还基于与所述2D边界框重叠的所述车轮的数量。
18.根据权利要求16-17中任一项所述的方法，还包括，针对所检测到的车辆中的每个车辆：
基于与所述2D边界框重叠的所述车轮的位置，确定表示所述车辆的左侧和右侧的梯形，
选择所述梯形的底部顶点，
确定将所述底部顶点与所述车道分隔的像素的数量，以及
基于所述像素的数量确定所述车辆与所述车道之间的距离。
19.根据权利要求18所述的方法，其中确定将所述底部顶点与所述车道分隔的所述像素的数量包括：确定将位于像素和所述底部顶点同一行中的所述车道的中心与所述底部顶点分隔的所述像素的数量。
20.根据权利要求16-17中任一项所述的方法，还包括:
确定所述车轮分割图中的车轮中的至少两个车轮与所述2D边界框重叠，
选择所述至少两个车轮中的第一车轮作为所述车辆的左下轮，
选择所述至少两个车轮中的第二车轮作为所述车辆的右下轮，并且
生成具有左下顶点和右下顶点的梯形，所述左下顶点基于所述左下轮的位置，所述右下顶点基于所述右下轮的位置。
CN201980028505.XA 2018-04-27 2019-04-26 用于确定汽车到车道距离的系统和方法 Active CN112020461B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/965,568 US10586456B2 (en) 2018-04-27 2018-04-27 System and method for determining car to lane distance
US15/965,568 2018-04-27
PCT/US2019/029456 WO2019210241A1 (en) 2018-04-27 2019-04-26 System and method for determining car to lane distance

Publications (2)

Publication Number Publication Date
CN112020461A CN112020461A (zh) 2020-12-01
CN112020461B true CN112020461B (zh) 2024-02-27

Family

ID=68291261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028505.XA Active CN112020461B (zh) 2018-04-27 2019-04-26 用于确定汽车到车道距离的系统和方法

Country Status (5)

Country Link
US (4) US10586456B2 (zh)
EP (1) EP3784541A4 (zh)
CN (1) CN112020461B (zh)
AU (1) AU2019260775A1 (zh)
WO (1) WO2019210241A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494863B (zh) 2018-03-15 2024-02-09 辉达公司 确定自主车辆的可驾驶自由空间
US10586456B2 (en) * 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
JP2022034086A (ja) * 2018-12-07 2022-03-03 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US10997435B2 (en) * 2019-08-08 2021-05-04 Nvidia Corporation Leveraging obstacle and lane detections to determine lane assignments for objects in an environment
US11713978B2 (en) 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
JP7139300B2 (ja) * 2019-10-03 2022-09-20 本田技研工業株式会社 認識装置、認識方法、およびプログラム
CN113591518B (zh) * 2020-04-30 2023-11-03 华为技术有限公司 一种图像的处理方法、网络的训练方法以及相关设备
US20210364305A1 (en) * 2020-05-19 2021-11-25 Gm Cruise Holdings Llc Routing autonomous vehicles based on lane-level performance
WO2022019847A1 (en) * 2020-07-24 2022-01-27 Odabasi Kerem Multi-purpose vehicle roof module
US11210533B1 (en) 2020-08-09 2021-12-28 Phantom AI, Inc. Method of predicting trajectory of vehicle
KR20220031224A (ko) * 2020-09-04 2022-03-11 현대자동차주식회사 차량 및 그 제어방법
JP2022123238A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置
JP2022123239A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 区画線認識装置
CN113932825B (zh) * 2021-09-30 2024-04-09 深圳市普渡科技有限公司 机器人导航路径宽度获取系统、方法、机器人及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935059A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 移動体上照度識別装置
JP2001357387A (ja) * 2000-06-15 2001-12-26 Hitachi Ltd 車載用画像処理カメラ装置
CN101089917A (zh) * 2007-06-01 2007-12-19 清华大学 一种目标车换道工况下的快速识别方法
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
DE102010020688A1 (de) * 2010-05-15 2011-05-19 Daimler Ag Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
WO2011114814A1 (ja) * 2010-03-17 2011-09-22 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
EP2525335A2 (en) * 2011-05-16 2012-11-21 Samsung Electronics Co., Ltd. User interface method for terminal for vehicle and apparatus thereof
KR20130120041A (ko) * 2012-04-25 2013-11-04 (주)아이머큐리 차선 검출장치 및 그 방법
WO2014007052A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車線逸脱判定装置，車線逸脱警報装置及びそれらを使った車両制御システム
CN104129389A (zh) * 2014-08-06 2014-11-05 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置
KR101479870B1 (ko) * 2013-12-11 2015-01-09 한청훈 차선 이탈 감지 방법 및 감지 시스템
CN104590258A (zh) * 2013-10-31 2015-05-06 富士重工业株式会社 车辆控制系统
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
EP3121761A1 (en) * 2015-07-20 2017-01-25 Dura Operating, LLC A system and method for verifying road position information for a motor vehicle
CN106627571A (zh) * 2015-10-30 2017-05-10 株式会社万都 车辆控制系统及其方法
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
GB201706576D0 (en) * 2016-05-03 2017-06-07 Ford Global Tech Llc Enhanced vehicle operation
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107909047A (zh) * 2017-11-28 2018-04-13 上海信耀电子有限公司 一种汽车及其应用的车道检测方法及系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3853542B2 (ja) * 1999-07-26 2006-12-06 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP3979339B2 (ja) * 2003-05-12 2007-09-19 日産自動車株式会社 車線逸脱防止装置
JP4607193B2 (ja) * 2005-12-28 2011-01-05 本田技研工業株式会社 車両及びレーンマーク検出装置
US7660669B2 (en) * 2007-03-28 2010-02-09 Nissan Technical Center North America, Inc. Lane departure avoidance system
JP4692613B2 (ja) * 2008-11-28 2011-06-01 トヨタ自動車株式会社 車載装置、及び当該装置で用いられる方法
FR2947231B1 (fr) * 2009-06-30 2013-03-29 Valeo Vision Procede pour determiner de maniere predictive des situations routieres d'un vehicule
JP5414588B2 (ja) * 2010-03-24 2014-02-12 株式会社東芝 車両運転支援用処理装置及び車両運転支援装置
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9098751B2 (en) * 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
US8976040B2 (en) * 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
US9365214B2 (en) * 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
US9177214B1 (en) * 2014-04-10 2015-11-03 Xerox Corporation Method and apparatus for an adaptive threshold based object detection
KR102270677B1 (ko) * 2015-01-13 2021-06-29 현대모비스 주식회사 차량 안전 주행 장치
CN104916165B (zh) * 2015-06-26 2018-03-06 长安大学 一种前车驾驶员不安全驾驶行为检测方法及装置
US10392009B2 (en) * 2015-08-12 2019-08-27 Hyundai Motor Company Automatic parking system and automatic parking method
US10885588B2 (en) * 2015-09-02 2021-01-05 Nanjing Xega Electronics Technology Co., Ltd. Machine-vision-based electronic automobile insurance fee meter
US20180144636A1 (en) * 2016-06-30 2018-05-24 Faraday&Future Inc. Distracted driver detection, classification, warning, avoidance system
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
EP3619643A1 (en) * 2017-05-03 2020-03-11 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
KR102395287B1 (ko) * 2017-05-08 2022-05-09 현대자동차주식회사 영상변환장치
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US10685239B2 (en) * 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
US10586456B2 (en) * 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
US10839234B2 (en) * 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935059A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 移動体上照度識別装置
JP2001357387A (ja) * 2000-06-15 2001-12-26 Hitachi Ltd 車載用画像処理カメラ装置
CN101089917A (zh) * 2007-06-01 2007-12-19 清华大学 一种目标车换道工况下的快速识别方法
WO2011114814A1 (ja) * 2010-03-17 2011-09-22 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
DE102010020688A1 (de) * 2010-05-15 2011-05-19 Daimler Ag Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
CN101894271A (zh) * 2010-07-28 2010-11-24 重庆大学 汽车偏离车道线角度和距离的视觉计算及预警方法
EP2525335A2 (en) * 2011-05-16 2012-11-21 Samsung Electronics Co., Ltd. User interface method for terminal for vehicle and apparatus thereof
KR20130120041A (ko) * 2012-04-25 2013-11-04 (주)아이머큐리 차선 검출장치 및 그 방법
WO2014007052A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車線逸脱判定装置，車線逸脱警報装置及びそれらを使った車両制御システム
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
CN104590258A (zh) * 2013-10-31 2015-05-06 富士重工业株式会社 车辆控制系统
KR101479870B1 (ko) * 2013-12-11 2015-01-09 한청훈 차선 이탈 감지 방법 및 감지 시스템
CN104129389A (zh) * 2014-08-06 2014-11-05 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置
EP3121761A1 (en) * 2015-07-20 2017-01-25 Dura Operating, LLC A system and method for verifying road position information for a motor vehicle
CN106627571A (zh) * 2015-10-30 2017-05-10 株式会社万都 车辆控制系统及其方法
KR20170055738A (ko) * 2015-11-12 2017-05-22 현대모비스 주식회사 영상 기반 주행 차로 판단 장치 및 방법
GB201706576D0 (en) * 2016-05-03 2017-06-07 Ford Global Tech Llc Enhanced vehicle operation
CN106886801A (zh) * 2017-04-14 2017-06-23 北京图森未来科技有限公司 一种图像语义分割方法及装置
CN107909047A (zh) * 2017-11-28 2018-04-13 上海信耀电子有限公司 一种汽车及其应用的车道检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Estimation of moving vehicle locations using wheel shape information in single 2-D lateral vehicle images by 3-D computer vision techniques;Tsai等;ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING;第5卷(第2期);第111-120页 *
Vision Based Lane Change Detection Using True Flow Features;ZEISLER JORAN等;2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC);第8-14页 *

Also Published As

Publication number Publication date
EP3784541A4 (en) 2022-01-19
US20230326347A1 (en) 2023-10-12
AU2019260775A1 (en) 2020-10-22
WO2019210241A1 (en) 2019-10-31
US11727811B2 (en) 2023-08-15
US10586456B2 (en) 2020-03-10
CN112020461A (zh) 2020-12-01
US20220130255A1 (en) 2022-04-28
EP3784541A1 (en) 2021-03-03
US20200175878A1 (en) 2020-06-04
US20190333389A1 (en) 2019-10-31
US11227500B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN112020461B (zh) 用于确定汽车到车道距离的系统和方法
CN107816976B (zh) 一种接近物体的位置确定方法和装置
CN113039580B (zh) 用于牵引车和拖车的车载控制系统和确定牵引车和拖车间的角度的方法
US11933617B2 (en) Systems and methods for autonomous route navigation
CN115187952A (zh) 一种车道线检测方法、装置、电子设备及存储介质
US20230259143A1 (en) Systems and methods for updating navigational maps
US11243536B2 (en) Vehicular electronic device and operation method thereof
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
US20210404839A1 (en) Systems and methods for navigational map version management
US11619950B2 (en) Systems and methods for projecting a three-dimensional (3D) surface to a two-dimensional (2D) surface for use in autonomous driving
CN114972824B (zh) 杆件检测方法、装置、车辆和存储介质
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115035357A (zh) 目标检测模型构建方法、目标检测方法、装置和计算设备
CN115205179A (zh) 图像融合的方法、装置、车辆及存储介质
CN114998885A (zh) 页面数据处理方法、装置、车辆及存储介质
CN115147794A (zh) 车道线确定方法、装置、车辆、介质及芯片
CN114822216A (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant