CN109389026A - 车道检测方法和设备 - Google Patents

车道检测方法和设备 Download PDF

Info

Publication number
CN109389026A
CN109389026A CN201810331435.2A CN201810331435A CN109389026A CN 109389026 A CN109389026 A CN 109389026A CN 201810331435 A CN201810331435 A CN 201810331435A CN 109389026 A CN109389026 A CN 109389026A
Authority
CN
China
Prior art keywords
roi
lane
image
pixel
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810331435.2A
Other languages
English (en)
Other versions
CN109389026B (zh
Inventor
张铁薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109389026A publication Critical patent/CN109389026A/zh
Application granted granted Critical
Publication of CN109389026B publication Critical patent/CN109389026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开一种车道检测方法和设备。所述车道检测设备可在通过相机获得的车辆的前视图像中设置多个感兴趣区域(ROI)；使用基于神经网络的检测器从所述多个ROI中的每个ROI估计与车道对应的车道像素；基于车道像素确定前视图像中的车道区域。

Description

车道检测方法和设备
本申请要求于2017年8月9日提交到韩国知识产权局的第10-2017-0100993号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及车道检测技术。
背景技术
在自动驾驶或自主驾驶中，各种驾驶操作可被自动执行。例如，自主驾驶的主车辆可在没有驾驶员采取行动(诸如，转动方向盘、启动加速器踏板或制动器踏板)的情况下在道路上行驶。用于自主驾驶的各种技术使用从通过车辆获得的周围图像收集的信息。使用这样的信息来识别道路车道的准确位置可导致更安全的自主驾驶。
发明内容
提供本发明内容以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在作为帮助确定要求保护的主题的范围而被使用。
在一个总体方面，提供一种车道检测方法，包括：在车辆的前视图像中设置多个感兴趣区域(ROI)；使用基于神经网络的检测器从所述多个ROI中的每个ROI估计与车道对应的车道像素；基于估计确定前视图像中的车道区域。
估计车道像素的步骤可包括：将所述多个ROI中的至少一个ROI的图像分辨率改变为较低的图像分辨率；从所述多个ROI中的具有较低的图像分辨率的至少一个ROI估计车道像素。
设置多个ROI的步骤可包括：设置包括前视图像中的道路区域的基本ROI以及包括前视图像中的道路区域的一部分的额外ROI。
额外ROI可包括远离车辆的远方道路区域。
设置多个ROI的步骤可包括：基于先前确定的车道来估计车道的消失点的位置，并基于消失点的位置来确定额外ROI的位置。
确定车道区域的步骤可包括：基于从基本ROI估计的车道像素以及从额外ROI估计的车道像素来确定车道区域。
估计车道像素的步骤可包括：将基本ROI的图像分辨率调节为与额外ROI的图像分辨率对应；使用检测器从额外ROI和具有调节的图像分辨率的基本ROI中的每一个估计车道像素。
确定车道区域的步骤可包括：基于从具有调节的图像分辨率的基本ROI估计的车道像素从具有原始图像分辨率的基本ROI确定车道像素；基于从具有原始图像分辨率的基本ROI确定的车道像素的位置以及从额外ROI确定的车道像素的位置来确定车道区域。
设置多个ROI的步骤可包括：设置包括前视图像中的道路区域的基本ROI以及基于车辆前方的道路情况的额外ROI。
设置多个ROI的步骤可包括：检测前视图像中的交叉路口、分开的道路、并入道路、收费站入口或收费站进入道路中的至少一个的存在或不存在；基于检测的结果设置额外ROI。
设置多个ROI的步骤可包括：基于车辆的位置信息和地图信息中的道路信息来检测车辆前方的交叉路口、分开的道路、并入道路、收费站入口或收费站进入道路中的至少一个的存在或不存在；基于检测的结果设置额外ROI。
估计车道像素的步骤可包括：输出指示包括在每个ROI中的每个图像像素对应于车道的概率的概率信息。
确定车道区域的步骤可包括：将针对所述多个ROI中的每个ROI确定的概率信息进行合并；基于合并的概率信息来确定前视图像中的车道区域。
多个ROI可互相重叠。
估计车道像素的步骤可包括：并行地从所述多个ROI估计车道像素。
设置多个ROI的步骤可包括：设置包括前视图像的第一部分的基本ROI以及包括与车辆远离的前视图像的第二部分的额外ROI。
设置基本ROI的步骤可包括：基于前视图像的中心点来设置基本ROI。
在另一总体方面，提供一种车道检测设备，包括：相机，被配置为捕获车辆前方的图像；处理器，被配置为在车辆的图像中设置多个感兴趣区域(ROI)；使用基于神经网络的检测器从所述多个ROI中的每个ROI估计与车道对应的车道像素；基于车道像素确定图像中的车道区域。
处理器还可被配置为：设置包括图像中的道路区域的基本ROI以及包括图像中的道路区域的一部分的额外ROI。
额外ROI可以基于车辆前方的道路情况。
处理器还可被配置为：将一个或多个ROI的图像分辨率改变为较低的图像分辨率，并且从具有较低的分辨率的所述一个或多个ROI估计车道像素。
检测器还可被配置为输出指示包括在每个ROI中的每个图像像素对应于车道的概率的概率信息，并且处理器还可被配置为将针对所述多个ROI中的每个ROI确定的概率信息进行合并，并基于合并的概率信息来确定图像中的车道区域。
在另一总体方面，提供一种车道检测设备，包括：相机，被配置为捕获车辆前方的图像；处理器，被配置为设置包括图像中的道路区域的基本ROI以及包括道路区域的一部分的至少一个额外ROI，并调节基本ROI的图像分辨率；基于神经网络的检测器，被配置为从具有调节的图像分辨率的基本ROI和所述至少一个额外ROI估计与车道对应的车道像素，处理器还被配置为基于车道像素来确定图像中的车道区域。
基本ROI的图像分辨率可被减小到所述至少一个额外ROI的图像分辨率；基于神经网络的检测器可包括并行操作的第一基于神经网络的检测器和第二基于神经网络的检测器，其中，第一基于神经网络的检测器可被配置为从基本ROI估计车道像素，并且第二基于神经网络的检测器可被配置为从所述至少一个额外ROI估计车道像素。
从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
图1是示出在车辆的前视图像中检测的车道区域的示例的示图。
图2是示出车道检测方法的示例的示图。
图3是示出估计车道像素并确定车道区域的方法的示例的示图。
图4是示出基于多个感兴趣区域(ROI)来确定车道区域的方法的示例的示图。
图5是示出设置额外ROI的方法的示例的示图。
图6A至图6D是示出设置额外ROI的方法的其他示例的示图。
图7是示出基于多个ROI来确定车道区域的方法的示例的示图。
图8是示出车道检测设备的示例的示图。
贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例绘制，并且为了清楚、说明和方便，附图中元件的相对大小、比例和描述可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在获得本申请的公开的全面理解之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不受限于在此阐述的那些顺序，而是除了必须以特定的顺序发生的操作之外，可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了更加清楚和简明，可省略在理解本申请的公开之后已知的特征的描述。
在此描述的特征可以以不同的形式来实现，而不被解释为限于在此描述的示例。相反，已经提供在此描述的示例，仅用于示出在理解本申请的公开之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些方式。
在此可使用诸如第一、第二、A、B、(a)、(b)等术语来描述组件。这些术语中的每一个不用于定义对应的组件的本质、顺序或序列，而是仅用于将对应的组件和其他组件进行区分。例如，第一组件可称为第二组件，类似地，第二组件也可称为第一组件。
应注意，如果说明书中描述了一个组件“连接”、“耦合”或“结合”到另一个组件，则虽然第一组件可直接连接、耦合、结合到第二组件，但是第三组件可“连接”、“耦合”和“结合”在第一组件与第二组件之间。此外，应注意，如果说明书中描述一个组件“直接连接”或“直接结合”到另一个组件，则在它们之间不会存在第三组件。类似地，例如“在…之间”和“直接在…之间”以及“与…相邻”和“直接与…相邻”的表达也可如上所述来解释。
在此使用的术语仅为了描述具体实施例的目的，而不意在限制。例如，除非上下文另外清楚地指示，否则如在此所使用的单数形式也意图包括复数形式。还将理解，在此针对示例或实施例使用术语“可”(例如，关于示例或实施例可包括或实现什么)表示在所有示例和实施例不限于此的同时，存在包括或实现这样的特征的至少一个示例或实施例。
在此描述的实施例可用于检测道路上的车道的自动驾驶系统或自主驾驶系统、高级驾驶员辅助系统(ADAS)、巡航控制、自适应巡航控制、车道保持辅助系统、车道偏离警告系统或者增强现实导航系统。实施例可适用于不同类型的车辆。例如，在此描述的车辆表示运输、递送或通信中的任何模式，诸如，汽车、卡车、拖拉机、滑板车、摩托车、自行车、水陆两用车辆、雪地摩托车、船、公共交通车辆、公共汽车、单轨车、火车、电车、自主驾驶车辆、无人驾驶车辆、智能车辆、无人驾驶飞行器、无人机或移动装置。
在另一示例中，在此公开的车道检测设备被包括在放置在车辆中的另一装置中。例如，在一个示例中，车道检测设备被实现或包含在各种类型的产品中，诸如，智能代理、移动电话、蜂窝电话、智能电话、可穿戴智能装置(诸如，戒指、手表、眼镜、眼镜型装置、手环、脚环、皮带、项链、耳环、头带、头盔、嵌入在衣服中的装置或者眼镜显示器(EGD))、服务器、个人计算机(PC)、膝上型计算机、笔记本电脑、小型笔记本电脑、上网本、超级移动PC(UMPC)、平板个人计算机(平板)、平板手机、移动互联网装置(MID)、个人数字助理(PDA)、企业数字助理(EDA)、数码相机、数码摄像机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、超级移动个人计算机(UMPC)、便携式膝上型PC、全球定位系统(GPS)导航、个人导航装置、便携式导航装置(PND)、手持式游戏机、电子书、高清晰度电视(HDTV)、智能电器、通信系统、图像处理系统、图形处理系统、通过网络控制的各种物联网(IoT)装置、智能车辆、智能汽车、自主驾驶车辆、其他消费电子/信息技术(CE/IT)装置或能够进行与在此公开一致的无线通信或网络通信的任何其他装置。
例如，在另一示例中，车道检测设备在车辆的外部，并且被布置在诸如计算机、服务器和移动电话的装置中，并且通过与在此公开一致的无线通信或网络通信与车辆通信。
可基于通过图像分析识别的车道来执行自主驾驶系统和ADAS中的车辆行驶控制以及增强现实导航系统中的引导路线确定，因此，识别准确的车道直接与车辆的乘客的安全相关。在一个示例中，基于通过捕获车辆前方的图像而获得的前视图像来执行这种车道识别。在一个示例中，通过在车辆中设置的相机来获得前视图像。图1中示出前视图像的示例。
图1是示出通过捕获车辆前方的图像而获得的前视图像110的示例。前视图像110包括车辆前方的道路区域的场景。在一个示例中，通过经由图像处理检测在前视图像110中具有车道像素对应于车道的相对高概率的车道像素，并将检测的车道像素拟合到特定车道模型，来确定车辆前方的车道。为了从前视图像110检测车道像素，可使用基于神经网络的检测器。在此使用的检测器指的是被训练为从输入图像检测与车道对应的车道像素的模型。检测器可以基于包括多层的神经网络，并且可基于训练数据(例如，在各种情况下获得的前视图像)来执行检测器的训练处理。
使用这样的基于神经网络的检测器，可从前视图像110准确地检测车道像素。由于与在前视图像110中指示的整个道路情况相关联的信息被输入到检测器，因此，检测器可鲁棒性地针对各种道路情况检测车道像素。如图所示，通过检测器获得检测车道像素130的结果120。在一个示例中，检测器输出指示包括在前视图像110中的每个图像像素对应于车道的概率的概率信息。在一个示例中，基于概率信息中的概率值来检测车道像素130。例如，当在前视图像110的图像像素之中一些图像像素具有大于阈值的概率值时，所述一些图像像素可被确定为车道像素。
随着相机性能提高，前视图像的图像分辨率相应提高。随着前视图像的图像分辨率提高，前视图像包括更多数量的图像像素，并且当使用前视图像时，基于检测器的整个处理速度会降低。为了提高处理速度，可减小前视图像的图像分辨率或大小，然后可使用检测器来检测车道像素。参照图1，当前视图像110的图像分辨率降低时，前视图像110的远离图像传感器的道路区域115的图像分辨率会降低。因此，可能无法从与远方道路区域115对应的区域125准确地检测车道像素。因此，尽管前视图像110的图像分辨率被降低以提高处理速度，但是为了更准确的车道识别，会需要从远方道路区域115准确并精细地检测车道。
虽然通过降低前视图像的图像分辨率来执行处理，但是在下文中将描述的车道检测设备和方法除了从近处道路区域准确检测车道之外，还能够从远方道路区域准确检测车道。车道检测设备基于通过在车辆中设置的传感器(诸如，相机)获得的车辆的前视图像来识别车道，并估计下一车道。车道检测设备可在前视图像中设置多个感兴趣区域(ROI)，并且基于设置的ROI通过检测器来检测车道像素。例如，车道检测设备可设置指示前视图像中的整个道路情况的ROI以及指示前视图像中的远方道路区域的ROI，然后从每个ROI检测车道像素。在此使用的ROI表示作为用于车道检测的前视图像中的目标的局部区域。车道检测设备可将从多个ROI检测的车道像素的结果进行合并，并确定检测车道像素的最终结果。车道检测设备可通过降低指示整个道路情况的ROI的图像分辨率并保持远方道路区域的原始图像分辨率来提高处理速度。因此，车道检测设备更准确地检测包括在远方道路区域中的车道像素。
图2是示出车道检测方法的示例的示图。虽然可以以所示的顺序和方式来执行图2中的操作，但是在不脱离所描述的说明性示例的精神和范围的情况下，一些操作的顺序可被改变或者一些操作可被省略。图2中所示的许多操作可并行地或同时执行。图2的一个或多个块以及块的组合可由执行特定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了下面图2的描述之外，图1的描述也适用于图2，并通过引用包含于此。因此，这里可不重复上面的描述。
参照图2，在操作210中，车道检测设备在车辆的前视图像中设置多个ROI。多个ROI可互相重叠。在车辆中设置的图像传感器(诸如，相机)可捕获车辆前方的图像以在车辆行驶时获得前视图像。在此使用的前视图像可以是彩色图像。然而，例如，在不脱离所描述的说明性示例的精神和范围的情况下，可使用其他类型的前视图像(诸如，灰度图像和红外图像)。在一个示例中，车道检测设备从通过相机获得的前视图像设置检测车道所需要的ROI。
在一个示例中，车道检测设备设置包括位于与车辆较近距离的道路区域以及位于与车辆较远距离的道路区域的基本ROI。在另一示例中，车道检测设备设置包括整个道路区域的基本ROI，并设置包括远方道路区域的额外ROI，其中，额外ROI作为位于与车辆较远距离的道路上的区域。在一个示例中，前视图像的整个区域或基于前视图像的中心点预设的范围内的区域可被设置为基本ROI。此外，对于额外ROI，可基于先前确定的车道来估计消失点的位置，并且可基于估计的消失点的位置来确定额外ROI的位置。在一个示例中，可根据前视图像中的车道数量和每个车道的宽度来改变额外ROI的大小。在一个示例中，当车道的数量增加或者每个车道的宽度增加时，额外ROI的大小也会增加。在此使用的额外ROI表示被设置为更准确地检测位于与车辆较远距离的远方车道的区域。将在前视图像中设置的ROI的数量不受限制，并且在另一示例中，可在前视图像中设置三个ROI。例如，除了基本ROI和额外ROI之外，可设置包括位于与车辆较远距离或中间距离的道路区域的ROI。
在另一示例中，车道检测设备设置包括前视图像中的整个道路区域的基本ROI以及基于车辆前方的道路情况的额外ROI。车道检测设备基于在前视图像中指示的特定道路情况来设置额外ROI。例如，车道检测设备可检测前视图像中的改变道路格局(例如，交叉路口、分开的道路、并入道路、收费站入口或收费站进入道路)的存在或不存在，并基于检测的道路格局的改变来设置额外ROI。在另一示例中，车道检测设备可基于车辆的位置信息和地图信息中的道路信息来检测车辆前方改变道路格局的存在或不存在，并且基于检测的结果来设置额外ROI。在一个示例中，额外ROI是车道被准确地检测以确定车辆的未来行驶方向、追踪其他车辆或为车道快速改变的情况准备所需要的区域。例如，可通过基于神经网络的识别器来识别特定道路情况，其中，基于神经网络的识别器被训练为从输入图像识别这种道路情况。
根据示例，可将包括远方道路区域的额外ROI以及指示前视图像中的特定道路情况的额外ROI一起设置。车道被准确地检测所需要的所有区域可以是将被设置为额外ROI的目标。
在操作220中，车道检测设备使用基于神经网络的检测器从多个ROI中的每个ROI估计与车道对应的车道像素。检测器可基于ROI的像素值信息从输入ROI检测车道像素。检测器可输出指示包括在ROI中的每个图像像素对应于车道像素的概率的概率信息。例如，检测器可将概率值0分配给在ROI中未被确定为车道的图像像素，并且将概率值1分配给在ROI中被确定为车道的图像像素。此外，检测器可将大于0且小于1的值的范围内的概率值分配给未被确定为车道但被估计为车道的图像像素。检测器可基于这样的估计来分配概率值。
在一个示例中，车道检测设备将至少一个ROI的图像分辨率改变为低于原始图像分辨率的图像分辨率，并从具有较低图像分辨率的至少一个ROI估计车道像素。在一个示例中，车道检测设备可将包括整个道路区域的基本ROI的图像分辨率改变为较低图像分辨率，并且从具有较低图像分辨率的基本ROI估计车道像素。针对需要更准确的车道检测的额外ROI，车道检测设备从没有改变图像分辨率的额外ROI估计车道像素。基本ROI包括整个道路区域，因此，基本ROI的图像分辨率可能通常高于包括局部道路区域的额外ROI的图像分辨率。例如，车道检测设备可将基本ROI的图像分辨率降低到额外ROI的图像分辨率，并估计车道像素。通过这样的操作，可针对整个道路区域实现车道像素的更快检测，并且可针对需要准确车道检测的局部道路区域实现车道像素的更详细和准确的检测。将参照图3进行更详细的描述。
在操作230中，车道检测设备基于在操作220中估计的车道像素来确定前视图像中的车道区域。在一个示例中，车道区域对应于一组车道像素。车道检测设备将包括通过检测器确定的基本ROI和额外ROI的多个ROI中的每一个的概率信息(例如，指示图像像素对应于车道像素的概率的信息)进行合并，并基于合并的概率信息来确定前视图像中的车道区域。概率信息的合并包括：通过将由检测器估计的额外ROI的概率信息和基本ROI的概率信息进行合并，来更新概率信息。车道检测设备基于合并概率信息的结果将具有大于阈值的概率值的图像像素确定为车道像素，并基于确定的车道像素来确定前视图像中的车道区域。通过这样的操作，可从前视图像快速并准确地检测车道，并且除了位于与车辆较近距离的近处车道之外，位于与车辆较远距离的远方车道也可被准确检测。在一个示例中，可基于确定的车道区域来执行拟合车辆前方的车道，然后，可基于车道拟合的结果来控制车辆的自主驾驶。
图3是示出估计车道像素并确定车道区域的方法的示例的示图。虽然可以以所示的顺序和方式来执行图3中的操作，但是在不脱离所描述的说明性示例的精神和范围的情况下，一些操作的顺序可被改变或者一些操作可被省略。图3中所示的许多操作可并行地或同时执行。图3的一个或多个块以及块的组合可由执行特定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了下面图3的描述之外，图1和图2的描述也适用于图3，并通过引用包含于此。因此，这里可不重复上面的描述。
参照图3，在操作310中，车道检测设备调节在图2的操作210中设置的多个ROI之中的至少一个ROI的图像分辨率。为了便于描述，假设在车辆的前视图像中设置包括位于与车辆较近距离的道路区域和位于与车辆较远距离的远方道路区域的基本ROI以及具有小于基本ROI的图像分辨率的额外ROI。基本ROI指示整个道路区域，并且额外ROI指示准确车道检测所需要的远方道路区域。在一个示例中，额外ROI是基本ROI的部分。车道检测设备将基本ROI的相对高的图像分辨率降低到额外ROI的图像分辨率。通过降低图像分辨率，处理时间也可被减小。
在操作320中，车道检测设备使用基于神经网络的检测器从多个ROI中的每个ROI估计车道像素。在一个示例中，多个检测器被用于从多个ROI中的每个ROI并行地提取车道像素。多个检测器可以是彼此可区分的单独的检测器。在另一示例中，可使用神经网络结构的统一检测器。在检测器中，可将多个ROI中的每个ROI的图像信息(例如，像素值)输入到不同的输入层，可共享中间层，并且可通过不同的输出层输出估计ROI的车道像素的结果。在另一示例中，可按顺序将多个ROI输入到单个检测器，并且可按顺序针对多个ROI估计车道像素。车道检测设备从具有通过检测器调节的图像分辨率的基本ROI(在下文中称为低分辨率基本ROI)估计车道像素并且从额外ROI估计车道像素。检测器输出指示包括在低分辨率基本ROI和额外ROI中的每个图像像素对应于车道像素的概率的概率信息。
在操作330中，车道检测设备基于从低分辨率基本ROI估计的车道像素从具有原始图像分辨率的基本ROI确定车道像素。车道检测设备基于与低分辨率基本ROI中的车道像素相关联的概率信息来估计与具有原始图像分辨率的基本ROI中的车道像素相关联的概率信息，并且基于与具有原始图像分辨率的基本ROI相关联的概率信息来确定车道像素。在一个示例中，诸如内插的图像处理方法可用于将低分辨率基本ROI恢复到具有原始图像分辨率的基本ROI。
在操作340中，车道检测设备基于在操作320中的估计的结果从额外ROI确定车道像素，并基于从具有原始图像分辨率的基本ROI确定的车道像素的位置以及从额外ROI确定的车道像素的位置来确定前视图像中的车道区域。
图4示出基于多个ROI来确定车道区域的方法的示例的示图。
参照图4，前视图像405表示通过在车辆中设置的相机获得的车辆前方的示图。车道检测设备在前视图像405中设置多个ROI，例如，多个ROI包括指示整个道路区域的基本ROI 415和指示远方道路区域的额外ROI 410。额外ROI 410表示准确的车道检测所需要的区域。为了快速处理，车道检测设备降低基本ROI 415的图像分辨率。在一个示例中，通过执行图像处理(例如，通过从前视图像405裁剪额外ROI 410)来提取额外ROI 410，并且可通过图像处理(例如，裁剪和下采样)来提取具有低分辨率的基本ROI 415。例如，在前视图像405的图像分辨率为1920×1200，并且额外ROI的图像分辨率为768×480的情况下，基本ROI415的图像分辨率被调节到768×480，从而获得低分辨率基本ROI 420。
低分辨率基本ROI 420的像素值信息被输入到第一检测器425，并且额外ROI 410的像素值信息被输入到第二检测器430。第一检测器425从低分辨率基本ROI 420估计车道像素，并且第二检测器430从额外ROI 410估计车道像素。可通过第一检测器425和第二检测器430来并行地执行这样的车道像素的估计。
车道检测设备将从自第一检测器425输出的低分辨率基本ROI 420进行的车道估计的结果435恢复到与基本ROI 415的图像分辨率对应的原始图像分辨率。车道检测设备将从具有恢复的原始图像分辨率的基本ROI进行的车道估计的结果445与从额外ROI 410进行的车道估计的结果440进行合并以获得最终估计结果450，其中，从第二检测器430输出从额外ROI 410进行的车道估计的结果440。车道检测设备基于最终估计结果450中的车道像素的位置来确定前视图像405中的车道区域。因此，减小处理时间并且从远方道路区域更准确地检测车道，从而可针对远离车辆的车道实现车道拟合。
尽管作为说明性示例描述了将基本ROI 415的图像分辨率降低为与额外ROI 410的图像分辨率相同，但是示例不限于此，因此，基本ROI 415的图像分辨率可被调节为与额外ROI 410的图像分辨率不同。在另一示例中，除了基本ROI 415的图像分辨率之外，额外ROI 410的图像分辨率也可被调节为更低的图像分辨率。
图5示出设置额外ROI的方法的示例的示图。
参照图5，车道检测设备基于先前确定的车道520和530来估计消失点540的位置，并且将在以估计的消失点540的位置为中心的范围内的区域设置为额外ROI 550。基于根据先前的前视图像执行的车道拟合的结果，来估计当前的前视图像510中的消失点540的位置。响应于前视图像510中的车道数量增加或者前视图像510中的每个车道的宽度增加，额外ROI 550的宽度可增加。通过这样的操作，包括远方道路区域的额外ROI(例如，所示出的额外ROI 550)可被设置。
除了上面参照图5描述的远方道路区域之外，还可基于车辆前方的道路情况不同地设置准确的车道检测所需要的额外ROI。图6A至图6D是示出在各种道路情况下设置额外ROI的方法的示例的示图。
参照图6A，在前视图像610中，在分开的道路情况下包括分开的道路上的道路区域的额外ROI 612和额外ROI 614与包括整个道路区域的基本ROI 616一起被设置。参照图6B，在前视图像620中，在交叉路口情况下，包括交叉路口处的道路区域的额外ROI 624和额外ROI 626与基本ROI 622一起被设置。参照图6C，在前视图像630中，包括收费站周围的道路区域的额外ROI 634与基本ROI 632一起被设置。参照图6D，在前视图像640中，在并入道路情况下，包括并入道路上的道路区域的额外ROI 644与基本ROI 642一起被设置。图6A至图6D中所示的设置的额外区域是在各种道路情况下准确地检测车道所需要的ROI。额外ROI的位置可基于检测各个前视图像中的分开的道路、交叉路口、收费站和并入道路的结果。在其他示例中，可基于车辆的位置信息和地图信息中的道路信息来确定位置。
图7是示出基于多个ROI来确定车道区域的方法的示例的示图。
参照图7，在前视图像610中，准确的车道检测所需要的额外ROI 612、614和618与基本ROI 616一起被设置。车道检测设备从前视图像610提取基本ROI 616以及额外ROI612、614和618中的每一个，并且调节基本ROI 616以及额外ROI 612、614和618中的至少一个的图像分辨率。例如，车道检测设备可将基本ROI 616以及额外ROI 612、614和618的图像分辨率调节为彼此相同。在这样的示例中，基本ROI 616以及额外ROI 612和614的图像分辨率可被降低到图像分辨率之中的最低图像分辨率的额外ROI 618的图像分辨率。
通过调节图像分辨率获得的基本ROI 716以及额外ROI 718、714和712中的每一个的像素值信息被分别输入到第一检测器726、第二检测器728、第三检测器724和第四检测器722。在一个示例中，第一检测器726、第二检测器728、第三检测器724和第四检测器722为统一的单个检测器720。通过第一检测器726、第二检测器728、第三检测器724和第四检测器722，可从基本ROI 716以及额外ROI 718、714和712并行地估计车道像素。分别通过第一检测器726、第二检测器728、第三检测器724和第四检测器722输出的估计车道像素736、738、734和732的结果被恢复为具有基本ROI 616和额外ROI 618、614和612的各自的原始图像分辨率。通过恢复获得的各个结果746、748、744和742被合并为最终的车道检测结果图像740。
图8是示出车道检测设备的示例的示图。
参照图8，车道检测设备800识别通过捕获车辆前方的图像而获得的前视图像中的车道。车道检测设备800基于多个ROI来检测前视图像中的车道。车道检测设备800可对应于上述的车道检测设备，并且可包括在车辆中。在一个示例中，车道检测设备800可包括在自主车辆中，自主车辆基于识别的自主车辆当前正行驶的行驶环境以自主模式行驶。自主车辆可识别行驶环境，并且确定适于行驶环境的自主驾驶路径。自主车辆可控制自主车辆的内部和外部元件，以沿着所确定的自主驾驶路径行驶。与通过车道检测设备800检测的车道相关联的信息可通过车道拟合来用于控制自主车辆的行驶。
如图8中所示，车道检测设备800包括相机810、传感器820、通信接口830、处理器840和存储器850。相机810通过捕获车辆前方的图像来获得前视图像。前视图像可以是静止图像或视频图像。例如，传感器820包括被配置为感测用于车道检测的信息的至少一个传感器(诸如，被配置为感测车辆的位置信息的全球定位系统(GPS)传感器以及用于测量距对象的距离的光检测和测距(LiDAR)和无线电探测和测距(RaDAR))。然而，传感器820的示例不限于前面描述的示例传感器，并且在不脱离描述的说明性示例的精神和范围的情况下，其他传感器可被使用。
处理器840实现将在车道检测设备800中执行的功能和指令。处理器840处理存储在存储器850或附加存储器(未示出)中的指令或程序执行代码。处理器840可以是通过包括用于执行期望的操作的物理结构的电路的硬件实现的数据处理装置。下面提供处理器840的进一步细节。
处理器840可执行参照图1至图7描述的一个或多个操作或者全部操作。在一个示例中，处理器840在车辆的前视图像中设置多个ROI，并且使用基于神经网络的检测器从多个ROI中的每个ROI估计与车道对应的车道像素。在一个示例中，处理器840在前视图像中设置包括整个道路区域的基本ROI以及包括局部道路区域的至少一个额外ROI。当准确的车道检测被期望时，额外ROI被设置，并且被设置为包括例如远方道路区域，或者额外ROI基于车辆前方的道路情况(例如，交叉路口、进入道路和并入道路的存在或不存在)被设置。处理器840将基本ROI的图像分辨率调节为低分辨率，并且从具有低分辨率的基本ROI和具有相对高分辨率的额外ROI检测车道。因此，处理器840可更快速并准确地确定前视图像中的车道区域。可基于估计的结果在前视图像中确定车道区域。
存储器850存储将用于执行车道检测的信息。存储器850存储将通过处理器840实现的指令以及车道检测所需的信息或与车道检测的结果相关联的信息。此外，存储器850存储与在此描述的检测器和识别器相关联的信息。下面提供存储器850的进一步细节。
通信接口830连接到相机810、传感器820、处理器840以及存储器850以发送和接收数据。此外，通信接口830通过有线或无线网络与外部装置通信。例如，通信接口830包括内部总线、以太网卡、光收发器、射频收发器以及被配置为发送和接收信息的其他网络接口。在一个示例中，通信结构830包括显示器。在一个示例中，显示器是包括提供用于渲染用户接口和/或接收用户输入的能力的一个或多个硬件组件的物理结构。显示器可包含显示区域、手势捕获区域、触敏显示器和/或可配置区域中的任何组合。在一个示例中，显示器可嵌入在通信接口830中。在一个示例中，显示器是可附连到通信接口830并可从通信接口830分离的外部外围装置。显示器可以是单屏幕显示器或多屏幕显示器。单个物理屏幕可包括多个显示器，虽然所述多个显示器是同一物理屏幕的部分，但是它们被管理为允许不同的内容被显示在单独的显示器上的单独的逻辑显示器。显示器还可被实现为包括单眼眼镜或双眼眼镜的眼镜显示器(EGD)。在一个示例中，显示器是平视显示器(HUD)或车载信息娱乐系统。在另一示例中，处理器840在显示器上输出确定的车道。在另一示例中，处理器840通过音频信号输出确定的车道。
通过硬件组件来实现执行本申请中描述的操作的图4和图7至图8中示出的第一检测器425、第二检测器430、第一检测器726、第二检测器728、第三检测器724、第四检测器722、统一单个检测器720和其他设备、单元、模块、装置以及组件，所述硬件组件被配置为执行在本申请中描述的通过硬件组件执行的操作。可用于执行本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或者被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(OS)以及在OS上运行的一个或多个软件应用)，以执行本申请中描述的操作。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但是在其他示例中，多个处理器或计算机可被使用，或者一个处理器或一个计算机包括多个处理元件或多种类型的处理元件或者两者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器或者另一处理器和另一控制器来实现。一个或多个处理器或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件具有任意一个或多个不同的处理配置，其示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
通过计算硬件(例如，通过被实现为如上所述地执行指令或软件以执行本申请中描述的由方法执行的操作的一个或多个处理器或者计算机)来执行图2和图3所示的执行本申请中描述的操作的方法。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，一个或多个其他操作可通过一个或多个其他处理器或者另一处理器和另一控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并且执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或者配置一个或多个处理器或计算机作为用于执行由硬件组件执行的操作和如上所述的方法的机器或专用计算机进行操作。在一个示例中，指令或软件包括：小应用程序、动态链接库(DLL)、中间件、固件、装置驱动器、存储防止冲突的方法的应用程序中的至少一个。在一个示例中，指令或软件包括由一个或多个处理器或者计算机直接执行的机器代码(诸如，由编译器生成的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中所示的框图和流程图以及说明书(其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法)中的相应描述，使用任意编程语言来编写指令或软件。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并且执行如上所述的方法的指令或软件以及任何关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储、硬盘驱动器(HDD)、固态驱动器(SSD)、诸如微型多媒体卡或卡(例如，安全数字(SD)或极速卡(XD))的卡型存储器、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，其中，所述任何其他装置被配置为：以非暂时性方式存储指令或软件以及任何关联的数据、数据文件和数据结构，并将指令或软件以及任何关联的数据、数据文件和数据结构提供给处理器或者计算机，使得处理器或者计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或者计算机以分布式方式被存储、访问和执行。
虽然本公开包括特定的示例，但是在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中做出形式上和细节上的各种改变，这在彻底理解本申请的公开之后将是清楚的。在此描述的示例将被认为仅是描述性的，而不是为了限制的目的。每一示例中的特征或方面的描述将被认为可适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同方式被组合，和/或被其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。

Claims (25)

1.一种车道检测方法，包括：
在车辆的前视图像中设置多个感兴趣区域ROI；
使用基于神经网络的检测器从所述多个ROI中的每个ROI估计与车道对应的车道像素；
基于估计确定前视图像中的车道区域。
2.根据权利要求1所述的车道检测方法，其中，估计车道像素的步骤包括：
将所述多个ROI中的至少一个ROI的图像分辨率改变为较低的图像分辨率；
从所述多个ROI中的具有较低的图像分辨率的至少一个ROI估计车道像素。
3.根据权利要求1所述的车道检测方法，其中，设置多个ROI的步骤包括：
设置包括前视图像中的道路区域的基本ROI以及包括前视图像中的道路区域的一部分的额外ROI。
4.根据权利要求3所述的车道检测方法，其中，额外ROI包括远离车辆的远方道路区域。
5.根据权利要求3所述的车道检测方法，其中，设置多个ROI的步骤还包括：
基于先前确定的车道来估计车道的消失点的位置，并基于消失点的位置来确定额外ROI的位置。
6.根据权利要求3所述的车道检测方法，其中，确定车道区域的步骤包括：
基于从基本ROI估计的车道像素以及从额外ROI估计的车道像素来确定车道区域。
7.根据权利要求3所述的车道检测方法，其中，估计车道像素的步骤包括：
将基本ROI的图像分辨率调节为与额外ROI的图像分辨率对应；
使用检测器从额外ROI和具有调节的图像分辨率的基本ROI中的每一个估计车道像素。
8.根据权利要求7所述的车道检测方法，其中，确定车道区域的步骤包括：
基于从具有调节的图像分辨率的基本ROI估计的车道像素从具有原始图像分辨率的基本ROI确定车道像素；
基于从具有原始图像分辨率的基本ROI确定的车道像素的位置以及从额外ROI确定的车道像素的位置来确定车道区域。
9.根据权利要求1所述的车道检测方法，其中，设置多个ROI的步骤包括：
设置包括前视图像中的道路区域的基本ROI以及基于车辆前方的道路情况的额外ROI。
10.根据权利要求9所述的车道检测方法，其中，设置多个ROI的步骤还包括：
检测前视图像中的交叉路口、分开的道路、并入的道路、收费站入口或收费站进入道路中的至少一个的存在或不存在；
基于检测的结果设置额外ROI。
11.根据权利要求9所述的车道检测方法，其中，设置多个ROI的步骤包括：
基于车辆的位置信息和地图信息中的道路信息来检测车辆前方的交叉路口、分开的道路、并入的道路、收费站入口或收费站进入道路中的至少一个的存在或不存在；
基于检测的结果设置额外ROI。
12.根据权利要求1所述的车道检测方法，其中，估计车道像素的步骤包括：输出指示包括在每个ROI中的每个图像像素对应于车道的概率的概率信息。
13.根据权利要求12所述的车道检测方法，其中，确定车道区域的步骤包括：
将针对所述多个ROI中的每个ROI确定的概率信息进行合并；
基于合并的概率信息来确定前视图像中的车道区域。
14.根据权利要求1所述的车道检测方法，其中，多个ROI互相重叠。
15.根据权利要求1所述的车道检测方法，其中，估计车道像素的步骤包括：
并行地从所述多个ROI估计车道像素。
16.根据权利要求1所述的车道检测方法，其中，设置多个ROI的步骤包括：
设置包括前视图像的第一部分的基本ROI以及包括与车辆远离的前视图像的第二部分的额外ROI。
17.根据权利要求3所述的车道检测方法，其中，设置基本ROI的步骤包括：基于前视图像的中心点来设置基本ROI。
18.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时使得处理器执行权利要求1的车道检测方法。
19.一种车道检测设备，包括：
相机，被配置为捕获车辆前方的图像；
处理器，被配置为：
在车辆的图像中设置多个感兴趣区域ROI；
使用基于神经网络的检测器从所述多个ROI中的每个ROI估计与车道对应的车道像素；
基于车道像素确定图像中的车道区域。
20.根据权利要求19所述的车道检测设备，其中，处理器还被配置为：设置包括图像中的道路区域的基本ROI以及包括图像中的道路区域的一部分的额外ROI。
21.根据权利要求20所述的车道检测设备，其中，额外ROI基于车辆前方的道路情况。
22.根据权利要求19所述的车道检测设备，其中，处理器还被配置为：将一个或多个ROI的图像分辨率改变为较低的图像分辨率，并且从具有较低的分辨率的所述一个或多个ROI估计车道像素。
23.根据权利要求19所述的车道检测设备，其中，检测器还被配置为：输出指示包括在每个ROI中的每个图像像素对应于车道的概率的概率信息，
处理器还被配置为：将针对所述多个ROI中的每个ROI确定的概率信息进行合并，并基于合并的概率信息来确定图像中的车道区域。
24.一种车道检测设备，包括：
相机，被配置为捕获车辆前方的图像；
处理器，被配置为：
设置包括图像中的道路区域的基本ROI以及包括道路区域的一部分的至少一个额外ROI，
调节基本ROI的图像分辨率；
基于神经网络的检测器，被配置为从具有调节的图像分辨率的基本ROI和所述至少一个额外ROI估计与车道对应的车道像素，
处理器还被配置为：基于车道像素来确定图像中的车道区域。
25.根据权利要求24所述的车道检测设备，其中：
基本ROI的图像分辨率被减小到所述至少一个额外ROI的图像分辨率；
基于神经网络的检测器包括并行操作的第一基于神经网络的检测器以及第二基于神经网络的检测器，
其中，第一基于神经网络的检测器被配置为从基本ROI估计车道像素，并且第二基于神经网络的检测器被配置为从所述至少一个额外ROI估计车道像素。
CN201810331435.2A 2017-08-09 2018-04-13 车道检测方法和设备 Active CN109389026B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170100993A KR102499398B1 (ko) 2017-08-09 2017-08-09 차선 검출 방법 및 장치
KR10-2017-0100993 2017-08-09

Publications (2)

Publication Number Publication Date
CN109389026A true CN109389026A (zh) 2019-02-26
CN109389026B CN109389026B (zh) 2023-10-17

Family

ID=62063300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810331435.2A Active CN109389026B (zh) 2017-08-09 2018-04-13 车道检测方法和设备

Country Status (4)

Country Link
US (1) US10650529B2 (zh)
EP (1) EP3441909B1 (zh)
KR (1) KR102499398B1 (zh)
CN (1) CN109389026B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595499A (zh) * 2019-09-26 2019-12-20 北京四维图新科技股份有限公司 变道提醒方法、装置和系统
CN110796084A (zh) * 2019-10-29 2020-02-14 华人运通(上海)自动驾驶科技有限公司 车道线识别方法、装置、设备和计算机可读存储介质
CN112488046A (zh) * 2020-12-15 2021-03-12 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法
CN112560561A (zh) * 2019-09-26 2021-03-26 北京地平线机器人技术研发有限公司 一种目标检测方法及装置
CN113924593A (zh) * 2019-09-27 2022-01-11 通用汽车巡航控股有限责任公司 车辆感知系统分辨率和感兴趣区的基于意图的动态改变

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US20220148283A1 (en) * 2019-03-28 2022-05-12 Sony Group Corporation Information processing apparatus, information processing method, and program
US11263467B2 (en) * 2019-05-15 2022-03-01 Apical Limited Image processing
US11713978B2 (en) 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
CN110580681B (zh) * 2019-09-12 2020-11-24 杭州海睿博研科技有限公司 高分辨率心机运动模式分析装置和方法
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
US11487122B1 (en) * 2020-10-30 2022-11-01 Michael Ross Boone Human-powered advanced rider assistance system
CN112784817B (zh) * 2021-02-26 2023-01-31 上海商汤科技开发有限公司 车辆所在车道检测方法、装置、设备及存储介质

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1188296A (zh) * 1996-11-04 1998-07-22 三星电子株式会社 组合数字地图形状数据时处理名称的方法
JP2007114839A (ja) * 2005-10-18 2007-05-10 Toyota Motor Corp 道路区画線検出装置
JP2007334450A (ja) * 2006-06-12 2007-12-27 Toyota Motor Corp 車両用道路区画線認識装置、及び、車両用制御装置
US20080199050A1 (en) * 2007-02-16 2008-08-21 Omron Corporation Detection device, method and program thereof
JP2009029171A (ja) * 2007-07-24 2009-02-12 Nec Electronics Corp 車両用画像処理装置
JP2009069119A (ja) * 2007-09-18 2009-04-02 Mazda Motor Corp 車両用路面状態推定装置
KR20090055848A (ko) * 2007-11-29 2009-06-03 한국전자통신연구원 신호등 인식 장치 및 방법
US20090167864A1 (en) * 2005-12-28 2009-07-02 Honda Motor Co., Ltd. Vehicle and Lane Mark Detection Device
US20090316956A1 (en) * 2008-06-23 2009-12-24 Hitachi, Ltd. Image Processing Apparatus
CN102136196A (zh) * 2011-03-10 2011-07-27 北京大学深圳研究生院 一种基于图像特征的车辆测速方法
US20110222770A1 (en) * 2010-03-09 2011-09-15 The Hong Kong University Of Science And Technology Subpixel-based image down-sampling
JP2012252501A (ja) * 2011-06-02 2012-12-20 Toyota Central R&D Labs Inc 走行路認識装置及び走行路認識用プログラム
CN102907091A (zh) * 2010-06-03 2013-01-30 微软公司 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
CN103366156A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
JP2013250874A (ja) * 2012-06-01 2013-12-12 Nippon Soken Inc 車線境界線検出装置およびプログラム
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
CN104954664A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN104954663A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
KR101558756B1 (ko) * 2014-04-10 2015-10-07 현대자동차주식회사 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
US20150367781A1 (en) * 2014-06-24 2015-12-24 Toyota Jidosha Kabushiki Kaisha Lane boundary estimation device and lane boundary estimation method
JP2016029553A (ja) * 2014-07-23 2016-03-03 株式会社日本自動車部品総合研究所 走行区画線認識装置、走行区画線認識プログラム
CN105631217A (zh) * 2015-12-30 2016-06-01 苏州安智汽车零部件有限公司 基于本车自适应虚拟车道的前方有效目标选择系统及方法
KR20160089786A (ko) * 2015-01-20 2016-07-28 재단법인 경북아이티융합 산업기술원 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템
CN106326822A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 车道线检测的方法及装置
CN106462727A (zh) * 2014-01-30 2017-02-22 移动眼视力科技有限公司 用于车道尽头识别的系统和方法
KR20170064880A (ko) * 2015-12-02 2017-06-12 엘지전자 주식회사 차량 내 영상기록장치 및 그것의 제어 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441535B2 (en) 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
KR101225626B1 (ko) 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
US9751529B2 (en) 2011-06-09 2017-09-05 GM Global Technology Operations LLC Lane sensing through lane marker identification for lane centering/keeping
KR101392850B1 (ko) 2012-04-04 2014-05-09 모본주식회사 영상인식 기반의 차선 이탈 감지 방법 및 시스템
KR101366871B1 (ko) 2012-05-16 2014-02-24 (주)베라시스 관심영역 분할을 통한 곡선차선 검출장치 및 그 방법
KR101362324B1 (ko) 2012-06-05 2014-02-24 현대모비스 주식회사 차선 이탈 경보 시스템 및 방법
KR101472787B1 (ko) 2013-05-22 2014-12-15 숭실대학교산학협력단 차선 인식 시스템 및 그 방법
KR102125525B1 (ko) * 2013-11-20 2020-06-23 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
JP6548376B2 (ja) 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10262213B2 (en) 2014-12-16 2019-04-16 Here Global B.V. Learning lanes from vehicle probes
KR101692628B1 (ko) 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
JP6567832B2 (ja) 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US9286524B1 (en) 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
JP6512920B2 (ja) 2015-04-21 2019-05-15 本田技研工業株式会社 レーン検出装置及びその方法、並びにレーン表示装置及びその方法
WO2016183074A1 (en) 2015-05-10 2016-11-17 Mobileye Vision Technologies Ltd. Road profile along a predicted path
KR101677972B1 (ko) 2016-07-26 2016-11-21 주식회사 싸인텔레콤 촬영영역줌카메라모듈·다차선 촬영영역 생성모듈로 이루어진 스마트 다차선 차량 번호인식 장치 및 방법

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1188296A (zh) * 1996-11-04 1998-07-22 三星电子株式会社 组合数字地图形状数据时处理名称的方法
JP2007114839A (ja) * 2005-10-18 2007-05-10 Toyota Motor Corp 道路区画線検出装置
US20090167864A1 (en) * 2005-12-28 2009-07-02 Honda Motor Co., Ltd. Vehicle and Lane Mark Detection Device
JP2007334450A (ja) * 2006-06-12 2007-12-27 Toyota Motor Corp 車両用道路区画線認識装置、及び、車両用制御装置
US20080199050A1 (en) * 2007-02-16 2008-08-21 Omron Corporation Detection device, method and program thereof
JP2009029171A (ja) * 2007-07-24 2009-02-12 Nec Electronics Corp 車両用画像処理装置
JP2009069119A (ja) * 2007-09-18 2009-04-02 Mazda Motor Corp 車両用路面状態推定装置
KR20090055848A (ko) * 2007-11-29 2009-06-03 한국전자통신연구원 신호등 인식 장치 및 방법
US20090316956A1 (en) * 2008-06-23 2009-12-24 Hitachi, Ltd. Image Processing Apparatus
US20110222770A1 (en) * 2010-03-09 2011-09-15 The Hong Kong University Of Science And Technology Subpixel-based image down-sampling
CN102907091A (zh) * 2010-06-03 2013-01-30 微软公司 用于交通摄影机的具有额外的视点和增强的分辨率的仿真视频
CN102136196A (zh) * 2011-03-10 2011-07-27 北京大学深圳研究生院 一种基于图像特征的车辆测速方法
JP2012252501A (ja) * 2011-06-02 2012-12-20 Toyota Central R&D Labs Inc 走行路認識装置及び走行路認識用プログラム
CN103366156A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 道路结构检测和跟踪
JP2013250874A (ja) * 2012-06-01 2013-12-12 Nippon Soken Inc 車線境界線検出装置およびプログラム
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
CN106462727A (zh) * 2014-01-30 2017-02-22 移动眼视力科技有限公司 用于车道尽头识别的系统和方法
CN104954664A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN104954663A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
KR101558756B1 (ko) * 2014-04-10 2015-10-07 현대자동차주식회사 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치
US20150367781A1 (en) * 2014-06-24 2015-12-24 Toyota Jidosha Kabushiki Kaisha Lane boundary estimation device and lane boundary estimation method
JP2016029553A (ja) * 2014-07-23 2016-03-03 株式会社日本自動車部品総合研究所 走行区画線認識装置、走行区画線認識プログラム
KR20160089786A (ko) * 2015-01-20 2016-07-28 재단법인 경북아이티융합 산업기술원 저조도 환경에서의 개선된 영상 취득이 가능한 카메라를 이용한 차선이탈 및 전방차량추돌 통합 경고 시스템
CN106326822A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 车道线检测的方法及装置
CN105046235A (zh) * 2015-08-03 2015-11-11 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
KR20170064880A (ko) * 2015-12-02 2017-06-12 엘지전자 주식회사 차량 내 영상기록장치 및 그것의 제어 방법
CN105631217A (zh) * 2015-12-30 2016-06-01 苏州安智汽车零部件有限公司 基于本车自适应虚拟车道的前方有效目标选择系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUN LI 等: "Deep Neural Network for Structural Prediction and Lane Detection in Traffic Scene", pages 690 - 713 *
OLEKSANDR BAILO 等: "Robust Road Marking Detection and Recognition Using Density-Based Grouping and Machine Learning Techniques", pages 760 - 768 *
龚建伟;王安帅;熊光明;刘伟;陈慧岩;: "一种自适应动态窗口车道线高速检测方法", 北京理工大学学报, no. 06 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110595499A (zh) * 2019-09-26 2019-12-20 北京四维图新科技股份有限公司 变道提醒方法、装置和系统
CN112560561A (zh) * 2019-09-26 2021-03-26 北京地平线机器人技术研发有限公司 一种目标检测方法及装置
CN113924593A (zh) * 2019-09-27 2022-01-11 通用汽车巡航控股有限责任公司 车辆感知系统分辨率和感兴趣区的基于意图的动态改变
CN110796084A (zh) * 2019-10-29 2020-02-14 华人运通(上海)自动驾驶科技有限公司 车道线识别方法、装置、设备和计算机可读存储介质
CN112488046A (zh) * 2020-12-15 2021-03-12 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法
CN112488046B (zh) * 2020-12-15 2021-07-16 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法

Also Published As

Publication number Publication date
US10650529B2 (en) 2020-05-12
KR102499398B1 (ko) 2023-02-13
EP3441909B1 (en) 2023-11-08
CN109389026B (zh) 2023-10-17
KR20190016717A (ko) 2019-02-19
US20190050993A1 (en) 2019-02-14
EP3441909A1 (en) 2019-02-13

Similar Documents

Publication Publication Date Title
CN109389026A (zh) 车道检测方法和设备
EP3462377B1 (en) Method and apparatus for identifying driving lane
US10599930B2 (en) Method and apparatus of detecting object of interest
US11048266B2 (en) Method and apparatus for recognizing object
CN113474825B (zh) 用于在移动平台上提供沉浸式扩展现实体验的方法和装置
US10732004B2 (en) Method and apparatus for displaying virtual route
US11175149B2 (en) Vehicle localization method and apparatus
US20190251373A1 (en) Method and apparatus providing information for driving vehicle
CN108509832A (zh) 用于产生虚拟车道的方法和装置
US10579058B2 (en) Apparatus and method for generating training data to train neural network determining information associated with road included in image
US20210287438A1 (en) Localization method and apparatus of displaying virtual object in augmented reality
US10402665B2 (en) Systems and methods for detecting traffic signs
US10810424B2 (en) Method and apparatus for generating virtual driving lane for traveling vehicle
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
US20190163993A1 (en) Method and apparatus for maintaining a lane
CN108362295A (zh) 车辆路径引导设备和方法
CN111351502B (zh) 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品
CN109552333A (zh) 车辆运动预测方法和设备
US10853667B2 (en) Method and apparatus with linearity detection
EP3796261A1 (en) Method and apparatus with location estimation
US10936851B2 (en) Method and apparatus for recognizing object
CN115900712B (zh) 一种信源可信度评价组合定位方法
Chen et al. Integrated vehicle and lane detection with distance estimation
KR101611789B1 (ko) 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법
CA3185898A1 (en) System and method of segmenting free space based on electromagnetic waves

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant