CN110866433A - 用于确定道路标线的方法和设备 - Google Patents

用于确定道路标线的方法和设备 Download PDF

Info

Publication number
CN110866433A
CN110866433A CN201910583507.7A CN201910583507A CN110866433A CN 110866433 A CN110866433 A CN 110866433A CN 201910583507 A CN201910583507 A CN 201910583507A CN 110866433 A CN110866433 A CN 110866433A
Authority
CN
China
Prior art keywords
road
information
road marking
marking
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910583507.7A
Other languages
English (en)
Inventor
池大炫
李元周
张铁薰
吴度官
玄伦硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110866433A publication Critical patent/CN110866433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于确定道路标线的方法和设备。所述方法包括：执行从行驶图像检测车辆正在行驶的车道的两条道路标线；确定是否未检测到所述两条道路标线中的至少一条道路标线；如果确定未检测到至少一条道路标线，则基于与包括所述道路的可行驶道路区域有关的第一信息来针对所述至少一条未检测到的道路标线确定至少一条道路标线；并基于所述至少一条确定的道路标线控制车辆的行驶。

Description

用于确定道路标线的方法和设备
本申请要求于2018年8月27日提交到韩国知识产权局的第10-2018-0100318号韩国专利申请的优先权，所述韩国专利申请的全部公开通过引用完整地包含于此。
技术领域
与本发明构思的示例性实施例一致的设备和方法涉及在可行驶道路区域内确定道路标线。
背景技术
提供视觉信息增强技术以辅助车辆和其他交通工具的驾驶。在这样的技术中，使用各种方法从行驶图像提取车道标记或道路信息。
例如，当关于长距离图像的像素信息不足时，当车道标记被道路环境中的各种对象遮蔽时，当在道路的路肩上驾驶期间道路标线因阴影而未被良好地检测时，当道路标线磨损时或者当道路标线被不明确地合并或分开时，难以从图像检测道路标线。
在精确的车道检测没有被执行时，会在提供用于车辆的驾驶的精确信息(诸如，车辆控制，路线确定等)时出现困难。
发明内容
本发明构思提供用于当沿着道路驾驶车辆时考虑可行驶道路区域而针对道路的未被检测到的道路标线确定道路标线的各种示例性方法和设备。
根据示例性实施例，提供一种确定车辆行驶所沿着的道路的道路标线的方法。所述方法可以包括：执行从行驶图像检测车辆正在行驶的车道的两条道路标线；确定是否未检测到所述两条道路标线中的至少一条道路标线；如果确定未检测到至少一条道路标线，则基于与包括所述道路的可行驶道路区域有关的第一信息来针对所述至少一条未检测到的道路标线确定至少一条道路标线；并基于所述至少一条确定的道路标线控制车辆的行驶。
根据示例性实施例，提供一种用于确定车辆行驶所沿着的道路的道路标线的设备。所述设备可以包括：传感器，被配置为获取行驶图像；处理器，被配置为：执行从行驶图像检测车辆正在行驶的车道的两条道路标线；确定是否未检测到所述两条道路标线中的至少一条道路标线；如果确定未检测到至少一条道路标线，则基于与可行驶道路区域有关的第一信息来针对所述至少一条未被检测到的道路标线确定至少一条道路标线；基于所述至少一条确定的道路标线控制车辆的行驶。
根据示例性实施例，提供一种用于控制车辆的行驶的方法，所述方法可以包括：当驾驶车辆时确定是否未检测到至少一条道路标线；当驾驶车辆时如果确定未检测到至少一条道路标线，则使用从行驶图像获得的关于道路的信息和与道路有关的预存信息中的至少一个信息，针对所述至少一条未被检测到的道路标线预测至少一条道路标线，并将所述至少一条预测的道路标线校正到包括在可行驶道路区域内；将所述至少一条校正的道路标线确定为所述至少一条未被检测到的道路标线；基于所述至少一条确定的道路标线控制车辆的行驶，其中，可行驶道路区域基于通过安装在车辆中的传感器捕获的行驶图像的像素值来确定。
附图说明
图1A和图1B示出当不考虑可行驶道路区域来确定道路标线时发生的问题的示例。
图2示出了确定道路标线的方法的示例。
图3A和图3B示出了获取第一信息的方法的示例。
图4示出了当两条道路标线中的一条标线未被检测到时确定未被检测到的道路标线的方法的示例。
图5示出了当两条道路标线中的一条标线被检测到时确定未被检测到的道路标线的方法的示例。
图6示出了当两条道路标线未被检测到时确定未被检测到的道路标线的方法的示例。
图7至图9示出了确定两条未被检测到的道路标线的方法的示例。
图10A至图10C示出了获取第二信息的方法的示例。
图11示出了从图像确定车辆行驶的车道的两条道路标线的方法的示例。
图12示出了计算第一标线回归函数的偏移参数和曲率参数的方法的示例。
图13和图14示出了确定道路标线的方法的示例。
图15示出了用于确定道路标线的设备的示例。
在整个附图和具体实施方式中，除非另有描述或提供，否则相同的附图标记将被理解为表示相同的元件、特征和结构。附图可不按比例绘制，并且为了清楚、说明和方便起见，可夸大附图中元件的相对尺寸、比例和描绘。
具体实施方式
提供关于各种实施例的以下具体实施方式以帮助读者获得本发明构思的全面理解。然而，从这些描述，实施例的各种变换、修改及等同物将是明显的。例如，在此描述的操作的顺序仅仅是示例，并不局限于在此所阐述的顺序，而是除了必须以特定顺序发生的操作之外，可如根据描述清楚的改变。此外，为了更加清楚和简明，可省略对于本领域已知的特征的描述。提出的实施例都是示例性的。
虽然可在此使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不受这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。
在此使用的术语仅用于描述各种示例，并不用于限制本公开。除非上下文另外清楚地指示，否则单数形式也意图包括复数形式。术语“包含”、“包括”和“具有”说明存在阐述的特征、数量、操作、构件、元件和/或它们的组合，但不排除存在或添加一个或更多个其他特征、数量、操作、构件、元件和/或它们的组合。
除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如在通用词典中定义的术语)将被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且不被理想化或过于形式化地解释。
在下文中阐述的示例可以用于显示虚拟路线或生成视觉信息以在智能车辆的增强现实(AR)导航系统中辅助自动驾驶车辆的驾驶。这些示例可以用于在包括智能系统的装置(诸如，安装用于车辆的驾驶辅助或完全地自动驾驶的平视显示器(HUD))中解释视觉信息并辅助安全和愉快地驾驶。这些示例可被应用于例如自动驾驶车辆、智能车辆、智能电话和移动装置。在下文中，将参照附图详细描述这些示例，其中，相同的附图标记用于相同的元件。
图1A和图1B示出了当不考虑可行驶道路区域来确定道路标线时发生的问题的示例。图1A示出了包括车辆正在行驶的车道(在下文中也被称为“行驶车道”)的道路的图像110，图1B示出了显示道路上的可行驶区域133和不可行驶区域136的示图130。
例如，当天气是多云时，当由于雪、雨、雾等导致在前方道路上无法进行车道识别时，当车辆在前方复杂地纠缠时，当道路标线被阴影遮蔽而不能被清楚地识别时，当道路标线被汽车损坏而变得不可见时，以及当道路标线的部分丢失时，可能难以或不可能从图1A中示出的图像110来检测道路标线。
当未检测到道路标线时，通常可以通过假设当前行驶车道的宽度并且将从一侧检测到的道路标线镜像为另一侧的道路标线或者考虑最近检测到的道路标线来确定道路标线，例如，从最后的标线估计的虚拟标线。
然而，如图1B的示图130中示出的，车辆前方的实际道路区域139可能与车辆正在行驶的可行驶区域133不同。当实际道路区域139与可行驶区域133不同，并且当在确定道路标线时没有考虑可行驶区域133时，针对前方道路确定的道路标线可能生成在行驶车道之外的不可行驶区域136中，这会导致严重的事故。
通过在确定道路标线时考虑行驶车道的形状和/或可行驶区域133(或不可行驶区域136)，即使当道路标线的一部分丢失或被阴影遮蔽而不可见时，也可稳定地检测道路标线。此外，可以提高道路标线确定的精度。
在下文中，可行驶区域指的是这样的道路区域：被指定为允许车辆在适用法律或法规下行驶的地方和允许车辆进入和离开的人行道的一些区域，和/或即使没有被这样的法律或法规允许习惯上也允许车辆行驶的区域(例如，道路旁边的空地)。可行驶区域也可被称为可行驶道路区域。在下文中，术语“可行驶道路”和术语“可行驶道路区域”被理解为具有相同的含义。
不可行驶区域指的是汽车行驶不被适用法律或法规允许的区域，和/或由于自然地势(诸如，山脉、山谷、瀑布、海洋等)而无法驾驶车辆的区域。
图2示出了确定道路标线的方法的示例。参照图2，在操作210中，根据实施例的用于确定道路标线的设备执行从图像检测车辆正在行驶的车道的两条道路标线。这里，图像是例如使用安装在车辆上的捕获装置获取的行驶图像。行驶图像可以包括单个行驶图像或多个行驶图像。行驶图像包括多个帧。捕获装置可被固定到车辆的预定区域(诸如，挡风玻璃、仪表盘、后视镜等)以捕获车辆周围(例如，车辆前方)的行驶图像。捕获装置包括例如视觉传感器、图像传感器或执行类似功能的装置。捕获装置捕获单个图像并且根据情况也捕获每个帧的图像。行驶图像也可以是通过除了检测装置以外的装置捕获的图像。例如，行驶图像可以是图3A的图像310。
在操作210中，该设备可以基于例如神经网络来执行车辆正在行驶的车道的两条道路标线的检测，其中，神经网络被训练为识别包括道路标线的道路标线区域。卷积神经网络被训练为验证例如将从行驶图像检测的道路标线的边界框以及将被检测的道路标线的类型。将参照图11和图12进一步描述使用该设备执行车道的两条道路标线的检测的方法的示例。
在操作220中，该设备确定是否未检测到两条道路标线中的至少一条道路标线。例如，在操作220中，该设备可以确定是否检测到两条道路标线、是否检测到两条道路标线中的至少一条道路标线或者是否未检测到两条道路标线。
在操作230中，基于操作220的确定结果，该设备使用与可行驶道路区域相关的第一信息来针对至少一条未被检测到的道路标线确定至少一条道路标线。例如，第一信息是指示图像中的像素与可行驶道路区域对应的概率的映射信息。指示图像中的像素与可行驶道路区域对应的概率的映射信息也可被称为道路概率映射信息。通过分割行驶车道的图像来获取第一信息。将参照图3A和图3B进一步描述使用该设备获取第一信息的方法的示例。
该设备通过基于例如目前为止检测到的道路标线信息、当前检测到的道路标线信息和当前检测到的可行驶道路区域生成虚拟道路标线，来针对至少一条未被检测到的道路标线确定至少一条道路标线。此外，该设备基于第一信息校正两条道路标线之中的检测到的一侧的道路标线(在下文中，也被称为“一条标线”)，并基于校正的一条标线确定与所述一侧对应的另一侧的道路标线(在下文中，也被称为“另一条标线”)。
将参照图4和图5进一步描述当两条道路标线中的一条标线被检测到时使用该设备确定另一条标线的方法。将参照图6至图9进一步描述当两条道路标线未被检测到时使用该设备确定两条道路标线的方法。
该设备基于在操作230中针对至少一条未被检测到的道路标线确定的道路标线控制车辆的行驶。例如，该设备基于在操作230中针对至少一条未被检测到的道路标线确定的道路标线生成用于控制车辆的方向盘、刹车和加速/减速踏板的控制参数，并使用控制参数控制车辆的行驶。
此外，该设备在显示装置(例如，图15的显示器1550)上显示在操作230中确定的至少一条未被检测到的道路标线。
这里，术语“车辆”指的是行驶在道路上的车辆，并且包括例如自动或自动化驾驶车辆以及配备有高级驾驶员辅助系统(ADAS)的智能或智慧车辆。术语“道路”指的是车辆行驶的道路，并且包括各种类型的道路(诸如，以高速公路、国道、地方道路、快速路和城际高速为例)。道路包括一条或更多条车道。术语“车道”指的是由标记在道路表面的标线区分的道路空间。单条车道由左标线和右标线或者它的边界线区分。术语“标线”指的是道路标线并且包括各种类型的标线，例如，道路表面上的以白色、蓝色或黄色标记的实线、虚线、曲线和之字形线。标线可以与区分单条车道的一侧上的标线对应，也可以与一对线(例如，区分单条车道的左标线和右标线)对应。
图3A和图3B示出了获取用于针对未被检测到的道路标线预测道路标线的第一信息的方法的示例。图3A示出了行驶图像310，图3B示出了与图3A的行驶图像310对应的分割图像330。
行驶图像310包括道路图像和道路表面图像，所述道路表面图像包括例如其他车辆、道路标线、路缘石、人行道和周围环境。行驶图像310可以包括包含车辆和标线的道路标线区域以及包括建筑、树和天空的周围环境区域。
根据实施例的用于确定道路标线的设备将对象从行驶图像310分离，并以像素为单位确定分离的对象(例如，道路标线或道路)指的是什么，从而生成分割图像330。对象以类为单位进行划分。这里使用的类可以包括各种语义单元(例如，道路、道路标线、车辆、人行道、人、动物、天空和建筑)。
该设备通过分类网络生成分割图像330，其中，分类网络包括若干个阶段的卷积层和全连接层。该设备使用被训练以从训练图像输出训练输出的分类器模型来将行驶图像310分割成多个区域。例如，分类器模型是卷积神经网络。训练图像可以是彩色图像，训练输出可以指示通过将训练图像(例如，训练输入)进行分割获得的区域图像。例如，训练输出可以是基于与训练图像的每个像素对应且手动指定的属性或类(例如，道路标线、道路、车辆、人、物体和背景)预先分割的区域图像。
该设备使用公知的分类网络(诸如，AlexNet,、VGGNet和GoogleNET)以语义为单位从行驶图像310分离对象，以像素为单位获取每个分割区域的语义，并为每个类标记每个分割区域，从而生成分割图像330。例如，该设备操作以在属于与可行驶道路对应的类的像素和不属于与可行驶道路对应的类的像素之间进行区分，而不是对所有像素的类进行分类。
该设备获取第一信息，所述第一信息包括像素与先前在分割图像330中被分类为可行驶区域335的类(例如，道路、道路标线以及人行道上的可行驶区域)对应的概率。根据示例，该设备获取包括与具有大于或等于预设阈值的概率的像素相关的信息的第一信息。例如，当与道路类或道路标线类对应的概率0.9具有比预设阈值0.758大的概率值时，该设备将与对应的分类(道路类)对应的区域的概率值0.9获取为第一信息。
图4示出了当两条道路标线中的一条标线未被检测到时针对未被检测到的道路标线确定道路标线的方法的示例。图4示出了显示不可行驶区域410、可行驶区域430、从行驶图像检测的左标线450以及从左标线450预测并校正的右标线470的示图400。
当从行驶图像(诸如，图3A的行驶图像310)检测到左标线450时，根据实施例的用于确定道路标线的设备基于检测到的左标线450来预测右标线的形状。例如，当检测到的左标线450具有S形状时，该设备预测右标线具有S形状。
该设备校正已预测的右标线的位置使得已校正的右标线在可行驶区域430内而不是在不可行驶区域410内。该设备将已校正的右标线确定为右标线470，并且控制车辆沿着检测到的左标线450和已校正的右标线470行驶。
图5示出了当两条道路标线中的一条标线被检测到时针对未被检测到的道路标线确定道路标线的方法的示例。图5示出了在图2的操作230中当已确定两条道路标线中的一条标线被检测到而另一条标线未被检测到时，针对未被检测到的道路标线确定道路标线的方法。
在操作510中，根据实施例的用于确定道路标线的设备生成与检测到的一条标线对应的第一标线回归函数。该设备在地图上选择位于车辆的当前位置预定距离内的多个路径点，并通过对路径点执行线性回归分析来计算表示道路的检测到的一条标线在地图上的形状的第一标线回归函数。使用包括在设备内的例如全球定位系统(GPS)传感器、加速计传感器和罗盘传感器来测量车辆的当前位置。例如，地图信息包括使用符号、字符和图像表示地表上的地理特征的地图、包括地理特征的纬度、经度和海拔的地图坐标以及表示在地图上的路径上的多个路径点。这里，多个路径点是当车辆在道路上的单条车道上行驶时以预设间隔获得的坐标的集合。地图信息对应于一般地图级别的地图信息或一般导航级别的地图信息。地图信息存储在设备的存储器(例如，图15的存储器1530)中，或通过设备的通信接口(例如，图15的通信接口1540)从设备的外部源接收。
在操作520中，该设备基于第一标线回归函数预测与两条道路标线的另一条标线对应的第二标线回归函数。该设备基于第一标线回归函数搜索与另一条标线对应的可行驶道路区域相关联的第一信息，并基于搜索到的第一信息中具有比预设阈值高的值的第一信息预测第二标线回归函数。此外，该设备使用通过将先前行驶车道的宽度的s倍(s是预定的数，例如，2倍)作为偏移而添加到第一标线回归函数而获得的方程来预测与另一条标线(虚拟线)对应的第二标线回归函数。
在操作530中，该设备基于第一信息校正第二标线回归函数，使得另一条标线包括在可行驶道路区域内。
在操作540中，该设备基于第二标线回归函数确定另一条标线，即针对未被检测到的道路标线确定道路标线。
图6示出了当两条道路标线未被检测到时针对未被检测到的道路标线确定道路标线的方法的示例。图6示出了显示不可行驶区域610、可行驶区域630以及如下面说明预测和校正的右标线650和左标线670的示图600。
当两条道路标线未从行驶图像(诸如，图3A的行驶图像310)检测到时，根据实施例的用于确定道路标线的设备基于可行驶区域630的形状预测右标线和左标线的形状。该设备基于可行驶区域630的形状预测右标线具有从直线向左弯曲的形状。该设备通过基于预测的右标线在对应于预定宽度距离内的左侧位置生成左标线来预测左标线的形状。该设备校正预测的右标线和左标线的位置使得预测的右标线和左标线包括在可行驶区域630内。该设备控制车辆沿着校正的右标线650和左标线670行驶。
当两条道路标线未从行驶图像检测到时，该设备基于可行驶区域630与不可行驶区域610之间的边界预测一侧的道路标线，并基于预测的一侧的道路标线预测另一侧的道路标线。
该设备基于为每帧保存的道路标线信息生成标线回归函数，直到从行驶图像识别出道路标线为止。
该设备使用与邻近于不可行驶区域610的一条标线(例如，右标线)对应的在第一信息中所包括的多个像素中具有比预设阈值高的值的像素和标线回归函数来预测与不可行驶区域610邻近的一条标线的位置。该设备调整或移动标线回归函数使得标线回归函数包括在具有比预设阈值高的值的像素的区域中并且不包括在不可行驶区域610中。通过这样，该设备预测一条标线(例如，与不可行驶区域610邻近的右标线)。
该设备基于与不可行驶区域610邻近的一条标线的位置来预测对应于与不可行驶区域610的邻近的一条标线的另一条标线的位置。例如，该设备将从与不可行驶区域610邻近的右标线的位置一定距离(或预定车道宽度)处的左侧位置预测为另一条标线的位置。
将参照图7至图9描述进一步描述使用该设备针对两条未被检测到的道路标线来确定道路标线的示例。
图7示出了针对两条未被检测到的道路标线确定道路标线的方法的示例。图7示出了当在图2的操作230中未检测到两条道路标线时使用道路区域的边界针对两条未被检测到的道路标线来确定道路标线的方法。
当两条道路标线没有被检测到时，根据实施例的用于确定道路标线的设备基于第一信息预测两条道路标线中的一条标线，并基于所述一条标线预测与所述一条标线对应的另一条标线。
在操作710中，该设备从第一信息搜索可行驶道路区域的边界。如参照图6所述，该设备从第一信息搜索不可行驶区域，并基于不可行驶区域搜索可行驶区域的边界。
在操作720中，该设备基于可行驶区域的边界生成与一侧的道路标线对应的第一标线回归函数。
在操作730中，该设备使用第一标线回归函数确定一侧的道路标线。由于操作520至操作540的描述也适用于操作740至操作760，所以将省略重复的描述。
图8示出了针对两条未被检测到的道路标线来确定道路标线的方法的示例。图8示出了当在图2的操作230中未检测到两条道路标线时使用先前行驶道路来针对未被检测到的道路标线确定道路标线的方法。
根据实施例的用于确定道路标线的设备基于与两条道路标线中的一条标线的形状相关联的预存信息预测所述一条标线，并基于第一信息校正所述一条标线。该设备确定两条道路标线中的所述一条标线，然后基于所述一条标线确定与所述一条标线对应的另一条标线。
在操作810中，该设备基于与两条道路标线中的一条标线的形状相关联的预存信息生成与所述一条标线对应的第一标线回归函数。该设备生成从车辆已行驶的标线延伸的延长线，并计算与延长线对应的标线回归函数，从而计算与所述一条标线对应的第一标线回归函数。
在操作820中，该设备基于第一信息校正第一标线回归函数，使得所述一条标线包括在可行驶道路区域内。该设备将第一标线回归函数校正为在与包括在第一信息中的多个像素中具有比预设阈值高的值的像素对应的区域或位置中，使得在操作820中计算的第一标线回归函数包括在可行驶道路区域中。
在操作830中，该设备使用在操作820中校正的第一标线回归函数确定所述一条标线。由于操作520至操作540的描述也适用于操作840至操作860，所以将省略重复的描述。
图9示出了针对两条未被检测到的道路标线来确定道路标线的方法的示例。图9示出了当至少一条道路标线未在操作230中被检测到时通过设置搜索范围来针对未被检测到的道路标线确定道路标线的方法。
在操作910中，根据实施例的用于确定道路标线的设备获取关于当前行驶车道的第二信息。该设备通过生成从车辆已行驶的车道的标线延伸的延长线来获取第二信息。该设备基于例如关于从行驶图像检测到的道路标线的信息、关于先前行驶道路的形状的信息、关于从第一信息检测到的可行驶道路的形状的信息以及与车辆的当前位置对应的路径点信息中的任何一个或任何组合来确定第二信息。将参照图10进一步描述使用该设备确定第二信息的方法的示例。
在操作920中，该设备基于第二信息设置在第一信息中的搜索范围。该设备基于根据第二信息生成的第一标线回归函数设置指示搜索范围的偏移范围。这里，搜索范围包括包含在第一信息中的多个像素中与至少一条候选道路标线对应的像素。
在操作930中，该设备通过在搜索范围内对第一信息执行搜索，生成至少一条未被检测到的道路标线的至少一条虚拟道路标线。该设备提取包括在搜索范围内的多个像素中具有比预设阈值高的值的像素。该设备通过基于提取的像素生成第二标线回归函数来生成至少一条虚拟道路标线。
在操作940中，该设备基于在操作930中生成的至少一条虚拟道路标线，针对至少一条未被检测到的道路标线确定道路标线。
图10A至图10C示出了获取第二信息的方法的示例。图10A示出了从行驶图像识别的与道路标线有关的标线信息。
根据实施例的用于确定道路标线的设备使用神经网络从行驶图像获取与道路标线1010有关的道路标线信息，其中，神经网络被训练为从行驶图像识别包括道路标线的道路标线区域。神经网络在与道路标线1010有关的道路标线信息和对象1020(诸如，不是道路标线1010的车辆)之间进行区分，并验证道路标线1010的类型。该设备从与道路标线1010有关的道路标线信息获取与车道的形状(例如，车道的左标线和右标线的位置和形状以及车道的宽度)有关的第二信息。
图10B示出了与从地图1030获取的路径点W1、W2、W3、W4、W5、W6和W7有关的路径点信息1040。根据实施例的用于确定道路标线的设备基于与车辆的位置对应的地图信息来确定或预测与车辆正在行驶的道路对应的标线回归函数(例如，一次方程、二次方程、三次方程或曲线(回旋曲线)方程)，并使用标线回归函数从行驶图像检测道路标线。
该设备基于车辆的当前位置对从地图1030提取的路径点W1、W2、W3、W4、W5、W6和W7的路径点信息1040进行回归，从而识别出道路位于弯曲形状或S形状。
该设备确定适合于表达道路的形状(例如，S弯曲形状)的标线回归函数。该设备针对路径点W1将二次方程(例如，c2x2+c1x+c0)确定为标线回归函数，并针对路径点W3将三次方程(例如，c3x3+c2x2+c1x+c0)确定为标线回归函数。
与路径点W1的标线回归函数相比，该设备将更大的回归权重分配给路径点W3的标线回归函数，使得曲线得到适当地表达。
该设备基于路径点信息识别地图1030上的道路的形状，并基于道路的形状确定与车道对应的标线回归函数。该设备通过例如对路径点信息执行的回归分析来分配与车道对应的回归权重。该设备使用与车道对应的标线回归函数来确定与车道的形状相关联的第二信息。
此外，该设备通过使用标线回归函数和回归权重检测车道来确定具有增加的精度和速度的第二信息，使得由路径点信息指示的道路的形状得到最合适地表达，所述标线回归函数考虑针对路径点信息的预定间隔或路径点信息的每个坐标点而确定的次数。
图10C示出了基于车辆已行驶的车道的标线1050(例如，形状信息)确定的虚拟道路标线或延长线1060。
用于确定道路标线的设备生成从车辆已行驶所沿的道路标线延伸的延长线以获得第二信息。该设备确定与车辆已行驶的车道的标线1050对应的局部路径并基于局部路径延伸车道的标线，从而生成延长线1060。该设备设置在第一信息中的搜索范围，使得延长线1060包括在可行驶道路区域内。该设备提取包括在搜索范围内的多个像素中具有比预设阈值高的值的像素，并使用基于提取的像素生成的回归函数确定第二信息。
图11示出了执行从行驶图像检测车辆正在行驶的车道的两条道路标线的方法的示例，图12示出了获得第一标线回归函数的偏移参数和曲率参数的方法的示例。
参照图11和图12，在操作1110中，用于确定道路标线的设备从行驶图像获取车辆正在行驶的车道的图像。
在操作1120中，该设备获取如由图12的附图标记1210指示的与车辆1230的当前位置对应的路径点信息。在这个示例中，路径点信息对应于在与车辆1230正行驶的道路1250对应的地图上的道路的一部分点，和/或一部分点的坐标。该设备使用多个路径点来确定与车辆1230正行驶的道路有关的曲率信息，其中，所述多个路径点位于地图上与邻近于车辆1230的当前位置的路径点相距前视距离对应的路径点之内。术语“前视距离”(look-aheaddistance)指的是用于车辆1230的行驶的信息所需的距离，并且基于例如车辆1230的速度、可视距离、天气、行驶情况以及车辆1230的道路条件中的任何一种或任何组合来确定。此外，前视距离对应于基于标线回归函数(例如，多项式方程)的次数适当地表达多个路径点的距离。
可以基于从包括在操作1110中获取的车道图像的行驶图像检测到的道路标线信息和在操作1120中获取的路径点信息来检测两条道路标线。在操作1130中，该设备基于路径点信息获得与一侧的道路标线对应的第一标线回归函数的曲率参数。
该设备通过例如线性回归分析来计算表达地图上的道路1250的形状的第一标线回归函数(例如，c2x2+c1x)，并使用第一标线回归函数确定道路1250的曲率信息C1和C2。
在操作1140中，该设备基于从行驶图像检测到的道路标线信息获得第一标线回归函数的偏移参数。该设备从行驶图像检测包括道路标线的标线区域，并使用基于曲率信息的参考线和标线区域来估计车辆1230的横向偏移C0。当曲率信息是0时，参考线可以是直线。当曲率信息大于0时，参考线可以是曲线。例如，曲线包括具有一个方向的曲率的曲线、具有至少两个方向的曲率的曲线、与圆周的至少一部分对应的曲线以及与椭圆的至少一部分对应的曲线。车辆1230的横向偏移与从道路1250的中心线到车辆1230的中心的距离对应。
在操作1150中，该设备使用第一标线回归函数的曲率参数和第一标线回归函数的偏移参数检测车道的两条道路标线。该设备使用第一标线回归函数的曲率参数和第一标线回归函数的偏移参数获取标线回归函数(诸如，c2x2+c1x+c0)。该设备使用通过将获取的标线回归函数中的偏移量乘以例如2而获得的车道宽度来检测车道的两条道路标线。
除了上面描述的示例以外，可使用检测道路标线的各种方案。当至少一条道路标线未被检测到时，可基于上述示例针对未被检测到的道路标线确定道路标线。
图13示出了确定道路标线的方法的示例。参照图13，在操作1350中，用于确定道路标线的设备获取行驶图像。在操作1310中，该设备从行驶图像提取每个像素的概率并生成分割图像。在这个示例中，该设备通过经由像素级的分类从行驶图像区分对象或道路标线区域来生成分割图像。在操作1315中，该设备将具有已区分的道路标线的分割图像转换成顶视图。
在操作1320中，该设备基于例如GPS信息和地图信息识别车辆的当前位置。在操作1325中，该设备搜索位于与在操作1320中识别的车辆的当前位置相距前视距离对应的路径点之内的多个路径点。在操作1330中，该设备使用通过在操作1325中搜索而找到的多个路径点来计算地图图案。
在操作1335中，该设备使用在操作1315中生成的顶视图和在操作1330中计算的地图图案，确定车辆正在行驶的车道的道路标线是否被检测到。
当在操作1335中检测到道路标线时，该设备在操作1345中确定与检测到的道路标线对应的多项式方程。例如，与检测到的道路标线的对应的多项式方程是c2x2+c1x+c0。如图12中示出的，该设备以像素为单位(例如，单个像素)移动参考线的同时计算具有曲率信息C1和C2的参考线与包括在顶视图像中的道路标线之间的拟合得分。该设备基于计算的拟合得分检测道路标线，并确定与车辆的侧面位置邻近的两条道路标线。该设备基于先前获取的道路的横向偏移C0和曲率信息C1与C2确定多项式方程。确定的多项式方程可以对应于表示与车辆的行驶路径对应的道路的形状和行驶车道中的车辆的位置的标线回归函数。
在操作1350中，该设备使用在操作1345中确定的多项式方程来确定道路标线。
此外，该设备使用在操作1345中确定的多项式方程，生成用于控制车辆的行驶(例如，车辆的方向盘、刹车、加速/减速踏板)的各种控制参数，并输出控制参数。该设备使用标线回归函数确定车辆的路径。
当在操作1335中未检测到道路标线时，该设备在操作1340中从指示行驶图像中的像素与可行驶道路区域对应的概率的道路概率映射信息重新检测在操作1335中检测失败的道路标线。可以将前述的用于针对未被检测到的道路标线来预测道路标线的示例应用于操作1340。
在操作1350中，该设备将从道路概率映射信息重新检测到的道路标线确定为最终的道路标线。
除了自动驾驶系统之外，在具有地图信息的各种产业环境(诸如，智能工厂)和室内机器人应用程序的需要精确控制的机器人系统中，还可应用提供用于车辆的行驶的信息的方法来提供控制信息并检测用于机器人的路径控制的控制线。
图14示出了确定道路标线的方法的示例。参照图14，在操作1410中，用于确定道路标线的设备基于相机识别行驶图像。在操作1420中，该设备从识别的图像获取道路概率映射信息。
在操作1430中，该设备基于道路概率映射信息来检测道路标线。
在操作1440中，该设备确定是否从车辆正行驶的车道检测到两侧的道路标线。当在操作1440中确定两侧的道路标线都被检测到时，在操作1480中该设备保持道路标线使得车辆在车道中行驶。
当在操作1440中确定未检测到两条道路标线时，该设备在操作1450中确定是否检测到一侧的道路标线。当在操作1450中确定检测到一侧的道路标线时，该设备在操作1460中生成与检测到的一侧的道路标线对应的另一侧的虚拟线。
当在操作1450确定未检测到任一侧的标线时，在操作1470中，该设备基于预存的道路标线信息使用道路概率映射确定两侧的道路标线。
尽管没有示出，但是基于与可行驶道路区域相关联的信息来针对未被检测到的道路标线确定道路标线的实施例可应用于操作1460和1470。
图15示出了用于确定道路标线的设备的示例。参照图15，确定道路标线的设备1500包括传感器1510和处理器1520。该设备1500还包括存储器1530、通信接口1540和显示器1550。传感器1510、处理器1520、存储器1530、通信接口1540、显示器1550通过通信总线1505彼此通信。
传感器1510包括例如图像传感器、加速计传感器、罗盘传感器、GPS传感器、陀螺仪传感器、里程表和地磁传感器。传感器1510获取指示车辆的位置的定位信息。此外，传感器1510捕获车辆的行驶图像。
处理器1520从图像(诸如，但不限于，行驶图像)检测车辆正在行驶的车道的两条道路标线。处理器1520基于通过确定是否未检测到两条道路标线中的至少一条道路标线而获得的结果，使用与可行驶道路区域相关联的第一信息针对至少一条未被检测到的道路标线来确定道路标线。
该设备1500通过通信接口1540接收感测信息。在一个示例中，通信接口1540从设备1500外部的其他传感器接收感测信息。在另一示例中，通信接口1540从设备1500的外部源接收行驶图像、地图信息和GPS信息。
处理器1520通过通信接口1540输出用于车辆的行驶的信息。用于车辆的行驶的信息包括用于基于车辆的局部路径控制行驶方向、方向盘的角度以及车辆的速度中的任何一种或任何组合的控制参数。
处理器1520执行参照图1至图14描述的方法中的至少一种方法或对应于至少一种方法的算法。
如这里使用的，术语“处理器”是具有物理上地构造的电路以执行期望的操作的硬件实现的数据处理装置。例如，期望的操作包括包含在程序中的代码或指令。硬件实现的数据处理装置包括但不限于例如微处理器、中央处理器(CPU)、处理器核、多核处理器、多处理器、应用专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
处理器1520执行程序并控制设备1500。由处理器1520执行的程序的代码存储在存储器1530中。
存储器1530存储包括行驶图像的各种图像和地图信息。存储器1530存储在处理器1520的处理操作期间生成的各种信息。此外，存储器1530存储各种数据和程序。存储器1530包括易失性存储器或非易失性存储器。存储器1530包括大容量存储介质(诸如，硬盘)以存储各种数据。
显示器1550单独地或一起显示由处理器1520确定的道路标线和地图信息。
这里描述的设备、单元、模块、装置和其他组件由硬件组件实现。可用于执行在本申请中描述的操作的硬件组件的示例适当地包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行本申请中描述的操作的一个或多个硬件组件通过计算硬件(例如，通过一个或更多个处理器或计算机)实现。处理器或计算机可以通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或更多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或更多个软件应用)以执行在本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，虽然可将单数术语“处理器”或“计算机”用于本申请中所述的示例的描述中，但是在其他的示例中，可以使用多个处理器或计算机，或者一个处理器或计算机可以包括多个处理元件或多种类型的处理元件或应用以上两种形式。例如，单个硬件组件或者两个或更多个硬件组件可以通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或更多个硬件组件可以通过一个或更多个处理器、或者处理器和控制器来实现，一个或更多个其他硬件组件可以通过一个或更多个其他处理器，或者另一处理器和另一控制器来实现。一个或更多个处理器、或者处理器和控制器可以实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，其中，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
执行在本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，其中，计算硬件被实现为上面描述的执行用于执行在本申请中描述的通过该方法执行的操作的指令或软件。例如，单个操作或者两个或更多个操作可以通过单个处理器或者两个或更多个处理器、或者处理器和控制器来执行。一个或更多个操作可以通过一个或更多个处理器、或者处理器和控制器来执行，并且一个或更多个其他操作可通过一个或更多个其他处理器，或者另一处理器和另一控制器来执行。一个或更多个处理器、或者处理器和控制器可以执行单个操作或者两个或更多个操作。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件被写为计算机程序、代码段、指令或它们的任意组合，用于单独或共同指示或配置处理器或者计算机作为机器或专用计算机操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由处理器或者计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一个示例中，指令或软件包括由处理器或者计算机使用解释器执行的高级代码。本领域普通技术程序员能够容易地基于附图中示出的框图和流程图以及说明书中的对应描述来编写指令或软件，这些框图和流程图以及说明书中的对应描述公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。
控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如多媒体微型卡或卡(例如，安全数字(SD)或极速数字(XD))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将所述指令或软件以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行指令的任何其他装置。
虽然本公开包括特定示例，但是将对本领域普通技术人员清楚的是：在不脱离发明构思及其等同物的精神和范围的情况下，可对这些示例做出形式和细节的各种改变。这里描述的示例仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为适用于其他示例中的类似特征或方面。如果以不同的顺序执行描述的技术，和/或如果以不同的方式组合描述的系统、架构、装置或者电路中的组件和/或用其他组件或者它们的等同物进行替换或者补充描述的系统、架构、装置或者电路中的组件，则可获得适当的结果。因此，发明构思的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且发明构思及其等同物的范围内的所有变化将被解释为包括在本发明构思中。

Claims (25)

1.一种确定车辆行驶所沿着的道路的道路标线的方法，所述方法包括：
执行从行驶图像检测车辆正在行驶的车道的两条道路标线；
确定是否未检测到所述两条道路标线中的至少一条道路标线；
如果确定未检测到至少一条道路标线，则基于与包括所述道路的可行驶道路区域有关的第一信息来针对所述至少一条未检测到的道路标线确定至少一条道路标线；
基于所述至少一条确定的道路标线控制车辆的行驶。
2.根据权利要求1所述的方法，其中，第一信息包括指示行驶图像中的像素与可行驶道路区域对应的概率的映射信息。
3.根据权利要求1所述的方法，其中，如果确定检测到所述两条道路标线中的一条道路标线而未检测到所述两条道路标线中的另一条道路标线，则针对所述至少一条未被检测到的道路标线确定至少一条道路标线的步骤包括：
基于所述一条道路标线预测所述另一条道路标线；
基于第一信息校正预测的道路标线。
4.根据权利要求3所述的方法，其中，预测所述另一条道路标线的步骤包括：基于与所述一条道路标线对应的第一标线回归函数预测与所述另一条道路标线对应的第二标线回归函数，
其中，校正所述另一条道路标线的步骤包括：校正第二标线回归函数，使得所述另一条道路标线包括在可行驶道路区域内。
5.根据权利要求1所述的方法，其中，如果确定未检测到两条道路标线，则针对所述至少一条未被检测到的道路标线确定至少一条道路标线的步骤包括：
基于第一信息预测所述两条道路标线中的一条道路标线；
基于所述预测的一条道路标线预测所述两条道路标线中的与所述一条道路标线对应的另一条道路标线。
6.根据权利要求5所述的方法，其中，预测所述一条道路标线的步骤包括：
从第一信息搜索可行驶道路区域的边界；
基于边界生成与所述一条道路标线对应的第一标线回归函数。
7.根据权利要求6所述的方法，其中，搜索的步骤包括：
从第一信息搜索不可行驶区域；
基于不可行驶区域搜索边界。
8.根据权利要求1所述的方法，其中，如果确定未检测到所述两条道路标线，则针对所述至少一条未被检测到的道路标线确定至少一条道路标线的步骤包括：
基于与道路的形状有关的预存信息预测所述两条道路标线中的一条道路标线；
基于第一信息校正预测的道路标线。
9.根据权利要求8所述的方法，其中，预测所述一条道路标线的步骤包括：基于预存信息生成与所述一条道路标线对应的第一标线回归函数，
其中，校正所述预测的道路标线的步骤包括：校正第一标线回归函数，使得预测的道路标线包括在可行驶道路区域内。
10.根据权利要求1所述的方法，其中，执行检测两条道路标线的步骤包括：
从行驶图像获取车辆正在行驶的车道的车道图像；
获取与车辆的当前位置对应的路径点信息；
基于从车道图像检测的道路标线信息和路径点信息检测所述两条道路标线。
11.根据权利要求10所述的方法，其中，检测所述两条道路标线的步骤包括：
基于路径点信息获得与所述两条道路标线中的一条道路标线对应的第一标线回归函数的曲率参数；
基于道路标线信息获得第一标线回归函数的偏移参数。
12.根据权利要求1所述的方法，其中，针对所述至少一条未被检测到的道路标线确定至少一条道路标线的步骤包括：
获取与车辆正在行驶的车道的形状有关的第二信息；
基于第二信息设置在第一信息中的搜索范围；
通过在搜索范围内对第一信息执行搜索，生成与所述至少一条未被检测到的道路标线对应的至少一条虚拟道路标线；
针对所述至少一条未被检测到的道路标线将所述至少一条虚拟道路标线确定为所述至少一条道路标线。
13.根据权利要求12所述的方法，其中，获取第二信息的步骤包括以下步骤中的至少一个：
基于与道路有关的道路标线信息确定第二信息；
基于与车辆的当前位置对应的路径点信息确定第二信息；
从与道路有关的形状信息确定第二信息；
基于从第一信息检测的与可行驶道路区域有关的形状信息确定第二信息。
14.根据权利要求12所述的方法，其中，搜索范围包括包含在第一信息中的多个像素中的与所述至少一条候选道路标线的候选对应的像素。
15.根据权利要求12所述的方法，其中，设置搜索范围的步骤包括：基于根据第二信息生成的第一标线回归函数设置指示搜索范围的偏移范围。
16.根据权利要求12所述的方法，其中，生成所述至少一条虚拟道路标线的步骤包括：
从包括在搜索范围内的多个像素中提取具有比预设阈值高的概率值的像素；
基于提取的像素生成第二标线回归函数。
17.根据权利要求1所述的方法，所述方法还包括：通过基于行驶图像的像素值来分割行驶图像，获取与可行驶道路区域有关的第一信息。
18.根据权利要求1所述的方法，所述方法还包括：通过分割行驶图像生成指示行驶图像中的车道的图像中的像素与可行驶道路区域对应的概率的映射。
19.根据权利要求1所述的方法，所述方法还包括：在安装在车辆内的显示器上显示所述至少一条确定的道路标线。
20.一种用于确定车辆行驶所沿着的道路的道路标线的设备，所述设备包括：
传感器，被配置为获取行驶图像；
处理器，被配置为：
执行从行驶图像检测车辆正在行驶的车道的两条道路标线；
确定是否未检测到所述两条道路标线中的至少一条道路标线；
如果确定未检测到至少一条道路标线，则基于与可行驶道路区域有关的第一信息来针对所述至少一条未被检测到的道路标线确定至少一条道路标线；
基于所述至少一条确定的道路标线控制车辆的行驶。
21.根据权利要求20所述的设备，其中，第一信息包括指示行驶图像中的像素与可行驶道路区域对应的概率的映射信息。
22.根据权利要求20所述的设备，其中，处理器被配置为：如果确定检测到所述两条道路标线中的一条道路标线而未检测到所述两条道路标线中的另一条道路标线，则基于所述一条道路标线预测另一条道路标线，并基于第一信息校正预测的道路标线。
23.根据权利要求20所述的设备，其中，处理器被配置为：如果确定所述两条道路标线未被检测到，则基于第一信息预测所述两条道路标线中的一条道路标线，并基于所述预测的一条道路标线预测与所述一条道路标线对应的所述两条道路标线中的另一条道路标线。
24.一种控制车辆的行驶的方法，所述方法包括：
当驾驶车辆时确定是否未检测到至少一条道路标线；
如果当驾驶车辆时确定未检测到至少一条道路标线，则使用从行驶图像获得的关于道路的信息和与道路有关的预存信息中的至少一个信息，针对所述至少一条未被检测到的道路标线预测至少一条道路标线，并将所述至少一条预测的道路标线校正到包括在可行驶道路区域内；
将所述至少一条校正的道路标线确定为所述至少一条未被检测到的道路标线；
基于所述至少一条确定的道路标线控制车辆的行驶，
其中，可行驶道路区域基于通过安装在车辆中的传感器捕获的行驶图像的像素值来确定。
25.根据权利要求24所述的方法，所述方法还包括：如果行驶图像的像素在可行驶道路区域的概率值高于预设阈值，则将所述像素确定为可行驶道路区域。
CN201910583507.7A 2018-08-27 2019-07-01 用于确定道路标线的方法和设备 Pending CN110866433A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0100318 2018-08-27
KR1020180100318A KR102595897B1 (ko) 2018-08-27 2018-08-27 차선 결정 방법 및 장치

Publications (1)

Publication Number Publication Date
CN110866433A true CN110866433A (zh) 2020-03-06

Family

ID=67659451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583507.7A Pending CN110866433A (zh) 2018-08-27 2019-07-01 用于确定道路标线的方法和设备

Country Status (4)

Country Link
US (1) US11294392B2 (zh)
EP (1) EP3654235A1 (zh)
KR (1) KR102595897B1 (zh)
CN (1) CN110866433A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396041A (zh) * 2021-01-19 2021-02-23 四川京炜数字科技有限公司 一种基于图像识别的道路标线对位系统
CN113928336A (zh) * 2021-09-24 2022-01-14 上海时代之光照明电器检测有限公司 一种汽车自动驾驶辅助方法及系统
US11443531B1 (en) * 2021-12-16 2022-09-13 Plusai, Inc. Methods and apparatus for automatic collection of under-represented data for improving a training of a machine learning model

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564856B1 (ko) * 2018-09-07 2023-08-08 삼성전자주식회사 차선을 검출하는 방법 및 장치
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
KR102061140B1 (ko) * 2019-02-12 2020-02-12 주식회사 만도 차로 유지 장치, 그를 가지는 차량 및 그 제어 방법
DE102019204943A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum teleoperierten Fahren eines Fahrzeuges
WO2021014954A1 (ja) * 2019-07-24 2021-01-28 株式会社デンソー 表示制御装置及び表示制御プログラム
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
KR20220065126A (ko) * 2020-11-12 2022-05-20 현대자동차주식회사 다중 센서 기반 주행 차로 인식 장치 및 방법
JP2022125932A (ja) * 2021-02-17 2022-08-29 本田技研工業株式会社 ヨーレート推定装置
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005132A (ja) * 2013-06-20 2015-01-08 株式会社豊田中央研究所 仮想レーン生成装置及びプログラム
CN104670229A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 假想车道线生成装置与方法及车道线保持控制系统
US20160328619A1 (en) * 2013-12-24 2016-11-10 Lg Electronics Inc. Vehicle driving assistance device and vehicle having the same
US20180150700A1 (en) * 2015-05-07 2018-05-31 Hitachi, Ltd. Lane Detection Device and Lane Detection Method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
KR20130003308A (ko) 2011-06-30 2013-01-09 충북대학교 산학협력단 차량의 차선 인식 방법
KR101641251B1 (ko) 2011-08-05 2016-07-20 엘지전자 주식회사 차선 인식 장치 및 그 방법
KR20130057112A (ko) 2011-11-23 2013-05-31 현대자동차주식회사 가상 차선 생성 장치 및 방법
EP2863374A4 (en) 2012-06-14 2016-04-20 Toyota Motor Co Ltd CIRCULATION PATH SEPARATION MARKING DETECTION APPARATUS, AND DRIVER ASSISTANCE SYSTEM
KR102040705B1 (ko) 2013-08-16 2019-11-05 현대모비스 주식회사 차선 보상 장치 및 방법
KR102083207B1 (ko) 2013-11-21 2020-03-02 현대모비스 주식회사 지수평활법을 이용한 차선 유지 제어 시스템 및 가상 차선 생성 장치
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
WO2016027270A1 (en) 2014-08-18 2016-02-25 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints and construction areas in navigation
US10262213B2 (en) 2014-12-16 2019-04-16 Here Global B.V. Learning lanes from vehicle probes
JP6456682B2 (ja) 2014-12-25 2019-01-23 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US10474907B2 (en) * 2016-03-10 2019-11-12 Panasonic Intellectual Property Corporation Of America Apparatus that presents result of recognition of recognition target
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
CN108216229B (zh) * 2017-09-08 2020-01-10 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
KR102421855B1 (ko) 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005132A (ja) * 2013-06-20 2015-01-08 株式会社豊田中央研究所 仮想レーン生成装置及びプログラム
CN104670229A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 假想车道线生成装置与方法及车道线保持控制系统
US20160328619A1 (en) * 2013-12-24 2016-11-10 Lg Electronics Inc. Vehicle driving assistance device and vehicle having the same
US20180150700A1 (en) * 2015-05-07 2018-05-31 Hitachi, Ltd. Lane Detection Device and Lane Detection Method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396041A (zh) * 2021-01-19 2021-02-23 四川京炜数字科技有限公司 一种基于图像识别的道路标线对位系统
CN113928336A (zh) * 2021-09-24 2022-01-14 上海时代之光照明电器检测有限公司 一种汽车自动驾驶辅助方法及系统
CN113928336B (zh) * 2021-09-24 2023-09-01 上海时代之光照明电器检测有限公司 一种汽车自动驾驶辅助方法及系统
US11443531B1 (en) * 2021-12-16 2022-09-13 Plusai, Inc. Methods and apparatus for automatic collection of under-represented data for improving a training of a machine learning model
US11836994B2 (en) 2021-12-16 2023-12-05 Plusai, Inc. Methods and apparatus for automatic collection of under-represented data for improving a training of a machine learning model

Also Published As

Publication number Publication date
KR20200023865A (ko) 2020-03-06
US20200064855A1 (en) 2020-02-27
US11294392B2 (en) 2022-04-05
KR102595897B1 (ko) 2023-10-30
EP3654235A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
US11294392B2 (en) Method and apparatus for determining road line
CN110155053B (zh) 提供用于驾驶车辆的信息的方法和设备
US11200433B2 (en) Detection and classification systems and methods for autonomous vehicle navigation
EP3818339B1 (en) Systems and methods for vehicle navigation
US20220001872A1 (en) Semantic lane description
CN111874006B (zh) 路线规划处理方法和装置
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP2023536407A (ja) 走行可能面識別技術
KR102589967B1 (ko) 차선을 검출하는 방법 및 장치
JP2023106536A (ja) 画像分析に基づく車両ナビゲーションのためのシステム
CN111091037A (zh) 用于确定驾驶信息的方法和设备
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
CN116783455A (zh) 用于检测打开的门的系统和方法
CN114341939A (zh) 作为数据增强方法的真实世界图像道路曲率生成
WO2023126680A1 (en) Systems and methods for analyzing and resolving image blockages
KR101706455B1 (ko) 도로표지판 검출 기반 주행 차로 추정 방법 및 장치
US20240119740A1 (en) Method and apparatus with lane line determination
KR102603877B1 (ko) 차량의 정밀 측위 방법 및 장치
JP2024062323A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination