CN108509832B - 用于产生虚拟车道的方法和装置 - Google Patents

Abstract

提供一种用于产生虚拟车道的方法和装置。所述虚拟车道产生方法包括：确定从车辆前方的图像提取的车道检测信息的有效性；响应于确定车道检测信息无效，基于包括在所述图像中的对象，产生虚拟车道。

Description

用于产生虚拟车道的方法和装置

本申请要求于2017年2月28日提交到韩国知识产权局的第10-2017-0026524号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

以下描述涉及产生虚拟车道。

背景技术

在自动驾驶中，各种驾驶操作可被自动地执行。例如，自动驾驶主机车辆可在没有驾驶员操作(诸如，转动方向盘、驱动加速踏板或制动踏板)的情况下在道路上行驶。用于自动驾驶的各种技术使用由车辆确定的周围图像信息。可从车辆的前方视图图像检测用于这样的自动驾驶的车道。然而，可采集的信息可受到例如车辆的周围地形、不利的天气条件(例如，雪、雨和雾)和道路状况的限制。

发明内容

提供本发明内容从而以简化的形式介绍在下面的具体实施方式中进一步描述的对构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定所要求保护的主题的范围。

在一个总体方面，提供一种虚拟车道产生方法，包括：确定从车辆前方的图像提取的车道检测信息的有效性；响应于确定车道检测信息无效，基于包括在所述图像中的对象，产生虚拟车道。

产生虚拟车道的步骤可包括：从所述图像检测对象；基于检测到的对象产生虚拟车道。

检测对象的步骤可包括：检测包括对象的对象区域和包括对象的特征部分的特征区域。

产生虚拟车道的步骤可包括：通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组；基于所述至少一个驾驶组，产生虚拟车道。

基于所述至少一个驾驶组产生虚拟车道的步骤可包括：响应于所述至少一个驾驶组包括多个驾驶组，基于由所述至少一个驾驶组中的每个占据的区域，估计车道区域；在估计的车道区域中的每个之间产生虚拟车道边界线；基于虚拟车道边界线，产生虚拟车道。

所述图像可包括连续的帧图像；产生虚拟车道的步骤可包括：通过跟踪包括在一个时间段期间的连续的帧图像中的对象来产生驾驶组，并基于驾驶组识别虚拟车道。

识别驾驶组的步骤可包括：响应于对象的速度与所述车辆的速度不同，通过跟踪对象的移动来产生驾驶组。

确定车道检测信息的有效性的步骤可包括：从所述图像提取车道检测信息；确定车道检测信息的有效性分数是否超过阈值分数。

确定有效性分数是否超过阈值分数的步骤可包括：基于与所述车辆周围的亮度等级相关联的亮度等级信息、天气信息、时间信息和所述图像的图像质量信息中的任意一个或任意组合，计算有效性分数。

所述虚拟车道产生方法可包括：显示虚拟车道。

确定车道检测信息的有效性的步骤可包括：基于从所述图像检测到的对象的特征，确定车道检测信息的有效性。

确定车道检测信息的有效性的步骤可包括：从所述图像检测警告对象；从车道检测信息排除与警告对象对应的车道边界线。

产生虚拟车道的步骤可包括：从所述图像检测目标对象；响应于从目标对象检测到指示信息，在产生虚拟车道的步骤中排除目标对象。

所述虚拟车道产生方法可包括：基于产生的虚拟车道，产生驾驶路线。

确定车道检测信息的有效性的步骤可包括：验证目标对象的移动路线是否匹配基于车道检测信息的车道；响应于移动路线不匹配基于车道检测信息的车道，从车道检测信息排除与目标对象对应的车道边界线。

确定车道检测信息的有效性的步骤可包括：响应于目标对象的移动速度减小为小于阈值速度，从车道检测信息排除与目标对象对应的车道边界线。

产生虚拟车道的步骤可包括：检测指示距从所述图像检测到的对象的距离的深度信息；基于所述图像和深度信息，产生虚拟车道。

产生虚拟车道的步骤可包括：基于所述车辆的位置信息和与位置信息对应的道路信息，产生虚拟车道。

确定车道检测信息的有效性的步骤可包括：响应于车道边界线的概率小于阈值概率，从车道检测信息排除车道边界线。

确定车道检测信息的有效性的步骤可包括：基于与所述车辆周围的亮度等级相关联的亮度等级信息、天气信息、时间信息、污染等级、所述车辆的外部的清洁度和所述图像的图像质量信息中的任意一个或任意组合，计算至少两个有效性分数；验证提取的车道检测信息的所述至少两个有效性分数是否超过各自的阈值分数。

确定车道检测信息的有效性的步骤可包括：响应于提取的车道检测信息的有效性分数波动大于阈值波动，确定车道检测信息无效。

对象可包括：被跟踪以产生虚拟车道的目标对象；与警告所述车辆危险的信息相关联的警告对象；处于静止的固定对象。

产生虚拟车道的步骤可包括：在所述车辆的位置获得天气信息；基于所述图像和天气信息，产生虚拟车道。

所述虚拟车道产生方法可包括：响应于相邻车道边界线之间的距离小于阈值距离，从车道边界线之中排除所述相邻车道边界线。

在另一总体方面，提供一种存储指令的非暂时性计算机可读介质，当所述指令由处理器执行时，使处理器执行如上所述的虚拟车道产生方法。

在另一总体方面，提供一种虚拟车道产生装置，包括：图像获取器，被配置为获得车辆前方的图像；处理器，被配置为：确定从所述图像提取的车道检测信息的有效性，并响应于确定车道检测信息无效，基于所述图像中的对象产生虚拟车道。

在另一总体方面，提供一种虚拟车道产生方法，包括：确定从车辆前方的图像提取的车道检测信息的有效性；响应于车道检测信息无效，通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组；响应于所述至少一个驾驶组包括多个驾驶组，基于由所述至少一个驾驶组中的每个占据的区域，估计车道区域；在估计的车道区域中的每个之间，产生虚拟车道边界线；基于虚拟车道边界线，产生虚拟车道。

对象可包括被跟踪以产生虚拟车道的目标对象、前面的车辆、附近车辆、车辆特征、与警告所述车辆危险的信息相关联的警告对象和处于静止的固定对象中的任意一个或任意组合。

产生驾驶组的步骤可包括：在所述车辆的位置获得道路信息；确定将基于道路信息产生的驾驶组的最大数量和最小数量。

道路信息可包括：在所述位置处的道路的宽度、在所述位置处的道路上的车道的数量和在所述位置处的道路的状况中的任意一个或任意组合。

在另一总体方面，提供一种虚拟车道产生设备，包括：传感器，被配置为捕获车辆前方的图像；触敏显示器；存储器，被配置为存储指令；处理器，被配置为：接收所述图像，执行所述指令，以：确定从所述图像提取的车道检测信息的有效性，响应于车道检测信息无效，基于所述图像中的对象产生虚拟车道，将虚拟车道输出到显示器或自动驾驶设备。

处理器可被配置为：基于对象、从全球定位系统(GPS)采集的位置信息和光检测与测距(LiDAR)数据，产生虚拟车道。

根据下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。

附图说明

图1和图2是示出虚拟车道产生方法的示例的示图。

图3是示出获得外部图像的方法的示例的示图。

图4至图7是示出确定车道检测信息的有效性的方法的示例的示图。

图8是示出检测对象和特征部分的方法的示例的示图。

图9和图10是示出对象聚类(object clustering)的示例的示图。

图11是示出估计车道区域的方法的示例的示图。

图12是示出产生虚拟车道边界线的方法的示例的示图。

图13和图14是示出虚拟车道的示例的示图。

图15是示出从目标对象检测到的指示信息的示例的示图。

图16和图17是示出虚拟车道产生装置的示例的示图。

贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。为了清楚、说明和方便，附图可不按比例，并且附图中的元件的相对大小、比例和描写可被夸大。

具体实施方式

提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在彻底理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，操作的顺序不局限于在此阐述的顺序，而是除了必须按特定次序发生的操作之外，操作的顺序可如理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简洁，本领域中已知的特征的描述可被省略。

在此描述的特征可以以不同的形式实现，并且不被解释为受限于在此描述的示例。相反，在此描述的示例仅被提供以示出实现在此描述的方法、设备和/或系统的许多可行方式中的一些方式，这在理解本申请的公开之后将是清楚的。

可在此使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个术语不用于限定相应组件的本质、次序或顺序，而仅用于将相应的组件与其他组件区分。例如，第一组件可被称为第二组件，相似地，第二组件也可被称为第一组件。

应注意，如果在本说明书中描述一个组件“连接”、“结合”或“接合”到另一组件，则尽管第一组件可直接连接到、结合到或接合到另一组件，但是第三组件可“连接”、“结合”或“接合”在第一组件与第二组件之间。此外，应注意，如果在本说明书中描述一个组件“直接连接”、“直接结合”或“直接接合”另一组件，则在它们之间可不存在第三组件。同样地，也可如前述中描述的那样来解释例如“在……之间”和“直接在……之间”以及“与……相邻”和“直接与……相邻”的表述。

在此使用的术语仅为了描述具体实施例，而不意在限制。除非上下文另有清楚的指示，否则如在此使用的单数形式也意在包括复数形式。

图1和图2是示出虚拟车道产生方法的示例的示图。在不脱离描述的说明性示例的精神和范围的情况下，可以以所示的顺序和方式执行图1至图2中的操作，但是可改变一些操作的次序或者省略一些操作。可并行或同时执行在图1至图2中所示的许多操作。图1至图2的一个或多个块以及块的组合可由执行特定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。

参照图1，在操作110中，虚拟车道产生装置确定从来自车辆的前方视图的外部图像提取的车道检测信息的有效性。外部图像是在车辆前方部分的图像。

在一个示例中，虚拟车道产生装置设置在车辆中。车辆表示运输、递送或通信的任意模式(诸如，汽车、卡车、拖拉机、踏板车、摩托车、自行车、两栖车辆、雪地车、公共运输车辆、公共汽车、单轨电车、火车、有轨电车、无人飞行器或无人机)。

在一个示例中，虚拟车道产生装置被包含在车载导航设备(诸如，巡航控制、自适应巡航控制、车道保持辅助系统和车道偏离预警系统)中。

在另一示例中，虚拟车道产生装置被包括在安置在车辆中的另一装置中。在一个示例中，虚拟车道产生装置被实现为或被包含在各种类型的产品(诸如，智能代理、移动电话、蜂窝电话、智能电话、可穿戴智能装置(诸如，戒指、手表、眼镜、眼镜型装置、手链、脚链、腰带、项链、耳环、头带、头盔、嵌入衣物中的装置或眼镜显示器(EGD))、服务器、个人计算机(PC)、膝上型电脑、笔记本电脑、小型笔记本电脑、上网本、超便携移动PC(UMPC)、平板个人计算机(平板)、平板手机、移动联网装置(MID)、个人数字助理(PDA)、企业数字助理(EDA)、数码相机、数字视频相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝上型PC、全球定位系统(GPS)导航、个人导航装置、便携式导航装置(PND)、手持游戏机、电子书、高清电视(HDTV)、智能家电、通信系统、图像处理系统、图形处理系统、通过网络控制的各种物联网(IoT)装置、智能交通工具、智能汽车、自动驾驶车辆、其他消费电子/信息技术(CE/IT)装置、或者能够与在此公开的产品一致的无线通信或网络通信的任意其他装置)中。

在另一示例中，虚拟车道产生装置位于车辆外部，并布置在装置(诸如，计算机、服务器和移动电话)中，并通过与在此公开的装置一致的无线通信或网络通信来与车辆通信。

在一个示例中，车道检测信息表示与从车辆的前方视图检测的车道相关联的信息。车道检测信息包括外部图像中的信息(诸如，车道边界线和车道区域)。车道边界线表示车道之间的边界线。车道区域表示与外部图像中的车道对应的区域。

参照图4至图7进一步描述确定车道检测信息的有效性的步骤。

在操作120中，当确定车道检测信息无效时，虚拟车道产生装置基于包括在外部图像中的对象来产生虚拟车道。在一个示例中，对象是与包括虚拟车道产生装置的车辆不同的另一车辆、人类、静止对象或动物。然而，对象不限于前述示例，而是包括不脱离描述的说明性示例的精神和范围的所有其他对象。虚拟车道表示由虚拟车道产生装置估计的车辆可能行驶的车道。

在一个示例中，当虚拟车道产生装置无法从外部图像识别车道边界线时，虚拟车道产生装置基于当前存在于车辆周围的对象来产生新的虚拟车道，以帮助车辆行驶。

当确定车道检测信息有效时，虚拟车道产生装置使用有效的车道检测信息，而不产生虚拟车道。在一个示例中，虚拟车道产生装置向用户显示有效的车道检测信息，或者为车辆(诸如，自动驾驶车辆)产生驾驶路线。

图2是示出虚拟车道产生方法的示例的示图。除了下面图2的描述之外，图1的描述也适用于图2，并且通过引用包含于此。因此，这里可不重复以上描述。

参照图2，在操作201中，虚拟车道产生装置获得外部图像。在一个示例中，虚拟车道产生装置通过从车辆的前方视图捕获图像，来获得外部图像。在一个示例中，外部图像是彩色图像。然而，在不脱离描述的说明性示例的精神和范围的情况下，可使用其他类型的外部图像(诸如，红外图像、灰度图像和深度图像)。

如上面所讨论的，在操作110中，虚拟车道产生装置确定车道检测信息的有效性。虚拟车道产生装置从外部图像提取车道检测信息。

在操作211中，虚拟车道产生装置确定车道边界线是否是可检测的。在一个示例中，当无法检测车道边界线时，虚拟车道产生装置确定车道检测信息无效。例如，可无法从车辆的前方道路检测的车道边界线是诸如以下的情况：乡郊地区中的没有很好地界定的道路或车道边界线的涂漆部分已经脱落的道路。在一个示例中，当检测到的线类对象是车道边界线的概率小于阈值概率时，无法检测车道边界线，并从车道检测信息排除检测到的线类对象。

在操作212中，当检测到车道边界线时，虚拟车道产生装置确定检测到的车道边界线是否有效。在一个示例中，虚拟车道产生装置确定提取的车道检测信息的有效性分数是否超过阈值分数。

有效性分数表示：指示车道检测信息的有效性的分数。在一个示例中，虚拟车道产生装置基于与车辆周围的亮度相关联的亮度等级信息、天气信息、时间信息、道路中或道路周围的污染等级、车辆外部的清洁度和外部图像的图像质量信息中的至少一个，来计算有效性分数。在一个示例中，基于亮度等级信息、天气信息、时间信息、道路中或道路周围的污染等级、车辆外部的清洁度和图像质量信息中的至少两个，来计算有效性分数。然而，计算有效性分数的方法不限于上述示例，可使用上述信息计算多个有效性分数。

亮度等级信息表示：指示车辆周围的亮度等级的信息。天气信息表示：指示车辆所在位置的天气的信息。时间信息表示与车辆的当前时间相关联的信息。在一个示例中，时间信息指示当前时间是白天还是夜晚。图像质量信息表示：指示外部图像的质量的信息。在一个示例中，道路中或道路周围的污染等级指示车辆周围的烟雾等级。在一个示例中，车辆外部的清洁度指示外部是否被灰尘或污物所包围。

例如，当基于亮度等级信息、天气信息、时间信息、图像质量信息、道路中或道路周围的污染等级和车辆外部的清洁度中的至少一个，计算了单个有效性分数时，虚拟车道产生装置确定单个阈值分数，并且确定单个有效性分数是否超过阈值分数。在另一示例中，当基于亮度等级信息、天气信息、时间信息、道路中或道路周围的污染等级、车辆外部的清洁度和图像质量信息中的至少两个，计算了多个有效性分数时，虚拟车道产生装置确定分别与多个有效性分数对应的多个阈值分数，并且确定多个有效性分数中的每个是否超过每个对应的阈值分数。

当有效性分数超过阈值分数时，虚拟车道产生装置确定车道检测信息有效。当有效性分数小于或等于阈值分数时，虚拟车道产生装置确定车道检测信息无效。当计算了多个有效性分数时，虚拟车道产生装置在多个有效性分数之一小于或等于对应的阈值分数时确定车道检测信息无效。然而，计算有效性分数不限于上述示例。在一个示例中，当超过对应的阈值分数的有效性分数的数量小于或等于预设数量时，虚拟车道产生装置确定车道检测信息无效。在一个示例中，在车辆周围的亮度等级由于各种原因(例如，处于夜晚，能见度低)小于或等于阈值的情况下，虚拟车道产生装置确定不可使用车道检测信息。在一个示例中，当使用天气信息时，在有雪天气或有雨天气中，虚拟车道产生装置确定车道检测信息的可靠性为低。在一个示例中，在有效性分数的波动超过阈值波动的情况下，虚拟车道产生装置确定车道检测信息无效。

基于有效性分数确定车道检测信息的有效性是非详尽示例，可基于各种其他因素(诸如，对象的特征)来确定车道检测信息的有效性。将参照图4至图7描述确定车道检测信息的有效性的步骤。

当确定检测到的车道边界线有效时，虚拟车道产生装置使用关于检测到的车道边界线的信息，而不产生虚拟车道。

在操作120中，当确定车道检测信息无效时，虚拟车道产生装置基于包括在外部图像中的对象产生虚拟车道。

在一个示例中，在操作221中，虚拟车道产生装置从外部图像提取对象和对象的特征部分。虚拟车道产生装置从外部图像检测存在于车辆前方的对象。虚拟车道产生装置检测包括对象的对象区域和包括对象的特征部分的特征区域。对象区域表示外部图像中的与对象对应的区域。特征区域表示外部图像中的与特征部分对应的区域。特征部分表示：指示对象的特征的部分。例如，在对象是车辆的情况下，对象的特征可包括：车辆的任意一侧或两侧上的尾灯、后视镜、车轮和牌照。将参照图8进一步描述提取对象和特征部分。

在操作222中，虚拟车道产生装置基于检测到的对象和检测到的特征部分来执行聚类。在一个示例中，虚拟车道产生装置通过对存在于外部图像中的车辆前方的对象进行聚类，来产生驾驶组。将参照图9进一步描述聚类。

在操作223，虚拟车道产生装置基于通过聚类产生的驾驶组来估计虚拟车道区域。在一个示例中，当产生多个驾驶组时，虚拟车道产生装置基于由每个驾驶组占据的区域，来估计多个虚拟车道区域。将参照图11进一步描述虚拟车道区域的估计。

在操作224中，在一个示例中，虚拟车道产生装置产生与虚拟车道区域之间的中心对应的虚拟车道边界线。在一个示例中，虚拟车道产生装置基于产生的虚拟车道边界线来产生虚拟车道。虚拟车道产生装置在估计的虚拟车道区域中的相邻的虚拟车道区域之间产生虚拟车道边界线。虚拟车道表示由虚拟车道边界线划界的车辆可行驶的估计的车道。将参照图12进一步描述虚拟车道边界线的产生。

因此，虚拟车道产生装置通过基于检测到的对象估计虚拟车道边界线来产生虚拟车道。然而，产生虚拟车道的方法不限于在前述中描述的示例，并且虚拟车道产生装置可基于其他因素(诸如，外部图像、深度信息、驾驶组、与车辆所在的点相关联的位置信息和与位置信息对应的道路信息)来产生虚拟车道。在一个示例中，位置信息包括与车辆所在的点相关联的全球定位系统(GPS)信息，道路信息表示与道路相关联的信息，并且道路信息包括：道路上的车道的数量、道路的类型、道路的位置、正在施工的道路和封闭的道路。

在操作230中，虚拟车道产生装置显示产生的虚拟车道边界线。在一个示例中，虚拟车道产生装置通过平视显示器(HUD)，在车辆的挡风玻璃上显示虚拟车道边界线。然而，虚拟车道边界线的显示不限于在前述中描述的示例，并且车辆中的任意其他仪表组或显示面板可执行显示功能。在另一示例中，当挡风玻璃连接到虚拟车道产生装置时，虚拟车道产生装置可请求挡风玻璃显示虚拟车道边界线。在不脱离描述的说明性示例的精神和范围的情况下，可使用其他显示器，诸如，可操作地连接到虚拟车道产生装置的智能电话和眼镜显示器(EGD)。将参照图13进一步描述虚拟车道边界线的显示。

例如，在一个示例中，当道路上的车道边界线由于暴雨而不能容易地识别时，虚拟车道产生装置可基于附近车辆和附近车辆的特征部分来估计附近车辆的移动路线。在一个示例中，虚拟车道产生装置基于估计的移动路线来产生虚拟车道边界线，并将提供产生的虚拟车道边界线，以帮助驾驶员或自动驾驶车辆驾驶。

图3是示出获得外部图像的方法的示例的示图。

参照图3，虚拟车道产生装置从车辆的前方视图获得外部图像300。虚拟车道产生装置可设置在车辆中，虚拟车道产生装置的相机可布置为面对车辆的前侧。外部图像300可以是彩色图像。然而，外部图像300不限于彩色图像，并且可以是黑白图像、红外图像或深度图像。

图4至图7是示出确定车道检测信息的有效性的方法的示例的示图。

参照图4，虚拟车道产生装置在车辆经过建筑工地时获得外部图像400。

在一个示例中，虚拟车道产生装置基于从车辆的前方视图检测到的对象的特征来确定车道检测信息的有效性。在一个示例中，如在图4中所示，虚拟车道产生装置从外部图像400检测多个对象，并识别每个检测到的对象的特征。在一个示例中，基于对象的特征，对象被分类为目标对象、警告对象410和固定对象。目标对象表示作为将被跟踪以产生虚拟车道的目标的对象(例如，行驶在车辆之前的另一车辆或前面的车辆)。警告对象410表示与警告车辆危险的信息相关联的对象，例如，警告对象410可以是指示建筑工地的指示牌以及位于道路上的障碍物。固定对象表示固定到道路的对象或者静止的对象，例如，固定对象可以是灯杆或者已经停下或停在道路的边缘的车辆。

虚拟车道产生装置从车辆的前方视图检测警告对象410。在图4的示例中，警告对象被示出为指示封闭车道的指示板和防止车辆进入的障碍物。

虚拟车道产生装置从车道检测信息排除与警告对象410对应的车道边界线。在一个示例中，虚拟车道产生装置从车道检测信息排除与布置警告对象410的车道对应的车道边界线。

在另一示例中，虚拟车道产生装置可确定目标对象的移动路线是否匹配基于车道检测信息的车道。当移动路线不匹配车道时，虚拟车道产生装置可从车道检测信息排除与目标对象对应的车道边界线。

在另一示例中，当目标对象的移动速度减小到小于阈值速度时，虚拟车道产生装置可从车道检测信息排除与目标对象对应的车道边界线。

当检测到的车道边界线从车道检测信息被排除并且不存在有效的车道边界线时，虚拟车道产生装置可确定车道检测信息无效。

车道检测信息的有效性的确定不限于在前述中描述的示例。在另一示例中，当指示车辆当前所在的道路正在施工的信息基于道路信息被识别时，虚拟车道产生装置可确定从车辆的当前位置检测到的车道检测信息的至少一部分无效。例如，在另一示例中，当驾驶员执行手动操作以产生虚拟车道时，虚拟车道产生装置可确定车道检测信息无效。

图5是示出由于雪导致无法检测到车道边界线的外部图像500的示例的示图。当天气恶化并且能见度不好时，虚拟车道产生装置可确定车道检测信息无效。在一个示例中，如在图5中所示，黄色中心线510部分被雪覆盖，因此虚拟车道产生装置无法从外部图像500检测车道边界线。在这样的示例中，当无法检测车道边界线时，因此虚拟车道产生装置确定车道检测信息无效。

然而，确定车道检测信息的有效性的方法不限于在前述中描述的示例。在一个示例中，除了外部图像500之外，虚拟车道产生装置还使用天气信息。在一个示例中，在与车辆的当前位置对应的天气信息指示妨碍能见度的天气条件(例如，雪、雨和阴天)时，虚拟车道产生装置可确定车道检测信息无效。

图6是示出在拥堵道路中获得的外部图像600的示例的示图。由多个其他车辆覆盖的车道边界线可无法检测，因此，虚拟车道产生装置可确定车道检测信息无效。

图7是示出包括交叉路口的外部图像700的示例的示图。在一个示例中，如在图7中所示，多个车道边界线710在交叉路口相对于相同路线重叠。在这样的示例中，虚拟车道产生装置可无法检测到准确的车道边界线。在一个示例中，当车道边界线710之间的距离小于阈值距离时，虚拟车道产生装置确定车道检测信息无效。

然而，确定车道检测信息的有效性的方法不限于在前述中描述的示例。当与车辆的当前位置对应的道路信息指示交叉路口时，虚拟车道产生装置可确定从当前位置检测到的车道检测信息无效。

在一个示例中，当基于参照图3至图7描述的方法中的任意方法确定车道检测信息无效时，虚拟车道产生装置可执行将参照图8至图15描述的用于产生虚拟车道的方法或操作。

图8是示出检测对象和特征部分的方法的示例的示图。

参照图8，虚拟车道产生装置从外部图像800检测包括对象的对象区域810和包括对象的特征部分的特征区域820。

在一个示例中，虚拟车道产生装置使用被训练为检测对象(诸如，车辆)的神经网络来检测包括对象的对象区域810。除了由相机捕获的外部图像800之外，虚拟车道产生装置还使用通过经由光检测和测距(LiDAR)传感器捕获图像获得的传感器信息，来检测对象区域810。在一个示例中，传感器信息包括，诸如，指示从包含虚拟车道产生装置的车辆到检测到的对象的距离的深度信息的信息。神经网络表示被训练为检测包括跟随对象的对象的特征部分的特征区域820的模型。

图9和图10是示出对象聚类的示例的示图。

图9是示出使用利用参照图8描述的方法检测到的对象区域和特征区域将对象进行聚类的方法的示图。参照图9，虚拟车道产生装置通过对外部图像900中的存在于车辆前方的对象执行聚类来产生驾驶组。驾驶组表示检测到的对象基于车道被分类的组。在一个示例中，驾驶组被分类为与车辆当前正在行驶的驾驶车道对应的驾驶车道驾驶组910、与驾驶车道的左侧对应的左侧驾驶组920和与驾驶车道的右侧对应的右侧驾驶组。驾驶车道表示包括虚拟车道产生装置的车辆当前行驶的车道。

在一个示例中，虚拟车道产生装置基于外部图像900中的对象区域的位置坐标，对对象进行聚类。虚拟车道产生装置将从第一边界坐标的左侧检测到的对象区域921添加到左侧驾驶组920。虚拟车道产生装置将从第二边界坐标的右侧检测到的对象区域930添加到右侧驾驶组。虚拟车道产生装置将在第一边界坐标与第二边界坐标之间检测到的对象区域911添加到驾驶车道驾驶组910。第一边界坐标与第二边界坐标被设置，以在外部图像900中对驾驶组进行分类。在一个示例中，第一边界坐标和第二边界坐标被设置在水平轴(或者，x轴)上。

在一个示例中，虚拟车道产生装置使用被训练为对对象区域的驾驶组进行分类的模型。在一个示例中，虚拟车道产生装置使用神经网络、支持向量机(SVM)和决策树来确定对象区域所属的驾驶组。

然而，聚类不限于在前述中描述的示例，并且在一个示例中，虚拟车道产生装置基于道路信息对对象进行聚类。在一个示例中，虚拟车道产生装置从与车辆的当前位置对应的道路信息，提取车辆当前行驶的道路的宽度、道路的状况和道路上的车道的数量。虚拟车道产生装置基于提取的道路的宽度和车道的数量，估计针对车辆当前行驶的道路分类的驾驶组的最大数量和最小数量。

图10是示出针对每条车道在当前车辆前方行驶的车辆的数量小于或等于1时执行的对象聚类的示例的示图。

参照图10，虚拟车道产生装置获得包括连续的帧图像的外部图像1000。虚拟车道产生装置通过跟踪在一个时间段期间的连续的帧图像中的对象来产生驾驶组1010。当以m帧每秒(fps)捕获连续的帧图像时，时间间隔可以是n/m，其中，m表示大于或等于1的整数(例如，30fps或60fps)，n表示大于或等于1的整数。在一个示例中，虚拟车道产生装置在如图10所示的时间间隔期间，从每个帧图像跟踪与同一对象对应的对象区域。虚拟车道产生装置以相继次序检测第一对象区域1015、第二对象区域1014、第三对象区域1013、第四对象区域1012和第五对象区域1011。虚拟车道产生装置对与同一对象对应的对象区域1011至对象区域1015执行聚类，以产生单个驾驶组1010。在图10的示例中，n为5。

当对象的速度与车辆的速度不同时，虚拟车道产生装置通过跟踪对象的移动来产生驾驶组1010。

当车辆的速度与前面车辆的速度之间的差大于或等于阈值差时，虚拟车道产生装置从连续的帧图像跟踪对象的移动。在一个示例中，当对象的速度大于车辆的速度时，虚拟车道产生装置跟踪对象的移动。

在一个示例中，虚拟车道产生装置组合地使用参照图9和图10描述的聚类的方法。在一个示例中，当多个车辆沿第一车道移动并且单个车辆沿第二车道移动时，虚拟车道产生装置对沿第一车道移动的车辆执行聚类以产生驾驶组，并基于对单个车辆的连续跟踪结果对沿第二车道移动的单个车辆执行聚类以产生驾驶组。

参照图9和图10描述了基于对象区域执行的聚类。然而，聚类不限于描述的示例。在一个示例中，虚拟车道产生装置通过对从车辆的前方视图检测到的尾灯进行聚类来产生驾驶组。在另一示例中，虚拟车道产生装置通过对从车辆的前方视图检测到的车轮进行聚类来产生驾驶组。在另一示例中，虚拟车道产生装置通过使用基于LiDAR传感器的深度信息、车辆当前所在道路的实际宽度和车道信息针对每条车道进行聚类，来产生驾驶组。

图11是示出估计多个车道区域的方法的示例的示图。

在一个示例中，虚拟车道产生装置基于驾驶组产生车道区域。在多个驾驶组的情况下，虚拟车道产生装置基于由每个驾驶组占据的区域来估计多个车道区域。然而，车道区域的估计不限于在前述中描述的示例。在一个示例中，在单个驾驶组的情况下，虚拟车道产生装置可基于由单个驾驶组占据的区域来估计单个车道区域。

参照图11，虚拟车道产生装置产生指示外部图像1100中的左驾驶组1121和1122的左车道区域的轮廓(outline)1191和1192。虚拟车道产生装置产生指示中心驾驶组1111和1112的中心车道区域的轮廓1193和1194。相似地，虚拟车道产生装置产生右驾驶组1131的右车道区域。

在一个示例中，虚拟车道产生装置通过对由每个驾驶组占据的区域执行曲线拟合来产生车道区域。曲线拟合方法可包括诸如以下项的方法：使用线性最小二乘的方法和使用非线性回归模型的方法。在一个示例中，通过基于与属于驾驶组的车辆的边界框的中心坐标相关联的位置信息的曲线拟合(例如，使用线性最小二乘的方法和使用非线性回归模型的方法)，来估计车道区域。在一个示例中，通过基于与位于左车道区域上的车辆的最外侧右坐标和/或位于右车道区域上的车辆的最外侧左坐标相关联的位置信息的曲线拟合，来估计车道区域。在一个示例中，通过基于车辆的特征点的位置信息的曲线拟合，来估计车道区域。在前述中描述的每个示例中，位置信息用作曲线拟合的输入。

在另一示例中，虚拟车道产生装置使用训练为基于对象区域产生车道区域的模型。训练为产生车道区域的模型可以是从自动编码器修改的模型。然而，模型不限于在前述中描述的示例，因此虚拟车道产生装置可使用训练为从检测到的对象区域和检测到的特征区域输出车道区域的模型。

图12是示出产生虚拟车道边界线的方法的示例的示图。

在一个示例中，虚拟车道产生装置基于通过参照图11描述的方法提取的车道区域，来产生虚拟车道边界线。参照图12，基于由通过对从外部图像1200检测到的对象区域1211、对象区域1212、对象区域1221、对象区域1222和对象区域1231进行聚类产生的驾驶组所占据的区域，来估计车道区域。通过指示车道区域的边界的轮廓1291、轮廓1292、轮廓1293和轮廓1294来定义车道区域。

虚拟车道产生装置在估计的车道区域中的相邻的车道区域之间产生虚拟车道边界线(例如，虚拟车道边界线1281和虚拟车道边界线1282)。在一个示例中，虚拟车道产生装置将穿过车道区域之中的相邻车道区域之间的中心的线确定为虚拟车道边界线1281。在图12的示例中，虚拟车道产生装置将穿过左车道区域的右轮廓1292与中心车道区域的左轮廓1293之间的中心的线确定为虚拟车道边界线1281。

在一个示例中，虚拟车道产生装置针对与前面车辆对应的驾驶组确定最窄车道区域和最宽车道区域，并将指示具有最窄车道区域和最宽车道区域的中间的宽度的车道区域的轮廓确定为车道边界线。在一个示例中，指示具有中间的宽度的车道区域的轮廓是位于指示最窄车道区域的轮廓与指示最宽车道区域的轮廓之间的平均位置上的一组坐标。

然而，示例不限于在前述中描述的示例。在基于前面车辆的尾灯来产生与前面车辆对应的驾驶组的情况下，虚拟车道产生装置可基于尾灯来确定车道区域。虚拟车道产生装置可通过对指示确定的车道区域的轮廓进行长度(例如，车辆的保险杠与尾灯之间的距离)补偿，来产生虚拟车道边界线。

图13和图14是示出虚拟车道的示例的示图。

参照图13，虚拟车道产生装置基于通过参照图12描述的方法产生的虚拟车道边界线1311和虚拟车道边界线1312来确定虚拟车道。

如在图13中所示，虚拟车道产生装置显示产生的虚拟车道。在一个示例中，虚拟车道产生装置通过平视显示器(HUD)向车辆的挡风玻璃1300提供虚拟车道边界线1311和虚拟车道边界线1312。在另一示例中，虚拟车道产生装置向仪表组、车载信息娱乐系统、使用增强现实的车辆中的屏幕或车辆中的显示面板提供虚拟车道边界线1311和虚拟车道边界线1312。

在另一示例中，虚拟车道产生装置向位于车辆中的显示器提供虚拟车道边界线1311和虚拟车道边界线1312。在一个示例中，显示器是包括一个或多个硬件组件的物理结构，其中，一个或多个硬件结构提供用于渲染用户界面和/或接收用户输入的能力。显示器可包含显示区域、手势捕获区域、触摸感应显示器和/或可配置区域中的任意组合。在一个示例中，显示器是可附接到虚拟车道产生装置并可从虚拟车道产生装置拆卸的外部外围装置。显示器可以是单屏幕或多屏幕显示器。单物理屏幕可包括作为单独的多个逻辑显示器来管理的多个显示器，其中，虽然单独的多个逻辑显示器是同一物理屏幕的部分，但是单独的多个逻辑显示器允许在单独的多个显示器上显示不同的内容。显示器还可被实现为智能电话或包括单眼眼镜或双眼眼镜的眼镜显示器(EGD)。

在另一示例中，虚拟车道产生装置通过音频信号输出虚拟车道边界线1311和虚拟车道边界线1312。在另一示例中，虚拟车道产生装置基于产生的虚拟车道来产生驾驶路线。在一个示例中，当确定车道检测信息无效时，虚拟车道产生装置控制车辆沿虚拟车道行驶。因此，虚拟车道产生装置可最小化在自动驾驶期间可能由能见度劣化导致的危险。

参照图14，固定对象存在于没有车道边界线的小巷中。

虚拟车道产生装置从外部图像1400检测对象1410，并基于对象1410的特征产生虚拟车道。在一个示例中，虚拟车道产生装置基于由固定对象所占据的区域的轮廓，来确定虚拟车道边界线1480。

因此，虚拟车道产生装置可在无法检测到车道边界线的小巷中产生虚拟车道，并向用户或自动驾驶车辆提供产生的虚拟车道。

图15是示出从目标对象检测的指示信息的示例的示图。

在一个示例中，虚拟车道产生装置从车辆的前方视图检测目标对象。当从目标对象检测到指示信息时，虚拟车道产生装置可在产生虚拟车道的处理中排除目标对象。参照图15，指示信息(例如，指示信息1591和指示信息1595)表示：指示目标对象的状态的信息(诸如，在一段时间内，由目标对象激活的转向信号灯、由目标对象激活的双闪灯以及由目标对象激活的制动灯)。

如在图15中所示，虚拟车道产生装置从外部图像1500的第一帧图像的对象区域1515，检测指示信息1595(例如，转向信号灯)，并分别从外部图像1500的第二帧图像、第三帧图像、第四帧图像和第五帧图像的对象区域1514、对象区域1513、对象区域1512和对象区域1511连续地检测指示信息(例如，从外部图像1500的第五帧图像的对象区域1511检测指示信息1591)。虚拟车道产生装置在产生虚拟车道的处理中排除与检测到的指示信息1591和指示信息1595相关联的同一目标对象的驾驶组1510。因此，虚拟车道产生装置通过排除检测到例外情况的车道，来产生更安全的虚拟车道。例外情况的一些示例是前面的车辆改变驾驶路线的情况和前面的车辆在紧急情况下停止的情况。在一个示例中，产生的更安全的虚拟车道被提供给用户或自动驾驶车辆。

图16和图17是示出虚拟车道产生装置的示例的示图。

参照图16，虚拟车道产生装置1600包括：图像获取器1610、处理器1620和显示器1630。

图像获取器1610从车辆的前方视图获得外部图像。

处理器1620确定从外部图像提取的车道检测信息的有效性，并当确定车道检测信息无效时，基于包括在外部图像中的对象产生虚拟车道。在一个示例中，虚拟车道显示在显示器1630上。然而，虚拟车道产生装置1600的操作不限于在前述中描述的示例，该操作可与参照图1至图15描述的操作进行组合。

参照图17，虚拟车道产生装置1700包括：相机1711、车道识别器1712、处理器1720、输出器1730、数据库1740和显示器1750。处理器1720可执行与图16的处理器1620相似的操作，并且处理器1720包括：车道边界线检测器1721、对象检测器1722、对象聚类器1723和虚拟车道边界线产生器1724。

相机1711从车辆(例如，自动驾驶车辆)的前方视图捕获外部图像。在一个示例中，相机1711捕获彩色图像作为外部图像。然而，外部图像不限于彩色图像，捕获不同类型图像的多种相机可被使用。

车道识别器1712识别车辆当前所在的道路的情况。在一个示例中，车道识别器1712基于GPS信号识别车辆的位置，并使用基于LiDAR传感器的深度信息识别距附近对象的距离。

车道边界线检测器1721从通过相机1711获得的外部图像检测来自车辆的前方视图的车道边界线。

对象检测器1722从外部图像识别存在于车辆前方的对象。在一个示例中，对象检测器1722基于对象的特征识别对象的类型。

对象聚类器1723通过对对象进行聚类来产生驾驶组。在一个示例中，对象聚类器1723基于车辆当前行驶的车道，产生当前驾驶组、左侧驾驶组和右侧驾驶组。

虚拟车道边界线产生器1724基于产生的驾驶组，产生虚拟车道边界线。在一个示例中，虚拟车道边界线产生器1724将虚拟车道边界线确定为穿过产生的驾驶组之间的区域的中心的线。

输出器1730输出产生的虚拟车道边界线。在一个示例中，输出器1730通过图像或音频信号将虚拟车道边界线输出到显示器1750或车辆。由输出器1730输出到显示器的虚拟车道边界线可被提供给驾驶员作为参考驾驶信息。在一个示例中，输出器1730将虚拟车道边界线叠加在实时图像上。此外，输出器1730将虚拟车道边界线叠加在导航系统的地图上的道路上，并提供叠加的虚拟车道边界线。此外，输出器1730针对来自车辆的前方视图的道路通过激光或投影仪，向驾驶员视觉地提供虚拟车道边界线。

数据库1740存储产生虚拟车道所需的数据。例如，数据库1740包括用于估计虚拟车道的训练模型、天气信息、交通信息和地图信息。

当驾驶员不能识别车道边界线或不能以正常的驾驶方式沿车道驾驶车辆时，虚拟车道产生装置1700可产生虚拟车道，并向驾驶员提供产生的虚拟车道，以通过用于驾驶的虚拟车道指导驾驶员。

通过硬件组件来实现执行在此描述的关于图1至图15的操作的图16和图17中所示的车道识别器1712、车道边界线检测器1721、对象检测器1722、对象聚类器1723、虚拟车道边界线产生器1724和其他设备、单元、模块、装置以及其他组件。可用于执行在本申请中描述的操作的硬件组件的示例在适当情况下包括：控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的一个或多个硬件组件通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元)、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编辑门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合，来实现处理器或计算机。在一个示例中，处理器或计算机包括或被连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算器实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行在本申请中描述的操作。硬件组件还可响应于指令或软件的执行，访问、操纵、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述中，但在其他示例中，可使用多个处理器或多个计算机，或者一个处理器或一个计算机可包括多个处理元件或多种类型的处理元件或者两者。例如，可通过单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器，来实现单个硬件组件、或者两个或更多个硬件组件。可通过一个或多个处理器、或者一个处理器和一个控制器，来实现一个或多个硬件组件，并且可通过一个或多个其他处理器、或者另一处理器和另一控制器，来实现一个或多个其他硬件组件。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任意一个或多个，不同的处理配置的示例包括：单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。

通过计算硬件(例如，通过一个或多个处理器或计算机)来执行在图1至图2中所示的执行在本申请中描述的操作的方法，其中，计算硬件被实现为如上所述地执行指令或软件，以执行在本申请中描述的由所述方法所执行的操作。例如，单个操作、或者两个或更多个操作可通过单处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器、或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器、或者另一处理器和另一控制器来执行。一个或多个处理器、或者一个处理器和一个控制器可执行单个操作、或者两个或更多个操作。

用于控制计算硬件处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件可被写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置处理器或计算机作为用于执行由硬件组件执行的操作和如上所述的方法的机器或专用计算机进行操作。在一个示例中，指令或软件包括储存防止冲突的方法的小程序、动态链接库(DLL)、中间件、固件、装置驱动器、应用程序中的至少一个。在一个示例中，指令或软件包括直接由一个或多个处理器或计算机执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域平台程序员可基于附图中示出的框图和流程图以及说明书中的相应描述使用任意编程语言容易地编写指令或软件，其中，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。

用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件和数据结构，可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电池可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘储存、硬盘驱动器(HDD)、固态驱动器(SSD)、卡型存储器(诸如，多媒体微型卡或卡(例如，安全数字(SD)或极速卡(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、和任何其他设备，该任何其他设备被配置为以非暂时方式存储指令或软件、以及任何相关联的数据、数据文件以及数据结构，并向处理器或计算机提供指令或软件、以及任何相关联的数据、数据文件以及数据结构，以便处理器或计算机能够执行指令。

尽管本公开包括特定示例，但是本领域普通技术人员将清楚的是，在不脱离权利要求和它们的等同物的精神和范围的情况下，可对这些示例做出形式和细节上的各种改变。在此描述的示例被认为仅是描述性的，而非为了限制的目的。在每一示例中的特征或方面的描述将被认为适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果在描述的系统、架构、装置、或电路中的组件以不同的方式组合，和/或被其他组件或它们的等同物代替或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为被包括在本公开中。

Claims (28)

1.一种虚拟车道产生方法，包括：

确定从车辆前方的图像提取的车道检测信息的有效性；

响应于确定车道检测信息无效，基于包括在所述图像中的对象，产生虚拟车道，

其中，确定车道检测信息的有效性的步骤包括：

从所述图像提取车道检测信息；

确定车道检测信息的有效性分数是否超过阈值分数，

其中，产生虚拟车道的步骤包括：

通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组；

基于所述至少一个驾驶组，产生虚拟车道，

其中，基于所述至少一个驾驶组产生虚拟车道的步骤包括：

响应于所述至少一个驾驶组包括多个驾驶组，基于由所述至少一个驾驶组中的每个占据的区域的边界的轮廓，估计车道区域；

在估计的车道区域中的相邻车道区域之间产生虚拟车道边界线；

基于虚拟车道边界线，产生虚拟车道，

其中，通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组的步骤包括：

响应于所述图像包括连续的帧图像，通过跟踪包括在一个时间段期间的连续的帧图像中的对象来产生驾驶组。

2.如权利要求1所述的虚拟车道产生方法，其中，产生虚拟车道的步骤包括：

从所述图像检测对象；

基于检测到的对象产生虚拟车道。

3.如权利要求2所述的虚拟车道产生方法，其中，检测对象的步骤包括：

检测包括对象的对象区域和包括对象的特征部分的特征区域。

4.如权利要求1所述的虚拟车道产生方法，其中，产生驾驶组的步骤包括：响应于对象的速度与所述车辆的速度不同，通过跟踪对象的移动来产生驾驶组。

5.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性分数是否超过阈值分数的步骤包括：

基于与所述车辆周围的亮度等级相关联的亮度等级信息、天气信息、时间信息和所述图像的图像质量信息中的任意一个或任意组合，计算有效性分数。

6.如权利要求1所述的虚拟车道产生方法，还包括：

显示虚拟车道。

7.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：

基于从所述图像检测到的对象的特征，确定车道检测信息的有效性。

8.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：

从所述图像检测警告对象；

从车道检测信息排除与警告对象对应的车道边界线。

9.如权利要求1所述的虚拟车道产生方法，其中，产生虚拟车道的步骤包括：

从所述图像检测目标对象；

响应于从目标对象检测到指示信息，在产生虚拟车道的步骤中排除目标对象。

10.如权利要求1所述的虚拟车道产生方法，还包括：

基于产生的虚拟车道，产生驾驶路线。

11.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：

验证目标对象的移动路线是否匹配基于车道检测信息的车道；

响应于移动路线不匹配基于车道检测信息的车道，从车道检测信息排除与目标对象对应的车道边界线。

12.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：

响应于目标对象的移动速度减小为小于阈值速度，从车道检测信息排除与目标对象对应的车道边界线。

13.如权利要求1所述的虚拟车道产生方法，其中，产生虚拟车道的步骤包括：

检测指示距从所述图像检测到的对象的距离的深度信息；

基于所述图像和深度信息，产生虚拟车道。

14.如权利要求1所述的虚拟车道产生方法，其中，产生虚拟车道的步骤包括：

基于所述车辆的位置信息和与位置信息对应的道路信息，产生虚拟车道。

15.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：响应于检测到的线类对象是车道边界线的概率小于阈值概率，从车道检测信息排除检测到的线类对象。

16.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：

基于与所述车辆周围的亮度等级相关联的亮度等级信息、天气信息、时间信息、污染等级、所述车辆的外部的清洁度和所述图像的图像质量信息中的至少两个，计算至少两个有效性分数；

验证提取的车道检测信息的所述至少两个有效性分数是否超过各自的阈值分数。

17.如权利要求1所述的虚拟车道产生方法，其中，确定车道检测信息的有效性的步骤包括：响应于提取的车道检测信息的有效性分数的波动大于阈值波动，确定车道检测信息无效。

18.如权利要求1所述的虚拟车道产生方法，其中，对象包括：被跟踪以产生虚拟车道的目标对象、与警告所述车辆危险的信息相关联的警告对象、或者处于静止的固定对象。

19.如权利要求1所述的虚拟车道产生方法，其中，产生虚拟车道的步骤包括：

在所述车辆的位置获得天气信息；

基于所述图像和天气信息，产生虚拟车道。

20.如权利要求1所述的虚拟车道产生方法，确定车道检测信息的有效性的步骤包括：

响应于相邻车道边界线之间的距离小于阈值距离，确定车道检测信息无效。

21.一种存储指令的非暂时性计算机可读介质，当所述指令由处理器执行时，使处理器执行如权利要求1所述的虚拟车道产生方法。

22.一种虚拟车道产生装置，包括：

图像获取器，被配置为：获得车辆前方的图像；

处理器，被配置为：确定从所述图像提取的车道检测信息的有效性，并响应于确定车道检测信息无效，基于所述图像中的对象产生虚拟车道，

其中，处理器被配置为：

从所述图像提取车道检测信息；

确定车道检测信息的有效性分数是否超过阈值分数，

通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组；

基于所述至少一个驾驶组，产生虚拟车道，

其中，处理器还被配置为：

响应于所述至少一个驾驶组包括多个驾驶组，基于由所述至少一个驾驶组中的每个占据的区域的边界的轮廓，估计车道区域；

在估计的车道区域中的相邻车道区域之间产生虚拟车道边界线；

基于虚拟车道边界线，产生虚拟车道，

其中，处理器还被配置为：

响应于所述图像包括连续的帧图像，通过跟踪包括在一个时间段期间的连续的帧图像中的对象来产生驾驶组。

23.一种虚拟车道产生方法，包括：

确定从车辆前方的图像提取的车道检测信息的有效性；

响应于车道检测信息无效，通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组；

响应于所述至少一个驾驶组包括多个驾驶组，基于由所述至少一个驾驶组中的每个占据的区域的边界的轮廓，估计车道区域；

在估计的车道区域中的相邻车道区域之间，产生虚拟车道边界线；

基于虚拟车道边界线，产生虚拟车道，

其中，确定车道检测信息的有效性的步骤包括：

从所述图像提取车道检测信息；

确定车道检测信息的有效性分数是否超过阈值分数，

其中，通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组的步骤包括：

响应于所述图像包括连续的帧图像，通过跟踪包括在一个时间段期间的连续的帧图像中的对象来产生驾驶组。

24.如权利要求23所述的虚拟车道产生方法，其中，对象包括：被跟踪以产生虚拟车道的目标对象、前面的车辆、附近车辆、车辆特征、与警告所述车辆危险的信息相关联的警告对象和处于静止的固定对象中的任意一个或任意组合。

25.如权利要求23所述的虚拟车道产生方法，其中，产生驾驶组的步骤包括：

在所述车辆的位置获得道路信息；

确定将基于道路信息产生的驾驶组的最大数量和最小数量。

26.如权利要求25所述的虚拟车道产生方法，其中，道路信息包括：在所述位置处的道路的宽度、在所述位置处的道路上的车道的数量和在所述位置处的道路的状况中的任意一个或任意组合。

27.一种虚拟车道产生设备，包括：

传感器，被配置为捕获车辆前方的图像；

显示器；

存储器，被配置为存储指令；

处理器，被配置为：

接收所述图像，

执行所述指令，以：确定从所述图像提取的车道检测信息的有效性；响应于车道检测信息无效，基于所述图像中的对象产生虚拟车道；将虚拟车道输出到显示器或自动驾驶设备，

其中，处理器被配置为：

从所述图像提取车道检测信息；

确定车道检测信息的有效性分数是否超过阈值分数，

通过对存在于所述图像中的对象进行聚类，产生至少一个驾驶组；

基于所述至少一个驾驶组，产生虚拟车道，

其中，处理器还被配置为：

响应于所述至少一个驾驶组包括多个驾驶组，基于由所述至少一个驾驶组中的每个占据的区域的边界的轮廓，估计车道区域；

在估计的车道区域中的相邻车道区域之间产生虚拟车道边界线；

基于虚拟车道边界线，产生虚拟车道，

其中，处理器还被配置为：

响应于所述图像包括连续的帧图像，通过跟踪包括在一个时间段期间的连续的帧图像中的对象来产生驾驶组。

28.如权利要求27所述的虚拟车道产生设备，其中，处理器还被配置为：基于对象、从全球定位系统采集的位置信息和光检测与测距数据，产生虚拟车道。