CN110073362A - 用于车道标记检测的系统及方法 - Google Patents

用于车道标记检测的系统及方法 Download PDF

Info

Publication number
CN110073362A
CN110073362A CN201780077080.2A CN201780077080A CN110073362A CN 110073362 A CN110073362 A CN 110073362A CN 201780077080 A CN201780077080 A CN 201780077080A CN 110073362 A CN110073362 A CN 110073362A
Authority
CN
China
Prior art keywords
lane
electronic device
lane markings
response diagram
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780077080.2A
Other languages
English (en)
Inventor
柳昇佑
金杜勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110073362A publication Critical patent/CN110073362A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明描述一种电子装置。所述电子装置包含存储器及与所述存储器通信的处理器。所述处理器经配置以接收图像。所述处理器还经配置以从所述图像提取车道响应图。所述处理器经进一步配置以基于所述车道响应图估计一或多个车道标记。

Description

用于车道标记检测的系统及方法
相关申请案
本申请案涉及且主张来自“用于快速且稳健的车道标记检测的系统及方法(SYSTEMS AND METHODS FOR FAST AND ROBUST LANE-MARKER DETECTION)”在2017年1月4日提出申请的美国临时专利申请案第62/442,420号的优先权。
技术领域
本发明大体来说涉及电子装置。更具体地，本发明涉及用于快速且稳健的车道标记检测的系统及方法。
背景技术
电子装置(例如，蜂窝电话、无线调制解调器、计算机、数字音乐播放器、全球定位系统单元、个人数字助理、游戏装置等)已成为日常生活的部分。现在，小型计算装置被放置在从车辆到房屋锁的所有事物中。在过去几年中，电子装置的复杂性急剧增加。例如，许多电子装置具有一或多个帮助控制装置的处理器，以及支持处理器及装置的其它部分的多个数字电路。
一些电子装置(例如，车辆)可配备有高级驾驶员辅助系统。这些系统可能为迈向自主车辆的一步。这些系统中的一种有用技术为车道标记检测。用于车道标记检测的现有技术可能很慢且缺乏稳健性。因此，提供快速且稳健的车道标记物检测的系统及方法可能为有益的。
发明内容
本发明描述一种电子装置。所述电子装置包含存储器及与所述存储器通信的处理器。所述处理器经配置以接收图像。所述处理器还经配置以从所述图像提取车道响应图。所述处理器经进一步配置以基于所述车道响应图估计一或多个车道标记。
处理器可经进一步配置以将车道响应图变换为逆透视映射(IPM)域。基于车道响应图估计一或多个车道标记可包含括在图像中定义一或多个区段。可在一或多个区段中的每一者中检测一或多个笔直车道标记段。可聚集一或多个笔直车道标记段以获得一或多个车道标记。定义一或多个区段可基于车道标记段宽度假设、预定义检测距离范围或校准数据中的至少一个。
处理器可经进一步配置以在一或多个区段中的每一者中执行变换。可基于变换获得车道标记位置及车道标记定向。处理器可经进一步配置以过滤一或多个可能直线段以减少误报。
处理器可经配置以细化一或多个车道标记。处理器可经配置以优化分数函数以获得一或多个车道标记。处理器可经配置以将拟合应用于一或多个车道标记。
从图像提取车道响应图可包含对图像执行逐行的一维(1D)滤波。
处理器可经进一步配置以将图像从红绿蓝(RGB)颜色模型转换为灰度颜色模型。可应用经训练投影模型，所述经训练投影模型最大化车道标记的颜色与道路的颜色之间的强度距离。
处理器可经进一步配置以将自我车道掩模应用于图像以限制车道标记搜索区。
本发明还描述一种方法。所述方法包含接收图像。所述方法还包含从图像提取车道响应图。所述方法进一步包含基于车道响应图估计一或多个车道标记。
本发明还描述存储计算机可执行代码的非暂时性计算机可读媒体。所述计算机可读媒体包含用于致使电子装置接收图像的代码。所述计算机可读媒体还包含用于致使电子装置从图像中提取车道响应图的代码。所述计算机可读媒体进一步包含用于致使电子装置基于车道响应图估计一或多个车道标记的代码。
本发明还描述一种设备。所述设备包含用于接收图像的装置。所述设备还包含用于从图像中提取车道响应图的装置。所述装置进一步包含用于基于车道响应图估计一或多个车道标记的装置。
附图说明
图1为说明其中可实施用于车道标记检测的系统及方法的电子装置的一个实例的框图；
图2为说明用于车道标记检测的方法的一个配置的流程图；
图3为说明可实施车道标记检测的电子装置的一个实例的框图；
图4说明当前车道标记检测系统及方法的挑战的一些实例；
图5为说明车道标记检测系统的一个实例的框图；
图6为说明颜色模型转换的实例；
图7为说明车道响应图提取的实例；
图8为说明来自输入图像的车道响应图的逆透视映射(IPM)域变换的实例；
图9展示在车道标记检测中使用的车道标记段估计的实例；
图10展示在车道标记检测中使用的车道标记段估计的另一实例；
图11说明使用图像统计对所检测到的车道标记段进行滤波；
图12说明聚类所估计的车道标记段的实例；
图13展示说明使用自我车道掩模的车道标记检测的图像；
图14为说明用于估计一或多个车道标记的方法的一个配置的流程图；
图15为说明用于估计一或多个车道标记的方法的另一配置的流程图；
图16说明可包含在经配置以实施本文中所揭示的系统及方法的各种配置的电子装置内的某些组件；及
图17说明本文中所使用的坐标系的实例。
具体实施方式
本文中所揭示的系统及方法涉及快速且稳健的车道标记检测。例如，本文中所揭示的系统及方法可实时实现车道标记的准确且稳健的定位。
本文中所揭示的系统及方法的一些配置可通过使用摄像机校准信息且关注于自我车道的检测来减少车道标记的搜索区。这可以增加的帧速率进行车道标记检测。
本文中所揭示的系统及方法的一些配置可将输入图像划分为数个区段且优化全局分数函数以实现跨越区段的车道标记的准确且稳健的定位。本文中所揭示的系统及方法可集中于检测直线段作为每一区段中的车道标记。可通过优化全局分数函数来调整车道标记段的位置，以从所述组直线段制作弯曲车道标记。
现在参考图描述各种配置，其中相同参考编号可指示功能上类似的元件。如本文中在图中一般性描述及说明的系统及方法可以广泛各种不同配置来布置及设计。因此，如图中所表示的数种配置的以下更详细的描述并非意欲限制所主张的范围，而仅仅为系统及方法的代表。
图1为说明其中可实施用于车道标记检测的系统及方法的电子装置102的一个实例的框图；电子装置102的实例包含摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、车辆、汽车、个人摄像机、可穿戴摄像机、虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)、混合现实装置(例如，耳机)、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、遥控飞机、无人驾驶航空器(UAV)、智能应用程序、保健设备、游戏主控台、个人数字助理(PDA)、机顶盒，等。例如，电子装置102可为使用高级驾驶员辅助系统(ADAS)的车辆。
电子装置102可包含一或多个组件或元件。组件或元件中的一或多者可以硬件(例如，电路)或硬件及软件及/或固件的组合(例如，具有指令的处理器)实施。
电子装置102可经配置以检测一或多个车道标记。车道标记为路面上传达信息的装置或材料。车道标记的实例包含漆涂交通车道、漆涂十字路口、漆涂停车位、残障停车位、反光标记、路缘石、排水沟，反光圆瓷球(Botts'dot)及减速振动带(rumble strip)。
在汽车环境中，电子装置102可为车辆或可包含在车辆中。在这种情况下，车辆可在道路上行驶。车道标记可用于自主车辆导航。例如，车辆可包含感知引擎。感知引擎可检测传入视频流中的关键地标。感知引擎还可在图像帧中准确地定位关键地标。
车道标记为在感知引擎中检测及定位精确定位及映射平台(PPMP)的关键标志。PPMP的车道标记检测器(LMD)的目标为实时准确且稳健地定位车道标记本身。然而，现有LMD的目标为尽可能长地提供并非车道标记而是车道，以用于高级驾驶员辅助系统(ADAS)及自主驾驶(AD)。PPMP在速度及稳健性方面不能采用现有的LMD。例如，如图4中所说明，由于严重依赖于检测到的车道的样条模型拟合，当前LMD中的车道标记可能被过度夸大。
如在此实例中所见，当前的车道标记检测受到缺乏速度及稳健性的影响。可通过实时检测车道标记来实现益处。例如，电子装置102可经配置从而以最小延迟准确地检测数字图像流中的车道标记。
当前车道标记检测的另一问题为功率消耗。处理图像流中的每一图像可能需要大量的计算能力。这可能影响电子装置102的速度、准确度及功率消耗。可通过智能地过滤及屏蔽捕获的图像来实现益处，以改进车道标记检测的效率。
在一些配置中，电子装置102可包含处理器104、存储器106、一或多个传感器108，及/或一或多个通信接口110。处理器104可耦合到(例如，与其电子通信)存储器106、传感器108及/或通信接口110。
处理器104可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列，等。处理器104可被称作中央处理单元(CPU)。尽管仅单个处理器104经展示在电子装置102中，但在替代配置中，可使用处理器(例如，图像信号处理器(ISP)与应用处理器、ARM与DSP等)的组合。处理器104可经配置以实施本文中所揭示的方法中的一或多种。例如，处理器104可经配置以检测一或多个车道标记。
通信接口110可使得电子装置102能够与一或多个其它电子装置102通信。例如，通信接口110可提供用于有线及/或无线通信的接口。在一些配置中，通信接口110可耦合到用于发射及/或接收射频(RF)信号的一或多个天线117。另外或替代地，通信接口110可实现一或多个电缆(例如，通用串行总线(USB)、以太网，等)通信。
在一些配置中，可实施及/或利用多个通信接口110。例如，一个通信接口110可为蜂窝式(例如，3G、长期演进(LTE)、码分多址(CDMA)，等)通信接口110，另一通信接口110可为以太网接口、另一通信接口110可为通用串行总线(USB)接口，且另一通信接口110可为无线局域网(WLAN)接口(例如，电气与电子工程师协会(IEEE)802.11接口)。在一些配置中，通信接口110可将信息(例如，图像信息、环绕视图信息，等)发送到另一电子装置102(例如，车辆、智能电话、相加、显示器、远程服务器，等)或从所述另一电子装置接收信息。
电子装置102可获得一或多个图像(例如，数字图像、图像帧、视频，等)及其它传感器数据。例如，电子装置102可包含传感器108，例如一或多个摄像机、全球导航卫星系统接收器及/或惯性传感器(也称为惯性测量单元(IMU))。另外或替代地，电子装置102可请求及/或接收来自另一装置(例如，耦合到电子装置102的一或多个外部摄像机、网络服务器、交通摄像机、水下摄像机、车载摄像机、网络摄像机，等)的一或多个图像。
处理器104可包含及/或实施图像获得器112。可将一或多个图像帧提供到图像获得器112。在一些配置中，图像获得器112可根据结合图1到16中的一或多个所描述的方法、功能、程序、步骤及/或结构中的一或多个操作。图像获得器112可从一或多个摄像机(例如，普通摄像机、广角摄像机、鱼眼摄像机等)获得图像。例如，图像获得器112可从一或多个传感器108及/或从一或多个外部摄像机接收图像数据。可从多个摄像机(例如，在不同位置)捕获图像。如上文所描述，可从包含在电子装置102中的传感器108捕获图像，或可从一或多个远程摄像机捕获图像。
在一些配置中，图像获得器112可请求及/或接收一或多个图像。例如，图像获得器112可经由通信接口110从远程装置(例如，外部摄像机、远程服务器、远程电子装置等)请求及/或接收一或多个图像。
处理器104可包含及/或实施颜色模型转换器114、车道响应图提取器116、车道标记估计器118、车道标记细化器126及自我车道掩模生成器128。
颜色模型转换器114可将图像从一种颜色模型转换为另一种颜色模型。例如，颜色模型转换器114可将图像从RGB颜色模型转换为灰度颜色模型。从彩色图像转换为灰色图像可改进图像中的车道标记的可检测性。
在实施方案中，颜色模型转换器114可执行黄色增强。在一般的RGB到灰度转换之后，黄色及橙色车道标记往往失去视觉区别性。颜色模型转换器114可采用经训练投影模型以最大化输入图像中的颜色的强度距离。颜色模型转换器114可使用线性判别分析来最大化强度距离。与道路颜色相比，上述情况可增加某些颜色(例如，白色、橙色、黄色)之间的对比度。结合图6描述颜色模型转换的实例。
车道响应图提取器116可从图像提取车道响应图。车道响应图可指示图像中具有包含车道标记的较高可能性的区。在实施方案中，车道响应图可被定义为
yi＝2xi-(xi-τ+xi+τ)-|xi-τ+xi+τ|、 (1)
在方程(1)中，xi指示图像中位置i(例如，像素位置)处的像素的值。在实施方案中，xi可为灰度(例如，1信道)值。可从常规颜色到灰度转换或通过使用学习的投影矩阵获得灰度图像。项τ为用于计算车道响应值yi的预定义的宽度。滤波器的宽度参数(τ)的单位可为像素。左邻(xi-τ)为经定位距位置i达-τ的像素的值。右邻(xi+τ)为经定位距位置i达+τ的像素的值。
宽度参数τ及最后项(|xi-τ+xi+τ|)判罚左邻(xi-τ)与右邻(xi+τ)的像素至值之间的差为高的状况。较高的响应yi可被给予具有类似左邻及右邻的位置。
在实施方案中，yi的值可用于脊检测，其中脊包含局部最大点。例如，脊检测可用于识别图像中可能为车道标记的线或曲线。
在另一实施方案中，τ参数可变化以捕获车道尺度的变化并获得最大响应。由于车道尺度(或宽度)可变化(例如归因于车道宽度变化或视点改变化)，车道响应图提取器116的值可使τ参数的值变化以有效地捕获车道响应。为了处理车道尺度模糊度，可通过改变τ的值来确定来自不同规模的各种车道响应。此方法也可以被称作为尺度空间方法。
在实施方案中，车道响应图提取器116可对图像执行逐行的一维(1D)滤波以获得车道响应图。结合图7描述车道响应提取的实例。
应注意，车道响应图提取器116可直接从所接收的图像生成车道响应图。在一些其它方法中，车道响应图是从图像的逆透视映射(IPM)生成。
使车道标记检测基于从所接收图像提取的车道响应图(与图像的IPM相反)具有计算益处。从计算的角度来看，所描述的系统及方法的目标为加速车道标记检测。如果原始图像被转换为IPM，且然后从IPM提取车道响应图，那么电子装置102将需要将每一图像变换为IPM视图，且然后从IPM提取车道响应图。然而，通过从原始图像提取车道响应图，电子装置102可选择高于预定阈值的高响应图(或具有高响应的车道响应图的区)以进行进一步的车道标记检测。因此，电子装置102可仅将这些像素变换为IPM视图。因此，在生成IPM视图之前提取车道响应图提高速度并减少处理负荷，此从而改进效率。此外，这允许电子装置102仅关注用于车道标记检测的某些车道响应图(例如，大于预定阈值的车道响应图)。
车道标记估计器118可估计一或多个车道标记。车道标记估计器118可包含区段定义器120、笔直车道标记检测器122及笔直车道标记聚类器124。
在实施方案中，车道标记估计器118可将车道响应图转换为IPM域。这使得电子装置102能够以三维(3D)重建车道标记。当将输入图像转换为IPM视点时，可假设车辆的行驶路径为平坦表面(或平面)。这可被称作为平面假设。结合图8描述从车道响应图到IPM域的转换的实例。
区段定义器120可在图像中定义一或多个区段。可通过连接数个线段来对车道进行建模。在图像的区段中，车道可由直线建模。可在每一区段中进行车道检测，且可将所检测到的车道标记聚类以形成长车道。区段定义器120可基于车道标记段宽度假设、预定义检测距离范围及/或校准数据(例如，摄像机高度，俯仰角及侧倾角)来定义区段。在实施方案中，区段定义器120可定义IPM域中的区段。这允许电子装置102直接估计IPM域中的一组车道点。结合图9描述车道标记段估计的实例。
笔直车道标记检测器122可检测一或多个区段中的每一者中的一或多个笔直车道标记段。例如，笔直车道标记检测器122可在一或多个区段中的每一者中执行变换，且基于变换获得车道标记位置及车道标记定向。在实施方案中，电子装置102可将车道响应图变换成IPM域。然后，笔直车道标记检测器122可在每一区段中执行拉东(Radon)变换。在另一实例中，笔直车道标记检测器122可对一或多个可能直线段进行滤波以减少误报。结合图10到11描述车道段检测的实例。
笔直车道标记聚类器124可聚类一或多个笔直车道标记段以获得一或多个车道标记。所检测到的车道段(例如，图像区段中的直线)可经聚类为长车道。经聚类的直线可模拟任意形状。在实施方案中，笔直车道标记聚类器124可使用基于密度的聚类算法(例如，具有噪声的应用的基于密度的空间聚类(DBSCAN))来获得区段之间的一或多个笔直车道标记段的初始聚类。
车道标记细化器126可细化一或多个车道标记。例如，车道标记细化器126可将拟合应用于一或多个车道标记。拟合可用于从多个数据点生成参数形式(例如，线或曲线)。将点拟合到参数形式的过程也可被称作为线拟合或曲线拟合。如本文中所使用，术语“应用拟合”是指生成拟合多个车道标记点的参数形式。
由笔直车道标记聚类器124生成的一或多个车道标记可包含多个点。车道标记细化器126可构造拟合由笔直车道标记聚类器124生成的车道标记点的线或曲线。在方法中，车道标记细化器126可使用近似拟合车道标记点的平滑函数。
可使用多项式方程来生成拟合车道标记点的参数形式(例如，线或曲线)。例如，可使用一阶多项式方程来生成直线。可使用更高阶(例如，二阶，三阶等)多项式方程来生成拟合车道标记点的曲线。
在另一实例中，车道标记细化器126可优化分数函数以获得一或多个车道标记。分数函数为目标函数。在实施方式中，分数函数可具有车道应为平滑的且车道跟随的车道响应应为最大化的约束(或目标)。优化分数函数包含最大化分数函数或确定分数函数的最高分数。优化此分数功能可产生具有较大车道响应的平滑车道。为了优化分数函数，可使用一或多种优化方法。例如，可使用动态编程。结合图12描述车道标记细化的实例。
在实施方案中，电子装置102可在估计一或多个车道标记之前首先确定图像的自我车道掩模。自我车道掩模生成器128可确定给定图像的自我车道掩模。这可减少车道标记的搜索区。如本文中所使用，自我车道为车辆所定位的车道。因此，自我车道掩模将车道标记搜索区限制为车辆所在的图像的区域。
在IPM域，车道往往具有一些特殊的特性。例如，图像域中的笔直车道通常具有垂直线形状，且平行车道在车道之间为等距离的。基于这些特性，自我车道掩模生成器128可制作有效的自我车道掩模。例如，从作为参考点的摄像机中心，自我车道掩模生成器128可在IPM域中定义车辆可能占据的矩形区域。基于自我车道掩模，电子装置102可通过将搜索区限制到车辆可能移动的图像中的那些区来获得速度增益。
可将自我车道掩模应用于图像。然后，车道标记估计器118可基于经掩蔽图像估计一或多个车道标记。结合图13描述自我车道掩模生成的实例。
存储器106可存储指令及/或数据。处理器104可接入(例如，读取及/或写入)存储器106。存储器106可存储用于执行由处理器104进行的操作的图像及/或指令代码。存储器106可为能够存储电子信息的任何电子组件。存储器106可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器104一起包含的机载存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器，等等，包含其组合。
数据及/或指令可存储在存储器106中。指令可由处理器104执行以实施本文中所描述方法中的一或多者。执行指令可涉及使用存储在存储器106中的数据。在处理器104执行指令时，可将指令的各种部分加载到处理器104上，且可将各种数据片段加载到处理器上。
应注意，可组合及/或划分电子装置102的元件或组件中的一或多者。应注意，结合图1所描述的元件或组件中的一或多者可为任选的。
图2为说明用于车道标记检测的方法200的一个配置的流程图。方法200可由本文中所描述的电子装置102中的一或多者执行。
电子装置102可接收202图像。例如，电子装置102可经配置有摄像机。摄像机可捕获一或多个图像(例如，数字图像、图像帧，视频等)。
电子装置102可从图像提取204车道响应图。例如，电子装置102可对图像执行逐行的一维(1D)滤波。这可如结合图7所描述般完成。
电子装置102可基于车道响应图估计206一或多个车道标记。例如，电子装置102可选择大于预定阈值的高响应图以用于进一步车道标记检测。电子装置102将具有高响应的车道响应图中的像素变换成逆透视映射(IPM)域。
在实施方案中，电子装置102可在图像中定义一或多个区段。可基于车道标记段宽度假设、预定义检测距离范围及/或校准数据来定义一或多个区段。
电子装置102可检测一或多个区段中的每一者中的一或多个笔直车道标记段。例如，在将车道响应图变换成IPM域之后，电子装置102可在一或多个区段中的每一者中执行变换。在实施方案中，变换可为拉东变换。电子装置102可基于变换获得车道标记位置及车道标记定向。
电子装置102可聚类一或多个笔直车道标记段以获得一或多个车道标记。在实施方案中，电子装置102可使用DBSCAN将一或多个笔直车道标记段聚类成车道标记。
图3为说明可实施车道标记检测的电子装置302的一个实例的框图。电子装置302可描述精确的定位及映射平台(PPMP)。PPMP可通过一组经济可行的传感器以及边缘处理及分析功能提供精确的定位及映射能力。云中的映射算法346可检测及定位关键地标以生成精确的定位图。PPMP可用于提供移动车辆(例如，汽车)的精确位置。
系统可包含摄像机330、全球定位系统(GPS)接收器332、惯性传感器(IMU)334、传感器同步板336及处理器304。处理器304可包含传感器驱动器模块338、定位引擎340、感知引擎342，以及数据聚合与连接模块344。
处理器304可经由无线或有线网络与一或多个装置通信。一或多个装置可执行映射算法346。
图1的前端传感器108(例如，图3中的摄像机330、GPS接收器332及IMU 334)可为消费级传感器。传感器同步板336可包含控制所有传感器108的时间戳的嵌入式微控制器。在实施方案中，传感器同步板336可生成具有小于10微秒的定时误差的时间戳。
摄像机330、GPS接收器332及IMU 334的输出可被馈送到定位引擎340及感知引擎342两者。感知引擎342可检测传入视频流中的关键地标(例如，车道标记)及在图像帧中准确地定位所述关键地标。定位引擎340可通过紧密融合GPS信号、惯性传感器读数及摄像机视频输入来提供六个自由度(6DoF)中的摄像机姿势的准确估计。
定位引擎340及感知引擎342的输出可被聚合并经由数据聚合与连接模块344发送到云。映射算法346可生成全局帧中的地标的位置估计，其中全局帧包含整个图或图的大部分。
图4说明当前车道标记检测系统及方法的挑战的一些实例。车道标记451a到b可为用于在PPMP的感知引擎中检测及定位的地标。用于PPMP的车道标记物检测(LMD)可准确且稳健地实时定位车道标记。相反，在一些现有系统中，LMD可用于尽可能长地提供车道，以用于高级驾驶员辅助系统(ADAS)及自主驾驶(AD)。现有系统在帧速率方面可能太慢且缺乏稳健性。
在图4中所展示的两个实例(a)及(b)中，LMD生成过度夸大的车道标记估计452a到b。这些曲线不能精确地定义车道标记451a到b，这导致缺乏稳健性。车道标记451的此过度夸大为由于对样条模型拟合的严重依赖性。本文中所描述的系统及方法解决此问题，提供快速且稳健的车道标记检测。
图5为说明车道标记检测系统的一个实例的框图。车道标记检测系统可由图1的电子装置102实施。
可在车道滤波器模块556处接收输入图像554。输入图像554可被提供到RGB到灰度(rgb2gray)转换模块562。输入图像554可从RGB颜色模型转换为灰度级颜色模型。这可如结合图6所描述般完成。
转换的图像可提供到车道响应图模块564，其从所转换的图像中提取车道响应图。可使用1D滤波来生成车道响应图，如结合图7所描述。
长车道估计模块558可基于车道响应图估计输入图像554中的一或多个车道标记。长车道估计模块558可包含逆透视映射(IPM)域变换模块566。IPM域变换模块566可将车道响应图变换成IPM域。这可如结合图8所描述般完成。
在实施方案中，IPM域变换模块566可选择大于预定阈值的高响应图。选择高响应图可包含选择对应于高响应图的输入图像554中的像素子集。IPM域变换模块566可仅将这些像素变换成IPM域。
车道标记段估计器568可估计输入图像554中的一或多个车道标记段。车道段估计可假设可通过连接数个线段来建模任何车道。车道标记段估计器568可将输入图像554划分为一或多个区段。车道段估计还可假设车道由直线建模，使得在每一区段中完成车道检测，且所检测到的车道经聚类以形成长车道。然后，车道标记段估计器568可检测一或多个区段中的每一者中的一或多个笔直车道标记段。这可如结合图9及图10所描述般完成。
在实施方案中，车道标记段估计器568可使用图像统计来过滤所检测到的车道标记段。例如，车道标记段估计器568可使用梯度及图像统计来减少所检测到的车道标记段中的误报。假阳性可包含检测非车道区中的车道标记。例如，误报可包含在树木繁茂区域、水体等中的不正确的车道检测。此过滤可如结合图11所描述般完成。
车道标记段聚类器570可聚类所估计的车道标记段。在实施方案中，车道标记段聚类器570可使用基于密度的聚类算法来获得车道标记段的聚类。这可如结合图12所描述般完成。
车道点拟合模块572可将拟合应用于车道标记点。例如，可将多项式拟合应用于最终车道候选以获得更平滑的结果。在一个实例中，车道点拟合模块572可使用基于随机样本一致性(RANSAC)的拟合。在实施方案中，车道点拟合模块572可执行基于RANSAC拟合从一阶多项式方程(例如，线)到三阶多项式方程(例如，立方)以找到最佳拟合车道标记点的曲线。在许多状况下，第三参数模型(立方)提供比线更平滑的结果。车道点拟合模块572可执行基于RANSAC拟合，直到内群点约束得到满足，其中内群点为大约可拟合到线的点。通过使用稳健拟合方法，也可拒绝离群点(例如，不能拟合到线或曲线的点)。
后处理模块560可进一步移除所检测到的车道标记中的误报。可使用梯度阈值及/或对应于各种图像特征的分类器来检测误报。
由后处理模块560生成的长车道结果574可包含定义每一车道标记的多个点。换句话说，车道标记可由含有多于两个点的曲线定义。
图6为说明颜色模型转换的实例。如果使用一般的RGB到灰度(rgb2gray)转换676，那么黄色及/或橙色车道标记可能失去车道标记651与道路之间的视觉区别性，如图6的输入图像654及一般rgb2gray转换676中所说明。在一些配置中，可采用经训练投影模型来使用线性判别分析来最大化强度距离。例如，经训练投影模型可使白色与道路颜色之间或黄色与道路颜色之间的强度距离最大化。经训练RGB到灰度转换678可保持视觉区别性，如图6的经训练rgb2gray转换678中所说明。
图7为说明车道响应图提取的实例。电子装置102可从输入图像754提取车道响应图782。在一个配置中，电子装置102可使用基于方程(1)的逐行一维(1D)滤波。
yi＝2xi-(xi-τ+xi+τ)-|xi-τ+xi+τ|、 (1)
如上文所描述，在方程(1)中，xi指示位置i处的图像的值，且τ为用于计算车道响应值yi的预定义的宽度。图7展示原始输入图像754，应用于输入图像754的匹配滤波器780，以及通过将逐行1D滤波器应用于输入图像754而获得的车道响应图782。如本文中所使用，匹配滤波器780为信号处理的一般方法。在本文中所描述的系统及方法中，可使用逐行一维滤波器来实施匹配滤波器780。换句话说，逐行一维滤波器可为匹配滤波器780的唯一实施方案。
图8为说明从输入图像854的车道响应图生成的逆透视映射(IPM)域884变换的实例。在一个配置中，图7的车道响应图782可变换为IPM域884中的车道响应图。可根据方程(2)使用平面假设(即，平坦道路假设)在三维(3D)中重建车道标记。
x＝TpTATtrsX (2)
在方程(2)中，可根据方程(3)来定义平移变量Ttrs，其中camheight为摄像机的高度。
可根据方程(4)定义用于对准Z方向(即，正向)的第一旋转变量TA。
可根据方程(5)定义考虑到摄像机在x方向(即，横向方向)上的俯仰角旋转(φ)的第二旋转变量TP。
三个项TpTATtrs可被称作为HRoad2Image，其为3×3单应性。在方程(2)中，可根据方程(6)来定义X，其中Xw、Yw及Zw为以摄像机光学中心为中心的世界坐标系中的坐标。
在方程(6)中，Xw为以摄像机透镜为中心的横向(左/右)尺寸，Yw为以摄像机透镜为中心的垂直(上/下)尺寸，且Zw为以摄像机透镜为中心的深度(前向/后向)尺寸。本文中所使用的坐标系的实例结合图17进行描述。应注意，通过在方程(6)中将Zw设置为0，摄像机可位于地面的正上方，这使得IPM域884为鸟瞰图。单应性的最终计算结果为(Xw,-Zw-camheight,Yw)。通过将Zw设置为0，最终y位置为-camheight，这为相对于摄像机的地面位置(即，y＝0)。还应注意，方程(6)中的最终“1”对应于来自常规齐次坐标的符号。
项x可根据方程(7)来定义，其中u为输入图像854中的水平位置且v为输入图像854中的垂直位置。
通过使用方程2到7，可将图7的车道响应图782变换成IPM域884中的车道响应图。例如，可从输入图像854确定车道响应图，如结合图7所描述。然后，根据方程2到7，可将车道响应图的值变换成IPM域。此外，可根据方程2到7将IPM域中的点变换回图像域。
图9展示在车道标记检测中使用的车道标记段估计的实例。在方法中，具有任意形状的任何车道可通过连接数个直线段987来近似。车道标记段987的估计可假设输入图像954的区段986中的车道可由直线建模。估计还可假设通过检测区段986中的直线段987且通过将所检测到的直线段987聚类为长车道(其可模拟任意形状)，可在每一区段986a到c中进行车道检测。
输入图像954可经划分成区段986a到c。车道标记段估计可基于车道条带宽度假设、预定义检测距离范围及/或校准数据中的一个或组合来定义区段986。图9说明输入图像954，其具有第一区段986a、第二区段986b、第三区段986c等等。
在实施方案中，可使用校准数据来定义区段986。可在预先存储在存储器中的配置文件中定义车道的条带宽度(lw)(也被称作为车道标记宽度或条带宽度)。在实施方案中，IPM域中的条带宽度lw可具有0.15米的值。
基于具有给定距离步长(例如，2米)的IPM域(例如，1到150米)中的预定距离范围(drange)，可计算区段986的投影图像域位置。预定义距离范围可为搜索范围。距离步长可为在距离范围中搜索时使用的步长大小。例如，搜索可在1米处开始，且然后为1+2米、1+2+2米，等等，直到预定义距离范围的结束。在此状况下，可假设车道位于摄像机330的视野的中心中。
可根据方程(8)计算IPM域中的左投影车道位置其中f为摄像机的焦距。
可根据方程(9)计算IPM域中的右投影车道位置
输入图像954中的投影车道位置可根据方程(10)及(11)确定，其中为左投影车道位置且为右投影车道位置且M为HRoad2Image的逆矩阵。
可使用投影的车道位置来添加区段986，直到投影位置超出范围或前一区段位置的差异不在阈值(例如，2个像素)中改变。
在一个配置中，电子装置102可将图像954划分为区段986并估计每一区段986中的一组直线。来自每一区段986的结果可被聚类以生成平滑线。检测每一区段986中的车道标记段987可利用车道滤波器响应的拉东变换(R(ρ,θ))来获得可能的车道位置(ρ)及定向(θ)。
在检测每一区段986中的笔直车道标记段987之后，可使用具有噪声的应用的基于密度的空间聚类(DBSCAN)来对结果进行聚类。可定义分数函数，其被形式化以表示每一区段986的车道之间的车道概率及曲线的平滑度。如与如图9中的图像中所说明的每一区段986中的未细化的笔直车道标记段987相比，通过优化分数函数可细化车道结果以生成更准确且更平滑的结果。
在方法中，电子装置102可直接估计IPM域中的输入图像954中的一组车道点。车道段估计可对所述组车道点应用拟合以平滑点的输出。例如，可使用参数方程生拟合所述组车道点的线或曲线。车道段估计可输出与每一段986相交的一组点。结合图10描述关于确定车道标记段987的进一步细节。
图10展示在车道标记检测中使用的车道标记段估计的另一实例。在方法中，图9的输入图像954的车道响应图可被转换为IPM域1084。IPM域变换可基于图7的车道响应图782。
在实施方案中，在将图7的车道响应图782变换成IPM域1084之后，可通过对IPM域1084中的车道响应执行拉东变换1088来在每一区段1086中检测图9的车道标记段987。
拉东变换(R(ρ,θ))1088可包含车道位置(ρ)1090及定向(θ)1092。拉东变换(R(ρ,θ))1088可由沿着以下线中的每一者的线积分定义：
x cosθ-y sinθ＝ρ、 (12)
将方程(12)转换为图像坐标系导致
方程(13)为极坐标中的线方程，其中w为图像的宽度，H为图像的高度，u为x的替代且v为y的替代。可注意通过区段的中心部分上的点的线，其中k为从1到高度H的范围中的v替，且[α,β]为相关的角θ的范围。
在一个配置中，为了在每一区段1086中检测图9的车道标记段987，可利用拉东变换1088结果来获得可能的车道位置(ρ)1090及定向(θ)1092。假设ρ1090没有严重改变，可垂直投影变换响应以获得ρ1090的最高位置。在找到局部最大位置(ρlocalmax)之后，可根据方程(14)找到车道的最佳(θ)1092。
θbest＝arg maxθR(ρlocalmax,θ)、 (14)
图11说明使用图像统计对所检测到的车道标记段进行滤波。在一个配置中，可使用图像统计来对所检测到的车道标记段进行滤波。例如，可使用梯度及图像统计来减少误报(FP)。图像统计的实例包含颜色直方图、梯度直方图以及那些直方图的统计(例如，均值、方差、峰度等)。在所检测到的车道标记段中，可通过像素的h×w周围像素来计算相干性。2×n梯度矩阵可从水平及垂直梯度来计算。可计算及本征值且可通过来测量梯度的相干性。高相干性通常可为边缘状结构或在相同方向上的一系列条带。可使用梯度方向直方图的峰度(通过梯度量级加权)来拒绝FP。图11展示输入图像1154、梯度方向图像1194、梯度范数图像1196及具有过度峰度的梯度统计1198的实例。
梯度方向图像1194为输入图像1154，其具有在每一预定角度中的投影梯度值。例如，如果0到360度的角度除以60度，那么存在6个梯度方向图像1194。
梯度范数图像1196为具有梯度的范数(或权重)的图像。例如，可使用L2范数。
峰度为概率分布的尾部的度量。例如，正态分布具有峰度值3。通过比较正态分布的峰度，可确定分布是否具有更多的尾部特征。在实施方案中，过度的峰度可被定义为7.4的峰度。然而，其它峰度值可用于指示过度的峰度。
图12说明聚类及细化所估计的车道标记段1287的实例。在一个配置中，所估计的车道标记段1287可未经聚类。基于密度的聚类算法(例如，具有噪声的应用的基于密度的空间聚类(DBSCAN))可用于从图9的各个区段986获得车道标记段1287的初始聚类。
在聚类之后，可细化结果以改进定位。可确定接近(例如，在阈值量内)局部最大值的多个候选者。可使用全局分数函数找到最佳候选者。例如，分数函数可定义为：
在方程(15)中，R(k,θk)为车道响应，φ为差值度量的角度，ψ为车道段之间的终点距离度量，且λθ及λ为正则化项。
电子装置102可优化分数函数，以获得一或多个车道标记估计1287。可使用动态编程来寻找在车道候选者中的全局最大值。图12展示在细化之前的车道标记检测的实例(a)和在细化之后的实例(b)。
图13展示说明使用自我车道掩模1303的车道标记检测的图像。自我车道可为车辆定位在其中的车道(或多个车道)。在一个配置中，可使用自我车道掩模1303来减少用于检测车道标记的搜索区。在逆透视映射(IPM)域中，车道标记可具有特殊特性。例如，图像域中的直线可具有垂直线形状，且平行线可在车道之间为等距离的。基于这些特性，可创建自我车道掩模1303(也被称作为车道区掩模)。
在实施方案中，从作为参考点的摄像机中心，可在IPM域中定义矩形区域。矩形区域可为车辆可能移动的区域。在图像域中，矩形区域可表现为顶部经裁切三角形，如自我车道掩模1303的白色区中所说明。换句话说，当IPM域中的矩形区域被变换成图像域时，此区域可采用顶部经裁切三角形的形状。在此实例中，自我车道掩模1303的黑色区被排除在车道标记搜索之外。通过将车道标记搜索区限制到自我车道掩模1303内的区域(例如，在此实例中为白色区)，可实现速度增益。
在一些配置中，自我车道掩模1303可用于选择检测范围(即，车道标记搜索区)。使用双车道模式掩模可优化双车道模式计算时间。图13展示应用双车道模式自我车道掩模1303的输入图像1354及检测结果1305的实例。应注意，可使用其它车道模式(例如，单车道、三车道、四车道等)来生成自我车道掩模1303。
在实施方案中，可使用自我车道掩模1303来优化图像转换(例如，从RGB转换成灰度)并生成图7的车道响应图782。在此状况中，图像转换及图7的车道响应图782将仅在输入图像1354的在自我车道掩模1303内的区域中生成。
图14为说明用于估计一或多个车道标记的方法1400的一个配置的流程图。方法1400可由本文中所描述的电子装置102中的一或多者执行。
电子装置102可在图像中定义1402一或多个区段。输入图像可经划分成多个区段。电子装置102可基于车道条带宽度假设、预定义检测距离范围及/或校准数据来定义1402区段。
电子装置102可检测1404一或多个区段中的每一者中的一或多个笔直车道标记段。在方法中，可将车道响应图转换成IPM域。电子装置102可通过对IPM域中的车道响应执行拉东变换来在每一区段中进行检测1404。在实施方案中，电子装置102可对一或多个可能直线段进行滤波以减少误报。
电子装置102可聚类1406一或多个笔直车道标记段以获得一或多个车道标记。例如，电子装置102可使用基于密度的聚类算法(例如，具有噪声的应用的基于密度的空间聚类(DBSCAN))来获得区段之间的一或多个笔直车道标记段的聚类。笔直车道标记段的聚类可形成车道标记。
图15为说明用于估计一或多个车道标记的方法1500的另一配置的流程图。方法1500可由本文中所描述的电子装置102中的一或多者执行。
电子装置102可接收1502图像。例如，电子装置102可经配置有摄像机。摄像机可捕获一或多个图像(例如，数字图像、图像帧，视频等)。
电子装置102可应用1504自我车道掩模。例如，电子装置102可基于摄像机的定向及车道标记在IPM域中为平行的假设生成自我车道掩模1303。电子装置102可使用自我车道掩模来限制用于车道标记检测的搜索区。
电子装置102可将图像从RGB颜色模型转换1506成灰度颜色模型。这可如结合图6所描述般完成。
电子装置102可应用1508经训练投影模型，所述经训练投影模型最大化车道标记的颜色与道路的颜色之间的强度距离。例如，电子装置102可使用线性判别分析来最大化强度距离。与道路颜色相比，上述情况可增加某些颜色(例如，白色、橙色、黄色)之间的对比度。
电子装置102可从图像中提取1510车道响应图。例如，电子装置102可对图像执行逐行的一维(1D)滤波。这可如结合图7所描述般完成。
电子装置102可将车道响应图变换1512成IPM域。在实施方案中，电子装置102可选择大于预定义阈值的高响应图。电子装置102可仅将这些像素变换成IPM域。
电子装置102可在图像中定义1514一或多个区段。电子装置102可基于车道条带宽度假设、预定义检测距离范围及/或校准数据来定义1514区段。
电子装置102可检测1516一或多个区段中的每一者中的一或多个笔直车道标记段。电子装置102可通过对IPM域中的车道响应执行拉东变换来在每一区段中进行检测1516。在实施方案中，电子装置102可对一或多个可能直线段进行滤波以减少误报。这可使用梯度及图像统计来完成，如结合图11所描述。
电子装置102可聚类1518一或多个笔直车道标记段以获得一或多个车道标记。例如，电子装置102可使用基于密度的聚类算法(例如，具有噪声的应用的基于密度的空间聚类(DBSCAN))来获得区段之间的一或多个笔直车道标记段的聚类。笔直车道标记段的聚类可形成车道标记。
电子装置102可细化1520一或多个车道标记。例如，电子装置102可优化分数函数以获得一或多个车道标记。
电子装置102可将拟合应用1522于一或多个车道标记。例如，可将多项式拟合应用于最终车道候选者以获得更平滑的结果。在一个实例中，电子装置102可使用从第一(线)到第三(立方)的基于随机样本一致(RANSAC)的拟合来找到最佳拟合，直到满足内群点约束。
图16说明可包含在经配置以实施本文中所揭示的系统及方法的各种配置的电子装置1602内的某些组件。电子装置1602的实例包含摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、车辆、汽车、个人摄像机、可穿戴摄像机、虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)、混合现实装置(例如，耳机)、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、遥控飞机、无人驾驶航空器(UAV)、智能应用程序、保健设备、游戏主控台、个人数字助理(PDA)、机顶盒等。电子装置1602可根据本文中所描述的电子装置102中的一或多者实施。
电子装置1602包含处理器1604。处理器1604可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1604可被称作中央处理单元(CPU)。尽管仅单个处理器1604经展示在电子装置1602中，但在替代配置中，可实施处理器(例如，ARM及DSP)的组合。
电子装置1602还包含存储器1606。存储器1606可为能够存储电子信息的任何电子组件。存储器1606可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器一起包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器，等等，包含其组合。
数据1609a及指令1607a可存储在存储器1606中。指令1607a可由处理器1604执行以实施本文中所描述方法、程序、步骤及/或功能中的一或多者。执行指令1607a可涉及使用存储在存储器1606中的数据1609a。在处理器1604执行指令1607时，可将指令1607b的各种部分加载到处理器1604上，且可将各种数据1609b片段加载到处理器1604上。
电子装置1602还可包含发射器1611及接收器1613，以允许向电子装置1602发射信号及从电子装置1602接收信号。发射器1611及接收器1613可统称为收发器1615。一或多个天线1617a到b可电耦合到收发器1615。电子装置1602还可包含(未展示)多个发射器、多个接收器、多个收发器及/或额外天线。
电子装置1602可包含数字信号处理器(DSP)1621。电子装置1602还可包含通信接口1610。通信接口1610可允许及/或实现一或多个种类的输入及/或输出。例如，通信接口1610可包含用于将其它装置链接到电子装置1602的一或多个端口及/或通信装置。在一些配置中，通信接口1610可包含发射器1611、接收器1613或两者(例如，收发器1615)。另外或替代地，通信接口1610可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄像机，等)。例如，通信接口1610可使得用户能够与电子装置1602交互。
电子装置1602的各种组件可通过一或多个总线耦合在一起，所述总线可包含电源总线、控制信号总线、状态信号总线、数据总线，等。为清楚起见，各种总线在图16中经说明为总线系统1619。
图17说明本文中所使用的坐标系的实例。摄像机1730可经定位在地面1727上面一定距离(摄像机高度1711)处。例如，摄像机1730可安装在与道路接触的车辆上。
摄像机1730的光轴1731可从摄像机1730的透镜投射。摄像机1730的x轴1713可对应于与光轴1731正交的横向维度(例如，左/右)。摄像机1730的y轴1715可对应于与光轴1731及x轴1713正交的垂直维度(例如，上/下)。摄像机1730的z轴1717可对应于与光轴1731有关的深度维度(例如，前/后)。
还描绘世界坐标系中的对应维度。xw轴1721可对应于与地面1727有关的横向维度(例如，左/右)。yw轴1723可对应于与地面1727有关的垂直维度(例如，上/下)。摄像机1725的zw轴1717可对应于与地面1727有关的深度维度(例如，前/后)。
俯仰角(φ)1719可为摄像机1730相对于地面1727的角度。俯仰角(φ)1719可被定义为摄像机1730关于与摄像机1730的光轴1731正交的第一维度(例如，x轴1713)的角度。在实施方案中，摄像机1730可以已知角度(即，俯仰角(φ)1719)安装在车辆上。
术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)，确定及其类似者。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及其类似者。此外，“确定”可包含解析、选择、挑选、建立及其类似者。
除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。
术语“处理器”应广泛揭示为囊括通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机，等等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此配置。
术语“存储器”应广泛解释为囊括能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息及/或将信息写入到存储器，那么存储器被认为与处理器电子通信。与处理器成整体之记忆体与处理器电子通信。
术语“指令”及“程式码”应广泛解释为包括任何类型之电脑可读语句。例如，术语“指令”及“程式码”可係指一或多个程式、常式、次常式、函式、程序，等。“指令”及“程式码”可包含单个电脑可读语句或诸多电脑可读语句。
如本文中所使用，术语“及/或”应被解释为意指一或多个项目。例如，短语“A、B及/或C”应解释为意指以下中的任何一个：仅A，仅B，仅C，A及B(但无C)，B及C(但无A)，A及C(但无B)，或A，B及C的全部。如本文中所使用，片语“…中之至少一个”应解释为意指一或多个项目。例如，短语“A、B及C中的至少一个”或短语“A、B或C中的至少一个”应解释为意指以下中的任何一个：仅A、仅B、仅C、A及B(但无C)，B及C(但无A)，A及C(但无B)，或A，B及C的全部。如本文中所使用，短语“中的一或多者”应解释为意指一或多个项目。例如，短语“A、B及C中的一或多者”或短语“A、B或C中的一或多者”应解释为意指以下中之任何一者：仅A，仅B，仅C，A及B(但无C)，B及C(但无A)，A及C(但无B)，或A，B及C之全部。
本文中所描述功能可以由硬件执行的软件或固件实施。功能可作为一或多个指令被存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形存储媒体。通过实例的方式且非限制性，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁碟存储装置、磁盘存储装置或其它磁性存储装置或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的其它媒体。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令还可经由传输媒体来传输。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。
此外，应了解，用于执行本文中所描述的方法及技术的模块及/或其它适当装置可通过装置下载及/或以它方式获得。例如，装置可耦合到服务器以促使用于执行本文中所描述方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如光盘(CD)或软盘物理存储媒体，等)提供，使得装置可在将存储装置耦合或提供到装置时获得各种方法。
应理解，权利要求书并不限制于上文所说明的精确配置及组件。可在本文中所描述的系统、方法及设备的布置、操作及细节作出各种修改、改变及变化而不会背离权利要求书的范围。

Claims (30)

1.一种电子装置，其包括：
存储器；及
处理器，其与所述存储器通信，所述处理器经配置以：
接收图像；
从所述图像提取车道响应图；及
基于所述车道响应图估计一或多个车道标记。
2.根据权利要求1所述的电子装置，其中所述处理器经进一步配置以将所述车道响应图变换成逆透视映射IPM域。
3.根据权利要求1所述的电子装置，其中经配置以基于所述车道响应图估计所述一或多个车道标记的所述处理器进一步包括经配置以进行以下操作的所述处理器：
在所述图像中定义一或多个区段；
检测所述一或多个区段中的每一者中的一或多个笔直车道标记段；及
聚类所述一或多个笔直车道标记段以获得一或多个车道标记。
4.根据权利要求3所述的电子装置，其中定义所述一或多个区段基于车道标记段宽度假设、预定义检测距离范围或校准数据中的至少一者。
5.根据权利要求3所述的电子装置，其中所述处理器经进一步配置以：
在所述一或多个区段中的每一者中执行变换；及
基于所述变换获得车道标记位置及车道标记定向。
6.根据权利要求3所述的电子装置，其中所述处理器经进一步配置以对一或多个可能直线段进行滤波以减少误报。
7.根据权利要求3所述的电子装置，其中所述处理器经进一步配置以细化所述一或多个车道标记。
8.根据权利要求7所述的电子装置，其中所述处理器经进一步配置以优化分数函数以获得所述一或多个车道标记。
9.根据权利要求3所述的电子装置，其中所述处理器经进一步配置以将拟合应用于所述一或多个车道标记。
10.根据权利要求1所述的电子装置，其中经配置以从所述图像提取所述车道响应图的所述处理器包括经配置以对所述图像执行逐行一维1D滤波的所述处理器。
11.根据权利要求1所述的电子装置，其中所述处理器经进一步配置以：
将所述图像从红绿蓝RGB颜色模型转换成灰度颜色模型；及
应用经训练投影模型，所述经训练投影模型最大化车道标记的颜色与道路的颜色之间的强度距离。
12.根据权利要求1所述的电子装置，其中所述处理器经进一步配置以将自我车道掩模应用于所述图像以限制车道标记搜索区。
13.一种方法，其包括：
接收图像；
从所述图像提取车道响应图；及
基于所述车道响应图估计一或多个车道标记。
14.根据权利要求13所述的方法，其进一步包括将所述车道响应图变换成逆透视映射IPM域。
15.根据权利要求13所述的方法，其中基于所述车道响应图估计所述一或多个车道标记进一步包括：
在所述图像中定义一或多个区段；
检测所述一或多个区段中的每一者中的一或多个笔直车道标记段；及
聚类所述一或多个笔直车道标记段以获得一或多个车道标记。
16.根据权利要求13所述的方法，其中从所述图像提取所述车道响应图包括对所述图像执行逐行一维1D滤波。
17.根据权利要求13所述的方法，其进一步包括：
将所述图像从红绿蓝RGB颜色模型转换成灰度颜色模型；及
应用经训练投影模型，所述经训练投影模型最大化车道标记的颜色与道路的颜色之间的强度距离。
18.根据权利要求13所述的方法，其进一步包括将自我车道掩模应用于所述图像以限制车道标记搜索区。
19.一种存储计算机可执行代码的非暂时性计算机可读媒体，其包括：
用于致使电子装置接收图像的代码；
用于致使所述电子装置从所述图像中提取车道响应图的代码；及
用于致使所述电子装置基于所述车道响应图估计一或多个车道标记的代码。
20.根据权利要求19所述的计算机可读媒体，其进一步包括用于致使所述电子装置将所述车道响应图变换为逆透视映射IPM域的代码。
21.根据权利要求19所述的计算机可读媒体，其中用于致使所述电子装置基于所述车道响应图估计所述一或多个车道标记的所述代码进一步包括：
用于致使所述电子装置在所述图像中定义一或多个区段的代码；
用于致使所述电子装置检测所述一或多个区段分中的每一者中的一或多个笔直车道标记段的代码；及
用于致使所述电子装置聚类所述一或多个笔直车道标记段以获得一或多个车道标记的代码。
22.根据权利要求19所述的计算机可读媒体，其中用于致使所述电子装置从所述图像中提取所述车道响应图的所述代码包括对所述图像执行逐行一维1D滤波。
23.根据权利要求19所述的计算机可读媒体，其进一步包括：
用于致使所述电子装置将所述图像从红绿蓝RGB颜色模型转换成灰度颜色模型的代码；及
用于致使所述电子装置应用经训练投影模型的代码，所述经训练投影模型最大化车道标记的颜色与道路的颜色之间的强度距离。
24.根据权利要求19所述的计算机可读媒体，其进一步包括用于致使所述电子装置将自我车道掩模应用于所述图像以限制车道标记搜索区的代码。
25.一种设备，其包括：
用于接收图像的装置；
用于从所述图像提取车道响应图的装置；及
用于基于所述车道响应图估计一或多个车道标记的装置。
26.根据权利要求25所述的设备，其进一步包括用于将所述车道响应图变换成逆透视映射IPM域的装置。
27.根据权利要求25所述的设备，其中用于基于所述车道响应图估计所述一或多个车道标记的所述装置进一步包括：
用于在所述图像中定义一或多个区段的装置；
用于检测所述一或多个区段中的每一者中的一或多个笔直车道标记段的装置；及
用于聚类所述一或多个笔直车道标记段以获得一或多个车道标记的装置。
28.根据权利要求25所述的设备，其中用于从所述图像提取所述车道响应图的所述装置包括用于对所述图像执行逐行一维1D滤波的装置。
29.根据权利要求25所述的设备，其进一步包括：
用于将所述图像从红绿蓝RGB颜色模型转换成灰度颜色模型的装置；及
用于应用经训练投影模型的装置，所述经训练投影模型最大化车道标记的颜色与道路的颜色之间的强度距离。
30.根据权利要求25所述的设备，其进一步包括用于将自我车道掩模应用于所述图像以限制车道标记搜索区的装置。
CN201780077080.2A 2017-01-04 2017-10-23 用于车道标记检测的系统及方法 Pending CN110073362A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762442420P 2017-01-04 2017-01-04
US62/442,420 2017-01-04
US15/659,384 US10867189B2 (en) 2017-01-04 2017-07-25 Systems and methods for lane-marker detection
US15/659,384 2017-07-25
PCT/US2017/057860 WO2018128667A1 (en) 2017-01-04 2017-10-23 Systems and methods for lane-marker detection

Publications (1)

Publication Number Publication Date
CN110073362A true CN110073362A (zh) 2019-07-30

Family

ID=62709077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780077080.2A Pending CN110073362A (zh) 2017-01-04 2017-10-23 用于车道标记检测的系统及方法

Country Status (4)

Country Link
US (1) US10867189B2 (zh)
EP (1) EP3566172A1 (zh)
CN (1) CN110073362A (zh)
WO (1) WO2018128667A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582160A (zh) * 2020-05-07 2020-08-25 四川大学 基于分布式光纤传感系统的车辆轨迹提取方法及装置
WO2021056307A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting lane markings for autonomous driving

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748303B2 (en) * 2018-10-03 2020-08-18 Gentex Corporation Rear facing lane detection overlay
US11087153B2 (en) * 2018-10-31 2021-08-10 Cognizant Technology Solutions India Pvt. Ltd. Traffic light recognition system and method
JP7195131B2 (ja) * 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
US11475678B2 (en) 2019-01-04 2022-10-18 Qualcomm Incorporated Lane marker detection and lane instance recognition
US11304156B2 (en) 2019-01-04 2022-04-12 Qualcomm Incorporated Physical layer aspects for hierarchical mobility
US20200377087A1 (en) * 2019-05-28 2020-12-03 Sf Motors, Inc. Lane keep control of autonomous vehicle
US11900696B2 (en) * 2019-08-28 2024-02-13 Toyota Motor Europe Method and system for processing a plurality of images so as to detect lanes on a road
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
CN111290388B (zh) * 2020-02-25 2022-05-13 苏州科瓴精密机械科技有限公司 路径追踪方法、系统，机器人及可读存储介质
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
US11562603B2 (en) * 2020-06-26 2023-01-24 Allstate Insurance Company Collision analysis platform using machine learning to reduce generation of false collision outputs
EP3979613A1 (en) * 2020-10-02 2022-04-06 Aptiv Technologies Limited Methods and systems for filtering portions of an image
US11983916B2 (en) * 2020-11-11 2024-05-14 Ubtech Robotics Corp Ltd Relocation method, mobile machine using the same, and computer readable storage medium
US12049172B2 (en) 2021-10-19 2024-07-30 Stoneridge, Inc. Camera mirror system display for commercial vehicles including system for identifying road markings
KR102433544B1 (ko) * 2022-01-14 2022-08-18 주식회사 카비 순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법
US12112552B2 (en) * 2022-03-18 2024-10-08 Qualcomm Incorporated Lane marker recognition
CN115482478B (zh) * 2022-09-14 2023-07-18 北京远度互联科技有限公司 道路识别方法、装置、无人机、设备及存储介质
CN118485738B (zh) * 2024-07-16 2024-09-10 湖北芯擎科技有限公司 Ipm图像生成方法、装置、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109118A1 (en) * 2006-11-03 2008-05-08 Schwartz David A Lane marker detection and fitting
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105825173A (zh) * 2016-03-11 2016-08-03 福州华鹰重工机械有限公司 通用道路和车道检测系统与方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7655894B2 (en) * 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US8204277B2 (en) * 2008-07-18 2012-06-19 GM Global Technology Operations LLC Apparatus and method for camera-bases lane marker detection
KR20120082755A (ko) * 2011-01-14 2012-07-24 연세대학교 산학협력단 컬러 영상의 흑백 영상 변환 장치와 이를 이용한 컬러 영상에서의 객체 검출 장치 및 방법
EP2574958B1 (en) 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
US9488483B2 (en) 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
US9286520B1 (en) * 2013-07-16 2016-03-15 Google Inc. Real-time road flare detection using templates and appropriate color spaces
US9875415B2 (en) * 2014-11-17 2018-01-23 Tandent Vision Science, Inc. Method and system for classifying painted road markings in an automotive driver-vehicle-asistance device
US9286524B1 (en) 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US9811743B2 (en) 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
CN105354559A (zh) * 2015-11-24 2016-02-24 厦门雅迅网络股份有限公司 一种对车前图像检测车道直线的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109118A1 (en) * 2006-11-03 2008-05-08 Schwartz David A Lane marker detection and fitting
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105825173A (zh) * 2016-03-11 2016-08-03 福州华鹰重工机械有限公司 通用道路和车道检测系统与方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056307A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting lane markings for autonomous driving
CN111582160A (zh) * 2020-05-07 2020-08-25 四川大学 基于分布式光纤传感系统的车辆轨迹提取方法及装置
CN111582160B (zh) * 2020-05-07 2022-09-02 四川大学 基于分布式光纤传感系统的车辆轨迹提取方法及装置

Also Published As

Publication number Publication date
WO2018128667A1 (en) 2018-07-12
US20180189577A1 (en) 2018-07-05
EP3566172A1 (en) 2019-11-13
US10867189B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
CN110073362A (zh) 用于车道标记检测的系统及方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN109059895B (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
WO2020224305A1 (zh) 用于设备定位的方法、装置及设备
CN110785774A (zh) 用于自动驾驶车辆中的闭环感知的方法和系统
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
Cui et al. 3D semantic map construction using improved ORB-SLAM2 for mobile robot in edge computing environment
CN110799982A (zh) 用于自动驾驶车辆中的以物体为中心的立体视觉的方法和系统
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN110969055A (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN111833443A (zh) 自主机器应用中的地标位置重建
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN108416044B (zh) 场景缩略图的生成方法、装置、电子设备及存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN113874681B (zh) 点云地图质量的评估方法和系统
Li et al. A monocular visual SLAM system augmented by lightweight deep local feature extractor using in-house and low-cost LIDAR-camera integrated device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190730

WD01 Invention patent application deemed withdrawn after publication