CN113516014A - 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质 - Google Patents

车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质 Download PDF

Info

Publication number
CN113516014A
CN113516014A CN202110384407.9A CN202110384407A CN113516014A CN 113516014 A CN113516014 A CN 113516014A CN 202110384407 A CN202110384407 A CN 202110384407A CN 113516014 A CN113516014 A CN 113516014A
Authority
CN
China
Prior art keywords
lane line
image
edge
lane
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110384407.9A
Other languages
English (en)
Inventor
金信亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Thinkware Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Publication of CN113516014A publication Critical patent/CN113516014A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

公开了一种车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质。本发明公开一种使用处理器的车道线检测方法。本方法，包括：获取在行驶中的车辆的拍摄装置所拍摄的行驶影像的步骤；检测所获取的行驶影像中与车道线相对应的边缘，并基于检测到的边缘生成边缘图像的步骤；基于检测到的边缘检测直线分量，并基于检测到的直线分量生成边缘直线处理图像的步骤；使用所生成的边缘图像和边缘直线处理图像来检测与车道线相对应的车道线点的步骤；以及基于检测到的车道线点来检测车道线的步骤。

Description

车道线检测方法、车道线检测装置、电子设备、计算机程序以 及计算机可读记录介质
技术领域
本发明涉及一种利用车辆的行驶影像检测显示在道路上的车道线的车道线检测方法、车道线检测装置、计算机程序以及计算机可读记录介质。
而且，本发明涉及一种基于检测到的车道线提供用于辅助驾驶员的引导的电子设备。
而且，本发明涉及一种基于检测到的车道线控制车辆的自动行驶的自动行驶系统。
背景技术
在车辆行驶时最重要的是安全行驶和预防交通事故，为此，在车辆安装有各种辅助装置、安全带、气囊等的安全装置以执行对车辆姿态的控制及车辆构成装置的功能控制等。
而且，近年来，在车辆上安装黑匣子等来存储车辆的行驶影像以及从各种传感器传送而来的数据，而且，在车辆上安装在发生故障时用于识别车辆的事故原因的装置。诸如智能手机、平板电脑之类的便携式终端也可以配备黑匣子或导航应用程序等，并被用作此类的车辆用装置。
因此，近年来，已经开发并普及先进的驾驶员辅助系统(ADAS： Advanced DriverAssistance Systems)，其使用在车辆的行驶过程中拍摄的行驶影像来辅助车辆驾驶员的驾驶，以促进安全驾驶和驾驶员的方便性。
另外，近年来随着IT技术的快速发展，对与视觉系统集成的自动行驶汽车的关心逐渐变高。
为了准确地判断先进的驾驶员辅助系统(ADAS)、自动行驶汽车中的车辆的车道线脱离、及维持车道，从在车辆行驶过程中拍摄的行驶影像中准确地识别车辆正在行驶的车道的车道线是非常重要的。若没有准确地识别出车辆正在行驶的车道的车道线而脱离车道线，则可能直接导致事故。
另外，近年来，在包括用户实际观看的现实世界的屏幕上显示各种引导信息的增强现实导航也在迅速发展。所述增强现实导航使用现有已构建的路线数据来生成指示从车辆的当前位置到目的地为止的路线的增强现实路线引导线，并将其显示在增强现实中。
但是，在增强现实导航中，根据GPS接收速度，实际车道线和增强现实路线引导线成一致而看不见发生差异，这将成为降低增强现实的优点的真实感的因素。另外，在没有或没有提供路线数据的环境中，难以显示增强现实路线引导线。
因此，即使是增强现实导航，也必须准确地识别车辆正在行驶的车道的车道线，并真实地表现出增强现实路线引导线。
另外，根据现有的车道线识别技术，使用颜色和边缘等的信息检测弯道车线，但是存在由于侧道的汽车和其他障碍物以及道路标记等，对弯道车线的误检测率高的问题。
发明内容
本发明是为解决所述问题而提出的，其目的在于，提供一种从车辆的行驶中拍摄的行驶影像中均能够准确地检测直行车道线及弯道车道线的基于视觉的车道线检测方法、车道线检测装置、计算机程序及计算机可读记录介质。
另外，本发明的目的在于，提供一种通过准确地识别车辆正在行驶的车道的车道线并真实地显示增强现实引导对象(特别是路线引导对象和车道线脱离引导对象)的基于增强现实的电子设备。
另外，本发明的目的在于，提供一种通过准确地识别车辆正在行驶的车道的车道线来控制车辆的自动行驶的自动行驶系统。
为达成所述目的，根据本发明的一实施例的利用程序的车道线检测方法，其中，包括：获取从行驶中的车辆的拍摄装置所拍摄的行驶影像的步骤；在所述所获取的行驶影像中检测与车道线相对应的边缘，并基于所述检测到的边缘生成边缘图像的步骤；基于所述检测到的边缘检测直线分量，并基于所述检测到的直线分量生成边缘直线处理图像的步骤；使用所述所生成的边缘图像和所述边缘直线处理图像来检测与所述车道线相对应的车道线点的步骤；以及根据所述检测到的车道线点检测所述车道线的步骤。
而且，还包括通过变换与所述所获取的行驶影像相对应的前视影像的视点来生成俯视影像的步骤，检测所述边缘的步骤是在所述俯视影像中可以检测与所述车道线相对应的边缘。
而且，还包括根据从所述车辆的距离将所述俯视影像分割为第一区域及第二区域的步骤，生成所述边缘直线处理图像的步骤是在对应于所述分割的第一区域的第一边缘图像及对应于第二区域的第二边缘图像中分别检测所述直线分量，并基于所述检测到的直线分量可以生成边缘直线处理图像。
而且，检测所述车道线点的步骤中可以分别检测对应于左车道线的车道线点和对应于右车道线的车道线点。
而且，检测所述车道线点的步骤，可以包括：利用所述所生成的边缘图像和所述边缘直线处理图像中的至少一个检测初期车道线点的步骤；以及生成搜索窗口，将所述所生成的搜索窗口分别应用于所述所生成的边缘图像和所述边缘直线处理图像中，在所述应用的搜索窗口中检测满足预设条件的后续车道线点的步骤。
而且，确定所述初期车道线点的步骤，可以包括：在所述边缘图像下端检测左侧的亮度值成为最大的左侧初期车道线点的步骤；以及在所述边缘图像下端检测右侧的亮度值成为最大的右侧初期车道线点的步骤。
而且，检测所述后续车道线点的步骤，可以包括：基于所述所确定的初期车道线点生成第一搜索窗口的步骤；通过将所述所生成的第一搜索窗口分别应用于所述边缘图像和所述边缘直线处理图像中来检测满足预设条件的第一后续车道线点的步骤；所述第一后续车道线点生成将位于第一搜索窗口的列为中心列的第二搜索窗口的步骤；以及将所述所生成的第二搜索窗口布置在所述第一搜索窗口的上部，并将其分别应用于所述边缘图像和所述边缘直线处理图像来检测满足所述预设条件的第二后续车道线点的步骤。
而且，可以仅在所述搜索窗口的中间行检测满足所述预设条件的车道线点。
而且，所述搜索窗口的行大小可根据直线分量的倾斜度而自适应地变化。
而且，还包括计算主动轮廓模型(ACM：Active Contour Model)的能量值的步骤，所述预设条件可以是将所述主动轮廓模型(ACM：Active Contour Model)的能量值最小化的车道线点。
而且，所述计算主动轮廓模型(ACM：Active Contour Model)的能量值的步骤，可以包括：使用多个先前车道线点之间的平均距离以及当前车道线点和先前车道线点之间的距离来计算内部能量值的步骤；以及使用在所述边缘图像和所述边缘直线处理图像中分别检测到的车道线点的亮度值来计算外部能量值的步骤。
而且，检测所述车道线的步骤，还可以包括：计算由所述检测到的车道线点所形成的曲线方程式的步骤；以及基于所计算的曲线方程式将所述车道线点拟合为曲线的步骤。
而且，检测所述车道线的步骤，可以包括：通过将在所述俯视影像中检测到的车道线点变换为所述所获取的行驶影像的视点，从而，检测与所述俯视影像的车道线点相对应的所述行驶影像的车道线点的步骤；以及基于所述检测到的所述行驶影像的车道线点来检测车道线的步骤。
另一方面，为达成所述目的的根据本发明的一实施例的车道线检测装置，包括：影像获取部，获取从行驶中的车辆的拍摄装置拍摄的行驶影像；边缘检测部，在所述所获取的行驶影像中检测与车道线相对应的边缘，并基于所述检测到的边缘生成边缘图像；直线分量检测部，基于所述检测到的边缘检测直线分量，并基于所述检测到的直线分量生成边缘直线处理图像；车道线点检测部，使用所述所生成的边缘图像和所述边缘直线处理图像来检测与所述车道线相对应的车道线点；以及车道线检测部，基于所述检测到的车道线点检测所述车道线。
而且，还包括通过变换与所述所获取的行驶影像相对应的前视影像的视点来生成俯视影像的影像视点变换部，所述边缘检测部在所述俯视影像中可以检测与所述车道线相对应的边缘。
而且，还包括根据从所述车辆的距离将所述俯视影像分割为第一区域及第二区域的影像区域分割部，可以在对应于所述分割的第一区域的第一边缘图像及对应于第二区域的第二边缘图像中分别检测所述直线分量，并基于所述检测到的直线分量生成边缘直线处理图像。
而且，所述车道线点检测部可分别检测对应于左车道线的车道线点和对应于右车道线的车道线点。
而且，所述车道线点检测部，可以包括：初期车道线点检测部，利用所述所生成的边缘图像和所述边缘直线处理图像中的至少一个检测初期车道线点；以及后续车道线点检测部，生成搜索窗口，并将所述所生成的搜索窗口分别应用于所述所生成的边缘图像和所述边缘直线处理图像，在所述应用的搜索窗口中检测满足预设条件的后续车道线点。
而且，所述初期车道线点检测部，可以在所述边缘图像下端检测左侧的亮度值成为最大的左侧初期车道线点，并可以在所述边缘图像下端检测右侧的亮度值成为最大的右侧初期车道线点。
而且，所述后续车道线点检测部，可以基于所述所确定的初期车道线点生成第一搜索窗口，通过将所述生成的第一搜索窗口分别应用于所述边缘图像和边缘直线处理图像来检测满足预设条件的第一后续车道线点，所述第一后续车道线点生成将位于第一搜索窗口的列为中心列的第二搜索窗口，将所述所生成的第二搜索窗口布置在所述第一搜索窗口的上部，并将其分别应用于所述边缘图像和所述边缘直线处理图像来检测满足所述预设条件的第二后续车道线点。
而且，可以仅在所述搜索窗口的中间行检测满足所述预设条件的车道线点。
而且，所述搜索窗口的行大小可根据直线分量的倾斜度而自适应地变化。
而且，还包括计算主动轮廓模型(ACM：Active Contour Model)的能量值的主动轮廓模型能量计算部，所述预设条件可以是将所述主动轮廓模型(ACM：Active ContourModel)的能量值最小化的车道线点。
而且，所述主动轮廓模型能量计算部，使用多个先前车道线点之间的平均距离以及当前车道线点和先前车道线点之间的距离来计算内部能量值，并可以使用在所述边缘图像和所述边缘直线处理图像中分别检测到的车道线点的亮度值来计算外部能量值。
而且，还包括计算由所述检测到的车道线点所形成的曲线方程式，基于所计算的曲线方程式将所述车道线点拟合为曲线的车道线点拟合部。
而且，所述车道线检测部，通过将在所述俯视影像中检测到的车道线点变换为所述所获取的行驶影像的视点，从而，检测与所述俯视影像的车道线点相对应的所述行驶影像的车道线点，并可基于所述检测到的所述行驶影像的车道线点来检测车道线。
一方面，为达成所述目的的根据本发明的一实施例的通过检测车道线来提供用于辅助驾驶员的引导的电子设备，其中，包括：显示部，用于显示所述驾驶员可确认的引导信息；影像获取部，用于获取在拍摄装置中拍摄的行驶影像；边缘检测部，在所述所获取的行驶影像中检测对应于车道线的边缘，并基于所述检测到的边缘生成边缘图像；直线分量检测部，基于所述检测到的边缘检测直线分量，并基于所述检测到的直线分量生成边缘直线处理图像；车道线点检测部，从所述所生成的边缘图像和所述边缘直线处理图像中检测与所述车道线相对应的车道线点；车道线检测部，从所述检测到的车道线点检测所述车道线；以及控制部，控制所述显示部以基于所述检测到的车道线进行引导。
而且，还包括增强现实提供部，所述增强现实提供部生成路线引导对象用于引导从所述车辆的当前位置到目的地为止的路线，并且，将所述所生成的路线引导对象基于所述检测到的车道线生成显示在所述所拍摄的行驶影像的车道上的增强现实图像，所述控制部可以控制所述显示部以显示所述所生成的增强现实图像。
而且，还包括增强现实提供部，所述增强现实提供部生成用于引导所述车辆的车道线脱离的车道线脱离引导对象，并将所述所生成的车道线脱离引导对象基于所述检测到的车道线生成显示在车道线上的增强现实图像，所述控制部可以控制所述显示部以显示所述生成的增强现实图像。
一方面，为达成所述目的的根据本发明的一实施例的计算机可读记录介质，其中记录有用于执行所述的车道线检测方法的程序。
一方面，为达成所述目的的根据本发明的一实施例的程序，存储在计算机可读记录介质中以执行所述的车道线检测方法。
发明效果
根据上述的本发明的各种实施例，从在车辆行驶时拍摄的行驶影像中均能准确地检测直行车道线和弯道车线。
另外，根据本发明的各种实施例，由于使用直线分量作为主要因素，因此，可以减少由侧道上的车辆和其他障碍物引起的误识别等，而且，均能准确地检测直行车道线和弯道车道线。
另外，根据本发明的各种实施例，通过准确地识别车辆正在行驶的车道的车道线，从而，可以将基于车道线显示的增强现实引导对象(例如，路线引导对象和车道线脱离引导对象)真实地显示在增强现实屏幕上。
另外，根据本发明的各种实施例，即使根据国家(如中国)特性不能提供路线数据或未建立路线数据的环境中，也通过准确地识别车道线，在增强现实屏幕上显示基于车道线的增强现实引导对象。
另外，根据本发明，通过准确地识别车辆正在行驶的车道的车道线，可以解决由于对车道线的误识别而导致的自动行驶错误的问题。
附图说明
图1是示出根据本发明的一实施例的车道线检测装置的框图。
图2是更加详细地示出根据本发明的一实施例的车道线点检测部的框图。
图3是用于说明根据本发明的一实施例的影像视点变换的图。
图4是用于说明根据本发明的一实施例的影像区域分割的图。
图5是用于说明根据本发明的一实施例的直线分量检测过程的图。
图6是示出根据本发明的一实施例的边缘图像和边缘直线处理图像的图。
图7是用于说明根据本发明的一实施例的初期车道线点确定的图。
图8是用于说明根据本发明的一实施例的后续车道线点确定方法的图。
图9是示出根据本发明的一实施例的车道线点检测结果的图。
图10是用于说明根据本发明的一实施例的使用俯视影像从前视影像检测车道线的过程的图。
图11是示出根据本发明的一实施例的车道线检测方法的流程图。
图12是具体示出根据本发明的一实施例的车道线检测方法的流程图。
图13是更加详细地示出根据本发明的一实施例的车道线点检测步骤 (S206、S207)的流程图。
图14是更加详细地示出根据本发明的一实施例的车道线检测步骤 (S208)的流程图。
图15是示出根据本发明的一实施例的电子设备的框图。
图16是用于说明根据本发明的一实施例的路线引导对象生成方法的图。
图17是用于说明根据本发明的一实施例的与电子设备连接的系统网络的图。
图18是示出根据本发明的一实施例的显示路线引导对象的增强现实引导屏幕的图。
图19是示出根据本发明的一实施例的显示车道线脱离引导对象的增强现实引导屏幕的图。
图20是示出根据本发明的一实施例的电子设备不具备拍摄部时的实施形态的图。
图21是示出根据本发明的一实施例的电子设备具备拍摄部时的实施形态的图。
图22是示出根据本发明的一实施例的使用平视显示器(HUD， Head-Up Display)的实施形态的图。
图23是示出根据本发明的一实施例的自动行驶系统的框图。
图24是示出根据本发明的一实施例的自动行驶车辆的结构的框图。
图中：
10：车道线检测装置，11：影像获取部，12：影像视点变换部，13：影像区域分割部，14：边缘检测部，15：直线分量检测部，16：车道线点检测部，17：车道线点拟合部，18：车道线检测部，100：电子设备，110：存储部，120：输入部，130：输出部，140：车道线检测部，160：增强现实提供部，170：控制部，180：通信部，190：感测部，195：电源部
具体实施方式
以下的内容仅例示发明的原理。因此，本发明所属技术领域的普通技术人员可以发明虽并未在说明书中明确说明或示出但体现发明的原理且包含在发明的概念中的多种装置。并且，在本说明书中列举的所有条件部术语及实施例仅用于明确理解本发明的概念，而并不局限于如上所述的特别列举的实施例及状态。
并且，应理解为不仅是本发明的原理、观点及实施例，列举特定实施例的所有详细说明均包括所述事项的结构及功能性等同物。并且，应理解为所述等同物不仅包括目前公知的等同物，而且还包括将来要开发的等同物，即，与结构无关，以执行相同功能的方式发明的所有元件。
因此，例如，应理解为本说明书中的框图示出使本发明的原理具体化的例示性电路的概念性观点。与此类似，应理解为所有流程图、状态变换图、伪代码等实质上可通过计算机可读介质体现，无论是否明确示出计算机或处理器，均表示可由计算机或处理器执行的多种处理器。
包括处理或与其类似的概念呈现的功能模块的图中所示的多种元件的功能不仅与专用硬件相关，而且还与适当软件相关，从而可使用具有执行软件能力的硬件。当由处理器提供时，所述功能可由单一专用处理器、单一共享处理器或多个个别处理器提供，其中一部分可以共享。
并且，用处理、控制或与处理和控制类似的概念提出的术语的明确使用不能排他性地引用具有执行软件能力的硬件来解释，应理解为没有限制地暗示性地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)，随机存取存贮器(RAM)及非挥发性存储器。可包括周知常规的其他硬件。
在本说明书的发明要求保护范围中，表现成用于执行详细说明中记载的功能的手段的结构要素，例如，意图包括具有执行所述功能的电路元件的组合或包括固件/微代码等的所有形式的软件的功能的所有方法，以执行所述功能的方式与用于执行所述软件的适当电路相结合。在通过所述发明要求保护范围定义的本发明中，由多种手段提供的功能相结合并与发明要求保护范围所要求的方式相结合，因此，应理解为可提供所述功能的任何手段也与从本说明书中把握的功能等同。
所述目的、特征及优点通过与附图相关的以下的详细说明将变得更加明确，由此，本发明所属技术领域的普通技术人员可容易实施本发明的技术思想。并且，在说明本发明的过程中，在判断为对于与本发明相关的公知技术的具体说明会使本发明的主旨不清楚的情况下，将省略对其的详细说明。
以下，参照附图，详细说明本发明的多种实施例。
图1是示出根据本发明的一实施例的车道线检测装置的框图。图2是更加详细地示出根据本发明的一实施例的车道线检测装置的框图。如图1 及2所示，车道线检测装置10可以包括影像获取部11、影像视点变换部 12、影像区域分割部13、边缘检测部14、直线分量检测部15、车道线点检测部16、车道线点拟合部17、车道线检测部18的全部或局部。此外，车道线点检测部16可以包括初期车道线点检测部16-1、后续车道线点检测部16-2及ACM能量计算部16-3。
所述车道线检测装置10通过对在车辆的拍摄装置上拍摄的行驶影像进行图像处理，可以从行驶影像中检测车辆正在行驶的车道(lane)的车道线(lane marking)。
此处，车辆的行驶是指车辆由驾驶员行驶并且位于道路上的状态，并且可以是包括车辆在道路上行驶的行驶状态、车辆在道路上的停车状态、及车辆的停车状态的概念。
另外，由车辆的拍摄装置拍摄的行驶影像可以包括根据车辆拍摄前方的前方行驶影像、根据车辆拍摄后方的后方行驶影像。
所述车道线检测装置10，可以使用软件、硬件或其组合来实现。作为一例，根据硬件实现，可以使用专用集成电路(ASICs，application specific integrated circuits)、数字信号处理器(DSPs，digital signal processors)、数字信号处理设备(DSPDs,digitalsignal processing devices)、可编程逻辑器件(PLDs，programmable logic devices)、现场可编程门阵列(FPGAs，field programmable gate arrays)、处理器 (processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(micro-processors)用于执行其他功能的电气单元中的至少一个来实现。
下面，为了方便说明，将以行驶影像为前方行驶影像的情况为例，更详细地说明构成车道线检测装置10的每个构成模块。
影像获取部11可以获取由车辆的拍摄装置拍摄的行驶影像。具体地，影像获取部11可以实时地获取在车辆行驶时由安装在车辆的拍摄装置拍摄的行驶影像。
在此，所获取的行驶影像可以包括根据车道线区分的多个车道线、由多个车道线组成的道路以及在该道路上行驶的多个车辆。
车道线(lane marking)可以指形成车辆所在车道(lane)的两侧线 (line)。另外，车道(lane)可以指诸如第一车道、第二车道…第N车道等，由车道线形成，车辆行驶的道路。
另外，所获取的行驶影像可以为彩色影像或灰度影像。
当所获取的行驶影像为彩色影像时，影像获取部11可以通过灰度处理从彩色影像生成灰度影像。然而，当所获取的行驶影像为灰度处理影像时，影像获取部11可以不执行其他的灰度处理。
根据本发明，通过使用灰度处理影像执行后述的车道线检测算法，即使在低端终端中也可以实时处理影像。
然而，本发明不限于此，当通过影像获取部11获取的行驶影像为彩色影像时，影像获取部11也可以不执行灰度处理而使用彩色影像来执行后述的车道线检测算法。在这种情况下，根据本发明，可以将彩色影像的 RGB彩色空间变换为CIELUV彩色空间、YCbCr彩色空间或HSV彩色空间，并利用彩色空间变换的彩色影像执行后述的车道线检测算法。
下面，为了方便说明，将以行驶影像为灰度处理影像的情况为例进行说明。
影像视点变换部12可以变换由影像获取部11获取的行驶影像的视点来生成视点被变换的行驶影像。
作为一例，当设置在车辆中的拍摄装置的视点面向车辆的前方时，由影像获取部11获取的行驶影像可以为与拍摄装置的视点相对应的前视影像。然而，若通过前视影像执行后述的车道线检测算法，则检测车道线的准确性可能会降低。因此，根据本发明，影像视点变换部12接收由影像获取部11获取的前视影像，并且变换所接收的前视影像的视点来生成俯视(Top View)影像。此处，俯视影像可以指从上方看下方的视点的影像。
所述影像视点变换部12可以使用下面的数学式1的变换矩阵(或单应矩阵(Homography))来变换行驶影像的视点。
【数学式1】
Figure BDA0003014237250000121
在此，W是权重(weight)，(x，y，1)是原位置，(x'，y'，1)是变换位置，h11至h33是变换矩阵。
即，影像视点变换部12可以设置前视影像的感兴趣区域(Region Of Interest：ROI)，并将所述变换矩阵应用于感兴趣区域的所有像素来生成俯视影像。在此，感兴趣区域可以是预设区域或者可以根据拍摄装置的规格而改变。
另外，上述的变换矩阵可以是将预设值分配到存储部的矩阵。或者，影像视点变换部12基于由拍摄装置获取的前视影像通过开启设备电源来计算所述变换矩阵，然后，基于所计算出的变换矩阵来生成俯视影像，当关闭电源时，可以删除变换矩阵。
参照图3更加详细地说明本发明的影像视点变换部12。
图3是用于说明根据本发明的一实施例的影像视点变换的图。参照图 3，由影像获取部11获取的行驶影像可以为与拍摄装置的视点相对应的前视影像(参照图3a)。在这种情况下，影像视点变换部12从前视影像中选择感兴趣区域3001，将所选择的感兴趣区域3001应用于变换矩阵，可以生成从上方看下方的视点的影像即俯视影像(图3(b))。
另外，根据本发明的影像视点变换部12可以通过反向应用上述变换来从俯视影像生成前视影像。
下面，为了方便说明，将以行驶影像为俯视影像的情况为例进行说明。
影像区域分割部13可根据距车辆的距离将由影像视点变换部12生成的俯视影像划分为第一区域和第二区域。参照图4更加详细地说明影像区域分割部13。
图4是用于说明根据本发明的一实施例的影像区域分割的图。参照图 4，由影像视点变换部12生成的俯视影像可以如图4(a)的所示。影像区域分割部13,如图4(b)所示，可以分割为第一区域3101-2，其对应于根据距车辆的距离而靠近车辆的区域；以及第二区域3101-1，对应于远离车辆的区域。
边缘检测部14可以检测与行驶影像中的车道线相对应的边缘 (edge)。具体地，边缘检测部14可以在由影像视点变换部12生成的俯视影像中检测与车道线相对应的边缘。此处，边缘是指边沿或轮廓，并且可以是指在影像的亮度从低值变为高值或相反地变化的点处存在的部分。例如，所述边缘检测部14可以使用诸如索贝尔(Sobel)边缘提取技术、普瑞维特(Prewitt)边缘提取技术、罗伯茨(Roberts)边缘提取技术、指南针(Compass)边缘提取技术等的各种技术来检测行驶影像中对应于车道线的边缘。
另外，边缘检测部14可以基于检测到的边缘来生成边缘图像。在此，由边缘检测部14生成的边缘图像可以为检测到的边缘区域与非边缘区域区分的图像。在后面，参照图6说明该边缘图像。
直线分量检测部15可以基于由边缘检测部14检测到的边缘来检测直线分量。具体地，直线分量检测部15将直线分量检测算法应用于由影像区域分割部13分割的第一区域及第二区域中的每个边缘图像，可以从包含在每个第一区域及第二区域的边缘检测直线分量。在此，直线分量检测部15对在影像区域分割部13分割的区域中对应于靠近区域的第一区域 3101-2和对应于远离区域的第二区域3101-1检测直线分量，因此，可以表示与弯道车线相对应的曲线。
另外，直线分量检测部15，例如可以使用霍夫变换(Hough transform) 等，基于在边缘检测部14检测的边缘来检测直线分量。另外，在直线分量检测部15检测的直线分量可以为一个以上。
并且，直线分量检测部15可以基于检测到的直线分量来生成边缘直线处理图像。在此，在直线分量检测部15生成的边缘直线处理图像可以为所检测的直线分量区域与其他区域区分的图像。在后面，参照图6说明所述边缘直线处理图像。
另外，参照图5更加详细地说明直线分量检测部的操作。
图5是用于说明根据本发明的一实施例的直线分量检测过程的图。图 5(a)是在边缘检测部14生成的边缘图像，直线分量检测部15可以在由影像区域分割部13分割的对应于第一区域的第一边缘图像3201及对应于第二区域的第二边缘图像3202应用霍夫变换(Hough Transform)。这种情况下，如图5(b)所示，直线分量检测部15可以从包括在第一边缘图像3201中的边缘检测第一直线分量3201-1、3201-2，从包含在第二边缘图像3202的边缘检测第二直线分量3202-1、3202-2。
图6是示出根据本发明的一实施例的边缘图像和边缘直线处理图像的图。边缘检测部14可以基于检测到的边缘来生成边缘图像。参照图6 (a)，在边缘检测部14生成的边缘图像可以包括检测到的边缘区域(白色显示区域)和非边缘区域(黑色显示区域)，在边缘图像中边缘区域可以与非边缘区域区分。
另外，直线分量检测部15可以基于从边缘图像检测的直线分量来生成边缘直线处理图像。参照图6(b)，在直线分量检测部15生成的边缘直线处理图像可以包括检测到的直线分量区域(白色显示区域)和其他区域(黑色显示区域)，边缘直线处理图像中直线分量区域可以与其他区域区分。
另外，车道线点检测部16可以使用所生成的边缘图像和边缘直线处理图像来检测与车道线相对应的车道线点。
通常，车辆行驶的车道线由左车道线和右车道线组成，所以车道线点检测部16可以使用所生成的边缘图像和边缘直线处理图像分别检测与左车道线相对应的车道线点和与右车道线相对应的车道线点。
但不限于此，当车辆行驶的车道仅由一个车道线构成时，车道线点检测部16还可以使用所生成的边缘图像和边缘直线处理图像仅检测出与一侧车道线相对应的车道线点。
在此，车道线点检测部16可以包括初期车道线点检测部16-1、后续车道线点检测部16-2、ACM能量计算部16-3。
初期车道线点检测部16-1可以使用在边缘检测部14生成的边缘图像和在直线分量检测部15生成的边缘直线处理图像中的至少一个来确定初期车道线点。具体地，初期车道线点检测部16-1在边缘图像和边缘直线处理图像中的至少一个图像的下端检测亮度值最大的两点以上的点，可以将点中的左侧亮度值成为最大的点确定为左侧初期车道线点，并可以将点中的右侧亮度值成为最大的点确定为右侧初期车道线点。参照图7更加详细地说明确定这些初期车道线点的方法。
图7是用于说明根据本发明的一实施例的确定初期车道线点的图。参照图7，初期车道线点检测部16-1是示出使用边缘图像3301确定初期车道线点的图，初期车道线点检测部16-1设置边缘图像3301的下端部分3302，分析下端部分3302的直方图检测亮度值成为最大的两点以上的点，可以确定点中左侧亮度值成为最大的初期左车道线点V1 L，并可以确定点中右侧亮度值成为最大的右侧初期车道线点V1 R。
另外，图7中以初期车道线点检测部16-1分析在边缘检测部14生成的边缘图像来检测初期车道线点的情况为例进行了说明，但不限于此。根据本发明的另一实施例，可以分析在直线分量检测部15生成的边缘直线处理图像来检测初期车道线点。或者，可以将在边缘图像中检测的初期车道线点和在边缘直线处理图像中检测的初期车道线点的平均位置检测为初期车道线点。
另一方面，当确定了初期车道线点时，后续车道线点检测部16-2生成搜索窗口，将所生成的搜索窗口分别应用于边缘图像和边缘直线处理图像，并在所述应用的搜索窗口内将满足预设条件的点确定为后续车道线点。在这种情况下，后续车道线点检测部16-2可以从边缘图像和边缘直线处理图像的每一个的下端到上端依次执行搜索窗口的生成和应用来确定多个后续车道线点。
具体地，后续车道线点检测部16-2基于所确定的初期车道线点来生成第一搜索窗口，并且，可以将所生成的第一搜索窗口应用于边缘图像和边缘直线处理图像中的每一个确定满足预设条件的第一后续车道线点。并且，后续车道线点检测部16-2生成将第一后续车道线点位于第一搜索窗口中的列为中心列的第二搜索窗口，并将所生成的第二搜索窗口布置在第一搜索窗口的上部，分别应用于边缘图像和边缘直线处理图像中的每一个来确定满足预设条件的第二后续车道线点。然后，后续车道线点检测部 16-2以与第二搜索窗口的生成相同的方式依次生成第三、第四、..第N 个搜索窗口，直到边缘图像和边缘直线处理图像的最后为止，将所述依次生成的多个第三、第四、..第N个搜索窗口依次应用到边缘图像和边缘直线处理图像的上端，来确定多个后续车道线点。
此处，应用于边缘图像的搜索窗口和应用于边缘直线处理图像的搜索窗口可以具有相同的尺寸，并且，可以为在每个图像中布置在相同位置的搜索窗口。
另外，预设条件可以为将主动轮廓模型(ACM，Active Contour Model) 的能量值最小化的点确定为后续线点的条件。
ACM是反复执行使内部能量和外部能量最小化的过程并寻找轮廓的模型，可以由内部能量(internal energy)和外部能量(external energy) 组成。
根据本发明的ACM能量计算部16-3可以基于下面的数学式2来计算ACM的能量值。
【数学式2】
Figure BDA0003014237250000171
在此，Eint可以表示内部能量值，Eext可以表示外部能量值，EACM可以表示ACM能量值。
*内部能量(internal energy)
具体地，ACM能量计算部16-3可以使用多个先前点之间的平均距离及当前点与先前点之间的距离来计算内部能量值。在此，当当前车道线点和先前车道线点之间的距离接近多个先前车道线点之间的平均距离时，能量减少并会聚。具体地，ACM能量计算部16-3可以基于下面的数学式3 来计算内部能量值。
【数学式3】
Figure BDA0003014237250000172
此处，vi表示第i个车道线点矢量，
Figure BDA0003014237250000173
表示到第i-1个车道线点的平均距离。在此，初期车道线点i可以为0，后续车道线点可依次分配1、2…n。
*外部能量(external energy)
具体地，如下面的数学式4，ACM能量计算部16-3可以使用在边缘图像和边缘直线处理图像的每一个中检测的车道线点的亮度值来计算外部能量值。尤其，当仅使用边缘图像计算外部能量时，由于不能准确地检测车道线点，因此，根据本发明，同时使用边缘直线处理图像和边缘图像，但是对直线处理图像应用更大的权重值来计算外部能量，从而，可以更准确地检测出车道线点。
【式4】
Figure BDA0003014237250000174
在此，fedge(vi)可以表示第i个车道线点中的边缘图像的亮度值(值： 0至255)，fhough(vi)可以表示第i个车道线中的边缘直线处理图像的亮度值(值：0至255)，fEmax可以表示边缘图像的亮度最大值(值：255)， fHmax可以表示边缘直线处理图像的亮度最大值(值：255)。
下面，参照图8更详细地说明使用所述主动轮廓模型(ACM，Active ContourModel)的后续车道线点的检测方法。
图8是用于说明根据本发明的一实施例的后续车道线点检测方法的图。参照图8，在初期车道线点检测部16-1检测到初期车道线点V0 L、V0 R时，后续车道线点检测部16-2可以基于初期车道线点生成第一搜索窗口 3401-1、3401-2。此处，第一搜索窗口3401-1、3401-2可以被布置为位于第一搜索窗口3401-1、3401-2的最后一行的中心。
然后，后续车道线点检测部16-2可以将生成的第一搜索窗口3401-1、 3401-2应用于边缘图像和边缘直线处理图像中的每一个，并基于上述的数学式计算第一检索窗口3401-1、3401-2的每个像素的内部能量值和外部能量值。此外，后续车道线点检测部16-2可以将计算出的内部能量值和外部能量值应用于上述数学式2来计算第一搜索窗口3401的每个像素的ACM能量值。另外，后续车道线点检测部16-2可以将计算出的ACM 能量值最小的点检测为第一后续车道线点V1 L、V1 R。
此后，后续车道线点检测部16-2可以生成将第一后续车道线点V1 L、 V1 R位于第一搜索窗口3401-1,3401-2的列为中心列的第二搜索窗口 3402-1、3402-2。另外，后续车道线点检测部16-2可以将所生成的第二搜索窗口3402-1、3402-2布置在第一搜索窗口3401-1、3401-2的上部。在这种情况下，后续车道线点检测部16-2是第二搜索窗口3402-1、3402-2与第一搜索窗口3401-1、3401-2的一部分重叠的位置布置于第一搜索窗口3401-1、3401-2的上部，也可以在不重叠的位置布置于第一搜索窗口 3401-1、3401-2的上部。
此后，后续车道线点检测部16-2可以将生成的第二搜索窗口3402-1、 3402-2分别应用于边缘图像和边缘直线处理图像，并基于上述数学式计算第二搜索窗口3402-1、3402-2的每个像素的内部能量值和外部能量值。然后，后续车道线点检测部16-2可以将所计算的内部能量值和外部能量值应用于上述的数学式2计算第二搜索窗口3402-1、3402-2的每个像素的ACM能量值。另外，后续车道线点检测部16-2可以将计算出的ACM 能量值最小的点检测为第二后续车道线点V2 L、V2 R。
此处，第二搜索窗口和第二后续车道线点的第二的表达是用于将第一搜索窗口与第一后续车道线点区分开的，第二搜索窗口和第二后续车道线点可以为包括第一搜索窗口之后的所有搜索窗口和第一后续车道线点之后的所有车道线点的概念。
即，根据本发明的一实施例的后续车道线点检测部16-2可以重复上述的第二搜索窗口的设置和第二后续车道线点检测过程，设置多个第二搜索窗口3403-1、3403-2、...、340N-1、340N-2，并检测多个第二后续车道线点V3 L、V3 R、...、VN L、VN R。
另外，应用于边缘图像的搜索窗口和应用于边缘直线处理图像的搜索窗口具有相同的尺寸，可以为在每个图像中布置在相同位置的搜索窗口。
另外，上述搜索窗口可以为预设大小，并且车道线点检测部16可以应用预设大小的搜索窗口来检测车道线点。作为一例，如图8所示，搜索窗口的大小可以预设为横5像素和纵5像素。
但不限于此，可以自适应地改变根据本发明的一实施例的车道线点检测部16的搜索窗口的大小来检测车道线点。作为一例，根据本发明的一实施例的车道线点检测部16可以根据在直线分量检测部15生成的边缘直线处理图像的直线分量的倾斜度来自适应地改变搜索窗口的大小。
即，在弯道区间，弯道曲率半径越小，弯道的风险越大，并且对应于弯道车道线的直线分量的倾斜度会越小。因此，随着直线分量的倾斜度越小，车道线点检测部16可以增加搜索窗口的行尺寸，从而可以向左右侧搜索更宽的区域。
另外，根据本发明，后续车道线点确定部16-2可以仅在第一搜索窗口和第二搜索窗口的中间行检测满足预设条件的点。即根据本发明，通过仅在搜索窗口的中间行的像素检测满足预设条件的点，而无需计算搜索窗口的所有像素的ACM，从而，可以提高运算处理速度，在低端终端也可以实时处理影像。
图9是示出根据本发明的一实施例的车道线点检测结果的图。参照图 9，后续车道线点检测部16-2生成搜索窗口，并将所生成的搜索窗口应用于边缘图像和边缘直线处理图像中的每一个，可以检测出在所述应用的搜索窗口内满足预设条件的所有后续车道线点。
另外，车道线点拟合部17可以计算检测到的车道线点所形成的曲线方程式，并基于计算出的曲线方程式将所述车道线点拟合为曲线。
即，如果在车道线点检测部16检测到的车道线点按原样连接，则形状可能与实际曲线不同。因此，根据本发明的车道线点拟合部17计算以下数学式5中记载的二次方程式的系数a、b、c，计算出曲线方程式，应用在所计算的曲线方程式中检测到的所有车道线点，将车道线点拟合为曲线。
【数学式5】
x＝ay2+by+c
车道线检测部18可以基于在车道线点检测部16检测到的车道线点来检测车道线。具体地，车道线检测部18将从俯视影像中检测的车道线点变换为所获取的行驶影像的视点(此处，行驶影像为前视影像)，从而，可以检测到对应于俯视影像的车道线点的前视影像的车道线点。此处，在俯视影像中检测的车道线点可以为在车道线点检测部16检测到的车道线点或者是在车道线点拟合部17曲线拟合的车道线点。并且，可以使用影像视点变换部12的变换矩阵来执行从俯视影像视点到前视影像视点的变换。
另外，车道线检测部18可以从前视影像的车道线点检测车道线。
参照图10更加详细地说明所述车道线检测部18的操作。
图10是用于说明根据本发明的一实施例的使用俯视影像在前视影像中检测车道线的过程的图。参照图10，影像视点变换部12可以从前视影像生成如图10(a)所示的俯视影像。另外，如图10(b)所示，车道线点检测部16可以使用俯视影像来检测所有车道线点。
另一方面，如图10(c)所示，车道线检测部18在检测到所有车道线点时，将在俯视影像中检测出的车道线点变换为前视影像视点，从而，可以检测出与俯视影像的车道线点相对应的前视影像的车道线点。另外，车道线检测部18可以从前视影像的左侧和右车道线点检测车道线3501、 3502。
下面，参照图11至图13更加详细地说明根据本发明的一实施例的车道线检测方法。
图11是示出根据本发明的一实施例的车道线检测方法的流程图。参照图11，车道线检测装置可以获取在行驶车辆的拍摄装置中拍摄的行驶影像(S101)。
另外，车道线检测装置可以在所获取的行驶影像中检测与车道线相对应的边缘(edge)，并基于检测到的边缘来生成边缘图像(S102)。
此外，车道线检测装置可以基于检测到的边缘来检测直线分量，并且可以基于检测到的直线分量来生成边缘直线处理图像(S103)。
另外，车道线检测装置可以使用所生成的边缘图像和边缘直线处理图像来检测与所述车道线相对应的车道线点(S104)。
然后，车道线检测装置可以基于检测到的车道线点来检测车道线 (S105)。
图12是更加详细地示出根据本发明的一实施例的车道线检测方法的流程图。参照图12，车道线检测装置可以获取在行驶车辆的拍摄装置拍摄的行驶影像(S201)。
另外，车道线检测装置可以变换与所获取的行驶影像相对应的前视影像的视点来生成俯视影像(Top View)(S202)。
另外，车道线检测装置可根据距车辆的距离将俯视影像划分为第一区域和第二区域(S203)。
另外，车道线检测装置可以在俯视影像中检测与车道线相对应的边缘，并基于检测到的边缘来生成边缘图像(S204)。
另外，车道线检测装置可以在与分割后的第一区域相对应的第一边缘图像和与第二区域相对应的第二边缘图像的每一个中检测直线分量，并基于检测到的直线分量生成边缘直线处理图像(S205)。
另外，车道线检测装置可以使用所生成的边缘图像和边缘直线处理图像中的至少一个来检测初期车道线点(S206)。
另外，车道线检测装置可以生成搜索窗口，并将所生成的搜索窗口应用于边缘图像和边缘直线处理图像的每一个，从而，可以在所应用的搜索窗口中检测满足预设条件的后续车道线点(S207)。
然后，车道线检测装置可以基于检测的车道线点检测车道线(S208)。
图13是更加详细地示出根据本发明的一实施例的车道线点检测步骤 (S206、S207)的流程图。参照图13，首先，车道线检测装置可以检测在边缘图像或边缘直线处理图像的下端亮度值成为最大的初期车道线点 (S301)。
另外，车道线检测装置可以基于检测到的初期车道线点来生成第一搜索窗口(S302)。
另外，车道线检测装置可以将所生成的第一搜索窗口应用于边缘图像和边缘直线处理图像中的每一个，将满足预设条件的点确定为第一后续车道线点(S303)。
另外，车道线检测装置可以生成将第一后续车道线点位于第一搜索窗口的列为中心列的第二搜索窗口(S304)。
另外，车道线检测装置可以将所生成的第二搜索窗口布置在第一搜索窗口的上部，应用于边缘图像和边缘直线处理图像的每一个来确定满足预设条件的第二后续车道线点(S305)。
在此，预设条件可以是将主动轮廓模型(ACM，Active Contour Model) 的能量值最小化的车道线点。具体地，步骤(S305)可以包括使用多个先前车道线点之间的平均距离及当前车道线点与先前车道线点之间的距离计算内部能量值的步骤；以及利用在边缘图像和边缘直线处理图像的每一个检测的车道线点的亮度值计算外部能量值的步骤。
另外，根据本发明的车道线检测装置可以通过重复执行步骤(S304) 和(S305)直到边缘图像和边缘直线处理图像的上端来检测所有车道线点。
另外，当检测到上述的车道线点时，可以分别检测到对应于左车道线的车道线点和对应于右车道线的车道线点。
另外，车道线检测装置可以仅在搜索窗口的中间行检测满足预设条件的点。
而且，可以根据直线分量的倾斜度来自适应地改变搜索窗口的行大小。
图14是更加详细地示出根据本发明的一实施例的车道线检测步骤 (S208)的流程图。参照图14，车道线检测装置可以计算由检测到的多个车道线点形成的曲线方程式(S401)。
然后，车道线检测装置可以基于计算出的曲线方程式将检测到的车道线点拟合为曲线(S402)。
另外，车道线检测装置可以将从俯视影像检测出的多个车道线点变换成前视影像的视点(S403)。
另外，车道线检测装置可以根据上述变换来检测前视影像的多个车道线点(S404)。
另外，车道线检测装置可以基于检测到的行驶影像的多个车道线点来检测车道线(S405)。
另外，车道线检测装置10可以由输出用于辅助驾驶员的驾驶的各种引导信息的电子装置的一模块来实现，执行路线引导功能。参照图15至 22进一步详细说明。
图15是示出根据本发明的一实施例的电子装置的框图。参照图15，电子装置100包括存储部110、输入部120、输出部130、车道线检测部 140、增强现实提供部160、控制部170、通信部180、感测部190、电源部195的全部或局部。
其中，电子装置100可以由向车辆的驾驶员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数据助理(PDA，personal digital assistant)、便携式多媒体播放器(PMP，portable multimedia player)、智能玻璃、工程玻璃、导航(navigation)、作为车辆用影像拍摄装置的车载行车记录仪(Car dash cam)及车载录像机等的多种装置体现，并可设置于车辆。
驾驶相关引导可以包括如路线引导、车道线脱离引导、车道线维持引导、前方车辆出发引导、信号灯变更引导、前方车辆碰撞防止引导、车道线变更引导、车道线引导、弯道引导等用于辅助车辆驾驶员的驾驶的多种引导。
其中，路线引导可以包括：增强现实路线引导，在拍摄行驶中的车辆的前方的影像结合如用户的位置、方向等的各种信息来执行路线引导；以及二维或三维路线引导，在二维(2D，2-Dimensional)或三维(3D， 3-Dimensional)的地图数据结合用户的位置、方向等的各种信息来执行路线引导。
不仅如此，路线引导可以包括通过在航空地图数据结合如用户的位置、方向等的各种信息来执行路线引导的航空地图路线引导。其中，路线引导包括用户搭乘车辆进行驾驶的情况和用户行走或跑步移动的情况下的路线引导。
并且，车道线脱离引导可用于引导行驶中的车辆是否脱离车道线。
并且，车道线维持引导可用于引导车辆回到原本行驶的车道线。
并且，前方车辆出发引导可用于引导位于停车的车辆前方的车辆是否出发。
并且，信号灯变更引导可用于引导位于停车中的车辆的前方的信号灯是否变更信号。作为一例，若在打开表示停止信号的红色信号灯的状态下变为表示出发信号的绿色信号灯，则对其进行引导。
并且，前方车辆碰撞防止引导若与位于停车或行驶中的车辆的前方的车辆的距离为规定距离以内，则引导以防与前方车辆发生碰撞。
并且，车道线变更引导是为了引导目的地为止的路线而引导车辆从所在的车道向其他车道变更路线。
并且，车道引导可用于引导当前车辆所在的车道。
并且，弯道引导可用于引导在规定时间之后车辆行驶的道路为弯道。
如上所述，可以提供多种引导的如车辆的前方影像的驾驶相关影像可以通过设置于车辆的摄像头或智能手机的摄像头拍摄。其中，摄像头可为与设置于车辆的电子装置100形成为一体来拍摄车辆的前方的摄像头。
作为另一例，摄像头可为与电子装置100单独设置于车辆来拍摄车辆的前方的摄像头。在此情况下，摄像头可为朝向车辆的前方设置的其他的车辆用影像拍摄装置，电子装置100可以与单独设置的车辆用影像拍摄装置通过有线、无线通信接收拍摄影像，或者若向电子装置100插入用于存储车辆用影像拍摄装置的拍摄影像的存储介质，则电子装置100可以接收拍摄影像。
以下，基于上述内容，更加详细说明根据本发明的一实施例的电子装置100。
存储部110用于存储电子装置100的动作所需要的多种数据及应用。尤其，存储部110可以存储电子装置100的动作所需要的数据，例如，操作系统、路线搜索应用、地图数据等。并且，存储部110可以存储通过电子装置100的动作生成的数据，例如，搜索的路线数据、接收的影像等。
所述存储部110可以由如随机存取存储器(RAM，Random Access Memory)、闪存、只读存储器(ROM，Read Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable ROM)、电子可擦除可编程只读存储器(EEPROM，Electronically Erasableand Programmable ROM)、寄存器、硬盘、可移动磁盘、存储卡、全球用户身份模块(USIM，Universal Subscriber Identity Module)等的内置型存储器件体现，也可以由如USB存储器等的可拆装型存储器件体现。
输入部120具有将从电子装置100的外部的物理输入变换为特定电信号的功能。其中，输入部120可以包括用户输入部121和麦克风部123 的全部或局部。
用户输入部121可以接收如触摸、推送动作等的用户输入。其中，用户输入部121可以利用多种按钮形态、接收触摸输入的触摸传感器、接收接近运动的接近传感器中的至少一个来体现。
麦克风部123可以接收用户的语音及车辆的内外部发生的音响。
输出部130是向用户以影像和/或语音输出电子装置100的数据的装置。其中，输出部130可以包括显示部131和音频输出部133的全部或局部。
显示部131是向用户输出可以视觉识别的数据的装置。显示部131 可以由设置于电子装置100的壳体前面的显示部体现。并且，显示部131 与电子装置100形成为一体，可以输出视觉识别数据，如平视显示器 (Head Up Display)，与电子装置100单独设置而可以输出视觉识别数据。
音频输出部133是输出电子装置100可听觉识别的数据的装置。音频输出部133可以由将向电子装置100的用户提醒的数据以声音表现的扬声器体现。
车道线检测部140可以执行上述的车道线检测装置10的功能。
增强现实提供部160可以提供增强现实视觉模式。其中，增强现实为在装有用户实际观看的现实世界的屏幕视觉性地重叠附加信息(例如，表示感兴趣点(Point OfInterest，POI)的图形要素、引导前方车辆碰撞危险性的图形要素、表示车辆间距离的图形要素、引导弯道的图形要素及用于帮助驾驶员的安全驾驶的多种附加信息等)来提供的方法。
所述增强现实提供部160可以包括校准部、三维空间生成部、对象生成部、匹配部的全部或局部。
校准部可以执行从摄像头拍摄的拍摄影像推定与摄像头相对应的摄像头参数的校准(Calibration)。其中，摄像头参数为作为表示实际空间结像于照片的关系的信息的构成摄像头矩阵的参数，可以包括摄像头外部参数(extrinsic parameters)、摄像头内部参数(intrinsic parameters)。
三维空间生成部可基于从摄像头拍摄的拍摄影像生成虚拟三维空间。具体地，三维空间生成部可将校准部推定的摄像头参数应用于二维拍摄影像来生成虚拟三维空间。
对象生成部可生成用于在增强现实进行引导的对象，例如，前方车辆碰撞防止引导对象、路线引导对象、车道线变更引导对象、车道线脱离引导对象、弯道引导对象等。此时，对象生成部可根据在车道线检测部140 检测的车道线基于车道线生成在增强现实上用于引导的多个对象。
具体地，对象生成部可以基于在车道线检测部140检测的车道线生成用于引导至目的地为止的路线的路线引导对象。参照图16对此进行更详细地说明。
图16是用于说明根据本发明的一实施例的路线引导对象生成方法的图。参照图16，对象生成部可以检测构成在车道线检测部140检测到的左车道线3601的多个点。而且，对象生成部可以检测构成在车道线检测部140检测到的右车道线3602的多个点。其中，检测出的多个点可以为计算在车道线点检测部16中在俯视影像中检测到的多个车道线点所形成的曲线方程式，基于计算的曲线方程式将检测出的多个车道线点拟合为曲线，并将拟合的车道线点变换为前视影像的视点来匹配于前视影像的车道线点。
另外，对象生成部可以确定位于左车道线3601的多个点与右车道线 3602的多个点的中间的多个虚拟点，并且，生成连接多个虚拟点的虚拟引导线3603。在此情况下，对象生成部可以通过计算由多个虚拟点形成的曲线方程式，并将基于计算的曲线方程式检测的多个车道线点拟合为曲线来生成所述虚拟引导线3603。
另外，对象生成部可以生成在虚拟引导线3603具有中心的路线引导对象3604。作为一例，所生成的路线引导对象3604具有箭头形状，箭头可以指示车辆应当行驶的路线。
然而，这仅是本发明的一实施例，本发明的路线引导对象并不局限于此。根据本发明的另一实施例，对象生成部仅利用构成检测到的左车道线 3601的多个点和构成检测到的右车道线3602的多个点，而不计算虚拟引导线3603可以生成在左车道线和右车道线中车辆必须行驶的车道上布置的路线引导对象。
而且，对象生成部可以基于在车道线检测部140检测的车道线来生成车道线脱离引导对象。具体地，当行驶车辆脱离车道线时，对象生成部可以使用在车道线检测部140检测的车道线来生成布置在车辆脱离的车道线上的车道线脱离引导对象。即，在对象生成部生成的车道线脱离引导对象可以被生成为与在车道线检测部140检测的车道线相同的形状(即，在车道线检测部140曲线拟合的车道线)。
一方面，通信部180可以用于使电子装置100与其他设备进行通信而设置。通信部180可以包括位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189的全部或局部。
位置数据部181为通过全球导航卫星系统(GNSS，Global Navigation SatelliteSystem)获取位置数据的装置。全球导航卫星系统为利用从人工卫星接收的电波信号来计算接收终端的位置的导航系统。作为全球导航卫星系统的具体例，根据其操作系统，可以举全球定位系统(GPS，Global Positioning System)、伽利略(Galileo)、全球轨道导航卫星系统 (GLONASS，Global Orbiting Navigational Satellite System)、指南针(COMPASS)、印度区域导航卫星系统(IRNSS，Indian Regional Navigational SatelliteSystem)、准天顶卫星系统(QZSS，Quasi-Zenith Satellite System)等。根据本发明的一实施例的电子装置100的位置数据部181可以通过接收使用电子装置100的区域进行服务的全球导航卫星系统信号来获取位置数据。或者，除全球导航卫星系统之外，位置数据部181可以通过与基站或访问接入点(AP，Access Point)的通信获取位置数据。
无线网络部183连接无线网络来获取或发送数据。无线网络部183 可通过被定义为执行无线局域网(WLAN，Wireless LAN)、无线宽带 (Wibro，Wireless broadband)、全球微波接入互操作性(Wimax，World interoperability for microwave access)、高速下行链路分组接入 (HSDPA，High Speed Downlink Packet Access)的无线数据收发的多种通讯协议连接网络。
广播收发部185通过各种广播系统收发广播信号。可通过广播收发部 185收发的广播系统可以为地面数字多媒体广播(DMBT，Digital Multimedia BroadcastingTerrestrial)、数字多媒体广播卫星(DMBS， Digital Multimedia BroadcastingSatellite)、前向链路媒体(MediaFLO， Media Forward Link Only)、手持数字视频广播(DVBH，Digital Video Broadcast Handheld)、地面综合业务数字广播(ISDBT，IntegratedServices Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可以包含交通数据、生活数据等。
移动通信部186可以根据第三代(3G，3rd Generation)、第三代合作伙伴计划(3GPP，3rd Generation Partnership Project)、长期演进 (LTE，Long Term Evolution)等的多种移动通信规格连接移动网络来进行语音及数据通信。
近距离通信部187为用于近距离通信的装置。如上所述，近距离通信部187可以通过蓝牙(Bluetooth)、射频识别(RFID，Radio Frequency Identification)、红外线通信(IrDA，Infrared Data Association)、超宽带 (UWB，Ultra WideBand)、紫蜂(ZigBee)、近场通信(NFC，Near Field Communication)、无线保真(Wi-Fi，Wireless-Fidelity)等进行通信。
有线通信部189为可以使电子装置100与其他设备有线连接的接口设备。有线通信部189可以为通过USB端口进行通信的USB模块。
如上所述，通信部180可利用位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备进行通信。
作为一例，在电子装置100不包括摄像头功能的情况下，可以利用近距离通信部187、有线通信部189中的至少一个来接收在如汽车行车记录仪(Car dash cam)或车载视频录像机(Car video recorder)的车辆用影像拍摄装置中拍摄的影像。
作为另一例，在与多个设备进行通信的情况下，一个可以通过近距离通信部187进行通信，另一个可以通过有线通信部119进行通信。
感测部190为可以感测电子装置100的当前状态的装置。感测部190 可以包括运动感测部191和光感测部193的全部或局部。
运动感测部191可以检测电子装置100的三维空间上的运动。运动感测部191可以包括三轴地磁传感器及三轴加速度传感器。将通过运动感测部191获取的运动数据与通过位置数据部181获取的位置数据相结合来更加准确地计算附着电子装置100的车辆的轨迹。
光感测部193为测量电子装置100的周边照度(illuminance)的装置。可利用通过光感测部193获取的照度数据来使显示部131的亮度变化为与周边亮度相对应。
电源部195为供应电子装置100的动作或与电子装置100相连接的其他设备的动作而所需的电源的装置。电源部195可为从内置于电子装置 100的电池或车辆等的外部电源接收电源的装置。并且，电源部195根据接收电源的形态由有线通信模块119体现或者由无线接收的装置体现。
控制部170控制电子装置100的整体动作。具体地，控制部170可以控制存储部110、输入部120、输出部130、车道检测部140、增强现实提供部160、通信部180、感测部190、电源部195的全部或局部。
图17为用于说明本发明的一实施例的与电子装置连接的系统网络的图。参照图17，根据本发明的一实施例的电子装置100可以由如导航、车辆用影像拍摄装置、智能手机或其他车辆用增强现实界面提供装置等的设置于车辆的各种装置体现，可以与多种通信网及其他电子设备61、62、 63、64连接。
并且，电子装置100可以根据从人造卫星70接收的电波信号来与 GPG模块联动并计算当前位置及当前时段。
各个人造卫星70可以发送频带不同的L带频率。电子装置100以从各个人造卫星70发送的L带频率到达电子装置100为止所需要的时间为基础计算当前位置。
另一方面，电子装置100可以通过通信部180，并通过控制站80 (ACR)、基站85(RAS)、访问接入点(AP，Access Point)等与网络 90无线连接。若电子装置100与网络90连接，则也与网络90连接的其他电子设备61、62间接连接而交换数据。
另一方面，电子装置100可以通过具有通信功能的其他设备63与网络90间接连接。例如，在电子装置100不具有可以与网络90连接的模块的情况下，可通过近距离通信模块等来与具有通信功能的其他设备63 进行通信。
图18是示出根据本发明的一实施例的显示路线引导对象的增强现实引导屏幕的图。参照图18，增强现实提供部160可以生成引导从车辆的当前位置到目的地的路线的路线引导对象3701、3702、3703，并生成将所生成的路线引导对象3701、3702、3703显示在基于车道线检测部140 检测的车道线拍摄的行驶影像的车道上的增强显示图像并显示在平面上。
即，显示部131在增强现实图像可以显示箭头形状的第一路线引导对象3701，所述第一路线引导对象3701在车道线检测部140检测到的两个车道线的中心处具有虚拟引导线指向车辆应行驶的路线。其中，虚拟引导线可以为连接位于左车道线的多个点和右车道线的多个点的中间的多个虚拟点的虚拟线。
另外，显示部131在第一路线引导对象3701的左侧和右侧可分别显示第二路线引导对象3702及第三路线引导对象3703，第二路线引导对象 3702和第三路线引导对象3703可分别显示在不脱离在车道线检测部140 检测到的左右车道线的车辆的行驶车道上。其中，第二路线引导对象3702 和第三路线引导对象3703可以为仅在车辆的行驶车道上显示的地毯形状的车道识别对象。
另外，根据本发明的一实施例的增强现实图像可以包括用于在地图上显示车辆的位置的区域3704。另外，根据本发明的一实施例的增强现实图像还可以包括车辆的行驶信息，例如，车辆的行驶速度、车辆正在行驶的道路的限速、当前时间、目的地为止的距离、剩余时间、掉头地点车辆需要行驶的方向以及表示掉头地点为止的距离的区域3705。
图19是示出根据本发明的一实施例的表示车道线脱离引导对象的增强现实引导屏幕的图。参照图19，增强现实提供部160生成引导车辆脱离车道线的车道线脱离引导对象3801，并将所生成的车道线脱离引导对象3801可以基于在车道线检测部140检测的车道线生成显示在车道线上的增强现实图像。
作为一例，如图19所示，当车辆脱离左车道线时，显示部131显示具有与在车道线检测部140检测到的车道线相同的形状(即，由车道线检测部140曲线拟合的车道线)的左车道线脱离引导对象3801，并可以显示将所生成的左车道线脱离引导对象3801显示在在车道线检测部140检测的车道线上的增强现实图像。
图20为示出根据本发明的一实施例的电子装置不具有拍摄部的情况下的体现形态的图。参照图20，与电子装置100单独设置的车辆用影像拍摄装置200可通过有线、无线通信方式构成根据本发明的一实施例的电子装置。
电子装置100可以包括设置于壳体191的前面的显示部131、用户输入部121及麦克风123。
车辆用影像拍摄装置200可以包括摄像头222、麦克风224及附着部281。
图21为示出根据本发明的一实施例的电子装置具备拍摄部的情况下的体现形态的图。参照图21，在电子装置100包括拍摄部150的情况下，电子装置100的拍摄部150拍摄车辆的前方，并使用户识别电子装置100 的显示部分。由此，可以体现本发明的一实施例的电子装置。
图22为示出利用根据本发明的一实施例的平视显示器(Head-Up Display)的体现形态的图。参照图22，平视显示器可通过与其他设备的有线、无线通信在平视显示器上显示增强现实引导屏幕。
作为一例，增强现实可通过利用车辆前玻璃的平视显示器或利用额外的影像输出装置的影像重叠等提供，如上所述，增强现实提供部160可以生成在增强现实影像或玻璃上重叠的界面图像等。由此，可体现增强现实导航或车辆信息娱乐系统等。
另外，车道线检测装置10可以由用于自动行驶的系统的一模块而实现，执行路线引导功能。参照图23至图24对此进行更详细地说明。
参照图23，根据本实施例的自动行驶车辆2000可包括控制装置 2100、感测模块2004a、2004b、2004c、2004d、引擎2006及用户界面2008。
自动行驶车辆2000可以具有自动行驶模式或手动模式。作为一例，根据通过用户界面2008接收的用户输入，可以将手动模式切换为自动行驶模式，或者可以将自动行驶模式切换为手动模式。
当车辆2000以自动行驶模式运行时，自动行驶车辆2000可以在控制装置2100的控制下运行。
在本实施例中，控制装置2100可包括具备存储器2122及处理器 2124的控制器2120、传感器2110、通信装置2130、物体检测装置2140。
在本实施例中，物体检测装置2140是用于检测位于车辆2000外部的物体的装置，物体检测装置2140检测位于车辆2000外部的物体，并且可以生成根据检测结果的物体信息。
物体信息可以包括关于物体的存在或不存在的信息、物体的位置信息、车辆与物体之间的距离信息、以及车辆与物体之间的相对速度信息。
物体可以包括位于车辆2000外部的各种对象，例如车道线、其他车辆、行人、交通信号、光、道路、构造物、减速带、地形物及动物等。在此，交通信号可以是包括交通信号灯、交通标志、在路面上绘制的图案或文字的概念。另外，光可以是从其他车辆的灯产生的光、从路灯产生的光或日光。
另外，构造物可以是位于道路周围并固定在地面上的物体。例如，构造物可以包括路灯、街道树、建筑物、电线杆、交通信号灯及桥梁。地形物可以包括山、山坡等。
所述物体检测装置2140可以包括相机模块。控制器2120可以从由相机模块拍摄的外部图像提取对象信息，并使控制器2120处理这些信息。
另外，物体检测装置2140还可以包括用于识别外部环境的成像装置。除了LIDAR之外，还可以利用RADAR、GPS设备、里程表(Odometry) 和其他计算机视觉设备、超声传感器、红外传感器等，并且，这些装置可根据需要选择或同时启动进行更加精密地检测。
另外，传感器2110可以与感测模块2004a、2004b、2004c、2004d 连接而获得车辆内部/外部环境的各种感测信息。其中，传感器2110可包括、姿势传感器(例如，偏航传感器(yaw sensor)、侧倾传感器(roll sensor)、俯仰传感器(pitch sensor)、碰撞传感器、车轮传感器(wheel sensor)、速度传感器、倾斜传感器、重量感应传感器、航向传感器(headingsensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/后退传感器、电池传感器、燃料传感器、轮胎传感器、通过方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、照度传感器、加速踏板位置传感器、制动踏板位置传感器等。
由此，传感器2110可以获取对车辆姿态信息、车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车内温度信息、车内湿度信息、方向盘旋转角度、车外照度、施加在加速踏板上的压力、施加在制动踏板上的压力等的感测信号。
另外，传感器2110还可以包括加速踏板传感器、压力传感器、引擎旋转速度传感器(engine speed sensor)、空气流量传感器(AFS)、进气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、 TDC传感器、曲柄角传感器(CAS)等。
如此，传感器2110可以基于感测数据生成车辆状态信息。
无线通信装置2130用于体现自动行驶车辆2000之间的无线通信。例如，可以使用户的手机、或其他无线通信装置2130、其他车辆、中央装置(交通控制装置)、服务器等与自动行驶车辆2000进行通信。无线通信装置2130可以根据连接无线协议收发无线信号。无线通信协议可以为无线保真(Wi-Fi)、蓝牙(Bluetooth)、长期演进(Long-Term Evolution，LTE)、编码部分多址(Code Division Multiple Access，CDMA)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、移动通信全球系统(Global Systems forMobile Communications，GSM)，但通信协议不局限于此。
并且，在本实施例中，自动行驶车辆2000可以通过无线通信装置 2130实现车辆之间的通信。即，无线通信装置2130可以通过车辆对车辆 (V2V)之间的通信(vehicle-to-vehicle communication)与道路上的其他车辆及其他多个车辆执行通信。自动行驶车辆2000可通过车辆之间的通信收发如行驶警告、交通信息的信息，也可以向其他车辆请求信息或者从其他车辆接收信息。例如，无线通信装置2130可通过专用短距离通信 (DSRC，dedicated short-range communication)装置或蜂窝车对车通信(C-V2V，Celluar-V2V)装置执行车对车通信。并且，除车辆之间的通信之外，还可以通过无线通信装置2130执行车辆与其他事物(例如，步行者所携带的电子设备等)之间的通信(V2X，Vehicle to Everythingcommunication)。
在本实施例中，控制器2120是控制车辆2000内的每个单元的整体动作的单元，由车辆的制造公司制造或者在制造后，为了执行自动行驶的功能而追加构成。或者，可以包括通过制造时构成的控制器2120的更新持续执行附加功能的结构。所述控制器2120还可以命名为 ECU(Electronic Control Unit)。
控制器2120从所连接的传感器2110、物体检测装置2140、通信装置2130等收集各种数据，并可基于所收集的数据向车辆内作为其他结构包含的传感器2110、引擎2006、用户界面2008、通信装置2130、物体检测装置2140传递控制信号。并且，虽未图示，但也可以向与车辆的行驶有关的加速装置、制动系统、转向装置、或导航装置传递控制信号。
在本实施例中，控制器2120可以对引擎2006进行控制，例如，自动行驶车辆2000感测正在行驶的道路的限速并控制引擎2006以防止行驶速度超过限速，并可以控制引擎2006以在不超过限速的范围内加速自动行驶车辆2000的行驶速度。
另外，在自动行驶车辆2000行驶时自动行驶车辆2000接近或脱离车道线时，控制器2120可以判断车道线的接近和脱离是否由于正常行驶情况而引起或者其他的行驶情况而引起，根据判断结果可以控制引擎 2006以控制车辆的行驶。具体地，自动行驶车辆2000可以配备根据本发明的一实施例的车道线检测装置10，车道线检测装置10可以检测形成在车辆行驶中的车道两侧的车道线。在这种情况下，控制器2120判断自动行驶车辆2000是否接近或脱离车道线，若判断自动行驶车辆2000接近或脱离车道线，则可以判断是否由于正常行驶情况而引起或者其他的行驶情况而引起。其中，作为正常行驶情况的例，会有车辆需要变更车道的情况。另外，作为其他的行驶情况的例，会存在不需要变更车辆的车道线的情况。在车辆不需要变更车道的情况下，若控制器2120判断接近或脱离车道线，则可以控制自动行驶车辆2000的行驶在自动行驶车辆2000不脱离车道线的情况下正常行驶。
所述车道线检测装置10可以由自动行驶车辆2000的控制装置2100 中的一模块而构成。即，控制装置2100的存储器2122和处理器2124 可以通过软件实现根据本发明的车道线检测方法。
在车辆的前方存在其他车辆或障碍物的情况下，控制器2120可以对引擎2006或制动系统进行控制以使行驶车辆减速，除速度之外，可以控制轨迹、运行路线、转向角度。控制器2120可以根据车辆的行驶车道线、行驶信号等其他外部环境的识别信息来生成所需的控制信号并对车辆的行驶进行控制。
控制器2120除生成自我控制信号之外，与周边车辆或中央服务器进行通信，并通过所接收的信息传送用于控制周边装置的指令，由此可以控制车辆的行驶。
并且，在摄像头模块2150的位置改变或拍摄角度改变的情况下，控制器2120很难根据本实施例准确地识别车辆或车道线，因此，为了防止所述现象，以执行摄像头模块2150的校准(calibration)的方式生成控制信号。因此，在本实施例中，控制器2120通过摄像头模块2150发生校准控制信号，由此，即使因随着自动行驶车辆2000的移动发生的振动或冲击等，摄像头模块2150的安装位置改变，也可以持续维持摄像头模块2150的正常安装位置、方向、拍摄角度等。在预先存储的摄像头模块 2120的最初安装位置、方向、拍摄角度信息和在自动行驶车辆2000的行驶过程中测量的摄像头模块2120的最初安装位置、方向、拍摄角度信息等变为临界值以上的情况下，控制器2120可以发生控制信号，以执行摄像头模块2120的校准。
在本实施例中，控制器2120可以包括存储器2122及处理器2124。处理器2124可以根据控制器2120的控制信号执行存储于存储器2122 的软件。具体而言，控制器2120在存储器2122存储用于执行根据本发明的车道线检测方法的数据及指令，为了实现在此说明的一个以上的方法，指令可通过处理器2124执行。
在此，存储器2122可存储于能够在非易失性处理器2124中执行的记录介质。存储器2122可通过适当的内外部装置存储软件和数据。存储器2122可以由随机存取存储器(RAM，random access memory)、只读存储器(ROM，read only memory)、硬盘及与软件保护器相连接的存储器2122装置构成。
存储器2122至少可以存储操作系统(OS，Operating system)、用户应用、可执行指令。存储器2122也可以存储应用数据、排列数据结构。
处理器2124为微处理器或适当的电子处理器，也可以为控制器、微控制器或状态机。
处理器2124可以通过计算装置的组合体现，计算装置可以由数字信号处理器、微处理器或这些的适当组合构成。
另外，自动行驶车辆2000还可包括用户对所述控制装置2100输入的用户界面2008。用户界面2008可通过适当的相互作用使用户输入信息。例如，可由触摸屏、键盘、操作按钮等体现。用户界面2008向控制器2120传送输入或指令，控制器2120可以响应于输入或指令执行车辆的控制动作。
并且，用户界面2008作为自动行驶车辆2000外部装置，可通过无线通信装置2130与自动行驶车辆2000进行通信。例如，用户界面2008 可以与手机、平板电脑或其他计算机装置建立联动。
进而，在本实施例中说明了自动行驶车辆2000包括引擎2006的情况，但还可包括其他类型的推进系统。例如，车辆可通过电能运行，也可以通过氢能或组合这些的混合系统运行。因此，控制器2120包括基于自动行驶车辆2000的推进系统的推进机制，可以向各个推进机制的结构提供所述控制信号。
以下，参照图24更加详细地说明执行根据本实施例的的车道线显示方法的控制装置2100的详细结构。
控制装置2100包括处理器2124。处理器2124可以为常用单一或多重芯微处理器、专用微处理器、微控制器、可编程门阵列等。处理器可以被称为中央处理装置(CPU)。并且，在本实施例中，处理器2124可以组合多个处理器使用。
控制装置2100还包括存储器2122。存储器2122可以为存储电子信息的任意电子零件。除了单一存储器之外，存储器2122还可以包括多个存储器2122的组合。
用于执行根据本发明的车道线检测方法的数据及指令语2122a还可以存储于存储器2122。当处理器2124执行多个指令语2122a时，指令语2122a和用于执行指令所需的数据2122b的全部或一部分可以装载于 2124a、2124b。
控制装置2100可以包括用于收发信号的发射机2130a、接收机 2130b或收发器2130c。一个以上的天线2132a、2132b可以与发射机 2130a、接收机2130b或各个收发器2130c电连接，可以追加包括多个天线。
控制装置2100还可以包括数字信号处理器(DSP)2170。车辆可通过数字信号处理器2170更加迅速地处理数字信号。
控制装置2100还可以包括通信接口2180。通信接口2180可以包括用于将其他装置与控制装置2100相连接的一个以上的端口和/或通信模块。通信接口2180可以与用户的控制装置2100相互作用。
控制装置2100的多种结构可通过一个以上的总线2190相连接，总线2190可以包括电力总线、控制信号总线、状态信号总线、数据总线等。根据处理器2124的控制，多个结构可通过总线2190相互传递信息并执行目的功能。
一方面，在说明书以及权利要求范围中“第一”、“第二”、“第三”以及“第四”等术语是，若有记载的话，其是为了区分类似的构成要素之间而使用的，而且并不是一定的，其是为了说明特定顺序或者发生顺序而使用的。与其相同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的一实施例例如可以按照未在此处示出或者说明的其他顺序执行。与此相同地，当此处记载为方法包括一系列步骤时，此处公开的步骤的顺序并不是一定执行该步骤的顺序，可以省略任意的记载的步骤以及/或者在该方法可以追加未在此处记载的任意的其他步骤。例如，在不脱离本发明的权利范围的情况下，第一构成要素可以命名为第二构成要素，类似地，第二构成要素可以命名为第一构成要素。
另外，说明书以及权利要求范围的“左侧”、“右侧”、“前”、“后”、“上部”、“底部”、“在上”、“在下”等术语是为了说明而使用的，并不一定是说明不变的相对位置。与其相同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的一实施例例如可以朝未在此处示出或者说明的其他方向动作。此处使用的术语“连接”被定义为是通过电力或者非电力方式直接或者间接连接。此处记载为相互“邻接”的对象根据使用该语句的文章而适当地可以为相互物理接触或者相互邻接或者相互在相同的一般范围或者区域的对象。此处存在的“一实施例中”的语句指代相同的实施例，但并不是一定的。
另外，在说明书以及权利要求范围中“连接”、“连接的”、“耦合”、“耦合的”、“结合”、“结合的”等表述的多种变形称呼作为包括与其他构成要素直接连接或者通过其他构成要素间接连接的含义而使用。
相反，当提及某种结构要素与另一结构要素“直接连接”或“直接联接”时，应当理解为中间不存在其他结构要素。
另外，对在本说明书中使用的构成要素的接尾词“模块”以及“部”是仅考虑方便撰写说明书而赋予或者混用的，其本身并不具有相互区分的含义或者作用。
另外，本说明书中使用的术语是为了说明实施例而不是用来限定本发明。在本说明书中，在文章中未作特别提及时，单数形式包括复数形式。说明书中“构成”或者“包括”等术语不得解释为必须包含说明书中所提及的各种构成要素、或各种步骤，可以不包括其中局部构成要素或局部步骤，或者应解释为还可以包括其他附加构成要素或步骤。
以上针对本发明以其优选实施例为中心进行了说明。通过本说明书公开的所有实施例和条件性示例是本领域技术人员为了使读者方便理解本发明的原理和概念而记载的，本领域技术人员应理解本发明在不脱离本发明的本质上的特性的范围内可以由变形的形态体现。
因此，应在说明的观点而不是限定的观点上考虑公开的实施例。本发明的范围记载在专利权利要求范围而不是所述的说明，而且与其相同范围内的所有不同之处应解释为包含在本发明中。
一方面，上述的根据本发明的多种实施例的车道线检测方法可以由程序体现并提供给服务器或者设备。由此，各个装置与存储有程序的服务器或者设备连接，从而能够下载所述程序。
另外，上述的根据本发明的多种实施例的控制方法可以由程序体现，并存储在多种非临时性可读介质(non-transitory computer readable medium)中来提供。非临时性可读介质是指半永久地存储数据并通过设备可读取(reading)的介质而不是如寄存器、高速缓存、存储器等短时间内存储数据的介质。具体地，上述的多种应用或者程序可以存储在CD、 DVD、硬盘、蓝光盘、USB、记忆卡、ROM等非临时性可读介质来提供。另外，以上针对本发明的优选实施例进行了示出和说明，然而本发明并不局限于上述特定的实施例，本领域的技术人员可以在不脱离权利要求范围所请求的本发明的要旨内进行多种变形实施，不仅如此，该变形实施不应与本发明的技术思想或者前景分开理解。

Claims (30)

1.一种车道线检测方法，其为利用处理器的车道线检测方法，其特征在于，包括：
获取从行驶中的车辆的拍摄装置所拍摄的行驶影像的步骤；
在所述所获取的行驶影像中检测与车道线相对应的边缘，并基于所述检测到的边缘生成边缘图像的步骤；
基于所述检测到的边缘检测直线分量，并基于所述检测到的直线分量生成边缘直线处理图像的步骤；
使用所述所生成的边缘图像和所述边缘直线处理图像来检测与所述车道线相对应的车道线点的步骤；以及
根据所述检测到的车道线点检测所述车道线的步骤。
2.根据权利要求1所述的车道线检测方法，其特征在于，还包括通过变换与所述所获取的行驶影像相对应的前视影像的视点来生成俯视影像的步骤，
检测所述边缘的步骤是在所述俯视影像中检测与所述车道线相对应的边缘。
3.根据权利要求2所述的车道线检测方法，其特征在于，还包括根据从所述车辆的距离将所述俯视影像分割为第一区域及第二区域的步骤，
生成所述边缘直线处理图像的步骤是在对应于所述分割的第一区域的第一边缘图像及对应于第二区域的第二边缘图像中分别检测所述直线分量，并基于所述检测到的直线分量生成边缘直线处理图像。
4.根据权利要求1所述的车道线检测方法，其特征在于，检测所述车道线点的步骤中分别检测对应于左车道线的车道线点和对应于右车道线的车道线点。
5.根据权利要求4所述的车道线检测方法，其特征在于，检测所述车道线点的步骤，包括：
利用所述所生成的边缘图像和所述边缘直线处理图像中的至少一个检测初期车道线点的步骤；以及
生成搜索窗口，将所述所生成的搜索窗口分别应用于所述所生成的边缘图像和所述边缘直线处理图像中，在所述应用的搜索窗口中检测满足预设条件的后续车道线点的步骤。
6.根据权利要求5所述的车道线检测方法，其特征在于，确定所述初期车道线点的步骤，包括：
在所述边缘图像下端检测左侧的亮度值成为最大的左侧初期车道线点的步骤；以及
在所述边缘图像下端检测右侧的亮度值成为最大的右侧初期车道线点的步骤。
7.根据权利要求5所述的车道线检测方法，其特征在于，检测所述后续车道线点的步骤，包括：
基于所述所确定的初期车道线点生成第一搜索窗口的步骤；
通过将所述所生成的第一搜索窗口分别应用于所述边缘图像和所述边缘直线处理图像中来检测满足预设条件的第一后续车道线点的步骤；
所述第一后续车道线点生成将位于第一搜索窗口的列为中心列的第二搜索窗口的步骤；以及
将所述所生成的第二搜索窗口布置在所述第一搜索窗口的上部，并将其分别应用于所述边缘图像和所述边缘直线处理图像来检测满足所述预设条件的第二后续车道线点的步骤。
8.根据权利要求5所述的车道线检测方法，其特征在于，仅在所述搜索窗口的中间行检测满足所述预设条件的车道线点。
9.根据权利要求5所述的车道线检测方法，其特征在于，所述搜索窗口的行大小根据直线分量的倾斜度而自适应地变化。
10.根据权利要求5所述的车道线检测方法，其特征在于，还包括计算主动轮廓模型的能量值的步骤，所述预设条件是将所述主动轮廓模型的能量值最小化的车道线点。
11.根据权利要求10所述的车道线检测方法，其特征在于，所述计算主动轮廓模型的能量值的步骤，包括：
使用多个先前车道线点之间的平均距离以及当前车道线点和先前车道线点之间的距离来计算内部能量值的步骤；以及
使用在所述边缘图像和所述边缘直线处理图像中分别检测到的车道线点的亮度值来计算外部能量值的步骤。
12.根据权利要求1所述的车道线检测方法，其特征在于，检测所述车道线的步骤，还包括：
计算由所述检测到的车道线点所形成的曲线方程式的步骤；以及
基于所计算的曲线方程式将所述车道线点拟合为曲线的步骤。
13.根据权利要求2所述的车道线检测方法，其特征在于，检测所述车道线的步骤，包括：
通过将在所述俯视影像中检测到的车道线点变换为所述所获取的行驶影像的视点，从而，检测与所述俯视影像的车道线点相对应的所述行驶影像的车道线点的步骤；以及
基于所述检测到的所述行驶影像的车道线点来检测车道线的步骤。
14.一种车道线检测装置，其特征在于，包括：
影像获取部，获取从行驶中的车辆的拍摄装置拍摄的行驶影像；
边缘检测部，在所述所获取的行驶影像中检测与车道线相对应的边缘，并基于所述检测到的边缘生成边缘图像；
直线分量检测部，基于所述检测到的边缘检测直线分量，并基于所述检测到的直线分量生成边缘直线处理图像；
车道线点检测部，使用所述所生成的边缘图像和所述边缘直线处理图像来检测与所述车道线相对应的车道线点；以及
车道线检测部，基于所述检测到的车道线点检测所述车道线。
15.根据权利要求14所述的车道线检测装置，其特征在于，还包括通过变换与所述所获取的行驶影像相对应的前视影像的视点来生成俯视影像的影像视点变换部，
所述边缘检测部在所述俯视影像中检测与所述车道线相对应的边缘。
16.根据权利要求15所述的车道线检测装置，其特征在于，还包括根据从所述车辆的距离将所述俯视影像分割为第一区域及第二区域的影像区域分割部，
对应于所述分割的第一区域的第一边缘图像及对应于第二区域的第二边缘图像中分别检测所述直线分量，并基于所述检测到的直线分量生成边缘直线处理图像。
17.根据权利要求14所述的车道线检测装置，其特征在于，所述车道线点检测部分别检测对应于左车道线的车道线点和对应于右车道线的车道线点。
18.根据权利要求17所述的车道线检测装置，其特征在于，所述车道线点检测部，包括：
初期车道线点检测部，利用所述所生成的边缘图像和所述边缘直线处理图像中的至少一个检测初期车道线点；以及
后续车道线点检测部，生成搜索窗口，并将所述所生成的搜索窗口分别应用于所述所生成的边缘图像和所述边缘直线处理图像，在所述应用的搜索窗口中检测满足预设条件的后续车道线点。
19.根据权利要求18所述的车道线检测装置，其特征在于，所述初期车道线点检测部，在所述边缘图像下端检测左侧的亮度值成为最大的左侧初期车道线点，
在所述边缘图像下端检测右侧的亮度值成为最大的右侧初期车道线点。
20.根据权利要求18所述的车道线检测装置，其特征在于，所述后续车道线点检测部，基于所述所确定的初期车道线点生成第一搜索窗口，
通过将所述生成的第一搜索窗口分别应用于所述边缘图像和边缘直线处理图像来检测满足预设条件的第一后续车道线点，
所述第一后续车道线点生成将位于第一搜索窗口的列为中心列的第二搜索窗口，
将所述所生成的第二搜索窗口布置在所述第一搜索窗口的上部，并将其分别应用于所述边缘图像和所述边缘直线处理图像来检测满足所述预设条件的第二后续车道线点。
21.根据权利要求18所述的车道线检测装置，其特征在于，仅在所述搜索窗口的中间行检测满足所述预设条件的车道线点。
22.根据权利要求18所述的车道线检测装置，其特征在于，所述搜索窗口的行大小根据直线分量的倾斜度而自适应地变化。
23.根据权利要求18所述的车道线检测装置，其特征在于，还包括计算主动轮廓模型的能量值的主动轮廓模型能量计算部，
所述预设条件是将所述主动轮廓模型的能量值最小化的车道线点。
24.根据权利要求23所述的车道线检测装置，其特征在于，所述主动轮廓模型能量计算部，使用多个先前车道线点之间的平均距离以及当前车道线点和先前车道线点之间的距离来计算内部能量值，
使用在所述边缘图像和所述边缘直线处理图像中分别检测到的车道线点的亮度值来计算外部能量值。
25.根据权利要求14所述的车道线检测装置，其特征在于，还包括计算由所述检测到的车道线点所形成的曲线方程式，基于所计算的曲线方程式将所述车道线点拟合为曲线的车道线点拟合部。
26.根据权利要求15所述的车道线检测装置，其特征在于，所述车道线检测部，通过将在所述俯视影像中检测到的车道线点变换为所述所获取的行驶影像的视点，从而，检测与所述俯视影像的车道线点相对应的所述行驶影像的车道线点，基于所述检测到的所述行驶影像的车道线点来检测车道线。
27.一种电子设备，其为检测车道线并提供用于辅助驾驶员的引导的电子设备，其特征在于，包括：
显示部，用于显示所述驾驶员可确认的引导信息；
影像获取部，用于获取在拍摄装置中拍摄的行驶影像；
边缘检测部，在所述所获取的行驶影像中检测对应于车道线的边缘，并基于所述检测到的边缘生成边缘图像；
直线分量检测部，基于所述检测到的边缘检测直线分量，并基于所述检测到的直线分量生成边缘直线处理图像；
车道线点检测部，从所述所生成的边缘图像和所述边缘直线处理图像中检测与所述车道线相对应的车道线点；
车道线检测部，从所述检测到的车道线点检测所述车道线；以及
控制部，控制所述显示部以基于所述检测到的车道线进行引导。
28.根据权利要求27所述的电子设备，其特征在于，还包括增强现实提供部，所述增强现实提供部生成路线引导对象用于引导从所述车辆的当前位置到目的地为止的路线，并且，将所述所生成的路线引导对象基于所述检测到的车道线生成显示在所述所拍摄的行驶影像的车道上的增强现实图像，
所述控制部控制所述显示部以显示所述所生成的增强现实图像。
29.根据权利要求27所述的电子设备，其特征在于，还包括增强现实提供部，所述增强现实提供部生成用于引导所述车辆的车道线脱离的车道线脱离引导对象，并将所述所生成的车道线脱离引导对象基于所述检测到的车道线生成显示在车道线上的增强现实图像，
所述控制部控制所述显示部以显示所述生成的增强现实图像。
30.一种计算机可读记录介质，其特征在于，记录有用于执行根据权利要求1至13中的任一项所述的车道线检测方法的程序。
CN202110384407.9A 2020-04-10 2021-04-09 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质 Pending CN113516014A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200044088A KR20210126365A (ko) 2020-04-10 2020-04-10 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR10-2020-0044088 2020-04-10

Publications (1)

Publication Number Publication Date
CN113516014A true CN113516014A (zh) 2021-10-19

Family

ID=78007312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110384407.9A Pending CN113516014A (zh) 2020-04-10 2021-04-09 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质

Country Status (3)

Country Link
US (2) US11727693B2 (zh)
KR (1) KR20210126365A (zh)
CN (1) CN113516014A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037834A (zh) * 2021-12-01 2022-02-11 清华大学 一种基于振动信号和rgb图像融合的语义分割方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210126365A (ko) * 2020-04-10 2021-10-20 팅크웨어(주) 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP7354952B2 (ja) * 2020-07-14 2023-10-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム
DE102021202666A1 (de) * 2021-03-18 2022-09-22 Volkswagen Aktiengesellschaft Dynamischer AR-Hinweis

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN104742912A (zh) * 2013-12-27 2015-07-01 比亚迪股份有限公司 车道偏移检测方法和装置
KR20150144681A (ko) * 2014-06-17 2015-12-28 팅크웨어(주) 전자 장치 및 그의 제어 방법
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
KR20160063871A (ko) * 2014-11-27 2016-06-07 현대오트론 주식회사 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법
CN106887004A (zh) * 2017-02-24 2017-06-23 电子科技大学 一种基于块匹配的车道线检测方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591000B1 (en) * 1998-04-21 2003-07-08 Denso Corporation Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP4001145B2 (ja) * 2004-12-28 2007-10-31 日産自動車株式会社 車両用照明装置
TWI365145B (en) * 2009-11-02 2012-06-01 Ind Tech Res Inst Method and system for asisting driver
KR101236223B1 (ko) * 2011-02-28 2013-02-22 주식회사 와이즈오토모티브 차선 검출 방법
US9098751B2 (en) * 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
DE102015201566A1 (de) * 2015-01-29 2016-08-04 Conti Temic Microelectronic Gmbh Bilderkennungsverfahren, bilderkennungssystem und fahrzeugsteuersystem
US11441916B1 (en) * 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
CN206217878U (zh) * 2016-09-19 2017-06-06 武汉依迅电子信息技术有限公司 基于北斗高精度定位的车道保持系统
KR101862994B1 (ko) * 2017-05-26 2018-05-30 국방과학연구소 자율차량을 위한 정지선 검출 방법
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学（武汉） 一种车辆前向防撞预警方法及系统
CN107578012B (zh) * 2017-09-05 2020-10-27 大连海事大学 一种基于聚类算法选择敏感区域的驾驶辅助系统
CN107944388A (zh) * 2017-11-24 2018-04-20 海信集团有限公司 一种车道线检测方法、装置及终端
CN108154114B (zh) * 2017-12-22 2023-02-17 温州大学激光与光电智能制造研究院 一种车道线检测的方法
CN108256510B (zh) * 2018-03-12 2022-08-12 海信集团有限公司 一种道路边缘线检测方法、装置及终端
CN110879943B (zh) * 2018-09-05 2022-08-19 北京嘀嘀无限科技发展有限公司 一种图像数据处理方法及系统
WO2021198772A1 (en) * 2020-03-30 2021-10-07 Mobileye Vision Technologies Ltd. Navigating a vehicle using an electronic horizon
KR20210126365A (ko) * 2020-04-10 2021-10-20 팅크웨어(주) 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN104742912A (zh) * 2013-12-27 2015-07-01 比亚迪股份有限公司 车道偏移检测方法和装置
KR20150144681A (ko) * 2014-06-17 2015-12-28 팅크웨어(주) 전자 장치 및 그의 제어 방법
CN110296715A (zh) * 2014-06-17 2019-10-01 星克跃尔株式会社 电子装置及其控制方法、计算机可读记录介质
KR101584907B1 (ko) * 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
KR20160063871A (ko) * 2014-11-27 2016-06-07 현대오트론 주식회사 경로 안내 서비스를 위한 증강현실 내비게이션 장치 및 그 방법
CN106887004A (zh) * 2017-02-24 2017-06-23 电子科技大学 一种基于块匹配的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张万枝: "<机器视觉感知下的车辆主动安全技术若干问题研究>", 《中国博士学位论文全文数据库 工程科技II辑》, no. 01, 15 January 2016 (2016-01-15), pages 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037834A (zh) * 2021-12-01 2022-02-11 清华大学 一种基于振动信号和rgb图像融合的语义分割方法及装置
CN114037834B (zh) * 2021-12-01 2022-09-13 清华大学 一种基于振动信号和rgb图像融合的语义分割方法及装置

Also Published As

Publication number Publication date
US11727693B2 (en) 2023-08-15
US20230334877A1 (en) 2023-10-19
KR20210126365A (ko) 2021-10-20
US20210319237A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US11680813B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN111289958B (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
US11727693B2 (en) Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
KR20210061319A (ko) 전자 장치 및 그의 제어 방법
US11828615B2 (en) AR processing device, augmented reality-based route guidance method and electronic device
US11227493B2 (en) Road speed limit identification method, road speed limit identification apparatus, electronic apparatus, computer program, and computer readable recording medium
CN111292351A (zh) 车辆检测方法及执行其的电子设备
KR102233391B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US11587435B2 (en) Method for guiding path by extracting guiding information in lane and electronic device for executing the method
CN108335507B (zh) 利用摄像头的拍摄影像的驾驶引导提供方法及装置
US20230273033A1 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
US20210173095A1 (en) Method and apparatus for determining location by correcting global navigation satellite system based location and electronic device thereof
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
KR20220018425A (ko) 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination