CN109145860A - 车道线跟踪方法和装置 - Google Patents

车道线跟踪方法和装置 Download PDF

Info

Publication number
CN109145860A
CN109145860A CN201811026061.XA CN201811026061A CN109145860A CN 109145860 A CN109145860 A CN 109145860A CN 201811026061 A CN201811026061 A CN 201811026061A CN 109145860 A CN109145860 A CN 109145860A
Authority
CN
China
Prior art keywords
frame
lane line
grouping
present frame
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811026061.XA
Other languages
English (en)
Other versions
CN109145860B (zh
Inventor
谢术富
翟玉强
夏添
马彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811026061.XA priority Critical patent/CN109145860B/zh
Publication of CN109145860A publication Critical patent/CN109145860A/zh
Priority to JP2019127325A priority patent/JP7179695B2/ja
Priority to EP19185305.0A priority patent/EP3620961A1/en
Priority to US16/509,112 priority patent/US11100341B2/en
Application granted granted Critical
Publication of CN109145860B publication Critical patent/CN109145860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提出一种车道线跟踪方法和装置。其中,该方法包括:将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧;将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系;在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。本发明实施例利用前后帧之间的关联,能够输出更准确、更鲁棒的车道线结果,实现准确的车道线跟踪效果。

Description

车道线跟踪方法和装置
技术领域
本发明涉及交通技术领域,尤其涉及一种车道线跟踪方法和装置。
背景技术
车道线在自动驾驶中具有重要的作用,能够为定位、决策控制等模块提供重要的信息输出。
在车辆行驶过程中,在拍摄到的车道线视频中,前后帧图像之间具有关联性。在某帧图像出现问题时,单帧检测结果容易有突变,造成诸如车道线丢失等情况,因此,单帧检测得到的车道线结果极不准确。
发明内容
本发明实施例提供一种车道线跟踪方法和装置,以解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种车道线跟踪方法,包括:
将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧;
将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系;
在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。
结合第一方面,本发明实施例在第一方面的第一种实现方式中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组,包括:
对于所述当前帧的每一个车道线分组,计算所述当前帧的该车道线分组与前K帧的各车道线分组之间的距离;
如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,S为大于或等于1的正整数。
结合第一方面的第一种实现方式,本发明实施例在第一方面的第二种实现方式中,如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,包括:
如果所述距离的最小值小于设定阈值,则将所述当前帧的该车道线分组合并到所述第S个分组中;
否则,将所述当前帧的该车道线分组作为新建分组。
结合第一方面,本发明实施例在第一方面的第三种实现方式中,还包括:
在所述当前帧的相机坐标系中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理。
结合第一方面的第三种实现方式,本发明实施例在第一方面的第四种实现方式中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理,包括:
如果所述当前帧的第P个分组的车道线点与前一帧的第P个分组的距离大于设定阈值,则将所述当前帧的第P个分组的该车道线点过滤掉,P为大于或等于1的正整数。
结合第一方面,本发明实施例在第一方面的第五种实现方式中,还包括:
利用前K帧的各分组的各车道线点,对当前帧进行补全。
结合第一方面的第五种实现方式,本发明实施例在第一方面的第六种实现方式中,利用前K帧的各分组的各车道线点,对当前帧进行补全,包括:
如果所述前K帧的第M个分组在所述当前帧没有对应的分组,则利用前K帧的第M个分组的各车道线点,补全所述当前帧的第M个分组的车道线点,M为大于或等于1的正整数。
结合第一方面或其任意一种实现方式,本发明实施例在第一方面的第七种实现方式中,还包括:
如果所述前K帧的第N个分组在连续T帧没有对应的分组,则将所述第N个分组删除,T为大于1的正整数,N为大于或等于1的正整数。
第二方面,本发明实施例提供了一种车道线跟踪装置,包括:
第一投影模块,用于将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧;
第二投影模块,用于将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系;
分组模块,用于在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。
结合第二方面,本发明实施例在第二方面的第一种实现方式中,所述分组模块包括:
距离子模块,用于对于所述当前帧的每一个车道线分组,计算所述当前帧的该车道线分组与前K帧的各车道线分组之间的距离;
合并子模块,用于如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,S为大于或等于1的正整数。
结合第二方面的第一种实现方式,本发明实施例在第二方面的第二种实现方式中,所述合并子模块还用于:如果所述距离的最小值小于设定阈值,则将所述当前帧的该车道线分组合并到所述第S个分组中;
所述分组模块还包括:新建子模块,用于如果所述距离的最小值大于或等于设定阈值,则将所述当前帧的该车道线分组作为新建分组。
结合第二方面,本发明实施例在第二方面的第三种实现方式中,还包括:
平滑模块,用于在所述当前帧的相机坐标系中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理。
结合第二方面的第三种实现方式,本发明实施例在第二方面的第四种实现方式中,所述平滑模块还用于如果所述当前帧的第P个分组的车道线点与前一帧的第P个分组的距离大于设定阈值,则将所述当前帧的第P个分组的该车道线点过滤掉,P为大于或等于1的正整数。
结合第二方面,本发明实施例在第二方面的第五种实现方式中,还包括:
补全模块,用于利用前K帧的各分组的各车道线点,对当前帧进行补全。
结合第二方面的第五种实现方式,本发明实施例在第二方面的第六种实现方式中,所述补全模块还用于如果所述前K帧的第M个分组在所述当前帧没有对应的分组,则利用前K帧的第M个分组的各车道线点,补全所述当前帧的第M个分组的车道线点,M为大于或等于1的正整数。
结合第二方面或其任意一种实现方式,本发明实施例在第二方面的第七种实现方式中,还包括:
删除模块,用于如果所述前K帧的第N个分组在连续T帧没有对应的分组,则将所述第N个分组删除,T为大于1的正整数,N为大于或等于1的正整数。
第三方面,本发明实施例提供了一种车道线跟踪装置,所述装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述装置的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述车道线跟踪方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储车道线跟踪装置所用的计算机软件指令,其包括用于执行上述车道线跟踪方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果:利用前后帧之间的关联,能够输出更准确、更鲁棒的车道线结果,实现准确的车道线跟踪效果。
上述技术方案中的另一个技术方案具有如下优点或有益效果:利用前后帧之间的联系,可用来帮助提高车道线检测结果的平滑性。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的车道线跟踪方法的流程图。
图2示出根据本发明实施例的车道线跟踪方法中当前帧的相机坐标系的示例图。
图3示出根据本发明实施例的车道线跟踪方法的流程图。
图4示出根据本发明实施例的车道线跟踪方法的流程图。
图5和图6示出根据本发明实施例的车道线跟踪方法中补全的示意图。
图7示出根据本发明实施例的车道线跟踪装置的结构框图。
图8示出根据本发明实施例的车道线跟踪装置的结构框图。
图9示出根据本发明实施例的车道线跟踪装置的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的车道线跟踪方法的流程图。如图1所示,该方法可以包括:
步骤S11、将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧。
在本实施例中,车辆在行驶过程中可以拍摄包括车道线的视频。该视频包括连续的若干帧图像。针对某个时刻而言,当前时刻的帧图像可以称为当前帧。当前帧的前K帧可以包括从当前的帧图像往前的K个连续的帧图像。例如,如图2所示,如果当前帧是第25帧,K=3,则当前帧的前3帧包括第22帧、第23帧和第24帧。
每个帧图像在相机坐标系的车道线检测结果可以包括该帧图像中哪些像素点属于车道线,属于车道线的像素点可以称为车道线点。车道线检测结果还可以包括对这些车道线点的分组,即哪些车道线点属于一组。
相机坐标系是处于三维(3D,Three Dimensions)空间中的,定义在相机的屏幕可视区域。例如,如图2所示,在相机坐标系中,相机位置在原点,x轴向右,z轴向前(朝向屏幕内或相机方向),y轴向上(不是世界的上方而是相机本身的上方)。世界坐标系是系统的绝对坐标系。每一帧的相机坐标系与世界坐标系之间具有一定姿态变换关系。不同帧的相机坐标系与世界坐标系之间姿态变换关系可能不同,具体与拍摄每一帧时的相机参数例如焦点位置、焦距、俯仰角(pitch)、翻滚角(roll)等有关。
在本实施例中,可以在每一帧运行车道线检测,得到这一帧在相机坐标系的车道线检测结果。每一帧的车道线检测结果均可以按照这一帧与世界坐标系的姿态变换关系,投影到世界坐标系。
步骤S12、将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系。
在当前帧运行车道线检测,得到当前帧在相机坐标系的车道线检测结果。采用世界坐标系作为中转,可以将前K帧与当前帧的像素点在当前帧的相机坐标系对齐。如图2所示,第22帧、第23帧和第24帧在第25帧的相机坐标系对齐。
步骤S13、在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。
例如,比较前K帧与当前帧的分组,在数量、位置、距离等方面是否能够匹配。如果不匹配,可以对当前帧的分组进行调整,使得当前帧与前K帧的车道线分组连续,从而实现车道线跟踪。
在一种实现方式中,如图3所示,步骤S13包括:
步骤S131、对于所述当前帧的每一个车道线分组,计算所述当前帧的该车道线分组与前K帧的各车道线分组之间的距离。
步骤S132、如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,S为大于或等于1的正整数。
在一个示例中,从当前帧中选取一个车道线分组,假设为第D个分组。计算该第D个分组中,每个车道线点(例如D1、D2)与前K帧的某一车道线分组,假设为第E个分组的各车道线点(例如E1、E2、E3)之间的距离。然后,将这几个距离中的最小值(假设D1与E2的距离最小),作为这两个车道线分组(当前帧的第D个分组与前K帧的第E个分组)之间的距离。
分别计算当前帧的第D个分组分别与前K帧的各个车道线分组之间的距离。如果当前帧的第E个分组与前K帧的第S个分组距离最小,则可以将当前帧的第E个分组合并到第S个分组中。
在一种实现方式中,步骤S132包括:如果所述距离的最小值小于设定阈值,则将所述当前帧的该车道线分组合并到所述第S个分组中;否则,将所述当前帧的该车道线分组作为新建分组。
如果当前帧与前K帧的分组之间的距离最小值还是较大,将这两个分组合并成一个的得到的分组,可能不合适。因此,可以设置一个合理的阈值,如果当前帧与前K帧的两个分组之间的距离最小值小于该阈值,可以表示这两个分组关联较大,可以合并。如果分组之间的距离最小值大于该阈值,可以表示这两个分组关联较小,不适合合并,可以建立一个新的分组。阈值的设置方式可以有多种,例如参考车速、相机参数等来设置。
其中,将当前帧的某个车道线分组的分组编号修改为与前K帧的第S个分组相同,可以将这两个分组合并为一个。
在一种实现方式中,如图4所示,该方法还包括:
步骤S14、在所述当前帧的相机坐标系中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理。
在一种实现方式中,在步骤S14中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理,包括:
如果所述当前帧的第P个分组的车道线点与前一帧的第P个分组的距离大于设定阈值,则将所述当前帧的第P个分组的该车道线点过滤掉,P为大于或等于1的正整数。
例如,可以计算当前帧的第P个分组的某一个车道线点与前一帧的第P个分组的所有车道线点的距离。将各距离的最小值,作为当前帧的这个车道线点与前一帧的第P个分组的距离。如果最小值超出某个阈值,可以将当前帧的这个车道线点过滤掉。
再如,如果可以计算当前帧的第P个分组的某一个车道线点与前一帧的第P个分组的某一个车道线点的距离。如果这个距离超出某个阈值,可以将当前帧的这个车道线点过滤掉。
在一种实现方式中,如图4所示,该方法还包括:
步骤S15、利用前K帧的各分组的各车道线点,对当前帧进行补全。该步骤既可以在步骤S13后执行,也可以在步骤14后执行,利用平滑后的数据,进行补全。
在一种实现方式中,步骤S15包括:如果所述前K帧的第M个分组在所述当前帧没有对应的分组,则利用前K帧(例如前一帧)的第M个分组的各车道线点,补全所述当前帧的第M个分组的车道线点,M为大于或等于1的正整数。
例如,如图5和图6所示,前K帧有4个分组,当前帧有3个分组。如图5所示,根据前述的内容确定出前K帧的第4个分组在当前帧没有对应的分组。即、当前帧没有哪个分组与前K帧的第4个分组小于设定阈值。这种情况下,如图6所示,可以利用前K帧中的任意一帧,例如前一帧(参见图6中的第24帧)的第4个分组补全当前帧的第4个分组。
在一种实现方式中,如图4所示,该方法还包括:
步骤S16、如果连续T帧在所述前K帧的第N个分组没有对应的分组,则将所述第N个分组删除,T为大于1的正整数,N为大于或等于1的正整数。该步骤既可以在步骤S13后执行,也可以在步骤14后执行,利用平滑后的数据,判断是否删除分组。
例如,如图6所示,假设删除分组的阈值T为2,当前帧为第i帧。第i帧的各车道线分组均未被合并到第i帧的前K帧的第4个分组,第i+1帧的各车道线分组均未被合并到第i+1帧的前K帧的第4个分组。这种情况下,后续例如在第i+1帧之后,可以将第N个分组删除。删除后,不再利用第N个分组与后续帧的分组进行比较。
在连续帧上,前后帧之间的车道线信息具有关联性,本发明利用前后帧之间的关联,可以根据前面的帧确定后面的帧的分组例如与前帧分组合并、新建分组或删除分组。因此,能够输出更准确、更鲁棒的车道线结果,实现准确的车道线跟踪效果。
此外,还可以根据前面的帧对后面的帧的车道线点进行平滑过滤、补全等处理,利用前后帧之间的联系,帮助提高车道线检测结果的平滑性、完整性等。
图7示出根据本发明实施例的车道线跟踪装置的结构框图。如图7所示,该装置可以包括:
第一投影模块71,用于将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧;
第二投影模块72,用于将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系;
分组模块73,用于在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。
在一种实现方式中,如图8所示,所述分组模块73包括:
距离子模块81,用于对于所述当前帧的每一个车道线分组,计算所述当前帧的该车道线分组与前K帧的各车道线分组之间的距离;
合并子模块82,用于如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,S为大于或等于1的正整数。
在一种实现方式中,所述合并子模块82还用于:如果所述距离的最小值小于设定阈值,则将所述当前帧的该车道线分组合并到所述第S个分组中;
所述分组模块还包括:新建子模块83,用于如果所述距离的最小值大于或等于设定阈值,则将所述当前帧的该车道线分组作为新建分组。
在一种实现方式中,该装置还包括:
平滑模块74,用于在所述当前帧的相机坐标系中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理。
在一种实现方式中,所述平滑模块74还用于如果所述当前帧的第P个分组的车道线点与前一帧的第P个分组的距离大于设定阈值,则将所述当前帧的第P个分组的该车道线点过滤掉,P为大于或等于1的正整数。
在一种实现方式中,该装置还包括:
补全模块75,用于利用前K帧的各分组的各车道线点,对当前帧进行补全。
在一种实现方式中,所述补全模块75还用于如果所述前K帧的第M个分组在所述当前帧没有对应的分组,则利用前K帧的第M个分组的各车道线点,补全所述当前帧的第M个分组的车道线点,M为大于或等于1的正整数。
在一种实现方式中,该装置还包括:
删除模块76,用于如果所述前K帧的第N个分组在连续T帧没有对应的分组,则将所述第N个分组删除,T为大于1的正整数,N为大于或等于1的正整数。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图9示出根据本发明实施例的车道线跟踪装置的结构框图。如图9所示,该装置包括:摄像头、存储器910和处理器920,摄像头用于采集图像,存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的车道线跟踪方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent)总线或扩展工业标准体系结构(EISA,Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种车道线跟踪方法,其特征在于,包括:
将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧;
将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系;
在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。
2.根据权利要求1所述的方法,其特征在于,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组,包括:
对于所述当前帧的每一个车道线分组,计算所述当前帧的该车道线分组与前K帧的各车道线分组之间的距离;
如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,S为大于或等于1的正整数。
3.根据权利要求2所述的方法,其特征在于,如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,包括:
如果所述距离的最小值小于设定阈值,则将所述当前帧的该车道线分组合并到所述第S个分组中;
否则,将所述当前帧的该车道线分组作为新建分组。
4.根据权利要求1所述的方法,其特征在于,还包括:
在所述当前帧的相机坐标系中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理。
5.根据权利要求4所述的方法,其特征在于,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理,包括:
如果所述当前帧的第P个分组的车道线点与前一帧的第P个分组的距离大于设定阈值,则将所述当前帧的第P个分组的该车道线点过滤掉,P为大于或等于1的正整数。
6.根据权利要求1所述的方法,其特征在于,还包括:
利用前K帧的各分组的各车道线点,对当前帧进行补全。
7.根据权利要求6所述的方法,其特征在于,利用前K帧的各分组的各车道线点,对当前帧进行补全,包括:
如果所述前K帧的第M个分组在所述当前帧没有对应的分组,则利用前K帧的第M个分组的各车道线点,补全所述当前帧的第M个分组的车道线点,M为大于或等于1的正整数。
8.根据权利要求1至7中任一项所述的方法,其特征在于,还包括:
如果所述前K帧的第N个分组在连续T帧没有对应的分组,则将所述第N个分组删除,T为大于1的正整数,N为大于或等于1的正整数。
9.一种车道线跟踪装置,其特征在于,包括:
第一投影模块,用于将当前帧的前K帧在相机坐标系的车道线检测结果投影到世界坐标系,K为大于或等于1的正整数,所述前K帧为从所述当前帧向前的连续的K个帧;
第二投影模块,用于将所述前K帧在世界坐标系的投影结果,投影到所述当前帧的相机坐标系;
分组模块,用于在所述当前帧的相机坐标系中,按照所述前K帧的车道线分组,确定所述当前帧的车道线分组。
10.根据权利要求9所述的装置,其特征在于,所述分组模块包括:
距离子模块,用于对于所述当前帧的每一个车道线分组,计算所述当前帧的该车道线分组与前K帧的各车道线分组之间的距离;
合并子模块,用于如果所述距离的最小值在前K帧对应的车道线分组为第S个分组,则将所述当前帧的该车道线分组合并到所述第S个分组中,S为大于或等于1的正整数。
11.根据权利要求10所述的装置,其特征在于,所述合并子模块还用于:如果所述距离的最小值小于设定阈值,则将所述当前帧的该车道线分组合并到所述第S个分组中;
所述分组模块还包括:新建子模块,用于如果所述距离的最小值大于或等于设定阈值,则将所述当前帧的该车道线分组作为新建分组。
12.根据权利要求10所述的装置,其特征在于,还包括:
平滑模块,用于在所述当前帧的相机坐标系中,根据前K帧的各车道线点对当前帧的各车道线点进行平滑处理。
13.根据权利要求12所述的装置,其特征在于,所述平滑模块还用于如果所述当前帧的第P个分组的车道线点与前一帧的第P个分组的距离大于设定阈值,则将所述当前帧的第P个分组的该车道线点过滤掉,P为大于或等于1的正整数。
14.根据权利要求9所述的装置,其特征在于,还包括:
补全模块,用于利用前K帧的各分组的各车道线点,对当前帧进行补全。
15.根据权利要求14所述的装置,其特征在于,所述补全模块还用于如果所述前K帧的第M个分组在所述当前帧没有对应的分组,则利用前K帧的第M个分组的各车道线点,补全所述当前帧的第M个分组的车道线点,M为大于或等于1的正整数。
16.根据权利要求9至15中任一项所述的装置,其特征在于,还包括:
删除模块,用于如果所述前K帧的第N个分组在连续T帧没有对应的分组,则将所述第N个分组删除,T为大于1的正整数,N为大于或等于1的正整数。
17.一种车道线跟踪装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
摄像头,用于采集图像;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN201811026061.XA 2018-09-04 2018-09-04 车道线跟踪方法和装置 Active CN109145860B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811026061.XA CN109145860B (zh) 2018-09-04 2018-09-04 车道线跟踪方法和装置
JP2019127325A JP7179695B2 (ja) 2018-09-04 2019-07-09 車線追跡方法及び装置
EP19185305.0A EP3620961A1 (en) 2018-09-04 2019-07-09 Lane line tracking method and device
US16/509,112 US11100341B2 (en) 2018-09-04 2019-07-11 Lane line tracking method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811026061.XA CN109145860B (zh) 2018-09-04 2018-09-04 车道线跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN109145860A true CN109145860A (zh) 2019-01-04
CN109145860B CN109145860B (zh) 2019-12-13

Family

ID=64826673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811026061.XA Active CN109145860B (zh) 2018-09-04 2018-09-04 车道线跟踪方法和装置

Country Status (4)

Country Link
US (1) US11100341B2 (zh)
EP (1) EP3620961A1 (zh)
JP (1) JP7179695B2 (zh)
CN (1) CN109145860B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163930A (zh) * 2019-05-27 2019-08-23 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质
CN110196062A (zh) * 2019-06-27 2019-09-03 成都圭目机器人有限公司 一种单相机跟踪车道线的导航方法
CN110321878A (zh) * 2019-08-02 2019-10-11 苏州天瞳威视电子科技有限公司 一种车道线曲线拟合方法
CN110503009A (zh) * 2019-07-31 2019-11-26 华为技术有限公司 车道线跟踪方法及相关产品
CN110530398A (zh) * 2019-08-30 2019-12-03 北京三快在线科技有限公司 一种电子地图精度检测的方法及装置
CN112287719A (zh) * 2019-07-23 2021-01-29 厦门雅迅网络股份有限公司 一种车道线过滤方法、终端设备及存储介质
CN113344979A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN116238524A (zh) * 2023-03-27 2023-06-09 宁波斯年智驾科技有限公司 基于高精地图与车辆历史轨迹的驾驶行为判别方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575920A (zh) * 2023-12-01 2024-02-20 昆易电子科技(上海)有限公司 车道线优化方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028473A1 (en) * 2011-07-27 2013-01-31 Hilldore Benjamin B System and method for periodic lane marker identification and tracking
CN104574311A (zh) * 2015-01-06 2015-04-29 华为技术有限公司 图像处理方法和装置
CN106447730A (zh) * 2016-09-14 2017-02-22 深圳地平线机器人科技有限公司 参数估计方法、装置和电子设备
CN107045629A (zh) * 2017-04-19 2017-08-15 南京理工大学 一种多车道线检测方法
CN107729814A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种检测车道线的方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
JP5966965B2 (ja) 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
JP6557973B2 (ja) * 2015-01-07 2019-08-14 株式会社リコー 地図生成装置、地図生成方法およびプログラム
JP6611334B2 (ja) 2016-02-29 2019-11-27 クラリオン株式会社 区画線認識装置
JP6816401B2 (ja) * 2016-08-09 2021-01-20 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2018125939A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US10670416B2 (en) * 2016-12-30 2020-06-02 DeepMap Inc. Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
JP6832164B2 (ja) 2017-01-13 2021-02-24 本田技研工業株式会社 運転補助装置及び運転補助方法
JP2018116147A (ja) 2017-01-18 2018-07-26 株式会社デンソーアイティーラボラトリ 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028473A1 (en) * 2011-07-27 2013-01-31 Hilldore Benjamin B System and method for periodic lane marker identification and tracking
CN104574311A (zh) * 2015-01-06 2015-04-29 华为技术有限公司 图像处理方法和装置
CN106447730A (zh) * 2016-09-14 2017-02-22 深圳地平线机器人科技有限公司 参数估计方法、装置和电子设备
CN107045629A (zh) * 2017-04-19 2017-08-15 南京理工大学 一种多车道线检测方法
CN107729814A (zh) * 2017-09-19 2018-02-23 浙江大华技术股份有限公司 一种检测车道线的方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163930A (zh) * 2019-05-27 2019-08-23 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质
CN110196062A (zh) * 2019-06-27 2019-09-03 成都圭目机器人有限公司 一种单相机跟踪车道线的导航方法
CN110196062B (zh) * 2019-06-27 2022-03-25 成都圭目机器人有限公司 一种单相机跟踪车道线的导航方法
CN112287719B (zh) * 2019-07-23 2024-05-03 厦门雅迅网络股份有限公司 一种车道线过滤方法、终端设备及存储介质
CN112287719A (zh) * 2019-07-23 2021-01-29 厦门雅迅网络股份有限公司 一种车道线过滤方法、终端设备及存储介质
CN110503009A (zh) * 2019-07-31 2019-11-26 华为技术有限公司 车道线跟踪方法及相关产品
CN110503009B (zh) * 2019-07-31 2023-06-06 华为技术有限公司 车道线跟踪方法及相关产品
CN110321878A (zh) * 2019-08-02 2019-10-11 苏州天瞳威视电子科技有限公司 一种车道线曲线拟合方法
CN110530398A (zh) * 2019-08-30 2019-12-03 北京三快在线科技有限公司 一种电子地图精度检测的方法及装置
CN113344979A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113344979B (zh) * 2021-06-29 2024-04-16 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN116238524B (zh) * 2023-03-27 2024-02-09 宁波斯年智驾科技有限公司 基于高精地图与车辆历史轨迹的驾驶行为判别方法及系统
CN116238524A (zh) * 2023-03-27 2023-06-09 宁波斯年智驾科技有限公司 基于高精地图与车辆历史轨迹的驾驶行为判别方法及系统

Also Published As

Publication number Publication date
US20200074188A1 (en) 2020-03-05
EP3620961A1 (en) 2020-03-11
CN109145860B (zh) 2019-12-13
JP2020038622A (ja) 2020-03-12
US11100341B2 (en) 2021-08-24
JP7179695B2 (ja) 2022-11-29

Similar Documents

Publication Publication Date Title
CN109145860A (zh) 车道线跟踪方法和装置
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
WO2018098811A1 (zh) 定位方法和装置
WO2021051344A1 (zh) 高精度地图中车道线的确定方法和装置
KR20220025028A (ko) 시각적 비콘 기반의 비콘 맵 구축 방법, 장치
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN101577004B (zh) 一种极线矫正方法、装置和系统
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
CN109584300A (zh) 一种确定车头朝向角度的方法及装置
CN112198878B (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN112150538B (zh) 一种在三维地图构建过程中车辆位姿的确定方法和装置
US11519715B2 (en) Method, device, apparatus and storage medium for detecting a height of an obstacle
CN108460333B (zh) 基于深度图的地面检测方法及装置
CN113903188B (zh) 车位检测方法、电子设备及计算机可读存储介质
CN115601449A (zh) 标定方法、环视图像生成方法、装置、设备及存储介质
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN109903343B (zh) 一种基于惯性姿态约束的特征匹配方法
US11195305B2 (en) Method and device for identifying stereoscopic object, and vehicle and storage medium
CN115115700B (zh) 物体的姿态估计方法、装置、电子设备及存储介质
CN117152707B (zh) 一种车辆偏移距离的计算方法、装置以及处理设备
CN113822159B (zh) 三维目标检测方法、装置和计算机
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
JP2013149176A (ja) オプティカルフロー処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211013

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.