CN113344979B - 一种车道线跟踪方法、装置和用于车道线跟踪的装置 - Google Patents

一种车道线跟踪方法、装置和用于车道线跟踪的装置 Download PDF

Info

Publication number
CN113344979B
CN113344979B CN202110732668.5A CN202110732668A CN113344979B CN 113344979 B CN113344979 B CN 113344979B CN 202110732668 A CN202110732668 A CN 202110732668A CN 113344979 B CN113344979 B CN 113344979B
Authority
CN
China
Prior art keywords
lane line
tracking
line area
frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110732668.5A
Other languages
English (en)
Other versions
CN113344979A (zh
Inventor
任印政
杨雨然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN202110732668.5A priority Critical patent/CN113344979B/zh
Publication of CN113344979A publication Critical patent/CN113344979A/zh
Application granted granted Critical
Publication of CN113344979B publication Critical patent/CN113344979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明实施例提供了一种车道线跟踪方法、装置和用于车道线跟踪的装置。其中的方法包括：识别连续图像帧中各图像帧的车道线区域；对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。本发明实施例可以提高车道线跟踪的鲁棒性和准确性。

Description

一种车道线跟踪方法、装置和用于车道线跟踪的装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种车道线跟踪方法、装置和用于车道线跟踪的装置。
背景技术
近年来，为减少道路交通事故，保障行车安全，汽车的智能辅助驾驶技术成为研究热点。车道线跟踪是根据前一帧检测到的车道信息预测后一帧车道线的位置，是智能辅助驾驶的关键技术之一。
目前，通常采用卡尔曼滤波(Kalman filtering)的方法进行车道线跟踪。然而，卡尔曼滤波的方法是根据车道线的历史运动状态来预测后一帧车道线的位置，该方法对于比较理想的车道线(中断、遮挡或模糊等比较少)有较好的跟踪效果。对于中断、遮挡或模糊等比较多的车道线，或者车辆运动状态有较大改变的情况下，现有方法得到的预测结果将存在较大偏差。
发明内容
本发明实施例提供一种车道线跟踪方法、装置和用于车道线跟踪的装置，可以提高车道线跟踪的鲁棒性和准确性。
为了解决上述问题，本发明实施例公开了一种车道线跟踪方法，所述方法包括：
识别连续图像帧中各图像帧的车道线区域；
对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；
在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；
根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
可选地，所述根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果，包括：
确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
可选地，若比值超过预设阈值的第二车道线区域的数目大于1，确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
可选地，所述方法还包括：
若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
可选地，所述方法还包括：
响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
可选地，所述终止跟踪条件包括：
若所述前一帧中存在与所述后一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述前一帧中未匹配成功的车道线区域满足终止跟踪条件。
可选地，所述方法还包括：
根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
另一方面，本发明实施例公开了一种车道线跟踪装置，所述装置包括：
区域识别模块，用于识别连续图像帧中各图像帧的车道线区域；
光流跟踪模块，用于对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；
特征确定模块，用于在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；
结果确定模块，用于根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
可选地，所述结果确定模块，包括：
第一数目确定子模块，用于确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
第二数目确定子模块，用于在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
比值计算子模块，用于分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
结果确定子模块，用于将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
可选地，所述结果确定子模块，具体用于若比值超过预设阈值的第二车道线区域的数目大于1，确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
可选地，所述装置还包括：
新车道线确定模块，用于若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
可选地，所述装置还包括：
停止跟踪模块，用于响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
可选地，所述终止跟踪条件包括：
若所述前一帧中存在与所述后一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述前一帧中未匹配成功的车道线区域满足终止跟踪条件。
可选地，所述装置还包括：
时间区域确定模块，用于根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
再一方面，本发明实施例公开了一种用于车道线跟踪的装置，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如前述任一所述的车道线跟踪方法的指令。
又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述一个或多个所述的车道线跟踪方法。
本发明实施例包括以下优点：
本发明实施例基于车道线识别技术和特征点的光流跟踪技术，实现对视频的连续图像帧进行车道线跟踪。本发明实施例首先识别连续图像帧中各图像帧的车道线区域，然后基于识别的车道线区域，对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点，并且在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点。根据所述第一跟踪点和所述第二跟踪点，可以确定所述前一帧中的车道线在所述后一帧中的跟踪结果。本发明实施例在车道线区域识别完成之后，利用识别的车道线区域的特征点进行光流跟踪，能够快速有效的找到后一帧中相匹配的车道线区域，相较于霍夫变换或者卡尔曼滤波等传统的预测方式，本发明实施例利用图像信息对车道线区域进行匹配，可以提高车道线跟踪的鲁棒性和准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种车道线跟踪方法实施例的步骤流程图；
图2是本发明的一种车道线跟踪装置实施例的结构框图；
图3是本发明的一种用于车道线跟踪的装置800的框图；
图4是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
方法实施例
参照图1，示出了本发明的一种车道线跟踪方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101、识别连续图像帧中各图像帧的车道线区域；
步骤102、对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；
步骤103、在步骤102得到的所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；
步骤104、根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
需要说明的是，本发明实施例提供的车道线跟踪方法可应用于无人驾驶车辆技术，可以通过本发明的车道线跟踪方法对车辆前进方向的车道线进行跟踪，从而为驾驶策略提供决策依据。此外，本发明中的“车辆”可以在其中容纳或不容纳一个或多个乘客。本发明讨论的车辆也可以应用于无人配送领域，如快递配送、外卖送餐等。
在本发明实施例中，车辆在行驶过程中可以拍摄包括车道线的视频。该视频包括连续的若干帧图像。所述连续图像帧可以是通过摄像头或摄录装置实时捕获的视频的图像帧，或者也可以是预先以其他方式获得的图像帧。本发明实施例对所述连续图像帧的来源及获取方式不做限制。所述连续图像帧可以反映车辆所处环境的道路状况，包含至少一条车道线。需要说明的是，本发明实施例中的车道线，包括车辆的行驶车道线，如路面上的各种指示标线，还包括车道的边界线，如道路的路沿、防护栏、绿化带等。
本发明实施例基于车道线识别技术以及车道线特征点的光流跟踪技术，实现对连续图像帧中的车道线进行跟踪。
具体地，对于任意一段视频，对该段视频进行分帧处理，可以得到连续图像帧。本发明实施例对连续图像帧逐帧进行处理，识别每一帧包括的车道线区域。所述车道线区域指图像中车道线所构成的像素区域。需要说明的是，本发明实施例对识别车道线区域的方法不做限制，例如，可以将连续图像帧的每一帧图像输入预先训练好的语义分割模型(也称为车道线识别模型)，将语义分割模型输出的结果进行聚类拟合，可以得到每一帧包括的各个车道线的实例以及每个车道线的像素区域。对于识别得到的每个车道线区域，可以提取若干特征点。
本发明实施例对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点。
需要说明的是，在本发明实施例中，前一帧和后一帧指连续图像帧中相邻两个图像帧中的前一帧和后一帧。例如，前一帧为某段视频中的第一帧，后一帧则为第二帧。在利用本发明的车道线跟踪方法对第一帧中的车道线进行跟踪，得到第一帧中的车道线在第二帧中的跟踪结果之后，该段视频中的第二帧则可以称为前一帧，第三帧称为后一帧，继续确定第二帧中的车道线在第三帧中的跟踪结果，以此类推。
示例一中，假设经过车道线识别得到前一帧包括三个车道线区域，记为A、B、C。对于这三个车道线区域，分别提取特征点，并且对这三个车道线区域对应的特征点分别进行光流跟踪，得到这三个车道线区域的每个特征点分别在后一帧中对应的第一跟踪点。在本发明实施例中，第一跟踪点指跟踪成功的特征点。由于视频图像中各物体随着时间推移可能在动态变化，因此，前一帧中的某个车道线区域在下一帧中显示的大小、位置等可能均发生变化，该车道线区域的某些特征点光流跟踪到下一帧中，可能存在跟踪失败的情况，因此，第一跟踪点的数目小于或等于特征点的数目。
例如，对车道线区域A的特征点进行光流跟踪，得到车道线区域A的特征点在后一帧中对应的第一跟踪点。假设车道线区域A包括n1个的特征点，对这n1个特征点进行光流跟踪，得到车道线区域A的n1个特征点在后一帧中对应的m1个第一跟踪点，m1小于或等于n1。
假设前一帧中车道线区域B包括n2个的特征点，对这n2个特征点进行光流跟踪，得到车道线区域B的n2个特征点在后一帧中对应的m2个第一跟踪点，m2小于或等于n2。
假设前一帧中车道线区域C包括n3个的特征点，对这n3个特征点进行光流跟踪，得到车道线区域C的n3个特征点在后一帧中对应的m3个第一跟踪点，m3小于或等于n3。
此外，本发明实施例对连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到各车道线区域的每个特征点分别在后一帧中对应的第一跟踪点之后，还需要在得到的第一跟踪点中进一步确定位于后一帧包括的各车道线区域内的第一跟踪点，作为第二跟踪点。
例如，在示例一中，对前一帧中车道线区域A的n1个的特征点进行光流跟踪，得到车道线区域A的n1个特征点在后一帧中对应的m1个第一跟踪点。为便于描述，本发明实施例将前一帧中车道线区域A的n1个特征点在后一帧中对应的m1个第一跟踪点，称为车道线区域A的第一跟踪点。在后一帧中这m1个第一跟踪点中，有些可能位于后一帧包括的车道线区域内，有些可能位于后一帧包括的车道线区域外。本发明实施例在这m1个第一跟踪点中确定位于后一帧包括的车道线区域内的为第二跟踪点。
例如，假设对后一帧进行车道线识别，得到后一帧中包括D、E、F三个车道线区域。对于前一帧中车道线区域A的m1个第一跟踪点中，有s1个位于后一帧的车道线区域D中，本发明实施例将这s1个跟踪点称为第二跟踪点。同样地，对于前一帧中车道线区域B的m2个第一跟踪点中，有s2个位于后一帧的车道线区域E中，本发明实施例将这s2个跟踪点称为第二跟踪点。对于前一帧中车道线区域C的m3个第一跟踪点中，有s3个位于后一帧的车道线区域F中，本发明实施例将这s3个跟踪点称为第二跟踪点。
由于后一帧中的第一跟踪点是由其前一帧包括的各车道线区域的特征点进行光流跟踪所得到，因此，后一帧中的第一跟踪点与前一帧中车道线区域的特征点具有对应关系；而第二跟踪点是在第一跟踪点中确定的位于后一帧包括的车道线区域内的跟踪点，因此，如果位于后一帧中某个车道线区域内的第二跟踪点能够与前一帧中某个车道线区域的特征点对应的第一跟踪点相匹配，则可以确定这两个车道线区域对应相同的车道线。由此，根据所述第一跟踪点和所述第二跟踪点，可以确定所述前一帧中的车道线在所述后一帧中的跟踪结果，所述跟踪结果可以包括：所述连续图像帧中的前一帧和后一帧是否存在相同的车道线，以及相同的车道线在前一帧和后一帧中的位置关系。
在实际应用中，连续图像帧中相邻两个图像帧中的前一帧和后一帧，其来自于视频流中时间相近的两帧，因此，前一帧中的车道线区域在后一帧中存在较小的位移。本发明实施例基于识别的车道线区域，对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点，并且在第一跟踪点中确定位于后一帧包括的各车道线区域内的第一跟踪点，作为第二跟踪点。根据所述第一跟踪点和所述第二跟踪点之间的匹配关系，可以确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
本发明实施例在车道线区域识别完成之后，利用识别的车道线区域的特征点进行光流跟踪，能够快速有效的找到后一帧中相匹配的车道线区域。相较于霍夫变换或者卡尔曼滤波等传统的预测方式，本发明实施例利用图像信息对车道线区域进行匹配，可以提高车道线跟踪的鲁棒性和准确性。
在本发明的一种可选实施例中，步骤103所述根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果，包括：
步骤S11、确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
步骤S12、在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
步骤S13、分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
步骤S14、将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
其中，若比值超过预设阈值的第二车道线区域的数目大于1，则还需要确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。为便于描述，本发明实施例将前一帧包括的车道线区域称为第一车道线区域，以及将后一帧包括的车道线区域称为第二车道线区域。
示例二中，假设前一帧和后一帧中各包括一个车道线区域，前一帧包括第一车道线区域P，后一帧包括第二车道线区域Q。
首先，确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；并且在确定得到的所有第一跟踪点中，确定位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目。例如在示例二中，假设确定前一帧中第一车道线区域P的n4个特征点在后一帧中对应的第一跟踪点的数目为m4；以及确定位于所述后一帧中第二车道线区域Q内的第二跟踪点的数目为s4。然后，对所述第二跟踪点的数目和所述第一跟踪点的数目计算比值，也即，计算s4与m4的比值。如果s4与m4的比值s4/m4超过预设阈值，则确定前一帧中的第一车道线区域P和后一帧中的第二车道线区域Q对应同一车道线。其中，预设阈值为经验值，可以根据实际需求灵活设置，例如，所述预设阈值可以设为80％、85％等。
在本发明的一种可选实施例中，所述后一帧中第二车道线区域的数目大于1，步骤S13中分别计算得到位于每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值，包括：
对位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目，分别计算与所述第一跟踪点的数目之间的比值；
若比值超过预设阈值的第二车道线区域的数目大于1，则可以确定比值最高的第二车道线区域与所述第一车道线区域对应同一车道线区域。
在实际应用中，某一帧图像中可能包括多条车道线，因此包括多个车道线区域。也即，前一帧中可能包括多个第一车道线区域，后一帧中可能包括多个第二车道线区域。示例三中，假设前一帧包括第一车道线区域A、B、C，后一帧包括第二车道线区域D、E、F、G。
以前一帧中的第一车道线区域A为例，假设确定前一帧中第一车道线区域A的n1个特征点在后一帧中对应的第一跟踪点的数目为m1。后一帧包括D、E、F、G四个第二车道线区域，可以分别确定上述m1个第一跟踪点分别位于每个第二车道线区域内的第二跟踪点的数目。
例如，确定出m1个第一跟踪点中有s1个位于第二车道线区域D内，也即，对于第一车道线区域A，其第一跟踪点的数目为m1，位于第二车道线区域D的第二跟踪点的数目为s1，可以计算第二车道线区域D对应的比值为s1/m1，判断该比值是否超过预设阈值。
同样地，确定出m1个第一跟踪点中有s2个位于第二车道线区域E内，也即，对于第一车道线区域A，其第一跟踪点的数目为m1，位于第二车道线区域E的第二跟踪点的数目为s2，可以计算第二车道线区域E对应的比值为s2/m1，判断该比值是否超过预设阈值。
依次类推，确定出m1个第一跟踪点中有s3个位于第二车道线区域F内，可以计算第二车道线区域F对应的比值为s3/m1；以及确定出m1个第一跟踪点中有s5个位于第二车道线区域G内，可以计算第二车道线区域G对应的比值为s5/m1。
对上述分别计算得到的各第二车道线区域对应的比值的大小，确定出对应比值超过预设阈值的第二车道线区域，即为第一车道线区域A对应的同一车道线区域；若比值超过预设阈值的第二车道线区域的数目大于1，则还需要确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
用同样的方法，还可以对前一帧中的第一车道线区域B和C分别进行匹配，确定前一帧中的第一车道线区域B和C在后一帧中是否存在相匹配的第二车道线区域。例如，最终确定：第一车道线区域A和第二车道线区域D相匹配(也即确定第一车道线区域A和第二车道线区域D对应同一车道线)；第一车道线区域B和第二车道线区域E相匹配(也即确定第一车道线区域B和第二车道线区域E对应同一车道线)，以及确定第一车道线区域C和第二车道线区域F相匹配(也即确定第一车道线区域C和第二车道线区域F对应同一车道线)。
在本发明的一种可选实施例中，所述方法还可以包括：
若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
在本发明实施例中，对于后一帧中某个第二车道线区域，确定该第二车道线区域与前一帧中的某个第一车道线区域匹配成功，也即，该第二车道线区域与该第一车道线区域对应同一车道线。
在示例三中，假设前一帧中包括第一车道线区域A、B、C，后一帧中包括第二车道线区域D、E、F、G。假设前一帧中第一车道线区域A的n1个特征点在后一帧中对应的第一跟踪点的数目为m1，第一车道线区域B的n2个特征点在后一帧中对应的第一跟踪点的数目为m2，第一车道线区域C的n3个特征点在后一帧中对应的第一跟踪点的数目为m3。
对于第一车道线区域A，从第一车道线区域A的m1个第一跟踪点中，确定位于后一帧中第二车道线区域D内的第二跟踪点的数目为s11，确定位于后一帧中第二车道线区域E内的第二跟踪点的数目为s12，确定位于后一帧中第二车道线区域F内的第二跟踪点的数目为s13，以及确定位于后一帧中第二车道线区域G内的第二跟踪点的数目为s15。匹配第一车道线区域A时，分别计算比值s11/m1、s12/m1、s13/m1、s15/m1，选择超过预设阈值的最大比值，假设为s11/m1，则可以确定前一帧中的第一车道线区域A与后一帧中的第二车道线区域D相匹配(也即第一车道线区域A与第二车道线区域D对应同一车道线)。
对于第一车道线区域B，从第一车道线区域B的m2个第一跟踪点中，确定位于后一帧中第二车道线区域D内的第二跟踪点的数目为s21，确定位于后一帧中第二车道线区域E内的第二跟踪点的数目为s22，确定位于后一帧中第二车道线区域F内的第二跟踪点的数目为s23，以及确定位于后一帧中第二车道线区域G内的第二跟踪点的数目为s25。匹配第一车道线区域B时，分别计算比值s21/m2、s22/m2、s23/m2、s25/m2，选择超过预设阈值的最大比值，假设为s22/m2，则可以确定前一帧中的第一车道线区域B与后一帧中的第二车道线区域E相匹配(也即第一车道线区域B与第二车道线区域E对应同一车道线)。
对于第一车道线区域C，从第一车道线区域C的m3个第一跟踪点中，确定位于后一帧中第二车道线区域D内的第二跟踪点的数目为s31，确定位于后一帧中第二车道线区域E内的第二跟踪点的数目为s32，确定位于后一帧中第二车道线区域F内的第二跟踪点的数目为s33，以及确定位于后一帧中第二车道线区域G内的第二跟踪点的数目为s35。匹配第一车道线区域C时，分别计算比值s31/m3、s32/m3、s33/m3、s35/m3，选择超过预设阈值的最大比值，假设为s33/m3，则可以确定前一帧中的第一车道线区域C与后一帧中的第二车道线区域F相匹配(也即第一车道线区域C与第二车道线区域F对应同一车道线)。
在两帧包括的所有车道线区域完成匹配计算之后，后一帧中存在未匹配成功的第二车道线区域G，则确定该未匹配成功的第二车道线区域G对应新的车道线。也即，在后一帧中，出现了一条新的车道线。
在检测到新的车道线之后，可以利用本发明实施例的车道线跟踪方法，在后续的连续图像帧中，对已有的车道线以及新的车道线进行跟踪。例如，在示例三中，在后一帧中检测到新的车道线G之后，在该后一帧的后续图像帧中，对车道线D、E、F、G进行跟踪。
在本发明的一种可选实施例中，所述方法还可以包括：
响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
针对连续的若干个图像帧，执行步骤101至103，直至检测到至少一个车道线区域满足终止跟踪条件，说明该车道线区域的跟踪任务结束，可以停止对所述车道线区域进行车道线跟踪。
进一步地，所述终止跟踪条件可以包括：
若所述前一帧中存在与所述后一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述前一帧中未匹配成功的车道线区域满足终止跟踪条件。
示例四中，假设前一帧中识别出三个第一车道线区域A、B、C，后一帧中识别出两个第二车道线区域E、F。经过步骤S11至步骤S14，确定出第一车道线区域B和第二车道线区域E匹配成功；以及第一车道线区域C和第二车道线区域F匹配成功。
在前后两帧包括的所有车道线区域完成匹配计算之后，前一帧中存在与后一帧包括的各第二车道线区域均未匹配成功的第一车道线区域A，则可以确定第一车道线区域A满足终止跟踪条件。说明当前已完成第一车道线区域A的跟踪任务，可以停止对第一车道线区域A进行车道线跟踪。
在本发明的一种可选实施例中，所述方法还可以包括：
根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
针对某段视频的连续图像帧，执行本发明实施例的车道线跟踪方法，可以识别得到该段视频中出现的所有车道线、以及各车道线在该连续图像帧中的时间区域。
具体地，根据连续图像帧中前一帧中的车道线在后一帧中的跟踪结果，可以确定每个车道线在所述连续图像帧中的起始帧和结束帧，根据每个车道线的起始帧和结束帧可以得到每个车道线在所述连续图像帧中的时间区域。
其中，起始帧指某个车道线连续出现若干帧中的第一帧，结束帧指该车道线连续出现若干帧中的最后一帧。起始帧可以是连续图像帧的第一帧，也可以是第一帧之外的任一帧。若干帧可以是一帧或一帧以上。
例如，对于某段视频的连续图像帧，第1帧中包括某个车道线区域，将该车道线区域对应的车道线记为La11，则第1帧为该车道线La11的起始帧。假设该车道线La11在第1帧之后连续出现至第5帧，第6帧中没有出现该车道线La11，也即，第5帧为该车道线La11的结束帧。因此，可以确定该车道线La11在该连续图像帧中的时间区域为第1帧至第5帧。
又如，对于某段视频的连续图像帧，第10帧中出现了某个车道线区域，将该车道线区域对应的车道线记为La31。第9帧中没有该车道线La31，可以确定第10帧为该车道线La31的起始帧。假设该车道线La31在第10帧之后连续出现至第16帧，第17帧中没有出现该车道线La31，也即，第16帧为该车道线La31的结束帧。因此，可以确定该车道线La31在该连续图像帧中的时间区域为第10帧至第16帧。
在本发明实施例中，确定车道线在所述连续图像帧中的起始帧，可以包括：若所述连续图像帧的第一帧中包括某个车道线，则确定该车道线的起始帧为该连续图像帧的第一帧；或者，若检测到后一帧中存在与前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定该后一帧中未匹配成功的车道线区域对应新的车道线，并且确定该后一帧为该新的车道线的起始帧。
在本发明实施例中，确定车道线在所述连续图像帧中的结束帧，可以包括：在确定某个车道线的起始帧之后，若检测到该车道线对应的车道线区域满足终止跟踪条件，则确定该车道线的结束帧为该车道线区域满足终止跟踪条件时的前一帧。
一个示例中，假设某段视频的第10帧出现了一个车道线区域，记为Ln。该车道线区域与前一帧中的所有车道线区域均未匹配成功，说明该车道线区域第一次出现，也即该车道线区域对应新的车道线(也记为Ln)，可以确定第10帧为该新的车道线Ln的起始帧。假设在第10帧的后一帧(也即第11帧)中，该车道线区域Ln匹配成功，后续又连续匹配成功至第25帧，在第26帧中该车道线区域Ln匹配失败，说明该车道线区域Ln满足终止跟踪条件，可以停止对该车道线区域Ln进行车道线跟踪。此时可以确定该车道线区域满足终止跟踪条件时的前一帧(第25帧)为车道线Ln的结束帧。由此可以得到该车道线Ln在该段视频中对应的时间区域为第10帧至第25帧。
综上，本发明实施例基于车道线识别技术和特征点的光流跟踪技术，实现对视频的连续图像帧进行车道线跟踪。本发明实施例首先识别连续图像帧中各图像帧的车道线区域，然后基于识别的车道线区域，对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点，并且在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点。根据所述第一跟踪点和所述第二跟踪点，可以确定所述前一帧中的车道线在所述后一帧中的跟踪结果。本发明实施例在车道线区域识别完成之后，利用识别的车道线区域的特征点进行光流跟踪，能够快速有效的找到后一帧中相匹配的车道线区域，相较于霍夫变换或者卡尔曼滤波等传统的预测方式，本发明实施例利用图像信息对车道线区域进行匹配，可以提高车道线跟踪的鲁棒性和准确性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
装置实施例
参照图2，示出了本发明的一种车道线跟踪装置实施例的结构框图，所述装置可以包括：
区域识别模块201，用于识别连续图像帧中各图像帧的车道线区域；
光流跟踪模块202，用于对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；
特征确定模块203，用于在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；
结果确定模块204，用于根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
可选地，所述结果确定模块，包括：
第一数目确定子模块，用于确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
第二数目确定子模块，用于在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
比值计算子模块，用于分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
结果确定子模块，用于将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
可选地，所述结果确定子模块，具体用于若比值超过预设阈值的第二车道线区域的数目大于1，确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
可选地，所述装置还包括：
新车道线确定模块，用于若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
可选地，所述装置还包括：
停止跟踪模块，用于响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
可选地，所述终止跟踪条件包括：
若所述前一帧中存在与所述后一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述前一帧中未匹配成功的车道线区域满足终止跟踪条件。
可选地，所述装置还包括：
时间区域确定模块，用于根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
本发明实施例基于车道线识别技术和特征点的光流跟踪技术，实现对视频的连续图像帧进行车道线跟踪。本发明实施例首先识别连续图像帧中各图像帧的车道线区域，然后基于识别的车道线区域，对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点，并且在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点。根据所述第一跟踪点和所述第二跟踪点，可以确定所述前一帧中的车道线在所述后一帧中的跟踪结果。本发明实施例在车道线区域识别完成之后，利用识别的车道线区域的特征点进行光流跟踪，能够快速有效的找到后一帧中相匹配的车道线区域，相较于霍夫变换或者卡尔曼滤波等传统的预测方式，本发明实施例利用图像信息对车道线区域进行匹配，可以提高车道线跟踪的鲁棒性和准确性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供了一种用于车道线跟踪的装置，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：识别连续图像帧中各图像帧的车道线区域；对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
可选地，所述根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果，包括：
确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
可选地，若比值超过预设阈值的第二车道线区域的数目大于1，确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
可选地，所述装置还经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：
若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
可选地，所述装置还经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：
响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
可选地，所述终止跟踪条件包括：
若所述前一帧中存在与所述后一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述前一帧中未匹配成功的车道线区域满足终止跟踪条件。
可选地，所述装置还经配置以由一个以上处理器执行所述一个以上程序包含用于进行以下操作的指令：
根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
图3是根据一示例性实施例示出的一种用于车道线跟踪的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图3，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以测试装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的车道线跟踪方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种车道线跟踪方法，所述方法包括：识别连续图像帧中各图像帧的车道线区域；对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种车道线跟踪方法、一种车道线跟踪装置和一种用于车道线跟踪的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种车道线跟踪方法，其特征在于，所述方法包括：
识别连续图像帧中各图像帧的车道线区域；
对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；
在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；
根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果；
所述根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果，包括：
确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
2.根据权利要求1所述的方法，其特征在于，若比值超过预设阈值的第二车道线区域的数目大于1，确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
5.根据权利要求4所述的方法，其特征在于，所述终止跟踪条件包括：
若所述前一帧中存在与所述后一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述前一帧中未匹配成功的车道线区域满足终止跟踪条件。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
7.一种车道线跟踪装置，其特征在于，所述装置包括：
区域识别模块，用于识别连续图像帧中各图像帧的车道线区域；
光流跟踪模块，用于对所述连续图像帧中前一帧包括的各车道线区域的特征点进行光流跟踪，得到所述前一帧包括的各车道线区域的特征点在后一帧中对应的第一跟踪点；
特征确定模块，用于在所述第一跟踪点中确定位于后一帧包括的各车道线区域内的第二跟踪点；
结果确定模块，用于根据所述第一跟踪点和所述第二跟踪点，确定所述前一帧中的车道线在所述后一帧中的跟踪结果；
所述结果确定模块，包括：
第一数目确定子模块，用于确定所述前一帧中第一车道线区域的特征点在后一帧中对应的第一跟踪点的数目；其中，所述第一车道线区域为所述前一帧中包括的车道线区域中的一个；
第二数目确定子模块，用于在所述第一车道线区域的特征点对应的所有第一跟踪点中，确定分别位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目；其中，所述后一帧中包括至少一个第二车道线区域；
比值计算子模块，用于分别计算位于所述后一帧中每个第二车道线区域内的第二跟踪点的数目与所述第一跟踪点的数目之间的比值；
结果确定子模块，用于将所述后一帧中、所述比值超过预设阈值的第二车道线区域，确定为和所述第一车道线区域对应的同一车道线区域。
8.根据权利要求7所述的装置，其特征在于，所述结果确定子模块，具体用于若比值超过预设阈值的第二车道线区域的数目大于1，确定出比值最高的第二车道线区域，作为与所述第一车道线区域对应同一车道线区域。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
新车道线确定模块，用于若所述后一帧中存在与所述前一帧包括的各车道线区域均未匹配成功的车道线区域，则确定所述后一帧中未匹配成功的车道线区域对应新的车道线。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
停止跟踪模块，用于响应于检测到至少一个车道线区域满足终止跟踪条件，停止对所述车道线区域进行车道线跟踪。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
时间区域确定模块，用于根据所述连续图像帧中前一帧中的车道线在所述后一帧中的跟踪结果，确定所述连续图像帧中每个车道线在所述连续图像帧中的时间区域。
12.一种用于车道线跟踪的装置，其特征在于，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如权利要求1至6中任一所述的车道线跟踪方法的指令。
13.一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如权利要求1至6中任一所述的车道线跟踪方法。
CN202110732668.5A 2021-06-29 2021-06-29 一种车道线跟踪方法、装置和用于车道线跟踪的装置 Active CN113344979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732668.5A CN113344979B (zh) 2021-06-29 2021-06-29 一种车道线跟踪方法、装置和用于车道线跟踪的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732668.5A CN113344979B (zh) 2021-06-29 2021-06-29 一种车道线跟踪方法、装置和用于车道线跟踪的装置

Publications (2)

Publication Number Publication Date
CN113344979A CN113344979A (zh) 2021-09-03
CN113344979B true CN113344979B (zh) 2024-04-16

Family

ID=77481739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732668.5A Active CN113344979B (zh) 2021-06-29 2021-06-29 一种车道线跟踪方法、装置和用于车道线跟踪的装置

Country Status (1)

Country Link
CN (1) CN113344979B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113903014B (zh) * 2021-12-07 2022-05-17 智道网联科技(北京)有限公司 车道线预测方法、装置及电子设备、计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务（中国）有限公司 一种车道线追踪方法及系统
CN108875657A (zh) * 2018-06-26 2018-11-23 北京茵沃汽车科技有限公司 一种车道线检测方法
CN109145860A (zh) * 2018-09-04 2019-01-04 百度在线网络技术（北京）有限公司 车道线跟踪方法和装置
WO2020048027A1 (zh) * 2018-09-06 2020-03-12 惠州市德赛西威汽车电子股份有限公司 一种基于动态感兴趣区域的鲁棒性车道线检测方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111738102A (zh) * 2020-06-04 2020-10-02 同致电子科技（厦门）有限公司 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法
CN111931720A (zh) * 2020-09-23 2020-11-13 深圳佑驾创新科技有限公司 跟踪图像特征点的方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209467A1 (de) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务（中国）有限公司 一种车道线追踪方法及系统
CN108875657A (zh) * 2018-06-26 2018-11-23 北京茵沃汽车科技有限公司 一种车道线检测方法
CN109145860A (zh) * 2018-09-04 2019-01-04 百度在线网络技术（北京）有限公司 车道线跟踪方法和装置
WO2020048027A1 (zh) * 2018-09-06 2020-03-12 惠州市德赛西威汽车电子股份有限公司 一种基于动态感兴趣区域的鲁棒性车道线检测方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111738102A (zh) * 2020-06-04 2020-10-02 同致电子科技（厦门）有限公司 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法
CN111931720A (zh) * 2020-09-23 2020-11-13 深圳佑驾创新科技有限公司 跟踪图像特征点的方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Abdelhamid Mammeri 等.Lane detection and tracking system based on the MSER algorithm, hough transform and kalman filter.MSWiM '14: Proceedings of the 17th ACM international conference on Modeling, analysis and simulation of wireless and mobile systems.2014,第259–266页. *
高速公路车道线检测与跟踪算法研究;田炳香;郑榜贵;吴晴;;现代电子技术;20080508(第09期);第189-192页 *

Also Published As

Publication number Publication date
CN113344979A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
US9674395B2 (en) Methods and apparatuses for generating photograph
US11061202B2 (en) Methods and devices for adjusting lens position
CN107480665B (zh) 文字检测方法、装置及计算机可读存储介质
CN105095881B (zh) 人脸识别方法、装置及终端
CN107193653B (zh) 带宽资源分配方法、装置及存储介质
CN107193678B (zh) 卡顿原因确定方法、装置及存储介质
CN107784279B (zh) 目标跟踪方法及装置
CN112114765A (zh) 投屏方法、装置及存储介质
US20170185820A1 (en) Method, device and medium for fingerprint identification
CN106534951B (zh) 视频分割方法和装置
US20210326649A1 (en) Configuration method and apparatus for detector, storage medium
WO2023024791A1 (zh) 帧率调整方法、装置、电子设备、存储介质及程序
CN109344703B (zh) 对象检测方法及装置、电子设备和存储介质
CN111104920A (zh) 视频处理方法及装置、电子设备和存储介质
CN113344979B (zh) 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN110533948B (zh) 一种路径推荐方法及装置
CN110620871B (zh) 视频拍摄方法及电子设备
CN105227426B (zh) 一种应用界面切换方法、装置及终端设备
CN112181265B (zh) 一种触控信号处理方法、装置及介质
CN108596957B (zh) 物体跟踪方法及装置
CN107644405B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN114185444A (zh) 触控屏防误触方法、装置及存储介质
CN108108668B (zh) 基于图像的年龄预测方法及装置
CN111314232A (zh) 应用加速方法、装置及存储介质
CN106648406B (zh) 文字信息输入的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant