CN107578057B - 基于迁移学习缓解车道线检测的树影类问题的方法及系统 - Google Patents
基于迁移学习缓解车道线检测的树影类问题的方法及系统 Download PDFInfo
- Publication number
- CN107578057B CN107578057B CN201710576091.7A CN201710576091A CN107578057B CN 107578057 B CN107578057 B CN 107578057B CN 201710576091 A CN201710576091 A CN 201710576091A CN 107578057 B CN107578057 B CN 107578057B
- Authority
- CN
- China
- Prior art keywords
- lane line
- learning
- lane
- image
- line detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000013526 transfer learning Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000002787 reinforcement Effects 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 5
- 230000000116 mitigating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供通过迁移学习缓解车道线检测任务中的树影类问题的方法及系统。所述方法包括：获取含有被阴影遮挡的车道线的图像；通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型；获取待检测图像；利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。本发明建立的车道线检测模型在保有原先分类能力的基础上，还能通对新图像的检测来提升自身的分类能力，有效防止了原先模型可能会产生的遗忘问题。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种通过迁移学习缓解车道线检测任务中的树影类问题的方法与系统。
背景技术
在自动驾驶研究项目中，车道线的视觉感知任务具有非常重要的意义。在车道线分割与车道线检测的任务中，往往容易受路边树木、建筑等的影子影响，从视觉角度上看车道线的外观会发生很大变化。尤其在一些阴影严重的场景中，肉眼已经很难辨别哪些地方是车道线，哪些地方是路面。对于路边的树影或其他影子造成的目标难以辨别的情形，我们统称为树影问题。树影问题往往造成车道线的漏检与误检，成为该任务中的一个老大难问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供基于迁移学习缓解车道线检测的树影类问题的方法及系统，用于解决现有技术中的上述问题。
为实现上述目的及其他相关目的，本发明提供一种通过迁移学习缓解车道线检测任务中的树影类问题的方法，包括：获取含有被阴影遮挡的车道线的图像；通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型；获取待检测图像；利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。
于本发明一实施例中，还包括：在所述学习任务中，借助强化学习思想对树影类问题进行有倾向性的训练，从而有针对性地解决树影类问题对车道线检测任务的影响。
于本发明一实施例中，所述有倾向性的训练是通过设置学习内容的权重大小来实现的。
于本发明一实施例中，所述学习内容包括：对背景图像的学习。
于本发明一实施例中，车道线的特征包括：车道线的像素分布、车道线的位置、车道线的形状、及车道线跟周围环境的关系中的一种或多种组合。
为实现上述目的及其他相关目的，本发明提供一种通过迁移学习缓解车道线检测任务中的树影类问题的系统，包括：图像获取模块，用于获取含有被阴影遮挡的车道线的图像；图像分析模块，用于通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；模型建立模块，用于利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型；图像检测模块，用于获取待检测图像；利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。
于本发明一实施例中，所述模型建立模块还用于：在所述学习任务中，借助强化学习思想对树影类问题进行有倾向性的训练，从而有针对性地解决树影类问题对车道线检测任务的影响。
于本发明一实施例中，所述有倾向性的训练是通过设置学习内容的权重大小来实现的。
于本发明一实施例中，所述学习内容包括：对背景图像的学习。
于本发明一实施例中，车道线的特征包括：车道线的像素分布、车道线的位置、车道线的形状、及车道线跟周围环境的关系中的一种或多种组合。
如上所述，本发明的通过迁移学习缓解车道线检测任务中的树影类问题的方法及系统，能够有效地检测出树影类问题中的车道线，并且，建立的车道线检测模型在保有原先分类能力的基础上，还能通对新图像的检测来不断提升自身的分类能力，有效防止了原先模型可能产生的遗忘问题。
附图说明
图1显示为本发明一实施例中的通过迁移学习缓解车道线检测任务中的树影类问题的方法的流程示意图。
图2显示为本发明一实施例中的通过迁移学习缓解车道线检测任务中的树影类问题的系统的模块示意图。
图3显示为本发明的测试图像。
图4显示为传统方法检测树影类问题的车道线的结果图。
图5显示为加入迁移学习后的树影类问题的车道线检测的结果图。
图6显示为对树影类问题进行有倾向性训练后的车道线检测结果图。
元件标号说明
S101～S105 步骤
2 通过迁移学习缓解车道线检测任务中的树影类问题的系统
201 图像获取模块
202 图像分析模块
203 模型建立模块
204 图像检测模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明采用深度学习的手段获取典型树影问题中车道线的共性特征，然后使用迁移学习手段将这些共性特征与原来的车道线特征用另外一个学习任务进行融合，并且在该新的学习任务中，借助强化学习思想，对树影问题进行有倾向性的训练，从而在一定程度上解决树影问题对车道线分割与检测任务的影响，如图1所示，本发明的方法包括如下步骤：
步骤S101：获取一定数量的含有被阴影遮挡的车道线的图像。
步骤S102：通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；其中，车道线特征例如：车道线的像素分布(值)、车道线的位置、车道线的形状、车道线跟周围环境的关系(即context information，上下文信息)等。
步骤S103：利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型。
在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型，然后利用这个学习到的模型来对测试文档进行分类与预测。传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力与物力；另外，若没有大量的标注数据，会使得很多与学习相关研究与应用无法开展。利用迁移学习(TransferLearning)就能合理地解决此类问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。迁移学习的目标就是将从一个环境中学到的知识用来帮助新环境中的学习任务。
步骤S104：获取待检测图像；
步骤S105：利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。
在一实施例中，借助强化学习思想，对树影类问题进行有倾向性的训练是通过设置学习内容的权重大小来实现的，例如：当希望倾向的学习内容是对背景图像的学习时，就对背景图像学习的权重设置比其他学习内容要大一些的值。
所谓强化学习是指从环境状态到行为映射的学习，以使系统行为从环境中获得的累积奖赏值最大。该方法不同与监督学习技术那样通过正例、反例来告知采取何种行为，而是通过试错(trial-and-error)的方法来发现最优行为策略。强化学习的目标就是学习从环境状态到行为的映射，使得智能体选择的行为能够获得环境最大的奖赏，使得外部环境对学习系统在某种意义下的评价(或整个系统的运行性能)为最佳。
图2显示了基于迁移学习缓解车道线检测的树影类问题的系统2，包括：图像获取模块201、图像分析模块202、模型建立模块203、图像检测模块204。由于本系统实施例与方法实施例原理相似，所以本系统实施例与上述方法实施例相同的技术特征便不再重复赘述。
图像获取模块201获取含有被阴影遮挡的车道线的图像；图像分析模块202通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；模型建立模块203利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型；图像检测模块204获取待检测图像；利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。
在一实施例中，所述模型建立模块203还用于：在所述学习任务中，借助强化学习思想对树影类问题进行有倾向性的训练，从而有针对性地解决树影类问题对车道线检测任务的影响，其中，所述有倾向性的训练的实现方式包括：通过设置学习内容的权重大小，例如：当所述学习内容是对背景图像的学习时，就对背景图像学习的权重设置比其他学习内容要大一些的值。
如图3显示的测试图像，左侧的车道线不受树影遮挡，中间的车道线部分受树影遮挡，而右侧的车道线大部分被树影遮挡，肉眼辨识车道线的轮廓已经有些困难。
图4显示了采用传统方法检测出的车道线的结果图，请参阅箭头指示的黑色标记区域，可以看出仅有左侧车道线的部分线条被检测出来，大部分的车道线，尤其是树影下的车道线则完全没有被检测出来。
图5显示了加入本发明前述的迁移学习后检测出的车道线的结果图，请参阅箭头指示的黑色标记区域，可以看出左侧车道线的检测区域明显变长，中间被树影部分遮挡的车道线也被检测出来，右侧受树影遮挡最为严重的车道线区域也被部分检测出来。
图6显示了对树影类问题进行有倾向性训练后的车道线检测结果图，请参阅箭头指示的黑色标记区域，可以看出右侧受树影遮挡最为严重的车道线区域的检测区域明显增多。
综上所述，本发明的基于迁移学习缓解车道线检测的树影类问题的方法及系统，有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种通过迁移学习缓解车道线检测任务中的树影类问题的方法，其特征在于，包括：
获取含有被阴影遮挡的车道线的图像；
通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；
利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型；所述车道线的特征包括：车道线的像素分布、车道线的位置、车道线的形状、及车道线跟周围环境的关系中的一种或多种组合；
获取待检测图像；
利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。
2.根据权利要求1所述的方法，其特征在于，还包括：在所述学习任务中，借助强化学习思想对树影类问题进行有倾向性的训练，从而有针对性地解决树影类问题对车道线检测任务的影响。
3.根据权利要求2所述的方法，其特征在于，所述有倾向性的训练是通过设置学习内容的权重大小来实现的。
4.根据权利要求3所述的方法，其特征在于，所述学习内容包括：对背景图像的学习。
5.一种通过迁移学习缓解车道线检测任务中的树影类问题的系统，其特征在于，包括：
图像获取模块，用于获取含有被阴影遮挡的车道线的图像；
图像分析模块，用于通过对这些图像进行分析，从而得到被阴影遮挡的车道线的共有特征；
模型建立模块，用于利用迁移学习将所述共有特征与未被阴影遮挡的车道线的特征在学习任务中进行融合，从而训练出车道线检测模型；所述车道线的特征包括：车道线的像素分布、车道线的位置、车道线的形状、及车道线跟周围环境的关系中的一种或多种组合；
图像检测模块，用于获取待检测图像；利用所述车道线检测模型对所述待检测图像中的车道线进行检测，并输出检测结果。
6.根据权利要求5所述的系统，其特征在于，所述模型建立模块还用于：在所述学习任务中，借助强化学习思想对树影类问题进行有倾向性的训练，从而有针对性地解决树影类问题对车道线检测任务的影响。
7.根据权利要求6所述的系统，其特征在于，所述有倾向性的训练是通过设置学习内容的权重大小来实现的。
8.根据权利要求7所述的系统，其特征在于，所述学习内容包括：对背景图像的学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710576091.7A CN107578057B (zh) | 2017-07-14 | 2017-07-14 | 基于迁移学习缓解车道线检测的树影类问题的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710576091.7A CN107578057B (zh) | 2017-07-14 | 2017-07-14 | 基于迁移学习缓解车道线检测的树影类问题的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578057A CN107578057A (zh) | 2018-01-12 |
| CN107578057B true CN107578057B (zh) | 2020-11-17 |
Family
ID=61049792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710576091.7A Active CN107578057B (zh) | 2017-07-14 | 2017-07-14 | 基于迁移学习缓解车道线检测的树影类问题的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578057B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492763B (zh) * | 2018-09-17 | 2021-09-03 | 同济大学 | 一种基于强化学习网络训练的自动泊车方法 |
| CN109902637B (zh) * | 2019-03-05 | 2021-03-19 | 长沙智能驾驶研究院有限公司 | 车道线检测方法、装置、计算机设备和存储介质 |
| CN111402200B (zh) * | 2020-02-18 | 2021-12-21 | 江苏大学 | 基于共生双流卷积网络和数字图像的油炸食品检测系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794396A (zh) * | 2010-03-25 | 2010-08-04 | 西安电子科技大学 | 基于迁移网络学习的遥感图像目标识别系统及方法 |
| EP2256667A1 (en) * | 2009-05-28 | 2010-12-01 | Honda Research Institute Europe GmbH | Driver assistance system or robot with dynamic attention module |
| CN103942560A (zh) * | 2014-01-24 | 2014-07-23 | 北京理工大学 | 一种智能交通监控系统中的高分辨率视频车辆检测方法 |
-
2017
- 2017-07-14 CN CN201710576091.7A patent/CN107578057B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2256667A1 (en) * | 2009-05-28 | 2010-12-01 | Honda Research Institute Europe GmbH | Driver assistance system or robot with dynamic attention module |
| CN101794396A (zh) * | 2010-03-25 | 2010-08-04 | 西安电子科技大学 | 基于迁移网络学习的遥感图像目标识别系统及方法 |
| CN103942560A (zh) * | 2014-01-24 | 2014-07-23 | 北京理工大学 | 一种智能交通监控系统中的高分辨率视频车辆检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578057A (zh) | 2018-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xue et al. | A fast detection method via region‐based fully convolutional neural networks for shield tunnel lining defects | |
| Varadharajan et al. | Vision for road inspection | |
| Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in‐car camera | |
| US10346720B2 (en) | Rotation variant object detection in Deep Learning | |
| CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
| CN107578057B (zh) | 基于迁移学习缓解车道线检测的树影类问题的方法及系统 | |
| CN110488368B (zh) | 一种基于双能x光安检机的违禁品识别方法及装置 | |
| CN102122390B (zh) | 基于深度图像进行人体检测的方法 | |
| CN104182985B (zh) | 遥感图像变化检测方法 | |
| CN112949507A (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| WO2023001059A1 (zh) | 检测方法、装置、电子设备及存储介质 | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
| CN116542908A (zh) | 晶圆缺陷的检测方法和装置、电子设备及存储介质 | |
| CN108537286A (zh) | 一种基于关键区域检测的复杂目标精准识别方法 | |
| US20220358747A1 (en) | Method and Generator for Generating Disturbed Input Data for a Neural Network | |
| CN107665327A (zh) | 一种车道线检测方法及装置 | |
| CN115372877B (zh) | 基于无人机的变电站的避雷器泄露电流表计巡检方法 | |
| CN110688945A (zh) | 整洁度检测方法、装置、计算机设备和存储介质 | |
| CN108090459A (zh) | 一种适用于车载视觉系统的交通标志检测识别方法 | |
| CN111461767B (zh) | 一种基于深度学习的Android欺骗性广告检测方法、装置及设备 | |
| CN111144270B (zh) | 基于神经网络的手写文本工整度的评测方法与评测装置 | |
| CN114764770A (zh) | 晶圆检测方法、装置、设备及存储介质 | |
| CN111753610A (zh) | 天气识别方法及装置 | |
| CN111414878B (zh) | 一种关于地块的社会属性分析、图像处理方法及装置 | |
| Baluyan et al. | Novel approach for rooftop detection using support vector machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240914 Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone, No. 366 Shangke Road and No. 10, Lane 55, Chuanhe Road Patentee after: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region after: China Address before: 102300 room a-4653, building 20, Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing Patentee before: BEIJING ZONGMU ANCHI INTELLIGENT TECHNOLOGY CO.,LTD. Country or region before: China |
|
| TR01 | Transfer of patent right |