CN111144361A - 一种基于二值化cgan网络的公路车道检测方法 - Google Patents
一种基于二值化cgan网络的公路车道检测方法 Download PDFInfo
- Publication number
- CN111144361A CN111144361A CN201911410221.5A CN201911410221A CN111144361A CN 111144361 A CN111144361 A CN 111144361A CN 201911410221 A CN201911410221 A CN 201911410221A CN 111144361 A CN111144361 A CN 111144361A
- Authority
- CN
- China
- Prior art keywords
- network
- cgan
- binarization
- detection method
- cgan network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000004913 activation Effects 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012805 post-processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于二值化CGAN网络的公路车道检测方法，CGAN网络最终生成极高分辨率图像，并且图片细节和纹理都与真实图片无差，在网络训练过程中，不需要依赖任何手工定义的损失函数，相较于CNN、SCNN网络，结果更加细腻、真实，并且不依赖于较多的后处理技术，具有较大的优越性；同时通过对CGAN进行压缩，使其在嵌入式终端上的应用成为可能，促进了深度学习算法在移动中的应用。
Description
技术领域
本发明涉及图像识别技术领域，尤其是一种基于二值化CGAN网络的公路车道检测方法。
背景技术
目前智能交通领域研究的热点是安全辅助驾驶系统，它主要针对的是如何减少交通事故的问题。通过不断开发先进技术来代替驾驶员的部分任务，不断完善汽车的辅助驾驶功能，最终实现完全智能化的汽车。鉴于近年来汽车的不断增多和交通事故的频繁发生，世界上许多国家都加大了对车辆安全辅助驾驶领域的研究。车辆偏离告警作为车辆安全辅助驾驶系统研究的重要方面，其在智能系统研究中也占有重要地位。车道检测和识别技术主要应用于告警系统中车道标识线的搜索和提取。在实现方法上大致分为基于雷达成像原理的雷达传感器和基于机器视觉图像的视觉传感器两类。
随着深度学习的发展，图像目标识别算法逐步走向成熟。生成对抗网络GAN是目前热门的生成式模型，由生成器网络G和判别器网络D组成。判别器网络D的任务是决定某幅图像是真实的(来自数据库)，还是机器生成的；而生成器网络G的任务则是生成能够骗过判别网络D的图像。这两个网络彼此就形成了“对抗”，终会达到平衡，即生成器生成的图像与真实图像没有区别，判别器无法区分两者。条件生成对抗网络CGAN在GAN的基础上以附加信息作为条件y扩展为条件生成模型，从而对模型的生成过程进行指导，得到特定的生成结果，其网络示意图如图1所示。然而，全精度卷积神经网络层数多，计算量大，不适用于计算资源有限的小型嵌入式平台，即限制了在车辆上的使用。
发明内容
本发明提供一种基于二值化CGAN网络的公路车道检测方法，将CGAN网络二值化，以解决目标识别网络难以运行在嵌入式终端上的问题。
一种基于二值化CGAN网络的公路车道检测方法，先构建并训练网络模型，然后通过训练好的网络模型对公路车道进行检测，网络模型的构建和训练主要包括以下步骤：
1、收集大量道路场景图片，对图片进行预处理并标注得到数据集，将数据集从数量上分为训练集、测试集和验证集三部分；
2、构建CGAN网络，并对其进行二值化，形成二值化CGAN网络；
3、利用训练集对二值化CGAN网络进行训练。
进一步的，所述CGAN网络的生成器网络由全局生成器和局部生成器组成,所述全局生成器和所述局部生成器均采用残差神经网络；所述全局生成器包括6层卷积层、7层残差块、6层InstanceNorm ReLU层；所述局部生成器包括3层卷积层、2层残差块、1层InstanceNorm ReLU层；所述CGAN网络的判别器网络采用60*60的Patch-GAN，网络结构为4层Convolution-InstanceNorm-Leaky ReLU层，分别具有64、128、256、512个4*4卷积核，偏移步长为2，Leaky ReLU的斜率为0.2。
进一步的，对CGAN网络进行二值化具体操作为，将CGAN网络的权重和激活值利用符号函数二值化为±1，卷积操作为
其中
E*＝Sign(W)，层叠模式改为批标准化→二值化激活→二值化卷积→池化。
进一步的，正向传播过程中使用二值权重，反向传播过程中使用实际权重；二值化CGAN网络的第一层和最后一层保留权重精度。
本发明的有益效果：CGAN网络最终生成极高分辨率图像，并且图片细节和纹理都与真实图片无差，在网络训练过程中，不需要依赖任何手工定义的损失函数，相较于CNN、SCNN网络，结果更加细腻、真实，并且不依赖于较多的后处理技术，具有较大的优越性；同时通过对CGAN进行压缩，使其在嵌入式终端上的应用成为可能，促进了深度学习算法在移动中的应用。
附图说明
图1为条件生成对抗网络结构图；
图2为本发明网络结构图；
图3为经过本发明输出的车道检测示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
一种基于二值化CGAN网络的公路车道检测方法，先构建并训练网络模型，然后通过训练好的网络模型对公路车道进行检测。图2为本发明网络结构示意图，图3为经过本发明输出的车道检测示意图。
网络模型的构建和训练主要包括以下步骤：
1、收集大量道路场景图片，对图片进行预处理并标注得到数据集，将数据集从数量上分为训练集、测试集和验证集三部分。
预处理主要包括灰度处理、平滑处理、二值化处理等，然后采用CAD对车道标识线进行标注。为了与周围环境进行区分，选取与周围环境差异较大的颜色进行标注，利于训练阶段模型参数的下降。
2、构建CGAN网络，生成器网络由全局生成器和局部生成器组成,全局生成器和局部生成器均采用残差神经网络，判别器网络采用60*60的Patch-GAN。
全局生成器包括6层卷积层、7层残差块、6层InstanceNorm ReLU层。卷积层中首先用一个卷积核大小为6*6的卷积实例标准化，激活函数为ReLU并且移动步长为1的网络层，再用3*3两种卷积核对输入进行特征提取。为防止卷积操作提取特征时，忽略边缘特征，对输入进行边缘填充。残差层同样使用3*3卷积核。在InstanceNorm ReLU层各层分别用512、256、128、64个3*3卷积核，且偏移步长皆为1/2。
局部生成器包括3层卷积层、2层残差块、1层InstanceNorm ReLU层。卷积层中首先用一个卷积核大小为6*6的卷积实例标准化，激活函数为ReLU并且移动步长为1的网络层，再用3*3两种卷积核对输入进行特征提取。残差层同样使用3*3卷积核。在InstanceNorm-ReLU层各层用32个3*3卷积核，且偏移步长为1/2。最后一层为一个卷积核大小为3*3的卷积实例标准化、激活函数为ReLU并且移动步长为1的网络层。
图片输入送入判别器网络之前，选取卷积核为3*3且偏移步长为1的卷积，提取图片的初级特征，得到原图大小的特征图，再将特征图送入判别器网络。判别器网络采用60*60的Patch-GAN，网络结构为4层Convolution-InstanceNorm-Leaky ReLU层，每层分别具有64、128、256、512个4*4卷积核，偏移步长为2，Leaky ReLU的斜率为0.2。
所述局部生成器包括3层二值化卷积层、2层残差块、1层InstanceNorm ReLU层；所述CGAN网络的判别器网络采用60*60的Patch-GAN，网络结构为4层Convolution-InstanceNorm-Leaky ReLU层，分别具有64、128、256、512个4*4卷积核，偏移步长为2，LeakyReLU的斜率为0.2。
定义D(i)表示判别器网络D的第i层特征提取器,那么特征匹配损失可以表示为构造损失函数,其中T表示网络层数，Ni表示每层的元素数量。
3、对CGAN网络进行二值化，形成二值化CGAN网络对CGAN网络，具体操作为，将CGAN网络的权重和激活值利用符号函数二值化为±1，卷积操作为
其中
E*＝Sign(W)，层叠模式改为批标准化→二值化激活→二值化卷积→池化；二值化CGAN网络的第一层和最后一层保留权重精度。
4、利用训练集对二值化CGAN网络进行训练，正向传播过程中使用二值权重，反向传播过程中使用实际权重。
这里需要说明的是，本发明未特殊强调部分，均属于本领域技术人员根据现有目标识别技术可以或容易知晓如何实现的。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
Claims (8)
1.一种基于二值化CGAN网络的公路车道检测方法，先构建并训练网络模型，然后通过训练好的网络模型对公路车道进行检测，其特征在于，网络模型的构建和训练主要包括以下步骤：
步骤1，收集大量道路场景图片，对图片进行预处理并标注得到数据集，将数据集从数量上分为训练集、测试集和验证集三部分；
步骤2，构建CGAN网络，并对其进行二值化，形成二值化CGAN网络；
步骤3，利用训练集对二值化CGAN网络进行训练。
2.根据权利要求1所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，所述CGAN网络的生成器网络由全局生成器和局部生成器组成,所述全局生成器和所述局部生成器均采用残差神经网络。
3.根据权利要求2所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，所述全局生成器包括6层卷积层、7层残差块、6层InstanceNorm ReLU层，所述局部生成器包括3层卷积层、2层残差块、1层InstanceNorm ReLU层。
4.根据权利要求1所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，所述CGAN网络的判别器网络采用60*60的Patch-GAN，网络结构为4层Convolution-InstanceNorm-Leaky ReLU层。
5.根据权利要求4所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，4层Convolution-InstanceNorm-Leaky ReLU层分别具有64、128、256、512个4*4卷积核，偏移步长为2，Leaky ReLU的斜率为0.2。
6.根据权利要求1所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，对CGAN网络进行二值化具体操作为，将CGAN网络的权重和激活值利用符号函数二值化为±1，卷积操作为
其中
E*＝Sign(W)，层叠模式改为批标准化→二值化激活→二值化卷积→池化。
7.根据权利要求6所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，正向传播过程中使用二值权重，反向传播过程中使用实际权重。
8.根据权利要求7所述的基于二值化CGAN网络的公路车道检测方法，其特征在于，二值化CGAN网络的第一层和最后一层保留权重精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911410221.5A CN111144361A (zh) | 2019-12-31 | 2019-12-31 | 一种基于二值化cgan网络的公路车道检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911410221.5A CN111144361A (zh) | 2019-12-31 | 2019-12-31 | 一种基于二值化cgan网络的公路车道检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111144361A true CN111144361A (zh) | 2020-05-12 |
Family
ID=70522495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911410221.5A Pending CN111144361A (zh) | 2019-12-31 | 2019-12-31 | 一种基于二值化cgan网络的公路车道检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144361A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215119A (zh) * | 2020-10-08 | 2021-01-12 | 华中科技大学 | 一种基于超分辨率重建的小目标识别方法、装置及介质 |
| RU2746631C1 (ru) * | 2020-09-17 | 2021-04-19 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Способ обнаружения дорожной полосы |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014023640A (ja) * | 2012-07-25 | 2014-02-06 | Konica Minolta Inc | 画像処理装置及びプログラム |
| CN108038818A (zh) * | 2017-12-06 | 2018-05-15 | 电子科技大学 | 一种基于多重循环一致性的生成对抗式网络图像风格转移方法 |
| CN109345441A (zh) * | 2018-10-19 | 2019-02-15 | 上海唯识律简信息科技有限公司 | 一种基于生成对抗网络的图像去水印方法和系统 |
| CN110569796A (zh) * | 2019-09-09 | 2019-12-13 | 南京东控智能交通研究院有限公司 | 一种车道线动态检测和车道分界线的拟合方法 |
-
2019
- 2019-12-31 CN CN201911410221.5A patent/CN111144361A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014023640A (ja) * | 2012-07-25 | 2014-02-06 | Konica Minolta Inc | 画像処理装置及びプログラム |
| CN108038818A (zh) * | 2017-12-06 | 2018-05-15 | 电子科技大学 | 一种基于多重循环一致性的生成对抗式网络图像风格转移方法 |
| CN109345441A (zh) * | 2018-10-19 | 2019-02-15 | 上海唯识律简信息科技有限公司 | 一种基于生成对抗网络的图像去水印方法和系统 |
| CN110569796A (zh) * | 2019-09-09 | 2019-12-13 | 南京东控智能交通研究院有限公司 | 一种车道线动态检测和车道分界线的拟合方法 |
Non-Patent Citations (3)
| Title |
|---|
| XING WEI等: "Downhole Track Detection via Mult-dimensional Conditional Generative Adversarial Nets" * |
| 胡麟苗 等: "基于生成对抗网络的短波红外-可见光人脸图像翻译" * |
| 郑哲 等: "量化权值激活的生成对抗网络" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2746631C1 (ru) * | 2020-09-17 | 2021-04-19 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Способ обнаружения дорожной полосы |
| CN112215119A (zh) * | 2020-10-08 | 2021-01-12 | 华中科技大学 | 一种基于超分辨率重建的小目标识别方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN102693432B (zh) | 使用可靠局部模型更新来调节畅通路径检测 | |
| CN111666921A (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| CN102682301B (zh) | 使用附加分类器来调节畅通路径检测 | |
| US20220156483A1 (en) | Efficient three-dimensional object detection from point clouds | |
| CN112307978B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| Chao et al. | Multi-lane detection based on deep convolutional neural network | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| CN113723170A (zh) | 危险检测整合架构系统和方法 | |
| CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
| CN114419428A (zh) | 一种目标检测方法、目标检测装置和计算机可读存储介质 | |
| Saravanarajan et al. | Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach | |
| CN117011819A (zh) | 基于特征引导注意力的车道线检测方法、装置及设备 | |
| CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
| CN116229448A (zh) | 三维目标检测方法、装置、设备及可读存储介质 | |
| CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN115346184A (zh) | 一种车道信息检测方法、终端及计算机存储介质 | |
| Aboah et al. | Ai-based framework for understanding car following behaviors of drivers in a naturalistic driving environment | |
| CN113569803A (zh) | 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统 | |
| Pan et al. | Fast lane detection based on deep convolutional neural network and automatic training data labeling | |
| Kaida et al. | Study on behavior prediction using multi-object recognition and map information in road environment | |
| CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 | |
| CN113468908B (zh) | 目标识别方法及装置 | |
| Chi et al. | Road Traffic Signs Recognition in Automatic Driving under Extreme Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |
|
| RJ01 | Rejection of invention patent application after publication |