CN108052933A - 基于卷积神经网络的道路识别系统及方法 - Google Patents
基于卷积神经网络的道路识别系统及方法 Download PDFInfo
- Publication number
- CN108052933A CN108052933A CN201810038726.2A CN201810038726A CN108052933A CN 108052933 A CN108052933 A CN 108052933A CN 201810038726 A CN201810038726 A CN 201810038726A CN 108052933 A CN108052933 A CN 108052933A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- neural networks
- convolutional neural
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 21
- 241000209094 Oryza Species 0.000 claims abstract description 17
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 17
- 235000009566 rice Nutrition 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000001537 neural effect Effects 0.000 claims abstract description 9
- 230000007935 neutral effect Effects 0.000 claims description 8
- 210000005036 nerve Anatomy 0.000 claims 1
- 210000004218 nerve net Anatomy 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Abstract
本发明公开了一种基于卷积神经网络的道路识别系统及方法，包括：高清摄像头和图像处理端，高清摄像头与图像处理端之间通过USB接口进行连接，高清摄像头，用于实时采集道路图像，并将道路图像通过USB接口传输至图像处理端，图像处理端包括：图像获取模块、神经网络训练模块、图像特征提取模块、二分器和显示屏，所述图像处理端接收高清摄像头传输来的道路图像，并将道路图像中的道路区域与非道路区域进行分割，通过高清摄像头采集道路图像，利用卷积神经网络对图像进行处理，将图像的道路区域与非道路区域进行准确分割，以达到降低硬件成本，拓宽应用场景和道路区域准确分割的目的。
Description
技术领域
本发明涉及道路区域识别技术领域，具体涉及一种基于卷积神经网络的道路识别系统及方法。
背景技术
现有机器人户外自主导航的方案，一般需要借助激光雷达对环境进行建图，而这主要存在两大缺陷：技术成本高，需要价格昂贵的辅助设备(激光雷达)；应用场景受限，激光雷达不能应用在大范围空旷场所。
发明内容
为解决上述技术问题，本发明提出了一种基于卷积神经网络的道路识别系统及方法，以达到降低硬件成本，拓宽应用场景和道路区域准确分割的目的。
为达到上述目的，本发明的技术方案如下：一种基于卷积神经网络的道路识别系统，所述系统包括：高清摄像头和图像处理端，所述高清摄像头与所述图像处理端之间通过USB接口进行连接，所述高清摄像头，用于实时采集道路图像，并将道路图像通过USB接口传输至图像处理端，所述图像处理端包括：图像获取模块、神经网络训练模块、图像特征提取模块、二分器和显示屏，所述图像获取模块通过导线连接有图像特征提取模块、所述图像特征提取模块通过导线连接有神经网络训练模块和二分器，所述二分器通过导线连接有显示屏，所述图像处理端接收高清摄像头传输来的道路图像，并将道路图像中的道路区域与非道路区域进行分割。
进一步地，所述图像获取模块，用于接收高清摄像头传输来的道路图像，并通过OpenCV获取一帧的图像传输至图像特征提取模块。
进一步地，所述神经网络训练模块，用于训练卷积神经网络模型。
进一步地，所述图像特征提取模块，用于接收图像获取模块传输来的一帧图像，并根据训练好的卷积神经网络模型对一帧图像进行特征提取，所述图像特征提取模块将提取后的图像信息发送至二分器。
进一步地，所述二分器对提取后的图像中的每个像素计算，计算出属于道路区域和非道路区域的概率，并将属于道路区域的所有像素分割出来形成整个道路区域，所述二分器将道路区域发送至显示屏，供用户查看。
一种基于卷积神经网络的道路识别方法，所述方法步骤如下：高清摄像头实时采集道路图像，并将道路图像传输至图像处理端；图像处理端的图像获取模块获取道路图像的一帧图像；图像处理端的图像特征提取模块使用已训练好的神经网络对图像提取特征；图像处理端的二分器对特征提取后的图像中每个像素计算，计算出属于道路区域和非道路区域的概率；图像处理端的二分器将属于道路区域的所有像素分割出来形成整个道路区域；将道路区域显示到显示屏上。
进一步地，所述训练神经网络的方法步骤为：采集多份含有道路信息的图像样本；对图像样本进行标注；编写模型训练配置文件；使用Tensorflow训练卷积神经网络模型。进一步地，所述对图像样本进行标注是将道路区域用一种颜色进行标注，将非道路区域用另一种颜色进行标注。
进一步地，所述使用已训练好的神经网络对图像提取特征的方法步骤为：一帧图像经过多层卷基层后，将图像的边缘、轮廓、纹理及颜色进行特征提取，输出一个三维矩阵；将得到的三维矩阵通过3个上采样的全卷积层，得到与原图大小一样的热图，其中道路区域用一种颜色表示，其他非道路区域用另一种颜色表示。
本发明具有如下优点：
(1).本发明通过高清摄像头采集道路图像，利用卷积神经网络对图像进行处理，将图像的道路区域与非道路区域进行准确分割，降低了硬件成本，提高了道路分割的准确率。
(2).本发明可以应用到大范围空旷场所，应用场景的制约较少。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例公开的基于卷积神经网络的道路识别系统结构示意图；
图2为本发明实施例公开的基于卷积神经网络的道路识别方法流程图；
图中数字和字母所表示的相应部件名称：
1、高清摄像头；2、图像处理端；201、图像获取模块；202、神经网络训练模块；203、图像特征提取模块；204、二分器；205、显示屏。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于卷积神经网络的道路识别系统及方法，其工作原理是通过高清摄像头采集道路图像，利用卷积神经网络对图像进行处理，将图像的道路区域与非道路区域进行准确分割，以达到降低硬件成本，拓宽应用场景和道路区域准确分割的目的。
下面结合实施例和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示，一种基于卷积神经网络的道路识别系统，所述系统包括：高清摄像头1和图像处理端2，所述高清摄像头1与所述图像处理端2之间通过USB接口进行连接，所述高清摄像头1，用于实时采集道路图像，并将道路图像通过USB接口传输至图像处理端2，所述图像处理端2包括：图像获取模块201、神经网络训练模块202、图像特征提取模块203、二分器204和显示屏205，所述图像获取模块201通过导线连接有图像特征提取模块203、所述图像特征提取模块203通过导线连接有神经网络训练模块202和二分器204，所述二分器204通过导线连接有显示屏205，所述图像处理端2接收高清摄像头1传输来的道路图像，并将道路图像中的道路区域与非道路区域进行分割。
其中，所述图像获取模块201，用于接收高清摄像头1传输来的道路图像，并通过OpenCV获取一帧的图像传输至图像特征提取模块203。
其中，所述神经网络训练模块202，用于训练卷积神经网络模型。
其中，所述图像特征提取模块203，用于接收图像获取模块201传输来的一帧图像，并根据训练好的卷积神经网络模型对一帧图像进行特征提取，所述图像特征提取模块203将提取后的图像信息发送至二分器204。
其中，所述二分器204对提取后的图像中的每个像素计算，计算出属于道路区域和非道路区域的概率，并将属于道路区域的所有像素分割出来形成整个道路区域，所述二分器204将道路区域发送至显示屏205，供用户查看。
一种基于卷积神经网络的道路识别方法，所述方法步骤如下：高清摄像头1实时采集道路图像，并将道路图像传输至图像处理端2；图像处理端2的图像获取模块201获取道路图像的一帧图像；图像处理端2的图像特征提取模块203使用已训练好的神经网络对图像提取特征；图像处理端2的二分器204对特征提取后的图像中每个像素计算，计算出属于道路区域和非道路区域的概率；图像处理端2的二分器204将属于道路区域的所有像素分割出来形成整个道路区域；将道路区域显示到显示屏205上。
其中，所述训练神经网络的方法步骤为：采集多份含有道路信息的图像样本；对图像样本进行标注；编写模型训练配置文件；使用Tensorflow在GPU端训练卷积神经网络模型。
其中，所述对图像样本进行标注是将道路区域用一种颜色进行标注，将非道路区域用另一种颜色进行标注。
其中，所述使用已训练好的神经网络对图像提取特征的方法步骤为：一帧图像经过13层卷基层后，将图像的边缘、轮廓、纹理及颜色进行特征提取，输出一个三维矩阵；将得到的三维矩阵通过3个上采样的全卷积层，得到与原图大小一样的热图，其中道路区域用一种颜色表示，其他非道路区域用另一种颜色表示。
以上所述的仅是本发明所公开的一种基于卷积神经网络的道路识别系统及方法的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (9)
1.一种基于卷积神经网络的道路识别系统，其特征在于，所述系统包括：高清摄像头和图像处理端，所述高清摄像头与所述图像处理端之间通过USB接口进行连接，所述高清摄像头，用于实时采集道路图像，并将道路图像通过USB接口传输至图像处理端，所述图像处理端包括：图像获取模块、神经网络训练模块、图像特征提取模块、二分器和显示屏，所述图像获取模块通过导线连接有图像特征提取模块、所述图像特征提取模块通过导线连接有神经网络训练模块和二分器，所述二分器通过导线连接有显示屏，所述图像处理端接收高清摄像头传输来的道路图像，并将道路图像中的道路区域与非道路区域进行分割。
2.根据权利要求1所述的基于卷积神经网络的道路识别系统，其特征在于，所述图像获取模块，用于接收高清摄像头传输来的道路图像，并获取一帧的图像传输至图像特征提取模块。
3.根据权利要求1所述的基于卷积神经网络的道路识别系统，其特征在于，所述神经网络训练模块，用于训练卷积神经网络模型。
4.根据权利要求1所述的基于卷积神经网络的道路识别系统，其特征在于，所述图像特征提取模块，用于接收图像获取模块传输来的一帧图像，并根据训练好的卷积神经网络模型对一帧图像进行特征提取，所述图像特征提取模块将提取后的图像信息发送至二分器。
5.根据权利要求1所述的基于卷积神经网络的道路识别系统，其特征在于，所述二分器对提取后的图像中的每个像素计算，计算出属于道路区域和非道路区域的概率，并将属于道路区域的所有像素分割出来形成整个道路区域，所述二分器将道路区域发送至显示屏，供用户查看。
6.一种基于卷积神经网络的道路识别方法，其特征在于，所述方法步骤如下：高清摄像头实时采集道路图像，并将道路图像传输至图像处理端；图像处理端的图像获取模块获取道路图像的一帧图像；图像处理端的图像特征提取模块使用已训练好的神经网络对图像提取特征；图像处理端的二分器对特征提取后的图像中每个像素计算，计算出属于道路区域和非道路区域的概率；图像处理端的二分器将属于道路区域的所有像素分割出来形成整个道路区域；将道路区域显示到显示屏上。
7.根据权利要求6所述的基于卷积神经网络的道路识别方法，其特征在于，所述训练神经网络的方法步骤为：采集多份含有道路信息的图像样本；对图像样本进行标注；编写模型训练配置文件；使用Tensorflow训练卷积神经网络模型。
8.根据权利要求7所述的基于卷积神经网络的道路识别方法，其特征在于，所述对图像样本进行标注的方法为：将道路区域用一种颜色进行标注，将非道路区域用另一种颜色进行标注。
9.根据权利要求6所述的基于卷积神经网络的道路识别方法，其特征在于，所述使用已训练好的神经网络对图像提取特征的方法步骤为：一帧图像经过多层卷基层后，将图像的边缘、轮廓、纹理及颜色进行特征提取，输出一个三维矩阵；将得到的三维矩阵通过3个上采样的全卷积层，得到与原图大小一样的热图，其中道路区域用一种颜色表示，其他非道路区域用另一种颜色表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810038726.2A CN108052933A (zh) | 2018-01-16 | 2018-01-16 | 基于卷积神经网络的道路识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810038726.2A CN108052933A (zh) | 2018-01-16 | 2018-01-16 | 基于卷积神经网络的道路识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108052933A true CN108052933A (zh) | 2018-05-18 |
Family
ID=62126742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810038726.2A Pending CN108052933A (zh) | 2018-01-16 | 2018-01-16 | 基于卷积神经网络的道路识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108052933A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117723A (zh) * | 2018-07-06 | 2019-01-01 | 中国科学院自动化研究所 | 基于颜色模式分析与语义分割的盲道检测方法 |
| CN109508635A (zh) * | 2018-10-08 | 2019-03-22 | 哈尔滨理工大学 | 一种基于TensorFlow结合多层CNN网络的交通灯识别方法 |
| CN109800661A (zh) * | 2018-12-27 | 2019-05-24 | 东软睿驰汽车技术（沈阳）有限公司 | 一种道路识别模型训练方法、道路识别方法及装置 |
| CN110032952A (zh) * | 2019-03-26 | 2019-07-19 | 西安交通大学 | 一种基于深度学习的道路边界点检测方法 |
| CN111421553A (zh) * | 2020-05-14 | 2020-07-17 | 小狗电器互联网科技（北京）股份有限公司 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
| CN111435088A (zh) * | 2019-01-15 | 2020-07-21 | 北京嘀嘀无限科技发展有限公司 | 一种道路匹配方法、装置、电子设备及存储介质 |
| CN113313071A (zh) * | 2021-06-28 | 2021-08-27 | 浙江同善人工智能技术有限公司 | 一种道路区域识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106558058A (zh) * | 2016-11-29 | 2017-04-05 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
| CN107025440A (zh) * | 2017-03-27 | 2017-08-08 | 北京航空航天大学 | 一种基于新型卷积神经网络的遥感图像道路提取方法 |
-
2018
- 2018-01-16 CN CN201810038726.2A patent/CN108052933A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106558058A (zh) * | 2016-11-29 | 2017-04-05 | 北京图森未来科技有限公司 | 分割模型训练方法、道路分割方法、车辆控制方法及装置 |
| CN107025440A (zh) * | 2017-03-27 | 2017-08-08 | 北京航空航天大学 | 一种基于新型卷积神经网络的遥感图像道路提取方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117723A (zh) * | 2018-07-06 | 2019-01-01 | 中国科学院自动化研究所 | 基于颜色模式分析与语义分割的盲道检测方法 |
| CN109117723B (zh) * | 2018-07-06 | 2020-10-30 | 中国科学院自动化研究所 | 基于颜色模式分析与语义分割的盲道检测方法 |
| CN109508635A (zh) * | 2018-10-08 | 2019-03-22 | 哈尔滨理工大学 | 一种基于TensorFlow结合多层CNN网络的交通灯识别方法 |
| CN109508635B (zh) * | 2018-10-08 | 2022-01-07 | 海南师范大学 | 一种基于TensorFlow结合多层CNN网络的交通灯识别方法 |
| CN109800661A (zh) * | 2018-12-27 | 2019-05-24 | 东软睿驰汽车技术（沈阳）有限公司 | 一种道路识别模型训练方法、道路识别方法及装置 |
| CN111435088A (zh) * | 2019-01-15 | 2020-07-21 | 北京嘀嘀无限科技发展有限公司 | 一种道路匹配方法、装置、电子设备及存储介质 |
| CN110032952A (zh) * | 2019-03-26 | 2019-07-19 | 西安交通大学 | 一种基于深度学习的道路边界点检测方法 |
| CN111421553A (zh) * | 2020-05-14 | 2020-07-17 | 小狗电器互联网科技（北京）股份有限公司 | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 |
| CN113313071A (zh) * | 2021-06-28 | 2021-08-27 | 浙江同善人工智能技术有限公司 | 一种道路区域识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108052933A (zh) | 基于卷积神经网络的道路识别系统及方法 | |
| WO2022016563A1 (zh) | 一种植保无人机地面监控系统及其监控方法 | |
| CN103927741B (zh) | 增强目标特征的sar图像合成方法 | |
| CN111738314B (zh) | 基于浅层融合的多模态图像能见度检测模型的深度学习方法 | |
| CN108596055B (zh) | 一种复杂背景下高分辨遥感图像的机场目标检测方法 | |
| CN108038883A (zh) | 一种应用于公路路面视频图像的裂缝检测及识别方法 | |
| CN108803617A (zh) | 轨迹预测方法及装置 | |
| CN105005778B (zh) | 一种基于视觉背景提取的高速公路车辆检测方法 | |
| CN108229425A (zh) | 一种基于高分辨率遥感图像的水体识别方法 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| CN104021588B (zh) | 一种实时恢复车辆三维真实模型的系统及方法 | |
| CN102930287B (zh) | 一种针对俯视行人的检测计数系统及方法 | |
| CN110008360B (zh) | 包含特定背景图像的车辆目标图像数据库建立方法 | |
| CN104951775A (zh) | 基于视频技术的铁路道口防护区域安全智能识别方法 | |
| CN107220957B (zh) | 一种利用滚动导向滤波的遥感图像融合方法 | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| CN109978854A (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
| CN110288623B (zh) | 无人机海上网箱养殖巡检图像的数据压缩方法 | |
| CN108256467A (zh) | 一种基于视觉注意机制和几何特征的交通标志检测方法 | |
| CN107220976A (zh) | 一种航拍公路图像的公路定位方法 | |
| CN107194893A (zh) | 基于卷积神经网络的深度图像超分辨方法 | |
| CN104574381A (zh) | 一种基于局部二值模式的全参考图像质量评价方法 | |
| CN111599007B (zh) | 一种基于无人机航拍的智慧城市cim道路贴图方法 | |
| CN206249426U (zh) | 一种图像复原系统 | |
| CN106803073A (zh) | 基于立体视觉目标的辅助驾驶系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180518 |