CN108805882A - 一种水面和水坑检测方法 - Google Patents
一种水面和水坑检测方法 Download PDFInfo
- Publication number
- CN108805882A CN108805882A CN201810534064.8A CN201810534064A CN108805882A CN 108805882 A CN108805882 A CN 108805882A CN 201810534064 A CN201810534064 A CN 201810534064A CN 108805882 A CN108805882 A CN 108805882A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- polarization
- image
- dimensional decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种水面和水坑检测方法。该方法利用两个彩色相机和两个线偏振片采集图像,利用小型处理器对采集的图像进行处理,输出图像中水面的区域。该方法能够同时检测大型水面和小型路面水坑,具有统一性高,实时性高,不需要特定假设的优点,可以很好地满足视障人士在出行中避开水面和水坑的要求。
Description
技术领域
本发明属于偏振成像技术、立体视觉技术、模式识别技术、图像处理技术、计算机视觉技术领域,涉及一种水面和水坑检测方法。
背景技术
视觉信息是人类识别周围环境的最重要信息来源,人类获得的信息80%左右是从视觉系统输入的。根据世界卫生组织统计,全世界有2.53亿视觉障碍人士。视障人士损失了正常的视觉,对颜色、形状的理解很困难。现在,他们中的许多人使用白手杖或导盲犬协助自己的日常生活。白手杖不足以在旅行期间解决所有的困难。导盲犬可以引导视障人士以避免在道路上行走时的危险,但是因为训练导盲犬需要很大的成本,它们不能用于所有视觉障碍者。因此,手杖、导盲犬等传统工具无法为他们出行提供充分的协助。自从各种电子出行辅助(ETA)设备开发以来,已被视为一种辅助视障者在不同情况下出行的有效的方法。为了帮助用户找到通路,许多辅助系统部署深度相机来检测可及的路径和障碍,也有很多辅助系统针对盲人辅助实现了楼梯检测、行人检测、车辆检测等。但是并没有方法帮助盲人在出行中避开水面或水坑的危险区域。因此,一个能够将水面和水坑检测统一在一个框架下同时完成检测,并且能够实现实时运行和快速输出的方法被迫切需要。
发明内容
本发明的目的在于针对先有技术的不足,提供一种水面和水坑检测方法。
本发明的目的是通过以下技术方案实现的:一种水面和水坑检测方法,该方法为:
(1)通过两个前端设置有偏振片的彩色相机,分别获取一彩色图像,其中,所述两个彩色相机同高,且光轴相互平行,两个偏振片的偏振方向相互垂直。
(2)将其中一个彩色图像输入到预先训练的神经网络模型,得到语义分割图像Semantics,所述神经网络模型,通过以下方法预先训练得到:
从大型的语义分割数据集中获取训练数据集,包括m张彩色图像Color与其一一对应的m张标记图像Label,所述对应关系如下:标记图像Label中的像素单元与彩色图像Color中的像素单元一一对应,标记图像Label中的像素单元标记彩色图像Color中的像素单元的语义标号。m≥10000。所述像素单元为:来源于同一物体的所有像素点组成的单元,同一类别的物体用一语义标号进行标识。
以彩色图像Color为输入,标记图像Label为输出,对语义分割模型进行训练,所述基于神经网络的语义分割模型中每一层网络如下表所示,得到预先训练的神经网络模型。
层号 | 类型 | 输出特征图的维数 | 输出特征图的分辨率 |
1 | 下采样层 | 16 | 320×240 |
2 | 下采样层 | 64 | 160×120 |
3-7 | 一维分解瓶颈层 | 64 | 160×120 |
8 | 下采样层 | 128 | 80×60 |
9 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
10 | 一维分解瓶颈层(扩张卷积率4) | 128 | 80×60 |
11 | 一维分解瓶颈层(扩张卷积率8) | 128 | 80×60 |
12 | 一维分解瓶颈层(扩张卷积率16) | 128 | 80×60 |
13 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
14 | 一维分解瓶颈层(扩张卷积率4) | 128 | 80×60 |
15 | 一维分解瓶颈层(扩张卷积率8) | 128 | 80×60 |
16 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
17a | 第16层输出的原始特征图 | 128 | 80×60 |
17b | 第16层输出的原始特征图的池化和卷积 | 32 | 80×60 |
17c | 第16层输出的原始特征图的池化和卷积 | 32 | 40×30 |
17d | 第16层输出的原始特征图的池化和卷积 | 32 | 20×15 |
17e | 第16层输出的原始特征图的池化和卷积 | 32 | 10×8 |
17f | 第17a-17e层的上采样和级联 | 256 | 80×60 |
18 | 卷积层 | 地形和目标类别数 | 80×60 |
19 | 上采样层 | 地形和目标类别数 | 640×480 |
将待检测的彩色图像Color输入神经网络模型后,第19层得到的输出特征图即为各个类别的概率图,通过argmax函数即可得到语义分割图像Semantics。
(3)对语义分割图像Semantics进行处理,获取被分割出的水面区域和路面可通行区域,对路面可通行区域中任一像素点(u,v),计算该像素点在偏振差分图像Polarization中的偏振差分值polarization,若polarization大于阈值PolarizationThreshold,则该点为水坑。
所述偏振差分值polarization的计算方法如下:
(3.1)对两个彩色图像行双目立体匹配,获取一幅视差图像Disparity;
(3.2)从另一个彩色图像中找到对应于像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
(3.3)计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);偏振差分值polarization为|VL(u,v)-VR(u',v)|;
进一步地,所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。
进一步地,从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
进一步地,所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
进一步地,所述上采样层采用双线性插值完成。
进一步地,大型的语义分割数据集可以为:
ADE20K数据集:http://groups.csail.mit.edu/vision/datasets/ADE20K/;
Cityscapes数据集:https://www.cityscapes-dataset.com/;
Pascal数据集:https://www.cs.stanford.edu/~roozbeh/pascal-context/;
COCO10K数据集:https://github.com/nightrome/cocostuff;
Mapillary数据集:https://www.mapillary.com/dataset/vistas。
本发明的有益效果主要在于:
统一性高。本发明由于集合了偏振差分方法和基于神经网络的语义分割方法,可以同时获取图像中的大型水面区域和小型水坑区域。
实时性高。本发明的语义分割模型由于采用一维分解瓶颈层的堆叠来完成特征图的提取,最大化的节省了达到相同精度需要的残差层数目,因此可以支持高实时性的语义分割和检测。本发明的偏振差分检测方法,只需要双目图像匹配技术和偏振差分技术,可以支持高实时性的输出。
不需要特定假设。本发明由于采用基于神经网络的语义分割方法,可以直接从原始数据中提取特征,不需要基于特定假设完成检测。
环境适应性好。本发明相比可以同时检测大型水面与小型水坑,相比现有盲人辅助工具,可以支持晴天、阴雨天等不同天气的出行。
附图说明
图1为模块连接示意图;
图2-图6为案例1的图像,其中,
图2左为左彩色图像;右为右彩色图像;
图3为语义分割图像;
图4为视差图像;
图5为偏振差分图像;
图6为水面与水坑检测结果。
图7-图11为案例2的图像,其中,
图7左为左彩色图像;右为右彩色图像;
图8为语义分割图像;
图9为视差图像;
图10为偏振差分图像;
图11为水面与水坑检测结果。
图12为一维分解瓶颈层示意;
图13为下采样层示意图。
具体实施方式
本发明涉及一种水面和水坑检测方法,该方法基于一神经网络模型实现,该神经网络模型通过方法训练得到:
从大型的语义分割数据集中获取训练数据集,包括m张彩色图像Color与其一一对应的m张标记图像Label,所述对应关系如下:标记图像Label中的像素单元与彩色图像Color中的像素单元一一对应,标记图像Label中的像素单元标记彩色图像Color中的像素单元的语义标号。m≥10000。所述像素单元为:来源于同一物体的所有像素点组成的单元,同一类别的物体用一语义标号进行标识。该m张彩色图像Color中包含水面和路面的像素单元。
大型的语义分割数据集可以为:
ADE20K数据集:http://groups.csail.mit.edu/vision/datasets/ADE20K/;
Cityscapes数据集:https://www.cityscapes-dataset.com/;
Pascal数据集:https://www.cs.stanford.edu/~roozbeh/pascal-context/;
COCO10K数据集:https://github.com/nightrome/cocostuff;
Mapillary数据集:https://www.mapillary.com/dataset/vistas。
以彩色图像Color为输入,标记图像Label为输出,对语义分割模型进行训练,所述基于神经网络的语义分割模型中每一层网络如下表所示,得到预先训练的神经网络模型。
其中所述一维分解瓶颈层如图12所示,本发明通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。本发明由于采用一维分解瓶颈层的堆叠来完成特征图的提取,最大化的节省了达到相同精度需要的残差层数目,因此可以支持高实时性的语义分割和检测。
其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
其中所述下采样层如图13所示,本发明通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
其中所述上采样层采用双线性插值完成。
将待检测的彩色图像Color输入神经网络模型后,第19层得到的输出特征图即为各个类别的概率图,通过argmax函数即可得到语义分割图像Semantics。
下面以案例1为例,对本发明做进一步说明。
(1)通过两个前端设置有偏振片的彩色相机,分别获取一彩色图像,如图2所示,其中,所述两个彩色相机同高,且光轴相互平行,两个偏振片的偏振方向相互垂直。
(2)将左彩色图输入到预先训练的神经网络模型,得到语义分割图像Semantics,如图3所示。
(3)对语义分割图像Semantics进行处理,获取被分割出的水面区域和路面可通行区域,对路面可通行区域中任一像素点(u,v),计算该像素点在偏振差分图像Polarization中的偏振差分值polarization,若polarization大于阈值PolarizationThreshold,则该点为水坑,如图6所示。
所述偏振差分值polarization的计算方法如下:
(3.1)对两个彩色图像行双目立体匹配,获取一幅视差图像Disparity,如图4所示。
(3.2)从另一个彩色图像中找到对应于像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
(3.3)计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);偏振差分值polarization为|VL(u,v)-VR(u',v)|;以偏振差分值可构成如图5所示的差分图。
Claims (6)
1.一种水面和水坑检测方法,其特征在于,该方法为:
(1)通过两个前端设置有偏振片的彩色相机,分别获取一彩色图像,其中,所述两个彩色相机同高,且光轴相互平行,两个偏振片的偏振方向相互垂直。
(2)将其中一个彩色图像输入到预先训练的神经网络模型,得到语义分割图像Semantics,所述神经网络模型,通过以下方法预先训练得到:
从大型的语义分割数据集中获取训练数据集,包括m张彩色图像Color与其一一对应的m张标记图像Label,所述对应关系如下:标记图像Label中的像素单元与彩色图像Color中的像素单元一一对应,标记图像Label中的像素单元标记彩色图像Color中的像素单元的语义标号。m≥10000。所述像素单元为:来源于同一物体的所有像素点组成的单元,同一类别的物体用一语义标号进行标识。
以彩色图像Color为输入,标记图像Label为输出,对语义分割模型进行训练,所述基于神经网络的语义分割模型中每一层网络如下表所示,得到预先训练的神经网络模型。
将待检测的彩色图像Color输入神经网络模型后,第19层得到的输出特征图即为各个类别的概率图,通过argmax函数即可得到语义分割图像Semantics。
(3)对语义分割图像Semantics进行处理,获取被分割出的水面区域和路面可通行区域,对路面可通行区域中任一像素点(u,v),计算该像素点在偏振差分图像Polarization中的偏振差分值polarization,若polarization大于阈值PolarizationThreshold,则该点为水坑。
所述偏振差分值polarization的计算方法如下:
(3.1)对两个彩色图像行双目立体匹配,获取一幅视差图像Disparity;
(3.2)从另一个彩色图像中找到对应于像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
(3.3)计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);偏振差分值polarization为|VL(u,v)-VR(u',v)|。
2.根据权利要求1所述的方法,其特征在于,所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。
3.根据权利要求1所述的方法,其特征在于,从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
4.根据权利要求1所述的方法,其特征在于,所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
5.根据权利要求1所述的方法,其特征在于,所述上采样层采用双线性插值完成。
6.根据权利要求1所述的方法,其特征在于,大型的语义分割数据集可以为:
ADE20K数据集:http://groups.csail.mit.edu/vision/datasets/ADE20K/;
Cityscapes数据集:https://www.cityscapes-dataset.com/;
Pascal数据集:https://www.cs.stanford.edu/~roozbeh/pascal-context/;
COCO10K数据集:https://github.com/nightrome/cocostuff;
Mapillary数据集:https://www.mapillary.com/dataset/vistas。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810534064.8A CN108805882B (zh) | 2018-05-29 | 2018-05-29 | 一种水面和水坑检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810534064.8A CN108805882B (zh) | 2018-05-29 | 2018-05-29 | 一种水面和水坑检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805882A true CN108805882A (zh) | 2018-11-13 |
CN108805882B CN108805882B (zh) | 2021-09-03 |
Family
ID=64089206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810534064.8A Active CN108805882B (zh) | 2018-05-29 | 2018-05-29 | 一种水面和水坑检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805882B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110874598A (zh) * | 2019-11-05 | 2020-03-10 | 西南交通大学 | 一种基于深度学习的高速公路水痕检测方法 |
CN112417976A (zh) * | 2020-10-26 | 2021-02-26 | 深圳大学 | 一种路面检测识别方法、装置、智能终端及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
CN106265004A (zh) * | 2016-10-08 | 2017-01-04 | 西安电子科技大学 | 多传感器智能盲人指路方法与装置 |
CN106570516A (zh) * | 2016-09-06 | 2017-04-19 | 国网重庆市电力公司电力科学研究院 | 一种利用卷积神经网络cnn的障碍物识别方法 |
CN106778548A (zh) * | 2016-11-30 | 2017-05-31 | 百度在线网络技术(北京)有限公司 | 用于检测障碍物的方法和装置 |
-
2018
- 2018-05-29 CN CN201810534064.8A patent/CN108805882B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
CN106570516A (zh) * | 2016-09-06 | 2017-04-19 | 国网重庆市电力公司电力科学研究院 | 一种利用卷积神经网络cnn的障碍物识别方法 |
CN106265004A (zh) * | 2016-10-08 | 2017-01-04 | 西安电子科技大学 | 多传感器智能盲人指路方法与装置 |
CN106778548A (zh) * | 2016-11-30 | 2017-05-31 | 百度在线网络技术(北京)有限公司 | 用于检测障碍物的方法和装置 |
Non-Patent Citations (2)
Title |
---|
EVAN SHELHAMER: ""full convolutional networks for semantic segmentation"", 《IEEE TRANSACTIONS PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
郑云飞: ""深度卷积神经网络在图像分割中的应用"", 《军事通信技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110874598A (zh) * | 2019-11-05 | 2020-03-10 | 西南交通大学 | 一种基于深度学习的高速公路水痕检测方法 |
CN110874598B (zh) * | 2019-11-05 | 2022-09-27 | 西南交通大学 | 一种基于深度学习的高速公路水痕检测方法 |
CN112417976A (zh) * | 2020-10-26 | 2021-02-26 | 深圳大学 | 一种路面检测识别方法、装置、智能终端及存储介质 |
CN112417976B (zh) * | 2020-10-26 | 2024-05-21 | 深圳大学 | 一种路面检测识别方法、装置、智能终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108805882B (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Asvadi et al. | DepthCN: Vehicle detection using 3D-LIDAR and ConvNet | |
Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
CN104036479B (zh) | 一种基于非负矩阵分解的多聚焦图像融合方法 | |
Poggio | Vision by man and machine | |
CN107545263B (zh) | 一种物体检测方法及装置 | |
CN112634341A (zh) | 多视觉任务协同的深度估计模型的构建方法 | |
CN105205453A (zh) | 基于深度自编码器的人眼检测和定位方法 | |
Dong et al. | Infrared image colorization using a s-shape network | |
CN108960287A (zh) | 一种实现地形和目标检测的盲人辅助眼镜 | |
CN111985316A (zh) | 一种用于道路智能清扫的路面垃圾感知方法 | |
CN110276795A (zh) | 一种基于分裂迭代算法的光场深度估计方法 | |
CN116229461A (zh) | 一种基于多尺度细化的室内场景图像实时语义分割方法 | |
CN108805882A (zh) | 一种水面和水坑检测方法 | |
US20220147732A1 (en) | Object recognition method and system, and readable storage medium | |
CN112396036A (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 | |
Zhou et al. | Underwater occlusion object recognition with fusion of significant environmental features | |
CN108761843B (zh) | 一种用于水面和水坑检测的盲人辅助眼镜 | |
CN117557980A (zh) | 一种基于卷积注意力和特征解耦的单目三维目标检测方法 | |
CN108805937A (zh) | 一种单相机偏振信息预测方法 | |
Zhou et al. | Single-view view synthesis with self-rectified pseudo-stereo | |
CN113920498B (zh) | 一种基于多层特征金字塔的点云3d物体检测方法 | |
Zhang et al. | Infrastructure 3D Target detection based on multi-mode fusion for intelligent and connected vehicles | |
CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
CN108764146A (zh) | 一种地形和目标检测方法 | |
Yan et al. | Improved Image Fusion Algorithm for Detecting Obstacles in Forests. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |