CN108921852B - 基于视差与平面拟合的双分支室外非结构化地形分割网络 - Google Patents
基于视差与平面拟合的双分支室外非结构化地形分割网络 Download PDFInfo
- Publication number
- CN108921852B CN108921852B CN201810577133.3A CN201810577133A CN108921852B CN 108921852 B CN108921852 B CN 108921852B CN 201810577133 A CN201810577133 A CN 201810577133A CN 108921852 B CN108921852 B CN 108921852B
- Authority
- CN
- China
- Prior art keywords
- map
- segmentation
- input
- parallax
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 38
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉技术领域，提供了一种基于视差与平面拟合的双分支室外非结构化地形分割网络。该方法首先进行地面拟合以及地面偏差的计算，并选择具有几何特性的视差图和地平面偏差图代替彩色图像作为网络输入。该方法设计的网络体系结构由两个子网络组成：地形分割主网络及稳定性和适应性增强模块，两个模块相辅相成，显示了良好的地形分割效果，具有很好的鲁棒性和环境适应性。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种以视差图与拟合的地平面偏差图为输入的面向非结构化室外环境地形分割的双分支深度网络。
背景技术
目前，非结构化室外环境下的自主机器人导航仍然是一个开放且具有挑战性的问题。地形分割是机器人导航的核心任务之一，是机器人识别可穿越区域和避免障碍物的关键。与城市道路不同，非结构化室外环境下的地形复杂，具有多种地形类型和障碍物的组合特征。在图1(a)中，光照条件产生阴影和过饱和的现象，此外，障碍物(树木、干草)与带落叶的污垢路面有很高的视觉相似性，这给地形分割带来了很大的挑战。
在人类生物视觉系统中，立体视差在场景感知中起着重要的作用，它可以被机器视觉系统用于自主机器人导航，因此许多道路分割算法是基于立体视差信息的。Zhu等人(“Stereo vision based traversable region detection for mobile robots usinguv-disparity,”in Control Conference(CCC),2013 32nd Chinese.IEEE,2013,pp.5785–5790.)提出了一种室内和城市道路的可穿越区域检测算法，该算法引入了u-v视差，(u，v)表示图像中的像素坐标，但是在特征提取和立体匹配过程中的不准确估计往往会得到带有空洞和噪声视差图(见图1(b))影响算法性能。因此，在应用视差图时，必须考虑全局信息和局部信息来平滑空洞和削弱噪声。
随着深度学习技术的飞速发展，全卷积网络(“Fully convolutional networksfor semantic segmentation,”in Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2015,pp.3431–3440.)推动了语义分割的发展。许多优秀的研究基于全卷积网络，并进一步的改进网络结构，从而提高了公开的标准数据集的准确性，如Cityscapes和KITTI Road。他们在常见且规整的城市道路或高速公路上表现优异，但是在非结构化的自然场景中，由于光照、天气、路况等变化，会导致模型失效。这是因为在特定数据集上训练的网络不够灵活，无法适应变化的以及未曾出现过的路况。Shashank等人(“Deep CNN with color lines model for unmarked road segmentation,”in IEEEInternational Conference on Image Processing(ICIP 2017),Beijing,2017.)通过条件随机场将深度卷积神经网络与色线模型先验进行结合以适应不同的光照条件，但是当道路的颜色接近周围的环境时，它就失效了。在机器人导航的实际应用中，场景会随着时间而变化，为此，有必要研究一种自适应的且鲁棒的地形分割算法。
Procopio等人(“Learning terrain segmentation with classifier ensemblesfor autonomous robot navigation in unstructured environments,”Journal ofField Robotics,vol.26,no.2,pp.145–175,2009.)通过地面拟合获得图像标签，通过计算预测的地面视差与观察到的视差之间的差异，阈值直接用于确定图像中的像素是否属于地面。在图1(c)中可见，地平面偏差图存在一定的噪声和不连续性，因此直接阈值分割的结果不能完全适用。
本发明受到以上算法的启发，针对项目需求，提出一种以视差图与拟合的地平面偏差图为输入的面向非结构化室外环境地形分割的双分支深度网络。
发明内容
本发明的目的是解决非结构化室外环境地形分割在光照、天气、路况等变化情况下的不足之处。在以视差图与拟合的地平面偏差图为输入的面向非结构化室外环境地形分割的双分支深度网络中，处理目标是视差图像，处理目的是分割出可穿越区域和障碍物区域。
本发明的技术方案：
一种基于视差与平面拟合的双分支室外非结构化地形分割网络，步骤如下：
(1)进行非结构化室外环境下的地面拟合以及地面偏差的计算
通过立体摄像机采集数据，标定的立体摄像机系统具有基线长度L和焦距f，建立立体摄像机坐标系，其X,Y,Z轴分别与图像轴x,y，摄像机光轴对齐；
则图像深度Zdepth与视差δ的关系表示为：
任意平面P在立体摄像机坐标系中表示为：
AX+BY+CZ+D＝0
其中，A,B,C,D表示平面参数；
根据立体视觉中的透视投影原理以及相似变换原理，计算出双目立体摄像机坐标系下的平面在视差空间中的初始估计：
δ＝αu+βv+γ
其中，u,v是像素坐标，α，β，γ是平面参数；
根据上述原理，对输入的一张非结构化室外环境的视差图像，通过像素坐标u,v和视差值δo进行拟合，得到平面参数α，β，γ；
计算出立体摄像机坐标系下的地面在视差空间中的估计：
δp＝αu+βv+γ
然后通过拟合得到的平面参数α，β，γ计算预测的地面视差δp与输入的非结构化室外环境的视差δo的差异，逐像素对应作差得地平面偏差图Idev：
Idev＝δo-δp
进一步地，选择初始输入的视差图和通过上述过程拟合做差得到的地平面偏差图代替彩色图像作为网络输入，将其平面几何特性应用于网络；
因为在本发明中通过对室外环境的自然数据进行直方图统计分析和比较，可以注意到，对于彩色图像，当场景保持不变时，它们在纹理和颜色上有一些相似之处，但当场景发生变化时，它们将有显著的不同。然而，在变化的条件下，视差图和地平面偏差图的分布更加稳定和相似，且具有平面几何特性。
(2)针对视差图与拟合的地平面偏差图为输入，设计双分支深度网络模型自适应的提取特征，考虑全局信息和局部信息来平滑空洞和削弱噪声，进行地形分割，具体的设计方法如下：
深度网络模型由两个模块组成：分割模块和增强模块；如图2所示，这两个模块相辅相成，显示了良好的地形分割效果。
分割模块：以初始输入的视差图作为输入，基于Deeplab模型(“Deeplab:Semanticimage segmentation with deep convolutional nets,atrous convolution,and fullyconnected crfs,”IEEE Transactions on Pattern Analysis and MachineIntelligence,2017.)，16层结构，每次池化操作之前，采用1*1卷积核进行降维，步长为1，填充为0；
增强模块：以拟合做差得到的地平面偏差图作为输入；以1、1/2、1/4、1/8的尺度层、3*3的卷积核提取特征，来自适应地生成参考特征图，该特征参考图为网络的中间结果，然后将该参考特征图连接到分割模块的对应的1、1/2、1/4、1/8的尺度层，参考特征图的维度为对应分割模块的1/2；
输入层：以初始输入的视差图像和拟合做差得到的地面偏差图像作为输入，图像大小为640*480；
卷积层：3*3的卷积核提取特征，步长为1，填充为1；
1*1卷积核进行降维，步长为1，填充为0；
池化层：采用最大池化的方式，3*3的卷积核，步长为2；
扩张卷积层：
其中，u,v表示像素坐标，F表示卷积特征，W表示滤波器权重，r表示采样率，H是输出特征，i,j为循环变量；
融合层：将增强模块生成的参考特征图映射连接到分割模块的相应层；
将经过四种不同采样率的扩张卷积操作后产生的特征图连接起来；
损失层：最小化softmax损失函数；
基于公共平台Caffe进行深度网络模型训练；
学习率lr采用了“poly”学习率策略：
lr＝lrbase(1-iter/max_iter)power
其中，lr表示当前学习率，iter表示当前迭代次数，基本学习率lrbase设置为0.001，指数power设置为0.9，最大迭代次数max_iter设置为10000；
最后，应用训练好的模型对新的数据进行预测，产生地形分割结果。
本发明的有益效果是：模型采用了带多采样率滤波器的卷积特征层，有效地考虑了局部和全局上下文信息，平滑了视差映射中的空洞信息；利用了由视差图计算出的地平面偏差图的平面几何特性，提高了算法的适应性，在定性和定量两方面均具有较好的地形分割性能。
附图说明
图1是非结构化场景示意图，(a)是非结构化场景地形实拍图；(b)是对应的视差图；(c)是计算得到的地平面偏差图。
图2是本发明的设计原理图，本发明基于视差图，通过平面拟合与偏差计算，得到地平面偏差图，作为双分支网络的输入，通过分割模块和增强模块的处理，得到输出结果。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明基于Matlab进行地面拟合以及地面偏差的计算,然后基于Caffe框架搭建网络模型。
Step 1:数据准备，如图1(b)所示的视差图和对应的可行区域与障碍区域标注。
Step 2：输入的一张视差图像，根据已知的像素坐标x,y和视差值δ进行地平面拟合δ＝αx+βy+γ，得到平面参数α，β，γ。
Step 3:估计出上述参数α，β，γ后，用该参数进一步地计算出相机坐标系下的地平面在视差空间中的估计：
δp＝αx+βy+γ
其中，x,y是图像坐标系中的像素坐标，α，β，γ是第二步估计的平面参数。
Step 4:通过计算预测的地面视差δp与初始的输入视差δo的差值，得到地面偏差图Idev：
Idev＝δo-δp
Step 5:搭建深度网络结构，层次结构如图2所示。分割模块基于deeplab模型16层的结构，每次池化操作之前，采用1*1卷积核进行降维到原本维度的1/2(步长为1，填充为0)，增强模块自适应的生成参考特征图并与对应尺度的分割层连接。
输入层：以视差图像和地面偏差图像作为输入，图像大小为640*480。
卷积层：3*3的卷积核提取特征，步长为1，填充为1。
1*1卷积核进行降维，步长为1，填充为0。
池化层：采用最大池化的方式，3*3的卷积核，步长为2。
扩张卷积层：
其中，x,y表示像素坐标，F表示卷积特征，W表示滤波器权重，r表示采样率，H是输出特征。本设计中应用四种不同采样率(2,4,6,8)的扩张卷积。
融合层：将增强模块生成的参考特征映射连接到分割模块的相应层。将经过四种不同采样率(2,4,6,8)的扩张卷积操作后产生的特征图连接起来。
损失层：最小化softmax损失函数。
Step 6：基于公共平台Caffe进行网络训练。
学习率lr采用了“poly”学习率策略：
lr＝lrbase(1-iter/max_iter)power
其中，lr表示当前学习率，iter表示当前迭代次数，基本学习率lrbase设置为0.001，指数power设置为0.9，最大迭代次数max_iter设置为10000。
Step 7:应用训练好的模型进行前向传播产生地形分割结果。
Claims (1)
1.一种基于视差与平面拟合的双分支室外非结构化地形分割网络的构建方法，其特征在于，以视差图与基于视差图拟合做差得到的地平面偏差图为输入，通过包含分割模块和增强模块的双分支深度网络模型对室外非结构化地形进行预测，产生地形分割结果；以视差图与地平面偏差图作为网络输入，网络结构采用双分支双输入结构：以带有噪声的视差图作为分割模块的输入，通过卷积池化操作平滑视差图中的空洞和噪声信息；以基于视差图拟合做差得到的地平面偏差图作为增强模块的输入，引入平面几何特征并自适应地生成参考特征图，提升分割准确率；双分支深度网络模型的输入均未使用对场景变化敏感的RGB彩色图像；
所述的包含分割模块和增强模块的双分支深度网络模型，基于deeplab模型16层的结构，分割模块每次池化操作之前，采用1*1卷积核进行降维到原本维度的1/2；增强模块引入地平面的平面几何特征，针对1、1/2、1/4、1/8的不同尺度层，自适应地生成参考特征图，该参考特征图为网络的中间结果，连接到分割模块的对应的1、1/2、1/4、1/8的尺度层，参考特征图的维度为对应分割模块的1/2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810577133.3A CN108921852B (zh) | 2018-06-01 | 2018-06-01 | 基于视差与平面拟合的双分支室外非结构化地形分割网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810577133.3A CN108921852B (zh) | 2018-06-01 | 2018-06-01 | 基于视差与平面拟合的双分支室外非结构化地形分割网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108921852A CN108921852A (zh) | 2018-11-30 |
| CN108921852B true CN108921852B (zh) | 2021-05-07 |
Family
ID=64418922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810577133.3A Active CN108921852B (zh) | 2018-06-01 | 2018-06-01 | 基于视差与平面拟合的双分支室外非结构化地形分割网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108921852B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211111A (zh) * | 2019-05-31 | 2019-09-06 | 上海联影医疗科技有限公司 | 一种血管提取的方法、装置、图像处理设备及存储介质 |
| CN112560932A (zh) * | 2020-12-10 | 2021-03-26 | 山东建筑大学 | 一种基于双分支网络特征融合的车辆重识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200243B2 (en) * | 2002-06-28 | 2007-04-03 | The United States Of America As Represented By The Secretary Of The Army | Spectral mixture process conditioned by spatially-smooth partitioning |
| CN101701818A (zh) * | 2009-11-05 | 2010-05-05 | 上海交通大学 | 远距离障碍的检测方法 |
| CN104408741A (zh) * | 2014-10-27 | 2015-03-11 | 大连理工大学 | 一种时序一致性约束的视频全局运动估计方法 |
| CN104700105A (zh) * | 2015-03-11 | 2015-06-10 | 宁波工程学院 | 非结构化室外地形全局检测方法 |
| CN107341454A (zh) * | 2017-06-21 | 2017-11-10 | 海信集团有限公司 | 一种场景中障碍物的检测方法及装置、电子设备 |
| CN107480726A (zh) * | 2017-08-25 | 2017-12-15 | 电子科技大学 | 一种基于全卷积和长短期记忆单元的场景语义分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101813475B (zh) * | 2010-04-24 | 2011-06-01 | 上海交通大学 | 远距离障碍的自适应检测方法 |
| CN103971356B (zh) * | 2013-02-04 | 2017-09-08 | 腾讯科技（深圳）有限公司 | 基于视差信息的街景图像目标分割方法及装置 |
-
2018
- 2018-06-01 CN CN201810577133.3A patent/CN108921852B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200243B2 (en) * | 2002-06-28 | 2007-04-03 | The United States Of America As Represented By The Secretary Of The Army | Spectral mixture process conditioned by spatially-smooth partitioning |
| CN101701818A (zh) * | 2009-11-05 | 2010-05-05 | 上海交通大学 | 远距离障碍的检测方法 |
| CN104408741A (zh) * | 2014-10-27 | 2015-03-11 | 大连理工大学 | 一种时序一致性约束的视频全局运动估计方法 |
| CN104700105A (zh) * | 2015-03-11 | 2015-06-10 | 宁波工程学院 | 非结构化室外地形全局检测方法 |
| CN107341454A (zh) * | 2017-06-21 | 2017-11-10 | 海信集团有限公司 | 一种场景中障碍物的检测方法及装置、电子设备 |
| CN107480726A (zh) * | 2017-08-25 | 2017-12-15 | 电子科技大学 | 一种基于全卷积和长短期记忆单元的场景语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| Learning terrain segmentation with classifier ensembles for 0autonomous robot navigation in unstructured environments;Michael J. Procopio et.al;《Journal of Field Robotics》;Wiley Subscription Services, Inc., A Wiley Company;20090116;第26卷(第2期);第145–175页 * |
| Long-range terrain perception using convolutional neural networks;Wei Zhang et.al;《Neurocomputing》;20180131;第781-787页 * |
| 基于视觉的自主车道路环境理解技术研究;杜明芳;《中国博士学位论文全文数据库 信息科技辑》;20160415;第I138-43页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108921852A (zh) | 2018-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109559320B (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
| CN112132893B (zh) | 一种适用于室内动态环境的视觉slam方法 | |
| CN108648161B (zh) | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 | |
| CN111968217B (zh) | 基于图片的smpl参数预测以及人体模型生成方法 | |
| CN111462210B (zh) | 一种基于极线约束的单目线特征地图构建方法 | |
| CN110706269B (zh) | 一种基于双目视觉slam的动态场景密集建模方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
| CN110827295A (zh) | 基于体素模型与颜色信息耦合的三维语义分割方法 | |
| CN110232418B (zh) | 一种语义识别方法、终端及计算机可读存储介质 | |
| CN112767478B (zh) | 一种基于表观指导的六自由度位姿估计方法 | |
| CN113239749B (zh) | 一种基于多模态联合学习的跨域点云语义分割方法 | |
| CN111753739A (zh) | 物体检测方法、装置、设备以及存储介质 | |
| Yang et al. | [Retracted] A Method of Image Semantic Segmentation Based on PSPNet | |
| CN108921852B (zh) | 基于视差与平面拟合的双分支室外非结构化地形分割网络 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN107871315B (zh) | 一种视频图像运动检测方法和装置 | |
| Zhang et al. | Local stereo matching: An adaptive weighted guided image filtering-based approach | |
| Chen et al. | Improving registration of augmented reality by incorporating DCNNS into visual SLAM | |
| CN112115786A (zh) | 基于注意力U-net的单目视觉里程计方法 | |
| Han et al. | Fully convolutional neural networks for road detection with multiple cues integration | |
| CN116977683A (zh) | 对象识别方法、装置、计算机设备、存储介质和程序产品 | |
| CN113487713B (zh) | 一种点云特征提取方法、装置及电子设备 | |
| CN112200850B (zh) | 一种基于成熟特征点的orb提取方法 | |
| CN113239771A (zh) | 一种姿态估计方法、系统及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |