CN111797836A - 一种基于深度学习的地外天体巡视器障碍物分割方法 - Google Patents
一种基于深度学习的地外天体巡视器障碍物分割方法 Download PDFInfo
- Publication number
- CN111797836A CN111797836A CN202010562735.9A CN202010562735A CN111797836A CN 111797836 A CN111797836 A CN 111797836A CN 202010562735 A CN202010562735 A CN 202010562735A CN 111797836 A CN111797836 A CN 111797836A
- Authority
- CN
- China
- Prior art keywords
- convolutional
- conv2d
- convolutional layer
- cond2d
- extraterrestrial celestial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 241001061260 Emmelichthys struhsakeri Species 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 description 26
- 239000011435 rock Substances 0.000 description 23
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000651994 Curio Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明实施例提供一种基于深度学习的地外天体巡视器障碍物分割方法，该方法包括：利用地外天体巡视器获得的图像集及其对应的人工标注图集形成样本集；将所述样本集中的样本分成训练样本、验证样本和测试样本；基于VGGNet卷积网络和U‑Net网络构建神经网络；将所述训练样本和所述验证样本输入所述神经网络，对神经网络进行训练得到训练模型；利用所述训练模型对所述测试样本进行测试，得到地外天体的障碍物分割结果。该方法将精度高的VGG网络局部迁移到本发明网络，在提高了障碍物分割精度的同时还提高了分割速度，可以满足地外天体巡视器实时性需求。
Description
技术领域
本发明涉及一种基于深度学习的地外天体巡视器障碍物分割方法，适用于在地外天体表面进行探测任务的巡视器的障碍探测识别，也可用于野外机器人障碍探测识别。
背景技术
地外天体巡视器探测已经成为深空探测的重要内容。由于地外天体具有工作环境未知、非结构化、距离远等特点，因此，需要重点解决巡视器自主环境感知、路径规划等一系列问题。而巡视器能否正确判别障碍物是它在地外天体表面顺利行驶的关键，也是科学探测任务的基本保障。
在目前的巡视器障碍物检测中，传统方法主要是通过立体视觉、激光雷达或结构光等技术建立三维地形图，为判断障碍物、巡视器导航提供有力支持。例如，Yu等(Yu，H.，Zhu，J.，Wang，Y.，Obstacle classification and 3D measurement in unstructuredenvironments based on ToF cameras.Sensors，14(6)：10753-10782，2014)在通过ToF深度相机可同时获得2D和3D图像的基础上，提出利用多相关向量机(RVM)分类器对障碍物进行分类，然而ToF相机测量距离短。Kostavelis等(Kostavelis，I.，Nalpantidis，L.，Gasteratos，A.，Collision risk assessment for autonomous robots by offlinetraversability learning，Robotics and Autonomous Systems，60(11)：1367-1376，2012)使用双目视觉方法获取V视差图提取场景特征，将其用于支持向量机的训练，完成障碍物检测，但是，基于双目视觉的三维重构技术，对中远距离地形的三维存在重建精度低的问题。Bellone等(Bellone，M.，Reina，G.，Giannoccaro，N.I.，et al.，Unevenness pointdescriptor for terrain analysis in mobile robot applications，InternationalJournal of Advanced Robotics Systems，10：1-10，2013)提出依据图像传感器获取的精确密集的三维点云使用不均匀点描述了检测环境中的障碍物，本方法利用RGB-D深度相机，同样存在中远距离的地形三维重建精度低的问题。毛晓艳等(一种基于单目相机和主动结构光的障碍探测方法，发明专利，201410829101.X)提出基于主动结构光的巡视器障碍探测方法，在基准相机失效的情况下，利用备份相机仍能实现障碍物的检测，然而本方法需要搭载结构光传感器。
由于地外天体表面的障碍物主要是岩石，即使平坦的区域也有大量的岩石存在，同时岩石具有较高的研究价值，因此，岩石检测不仅能够实现巡视器避障，也能够锁定科学目标。很多学者提出了基于单幅图像的岩石检测算法。例如，基于边缘轮廓的岩石检测算法(Burl，M.C.，Thompson，D.R.，et al.，Rockster：onboard rockd segmentation throughedge regrouping.Journal of Aerospace Information Systems，13：329-342，2016)，该类算法能够检测背景有明显亮度差异的岩石边缘，但是由于沙尘、太阳高照等的影响，行星表面岩石与土壤的对比度较弱，因此，基于边缘的岩石检测算法多数情况下只能检测到岩石的一部分，往往存在大量的漏检和误检，并且岩石检测的精度差。基于阴影的岩石检测方法(Gulick，V.C.，Morris，R.L.，et al.，Autonomous image analysis during the1999Marsokhod rover field test.Journal of Geophysical Research-Planets，106：7745-7763，2001)，利用阴影和太阳角对岩石建模，因此对太阳高度角敏感，岩石的估计精度差。基于区域的岩石检测算法，通过区域分裂与生长，将具有相同或相似特征的像素点合并到一个区域(Dunlop，H.，Thompson，D.R.，Wettergreen，D.，Multi-scale features fordetection and segmentation of rocks in Mars images.IEEE Conference on CVPR，2007)，属于图像分割技术，然而此类算法鲁棒性差，分割精度受限。
随着神经网络的发展和快速应用，研究人员发展了基于机器学习以及深度学习的障碍物检测。Ono等(Ono，M.，Fuchs，T.J.，Steffy，A.，et al.，Risk-aware planetaryrover operation：Autonomous terrain classification and path planning，Proceeding of IEEE Aerospace Conference，1-10，2015)针对好奇心号火星车提出了基于机器学习和视觉特征的分类方法，缺点是需要大量有标签的数据。Hadsell等(Hadsell，R.，Sermanet，P.，Ben，J.，et al.，Learning long-range vision for autonomous off-road driving.Journal of Field Robotics，26(2)：120-144，2009)针对越野路上的移动机器人视觉，提出了卷积自编码器，经过离线训练自适应地提取地形特征，该方法需要收集大量野外场景作为样本并花费较长的训练时间。
本申请发明人在实现本发明的过程中发现，现有技术的上述方案具有上述一系列缺陷1)一方面基于立体视觉三维重建的障碍物检测方法，存在中远距离的地形三维重建精度低的问题；另一方面，针对结构光、激光雷达等的三维重建技术，需要搭载外部设备与装置。2)基于单幅图像的边缘轮廓、阴影以及区域分割等岩石检测方法，往往存在漏检和误检、鲁棒性差、分割精度差等问题。3)目前基于机器学习及深度学习的机器人障碍物检测需要大量的采集数据作为样本，这对深空探测机器人采集大量数据作为样本确实存在困难。
发明内容
本发明实施例的目的在于提供一种基于深度学习的地外天体巡视器障碍物分割方法，用于解决现有技术中存在的漏检和误检、鲁棒性差、分割精度低等的问题。
本发明提供了一种基于深度学习的地外天体巡视器障碍物分割方法，该方法包括：S1，利用地外天体巡视器获得的图像集及其对应的人工标注图集形成样本集；S2，将所述样本集中的样本分成训练样本、验证样本和测试样本；S3，基于VGGNet卷积网络和U-Net网络构建神经网络；S4，将所述训练样本和所述验证样本输入所述神经网络，对神经网络进行训练得到训练模型；S5，利用所述训练模型对所述测试样本进行测试，得到地外天体的障碍物分割结果。
优选的，在所述步骤S1中包括：通过对地外天体巡视器获得的图像集进行人工标注得到人工标注图集。
优选的，在所述步骤S2中包括：按80％、10％和10％的比例，将所述样本集中的样本随机分成训练样本、验证样本和测试样本。
优选的，在所述步骤S3中通过以下步骤构建神经网络：S301，在神经网络的编码器中，利用VGG16网络结构中block1、block2、block3、block4的全部层和block5的卷积层，并且将所有层设置为可训练；S302，在神经网络的解码器中，对所述编码器中每层输出的特征图进行恢复。
优选的，在步骤S301中，通过以下方法构建编码器：block1中包含2个卷积层block1_conv1、block1_conv2、1个池化层block1_pool，每个卷积层通道数为64，卷积核大小为3×3；block2中包含2个卷积层block2_conv1、block2_conv2、1个池化层block2_pool，每个卷积层通道数为128，卷积核大小为3×3；block3中包含3个卷积层block3_conv1、block3_conv2、block3_conv3、1个池化层block3_pool，每个卷积层通道数为256，卷积核大小为3×3；block4中包含3个卷积层block4_conv1、block4_conv2、block4_conv3、1个池化层block4_pool，每个卷积层通道数为512，卷积核大小为3×3；block5中包含3个卷积层block5_conv1、block5_conv2、block5_conv3，每个卷积层通道数为512，卷积核大小为3×3；所有的池化层采用最大池化。
优选的，在步骤S302中，通过以下方法构建解码器：在block5_conv3的后面紧跟着2个卷积层conv2d-1和conv2d-2、1个dropout层dropout-1，每个卷积层通道数为1024，卷积核大小为3×3；dropout-1的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为512、卷积核大小为3×3的卷积层conv2d-3，然后利用Concatenate方式将编码器block4_conv3输出的特征图与conv2d-3输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-4、cond2d-5、cond2d-6，每个卷积层的通道数为512，卷积核大小为3×3；cond2d-6的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为256、卷积核大小为3×3的卷积层conv2d-7，然后利用Concatenate方式将编码器block3_conv3输出的特征图与conv2d-7输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-8、cond2d-9、cond2d-10，每个卷积层的通道数为256，卷积核大小为3×3；cond2d-10的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为128、卷积核大小为3×3的卷积层conv2d-11，然后利用Concatenate方式将编码器block2_conv2输出的特征图与conv2d-11输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-12、cond2d-13、cond2d-14，每个卷积层的通道数为128，卷积核大小为3×3；cond2d-14的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为64、卷积核大小为3×3的卷积层conv2d-15，然后利用Concatenate方式将编码器block1_conv2输出的特征图与conv2d-15输出的特征图进行连接，连接后紧跟着3个卷积层conv2d-16、conv2d-17、conv2d-18，每个卷积层的通道数为64，卷积核大小为3×3；解码器部分最后将conv2d-18输出的特征图接着一个通道数为1、卷积核大小为1×1的卷积层conv2d-19，输出分割后的图像。
优选的，在所述步骤S4中：采用Adam优化算法对神经网络进行训练。
本发明另一方面还提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述基于深度学习的地外天体巡视器障碍物分割方法。
本发明再一方面还提供了一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述基于深度学习的地外天体巡视器障碍物分割方法。
本发明与现有技术相比有益效果为：
(1)本发明将精度高的VGG网络局部迁移到本发明网络，在提高了障碍物分割精度的同时还提高了分割速度，可以满足地外天体巡视器实时性需求。
(2)本发明提出基于U型分割网络，很小的样本即可实现高精度分割，训练速度快、精度高，同时也适应于中远距离的障碍物分割检测，适合地外天体巡视器基于单目相机的障碍物检测与应用。
(3)本发明采用基于深度学习的障碍物分割方法，能够同时将地外天体表面岩石的阴影去除，解决了巡视器自动去除阴影难的问题。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是根据本发明的地外天体巡视器障碍物分割方法的流程图；
图2是根据本发明一个优选实施例的地外天体巡视器障碍物分割网络结构图；
图3是根据一个优选实施例的96幅训练样本；
图4a-图4e是根据一个优选实施例的12个测试样本分别对应的五个指标；
图5a-图51是根据一个优选实施例的地外天体巡视器障碍物分割方法的分割结果。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
本发明提供一种基于深度学习的地外天体巡视器障碍物分割方法，如图1所示，包括：
S1，利用地外天体巡视器获得的图像集及其对应的人工标注图集形成样本集；
S2，将所述样本集中的样本分成训练样本、验证样本和测试样本；
S3，基于VGGNet卷积网络和U-Net网络构建神经网络；
S4，将所述训练样本和所述验证样本输入所述神经网络，对神经网络进行训练得到训练模型；
S5，利用所述训练模型对所述测试样本进行测试，得到地外天体的障碍物分割结果。
在所述步骤S1中，根据一种优选实施例，可以通过对地外天体巡视器获得的图像集进行人工标注得到人工标注图集。例如，可以采用好奇号火星车拍摄的120幅图像，将大小为560×500像素的原始图像重采样为大小为512×512像素的图像，可以利用Labelme(一种图像标注软件)对这120幅重采样后的图像进行人工标注，然后利用所述图像集和对应的人工标注集形成样本集。
在所述步骤S2中，根据一种优选实施例，可以按80％、10％和10％的比例，将所述样本集中的样本随机分成训练样本、验证样本和测试样本。对于本发明实施例，可以得到96个训练样本、12个验证样本和12个测试样本
在所述步骤S3中，U-Net网络是一种全卷积网络，此结构类似于U型，因此称为U-Net(参见：Ronneberger，O.，Fischer，P.，Brox，T.，U-Net：Convolutional networks forbiomedical image segmentation.Pro.of IEEE confer.on CVPR，3431-3440，2015)。与其它的神经网络相比，U-Net神经网络所需训练集少、分割精度高，它在医学图像分割得到了广泛应用。而牛津大学视觉几何团队研究的VGGNet卷积网络，获得了ILSVRC 2014年比赛的亚军和定位项目的冠军，在top5上的错误率为7.5％。VGGNet卷积网络通过反复的堆叠3×3的小型卷积核和2×2的最大池化层，成功的构建了16～19层深的卷积神经网络。
本发明构建的神经网络继承了语义分割网络U-Net的架构，分为编码器和解码器。
根据一种优选实施例，在所述步骤S3中通过以下步骤构建神经网络：
S301，在神经网络的编码器中，利用VGG16网络结构中block1、block2、block3、block4的全部层和block5的卷积层，并且将所有层设置为可训练，即将变量trainable属性设置为true；
S302，在神经网络的解码器中，通过上采样函数对所述编码器中每层输出的特征图进行恢复。
图2是根据本发明一个优选实施例的地外天体巡视器障碍物分割网络结构图。根据图2所示的优选实施例，步骤S301中，可以通过以下方法构建编码器：
block1中包含2个卷积层block1_conv1、block1_conv2、1个池化层block1_pool，每个卷积层通道数为64，卷积核大小为3×3；block2中包含2个卷积层block2_conv1、block2_conv2、1个池化层block2_pool，每个卷积层通道数为128，卷积核大小为3×3；block3中包含3个卷积层block3_conv1、block3_conv2、block3_conv3、1个池化层block3_pool，每个卷积层通道数为256，卷积核大小为3×3；block4中包含3个卷积层block4_conv1、block4_conv2、block4_conv3、1个池化层block4_pool，每个卷积层通道数为512，卷积核大小为3×3；block5中包含3个卷积层block5_conv1、block5_conv2、block5_conv3，每个卷积层通道数为512，卷积核大小为3×3；所有的池化层采用最大池化。
在步骤S302中，可以通过以下方法构建解码器：
在block5_conv3的后面紧跟着2个卷积层conv2d-1和conv2d-2、1个dropout层dropout-1，每个卷积层通道数为1024，卷积核大小为3×3；
dropout-1的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为512、卷积核大小为3×3的卷积层conv2d-3，然后利用Concatenate方式将编码器block4_conv3输出的特征图与conv2d-3输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-4、cond2d-5、cond2d-6，每个卷积层的通道数为512，卷积核大小为3×3；
cond2d-6的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为256、卷积核大小为3×3的卷积层conv2d-7，然后利用Concatenate方式将编码器block3_conv3输出的特征图与conv2d-7输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-8、cond2d-9、cond2d-10，每个卷积层的通道数为256，卷积核大小为3×3；
cond2d-10的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为128、卷积核大小为3×3的卷积层conv2d-11，然后利用Concatenate方式将编码器block2_conv2输出的特征图与conv2d-11输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-12、cond2d-13、cond2d-14，每个卷积层的通道数为128，卷积核大小为3×3；
cond2d-14的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为64、卷积核大小为3×3的卷积层conv2d-15，然后利用Concatenate(串联)方式将编码器block1_conv2输出的特征图与conv2d-15输出的特征图进行连接，连接后紧跟着3个卷积层conv2d-16、conv2d-17、conv2d-18，每个卷积层的通道数为64，卷积核大小为3×3；解码器部分最后将conv2d-18输出的特征图接着一个通道数为1、卷积核大小为1×1的卷积层conv2d-19，输出分割后的图像。
根据图2所示的优选实施例，将火星车获得的图像重采样为512×512像素大小，输入本发明的U型神经网络，经过编码器和解码器，可以输出分割后的火星图像，其中白色区域为检测到的岩石。
在所述步骤S4中，为了得到损失函数最小的训练模型，可以利用所述训练样本和所述验证样本对神经网络进行训练。优选的，为了计算高效、方便实现，本发明采用Adam优化算法对神经网络进行训练。根据一个优选实施例，可以将训练迭代次数设置为500，迭代精度设置为0.0001，损失函数采用二分类的交叉熵binary_cross_entropy，从而可以将输入图像分为岩石和非岩石两类输。
下面详细描述本发明的一个优选实施例的实现过程和效果。
本实施例中，采用好奇号火星车拍摄的120幅火星表面图像作为样本。
(1)将大小为560×500像素的原始图像重采样为大小为512×512像素的图像，利用Labelme图像标注软件对这120幅重采样后的图像进行人工标注，然后利用所述图像集和对应的人工标注集形成样本集。
(2)本实施例按80％、10％和10％的比例将样本集随机分成训练样本、验证样本和测试样本，得到96个训练样本、12个验证样本和12个测试样本。如图3所示是本实施例从120个样本中随机选取的96个训练样本集。
(3)根据本发明提出的神经网络模型构建神经网络。
(4)将96个训练样本和12个验证样本输入构建的神经网络，对神经网络进行训练，得到损失函数最小的训练模型。本发明实施例的训练迭代次数设置为500，迭代精度设置为0.0001。
(5)将12个测试样本输入到训练好的分割网络中，利用训练得到的训练模型对12个测试样本进行测试，得到地外天体的障碍物分割结果。
为了更好地验证本发明方法，本实施例中，我们将本发明方法与U-Net方法以及Att-Unet方法【参见Ozan Oktay，Jo Schlemper，Loic Le Folgoc，et.al.Attentation U-Net：Learning where to look for the pancreas.2018CVPR.】进行了比较，主要测试指标包括像素准确率PA(Pixel Accuracy)、类别平均像素准确率MPA(Mean Pixel Accuracy)、交并比IoU(Intersection over Union)、平均交并比MIoU(Mean Intersection overUnion)、频权交并比FWloU(Frequency Weighted Intersection over Union)等。
三种方法分别对96个训练样本进行训练(训练次数均为500)得到训练模型，训练过程中同时利用12个验证样本进行验证，然后利用得到的训练模型对12个测试样本进行测试。下表给出了三种方法对12个测试样本的平均指标，图4a-图4e给出了测试样本中的12幅图像对应的五个指标值。
从本发明实施例的五个指标对比可以看出，本发明方法的分割精度要优于U-Net和Att-UNet神经网络的分割精度。如图5a-图51给出了本发明实施例的12幅测试图像的岩石分割结果，每一行从左到右依次表示测试样本、对应的标注图、本发明方法的分割结果、U-Net的分割结果以及Attention U-Net的分割结果。经过本发明得到的训练模型测试之后，图中的阴影明显去除。
本发明与现有技术相比有益效果为：
(1)本发明将精度高的VGG网络局部迁移到本发明网络，在提高了障碍物分割精度的同时还提高了分割速度，可以满足地外天体巡视器实时性需求。
(2)本发明提出基于U型分割网络，很小的样本即可实现高精度分割，训练速度快、精度高，同时也适应于中远距离的障碍物分割检测，适合地外天体巡视器基于单目相机的障碍物检测与应用。
(3)本发明采用基于深度学习的障碍物分割方法，能够同时将地外天体表面岩石的阴影去除，解决了巡视器自动去除阴影难的问题。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述基于深度学习的地外天体巡视器障碍物分割方法。
本发明实施例还提供了一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行上述基于深度学习的地外天体巡视器障碍物分割方法。
本申请是参照根据本申请实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种基于深度学习的地外天体巡视器障碍物分割方法，该方法包括：
S1，利用地外天体巡视器获得的图像集及其对应的人工标注图集形成样本集；
S2，将所述样本集中的样本分成训练样本、验证样本和测试样本；
S3，基于VGGNet卷积网络和U-Net网络构建神经网络；
S4，将所述训练样本和所述验证样本输入所述神经网络，对神经网络进行训练得到训练模型；
S5，利用所述训练模型对所述测试样本进行测试，得到地外天体的障碍物分割结果。
2.根据权利要求1所述的基于深度学习的地外天体巡视器障碍物分割方法，其中，在所述步骤S1中包括：
通过对地外天体巡视器获得的图像集进行人工标注得到人工标注图集。
3.根据权利要求1所述的基于深度学习的地外天体巡视器障碍物分割方法，其中，在所述步骤S2中包括：
按80％、10％和10％的比例，将所述样本集中的样本随机分成训练样本、验证样本和测试样本。
4.根据权利要求1所述的基于深度学习的地外天体巡视器障碍物分割方法，其中，在所述步骤S3中通过以下步骤构建神经网络：
S301，在神经网络的编码器中，利用VGG16网络结构中block1、block2、block3、block4的全部层和block5的卷积层，并且将所有层设置为可训练；
S302，在神经网络的解码器中，对所述编码器中每层输出的特征图进行恢复。
5.根据权利要求4所述的基于深度学习的地外天体巡视器障碍物分割方法，其中，在步骤S301中，通过以下方法构建编码器：
block1中包含2个卷积层block1_conv1、block1_conv2、1个池化层block1_pool，每个卷积层通道数为64，卷积核大小为3×3；block2中包含2个卷积层block2_conv1、block2_conv2、1个池化层block2_pool，每个卷积层通道数为128，卷积核大小为3×3；block3中包含3个卷积层block3_conv1、block3_conv2、block3_conv3、1个池化层block3_pool，每个卷积层通道数为256，卷积核大小为3×3；block4中包含3个卷积层block4_conv1、block4_conv2、block4_conv3、1个池化层block4_pool，每个卷积层通道数为512，卷积核大小为3×3；block5中包含3个卷积层block5_conv1、block5_conv2、block5_conv3，每个卷积层通道数为512，卷积核大小为3×3；所有的池化层采用最大池化。
6.根据权利要求5所述的基于深度学习的地外天体巡视器障碍物分割方法，其中，在步骤S302中，通过以下方法构建解码器：
在block5_conv3的后面紧跟着2个卷积层conv2d-1和conv2d-2、1个dropout层dropout-1，每个卷积层通道数为1024，卷积核大小为3×3；
dropout-1的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为512、卷积核大小为3×3的卷积层conv2d-3，然后利用Concatenate方式将编码器block4_conv3输出的特征图与conv2d-3输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-4、cond2d-5、cond2d-6，每个卷积层的通道数为512，卷积核大小为3×3；
cond2d-6的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为256、卷积核大小为3×3的卷积层conv2d-7，然后利用Concatenate方式将编码器block3_conv3输出的特征图与conv2d-7输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-8、cond2d-9、cond2d-10，每个卷积层的通道数为256，卷积核大小为3×3；
cond2d-10的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为128、卷积核大小为3×3的卷积层conv2d-11，然后利用Concatenate方式将编码器block2_conv2输出的特征图与conv2d-11输出的特征图进行连接，连接后紧跟着3个卷积层cond2d-12、cond2d-13、cond2d-14，每个卷积层的通道数为128，卷积核大小为3×3；
cond2d-14的输出经过上采样函数UpSampling2D放大1倍之后，接着1个通道数为64、卷积核大小为3×3的卷积层conv2d-15，然后利用Concatenate方式将编码器block1_conv2输出的特征图与conv2d-15输出的特征图进行连接，连接后紧跟着3个卷积层conv2d-16、conv2d-17、conv2d-18，每个卷积层的通道数为64，卷积核大小为3×3；解码器部分最后将conv2d-18输出的特征图接着一个通道数为1、卷积核大小为1×1的卷积层conv2d-19，输出分割后的图像。
7.根据权利要求1所述的基于深度学习的地外天体巡视器障碍物分割方法，其中，在所述步骤S4中：
采用Adam优化算法对神经网络进行训练。
8.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-7中任一项所述的基于深度学习的地外天体巡视器障碍物分割方法。
9.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行：如权利要求1-7中任一项所述的基于深度学习的地外天体巡视器障碍物分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010562735.9A CN111797836B (zh) | 2020-06-18 | 2020-06-18 | 一种基于深度学习的地外天体巡视器障碍物分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010562735.9A CN111797836B (zh) | 2020-06-18 | 2020-06-18 | 一种基于深度学习的地外天体巡视器障碍物分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111797836A true CN111797836A (zh) | 2020-10-20 |
| CN111797836B CN111797836B (zh) | 2024-04-26 |
Family
ID=72803580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010562735.9A Active CN111797836B (zh) | 2020-06-18 | 2020-06-18 | 一种基于深度学习的地外天体巡视器障碍物分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797836B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
| CN113128347A (zh) * | 2021-03-24 | 2021-07-16 | 北京中科慧眼科技有限公司 | 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 |
| CN113378390A (zh) * | 2021-06-15 | 2021-09-10 | 浙江大学 | 一种基于深度学习的地外星表通行性分析方法及系统 |
| CN113747058A (zh) * | 2021-07-27 | 2021-12-03 | 荣耀终端有限公司 | 基于多摄像头的图像内容屏蔽方法和装置 |
| CN114155372A (zh) * | 2021-12-03 | 2022-03-08 | 长春工业大学 | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110570432A (zh) * | 2019-08-23 | 2019-12-13 | 北京工业大学 | 一种基于深度学习的ct图像肝脏肿瘤分割方法 |
| CN110675411A (zh) * | 2019-09-26 | 2020-01-10 | 重庆大学 | 基于深度学习的宫颈鳞状上皮内病变识别算法 |
| CN111028217A (zh) * | 2019-12-10 | 2020-04-17 | 南京航空航天大学 | 一种基于全卷积神经网络的图像裂缝分割方法 |
-
2020
- 2020-06-18 CN CN202010562735.9A patent/CN111797836B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110570432A (zh) * | 2019-08-23 | 2019-12-13 | 北京工业大学 | 一种基于深度学习的ct图像肝脏肿瘤分割方法 |
| CN110675411A (zh) * | 2019-09-26 | 2020-01-10 | 重庆大学 | 基于深度学习的宫颈鳞状上皮内病变识别算法 |
| CN111028217A (zh) * | 2019-12-10 | 2020-04-17 | 南京航空航天大学 | 一种基于全卷积神经网络的图像裂缝分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| JONATHAN LONG等: "Fully convolutional networks for semantic segmentation", 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), pages 3431 - 3440 * |
| 许玥等: "基于深度学习模型的遥感图像分割方法", 计算机应用, pages 2905 - 2914 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
| CN113128347A (zh) * | 2021-03-24 | 2021-07-16 | 北京中科慧眼科技有限公司 | 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 |
| CN113128347B (zh) * | 2021-03-24 | 2024-01-16 | 北京中科慧眼科技有限公司 | 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端 |
| CN113378390A (zh) * | 2021-06-15 | 2021-09-10 | 浙江大学 | 一种基于深度学习的地外星表通行性分析方法及系统 |
| CN113378390B (zh) * | 2021-06-15 | 2022-06-24 | 浙江大学 | 一种基于深度学习的地外星表通行性分析方法及系统 |
| CN113747058A (zh) * | 2021-07-27 | 2021-12-03 | 荣耀终端有限公司 | 基于多摄像头的图像内容屏蔽方法和装置 |
| CN113747058B (zh) * | 2021-07-27 | 2023-06-23 | 荣耀终端有限公司 | 基于多摄像头的图像内容屏蔽方法和装置 |
| CN114155372A (zh) * | 2021-12-03 | 2022-03-08 | 长春工业大学 | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111797836B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zermas et al. | Fast segmentation of 3d point clouds: A paradigm on lidar data for autonomous vehicle applications | |
| Alcantarilla et al. | Street-view change detection with deconvolutional networks | |
| CN111797836B (zh) | 一种基于深度学习的地外天体巡视器障碍物分割方法 | |
| Zhao et al. | Lidar mapping optimization based on lightweight semantic segmentation | |
| Broggi et al. | Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision | |
| Zhou et al. | S4-SLAM: A real-time 3D LIDAR SLAM system for ground/watersurface multi-scene outdoor applications | |
| Zhang et al. | Visual SLAM for underwater vehicles: A survey | |
| Ding et al. | Vehicle pose and shape estimation through multiple monocular vision | |
| CN111311663B (zh) | 一种实时大场景三维语义建模的方法 | |
| Zhang et al. | Three-dimensional cooperative mapping for connected and automated vehicles | |
| Liu et al. | 3D Point cloud analysis | |
| Ku et al. | SHREC 2020: 3D point cloud semantic segmentation for street scenes | |
| Lowphansirikul et al. | 3D Semantic segmentation of large-scale point-clouds in urban areas using deep learning | |
| Arora et al. | Static map generation from 3D LiDAR point clouds exploiting ground segmentation | |
| Kampker et al. | Concept study for vehicle self-localization using neural networks for detection of pole-like landmarks | |
| JP2022080303A (ja) | オプティカルフローを用いたライダー位置推定 | |
| CN112907625B (zh) | 应用于四足仿生机器人的目标跟随方法及系统 | |
| Pan et al. | PIN-SLAM: LiDAR SLAM Using a Point-Based Implicit Neural Representation for Achieving Global Map Consistency | |
| Fehr et al. | Reshaping our model of the world over time | |
| CN114913519B (zh) | 一种3d目标检测方法、装置、电子设备及存储介质 | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
| Guo et al. | A feasible region detection method for vehicles in unstructured environments based on PSMNet and improved RANSAC | |
| Diaz et al. | Real-time ground filtering algorithm of cloud points acquired using Terrestrial Laser Scanner (TLS) | |
| Dong et al. | Monocular visual-IMU odometry using multi-channel image patch exemplars | |
| Kim et al. | LiDAR Based 3D object detection using CCD information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |