CN108921119B - 一种障碍物实时检测和分类方法 - Google Patents

Abstract

本发明提出了一种障碍物实时检测和分类方法，属于机器人智能导航领域。本发明提出的一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别，而且训练的效率大大缩小。大大提高标定的效率、训练的效率以及障碍物检测和识别的准确率，在技术上具有一定的超前性。

Description

一种障碍物实时检测和分类方法

技术领域

本发明属于机器人智能导航领域，特别涉及一种障碍物实时检测和分类方法。

背景技术

近年来，随着计算机硬件以及图像处理技术的快速发展，图像分割的技术也在突飞猛进的发展。前些年，基于传统的图像分割有基于阈值的分割、区域生长、区域分裂合并、分水岭算法、边缘分割(边缘检测)、直方图法、聚类分析、小波变换等。在2012年，Alex等赢得ImageNet挑战赛堪称是CNN发展史上的里程碑，自那之后，CNN就成了图像分类的黄金标准，并且性能不断提升。到如今，基于CNN的物体检测和分割的GAN、cGAN、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN等技术，将图像分割达到像素级别分割技术，并且逐步由理论研究到实时的应用，物体识别率也不断的增高，成为无人驾驶领域和安防领域最重要的一个环节之一。物体的检测和识别技术涉及到图像处理、图像分析、模式识别、深度学习等众多领域，既是一个跨学科的综合问题，也是一个极具挑战的前沿课题。在物体检测和识别技术发展过程中，虽然浮现出相应的问题和挑战，但是也创造出相应的发展和机遇。

另外，基于物体检测和识别技术具有重要的研究的意义。首先，基于物体的检测和识别的人脸识别技术已得到广泛的应用，比如车站的身份证确认以及嫌疑人的追踪识别。其次，由基于深度学习的物体检测和识别技术可以在无人驾驶领域得到全面的应用，这可以大大提高交通的安全性和效率，为国家经济发展乃至人类文明的发展踏出革命性的一步。

在现有技术中，有一种基于生成式对抗网络(GAN,Generative AdversarialNetworks)的Pix2Pix框架，能根据输入图像快速识别图像中的障碍物及其分类。但是其存在一些问题：在数据集不大的情况下，生成的图像不能区分人和动态障碍物；如果把现有的模型放在新环境下进行障碍物检测和分类，其效果大打折扣，也就是说，在新的环境下，必须重新制作图像分割标签数据集，这样效率会大大降低。

发明内容

为了解决上述问题，本发明提出了一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别。

一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，包络以下步骤：

步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；

步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；

步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；

步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。

进一步地，所述步骤1包括以下流程：

将获取的训练图像分割为正前方、左方和右方后，标注分割后的训练图像，将机器人可行走区域、静态障碍物、花草树木、人和动态障碍物采用不同的方式进行标注，得到训练图像分割数据集；

根据所述机器人的正前方、左方、右方三个方向有无静态障碍物、花草树木、人和动态障碍物三种障碍物，生成训练障碍物分类数据集，所述训练障碍物分类数据集由0、1组成的长度为9的向量标注分类标签构成。

进一步地，所述步骤2包括以下流程：

将所述训练图像分割数据集和训练障碍物分类数据集输入生成式对抗网络进行训练，求取障碍物分类损失函数的最小值后，再求取图像分割损失函数的最小值；

其中，所述障碍物分类损失函数为

ζ(C)＝-E[Z_ilogC(x)_i+(1-Z_i)log(1-C(x)_i)],i＝1,2,...,9

式中，Z_i为标注分类标签中的长度为9的向量中第i个值，C(x)_i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达；

所述图像分割损失函数为

式中，ζ_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))]，ζ_L1(G)＝E_x,y[||y-G(x)||₁]，G表示生成式网络，D表示判别式网络。

进一步地，所述步骤4包括以下流程：

改变生成式网络中图像特征提取层的权重，求取损失函数的最小值，保持其它网络层参数不变；

其中，损失函数为

本发明的有益效果：本发明提出的一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别，而且训练的效率大大缩小。大大提高标定的效率、训练的效率以及障碍物检测和识别的准确率，在技术上具有一定的超前性。

附图说明

图1为本发明实施例的网络模型。

图2为本发明实施例的自编码网络和U-Net网络。

图3为本发明实施例的流程图。

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

本发明提出的一种障碍物实时检测和分类方法，在Pix2pix框架的基础上进行改进，Pix2pix框架基于生成式对抗网络(GAN,Generative Adversarial Networks)。

GAN是受博弈论中的零和博弈的启发，由[Goodfellow et al,NIPS 2014]开创性地提出。在零和博弈中，两位博弈方的利益之和为零或一个常数，即一方有所得，另一方必有所失。GAN模型中的两位博弈方分别由生成式模型(generative model)和判别式模型(discriminative model)充当。生成模型G捕捉样本数据的分布，判别模型是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率。G和D一般都是非线性映射函数，例如多层感知机、卷积神经网络等。

请参阅图1，图1为本发明实施例中的网络模型，基于Pix2Pix框架，在生成网络(Generative Network)的encoder卷积层的第7层后面另外加上6层decoder和一层全连接层。全连接层输出层有9个神经元再接sigmoid分类器就得到classified C(x)，分别表示左中右方向上有无三种(红、绿、蓝)障碍物的置信度。这样整个网络可以看成图像特征的提取和表达，encoder网络层就是图像特征提取层，decoder网络层就是图像特征表达，即G(x)和C(x)是图像两种表达的结果。

本实施例中，选择在encoder卷积层的第7层后面添加网络层，是因为在训练过程中，发现encoder卷积层的第8层和decoder第8层的参数和初始化的参数一样，始终保持不变，也就是说这两层对网络没什么影响。

图1中，卷积层和反卷积层没注明步长的，stride＝2。

在未进行添加网络层时的Pix2Pix框架，对于图像翻译任务来说，它的G输入是一张图x，输出当然也是一张图G(x)。但是D的输入却应该发生一些变化，因为除了要生成真实图像之外，还要保证生成的图像和输入图像是匹配的。于是D的输入就做了一些变动，因此pix2pix的损失函数为：

ζ_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))]

对于图像翻译任务而言，G的输入和输出之间其实共享了很多信息，比如图像上色任务，输入和输出之间就共享了边信息。因而为了保证输入图像和输出图像之间的相似度。还加入了L1 Loss为：

ζ_L1(G)＝E_x,y[||y-G(x)||₁]

最终的损失函数为：

对于生成网络G，正如上所说，输入和输出之间会共享很多的信息。如果使用普通的卷积神经网络，那么会导致每一层都承载保存着所有的信息，这样神经网络很容易出错，因而，使用U-Net来进行减负。

请参阅图2，首先U-Net也是Encoder-Decoder模型，其次，Encoder和Decoder是对称的。所谓的U-Net是将第i层拼接到倒数第i层，这样做是因为第i层和倒数第i层的图像大小是一致的，可以认为他们承载着类似的信息。

对于判别网络D,在损失函数中，L1被添加进来保证输入和输出的共性。这就启发出了一个观点，那就是图像的变形分为两种，局部的和全局的。既然L1可以防止全局的变形。那么只要让D去保证局部能够精准即可。于是，Pix2Pix中的D被实现为Patch-D，所谓Patch，是指无论生成的图像有多大，将其切分为多个固定大小的Patch输入进D去判断。

同时，batchnormal在神经网络的训练过程中对每层的输入数据加一个标准化处理(减均值，除标准差)，以降低样本间的差异性，从而加速收敛。

请参阅图1，在改进后的网络模型中，网络中网络多了一个分类网络结构，其loss损失函数：

ζ(C)＝-E[Z_ilogC(x)_i+(1-Z_i)log(1-C(x)_i)],i＝1,2,...,9

这里Z_i表示标注分类标签中的长度为9的向量中第i个值，C(x)_i表示C(x)中长度为9的向量中的第i个。

总的损失函数为

请参阅图3，图3为本发明实施例的流程图。

本发明通过以下流程实现：

步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集。

本实施例中，利用机器人上的单目摄像头采集视频，以预设帧数提取图片，图片尽量不一样。利用单目摄像头测量机器人正前方、右方、左方的分割线在图片中的坐标，将获取的图片进行分割为正前方、左方和右方。标注分割后的图片。

具体如何标注视具体情况而定，本实施例中，标注的方式为将图片中的物体分为4类：机器人可行走区域用白色标注，静态障碍物用红色标注，花草树木用绿色标注，人和动态障碍物用蓝色标注。结合图片的分割和标注，得到训练图像分割数据集。根据正前方、左方、右方三个方向有无三种障碍物将分类标注成9个0、1数字，如下表所示。

表(一)障碍物分类标注标签

表中，颜色表示不同的物体分类，方向表示采集的图片中分割的区域，0表示某方向不存在某种物体，1表示某方向存在某种物体，放在上表中，0表示机器人左方没有人和动态障碍物，而1表示各方向存在颜色标注相对应的物体。分类标注标签转换为对应的长度为9的向量Z＝[0,1,1,1,1,1,1,1,1]，向量中的顺序为左(蓝、绿、红)中(蓝、绿、红)右(蓝、绿、红)。这些向量构成训练障碍物分类数据集。

步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型。

本实施例中，在图1所示的网络模型中训练。将标注好的图像分割数据集(本实施例中选取的图片的大小为256*256，也可选用其它大小，如若不是该大小的图片，则转换为256*256)和障碍物分类数据集在网络中进行训练。训练的方式为求取障碍物分类损失函数ζ(C)的最小值后，再求取图像分割损失函数G^*的最小值

ζ(C)＝-E[Z_ilogC(x)_i+(1-Z_i)log(1-C(x)_i)],i＝1,2,...,9

式中，Z_i为标注分类标签中的长度为9的向量中第i个值，C(x)_i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达，如表一这种障碍物分布的标注标签情况，Z＝[0,1,1,1,1,1,1,1,1]。

式中，G表示生成式网络，D表示判别式网络。

步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集。

本实施例中，在新的环境下，机器人录取新的视频并以预设帧数提取原始图片，并在原始图片进行障碍物分类标注。

本实施例中，可以人为或通过语音(语义)对原始图片进行障碍物分类标注，标注的顺序与上述标注相同，按照左(蓝、绿、红)中(蓝、绿、红)右(蓝、绿、红)的顺序进行。

本实施例中，标注的顺序不是固定的，只要前后对障碍物进行分类标注的顺序一致即可。

本实施例中，在迁移到新环境下，不需要生成图像分割数据集，只需要生成障碍物分类数据集。

步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。

本实施例中，将原环境训练得到的模型，即步骤2的得到的网络模型，再到新环境下进行训练。训练的方法为只改变自编码网络的encoder网络层(即图像特征的提取网络层)的权重，保持特征的两种表达方式的模型权重不变。训练的损失函数为

本实施例中，在新环境下，不用标注大量的图像分割的图片，只需标注障碍物分类的标注，即可进行障碍物的检测和分类，大大提高了效率；且在保证效率的同时，检测和识别的结果也比现有技术更加准确。

需要注意的是，图像输入时是将图像像素点的值转化成[0,1]之间的值，再将其值x2-1转化成[-1,1]之间的值，才对应上面网络层的输入层，上述输出层是值[-1,1]之间的值，先将其+1再x2转成[0,1]之间的值，再转成图像。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，其特征在于，包络以下步骤：

步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；

步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；步骤2包括以下流程：

将所述训练图像分割数据集和训练障碍物分类数据集输入生成式对抗网络进行训练，求取障碍物分类损失函数的最小值后，再求取图像分割损失函数的最小值；

其中，所述障碍物分类损失函数为

ζ(C)＝-E[Z_ilog C(x)_i+(1-Z_i)log(1-C(x)_i)],i＝1,2,...,9

式中，Z_i为标注分类标签中的长度为9的向量中第i个值，C(x)_i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达；

所述图像分割损失函数为

式中，ζ_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))]，ζ_L1(G)＝E_x,y[||y-G(x)||₁]，G表示生成式网络，D表示判别式网络；

步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；

步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。

2.如权利要求1所述的障碍物实时检测和分类方法，其特征在于，所述步骤1包括以下流程：

将获取的训练图像分割为正前方、左方和右方后，标注分割后的训练图像，将机器人可行走区域、静态障碍物、花草树木、人和动态障碍物采用不同的方式进行标注，得到训练图像分割数据集；

根据所述机器人的正前方、左方、右方三个方向有无静态障碍物、花草树木、人和动态障碍物三种障碍物，生成训练障碍物分类数据集，所述训练障碍物分类数据集由0、1组成的长度为9的向量标注分类标签构成。

3.如权利要求2所述的障碍物实时检测和分类方法，其特征在于，所述步骤4包括以下流程：

改变生成式网络中图像特征提取层的权重，求取损失函数的最小值，保持其它网络层参数不变；

其中，损失函数为

Images