CN111897333B - 一种机器人行走路径规划方法 - Google Patents

Abstract

本发明公开了一种机器人行走路径规划方法，包括：利用预先训练好的神经网络模型识别指定物件；通过指定物件的特征标签来判断当前机器人相对于指定物件的具体位置，方位确定后，移动使其调整到指定物件正前方的位置；通过距离逼近的方法获取视野里指定物件上特征标签的大小，计算出当前机器人与指定物件的距离，再向指定物件进行相应的移动，到达指定位置。优点：本发明解决了对家电进行识别中大数据和少标注的矛盾；降低了计算量和程序运行时间，并提高了路径规划精度。

Description

一种机器人行走路径规划方法

技术领域

本发明涉及一种机器人行走路径规划方法，属于图像处理和机器视觉技术领域。

背景技术

机器视觉是用机器代替人眼来做测量和判断，具有易于信息集成的特点，是实现计算机集成制造的基础技术。机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。

物体检测在智能系统(如无人驾驶、机器人、监控检测等)、图像内容分类与检索、辅助医疗(如医学图像病灶提取和分析)等方面都有很大的应用需求。然而，传统的检测算法因为特征设计的局限性很难在性能上再有所突破。而深度学习的诞生并被应用到计算机视觉领域，并以明显的优势越来越受到各界研究者们的热爱，短短时间针对物体识别的各类算法和网络模型层出不穷，并以相当快的速度改进识别性能。但对于一些相对较为简单的环境下，使用深度学习的成本过大，首先是数据集的选取和标定问题，由于深度学习需要大量数据作为训练输入，所以人为的选取标定数据工作量非常大；其次就是计算量的问题，需要使用GPU加速训练模型，对处理器要求较高，很难放入一些嵌入式系统中使用。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种机器人行走路径规划方法。

为解决上述技术问题，本发明提供一种机器人行走路径规划方法，包括：

利用预先训练好的神经网络模型识别指定物件；

通过指定物件的特征标签来判断当前机器人相对于指定物件的具体位置，方位确定后，移动使其调整到指定物件正前方的位置；

通过距离逼近的方法获取视野里指定物件上特征标签的大小，计算出当前机器人与指定物件的距离，再向指定物件进行相应的移动，到达指定位置。

进一步的，所述神经网络模型采用卷积神经网络模型，卷积神经网络模型的训练过程包括：

获取指定物件不同视角的若干图像和卷积神经网络模型的初始化模型参数；

对所述图像进行分类和标注，生成数据集；

将数据集划分为训练集和测试集；

利用训练集和测试集对预先设置的卷积神经网络模型进行训练，得到初始训练化的卷积神经网络模型；

获取指定物件新的图像，输入至初始训练化的卷积神经网络模型，对初始训练化的卷积神经网络模型的输出结果进行准确性判断，若达到预先设置的阈值，则确定该初始训练化的卷积神经网络模型为训练好的神经网络模型；若没有达到预先设置的阈值则调整卷积神经网络模型的初始化模型参数，再重新训练卷积神经网络模型，重复上述判断过程，直到达到预先设置的阈值。

进一步的，所述获取指定物件不同视角的若干图像后，采用图像增强的方法对图像进行处理，得到扩增后的图像集。

进一步的，所述卷积神经网络模型为采用迁移学习方法获得的模型。

进一步的，在得到初始训练化的卷积神经网络模型的过程中设置一个损失函数来判断网络训练情况，损失函数值越小且趋于稳定表明网络模型越好，所述损失函数为交叉熵损失函数：

通过计算梯度下降法更新初始化模型参数：

相应地，更新不同层的参数来实现卷积神经网络的Loss最小化：

其中，α为学习率，θ为全局初始化参数，

表示交叉熵损失函数，f_θ和

分别表示两个目标函数，x表示函数的输入参数，y表示模型训练中给图片贴的标签，

表示f_θ的梯度。

进一步的，在通过损失函数判断训练完成后，通过测试集进行模型评估，通过交并比、平均精度、误检率、漏检率评估指标来判断网络性能。交并比越大越好，平均精度越大越好，误检率和漏检率越小越好。

进一步的，所述通过指定物件的特征标签来判断当前机器人相对于指定物件的具体位置，方位确定后，移动使其调整到指定物件正前方的位置的过程包括：

在所述指定物件的左侧、右侧和正面分别贴有颜色不同的标签，在基于色调、饱和度、明度的颜色模型基础上进行标签的区域选择，记T为前景与背景的分割阈值，前景点数占图像比例为ω₀，平均灰度为u₀；背景点数占图像比例为ω₁，平均灰度为u₁，图像的总平均灰度为u，前景和背景图像的方差g，则有：

u＝ω₀×u₀+ω₁×u₁

g＝ω₀×(u₀-u)²+ω₁×(u₁-u)²

联立上式得：

g＝ω₀×ω₁×(u₀-u₁)²

或：

当方差g最大时，此时前景和背景差异最大，此时的灰度T是最佳阈值，通过对色度、饱和度和明度的阈值选择选出标签所在区域；

获取物件一个侧面(根据当前机器人的位置能获取到的一面)和正面的两个标签的区域后计算出两个标签的中心坐标P(r1,c1)、Q(r2,c2)，坐标系原点位于图片的左上角，r和c分别表示坐标系的两个坐标轴R轴和C轴的坐标值，将P、Q的C轴坐标作差c1-c2，从指定物件左侧到正对差值先增加后减少，45°时差值最大，同理从正对位置到右侧差值先减少后增加，45°时差值最小，左侧的差值为正值，右侧为负值，当c2的值为空时，表示此刻机器人正对指定物件。

进一步的，所述通过距离逼近的方法获取视野里指定物件上特征标签的大小，计算出当前机器人与指定物件的距离，再向指定物件进行相应的移动，到达指定位置的过程包括：

获取物件左侧标签的坐标P(r1,c1)，在P点坐标的基础上r坐标、c坐标各减a像素点和b像素点的位置作为起点A(r1-a,c1-a)，B(r1-b,c1-b)，连接A、B两点形成一条线段AB，其中a像素点和b像素点为预先设置的适中的值；

将线段AB从左往右每隔d个像素点移动一次，判断该线段与所求区域边缘的距离，当距离小于等于0时，记录下当前线段的C轴坐标c1′，然后继续移动，当距离大于等于0时，再次记录当前线段C轴坐标c2′，其中c1′和c2′的差值则为当前标签在图像中的像素点值；

根据实际测验过程相对于指定物件不同位置标签的大小，拟合出一个关于距离和标签大小的函数f(x)；代入到预先设置的关于距离和标签大小的函数f(x)，当满足f(x)＝N时，其中N为常数，即机器人的停止移动距离，表明机器人已移动到指定位置。

进一步的，预先在不同光线下对特征标签进行测试，用于确定适用于不同环境的分割阈值；

预先在不同环境下对特点标签大小与机器人距离进行记录，将记录的多组数据进行拟合，确定一个最贴近的距离计算函数f(x)。

进一步的，所述指定物件为家具电器。

本发明所达到的有益效果：

本发明解决了对家电进行识别中大数据和少标注的矛盾；降低了计算量和程序运行时间，并提高了路径规划精度；将传统机器视觉和深度学习结合，能够更加高速有效的实现需求。

附图说明

图1为机器人路径规划的示意图；

图2为网络模型的结构示意图；

图3、图4为本次发明的效果图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，基于机器视觉的机器人行走路径规划方法，通过深度学习中的目标检测与传统图像处理相结合，降低计算量和运算时间，同时提高运行精度。

包括如下步骤：

步骤一，准备数据集，对数据进行分类、标注、预处理；

(1)、新建名为ImageRef的文件夹存放100张含有冰箱的.jpg格式的图片，其中包括不同颜色、型号、样式的冰箱。再对其进行图像增强(放缩、纹理、旋转等)，将数据集扩增到400张存入ImageRef文件夹中；

(2)、对400张含有冰箱的图片进行分类、标注后生成数据集.hdict文件，并将数据集划分为70％的训练集和30％的测试集；

步骤二，选取框架并创建基于该任务的特定模型，评估训练模型的性能；

(1)、选取卷积神经网络(CNN)模型作为此次的模型框架进行模型训练。但要从头开始训练所有的过滤器权重，需要大量的资源。因此，我们发现下面几层的特征图比较小，如第一层检测底层特征是边缘和曲线，但是它们代表了更复杂的特征。对于一个大的网络，底层的特征是足够普遍的，因此相应层的权重在不同任务之间不会有太大的变化。故而使用了一种迁移学习的方法:利用一个已经训练好的网络，对它进行特定任务的再训练，从已经非常适合底层的过滤权重中获益，进而大大减少训练时所需资源，主要代码如下：

read_dl_dataset_from_coco(PillBagJsonFile,HalconImageDir,[],DLDataset)

split_dl_dataset(DLDataset,TrainingPercent,ValidationPercent,[])

create_dl_model_detection(Backbone,NumClasses,DLModelParam,DLModelHandle)

(2)、通过调整学习率的迭代次数等参数来改善网络的训练结果。设定α为学习率，θ为全局初始化参数，将模型的更新优化操作用f_θ代替；

(2-1)、为了更好的判断网络的训练情况，添加了一个损失函数(Loss)。所使用的损失函数L为交叉熵损失函数：

损失函数将网络的预测结果与实际给定的信息进行比较，对偏差进行惩罚。更新过滤器权重的方式是使损失函数最小化。因此，针对该网络进行训练，通过计算梯度下降法进行更新：

并相应地更新不同层的参数(过滤权重)来实现网络的Loss最小化：

(2-2)、训练完成后在测试集上进行模型评估，通过交并比(Intersection overunion,IoU)、平均平均精度(mean Average Precision,mAP)、误检率、漏检率等评估指标来判断网络性能；

对象检测导致两个不同的任务:查找实例并对它们进行分类。为了做到这一点，我们使用了一个由三个主要部分组成的组合网络。第一部分称为主干，由一个预先训练好的分类网络组成。它的任务是生成各种特征图，因此去掉了分类层。这些特征映射以不同的尺度编码不同种类的信息，这取决于它们在网络中的深度。因此，具有相同宽度和高度的地物图被称为属于同一层次。在第二部分中，将不同层次的主干层进行合并。更精确地说，不同层次的骨干层被指定为对接层。它们的特征图被合并。因此，我们得到了包含低层和高层信息的特征图。这些是我们将在第三部分中使用的特征图。第二部分也称为特征金字塔，与第一部分一起构成了特征金字塔网络。第三部分是为每一个选定的级别建立额外的网络，称为heads。他们得到相应的地形图作为输入，学习如何定位和分类潜在的对象。此外，第三部分还包括减少重叠的预测边界框。这三个部分的概述如图2所示，代码如下：

create_dl_train_param(DLModelHandle,NumEpochs,EvaluationIntervalEpochs,DisplayEvaluation,SeedRandom,GenParamName,GenParamValue,TrainParam)

train_dl_model(DLDataset,DLModelHandle,TrainParam,0.0,TrainResults,TrainInfos,EvaluationInfos)。

步骤三，在新图像上推理应用模型，以确保该模型的准确性，若在新图像的推理结果不理想，则重新进行步骤二，调整参数训练模型；

步骤四中通过家电上的特征标签来判断当前机器人相对于家电的具体位置(以冰箱为例)：

(1)、对于目标检测后框选出的目标物体进行blob分析，即在HSV颜色模型上进行阈值分割，选出物体上红色和蓝色标签的区域位置，其中红色标签在冰箱正面，蓝色标签在冰箱两侧；

(2)、计算出红、蓝标签区域的中心坐标P(r1,c1)、Q(r2,c2)，将P、Q两点c轴坐标作差，即c1-c2。

(3)、当c1-c2＞0时，表明机器人在目标物体的左侧，则向右移动，同理当c1-c2＜0时，表明机器人在目标物体的右侧，则向左移动。移动的同时不断校正c2-c1的值，当视野里的蓝色坐标消失时，即c2为空值(Null)，则表明此刻机器人已经移动到家电正面。

步骤五，根据距离逼近的方法获取视野里家电上特征标签的大小，从而计算出当前机器人与家电的距离。

(1)、由步骤四可得P(r1,c1)，在P点坐标的基础上RC坐标各减50像素点和100像素点的位置作为起点A(r1-50,c1-50)，B(r1-100,c1-100)，连接A、B两点形成一条线段AB；

(2)、将AB线段从左往右每隔2个像素点移动一次，判断其与所求区域边缘的距离，其中2个像素点的移动间隔是取决于多次测验，综合速度和精度得出。当线段与区域边缘距离小于等于0时，记录下当前线段的中心c轴坐标c1′，然后继续移动，当距离大于等于0时，再次记录当前线段中心c轴坐标c2′。其中c1′和c2′的差值即c2′-c1′则为当前标签在图像中的像素点值；

(3)、根据实际测验过程相对于冰箱不同位置标签的大小，拟合出一个关于距离和标签大小的函数f(x)。设定当f(x)＝N(其中N为常数，表示机器人停止移动的既定距离)，表明机器人已移动到指定位置。

步骤六，算法测试与评估，用已完成的算法进行大量图像测试并调整参数，从而提高算法精度。

(1)、对于目标检测中的参数，设定学习率α＝0.001，迭代次数M＝30，批量batch＝3时，训练时间较短效果较佳；

(2)、对于红蓝标签的阈值选择，红色设定为H(0～50),S(50～255),V(60～150)，蓝色设定为H(140～200),S(200～255),V(60～250)，多次测验下上述的阈值选择能够适应不同环境光照条件下的标签区域选择；

(3)、对拟合函数f(x)需要机器人视野的高度和标签的实际大小来计算。

输入不同方位距离的图像进行测试

(1)、目标检测的结果如图3所示，能够识别并框选出目标物体；

(2)、方位和距离的判断如图4所示。

(3)、经测试，本发明使用的深度学习与传统图像处理相结合的智能陪护机器人路径规划方法，解决了机器人在实际运动过程中要求算法计算量小，运算速度快的问题，同时降低了人工成本，使人工智能进一步走入生活，服务社会。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种机器人行走路径规划方法，其特征在于，包括：

利用预先训练好的神经网络模型识别指定物件；

通过指定物件的特征标签来判断当前机器人相对于指定物件的具体位置，方位确定后，移动使其调整到指定物件正前方的位置；

通过距离逼近的方法获取视野里指定物件上特征标签的大小，计算出当前机器人与指定物件的距离，再向指定物件进行相应的移动，到达指定位置；

所述通过指定物件的特征标签来判断当前机器人相对于指定物件的具体位置，方位确定后，移动使其调整到指定物件正前方的位置的过程包括：

在所述指定物件的左侧、右侧和正面分别贴有颜色不同的标签，在基于色调、饱和度、明度的颜色模型基础上进行标签的区域选择，记T为前景与背景的分割阈值，前景点数占图像比例为ω₀，平均灰度为u₀；背景点数占图像比例为ω₁，平均灰度为u₁，图像的总平均灰度为u，前景和背景图像的方差g，则有：

u＝ω₀×u₀+ω₁×u₁

g＝ω₀×(u₀-u)²+ψ₁×(u₁-u)²

联立上式得：

g＝ω₀×ω₁×(u₀-u₁)²

或：

当方差g最大时，此时前景和背景差异最大，此时的灰度T是最佳阈值，通过对色度、饱和度和明度的阈值选择选出标签所在区域；

获取物件一个侧面和正面的两个标签的区域后计算出两个标签的中心坐标P(r1,c1)、Q(r2,c2)，坐标系原点位于图片的左上角，r和c分别表示坐标系的两个坐标轴R轴和C轴的坐标值，将P、Q的C轴坐标作差c1-c2，从指定物件左侧到正对差值先增加后减少，45°时差值最大，同理从正对位置到右侧差值先减少后增加，45°时差值最小，左侧的差值为正值，右侧为负值，当c2的值为空时，表示此刻机器人正对指定物件；

所述通过距离逼近的方法获取视野里指定物件上特征标签的大小，计算出当前机器人与指定物件的距离，再向指定物件进行相应的移动，到达指定位置的过程包括：

获取物件左侧标签的坐标P(r1,c1)，在P点坐标的基础上r坐标、c坐标各减a像素点和b像素点的位置作为起点A(r1-a,c1-a)，B(r1-b,c1-b)，连接A、B两点形成一条线段AB，其中a像素点和b像素点为预先设置的适中的值；

将线段AB从左往右每隔d个像素点移动一次，判断该线段与所求区域边缘的距离，当距离小于等于0时，记录下当前线段的C轴坐标c1′，然后继续移动，当距离大于等于0时，再次记录当前线段C轴坐标c2′，其中c1′和c2′的差值则为当前标签在图像中的像素点值；

根据实际测验过程相对于指定物件不同位置标签的大小，拟合出一个关于距离和标签大小的函数f(x)；代入到预先设置的关于距离和标签大小的函数f(x)，当满足f(x)＝N时，其中N为常数，即机器人的停止移动距离，表明机器人已移动到指定位置。

2.根据权利要求1所述的机器人行走路径规划方法，其特征在于，所述神经网络模型采用卷积神经网络模型，卷积神经网络模型的训练过程包括：

获取指定物件不同视角的若干图像和卷积神经网络模型的初始化模型参数；

对所述图像进行分类和标注，生成数据集；

将数据集划分为训练集和测试集；

利用训练集和测试集对预先设置的卷积神经网络模型进行训练，得到初始训练化的卷积神经网络模型；

获取指定物件新的图像，输入至初始训练化的卷积神经网络模型，对初始训练化的卷积神经网络模型的输出结果进行准确性判断，若达到预先设置的阈值，则确定该初始训练化的卷积神经网络模型为训练好的神经网络模型；若没有达到预先设置的阈值则调整卷积神经网络模型的初始化模型参数，再重新训练卷积神经网络模型，重复上述判断过程，直到达到预先设置的阈值。

3.根据权利要求2所述的机器人行走路径规划方法，其特征在于，所述获取指定物件不同视角的若干图像后，采用图像增强的方法对图像进行处理，得到扩增后的图像集。

4.根据权利要求2所述的机器人行走路径规划方法，其特征在于，所述卷积神经网络模型为采用迁移学习方法获得的模型。

5.根据权利要求2所述的机器人行走路径规划方法，其特征在于，在得到初始训练化的卷积神经网络模型的过程中设置一个损失函数来判断网络训练情况，损失函数值越小且趋于稳定表明网络模型越好，所述损失函数为交叉熵损失函数：

通过计算梯度下降法更新初始化模型参数：

相应地，更新不同层的参数来实现卷积神经网络的Loss最小化：

其中，α为学习率，θ为全局初始化参数，

表示交叉熵损失函数，f_θ和

分别表示两个目标函数，x表示函数的输入参数，y表示模型训练中给图片贴的标签，

表示f_θ的梯度。

6.根据权利要求5所述的机器人行走路径规划方法，其特征在于，在通过损失函数判断训练完成后，通过测试集进行模型评估，通过交并比、平均精度、误检率、漏检率评估指标来判断网络性能。

7.根据权利要求1所述的机器人行走路径规划方法，其特征在于，

预先在不同光线下对特征标签进行测试，用于确定适用于不同环境的分割阈值；

预先在不同环境下对特点标签大小与机器人距离进行记录，将记录的多组数据进行拟合，确定一个最贴近的距离计算函数f(x)。

8.根据权利要求1所述的机器人行走路径规划方法，其特征在于，所述指定物件为家具电器。

Images