CN111060116A - 一种基于视觉的草场自主建图系统 - Google Patents

Abstract

一种基于视觉的草场自主建图系统，其中，交互端包括用户操作端、交互通信模块，系统端设置在移动装置上，移动装置包括构建有草地环境识别模型与障碍物识别模型的算法处理单元、系统通信模块、视觉传感器、全球定位仪、处理单元及地图构建模块，用户操作端通过交互通信模块与系统端的系统通信模块连接，系统通信模块与处理单元连接，处理单元分别与算法处理单元、全球定位仪及地图构建模块连接，视觉传感器与算法处理单元连接，用户操作端操作开启或关闭移动装置建图功能，交互通信模块将指令发送至处理单元，通过自主地图构建技术方案可极大减少人工、时间和费用的投入，提高地图的利用效率，提升移动装置对用户的友好性和认可度。

Description

一种基于视觉的草场自主建图系统

技术领域

本发明涉及环境建图技术领域，尤其涉及一种基于视觉的草场自主建图系统。

背景技术

目前应用于草地环境的移动装置主要依赖于GPS或北斗等全球定位技术实现移动装置在草地环境中位置定位和地理围栏构建，但在地理围栏构建中，需要操作员持有定位设备和电脑，围绕草地一圈，采集草地周界定位数据，在此基础上建造定位信息地图，以实现移动装置的地图遍历和导航功能。

然而通过现有技术实现草场环境地图构建，前期需要大量的人工做周界定位信息采集和数据处理，且由于定位信息受干扰会有一定偏移，后期需对地图进行修正，甚至重新构建地图，同时对于水渠、深沟、土堆、木头柱子等障碍物，需在地图上记录障碍物的地理位置信息和具体面积，以促使移动装置在相应的位置进行特定动作设置（例如绕行或线路规避）。

发明内容

本发明所解决的技术问题在于提供一种基于视觉的草场自主建图系统，以解决上述背景技术中的问题。

本发明所解决的技术问题采用以下技术方案来实现：

一种基于视觉的草场自主建图系统，包括交互端、系统端，其中，交互端包括用户操作端、交互通信模块，系统端设置在移动装置上，移动装置包括构建有草地环境识别模型与障碍物识别模型的算法处理单元、系统通信模块、视觉传感器、全球定位仪、处理单元及地图构建模块，用户操作端通过交互通信模块与系统端的系统通信模块连接，系统通信模块与处理单元连接，

处理单元分别与算法处理单元、全球定位仪及地图构建模块连接，视觉传感器与算法处理单元连接，用户操作端操作开启或关闭移动装置建图功能，交互通信模块将相应地开启或关闭建图的指令发送至处理单元，处理单元将信息传至算法处理单元，算法处理单元根据视觉传感器输入的信息结合草地环境识别模型和障碍物识别模型，用以识别草地与常见障碍物，再将信息传递至处理单元；处理单元中设置有数据采集模块与定位模块，数据采集模块将视觉传感器采集的传感器信息、定位模块将全球定位仪采集的移动装置位姿信息分别发送至地图构建模块，地图构建模块依据获取的建图指令、位姿信息以及传感器信息，分析判断当前草场环境是否能够满足建图条件、判断是否存在障碍物需要圈出，对建图总开关进行控制；若需要建图，则利用草地环境识别模型与障碍物识别模型的占用结果和定位信息，构建移动装置所需地图。

在本发明中，用户操作端设置有用于与系统端交互的交互模块。

在本发明中，移动装置上还设置有辅助传感器，辅助传感器与处理单元连接。

在本发明中，移动装置基于视觉对草场自主建图，具体步骤如下：

1）构建草地环境识别模型

采集足够数量带有是否是草场标签的草地环境图片，并将其中一部分草地环境图片作为训练数据，另外一部分草地环境图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地环境图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到草地环境识别模型；

2）构建障碍物识别模型

采集足够数量带有草地环境常见障碍物（水渠、深沟、土堆、木头柱子等）的草地障碍物图片，并将其中一部分草地障碍物图片作为训练数据，另外一部分草地障碍物图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地障碍物图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到障碍物识别模型；

3）构建地图

首先确定地图坐标系，以移动装置进入草场的方向为坐标系的X轴，根据右手定律，大拇指指向X轴的正方向，食指指向Y轴的正方向，中指指向Z轴的正方向，在利用移动装置前方安装的视觉传感器进行获取实时视频，并将实时视频输入至草地环境识别模型中，判断是否为草场环境，若是草场环境，则继续进行地图构建，若非草场环境，则识别为边界，用占据率Occupancy表示，设置为Occupied状态，参数为1，而后经地图更新模型转化后，在地图中更新点的状态；其中，在草场环境时，通过障碍物识别模型判断是否有障碍物，若有障碍物，则识别相应的语义信息，记录在地图上，并用多边形圈出，若不能识别，即在草场环境中识别到非草物，则用圆形圈出，即不可去的区域，设置为Occupied状态，在地图中更新信息，在草场环境中且无障碍物时，设置为Free状态，参数为0，对于未知区域设置为未知状态，参数为0.5；移动装置重复前述运行方式遍历整个草场的周界和大部分周界内区域，当地图的周界完成时，第一次建图结束，地图完成构建。

在本发明中，在地图构建过程中，实时保存移动装置相应时间序列的GPS数据至地图中。

在本发明中，移动装置在不同大小、形状的草地环境中建图时，将遇到不同形状、大小的障碍物，甚至是移动的人或物，故移动装置不可能采用简单的直线交叉路径规划方式遍历草地环境，为了让移动装置快速自主完成建图，移动装置遍历草地运行为：

若移动装置第一次检测到草场边界，则将移动装置逆时针旋转至与边界成75°后再前行，之后若再遇到边界，则以与进入边界时相同的角度离开草场边界，在此遍历方法运行下，移动装置可遍历整个草场的周界和大部分周界内区域。

在本发明中，步骤3）中，确定地图坐标系后，移动装置首先直线行走，通过视觉传感器采集实时图像。

在本发明中，步骤3）中，当地图的周界完成时，第一次建图结束，此时移动装置基于第一版地图上进行作业路径规划，在移动装置作业过程中，遇到周界内未识别区域，对该区域进行地图更新。

有益效果：本发明通过交互端以实现实时自主建图，可极大减少人工、时间和费用的投入，提高地图的利用效率，提升移动装置对用户的友好性和认可度，有效解决传统移动装置在用户使用之前，还需要专业技术人员先在目标地点采集草场周界全球定位信息，在通过电脑处理成可用地图的问题。

附图说明

图1为本发明的较佳实施例的流程示意图。

图2为本发明的较佳实施例中的移动装置自主建图流程示意图。

图3为本发明的较佳实施例中的移动装置遍历运行示意图。

图4为本发明的较佳实施例的连接示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1～图4的一种基于视觉的草场自主建图系统，包括交互端与系统端，交互端包括用户操作端、交互模块及交互通信模块，系统端设置在移动装置上，移动装置包括构建有草地环境识别模型与障碍物识别模型的算法处理单元、系统通信模块、视觉传感器、全球定位仪、处理单元、地图构建模块及辅助传感器，用户操作端设置有用于与系统端交互的交互模块，并通过交互通信模块与系统端设置的系统通信模块连接，系统通信模块与处理单元连接，处理单元分别与算法处理单元、全球定位仪、地图构建模块及辅助传感器连接，视觉传感器与算法处理单元连接，采用C/S结构（Client/Server，客户/服务器模式），用户操作端操作交互模块开启或关闭移动装置建图功能，交互通信模块将相应地开启或关闭建图的指令发送至处理单元，其中，处理单元负责处理所有业务逻辑的事务，处理单元解算指令，将信息传至算法处理单元，算法处理单元根据视觉传感器输入的信息结合草地环境识别模型和障碍物识别模型，用以识别草地与常见障碍物，最后将信息传递至处理单元；

处理单元中设置有数据采集模块与定位模块，数据采集模块将视觉传感器采集的传感器信息、定位模块将全球定位仪采集的移动装置位姿信息分别发送至地图构建模块，地图构建模块依据获取到的建图指令、位姿信息以及传感器信息，分析判断当前草场环境是否能够满足建图条件、判断是否存在障碍物需要圈出，对建图总开关进行控制；若需要建图，则利用草地环境识别模型与障碍物识别模型的占用结果和定位信息，构建移动装置所需地图。

移动装置基于视觉对草场自主建图，利用视觉传感器对移动装置所处草场环境进行扫描，得到移动装置周围的环境信息a1；基于障碍物识别模型判断对应环境内是否存在水渠、深沟、土堆等障碍物，如果存在，则在地图上标示相应的语义信息，并用多边形或圆形将其包围，如果不存在，则控制移动装置沿着预设方向移动a2；基于草地环境识别模型判断视野内是否存在草，如果存在，则继续执行环境建图，如果不存在，则视为草场边界，检测到边界之后，移动装置沿着边界的方向继续行驶，最终完成一个闭环地图的建立a3；具体步骤如下：

1）构建草地环境识别模型

采集足够数量的草地环境图片m1，并将其中一部分草地环境图片作为训练数据，另外一部分草地环境图片作为测试数据，且每一张草地环境图片都具有是否是草场的标签，构建深层神经网络的特征提取模块，对每一张草地环境图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到草地环境识别模型；

2）构建障碍物识别模型

采集足够数量带有草地环境常见障碍物（水渠、深沟、土堆、木头柱子等）的草地障碍物图片m2，并将其中一部分草地障碍物图片作为训练数据，另外一部分草地障碍物图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地障碍物图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到障碍物识别模型；

3）构建地图

利用移动装置前方安装的视觉传感器进行获取实时视频b1，在输入至草地环境识别模型b2中，判断是否为草场环境b3，若是草场环境，则继续进行地图构建b5，若非草场环境，则识别为边界b4，用占据率（Occupancy）表示，设置为Occupied状态，参数为1，而后经地图更新模型转化后，在地图中更新点的状态；其中，在草场环境时，通过障碍物识别模型判断是否有障碍物b7，若有障碍物，则识别相应的语义信息，记录在地图上，并用多边形圈出b9，若不能识别，即在草场环境中识别到非草物，则用圆形圈出，即不可去的区域，设置为Occupied状态，在地图中更新信息b8，在草场环境中且无障碍物时，设置为Free状态，参数为0，对于未知区域设置为未知状态，参数为0.5；

在地图构建过程中，实时保存移动装置相应时间序列的GPS数据至地图中；

图3遍历方法中显示障碍物的标示方法，水渠和水沟用长方形标示p1，土堆和柱子用矩形标示p2-1、p2-2，地图上的移动装置标示p3，未能识别的障碍物用圆形标示p4，未扫描过的区域用圆角矩形标示p6，草地周界用实心直线标示p5；

移动装置在不同大小、形状的草地环境中建图时，将遇到不同形状、大小的障碍物，甚至是移动的人或物，故移动装置不可能采用简单的直线交叉路径规划方式遍历草地环境，为了让移动装置快速和自主完成建图，需要设置一种或多种有效的遍历方法，从而提高移动装置建图的成功率；

若移动装置第一次检测到草场边界，则将移动装置逆时针旋转至与边界成75°后再前行，之后若再遇到边界，则以与进入边界时相同的角度离开草场边界，在此遍历方法运行下，移动装置可遍历整个草场的周界和大部分周界内区域，当地图的周界完成时，第一次建图结束，此时移动装置可基于第一版地图上进行作业路径规划，在移动装置作业过程中，遇到周界内未识别区域p6，对该区域进行地图更新，以一个移动装置p3进入草场环境构建地图为例：

首先确定地图坐标系，以移动装置进入草场的方向为坐标系的X轴，根据右手定律，大拇指指向X轴的正方向，食指指向Y轴的正方向，中指指向Z轴的正方向，首先移动装置直线行走，通过视觉传感器采集实时图像，经草地环境识别模型和障碍物识别模型后，识别出草场的边界p6，当移动装置第一次检测到前方边界p7时，则逆时针旋转至与边界成75°后再前行，前行检测到水渠边界p9，移动装置以与进入边界时相同的角度离开草场边界，由点p9前行至p8，进入边界时的进入角度为JI，离开边界的角度为JO，两个角度大小相同；重复此过程，直至遍历整个地图的边界为止，最后保存地图为第一版，此时，如图3中p6所示为未遍历到的区域，移动装置在第一版地图上行走时，检测到该区域后进行地图更新操作。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于视觉的草场自主建图系统，包括交互端、系统端，其特征在于，交互端包括用户操作端、交互通信模块，系统端设置在移动装置上，移动装置包括构建有草地环境识别模型与障碍物识别模型的算法处理单元、系统通信模块、视觉传感器、全球定位仪、处理单元及地图构建模块，用户操作端通过交互通信模块与系统端的系统通信模块连接，系统通信模块与处理单元连接，处理单元分别与算法处理单元、全球定位仪及地图构建模块连接，视觉传感器与算法处理单元连接，用户操作端操作开启或关闭移动装置建图功能，交互通信模块将相应地开启或关闭建图的指令发送至处理单元，处理单元将信息传至算法处理单元，算法处理单元根据视觉传感器输入的信息结合草地环境识别模型和障碍物识别模型，用以识别草地与常见障碍物，再将信息传递至处理单元；地图构建模块依据获取的建图指令、全球定位仪采集的移动装置位姿信息及视觉传感器采集的传感器信息，分析判断当前草场环境是否能够满足建图条件、判断是否存在障碍物需要圈出，对建图总开关进行控制；若需要建图，则利用草地环境识别模型与障碍物识别模型的占用结果和定位信息，构建移动装置所需地图。

2.根据权利要求1所述的一种基于视觉的草场自主建图系统，其特征在于，用户操作端设置有用于与系统端交互的交互模块。

3.根据权利要求1所述的一种基于视觉的草场自主建图系统，其特征在于，移动装置上还设置有辅助传感器，辅助传感器与处理单元连接。

4.根据权利要求1所述的一种基于视觉的草场自主建图系统，其特征在于，处理单元中设置有数据采集模块与定位模块。

5. 根据权利要求1所述的一种基于视觉的草场自主建图系统，其特征在于，移动装置基于视觉对草场自主建图，具体步骤如下：

1）构建草地环境识别模型

采集足够数量带有是否是草场标签的草地环境图片，并将其中一部分草地环境图片作为训练数据，另外一部分草地环境图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地环境图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到草地环境识别模型；

2）构建障碍物识别模型

采集足够数量带有草地环境常见障碍物的草地障碍物图片，并将其中一部分草地障碍物图片作为训练数据，另外一部分草地障碍物图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地障碍物图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到障碍物识别模型；

3）构建地图

首先确定地图坐标系，在利用移动装置前方安装的视觉传感器进行获取实时视频，并将实时视频输入至草地环境识别模型中，判断是否为草场环境，若是草场环境，则继续进行地图构建，若非草场环境，则识别为边界，用占据率Occupancy表示，设置为Occupied状态，参数为1，而后经地图更新模型转化后，在地图中更新点的状态；其中，在草场环境时，通过障碍物识别模型判断是否有障碍物，若有障碍物，则识别相应的语义信息，记录在地图上，并用多边形圈出，若不能识别，即在草场环境中识别到非草物，则用圆形圈出，即不可去的区域，设置为Occupied状态，在地图中更新信息；在草场环境中且无障碍物时，设置为Free状态，参数为0，对于未知区域设置为未知状态，参数为0.5；移动装置重复前述运行方式遍历整个草场的周界和大部分周界内区域，当地图的周界完成时，第一次建图结束，地图完成构建。

6.根据权利要求5所述的一种基于视觉的草场自主建图系统，其特征在于，步骤3）中，地图坐标系以移动装置进入草场的方向为坐标系的X轴，根据右手定律，大拇指指向X轴的正方向，食指指向Y轴的正方向，中指指向Z轴的正方向。

7.根据权利要求5所述的一种基于视觉的草场自主建图系统，其特征在于，在地图构建过程中，实时保存移动装置相应时间序列的GPS数据至地图中。

8.根据权利要求5所述的一种基于视觉的草场自主建图系统，其特征在于，为快速自主完成建图，移动装置遍历草地运行为：

若移动装置第一次检测到草场边界，则将移动装置逆时针旋转至与边界成75°后再前行，之后若再遇到边界，则以与进入边界时相同的角度离开草场边界。

9.根据权利要求5所述的一种基于视觉的草场自主建图系统，其特征在于，步骤3）中，确定地图坐标系后，移动装置首先直线行走。

10.根据权利要求5所述的一种基于视觉的草场自主建图系统，其特征在于，步骤3）中，当地图的周界完成时，第一次建图结束，此时移动装置基于第一版地图上进行作业路径规划，在移动装置作业过程中，遇到周界内未识别区域，对该区域进行地图更新。

Images