CN111126172B - 一种基于视觉的草场自主建图方法 - Google Patents
一种基于视觉的草场自主建图方法 Download PDFInfo
- Publication number
- CN111126172B CN111126172B CN201911223926.6A CN201911223926A CN111126172B CN 111126172 B CN111126172 B CN 111126172B CN 201911223926 A CN201911223926 A CN 201911223926A CN 111126172 B CN111126172 B CN 111126172B
- Authority
- CN
- China
- Prior art keywords
- grassland
- mobile device
- map
- environment
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种基于视觉的草场自主建图方法，利用视觉传感器对移动装置所处草场环境进行扫描，得到移动装置周围的环境信息，在基于障碍物识别模型判断对应环境内是否存在水渠、深沟、土堆等障碍物，若存在障碍物，则在地图上标示相应的语义信息，并用多边形或圆形将障碍物包围，若不存在障碍物，则控制移动装置沿预设方向移动；而后基于草地环境识别模型判断视野内是否存在草，若存在草，则继续执行环境建图，若不存在草，则视为草场边界，在检测到边界之后，移动装置沿着边界的方向继续行驶，最终建立闭环地图；通过自主地图构建技术方案可极大的减少人工、时间和费用的投入，提高地图的利用效率，提升移动装置对用户的友好性和认可度。
Description
技术领域
本发明涉及环境建图技术领域，尤其涉及一种基于视觉的草场自主建图方法。
背景技术
目前应用于草地环境的移动装置主要依赖于GPS或北斗等全球定位技术实现移动装置在草地环境中位置定位和地理围栏构建，但在地理围栏构建中，需要操作员持有定位设备和电脑，围绕草地一圈，采集草地周界定位数据，在此基础上建造定位信息地图，以实现移动装置的地图遍历和导航功能。
然而通过现有技术实现草场环境地图构建，前期需要大量的人工做周界定位信息采集和数据处理，且由于定位信息受干扰会有一定偏移，后期需对地图进行修正，甚至重新构建地图，同时对于水渠、深沟、土堆、木头柱子等障碍物，需在地图上记录障碍物的地理位置信息和具体面积，以促使移动装置在相应的位置进行特定动作设置（例如绕行或线路规避）。
发明内容
本发明所解决的技术问题在于提供一种基于视觉的草场自主建图方法，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现：
一种基于视觉的草场自主建图方法，利用视觉传感器对移动装置所处草场环境进行扫描，得到移动装置周围的环境信息，在基于障碍物识别模型判断对应环境内是否存在水渠、深沟、土堆等障碍物，若存在障碍物，则在地图上标示相应的语义信息，并用多边形或圆形将障碍物包围，若不存在障碍物，则控制移动装置沿预设方向移动；而后基于草地环境识别模型判断视野内是否存在草，若存在草，则继续执行环境建图，若不存在草，则视为草场边界，在检测到边界之后，移动装置沿着边界的方向继续行驶，最终建立闭环地图，具体步骤如下：
1）构建草地环境识别模型
采集足够数量带有是否是草场标签的草地环境图片，并将其中一部分草地环境图片作为训练数据，另外一部分草地环境图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地环境图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到草地环境识别模型；
2）构建障碍物识别模型
采集足够数量带有草地环境常见障碍物（水渠、深沟、土堆、木头柱子等）的草地障碍物图片，并将其中一部分草地障碍物图片作为训练数据，另外一部分草地障碍物图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地障碍物图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到障碍物识别模型；
3）构建地图
首先确定地图坐标系，以移动装置进入草场的方向为坐标系的X轴，根据右手定律，大拇指指向X轴的正方向，食指指向Y轴的正方向，中指指向Z轴的正方向，在利用移动装置前方安装的视觉传感器进行获取实时视频，并将实时视频输入至草地环境识别模型中，判断是否为草场环境，若是草场环境，则继续进行地图构建，若非草场环境，则识别为边界，用占据率Occupancy表示，设置为Occupied状态，参数为1，而后经地图更新模型转化后，在地图中更新点的状态；其中，在草场环境时，通过障碍物识别模型判断是否有障碍物，若有障碍物，则识别相应的语义信息，记录在地图上，并用多边形圈出，若不能识别，即在草场环境中识别到非草物，则用圆形圈出，即不可去的区域，设置为Occupied状态，在地图中更新信息，在草场环境中且无障碍物时，设置为Free状态，参数为0，对于未知区域设置为未知状态，参数为0.5；移动装置重复前述运行方式遍历整个草场的周界和大部分周界内区域，当地图的周界完成时，第一次建图结束，地图完成构建。
在本发明中，移动装置包括视觉传感器、全球定位仪、处理单元及执行机构，视觉传感器、全球定位仪分别与处理单元连接，处理单元与执行机构连接。
在本发明中，在地图构建过程中，实时保存移动装置相应时间序列的GPS数据至地图中。
在本发明中，移动装置在不同大小、形状的草地环境中建图时，将遇到不同形状、大小的障碍物，甚至是移动的人或物，故移动装置不可能采用简单的直线交叉路径规划方式遍历草地环境，为了让移动装置快速自主完成建图，移动装置遍历草地运行为：
若移动装置第一次检测到草场边界，则将移动装置逆时针旋转至与边界成75°后再前行，之后若再遇到边界，则以与进入边界时相同的角度离开草场边界，在此遍历方法运行下，移动装置可遍历整个草场的周界和大部分周界内区域。
在本发明中，步骤3）中，确定地图坐标系后，移动装置首先直线行走，通过视觉传感器采集实时图像。
在本发明中，步骤3）中，当地图的周界完成时，第一次建图结束，此时移动装置基于第一版地图上进行作业路径规划，在移动装置作业过程中，遇到周界内未识别区域，对该区域进行地图更新。
有益效果：本发明通过自主地图构建技术方案可极大的减少人工、时间和费用的投入，提高地图的利用效率，提升移动装置对用户的友好性和认可度，有效解决传统移动装置在用户使用之前，还需要专业技术人员先在目标地点采集草场周界全球定位信息，在通过电脑处理成可用地图的问题。
附图说明
图1为本发明的较佳实施例的流程示意图。
图2为本发明的较佳实施例中的移动装置连接示意图。
图3为本发明的较佳实施例中的自主建图流程示意图。
图4为本发明的较佳实施例中的移动装置遍历运行示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1～图4的一种基于视觉的草场自主建图方法，利用视觉传感器对移动装置所处草场环境进行扫描，得到移动装置周围的环境信息a1；基于障碍物识别模型判断对应环境内是否存在水渠、深沟、土堆等障碍物，如果存在，则在地图上标示相应的语义信息，并用多边形或圆形将其包围，如果不存在，则控制移动装置沿着预设方向移动a2；基于草地环境识别模型判断视野内是否存在草，如果存在，则继续执行环境建图，如果不存在，则视为草场边界，检测到边界之后，移动装置沿着边界的方向继续行驶，最终完成一个闭环地图的建立a3；具体步骤如下：
1）构建草地环境识别模型
采集足够数量的草地环境图片m1，并将其中一部分草地环境图片作为训练数据，另外一部分草地环境图片作为测试数据，且每一张草地环境图片都具有是否是草场的标签，构建深层神经网络的特征提取模块，对每一张草地环境图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到草地环境识别模型；
2）构建障碍物识别模型
采集足够数量带有草地环境常见障碍物（水渠、深沟、土堆、木头柱子等）的草地障碍物图片m2，并将其中一部分草地障碍物图片作为训练数据，另外一部分草地障碍物图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地障碍物图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到障碍物识别模型；
3）构建地图
利用移动装置前方安装的视觉传感器z1进行获取实时视频b1，在输入至草地环境识别模型b2中，判断是否为草场环境b3，若是草场环境，则继续进行地图构建b5，若非草场环境，则识别为边界b4，用占据率（Occupancy）表示，设置为Occupied状态，参数为1，而后经地图更新模型转化后，在地图中更新点的状态；其中，在草场环境时，通过障碍物识别模型判断是否有障碍物b7，若有障碍物，则识别相应的语义信息，记录在地图上，并用多边形圈出b9，若不能识别，即在草场环境中识别到非草物，则用圆形圈出，即不可去的区域，设置为Occupied状态，在地图中更新信息b8，在草场环境中且无障碍物时，设置为Free状态，参数为0，对于未知区域设置为未知状态，参数为0.5；
移动装置包括视觉传感器z1、全球定位仪z2、处理单元z3及执行机构z4，通过视觉传感器z1采集草场实时视频，由全球定位仪z2对移动装置定位，处理单元z3对视觉传感器z1与全球定位仪z2传输的数据进行处理后，发至执行机构z4执行动作；
在地图构建过程中，实时保存移动装置相应时间序列的GPS数据至地图中；
图4遍历方法中显示障碍物的标示方法，水渠和水沟用长方形标示p1，土堆和柱子用矩形标示p2-1、p2-2，地图上的移动装置标示p3，未能识别的障碍物用圆形标示p4，未扫描过的区域用圆角矩形标示p6，草地周界用实心直线标示p5；
移动装置在不同大小、形状的草地环境中建图时，将遇到不同形状、大小的障碍物，甚至是移动的人或物，故移动装置不可能采用简单的直线交叉路径规划方式遍历草地环境，为了让移动装置快速和自主完成建图，需要设置一种或多种有效的遍历方法，从而提高移动装置建图的成功率；
若移动装置第一次检测到草场边界，则将移动装置逆时针旋转至与边界成75°后再前行，之后若再遇到边界，则以与进入边界时相同的角度离开草场边界，在此遍历方法运行下，移动装置可遍历整个草场的周界和大部分周界内区域，当地图的周界完成时，第一次建图结束，此时移动装置可基于第一版地图上进行作业路径规划，在移动装置作业过程中，遇到周界内未识别区域p6，对该区域进行地图更新，以一个移动装置p3进入草场环境构建地图为例：
首先确定地图坐标系，以移动装置进入草场的方向为坐标系的X轴，根据右手定律，大拇指指向X轴的正方向，食指指向Y轴的正方向，中指指向Z轴的正方向，首先移动装置直线行走，通过视觉传感器采集实时图像，经草地环境识别模型和障碍物识别模型后，识别出草场的边界p6，当移动装置第一次检测到前方边界p7时，则逆时针旋转至与边界成75°后再前行，前行检测到水渠边界p9，移动装置以与进入边界时相同的角度离开草场边界，由点p9前行至p8，进入边界时的进入角度为JI，离开边界的角度为JO，两个角度大小相同；重复此过程，直至遍历整个地图的边界为止，最后保存地图为第一版，此时，如图4中p6所示为未遍历到的区域，移动装置在第一版地图上行走时，检测到该区域后进行地图更新操作。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种基于视觉的草场自主建图方法，其特征在于，利用视觉传感器对移动装置所处草场环境进行扫描，得到移动装置周围的环境信息，在基于障碍物识别模型判断对应环境内是否存在障碍物，若存在障碍物，则在地图上标示相应的语义信息，并用多边形或圆形将障碍物包围，若不存在障碍物，则控制移动装置沿预设方向移动；而后基于草地环境识别模型判断视野内是否存在草，若存在草，则继续执行环境建图，若不存在草，则视为草场边界，在检测到边界之后，移动装置沿边界的方向继续行驶，最终建立闭环地图；具体步骤如下：
1）构建草地环境识别模型
采集足够数量带有是否是草场标签的草地环境图片，并将其中一部分草地环境图片作为训练数据，另外一部分草地环境图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地环境图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到草地环境识别模型；
2）构建障碍物识别模型
采集足够数量带有草地环境常见障碍物的草地障碍物图片，并将其中一部分草地障碍物图片作为训练数据，另外一部分草地障碍物图片作为测试数据，构建深层神经网络的特征提取模块，对每一张草地障碍物图片提取模块特征，再在激活函数作用下，实施参数收敛，迭代结束，最后使用测试数据判断效果，得到障碍物识别模型；
3）构建地图
首先确定地图坐标系，在利用移动装置前方安装的视觉传感器进行获取实时视频，并将实时视频输入至草地环境识别模型中，判断是否为草场环境，若是草场环境，则继续进行地图构建，若非草场环境，则识别为边界，用占据率Occupancy表示，设置为Occupied状态，参数为1，而后经地图更新模型转化后，在地图中更新点的状态；其中，在草场环境时，移动装置进行如下运行方式：
通过障碍物识别模型判断是否有障碍物，若有障碍物，则识别相应的语义信息，记录在地图上，并用多边形圈出，若不能识别，即在草场环境中识别到非草物，则用圆形圈出，即不可去的区域，设置为Occupied状态，在地图中更新信息；在草场环境中且无障碍物时，设置为Free状态，参数为0，对于未知区域设置为未知状态，参数为0.5；移动装置重复前述运行方式遍历整个草场的周界和大部分周界内区域，当地图的周界完成时，第一次建图结束，地图完成构建。
2.根据权利要求1所述的一种基于视觉的草场自主建图方法，其特征在于，步骤3）中，地图坐标系以移动装置进入草场的方向为坐标系的X轴，根据右手定律，大拇指指向X轴的正方向，食指指向Y轴的正方向，中指指向Z轴的正方向。
3.根据权利要求1所述的一种基于视觉的草场自主建图方法，其特征在于，移动装置包括视觉传感器、全球定位仪、处理单元及执行机构，视觉传感器、全球定位仪分别与处理单元连接，处理单元与执行机构连接。
4.根据权利要求1所述的一种基于视觉的草场自主建图方法，其特征在于，在地图构建过程中，实时保存移动装置相应时间序列的GPS数据至地图中。
5.根据权利要求1所述的一种基于视觉的草场自主建图方法，其特征在于，为快速自主完成建图，移动装置遍历草地运行为：
若移动装置第一次检测到草场边界，则将移动装置逆时针旋转至与边界成75°后再前行，之后若再遇到边界，则以与进入边界时相同的角度离开草场边界。
6.根据权利要求1所述的一种基于视觉的草场自主建图方法，其特征在于，步骤3）中，确定地图坐标系后，移动装置首先直线行走。
7.根据权利要求1所述的一种基于视觉的草场自主建图方法，其特征在于，步骤3）中，当地图的周界完成时，第一次建图结束，此时移动装置基于第一版地图上进行作业路径规划，在移动装置作业过程中，遇到周界内未识别区域，对该区域进行地图更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911223926.6A CN111126172B (zh) | 2019-12-04 | 2019-12-04 | 一种基于视觉的草场自主建图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911223926.6A CN111126172B (zh) | 2019-12-04 | 2019-12-04 | 一种基于视觉的草场自主建图方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126172A CN111126172A (zh) | 2020-05-08 |
| CN111126172B true CN111126172B (zh) | 2022-11-18 |
Family
ID=70497366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911223926.6A Active CN111126172B (zh) | 2019-12-04 | 2019-12-04 | 一种基于视觉的草场自主建图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126172B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103054522A (zh) * | 2012-12-31 | 2013-04-24 | 河海大学 | 基于视觉测量的清洁机器人系统及其测控方法 |
| CN106597453A (zh) * | 2016-12-19 | 2017-04-26 | 深圳乐行天下科技有限公司 | 一种移动装置全自主建图方法及装置 |
| CN106959697A (zh) * | 2017-05-16 | 2017-07-18 | 电子科技大学中山学院 | 一种面向长直廊环境的室内地图自动构建系统 |
| CN108805149A (zh) * | 2017-05-05 | 2018-11-13 | 中兴通讯股份有限公司 | 一种视觉同步定位与地图构建的回环检测方法及装置 |
| CN109571470A (zh) * | 2018-12-03 | 2019-04-05 | 江西洪都航空工业集团有限责任公司 | 一种机器人 |
| CN109920055A (zh) * | 2019-03-08 | 2019-06-21 | 视辰信息科技(上海)有限公司 | 三维视觉地图的构建方法、装置与电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748061B2 (en) * | 2016-12-19 | 2020-08-18 | Futurewei Technologies, Inc. | Simultaneous localization and mapping with reinforcement learning |
-
2019
- 2019-12-04 CN CN201911223926.6A patent/CN111126172B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103054522A (zh) * | 2012-12-31 | 2013-04-24 | 河海大学 | 基于视觉测量的清洁机器人系统及其测控方法 |
| CN106597453A (zh) * | 2016-12-19 | 2017-04-26 | 深圳乐行天下科技有限公司 | 一种移动装置全自主建图方法及装置 |
| CN108805149A (zh) * | 2017-05-05 | 2018-11-13 | 中兴通讯股份有限公司 | 一种视觉同步定位与地图构建的回环检测方法及装置 |
| CN106959697A (zh) * | 2017-05-16 | 2017-07-18 | 电子科技大学中山学院 | 一种面向长直廊环境的室内地图自动构建系统 |
| CN109571470A (zh) * | 2018-12-03 | 2019-04-05 | 江西洪都航空工业集团有限责任公司 | 一种机器人 |
| CN109920055A (zh) * | 2019-03-08 | 2019-06-21 | 视辰信息科技(上海)有限公司 | 三维视觉地图的构建方法、装置与电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLAM;Paul Bergman 等;《IEEE Robotics and Automation Letters》;20171123;第3卷(第2期);第627-628页 * |
| 稀疏和稠密的VSLAM的研究进展;林辉灿 等;《机器人》;20160915;第38卷(第5期);第621-622页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126172A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021164738A1 (en) | Area division and path forming method and apparatus for self-moving device and automatic working system | |
| US20210255638A1 (en) | Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System | |
| CN108297115B (zh) | 一种机器人的自主重定位方法 | |
| US20150163993A1 (en) | Autonomous gardening vehicle with camera | |
| CN107450569A (zh) | 一种扫地机器人的控制方法及设备 | |
| CN110632915A (zh) | 机器人回充路径规划方法、机器人及充电系统 | |
| DE112017008358B3 (de) | Visionsbasiertes Robotersteuerungssystem | |
| CN110433467B (zh) | 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备 | |
| CN111609853B (zh) | 三维地图构建方法、扫地机器人及电子设备 | |
| CN112327326A (zh) | 带有障碍物三维信息的二维地图生成方法、系统以及终端 | |
| WO2023005377A1 (zh) | 一种机器人的建图方法及机器人 | |
| CN111679664A (zh) | 基于深度相机的三维地图构建方法及扫地机器人 | |
| CN113052369A (zh) | 智能农机作业管理方法及系统 | |
| CN110134117A (zh) | 一种移动机器人重定位方法、移动机器人及电子设备 | |
| CN114898205A (zh) | 一种信息确定方法、设备和计算机可读存储介质 | |
| CN112834249A (zh) | 转向参数检测方法、装置、设备及存储介质 | |
| CN111126172B (zh) | 一种基于视觉的草场自主建图方法 | |
| CN113158779B (zh) | 一种行走方法、装置和计算机存储介质 | |
| CN114460939A (zh) | 复杂环境下智能行走机器人自主导航改进方法 | |
| US20230320263A1 (en) | Method for determining information, remote terminal, and mower | |
| CN111060116B (zh) | 一种基于视觉的草场自主建图系统 | |
| CN109977884A (zh) | 目标跟随方法和装置 | |
| CN115034987A (zh) | 一种基于slam和调度系统的地图双向更新适配装置 | |
| CN113534814A (zh) | 一种变电站操作机器人的避障方法 | |
| CN114646317A (zh) | 车辆视觉定位导航控制方法、装置及计算机设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |