CN109919969A - 一种利用深度卷积神经网络实现视觉运动控制的方法 - Google Patents
一种利用深度卷积神经网络实现视觉运动控制的方法 Download PDFInfo
- Publication number
- CN109919969A CN109919969A CN201910057143.9A CN201910057143A CN109919969A CN 109919969 A CN109919969 A CN 109919969A CN 201910057143 A CN201910057143 A CN 201910057143A CN 109919969 A CN109919969 A CN 109919969A
- Authority
- CN
- China
- Prior art keywords
- image
- target point
- point
- mobile platform
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种利用深度卷积神经网络实现视觉运动控制的方法,只需要单目相机获取移动平台的当前图像,以及只需要对当前获取的单帧图像进行分析,便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息,同时也不需要进行特征点数据匹配以及平面映射。另外,与已有的基于神经网络的视觉运控方案不同,本发明不需要进行路标识别以及特征点提取。再者,本发明利用深度神经网络具有语义分割的能力,对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划,从单帧图像输入到运动控制目标点的规划,整个过程无需人为先验知识的输入。本发明具有成本低、运控简单快捷等优点。
Description
技术领域
本发明涉及机器人视觉的技术领域,尤其涉及到一种利用深度卷积神经网络实现视觉运动控制的方法。
背景技术
发明内容
本发明的目的在于克服现有技术的不足,提出一种利用深度卷积神经网络实现视觉运动控制的方法。本方法使用深度卷积神经网络对单目视觉传感所采集的图像进行语义分割,以地板、土地等平面为分割目标,以得到当前获得图像视角下的可行驶区域。根据分割结果,通过统计可行驶区域分割结果像素的分布情况,对当前视角下的运动控制目标点进行规划,从而得到运动目标。
为实现上述目的,本发明所提供的技术方案为:
一种利用深度卷积神经网络实现视觉运动控制的方法,包括以下步骤:
S1:在移动平台上安装单目相机,采集移动平台前方的图像信息;
S2:以单帧单目图像作为算法输入,利用深度卷积神经网络进行地面分割,以得到当前获得图像视角下的可行驶区域;
S3:根据分割结果,通过统计可行驶区域分割结果像素的分布情况,对当前视角下的运动控制目标点进行规划,从而得到运动控制目标点;
S4:得到运动控制目标点后,将图像原点假设为当前移动平台所在位置,根据在图像空间得到的运动控制目标点与当前移动平台的相对位置,通过PID运动控制器实现移动平台控制。
进一步地,所述步骤S3通过对可行驶区域分割结果的像素分布进行统计,得到其像素分布沿着图像空间XY方向的分布统计,进而根据该统计情况,在最大可能运动方向上进行目标点规划。
进一步地,所述最大可能运动方向的求解过程为:像素坐标下不同方向的地面延伸程度分别用标准差vx和vy表示,也即是在该方向上移动平台可运动的幅度,利用像素的高斯分布统计,得到最大可能运动方向的解为:
ηdirection=(vx,vy)。
进一步地,所述步骤S3在图像空间根据离散的搜索线集合,进行运动控制目标点规划;具体步骤如下:
在利用高斯分布统计以及图像不同方向的像素分布情况后,为了实现在该方向上的运动目标点的规划,设计一条从点oimage=(mx,my)出发,以ηdirection为方向的线作为中心搜索线lc;
以lc为中心,以oimage为旋转基点,以给定值θ为旋转幅度,向左与向右各旋转i次,从而得到一系列离散的搜索线集合l,该搜索线集合l以lc为中心展开,离散并均匀地覆盖整个图像;
沿着l的每个直线元素,分别从点(mx,my)开始,进行图像检索,一直找到最终一个地面分割有效点结束,进而得到由l的各个元素搜索得到的备选点集合pp;
从pp中选择距离(mx,my)在图像空间上最远的点,作为最终运动规划目标点pg,也即是依据以下代价函数进行运动目标点求解:
其中,函数d()为求解欧氏距离函数,mx,my分别为地面像素分布位置在XY方向的均值。
与现有技术相比,本方案原理和优点如下:
本方案只需要单目相机获取移动平台的当前图像,以及只需要对当前获取的单帧图像进行分析,便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息,同时也不需要进行特征点数据匹配以及平面映射。
另外,与已有的基于神经网络的视觉运控方案不同,本方案不需要进行路标识别以及特征点提取。
再者,本方案利用深度神经网络具有语义分割的能力,对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划,从单帧图像输入到运动控制目标点的规划,整个过程无需人为先验知识的输入。
本方案具有成本低、运控简单快捷等优点。
附图说明
图1为本发明一种利用深度卷积神经网络实现视觉运动控制的方法的流程图;
图2为本发明一种利用深度卷积神经网络实现视觉运动控制的方法中进行图像分割的示意图;
图3为本发明一种利用深度卷积神经网络实现视觉运动控制的方法中运动控制目标点规划示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明:
参见图1所示,本实施例所述的一种利用深度卷积神经网络实现视觉运动控制的方法,包括以下步骤:
S1:在移动平台上安装单目相机,采集移动平台前方的图像信息;
S2:以单帧单目图像作为算法输入,利用深度卷积神经网络进行地面分割,以得到当前获得图像视角下的可行驶区域;进行地面分割如图2所示,左图为实时图像信息;右图为分割结果,其中A部分为识别得到底面的像素分布。
S3:通过对可行驶区域分割结果的像素分布进行统计,得到其像素分布沿着图像空间XY方向的分布统计,进而根据该统计情况,在最大可能运动方向上进行运动控制目标点规划。
其中,在最大可能运动方向上进行运动控制目标点规划,能实现反应式的运动避障,而最大可能运动方向的求解过程为:
分别用标准差vx和vy表示像素坐标下不同方向的地面延伸程度,也即是在该方向上移动平台可运动的幅度,利用像素的高斯分布统计,得到最大可能运动方向的解为:
ηdirection=(vx,vy)。
在图像空间中,非可运动区域,也即是非地面像素,往往是进行机器人运动时需要避开的对象。在通过地面分割将需避障物体分离之后,由于仅需对地面像素进行统计,因此,需避障对象在地面像素统计过程中,将得到一个降低的探索可能得分,也即是说ηdirection所代表矢量方向,必然避开需避障物体,根据ηdirection得到的运动控制目标点规划也可实现对避障物体的规避,实现反应式的运动避障。
另外,本步骤中,在图像空间根据离散的搜索线集合,进行运动控制目标点规划;具体步骤如下:
在利用高斯分布统计以及图像不同方向的像素分布情况后,为了实现在该方向上的运动目标点的规划,设计一条从点oimage=(mx,my)出发,以ηdirection为方向的线作为中心搜索线lc;
以lc为中心,以oimage为旋转基点,以给定值θ为旋转幅度,向左与向右各旋转i次,从而得到一系列离散的搜索线集合l,该搜索线集合l以lc为中心展开,离散并均匀地覆盖整个图像;
沿着l的每个直线元素,分别从点(mx,my)开始,进行图像检索,一直找到最终一个地面分割有效点结束,进而得到由l的各个元素搜索得到的备选点集合pp;
从pp中选择距离(mx,my)在图像空间上最远的点,作为最终运动规划目标点pg,也即是依据以下代价函数进行运动目标点求解:
其中,函数d()为求解欧氏距离函数,mx,my分别为地面像素分布位置在XY方向的均值。
该运动控制目标点规划示意见图3,左图为实时图像;右图为在分割结果上进行运动目标点规划,其中B点为oimage=(mx,my),与B点连接的线为搜索线集合l,C点为规划得到的运动目标点pg,并将其映射到左图的实时图像中。
S4:得到运动控制目标点后,将图像原点假设为当前移动平台所在位置,根据在图像空间得到的运动控制目标点与当前移动平台的相对位置,通过PID运动控制器实现移动平台控制。
本实施例只需要单目相机获取移动平台的当前图像,以及只需要对当前获取的单帧图像进行分析,便可得到当前视角下的合理运动控制规划。不需要通过多帧图像的多图像关联得到移动平台的定位信息,同时也不需要进行特征点数据匹配以及平面映射。另外,与已有的基于神经网络的视觉运控方案不同,本实施例不需要进行路标识别以及特征点提取。再者,本实施例利用深度神经网络具有语义分割的能力,对当前获取图像进行语义分割。并直接将该分割结果用以运动目标点规划,从单帧图像输入到运动控制目标点的规划,整个过程无需人为先验知识的输入。本实施例具有成本低、运控简单快捷等优点。
以上所述之实施例子只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (4)
1.一种利用深度卷积神经网络实现视觉运动控制的方法,其特征在于,包括以下步骤:
S1:在移动平台上安装单目相机,采集移动平台前方的图像信息;
S2:以单帧单目图像作为算法输入,利用深度卷积神经网络进行地面分割,以得到当前获得图像视角下的可行驶区域;
S3:根据分割结果,通过统计可行驶区域分割结果像素的分布情况,对当前视角下的运动控制目标点进行规划,从而得到运动控制目标点;
S4:得到运动控制目标点后,将图像原点假设为当前移动平台所在位置,根据在图像空间得到的运动控制目标点与当前移动平台的相对位置,通过PID运动控制器实现移动平台控制。
2.根据权利要求1所述的一种利用深度卷积神经网络实现视觉运动控制的方法,其特征在于,所述步骤S3通过对可行驶区域分割结果的像素分布进行统计,得到其像素分布沿着图像空间XY方向的分布统计,进而根据该统计情况,在最大可能运动方向上进行运动控制目标点规划。
3.根据权利要求2所述的一种利用深度卷积神经网络实现视觉运动控制的方法,其特征在于,所述最大可能运动方向的求解过程为:像素坐标下不同方向的地面延伸程度分别用标准差vx和vy表示,也即是在该方向上移动平台可运动的幅度,利用像素的高斯分布统计,得到最大可能运动方向的解为:
ηdirection=(vx,vy)。
4.根据权利要求2所述的一种利用深度卷积神经网络实现视觉运动控制的方法,其特征在于,所述步骤S3在图像空间根据离散的搜索线集合,进行运动控制目标点规划;具体步骤如下:
在利用高斯分布统计以及图像不同方向的像素分布情况后,为了实现在该方向上的运动目标点的规划,设计一条从点oimage=(mx,my)出发,以ηdirection为方向的线作为中心搜索线lc;
以lc为中心,以oimage为旋转基点,以给定值θ为旋转幅度,向左与向右各旋转i次,从而得到一系列离散的搜索线集合l,该搜索线集合l以lc为中心展开,离散并均匀地覆盖整个图像;
沿着l的每个直线元素,分别从点(mx,my)开始,进行图像检索,一直找到最终一个地面分割有效点结束,进而得到由l的各个元素搜索得到的备选点集合pp;
从pp中选择距离(mx,my)在图像空间上最远的点,作为最终运动规划目标点pg,也即是依据以下代价函数进行运动目标点求解:
其中,函数d()为求解欧氏距离函数,mx,my分别为地面像素分布位置在XY方向的均值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910057143.9A CN109919969B (zh) | 2019-01-22 | 2019-01-22 | 一种利用深度卷积神经网络实现视觉运动控制的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910057143.9A CN109919969B (zh) | 2019-01-22 | 2019-01-22 | 一种利用深度卷积神经网络实现视觉运动控制的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919969A true CN109919969A (zh) | 2019-06-21 |
CN109919969B CN109919969B (zh) | 2022-11-22 |
Family
ID=66960590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910057143.9A Active CN109919969B (zh) | 2019-01-22 | 2019-01-22 | 一种利用深度卷积神经网络实现视觉运动控制的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919969B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113093526A (zh) * | 2021-04-02 | 2021-07-09 | 浙江工业大学 | 一种基于强化学习的无超调pid控制器参数整定方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1505541A2 (de) * | 2003-06-10 | 2005-02-09 | hema electronic GmbH | Verfahren zum Selbsttest eines Bildverarbeitungssystems |
CN1694130A (zh) * | 2005-03-24 | 2005-11-09 | 上海大学 | 基于三路并行人工神经网络的移动号牌识别方法 |
CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
CN104537690A (zh) * | 2014-12-26 | 2015-04-22 | 中国科学院西安光学精密机械研究所 | 一种基于最大值-时间索引联合的运动点目标检测方法 |
US9053562B1 (en) * | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
US20180157918A1 (en) * | 2016-12-02 | 2018-06-07 | Bayerische Motoren Werke Aktiengesellschaft | System and Method for Estimating Vehicular Motion Based on Monocular Video Data |
CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
-
2019
- 2019-01-22 CN CN201910057143.9A patent/CN109919969B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1505541A2 (de) * | 2003-06-10 | 2005-02-09 | hema electronic GmbH | Verfahren zum Selbsttest eines Bildverarbeitungssystems |
CN1694130A (zh) * | 2005-03-24 | 2005-11-09 | 上海大学 | 基于三路并行人工神经网络的移动号牌识别方法 |
US9053562B1 (en) * | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
CN102682455A (zh) * | 2012-05-10 | 2012-09-19 | 天津工业大学 | 一种基于单目视觉的前方车辆检测方法 |
CN104537690A (zh) * | 2014-12-26 | 2015-04-22 | 中国科学院西安光学精密机械研究所 | 一种基于最大值-时间索引联合的运动点目标检测方法 |
US20180157918A1 (en) * | 2016-12-02 | 2018-06-07 | Bayerische Motoren Werke Aktiengesellschaft | System and Method for Estimating Vehicular Motion Based on Monocular Video Data |
CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
Non-Patent Citations (1)
Title |
---|
WEINAN CHEN ET AL.: ""Submap-based Pose-graph Visual SLAM: A Robust Visual Exploration and Localization System"", 《 INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113093526A (zh) * | 2021-04-02 | 2021-07-09 | 浙江工业大学 | 一种基于强化学习的无超调pid控制器参数整定方法 |
CN113093526B (zh) * | 2021-04-02 | 2022-05-24 | 浙江工业大学 | 一种基于强化学习的无超调pid控制器参数整定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109919969B (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
CN105574521B (zh) | 房屋轮廓提取方法和装置 | |
CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
CN103530619A (zh) | 基于rgb-d数据构成的少量训练样本的手势识别方法 | |
CN104536009A (zh) | 一种激光红外复合的地面建筑物识别及导航方法 | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN106599760B (zh) | 一种变电站巡检机器人行驶区域计算方法 | |
CN110176078A (zh) | 一种训练集数据的标注方法及装置 | |
CN106503170B (zh) | 一种基于遮挡维度的图像库构建方法 | |
CN106408596A (zh) | 基于边缘的局部立体匹配方法 | |
US20210304411A1 (en) | Map construction method, apparatus, storage medium and electronic device | |
CN114463357B (zh) | 一种在重介质选煤中实时确定介质堆动态信息的方法 | |
CN113723389B (zh) | 一种支柱式绝缘子定位方法及装置 | |
CN114766347A (zh) | 一种玉米抽雄作业的目标三维位置获取方法 | |
CN109919969A (zh) | 一种利用深度卷积神经网络实现视觉运动控制的方法 | |
CN116579989B (zh) | 一种基于深度相机的隧道打孔倾角修正方法 | |
EP2879090B1 (en) | Aligning ground based images and aerial imagery | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
CN114353779B (zh) | 一种采用点云投影快速更新机器人局部代价地图的方法 | |
CN113610001B (zh) | 基于深度相机和imu组合的室内移动终端定位方法 | |
CN104881669A (zh) | 一种基于颜色对比度的局部区域检测子提取方法及系统 | |
CN115187556A (zh) | 一种基于机器视觉的流水线上零件定位与点云获取方法 | |
CN115273068A (zh) | 一种激光点云动态障碍物剔除方法、装置及电子设备 | |
KR101710860B1 (ko) | 영상정보를 기반으로 공간상의 위치정보를 생성하는 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |