CN107063231A - 一种基于双目视觉的拖拉机运动矢量预测方法 - Google Patents

一种基于双目视觉的拖拉机运动矢量预测方法 Download PDF

Info

Publication number
CN107063231A
CN107063231A CN201710172811.3A CN201710172811A CN107063231A CN 107063231 A CN107063231 A CN 107063231A CN 201710172811 A CN201710172811 A CN 201710172811A CN 107063231 A CN107063231 A CN 107063231A
Authority
CN
China
Prior art keywords
motion vector
tractor
directions
vector prediction
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710172811.3A
Other languages
English (en)
Other versions
CN107063231B (zh
Inventor
田光兆
顾宝兴
王海青
周俊
安秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201710172811.3A priority Critical patent/CN107063231B/zh
Publication of CN107063231A publication Critical patent/CN107063231A/zh
Application granted granted Critical
Publication of CN107063231B publication Critical patent/CN107063231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种基于双目视觉的拖拉机运动矢量预测方法，包括以下步骤：1）通过架设于拖拉机车头正前方的双目相机对周围环境进行图像采集，获得T时刻的左、右图像各一张；2）对上述左、右图像进行特征点检测与匹配，然后根据视差原理计算图像中特征点的空间坐标I（T）；3）在T+1时刻重复1）和2）的步骤，获得特征点的空间坐标I（T+1）；4）获得拖拉机的运动矢量△I=I（T+1）‑I（T）；5）重复上述步骤1）至4）10次，获得10个运动矢量；6）对上述10个运动矢量进行一次累加，生成1‑AGO序列；7）在不同的3个方向上分别对1‑AGO序列拟合，得出每个方向上的变化曲线；8）根据上述变化曲线，得出下一时刻各个方向上的运动矢量，即完成了运动矢量预测。本发明能够预测拖拉机未来时刻的运动矢量，便于精准控制。

Description

一种基于双目视觉的拖拉机运动矢量预测方法
技术领域
本发明涉及一种农机控制技术，尤其是一种控制无人驾驶拖拉机运行的自主导航技术，具体的说是一种基于双目视觉的拖拉机运动矢量预测方法。
背景技术
随着城市化进程的快速推进，农村劳动力短缺的现状日益凸显，无人驾驶拖拉机得到日益广泛的应用。在无人驾驶拖拉机的自主导航过程中，通常采用GNSS(全球卫星导航系统)进行精确定位。然而，GNSS信号容易受到树木、云层的遮挡，导致定位误差很大或定位失败。为保证导航工作的顺利进行，往往还需要通过机器视觉进行辅助定位。目前，大都采用机器视觉进行障碍物位姿的获取，为定位提供参考依据，即，根据当前位姿与预定位姿的偏差计算控制量，然后将控制量作用于执行器件。由于已经发生了位姿偏差，那么很有可能导致作业对象损坏。如果能获取拖拉机的运动矢量的预测数据，将会显著提高导航控制精度。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于双目视觉的拖拉机运动矢量预测方法，能够预测拖拉机未来时刻的运动矢量，为精准控制提供有效的支持。
本发明的技术方案是：
一种基于双目视觉的拖拉机运动矢量预测方法，包括以下步骤：
1)通过架设于拖拉机车头正前方的双目相机对周围环境进行图像采集，获得T时刻的左、右图像各一张；
2)对上述左、右图像进行特征点检测与匹配，然后根据视差原理计算图像中特征点的空间坐标I(T)；
3)在T+1时刻重复1)和2)的步骤，获得特征点的空间坐标I(T+1)；
4)获得拖拉机的运动矢量△I＝I(T+1)-I(T)；
5)重复上述步骤1)至4)10次，获得10个运动矢量；
6)对上述10个运动矢量进行一次累加，生成1-AGO序列；
7)在不同的3个方向上分别对1-AGO序列拟合，得出每个方向上的变化曲线；
8)根据上述变化曲线，得出下一时刻各个方向上的运动矢量，即完成了运动矢量预测。
进一步的，所述双目相机包括对称设置的左相机和右相机，水平放置于拖拉机车头正前方。
进一步的，所述步骤7)中的3个方向为：水平向右的i方向，垂直向下的j方向和水平向前的k方向。
本发明的有益效果：
本发明设计合理，逻辑清楚，构思巧妙，能够预测拖拉机未来时刻的运动矢量，为通过工控机精准控制拖拉机提供有效的支持。
附图说明
图1是本发明的双目相机示意图。
图2是本发明的工作流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
本发明中的图像采集装置由双目相机、1394B接口卡和工控机组成。如图1所示，所述双目相机由对称设置的左相机和右相机构成。双目相机安装在拖拉机正前方，距离地面1.0±0.1m。每次图像采集事件由工控机中程序自动触发，双目相机的左、右相机同时各采集1幅图像至计算机内存中。
设置图像采集时间间隔为300ms。空间坐标原点在右相机光心，水平向右为i轴正方向，垂直向下为j轴方向，水平向前为k轴正方向。
如图2所示，本发明包括以下步骤：
1)触发双目相机对周围环境进行图像采集，获得T时刻的左、右图像各一张；
2)对上述左、右图像进行特征点检测与匹配，然后根据视差原理计算图像中特征点的空间坐标I(T)；
3)在T+1时刻重复1)和2)的步骤，获得特征点的空间坐标I(T+1)；
4)获得拖拉机的运动矢量△I＝I(T+1)-I(T)；
5)重复上述1)至4)步骤10次，获得10个运动矢量；
6)对上述10个运动矢量进行一次累加，生成1-AGO序列；
7)在不同的3个方向上分别对1-AGO序列拟合，得出每个方向上的变化曲线；
8)根据上述变化曲线，得出下一时刻各个方向上的运动矢量，即完成了运动矢量预测。
具体实施例如下：
在第0时刻，左右相机同时采集图像至内存中，分别记为IL(0)和IR(0)，对IL(0)和IR(0)进行SIFT特征点检测与匹配，匹配成功的点记为集合P0，并通过视差法计算P0所有点的空间坐标。
在第1时刻，左右相机同时采集图像至内存中，分别记为IL(1)和IR(1)，对IL(1)和IR(1)进行SIFT特征点检测与匹配，匹配成功的点记为集合P1，并通过视差法计算P1所有点的空间坐标。
再次通过特征匹配，查找P1和P0的交集D1，D1即为第1时刻和第0时刻拍摄到的相同特征点。
计算D1中所有特征点从第0时刻到第1时刻的坐标变化矢量，并取均值，得到第1时刻的运动矢量其中为3个方向上的矢量单位。
继续按照上述方法，分别计算第2时刻至第10时刻的运动矢量 对10个运动矢量的3个方向上分别进行一次累加操作，生成3个方向上的1-AGO序列其中，
对序列用三次多项式拟合，可以得到i方向上关于时间t的变化曲线fi(t)，在曲线上找到第11个时刻所对应的函数值fi(11)。那么就可以得出
用同样的方法，得到：
最终得到第11个时刻的运动矢量预测值
重复上述操作，即可完成对第12、13……N时刻的运动矢量预测。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (3)

1.一种基于双目视觉的拖拉机运动矢量预测方法，其特征是包括以下步骤：
1)通过架设于拖拉机车头正前方的双目相机对周围环境进行图像采集，获得T时刻的左、右图像各一张；
2)对上述左、右图像进行特征点检测与匹配，然后根据视差原理计算图像中特征点的空间坐标I(T)；
3)在T+1时刻重复1)和2)的步骤，获得特征点的空间坐标I(T+1)；
4)获得拖拉机的运动矢量△I＝I(T+1)-I(T)；
5)重复上述步骤1)至4)10次，获得10个运动矢量；
6)对上述10个运动矢量进行一次累加，生成1-AGO序列；
7)在不同的3个方向上分别对1-AGO序列拟合，得出每个方向上的变化曲线；
8)根据上述变化曲线，得出下一时刻各个方向上的运动矢量，即完成了运动矢量预测。
2.根据权利要求1所述基于双目视觉的拖拉机运动矢量预测方法，其特征是所述双目相机包括对称设置的左相机和右相机，水平放置于拖拉机车头正前方。
3.根据权利要求1所述基于双目视觉的拖拉机运动矢量预测方法，其特征是所述步骤7)中的3个方向为：水平向右的i方向，垂直向下的j方向和水平向前的k方向。
CN201710172811.3A 2017-03-22 2017-03-22 一种基于双目视觉的拖拉机运动矢量预测方法 Active CN107063231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710172811.3A CN107063231B (zh) 2017-03-22 2017-03-22 一种基于双目视觉的拖拉机运动矢量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710172811.3A CN107063231B (zh) 2017-03-22 2017-03-22 一种基于双目视觉的拖拉机运动矢量预测方法

Publications (2)

Publication Number Publication Date
CN107063231A true CN107063231A (zh) 2017-08-18
CN107063231B CN107063231B (zh) 2020-06-30

Family

ID=59620911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710172811.3A Active CN107063231B (zh) 2017-03-22 2017-03-22 一种基于双目视觉的拖拉机运动矢量预测方法

Country Status (1)

Country Link
CN (1) CN107063231B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283925A (zh) * 2018-08-15 2019-01-29 安徽农业大学 自走式高地隙拖拉机苗带识别与路径规划系统及实现方法
CN113016331A (zh) * 2021-02-26 2021-06-25 江苏大学 一种基于双目视觉的宽窄行再生稻收获调控系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060213167A1 (en) * 2003-12-12 2006-09-28 Harvey Koselka Agricultural robot system and method
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103729644A (zh) * 2013-12-11 2014-04-16 中国科学院长春光学精密机械与物理研究所 地基光测设备克服恒星穿越探测窗口干扰的卫星跟踪方法
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060213167A1 (en) * 2003-12-12 2006-09-28 Harvey Koselka Agricultural robot system and method
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN103413313A (zh) * 2013-08-19 2013-11-27 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103729644A (zh) * 2013-12-11 2014-04-16 中国科学院长春光学精密机械与物理研究所 地基光测设备克服恒星穿越探测窗口干扰的卫星跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283925A (zh) * 2018-08-15 2019-01-29 安徽农业大学 自走式高地隙拖拉机苗带识别与路径规划系统及实现方法
CN113016331A (zh) * 2021-02-26 2021-06-25 江苏大学 一种基于双目视觉的宽窄行再生稻收获调控系统及方法
CN113016331B (zh) * 2021-02-26 2022-04-26 江苏大学 一种基于双目视觉的宽窄行再生稻收获调控系统及方法

Also Published As

Publication number Publication date
CN107063231B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN103198477B (zh) 一种采用苹果套袋机器人进行视觉定位的方法
CN110084832A (zh) 相机位姿的纠正方法、装置、系统、设备和存储介质
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN104050712A (zh) 三维模型的建立方法和装置
WO2023274177A1 (zh) 地图构建方法、装置、设备、仓储系统及存储介质
CN114034299A (zh) 一种基于主动激光slam的导航系统
CN113447014A (zh) 室内移动机器人、建图方法、定位方法以及建图定位装置
CN107063231A (zh) 一种基于双目视觉的拖拉机运动矢量预测方法
CN103617631A (zh) 一种基于中心检测的跟踪方法
CN114241134A (zh) 一种基于人机交互的虚实融合三维物体快速碰撞检测系统
Feng et al. Object detection and localization based on binocular vision for autonomous vehicles
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人
CN106408593A (zh) 一种基于视频的车辆跟踪方法及装置
CN116576859A (zh) 路径导航方法、作业控制方法及相关装置
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
CN114474065A (zh) 机器人控制方法及其装置、机器人和存储介质
CN108151712B (zh) 一种人体三维建模及测量方法和系统
CN109754412B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN114911223A (zh) 一种机器人导航方法、装置、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant