CN109903309A - 一种基于角度光流法的机器人运动信息估计方法 - Google Patents
一种基于角度光流法的机器人运动信息估计方法 Download PDFInfo
- Publication number
- CN109903309A CN109903309A CN201910011867.XA CN201910011867A CN109903309A CN 109903309 A CN109903309 A CN 109903309A CN 201910011867 A CN201910011867 A CN 201910011867A CN 109903309 A CN109903309 A CN 109903309A
- Authority
- CN
- China
- Prior art keywords
- robot
- optical flow
- characteristic point
- moment
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003287 optical effect Effects 0.000 title claims abstract description 21
- 239000000284 extract Substances 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- RSWGJHLUYNHPMX-UHFFFAOYSA-N Abietic-Saeure Natural products C12CCC(C(C)C)=CC2=CCC2C1(C)CCCC2(C)C(O)=O RSWGJHLUYNHPMX-UHFFFAOYSA-N 0.000 description 1
- KHPCPRHQVVSZAH-HUOMCSJISA-N Rosin Natural products O(C/C=C/c1ccccc1)[C@H]1[C@H](O)[C@@H](O)[C@@H](O)[C@@H](CO)O1 KHPCPRHQVVSZAH-HUOMCSJISA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- KHPCPRHQVVSZAH-UHFFFAOYSA-N trans-cinnamyl beta-D-glucopyranoside Natural products OC1C(O)C(O)C(CO)OC1OCC=CC1=CC=CC=C1 KHPCPRHQVVSZAH-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于角度光流法的机器人运动信息估计方法,步骤是:步骤1,获取机器人移动的连续两帧图像I,J,提取特征点;步骤2,计算特征点在对应两帧图像I,J时刻的角点方向θ;步骤3,基于灰度不变性假设计算x,y,θ,t与u,v,ω的关系式;步骤4,在特征点周围选择一个w×w块,得到w2对特征点,然后假设窗口中的所有像素具有相同的运动,考虑一个大小为w×w的窗口,包含w2个像素,则窗口中的所有像素具有相同的运动,从而得到w2个方程式,求解后,得到机器人此刻x,y方向的速度u,v以及航向角速度ω,得到此时机器人的位置状态信息。此种方法可直接计算角度偏移量,最终获得准确的摄像机位置和角度估计,减少运动信息估计的计算强度,更适用于工程实践。
Description
技术领域
本发明属于计算机视觉领域,特别涉及一种无人机悬停或移动机器人的运动信息估计方法。
背景技术
虽然现在已有许多方法使用多个相机或多个主动传感器来提供精确测量进行导航,但它们的感知范围相对比较局限,并且对于小型机器人来说笨重而且成本高,因此,使用单目相机是更好的选择,可以实现减轻重量以及降低功耗的目的。
早期的光流法之一是Horn-Schunck光流法,它是基于相同速率的明亮图案几乎在图像中的所有地方都平滑变化的假设,使用相位相关法,通过块匹配计算光流,接着通过一个额外的优化步骤在几个候选之间找到更平滑的运动场。为了减少噪声影响,提出了一些基于特征跟踪的方法,例如,FAST算法。Benosman表明,通过估计时空域中的平面,可以以线性方式从每个事件周围的局部窗口估计光流。这些算法都需要大量手工计算的异常值抑制方案,它们并不能正确地对传感器的输出进行建模。
因此,可以使用基于图像生成帧的事件相机采集的数据来训练网络,例如由Brandli等人开发的动态和主动感知像素视觉传感器(DAVIS),避免了对昂贵的数据标记的需要。但是,对于嵌入式系统,昂贵的DAVIS并不适用。虽然事件相机可以实现高帧率和低功率性能,但目前它太昂贵,而且这种相机已经失去了基本的照相能力,并且现有方法只能提供两个自由度的相机信息,即在x轴和y轴上的位移信息,不能提供相机的旋转角度信息。
现有的光流法主要通过寻找图像序列中的像素点在时域上的变化,相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息。在实际应用光流法进行运动物体检测中,由于其具有计算量很大,计算耗时长,并且对于变化的光线敏感的缺点,无法保证其实时性和实用性,并不能有效地应用到运动信息的估计中。
发明内容
本发明的目的,在于提供一种基于角度光流法的机器人运动信息估计方法,其可直接计算角度偏移量,最终获得准确的摄像机位置和角度估计,减少运动信息估计的计算强度,更适用于工程实践。
为了达成上述目的,本发明的解决方案是:
一种机器人运动信息估计方法,包括如下步骤:
步骤1,获取机器人移动的连续两帧图像I,J,提取特征点;
步骤2,计算特征点在对应两帧图像I,J时刻的角点方向θ;
步骤3,基于灰度不变性假设计算x,y,θ,t与u,v,ω的关系式;
步骤4,在特征点周围选择一个w×w块,得到w2对特征点,然后假设窗口中的所有像素具有相同的运动,考虑一个大小为w×w的窗口,其中包含w2个像素,则窗口中的所有像素具有相同的运动,从而得到w2个方程式,求解后,得到机器人此刻x,y方向的速度u,v以及航向角速度ω,得到此时机器人的位置状态信息。
上述步骤1中,利用机器人上的单目相机获取图像。
上述步骤1中,利用Oriented FAST方法提取特征点。
上述步骤2中,利用灰度质心法确定角点方向θ,具体过程是:首先定义块的力矩:
mpq=∑x,yxpyqI(x,y)
其中,mpq表示特征点领域的(p+q)阶矩,I(x,y)表示特征点坐标,x,y分别表示特征点在坐标轴x,y上的坐标,xp指x的p次方,yq指y的q次方;
通过这些力矩,找到质心为:
构造一个向量从角的中心O到质心则块的方向简化为:
θ=atan2(m01,m10)
得到每个特征点在图像坐标系中的坐标。
上述步骤3的具体内容是:
假设第一帧图像I有一个图像点u=[ux uy uθ]T,当I(u)和J(v)相同时,第二帧图像J上的位置v=u+d=[ux+dx uy+dy uθ+dθ]T,向量是d=[dx dy dθ]T图像偏移量,对其进行一阶泰勒级数展开的公式:
基于灰度不变性的假设:
I(x+dx,y+dy,θ+dθ,t+dt)=I(x,y,θ,t)
I(x,y,θ,t)表示在时间为t,位置为(x,y),角度为θ的像素位置;
从而得到:
其中,Ix,Iy,Iθ表示图像点k处I(x,y,θ,t)对x,y,θ的偏导;u,v,ω表示x,y,θ方向的速度。
上述步骤4中,w2个方程式的表达式是:
等式就变成:
其中:
使用最小二乘法来求解这个超定线性方程组:
从而得到机器人此刻x,y方向的速度u,v以及航向角速度ω。
采用上述方案后,本发明进行物体运动信息估计时,仅使用一个单目相机通过Oriented FAST方法使每个特征点包含具有位置与时间的信息为I(x,y,θ,t),利用灰度不变性假设最终获得物体此刻运动信息u,v,ω,实现这一时刻物体的运动信息估计。本发明将基于特征方法丰富的特征信息与光流法的精度和速度相结合,通过更便捷的计算得到运动物体在任意水平面上的航向角信息,减少运动信息估计的计算强度,更适用于工程实践。与经典光流法相比,本发明可以直接计算角度偏移量,最终获得准确的摄像机位置和角度估计,主要可应用于无人机的悬停技术以及移动机器人的定位技术中去。
附图说明
图1是本发明的流程图;
图2是角度光流示意图。
具体实施方式
以下将结合附图,对本发明的技术方案及有益效果进行详细说明。
如图1所示,本发明提供一种基于角度光流法的机器人运动信息估计方法,包括如下步骤:
步骤1,通过机器人上的单目相机获得连续两帧图像I,J,利用ORB的作者Rublee提出的Oriented FAST方法(具有旋转不变性的特征点检测方法)提取特征点;
步骤2,计算特征点在对应两帧图像I,J时刻的角点方向θ;
具体来说,利用灰度质心法来确定角点方向θ,灰度质心假设角的强度可以与其中心的强度相抵消,并且该向量可用于估算方向。Rosin将块的力矩定义为:
mpq=∑x,yxpyqI(x,y) (1)
mpq表示特征点领域的(p+q)阶矩,例如图像的0阶矩为:m00=∑x,yI(x,y),1阶矩为m10=∑x,vxI(x,y)。其中,I(x,y)表示特征点坐标,x,y分别表示特征点在坐标轴x,y上的坐标,xp指x的p次方,yq指y的q次方。
通过这些力矩,我们可以找到质心:
其中,代表了图像像素在x方向上的偏重,这就是重心x的坐标,m10=∑x,yxI(x,y)表示像素在x方向上的累加,m00=∑x,yI(x,y)表示像素块总和;代表了图像像素在y方向上的偏重,这就是重心y的坐标。m01=∑x,yyI(x,y)表示像素在y方向上的累加
我们构造一个向量从角的中心O到质心则块的方向可以简化为:
θ=atan2(m01,m10) (3)
其中,atan2表示特征点I(x,y)到点(m10,m01)的方位角。
因此,每个Oriented FAST特征点在图像坐标系中都有一个坐标。
步骤3,基于灰度不变性假设计算x,y,θ,t与u,v,ω关系式;
由于每个Oriented FAST特征点在图像坐标系中都有一个对应的坐标,也即每个特征点具有4维信息(x,y,θ,t),其中,t为时间,(x,y)为位置,θ为角度。
假设第一帧图像I有一个图像点k=[ux uy uθ]T。当I(k)和J(l)相同时,我们的目标是找到第二帧图像J上的 位置l=k+d=[ux+dx uy+dy uθ+dθ]T,向量是d=[dx dy dθ]T图像偏移量。对其进行一阶泰勒级数展开的公式:
基于灰度不变性的假设:
I(x+dx,y+dy,θ+dθ,t+dt)=I(x,y,θ,t) (5)
I(x,y,θ,t)表示在时间为t,位置为(x,y),角度为θ的像素位置。
因此,我们可以得到:
其中,Ix,Iy,Iθ表示图像点k处I(x,y,θ,t)对x,y,θ的偏导;u,v,ω表示x,y,θ方向的速度。
步骤4,如果只有一个点时,我们只能得到运动的弧度。我们在特征点周围选择一个w×w块,这样就有w2对特征点。然而只有三个变量的一阶方程,不足以计算像素移动量(u,v,ω),因此,必须引入额外的约束来计算(u,v,ω)。在角度光流中,我们假设窗口中的所有像素具有相同的运动。考虑一个大小为w×w的窗口,其中包含w2个像素,则窗口中的所有像素具有相同的运动,因此我们总共可以得到w2个方程式:
所以,等式就变成:
其中:
使用最小二乘法来求解这个超定线性方程组:
最终,我们通过从单目相机获取的机器人运动信息得到了机器人此刻x,y方向的速度u,v以及航向角速度ω,得到此时机器人的位置状态信息。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (6)
1.一种基于角度光流法的机器人运动信息估计方法,其特征在于包括如下步骤:
步骤1,获取机器人移动的连续两帧图像I,J,提取特征点;
步骤2,计算特征点在对应两帧图像I,J时刻的角点方向θ;
步骤3,基于灰度不变性假设计算x,y,θ,t与u,v,ω的关系式;
步骤4,在特征点周围选择一个w×w块,得到w2对特征点,然后假设窗口中的所有像素具有相同的运动,考虑一个大小为w×w的窗口,其中包含w2个像素,则窗口中的所有像素具有相同的运动,从而得到w2个方程式,求解后,得到机器人此刻x,y方向的速度u,v以及航向角速度ω,得到此时机器人的位置状态信息。
2.如权利要求1所述的一种基于角度光流法的机器人运动信息估计方法,其特征在于:所述步骤1中,利用机器人上的单目相机获取图像。
3.如权利要求1所述的一种基于角度光流法的机器人运动信息估计方法,其特征在于:所述步骤1中,利用Oriented FAST方法提取特征点。
4.如权利要求1所述的一种基于角度光流法的机器人运动信息估计方法,其特征在于:所述步骤2中,利用灰度质心法确定角点方向θ,具体过程是:首先定义块的力矩:
mpq=∑x,yxpyqI(x,y)
其中,mpq表示特征点领域的(p+q)阶矩,I(x,y)表示特征点坐标,x,y分别表示特征点在坐标轴x,y上的坐标,xp指x的p次方,yq指y的q次方;
通过这些力矩,找到质心为:
构造一个向量从角的中心O到质心则块的方向简化为:
θ=atan2(m01,m10)
得到每个特征点在图像坐标系中的坐标。
5.如权利要求1所述的一种基于角度光流法的机器人运动信息估计方法,其特征在于:所述步骤3的具体内容是:
假设第一帧图像Ι有一个图像点u=[ux uy uθ]T,当Ι(u)和J(v)相同时,第二帧图像J上的位置v=u+d=[ux+dxuy+dy uθ+dθ]T,向量是d=[dx dy dθ]T图像偏移量,对其进行一阶泰勒级数展开的公式:
基于灰度不变性的假设:
I(x+dx,y+dy,θ+dθ,t+dt)=I(x,y,θ,t)
I(x,y,θ,t)表示在时间为t,位置为(x,y),角度为θ的像素位置;
从而得到:
其中,Ix,Iy,Iθ表示图像点k处I(x,y,θ,t)对x,y,θ的偏导;u,v,ω表示x,y,θ方向的速度。
6.如权利要求1所述的一种基于角度光流法的机器人运动信息估计方法,其特征在于:所述步骤4中,w2个方程式的表达式是:
等式就变成:
其中:
使用最小二乘法来求解这个超定线性方程组:
从而得到机器人此刻x,y方向的速度u,v以及航向角速度ω。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910011867.XA CN109903309B (zh) | 2019-01-07 | 2019-01-07 | 一种基于角度光流法的机器人运动信息估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910011867.XA CN109903309B (zh) | 2019-01-07 | 2019-01-07 | 一种基于角度光流法的机器人运动信息估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109903309A true CN109903309A (zh) | 2019-06-18 |
CN109903309B CN109903309B (zh) | 2023-05-12 |
Family
ID=66943577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910011867.XA Active CN109903309B (zh) | 2019-01-07 | 2019-01-07 | 一种基于角度光流法的机器人运动信息估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109903309B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160218A (zh) * | 2021-05-12 | 2021-07-23 | 深圳龙岗智能视听研究院 | 一种基于事件相机的检测物体运动强度的方法 |
CN115962783A (zh) * | 2023-03-16 | 2023-04-14 | 太原理工大学 | 掘进机截割头的定位方法及掘进机 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999759A (zh) * | 2012-11-07 | 2013-03-27 | 东南大学 | 一种基于光流的车辆运动状态估计方法 |
CN103745458A (zh) * | 2013-12-26 | 2014-04-23 | 华中科技大学 | 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法 |
CN104880187A (zh) * | 2015-06-09 | 2015-09-02 | 北京航空航天大学 | 一种基于双摄像机的飞行器光流检测装置的运动估计方法 |
CN106989744A (zh) * | 2017-02-24 | 2017-07-28 | 中山大学 | 一种融合机载多传感器的旋翼无人机自主定位方法 |
-
2019
- 2019-01-07 CN CN201910011867.XA patent/CN109903309B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999759A (zh) * | 2012-11-07 | 2013-03-27 | 东南大学 | 一种基于光流的车辆运动状态估计方法 |
CN103745458A (zh) * | 2013-12-26 | 2014-04-23 | 华中科技大学 | 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法 |
US20150242700A1 (en) * | 2013-12-26 | 2015-08-27 | Huazhong University Of Science And Technology | Method for estimating rotation axis and mass center of spatial target based on binocular optical flows |
CN104880187A (zh) * | 2015-06-09 | 2015-09-02 | 北京航空航天大学 | 一种基于双摄像机的飞行器光流检测装置的运动估计方法 |
CN106989744A (zh) * | 2017-02-24 | 2017-07-28 | 中山大学 | 一种融合机载多传感器的旋翼无人机自主定位方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160218A (zh) * | 2021-05-12 | 2021-07-23 | 深圳龙岗智能视听研究院 | 一种基于事件相机的检测物体运动强度的方法 |
CN113160218B (zh) * | 2021-05-12 | 2023-06-20 | 深圳龙岗智能视听研究院 | 一种基于事件相机的检测物体运动强度的方法 |
CN115962783A (zh) * | 2023-03-16 | 2023-04-14 | 太原理工大学 | 掘进机截割头的定位方法及掘进机 |
Also Published As
Publication number | Publication date |
---|---|
CN109903309B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110125928B (zh) | 一种基于前后帧进行特征匹配的双目惯导slam系统 | |
CN112749665B (zh) | 一种基于图像边缘特征的视觉惯性slam方法 | |
CN113223045B (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位系统 | |
Jia et al. | Sensor fusion-based visual target tracking for autonomous vehicles with the out-of-sequence measurements solution | |
Wen et al. | Hybrid semi-dense 3D semantic-topological mapping from stereo visual-inertial odometry SLAM with loop closure detection | |
CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
CN111735445A (zh) | 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法 | |
CN114608561A (zh) | 一种基于多传感器融合的定位与建图方法及系统 | |
CN114708293A (zh) | 基于深度学习点线特征和imu紧耦合的机器人运动估计方法 | |
CN115307646B (zh) | 一种多传感器融合的机器人定位方法、系统及装置 | |
CN113066129A (zh) | 基于动态环境下的目标检测的视觉定位与建图系统 | |
CN109903309B (zh) | 一种基于角度光流法的机器人运动信息估计方法 | |
CN114494150A (zh) | 一种基于半直接法的单目视觉里程计的设计方法 | |
CN116879870A (zh) | 一种适用于低线束3d激光雷达的动态障碍物去除方法 | |
Yu et al. | Drso-slam: A dynamic rgb-d slam algorithm for indoor dynamic scenes | |
CN116953723A (zh) | 机车检修车间环境中移动机器人即时定位与地图构建方法 | |
CN117218210A (zh) | 一种基于仿生眼的双目主动视觉半稠密深度估计方法 | |
CN112945233B (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN112907633A (zh) | 动态特征点识别方法及其应用 | |
CN111696155A (zh) | 一种基于单目视觉的多传感融合机器人定位方法 | |
CN116045965A (zh) | 一种融合多传感器的环境地图构建方法 | |
Hou et al. | Fusing optical flow and inertial data for UAV motion estimation in GPS-denied environment | |
Wu et al. | Research progress of obstacle detection based on monocular vision | |
CN111239761B (zh) | 一种用于室内实时建立二维地图的方法 | |
Aqel et al. | Estimation of image scale variations in monocular visual odometry systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210607 Address after: Room 258, No.606, ningliu Road, Changlu street, Jiangbei new district, Nanjing City, Jiangsu Province, 210000 Applicant after: Nanjing Huake Guangfa Communication Technology Co.,Ltd. Address before: 264000 No. 36, No. three road, Yantai high tech Zone, Shandong Applicant before: SHANDONG DIKAER INTELLIGENT TECHNOLOGY Co.,Ltd. Applicant before: NANJING HUIYING ELECTRONIC TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |