CN107341814B - 基于稀疏直接法的四旋翼无人机单目视觉测程方法 - Google Patents
基于稀疏直接法的四旋翼无人机单目视觉测程方法 Download PDFInfo
- Publication number
- CN107341814B CN107341814B CN201710445837.0A CN201710445837A CN107341814B CN 107341814 B CN107341814 B CN 107341814B CN 201710445837 A CN201710445837 A CN 201710445837A CN 107341814 B CN107341814 B CN 107341814B
- Authority
- CN
- China
- Prior art keywords
- matrix
- frame
- camera
- points
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。本发明具有既能避免累积误差,保持长期较高的准确度,又能降低计算量的优点。
Description
技术领域
本发明涉及无人机导航定位技术领域,特别是一种无人机单目视觉测程方法。
背景技术
四旋翼无人机的实时位姿数据是定位、控制等方面的前提。携带单个或多个相机的载体,仅利用其图像输入对自身运动进行估计的过程叫做视觉测程(Visual Odometry,VO)。视觉测程通过感知输入图像的变化,增量地估计载体位姿。视觉测程算法的有效运行要求环境中光照充足,场景纹理足够丰富。
单目视觉测程仅利用单个相机作为输入,系统配置简单,适应环境尺度变化的能力强于多目视觉系统。现有的单目视觉测程方法一般利用分为特征点法和直接法。
特征法是提取每一帧图像特征中的的稀疏信息集合(如点,直线等),然后在连续帧间利用特征描述子(有多种定义)匹配,使用对极几何方法鲁棒地恢复相机运动和场景的结构信息,最终通过优化重投影误差来修正相机位姿和场景结构。此方法也存在一些缺点,比如无法适用于缺少特征点的场景;并且它强烈依赖特征检测和匹配阈值的准确性,当出现错匹配时对鲁棒估计技术的需求。直接法是通过图像的光度值直接估计场景结构和相机运动,利用了图像中的所有信息。相较于特征点法,在缺乏纹理特征的环境或者当运动模糊、相机失焦的情况下更具优势。且直接在图像上操作,没有特征检测和特征描述子计算的步骤,相较基于特征的方法来说计算量更小。然而,计算光度误差相较于计算重投影误差,计算任务更加繁重,因为它涉及整个图像区域。
本发明涉及的术语说明如下:
帧:在视觉测程领域,称获得的一幅图像为一帧,如:相机前一时刻获得的图像称为前一帧,相机当前时刻获得的图像称为当前帧,相机获得的连续两幅图像称为相邻帧等。
关键帧:由于当前相机的帧率较高,相邻帧之间的位姿变化往往比较小,为了增强运动估计的准确性,一般采取关键帧的策略,即在一定的位姿变化范围内,新得到的图像只与某一特定的帧进行对齐以估计当前的位姿,而只有当超出了一定的范围后,才采取新的特定的帧进行下一阶段的图像对齐,称这些用来进行图像对齐的特定帧为关键帧;
参考帧:用来对齐当前图像的帧成为当前图像的参考帧。
发明内容
本发明的目的在于提供一种既能避免累积误差,保持长期较高的准确度,又能降低计算量的基于稀疏直接法的四旋翼无人机单目视觉测程方法。
基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。
进一步,对于关键帧,其深度估计步骤:
A1:通过普通单目相机获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,用FAST(Features From Accelerated Segement Test,加速分段测试特征)特征法来检测特征点特征点数至少为8,并设定相机坐标系下的初始帧中各特征点的坐标形成的位置矩阵p=[x,y,z]·和相机坐标系下匹配帧中各特征点的坐标形成的的位置矩阵p'=[x',y',z']·;
A2:计算本征矩阵E=R×T,其中R为旋转矩阵,T为平移向量;本征矩阵和p,p'的关系为:p'TEp=0;分别使p和p'除以其z轴坐标得到将本征矩阵E齐次化得到Escale,由于设定的初始帧特征点数远大于八,利用八点法,结合最小二乘分解求出齐次化的本征矩阵Escale;
A3:奇异值分解齐次化的本征矩阵Escale:[U,D,V]=svd(Escale),
Escale=Udiag([1,1,0])VT,其中U,V均为单位化的向量;本征矩阵Escale须满足两奇异值相等,第三个值为零的充要条件;
A4:R,T各有两个解、因此R,T有四种组合;
A5:设初始帧坐标系Ir为参考坐标系,参考坐标系下的任意特征点p的齐次坐标为Pq=[xw,yw,zw,1]T,Ir的外参矩阵为由R,T求解得到匹配帧坐标系Im的外参矩阵初始帧和匹配帧坐标系与参考坐标系的关系为p=CrPq,p'=CmPq;进而p×CrPq=0,p'×CmPq=0,得到线性方程组
A6:根据步骤A5中的线性方程组通过最小二乘法求解可得Pq,Pq=[xw,yw,zw,1]T,将每一组R,T代入分别计算得到Pq,选择z轴坐标全为正的一组作为此时计算的点Pq在初始帧坐标系下的坐标点,求得特征点的深度值。zw即为z轴坐标值。将每一组R,T代入分别计算得到P,选择z轴坐标全为正的一组即可。
然而,由于特征点检测和匹配都存在误差,因此深度估计部分的R,T存在较大误差,采用稀疏矩阵直接法来求解更准确。在得到了特征点的深度值之后,通过稀疏直接法对所有帧做运动估计来求解四旋翼无人机的位姿。这种方法只提取稀疏的特征点但并不计算描述子,然后只用直接法计算特征点在下一时刻图像的位置,这种方法相较特征法来说去掉了计算描述子的时间大大提高了计算速率。
对于相机获取的所有帧图像做运动估计的具体步骤:
B1:获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,分别设相机坐标系下初始帧为Ir、匹配帧为Im,直接法的求解问题:给定初始帧图像和匹配帧图像下的特征点深度,特征点深度由关键帧深度估计获得,求解初始帧到匹配帧的位姿R,T,R为旋转矩阵,T为平移向量;
B2:初始帧Ir的外参矩阵为Ci=[I3×3 03×1],初始帧到匹配帧的转换矩阵为Cm∈R4 ×4;
B3:初始帧中的像素点坐标为匹配帧中的像素点坐标为Pq i=[Pq ix Pq iy Pq iz 1]·,Pq i为关键帧深度估计求得的初始帧中特征点的齐次坐标;其中:K∈R3×4,K为相机内参矩阵,cx表示相机光轴在图像坐标系中x轴的偏移量,cy表示相机光轴在图像坐标系中y轴的偏移量,fx表示x轴的焦距,fy表示y轴的焦距,K在相机标定中就可确定。
注意这里的像素点坐标为非齐次坐标,因此要引入矩阵D∈R2×3去掉齐次坐标Pq i的第三项。
B4:R,T在李群上无加法运算,不好求导,因此引入李代数的指数表征形式表征Cm=eξ,其中ξ=(w,v)·,w=(w1,w2,w3)·表征旋转运动,v=(v1,v2,v3)·表征平移运动,通过优化观察到相同特征点的对应连续两帧图像的像素的光度误差来求解相机的位姿;
B5:考虑单个像素误差,给定一个微小的扰动eδξ,得到
则雅克比矩阵(误差项对自变量的梯度)为
1.像素梯度
2.像素点对空间点的导数
B6:求出了单个像素误差的雅克比矩阵Ji,将采用稀疏矩阵直接法,提取特征点后选择在该点处给定范围的像素块来表征点特征点像素灰度值,然后选择空间点在两帧中均可视的那部分对应的在图像中的坐标点累加计算像素误差的雅克比矩阵,记作
B7:给定姿态初始值ξ0,重复步骤3-5,直至求得满足设定阈值条件的四旋翼无人机的位姿ξ*,即得到旋转矩阵和平移矩阵,从而积分后得到四旋翼无人机的位置和姿态信息。
优化光度误差的二范数的平方,
进一步,步骤B6中,给定范围的像素块为4×4的像素块,因该处梯度明显。
针对一般场景下的四旋翼无人机的状态估计问题,本专利提出了一种基于稀疏直接法的单目视觉里程计的设计方法,分为深度估计和运动估计两个部分。在深度估计部分,根据特征点法确定对应特征点,计算两帧之间的本征矩阵,分解本征矩阵,计算两帧间的旋转和平移,得到外参矩阵。然后根据三角法计算特征点深度。在运动估计部分,只提取稀疏的特征点但并不计算描述子,然后只用直接法计算特征点在下一时刻图像的位置,这种方法相较特征法来说去掉了计算描述子的时间,大大提高了计算速率。最后,利用像素的灰度信息在两帧间的灰度差作优化得到相机的运动位姿。对于一般帧,每帧图都会选择特征点附近固定大小的像素块,这样减少了整个图像的特征点检测和优化计算量,大大提高运算的速度。
由于使用特征点方法的匹配在特征的检测和描述子计算上会消耗极大地时间,基于实时性的考虑,并不是在每一帧都使用特征点方法求解位姿,而仅在关键帧时选择使用以下述方法求解特征点深度。关键帧采用每隔一段时间进行,由于两关键帧连续采样间隔较短,两帧之间的深度信息可以假设不变。
本发明的有益效果是:
1、四旋翼飞行器载荷能力有限,其搭载传感器数量和重量均受到限制。仅携带普通相机的四旋翼无人机,尽可能地减少机身本身的重量,延长四旋翼无人机的续航能力。
2、四旋翼飞行器具有快速的机动能力。为满足四旋翼无人机实时地位姿解算,采用稀疏直接法的单目视觉里程计,计算和优化量比传统的特征点法少很多,可以在机载板卡中实时计算,无需地面站实时处理数据,免除了地面站的外部传输,保证了实时性能。
3、采用了稀疏直接法方法,改进了特征点和传统直接法,针对关键帧,采用深度估计,用深度估计获得的深度值对所有帧做运动估计。该设计方法既采取了特征点法的优点,又无需每帧计算特征描述子,提高了计算速率。在实时性能上提升较多,保证了四旋翼无人机飞行过程中的实时位姿估计。
4、采用深度估计与运动估计相结合的稀疏直接法,巧妙地将两者的优势结合起来,相比单纯使用光流信息,避免了累计误差,保证长期较高的准确度。
5、在运动估计部分,对一般帧处理,选择特征点周围固定大小的像素块,避免了常规方法需要计算整个图像的较大计算。
附图说明
图1为初始帧和匹配帧匹配原理图。
图2为本发明深度估计部分的场景图。
图3为本发明运动估计部分的流程图。
具体实施方式
基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。
由于使用特征点方法的匹配在特征的检测和描述子计算上会消耗极大的时间,基于实时性的考虑,并不是在每一帧都使用特征点方法求解位姿,而仅在关键帧时选择使用以下述方法求解特征点深度。关键帧采用每隔一段时间进行,由于两关键帧连续采样间隔很短,两帧之间的深度信息可以假设不变。
对于关键帧,其深度估计步骤:
A1:通过普通单目相机获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,用FAST(Features From Accelerated Segement Test)特征法来检测特征点特征点数至少为8,并设定相机坐标系下的初始帧中各特征点的坐标形成的位置矩阵p=[x,y,z]·和相机坐标系下匹配帧中各特征点的坐标形成的的位置矩阵p'=[x',y',z']·;
A2:计算本征矩阵E=R×T,其中R为旋转矩阵,T为平移向量;本征矩阵和p,p'的关系为:p'TEp=0;分别使p和p'除以其z轴坐标得到将本征矩阵E齐次化得到Escale,由于设定的初始帧特征点数远大于八,利用八点法,结合最小二乘分解求出齐次化的本征矩阵Escale;
A3:奇异值分解齐次化的本征矩阵Escale:[U,D,V]=svd(Escale),
Escale=Udiag([1,1,0])VT,其中U,V均为单位化的向量;本征矩阵Escale须满足两奇异值相等,第三个值为零的充要条件:求解旋转矩阵R和平移向量T,其中RZ表示绕z轴旋转90度得到旋转矩阵
A4:R,T各有两个解、因此R,T有四种组合;
A5:设初始帧坐标系Ir为参考坐标系,参考坐标系下的任意特征点p的齐次坐标为Pq=[xw,yw,zw,1]T,Ir的外参矩阵为由R,T求解得到匹配帧坐标系Im的外参矩阵初始帧和匹配帧坐标系与参考坐标系的关系为p=CrPq,p'=CmPq;进而p×CrPq=0,p'×CmPq=0,得到线性方程组
A6:根据步骤A5中的线性方程组通过最小二乘法求解可得Pq,Pq=[xw,yw,zw,1]T,将每一组R,T代入分别计算得到Pq,选择z轴坐标全为正的一组作为此时计算的点Pq在初始帧坐标系下的坐标点,求得特征点的深度值。zw即为z轴坐标值。将每一组R,T代入分别计算得到P,选择z轴坐标全为正的一组即可。
然而,由于特征点检测和匹配都存在误差,因此深度估计部分的R,T存在较大误差,采用稀疏直接法来求解更准确。得到了特征点的深度值之后,通过稀疏直接法来求解四旋翼无人机的位姿,即运动估计。这种方法只提取稀疏的特征点但并不计算描述子,然后只用直接法计算特征点在下一时刻图像的位置,这种方法相较特征法来说去掉了计算描述子的时间大大提高了计算速率。
对于相机获取的所有帧图像做运动估计的具体步骤:
B1、获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,分别设相机坐标系下初始帧为Ir、匹配帧为Im,直接法的求解问题:给定初始帧图像和匹配帧图像下的特征点深度,特征点深度由关键帧深度估计获得,求解初始帧到匹配帧的位姿R,T,R为旋转矩阵,T为平移向量;
B2、设Ir为世界坐标系,则该帧的外参矩阵为Ci=[I3×3 03×1],初始帧到匹配帧的转换矩阵为Cm∈R4×4;
Pq i=[Pq ix Pq iy Pq iz 1]·,Pi q为关键帧深度估计求得的初始帧中特征点的齐次坐标;K∈R3×4,K为相机内参矩阵,cx表示相机光轴在图像坐标系中x轴的偏移量,cy表示相机光轴在图像坐标系中y轴的偏移量,fx表示x轴的焦距,fy表示y轴的焦距,K在相机标定中就可确定;
B4、R,T在李群上无加法运算,不好求导,因此引入李代数的指数表征形式表征Cm=eξ,其中ξ=(w,v)·,w=(w1,w2,w3)·表征旋转运动,v=(v1,v2,v3)·表征平移运动,通过优化观察到相同特征点的对应连续两帧图像的像素的光度误差来求解相机的位姿;
光度误差的优化方法为:
B4-2、优化光度误差的二范数的平方,
B5、考虑单个像素误差,给定一个微小的扰动eδξ,得到
则雅克比矩阵(误差项对自变量的梯度)为
1.像素梯度
2.像素点对空间点的导数
B6、求出了单个像素误差的雅克比矩阵Ji,将采用稀疏矩阵直接法,提取特征点后选择在该点处的4×4的像素块(该处梯度明显)来表征点特征点像素灰度值,然后选择空间点在两帧中均可视的那部分对应的在图像中的坐标点累加计算像素误差的雅克比矩阵,记作
B7、给定姿态初始值ξ0,重复步骤3-5,直至求得满足设定阈值条件的四旋翼无人机的位姿ξ*,即得到旋转矩阵和平移矩阵,从而积分后得到四旋翼无人机的位置和姿态信息。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的一般技术人员来说,本发明还可以有各种更改和变化。在不脱离本发明原理的前提下,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿;
对于关键帧,其深度估计步骤:
A1:通过普通单目相机获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,用FAST特征法来检测特征点特征点数至少为8,并设定相机坐标系下的初始帧中各特征点的坐标形成的位置矩阵p=[x,y,z]·和相机坐标系下匹配帧中各特征点的坐标形成的的位置矩阵p'=[x',y',z']·;
A2:计算本征矩阵E=R×T,其中R为旋转矩阵,T为平移向量;本征矩阵和p,p'的关系为:p'TEp=0;分别使p和p'除以其z轴坐标得到将本征矩阵E齐次化得到Escale,由于设定的初始帧特征点数远大于八,利用八点法,结合最小二乘分解求出齐次化的本征矩阵Escale;
A3:奇异值分解齐次化的本征矩阵Escale:[U,D,V]=svd(Escale),Escale=Udiag([1,1,0])VT,其中U,V均为单位化的向量;本征矩阵Escale须满足两奇异值相等,第三个值为零的充要条件;
A4:R,T各有两个解、因此R,T有四种组合;
A5:设初始帧坐标系Ir为参考坐标系,参考坐标系下的任意特征点p的齐次坐标为Pq=[xw,yw,zw,1]T,Ir的外参矩阵为Cr,由R,T求解得到匹配帧坐标系Im的外参矩阵Cm,初始帧和匹配帧坐标系与参考坐标系的关系为p=CrPq,p'=CmPq;进而p×CrPq=0,p'×CmPq=0,得到线性方程组
A6:根据步骤A5中的线性方程组通过最小二乘法求解可得Pq,Pq=[xw,yw,zw,1]T,将每一组R,T代入分别计算得到Pq,选择z轴坐标全为正的一组作为此时计算的点Pq在初始帧坐标系下的坐标点,求得特征点的深度值。
3.如权利要求2所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于相机获取的所有帧图像做运动估计的具体步骤:
B1:获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,分别设相机坐标系下初始帧为Ir、匹配帧为Im,直接法的求解问题:给定初始帧图像和匹配帧图像下的特征点深度,特征点深度由关键帧深度估计获得,求解初始帧到匹配帧的位姿R,T,R为旋转矩阵,T为平移向量;
B2:初始帧Ir的外参矩阵为Ci=[I3×3 03×1],初始帧到匹配帧的转换矩阵为Cm∈R4×4;
B3:初始帧中的像素点坐标为匹配帧中的像素点坐标为Pq i=[Pq ix Pq iy Pq iz 1]·,Pq i为关键帧深度估计求得的初始帧中特征点的齐次坐标;其中:K∈R3×4,K为相机内参矩阵,cx表示相机光轴在图像坐标系中x轴的偏移量,cy表示相机光轴在图像坐标系中y轴的偏移量,fx表示x轴的焦距,fy表示y轴的焦距,K在相机标定中就可确定;
B4:R,T在李群上无加法运算,不好求导,因此引入李代数的指数表征形式表征Cm=eξ,其中ξ=(w,v)·,w=(w1,w2,w3)·表征旋转运动,v=(v1,v2,v3)·表征平移运动,通过优化观察到相同特征点的对应连续两帧图像的像素的光度误差来求解相机的位姿;
B5:考虑单个像素误差,给定一个微小的扰动eδξ,得到
1).像素梯度
2).像素点对空间点的导数
B6:求出了单个像素误差的雅克比矩阵Ji,将采用稀疏矩阵直接法,提取特征点后选择在该点处给定范围的像素块来表征点特征点像素灰度值,然后选择空间点在两帧中均可视的那部分对应的在图像中的坐标点累加计算像素误差的雅克比矩阵,记作
B7:给定姿态初始值ξ0,重复步骤3-5,直至求得满足设定阈值条件的四旋翼无人机的位姿ξ*,即得到旋转矩阵和平移矩阵,从而积分后得到四旋翼无人机的位置和姿态信息。
5.如权利要求4所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:步骤B6中,给定范围的像素块为4×4的像素块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710445837.0A CN107341814B (zh) | 2017-06-14 | 2017-06-14 | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710445837.0A CN107341814B (zh) | 2017-06-14 | 2017-06-14 | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341814A CN107341814A (zh) | 2017-11-10 |
CN107341814B true CN107341814B (zh) | 2020-08-18 |
Family
ID=60221543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710445837.0A Active CN107341814B (zh) | 2017-06-14 | 2017-06-14 | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341814B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107833249B (zh) * | 2017-09-29 | 2020-07-07 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
CN108036785A (zh) * | 2017-11-24 | 2018-05-15 | 浙江大学 | 一种基于直接法与惯导融合的飞行器位姿估计方法 |
CN110152293B (zh) * | 2018-02-13 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 操控对象的定位方法及装置、游戏对象的定位方法及装置 |
CN108615244B (zh) * | 2018-03-27 | 2019-11-15 | 中国地质大学(武汉) | 一种基于cnn和深度滤波器的图像深度估计方法及系统 |
CN108955718B (zh) * | 2018-04-10 | 2022-08-09 | 中国科学院深圳先进技术研究院 | 一种视觉里程计及其定位方法、机器人以及存储介质 |
CN108711166B (zh) * | 2018-04-12 | 2022-05-03 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
CN109029417B (zh) * | 2018-05-21 | 2021-08-10 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
CN108986037B (zh) * | 2018-05-25 | 2020-06-16 | 重庆大学 | 基于半直接法的单目视觉里程计定位方法及定位系统 |
CN108927807B (zh) * | 2018-08-14 | 2020-08-07 | 河南工程学院 | 一种基于点特征的机器人视觉控制方法 |
CN109544636B (zh) * | 2018-10-10 | 2022-03-15 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
CN111098850A (zh) * | 2018-10-25 | 2020-05-05 | 北京初速度科技有限公司 | 一种自动停车辅助系统及自动泊车方法 |
CN109887030A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 |
CN114170307A (zh) * | 2019-09-30 | 2022-03-11 | 深圳市瑞立视多媒体科技有限公司 | 单相机环境中主动式刚体的位姿定位方法及相关设备 |
CN111795704B (zh) * | 2020-06-30 | 2022-06-03 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
CN112330735B (zh) * | 2020-10-26 | 2022-06-17 | 武汉中海庭数据技术有限公司 | 一种车体相对位置测量精度置信度评估方法及系统 |
CN112529936B (zh) * | 2020-11-17 | 2023-09-05 | 中山大学 | 一种用于室外无人机的单目稀疏光流算法 |
CN112734844B (zh) * | 2021-01-08 | 2022-11-08 | 河北工业大学 | 一种基于正八面体的单目6d位姿估计方法 |
CN113239936B (zh) * | 2021-04-26 | 2024-05-28 | 大连理工大学 | 一种基于深度学习与特征点提取的无人机视觉导航方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2112630A1 (en) * | 2008-04-22 | 2009-10-28 | Honeywell International Inc. | Method and system for real-time visual odometry |
CN102967305A (zh) * | 2012-10-26 | 2013-03-13 | 南京信息工程大学 | 基于大小回字标志物的多旋翼无人机位姿获取方法 |
CN104537709A (zh) * | 2014-12-15 | 2015-04-22 | 西北工业大学 | 一种基于位姿变化的实时三维重建关键帧确定方法 |
CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
CN104899590A (zh) * | 2015-05-21 | 2015-09-09 | 深圳大学 | 一种无人机视觉目标跟随方法及系统 |
CN105809687A (zh) * | 2016-03-08 | 2016-07-27 | 清华大学 | 一种基于图像中边沿点信息的单目视觉测程方法 |
US9609288B1 (en) * | 2015-12-31 | 2017-03-28 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3086283B1 (en) * | 2015-04-21 | 2019-01-16 | Hexagon Technology Center GmbH | Providing a point cloud using a surveying instrument and a camera device |
-
2017
- 2017-06-14 CN CN201710445837.0A patent/CN107341814B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2112630A1 (en) * | 2008-04-22 | 2009-10-28 | Honeywell International Inc. | Method and system for real-time visual odometry |
CN102967305A (zh) * | 2012-10-26 | 2013-03-13 | 南京信息工程大学 | 基于大小回字标志物的多旋翼无人机位姿获取方法 |
CN104537709A (zh) * | 2014-12-15 | 2015-04-22 | 西北工业大学 | 一种基于位姿变化的实时三维重建关键帧确定方法 |
CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
CN104899590A (zh) * | 2015-05-21 | 2015-09-09 | 深圳大学 | 一种无人机视觉目标跟随方法及系统 |
US9609288B1 (en) * | 2015-12-31 | 2017-03-28 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
CN105809687A (zh) * | 2016-03-08 | 2016-07-27 | 清华大学 | 一种基于图像中边沿点信息的单目视觉测程方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107341814A (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
CN110223348B (zh) | 基于rgb-d相机的机器人场景自适应位姿估计方法 | |
CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
CN107747941B (zh) | 一种双目视觉定位方法、装置及系统 | |
CN107255476B (zh) | 一种基于惯性数据和视觉特征的室内定位方法和装置 | |
CN105809687B (zh) | 一种基于图像中边沿点信息的单目视觉测程方法 | |
CN112598757B (zh) | 一种多传感器时间空间标定方法及装置 | |
CN106780576A (zh) | 一种面向rgbd数据流的相机位姿估计方法 | |
CN110533724B (zh) | 基于深度学习和注意力机制的单目视觉里程计的计算方法 | |
CN113393522A (zh) | 一种基于单目rgb相机回归深度信息的6d位姿估计方法 | |
CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN114485637A (zh) | 头戴式增强现实系统的视觉和惯性混合位姿跟踪方法 | |
CN111273701B (zh) | 一种云台视觉控制系统以及控制方法 | |
Kostavelis et al. | Visual odometry for autonomous robot navigation through efficient outlier rejection | |
CN114494150A (zh) | 一种基于半直接法的单目视觉里程计的设计方法 | |
CN112233149A (zh) | 场景流的确定方法及装置、存储介质、电子装置 | |
CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及系统 | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN114812601A (zh) | 视觉惯性里程计的状态估计方法、装置、电子设备 | |
CN117115252A (zh) | 一种基于视觉的仿生扑翼无人机空间位姿估计方法 | |
CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
CN113920194B (zh) | 基于视觉惯性融合的四旋翼飞行器定位方法 | |
CN115578417A (zh) | 一种基于特征点深度的单目视觉惯性里程计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |