CN107341814A - 基于稀疏直接法的四旋翼无人机单目视觉测程方法 - Google Patents

基于稀疏直接法的四旋翼无人机单目视觉测程方法 Download PDF

Info

Publication number
CN107341814A
CN107341814A CN201710445837.0A CN201710445837A CN107341814A CN 107341814 A CN107341814 A CN 107341814A CN 201710445837 A CN201710445837 A CN 201710445837A CN 107341814 A CN107341814 A CN 107341814A
Authority
CN
China
Prior art keywords
frame
matrix
characteristic point
point
direct method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710445837.0A
Other languages
English (en)
Other versions
CN107341814B (zh
Inventor
陈特欢
叶波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201710445837.0A priority Critical patent/CN107341814B/zh
Publication of CN107341814A publication Critical patent/CN107341814A/zh
Application granted granted Critical
Publication of CN107341814B publication Critical patent/CN107341814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。本发明具有既能避免累积误差,保持长期较高的准确度,又能降低计算量的优点。

Description

基于稀疏直接法的四旋翼无人机单目视觉测程方法
技术领域
本发明涉及无人机导航定位技术领域,特别是一种无人机单目视觉测程方法。
背景技术
四旋翼无人机的实时位姿数据是定位、控制等方面的前提。携带单个或多个相机的载体,仅利用其图像输入对自身运动进行估计的过程叫做视觉测程(Visual Odometry,VO)。视觉测程通过感知输入图像的变化,增量地估计载体位姿。视觉测程算法的有效运行要求环境中光照充足,场景纹理足够丰富。
单目视觉测程仅利用单个相机作为输入,系统配置简单,适应环境尺度变化的能力强于多目视觉系统。现有的单目视觉测程方法一般利用分为特征点法和直接法。
特征法是提取每一帧图像特征中的的稀疏信息集合(如点,直线等),然后在连续帧间利用特征描述子(有多种定义)匹配,使用对极几何方法鲁棒地恢复相机运动和场景的结构信息,最终通过优化重投影误差来修正相机位姿和场景结构。此方法也存在一些缺点,比如无法适用于缺少特征点的场景;并且它强烈依赖特征检测和匹配阈值的准确性,当出现错匹配时对鲁棒估计技术的需求。直接法是通过图像的光度值直接估计场景结构和相机运动,利用了图像中的所有信息。相较于特征点法,在缺乏纹理特征的环境或者当运动模糊、相机失焦的情况下更具优势。且直接在图像上操作,没有特征检测和特征描述子计算的步骤,相较基于特征的方法来说计算量更小。然而,计算光度误差相较于计算重投影误差,计算任务更加繁重,因为它涉及整个图像区域。
本发明涉及的术语说明如下:
帧:在视觉测程领域,称获得的一幅图像为一帧,如:相机前一时刻获得的图像称为前一帧,相机当前时刻获得的图像称为当前帧,相机获得的连续两幅图像称为相邻帧等。
关键帧:由于当前相机的帧率较高,相邻帧之间的位姿变化往往比较小,为了增强运动估计的准确性,一般采取关键帧的策略,即在一定的位姿变化范围内,新得到的图像只与某一特定的帧进行对齐以估计当前的位姿,而只有当超出了一定的范围后,才采取新的特定的帧进行下一阶段的图像对齐,称这些用来进行图像对齐的特定帧为关键帧;
参考帧:用来对齐当前图像的帧成为当前图像的参考帧。
发明内容
本发明的目的在于提供一种既能避免累积误差,保持长期较高的准确度,又能降低计算量的基于稀疏直接法的四旋翼无人机单目视觉测程方法。
基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。
进一步,对于关键帧,其深度估计步骤:
A1:通过普通单目相机获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,用FAST(Features From Accelerated Segement Test,加速分段测试特征)特征法来检测特征点特征点数至少为8,并设定相机坐标系下的初始帧中各特征点的坐标形成的位置矩阵p=[x,y,z]·和相机坐标系下匹配帧中各特征点的坐标形成的的位置矩阵p'=[x',y',z']·
A2:计算本征矩阵E=R×T,其中R为旋转矩阵,T为平移向量;本征矩阵和p,p'的关系为:p'TEp=0;分别使p和p'除以其z轴坐标得到将本征矩阵E齐次化得到Escale,由于设定的初始帧特征点数远大于八,利用八点法,结合最小二乘分解求出齐次化的本征矩阵Escale
A3:奇异值分解齐次化的本征矩阵Escale:[U,D,V]=svd(Escale),
Escale=Udiag([1,1,0])VT,其中U,V均为单位化的向量;本征矩阵Escale须满足两奇异值相等,第三个值为零的充要条件;
A4:R,T各有两个解、因此R,T有四种组合;
A5:设初始帧坐标系Ir为参考坐标系,参考坐标系下的任意特征点p的齐次坐标为Pq=[xw,yw,zw,1]T,Ir的外参矩阵为由R,T求解得到匹配帧坐标系Im的外参矩阵初始帧和匹配帧坐标系与参考坐标系的关系为p=CrPq,p'=CmPq;进而p×CrPq=0,p'×CmPq=0,得到线性方程组
A6:根据步骤A5中的线性方程组通过最小二乘法求解可得Pq,Pq=[xw,yw,zw,1]T,将每一组R,T代入分别计算得到Pq,选择z轴坐标全为正的一组作为此时计算的点Pq在初始帧坐标系下的坐标点,求得特征点的深度值。zw即为z轴坐标值。将每一组R,T代入分别计算得到P,选择z轴坐标全为正的一组即可。
进一步,步骤A3中使本征矩阵Escale满足两奇异值相等,第三个值为零的充要条件的方法为:求解旋转矩阵R和平移向量T,其中RZ表示绕z轴旋转90度得到旋转矩阵
然而,由于特征点检测和匹配都存在误差,因此深度估计部分的R,T存在较大误差,采用稀疏矩阵直接法来求解更准确。在得到了特征点的深度值之后,通过稀疏直接法对所有帧做运动估计来求解四旋翼无人机的位姿。这种方法只提取稀疏的特征点但并不计算描述子,然后只用直接法计算特征点在下一时刻图像的位置,这种方法相较特征法来说去掉了计算描述子的时间大大提高了计算速率。
对于相机获取的所有帧图像做运动估计的具体步骤:
B1:获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,分别设相机坐标系下初始帧为Ir、匹配帧为Im,直接法的求解问题:给定初始帧图像和匹配帧图像下的特征点深度,特征点深度由关键帧深度估计获得,求解初始帧到匹配帧的位姿R,T,R为旋转矩阵,T为平移向量;
B2:初始帧Ir的外参矩阵为Ci=[I3×3 03×1],初始帧到匹配帧的转换矩阵为Cm∈R4 ×4
B3:初始帧中的像素点坐标为匹配帧中的像素点坐标为Pq i=[Pq ix Pq iy Pq iz 1]·,Pq i为关键帧深度估计求得的初始帧中特征点的齐次坐标;其中:K∈R3×4,K为相机内参矩阵,cx表示相机光轴在图像坐标系中x轴的偏移量,cy表示相机光轴在图像坐标系中y轴的偏移量,fx表示x轴的焦距,fy表示y轴的焦距,K在相机标定中就可确定。
注意这里的像素点坐标为非齐次坐标,因此要引入矩阵D∈R2×3去掉齐次坐标Pq i的第三项。
B4:R,T在李群上无加法运算,不好求导,因此引入李代数的指数表征形式表征Cm=eξ,其中ξ=(w,v)·,w=(w1,w2,w3)·表征旋转运动,v=(v1,v2,v3)·表征平移运动,通过优化观察到相同特征点的对应连续两帧图像的像素的光度误差来求解相机的位姿;
B5:考虑单个像素误差,给定一个微小的扰动eδξ,得到
定义增量部分则上述公式变为,利用泰勒展开得,
则雅克比矩阵(误差项对自变量的梯度)为
这三项导数分别为:
1.像素梯度
其中 为u的增量部分,是一个扰动量;
2.像素点对空间点的导数
空间展开有其中 为Pq的增量部分,是一个扰动量;
3.空间点对李代数增量的导数其中的非齐次坐标表达形式;
B6:求出了单个像素误差的雅克比矩阵Ji,将采用稀疏矩阵直接法,提取特征点后选择在该点处给定范围的像素块来表征点特征点像素灰度值,然后选择空间点在两帧中均可视的那部分对应的在图像中的坐标点累加计算像素误差的雅克比矩阵,记作
B7:给定姿态初始值ξ0,重复步骤3-5,直至求得满足设定阈值条件的四旋翼无人机的位姿ξ*,即得到旋转矩阵和平移矩阵,从而积分后得到四旋翼无人机的位置和姿态信息。
进一步,步骤B4中优化光度误差求解相机位姿的方法包括以下步骤:首先给定光度误差
优化光度误差的二范数的平方,
其中代表特征点Pq i在初始帧和匹配帧图像均可视的区域。
进一步,步骤B6中,给定范围的像素块为4×4的像素块,因该处梯度明显。
针对一般场景下的四旋翼无人机的状态估计问题,本专利提出了一种基于稀疏直接法的单目视觉里程计的设计方法,分为深度估计和运动估计两个部分。在深度估计部分,根据特征点法确定对应特征点,计算两帧之间的本征矩阵,分解本征矩阵,计算两帧间的旋转和平移,得到外参矩阵。然后根据三角法计算特征点深度。在运动估计部分,只提取稀疏的特征点但并不计算描述子,然后只用直接法计算特征点在下一时刻图像的位置,这种方法相较特征法来说去掉了计算描述子的时间,大大提高了计算速率。最后,利用像素的灰度信息在两帧间的灰度差作优化得到相机的运动位姿。对于一般帧,每帧图都会选择特征点附近固定大小的像素块,这样减少了整个图像的特征点检测和优化计算量,大大提高运算的速度。
由于使用特征点方法的匹配在特征的检测和描述子计算上会消耗极大地时间,基于实时性的考虑,并不是在每一帧都使用特征点方法求解位姿,而仅在关键帧时选择使用以下述方法求解特征点深度。关键帧采用每隔一段时间进行,由于两关键帧连续采样间隔较短,两帧之间的深度信息可以假设不变。
本发明的有益效果是:
1、四旋翼飞行器载荷能力有限,其搭载传感器数量和重量均受到限制。仅携带普通相机的四旋翼无人机,尽可能地减少机身本身的重量,延长四旋翼无人机的续航能力。
2、四旋翼飞行器具有快速的机动能力。为满足四旋翼无人机实时地位姿解算,采用稀疏直接法的单目视觉里程计,计算和优化量比传统的特征点法少很多,可以在机载板卡中实时计算,无需地面站实时处理数据,免除了地面站的外部传输,保证了实时性能。
3、采用了稀疏直接法方法,改进了特征点和传统直接法,针对关键帧,采用深度估计,用深度估计获得的深度值对所有帧做运动估计。该设计方法既采取了特征点法的优点,又无需每帧计算特征描述子,提高了计算速率。在实时性能上提升较多,保证了四旋翼无人机飞行过程中的实时位姿估计。
4、采用深度估计与运动估计相结合的稀疏直接法,巧妙地将两者的优势结合起来,相比单纯使用光流信息,避免了累计误差,保证长期较高的准确度。
5、在运动估计部分,对一般帧处理,选择特征点周围固定大小的像素块,避免了常规方法需要计算整个图像的较大计算。
附图说明
图1为初始帧和匹配帧匹配原理图。
图2为本发明深度估计部分的场景图。
图3为本发明运动估计部分的流程图。
具体实施方式
基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。
由于使用特征点方法的匹配在特征的检测和描述子计算上会消耗极大的时间,基于实时性的考虑,并不是在每一帧都使用特征点方法求解位姿,而仅在关键帧时选择使用以下述方法求解特征点深度。关键帧采用每隔一段时间进行,由于两关键帧连续采样间隔很短,两帧之间的深度信息可以假设不变。
对于关键帧,其深度估计步骤:
A1:通过普通单目相机获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,用FAST(Features From Accelerated Segement Test)特征法来检测特征点特征点数至少为8,并设定相机坐标系下的初始帧中各特征点的坐标形成的位置矩阵p=[x,y,z]·和相机坐标系下匹配帧中各特征点的坐标形成的的位置矩阵p'=[x',y',z']·
A2:计算本征矩阵E=R×T,其中R为旋转矩阵,T为平移向量;本征矩阵和p,p'的关系为:p'TEp=0;分别使p和p'除以其z轴坐标得到将本征矩阵E齐次化得到Escale,由于设定的初始帧特征点数远大于八,利用八点法,结合最小二乘分解求出齐次化的本征矩阵Escale
A3:奇异值分解齐次化的本征矩阵Escale:[U,D,V]=svd(Escale),
Escale=Udiag([1,1,0])VT,其中U,V均为单位化的向量;本征矩阵Escale须满足两奇异值相等,第三个值为零的充要条件:求解旋转矩阵R和平移向量T,其中RZ表示绕z轴旋转90度得到旋转矩阵
A4:R,T各有两个解、因此R,T有四种组合;
A5:设初始帧坐标系Ir为参考坐标系,参考坐标系下的任意特征点p的齐次坐标为Pq=[xw,yw,zw,1]T,Ir的外参矩阵为由R,T求解得到匹配帧坐标系Im的外参矩阵初始帧和匹配帧坐标系与参考坐标系的关系为p=CrPq,p'=CmPq;进而p×CrPq=0,p'×CmPq=0,得到线性方程组
A6:根据步骤A5中的线性方程组通过最小二乘法求解可得Pq,Pq=[xw,yw,zw,1]T,将每一组R,T代入分别计算得到Pq,选择z轴坐标全为正的一组作为此时计算的点Pq在初始帧坐标系下的坐标点,求得特征点的深度值。zw即为z轴坐标值。将每一组R,T代入分别计算得到P,选择z轴坐标全为正的一组即可。
然而,由于特征点检测和匹配都存在误差,因此深度估计部分的R,T存在较大误差,采用稀疏直接法来求解更准确。得到了特征点的深度值之后,通过稀疏直接法来求解四旋翼无人机的位姿,即运动估计。这种方法只提取稀疏的特征点但并不计算描述子,然后只用直接法计算特征点在下一时刻图像的位置,这种方法相较特征法来说去掉了计算描述子的时间大大提高了计算速率。
对于相机获取的所有帧图像做运动估计的具体步骤:
B1、获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,分别设相机坐标系下初始帧为Ir、匹配帧为Im,直接法的求解问题:给定初始帧图像和匹配帧图像下的特征点深度,特征点深度由关键帧深度估计获得,求解初始帧到匹配帧的位姿R,T,R为旋转矩阵,T为平移向量;
B2、设Ir为世界坐标系,则该帧的外参矩阵为Ci=[I3×3 03×1],初始帧到匹配帧的转换矩阵为Cm∈R4×4
B3、初始帧中的像素点坐标为匹配帧中的像素点坐标为其中:
Pq i=[Pq ix Pq iy Pq iz 1]·,Pi q为关键帧深度估计求得的初始帧中特征点的齐次坐标;K∈R3×4,K为相机内参矩阵,cx表示相机光轴在图像坐标系中x轴的偏移量,cy表示相机光轴在图像坐标系中y轴的偏移量,fx表示x轴的焦距,fy表示y轴的焦距,K在相机标定中就可确定;
B4、R,T在李群上无加法运算,不好求导,因此引入李代数的指数表征形式表征Cm=eξ,其中ξ=(w,v)·,w=(w1,w2,w3)·表征旋转运动,v=(v1,v2,v3)·表征平移运动,通过优化观察到相同特征点的对应连续两帧图像的像素的光度误差来求解相机的位姿;
光度误差的优化方法为:
B4-1、给定光度误差
B4-2、优化光度误差的二范数的平方,
其中代表特征点Pq i在两帧图像均可视的区域;
B5、考虑单个像素误差,给定一个微小的扰动eδξ,得到
定义增量部分则上述公式变为,利用泰勒展开得,
则雅克比矩阵(误差项对自变量的梯度)为
这三项导数分别为:
1.像素梯度
其中 为u的增量部分,是一个扰动量。
2.像素点对空间点的导数
空间展开有其中 为Pq的增量部分,是一个扰动量。
3.空间点对李代数增量的导数其中的非齐次坐标表达形式。
B6、求出了单个像素误差的雅克比矩阵Ji,将采用稀疏矩阵直接法,提取特征点后选择在该点处的4×4的像素块(该处梯度明显)来表征点特征点像素灰度值,然后选择空间点在两帧中均可视的那部分对应的在图像中的坐标点累加计算像素误差的雅克比矩阵,记作
B7、给定姿态初始值ξ0,重复步骤3-5,直至求得满足设定阈值条件的四旋翼无人机的位姿ξ*,即得到旋转矩阵和平移矩阵,从而积分后得到四旋翼无人机的位置和姿态信息。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的一般技术人员来说,本发明还可以有各种更改和变化。在不脱离本发明原理的前提下,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧做深度估计:以特征点法确定关键帧的特征点,计算相邻两帧之间的本征矩阵,分解本征矩阵并计算相邻两帧之间的旋转矩阵和平移矩阵得到外参矩阵,然后根据三角法计算特征点深度;获得特征点的深度值之后,通过稀疏矩阵直接法来求解四旋翼无人机的位姿,对所有帧做运动估计:提取稀疏的特征点,用直接法计算每个特征点在下一帧的位置,利用特征点周围固定大小的像素块中各像素点的灰度信息在前后相邻的两帧间的灰度差做优化得到相机的运动位姿。
2.如权利要求1所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于关键帧,其深度估计步骤:
A1:通过普通单目相机获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,用FAST特征法来检测特征点特征点数至少为8,并设定相机坐标系下的初始帧中各特征点的坐标形成的位置矩阵p=[x,y,z]·和相机坐标系下匹配帧中各特征点的坐标形成的的位置矩阵p'=[x',y',z']·
A2:计算本征矩阵E=R×T,其中R为旋转矩阵,T为平移向量;本征矩阵和p,p'的关系为:p'TEp=0;分别使p和p'除以其z轴坐标得到将本征矩阵E齐次化得到Escale,由于设定的初始帧特征点数远大于八,利用八点法,结合最小二乘分解求出齐次化的本征矩阵Escale
A3:奇异值分解齐次化的本征矩阵Escale:[U,D,V]=svd(Escale),Escale=Udiag([1,1,0])VT,其中U,V均为单位化的向量;本征矩阵Escale须满足两奇异值相等,第三个值为零的充要条件;
A4:R,T各有两个解、因此R,T有四种组合;
A5:设初始帧坐标系Ir为参考坐标系,参考坐标系下的任意特征点p的齐次坐标为Pq=[xw,yw,zw,1]T,Ir的外参矩阵为Cr,由R,T求解得到匹配帧坐标系Im的外参矩阵Cm,初始帧和匹配帧坐标系与参考坐标系的关系为p=CrPq,p'=CmPq;进而p×CrPq=0,p'×CmPq=0,得到线性方程组
A6:根据步骤A5中的线性方程组通过最小二乘法求解可得Pq,Pq=[xw,yw,zw,1]T,将每一组R,T代入分别计算得到Pq,选择z轴坐标全为正的一组作为此时计算的点Pq在初始帧坐标系下的坐标点,求得特征点的深度值。
3.如权利要求2所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:步骤A3中使本征矩阵Escale满足两奇异值相等,第三个值为零的充要条件的方法为:求解旋转矩阵R和平移向量T,其中RZ表示绕z轴旋转90度得到旋转矩阵
4.如权利要求3所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:对于相机获取的所有帧图像做运动估计的具体步骤:
B1:获取连续两帧图像,以第一帧作为初始帧,以第二帧作为匹配帧,分别设相机坐标系下初始帧为Ir、匹配帧为Im,直接法的求解问题:给定初始帧图像和匹配帧图像下的特征点深度,特征点深度由关键帧深度估计获得,求解初始帧到匹配帧的位姿R,T,R为旋转矩阵,T为平移向量;
B2:初始帧Ir的外参矩阵为Ci=[I3×3 03×1],初始帧到匹配帧的转换矩阵为Cm∈R4×4
B3:初始帧中的像素点坐标为匹配帧中的像素点坐标为Pq i=[Pq ix Pq iy Pq iz 1]·,Pq i为关键帧深度估计求得的初始帧中特征点的齐次坐标;其中:K∈R3×4,K为相机内参矩阵,cx表示相机光轴在图像坐标系中x轴的偏移量,cy表示相机光轴在图像坐标系中y轴的偏移量,fx表示x轴的焦距,fy表示y轴的焦距,K在相机标定中就可确定;
B4:R,T在李群上无加法运算,不好求导,因此引入李代数的指数表征形式表征Cm=eξ,其中ξ=(w,v)·,w=(w1,w2,w3)·表征旋转运动,v=(v1,v2,v3)·表征平移运动,通过优化观察到相同特征点的对应连续两帧图像的像素的光度误差来求解相机的位姿;
B5:考虑单个像素误差,给定一个微小的扰动eδξ,得到
定义增量部分则上述公式变为,
利用泰勒展开得,
则雅克比矩阵(误差项对自变量的梯度)为这三项导数分别为:
1).像素梯度
其中 为u的增量部分,是一个扰动量;
2).像素点对空间点的导数
空间展开有其中
为Pq的增量部分,是一个扰动量;
3).空间点对李代数增量的导数其中的非齐次坐标表达形式;
B6:求出了单个像素误差的雅克比矩阵Ji,将采用稀疏矩阵直接法,提取特征点后选择在该点处给定范围的像素块来表征点特征点像素灰度值,然后选择空间点在两帧中均可视的那部分对应的在图像中的坐标点累加计算像素误差的雅克比矩阵,记作
B7:给定姿态初始值ξ0,重复步骤3-5,直至求得满足设定阈值条件的四旋翼无人机的位姿ξ*,即得到旋转矩阵和平移矩阵,从而积分后得到四旋翼无人机的位置和姿态信息。
5.如权利要求6所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:步骤B4中优化光度误差求解相机位姿的方法包括以下步骤:首先给定光度误差
优化光度误差的二范数的平方,
其中代表特征点Pq i在初始帧和匹配帧图像均可视的区域。
6.如权利要求5所述的基于稀疏直接法的四旋翼无人机单目视觉测程方法,其特征在于:步骤B6中,给定范围的像素块为4×4的像素块。
CN201710445837.0A 2017-06-14 2017-06-14 基于稀疏直接法的四旋翼无人机单目视觉测程方法 Active CN107341814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710445837.0A CN107341814B (zh) 2017-06-14 2017-06-14 基于稀疏直接法的四旋翼无人机单目视觉测程方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710445837.0A CN107341814B (zh) 2017-06-14 2017-06-14 基于稀疏直接法的四旋翼无人机单目视觉测程方法

Publications (2)

Publication Number Publication Date
CN107341814A true CN107341814A (zh) 2017-11-10
CN107341814B CN107341814B (zh) 2020-08-18

Family

ID=60221543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710445837.0A Active CN107341814B (zh) 2017-06-14 2017-06-14 基于稀疏直接法的四旋翼无人机单目视觉测程方法

Country Status (1)

Country Link
CN (1) CN107341814B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833249A (zh) * 2017-09-29 2018-03-23 南京航空航天大学 一种基于视觉引导的舰载机着陆过程姿态预估方法
CN108036785A (zh) * 2017-11-24 2018-05-15 浙江大学 一种基于直接法与惯导融合的飞行器位姿估计方法
CN108615244A (zh) * 2018-03-27 2018-10-02 中国地质大学(武汉) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN108927807A (zh) * 2018-08-14 2018-12-04 河南工程学院 一种基于点特征的机器人视觉控制方法
CN108955718A (zh) * 2018-04-10 2018-12-07 中国科学院深圳先进技术研究院 一种视觉里程计及其定位方法、机器人以及存储介质
CN108986037A (zh) * 2018-05-25 2018-12-11 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN109887030A (zh) * 2019-01-23 2019-06-14 浙江大学 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN110152293A (zh) * 2018-02-13 2019-08-23 腾讯科技(深圳)有限公司 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN111098850A (zh) * 2018-10-25 2020-05-05 北京初速度科技有限公司 一种自动停车辅助系统及自动泊车方法
CN111795704A (zh) * 2020-06-30 2020-10-20 杭州海康机器人技术有限公司 一种视觉点云地图的构建方法、装置
CN112330735A (zh) * 2020-10-26 2021-02-05 武汉中海庭数据技术有限公司 一种车体相对位置测量精度置信度评估方法及系统
CN112529936A (zh) * 2020-11-17 2021-03-19 中山大学 一种用于室外无人机的单目稀疏光流算法
WO2021063128A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 单相机环境中主动式刚体的位姿定位方法及相关设备
CN112734844A (zh) * 2021-01-08 2021-04-30 河北工业大学 一种基于正八面体的单目6d位姿估计方法
CN113239936A (zh) * 2021-04-26 2021-08-10 大连理工大学 一种基于深度学习与特征点提取的无人机视觉导航方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2112630A1 (en) * 2008-04-22 2009-10-28 Honeywell International Inc. Method and system for real-time visual odometry
CN102967305A (zh) * 2012-10-26 2013-03-13 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
CN104811667A (zh) * 2015-04-29 2015-07-29 深圳市保千里电子有限公司 一种无人机跟踪目标的方法及系统
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
US20160314593A1 (en) * 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2112630A1 (en) * 2008-04-22 2009-10-28 Honeywell International Inc. Method and system for real-time visual odometry
CN102967305A (zh) * 2012-10-26 2013-03-13 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
US20160314593A1 (en) * 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device
CN104811667A (zh) * 2015-04-29 2015-07-29 深圳市保千里电子有限公司 一种无人机跟踪目标的方法及系统
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833249B (zh) * 2017-09-29 2020-07-07 南京航空航天大学 一种基于视觉引导的舰载机着陆过程姿态预估方法
CN107833249A (zh) * 2017-09-29 2018-03-23 南京航空航天大学 一种基于视觉引导的舰载机着陆过程姿态预估方法
CN108036785A (zh) * 2017-11-24 2018-05-15 浙江大学 一种基于直接法与惯导融合的飞行器位姿估计方法
CN110152293A (zh) * 2018-02-13 2019-08-23 腾讯科技(深圳)有限公司 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN108615244A (zh) * 2018-03-27 2018-10-02 中国地质大学(武汉) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108615244B (zh) * 2018-03-27 2019-11-15 中国地质大学(武汉) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108955718B (zh) * 2018-04-10 2022-08-09 中国科学院深圳先进技术研究院 一种视觉里程计及其定位方法、机器人以及存储介质
CN108955718A (zh) * 2018-04-10 2018-12-07 中国科学院深圳先进技术研究院 一种视觉里程计及其定位方法、机器人以及存储介质
CN108711166A (zh) * 2018-04-12 2018-10-26 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN108711166B (zh) * 2018-04-12 2022-05-03 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109029417B (zh) * 2018-05-21 2021-08-10 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN108986037A (zh) * 2018-05-25 2018-12-11 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN108986037B (zh) * 2018-05-25 2020-06-16 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN108927807A (zh) * 2018-08-14 2018-12-04 河南工程学院 一种基于点特征的机器人视觉控制方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN111098850A (zh) * 2018-10-25 2020-05-05 北京初速度科技有限公司 一种自动停车辅助系统及自动泊车方法
CN109887030A (zh) * 2019-01-23 2019-06-14 浙江大学 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
WO2021063128A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 单相机环境中主动式刚体的位姿定位方法及相关设备
CN111795704A (zh) * 2020-06-30 2020-10-20 杭州海康机器人技术有限公司 一种视觉点云地图的构建方法、装置
CN112330735A (zh) * 2020-10-26 2021-02-05 武汉中海庭数据技术有限公司 一种车体相对位置测量精度置信度评估方法及系统
CN112529936A (zh) * 2020-11-17 2021-03-19 中山大学 一种用于室外无人机的单目稀疏光流算法
CN112529936B (zh) * 2020-11-17 2023-09-05 中山大学 一种用于室外无人机的单目稀疏光流算法
CN112734844A (zh) * 2021-01-08 2021-04-30 河北工业大学 一种基于正八面体的单目6d位姿估计方法
CN112734844B (zh) * 2021-01-08 2022-11-08 河北工业大学 一种基于正八面体的单目6d位姿估计方法
CN113239936A (zh) * 2021-04-26 2021-08-10 大连理工大学 一种基于深度学习与特征点提取的无人机视觉导航方法
CN113239936B (zh) * 2021-04-26 2024-05-28 大连理工大学 一种基于深度学习与特征点提取的无人机视觉导航方法

Also Published As

Publication number Publication date
CN107341814B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN107341814A (zh) 基于稀疏直接法的四旋翼无人机单目视觉测程方法
CN111045017B (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN105865454B (zh) 一种基于实时在线地图生成的无人机导航方法
CN104848851B (zh) 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN106989744A (zh) 一种融合机载多传感器的旋翼无人机自主定位方法
CN109270534A (zh) 一种智能车激光传感器与相机在线标定方法
CN108399643A (zh) 一种激光雷达和相机间的外参标定系统和方法
CN107564061A (zh) 一种基于图像梯度联合优化的双目视觉里程计算方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
Li et al. Real-time 3D motion tracking and reconstruction system using camera and IMU sensors
CN109211241A (zh) 基于视觉slam的无人机自主定位方法
CN105976402A (zh) 一种单目视觉里程计的真实尺度获取方法
CN103954283A (zh) 基于景象匹配/视觉里程的惯性组合导航方法
CN107941217A (zh) 一种机器人定位方法、电子设备、存储介质、装置
CN108615244A (zh) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN105938619A (zh) 一种融合RGB和Depth信息的视觉里程计实现方法
CN111681275B (zh) 一种双特征融合的半全局立体匹配方法
CN114323033A (zh) 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN110349249A (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN109655059A (zh) 一种基于θ-增量学习的视觉-惯性融合导航系统及方法
CN107543539A (zh) 一种无人机的位置信息获取方法及无人机
CN111275764A (zh) 基于线段阴影的深度相机视觉里程测量方法
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant