CN106529587A - 基于目标点识别的视觉航向识别方法 - Google Patents

基于目标点识别的视觉航向识别方法 Download PDF

Info

Publication number
CN106529587A
CN106529587A CN201610941710.3A CN201610941710A CN106529587A CN 106529587 A CN106529587 A CN 106529587A CN 201610941710 A CN201610941710 A CN 201610941710A CN 106529587 A CN106529587 A CN 106529587A
Authority
CN
China
Prior art keywords
point
roi
image
characteristic point
triangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610941710.3A
Other languages
English (en)
Other versions
CN106529587B (zh
Inventor
张海
崔显光
郭雷
张晓鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Publication of CN106529587A publication Critical patent/CN106529587A/zh
Application granted granted Critical
Publication of CN106529587B publication Critical patent/CN106529587B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标点识别的视觉航向识别方法,包括:载入通过相机标定获得的方位角与像素对应关系表,在第一帧图像中选择初始目标点,提取并描述第一与第二兴趣区域中的SURF特征点,并将此帧图像存储为第一幅参考图像;在采集的下一帧图像中,调整兴趣区域的位置与大小,与参考图像进行特征点匹配,筛选理想共面特征点,计算单应矩阵,识别目标点的当前位置;当满足参考图像更新条件时,将当前帧图像更新为参考图像,并筛选稳定的、符合仿射变换的、位于无穷远平面的理想共面特征点集,修正单应阵与目标点位置;最终根据方位角与像素对应关系表识别目标点对应航向。

Description

基于目标点识别的视觉航向识别方法
技术领域
本发明涉及基于目标点识别的视觉航向识别方法,属于视觉/惯性组合导航技术领域。
背景技术
导航系统在自主移动机器人完成复杂运动过程中发挥着重要作用。由视觉、惯性、GPS和类GPS系统、测距和方向识别等基本导航技术组合而成的组合导航系统已经得到了广泛的研究与发展。
视觉导航与惯性导航是典型的独立式导航系统,它们在没有外界条件的帮助下,尤其是当GPS不可用以及其他复杂情况下,仍可提供可靠的导航服务。即时定位与地图构建(SLAM)算法是目前最常应用于实现自主移动机器人的定位与导航的算法。基于大量的可匹配图像特征,视觉SLAM(VSLAM)算法成为一种实现完全自主移动机器人和无人飞行器的潜在的有效方法。VSLAM首先通过摄像头进行图像信息采集并进行压缩,然后将信息反馈到由神经网络和统计学方法构成的学习子系统中,再由该子系统将图像信息与机器人的实际位置融合计算,进而完成机器人的自主定位与导航功能。但由于计算量庞大和单目视觉的尺度模糊,VSLAM算法对机器人系统性能要求较高,其发展仍存在诸多瓶颈。
在为自主移动机器人设计导航系统时,高可靠性与低成本是必须遵守的同时又是互相矛盾的两项基本原则。使用高性能惯性元器件与处理器虽然可以保证较高的可靠性,但成本会随之大大增加;单独使用低性能惯性元器件或低成本视觉传感器可减低成本,但无法保证系统可靠性。
发明内容
本发明的目的是为了解决上述问题,提出一种利用低成本相机与低成本惯性元件的基于目标点识别的视觉航向解算方法,大大减少了计算量,同时在保证了较高的系统可靠性与导航精度的同时降低了系统成本,更能满足实际工程的需求。
本发明提出了一种基于特征的目标点识别算法,实现了在可匹配的不同图像间对任意位置目标点的识别与跟踪,进而通过由相机标定得到方位角与像素点对应关系表获得目标点对应的机器人实际航向,实现了非特征目标点的有效识别与可靠的航向检测。
包括以下几个步骤:
步骤1:在低成本线性相机未标定的情况下对相机进行简易静态标定,获得方位角与像素对应关系表;
步骤2:载入方位角与像素对应关系表,在第一帧图像中选择初始目标点,提取并描述第一与第二兴趣区域中的SURF特征点,并将此帧图像存储为第一幅参考图像;
步骤3:采集下一帧图像,调整第一与第二兴趣区域的位置与大小,提取并描述此帧图像第一兴趣区域中的SURF特征点并与参考图像进行匹配;筛选理想共面特征点,计算单应矩阵,识别目标点在当前图像中的位置;
步骤4:当满足更新参考图像的条件时,将当前帧图像更新为参考图像,并筛选稳定的、符合仿射变换的、位于无穷远平面的理想共面特征点集,修正目标点位置;
步骤5:根据方位角与像素对应关系表获得目标点对应航向角。重复步骤3至步骤5直至导航结束。
本发明的优点在于:
(1)本发明设计了一种快速的有效检测光轴与棋盘格标靶垂直关系的方法,该方法为低成本相机的简易静态标定的实现提供了基础;
(2)本发明基于两三角形面积之比的仿射不变性筛选共面特征点集,此方法提高了被筛选点集的准确性,进而使单应阵的计算与目标点的定位更加准确;
(3)本发明基于兴趣区域进行特征点匹配、筛选与单应阵的计算,此方法能有效的减少计算量,同时可保证单应阵的计算精度不受影响;
(4)本发明设计了参考图像自适应更新算法,以当前图像与参考图像的匹配确定目标点,对比相邻帧匹配方式能够较低误差累积;
(5)本发明通过挑选目标点跟踪过程中稳定复现的特征点进行理想共面特征点的筛选,有效地修正了单应阵解算误差。
附图说明
图1是本发明的方法流程图;
图2是线性相机成像原理图;
图3是棋盘格标靶在视场中的图像;
图4是被选择出的三角形示意图;
图5是实验过程图:其中(a)为起始目标点位置示意图,(b)为ROI1(1)中匹配的SURF特征点,(c)为I(1)中筛选出的理想共面特征点示意图,(d)为I(6)中筛选出的理想共面特征点示意图,(e)为更换参考图像时三角形的选取示意图,(f)为I(20)中目标点识别结果。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明的一种基于特征的目标点识别算法,实现了在可匹配的不同图像间对任意位置目标点的识别与跟踪,进而通过由相机标定得到方位角与像素点对应关系表获得目标点对应的机器人实际航向,实现了非特征目标点的有效识别与可靠的航向检测。
包括以下几个步骤:
步骤1:对线性相机进行简易静态标定
以相机光轴为基准,相机视场中每一像素点都对应确定的方位角与俯仰角,为实现航向角即方位角的定量测量首先需要对相机进行标定,由于低成本相机的稳定性较差,无法用传统的标定方法对其进行有效的标定,故本发明对低成本线性相机采取简易静态标定。具体做法是:
1)置参照物棋盘格与相机光轴垂直
将棋盘格放置于距相机镜头一定距离D,并使棋盘格图像充满相机视场。通过距离图像边界最近的四对相邻的两角点间的距离关系保证棋盘格与相机光轴的垂直关系,计算公式为:
其中,a和b分别为距离图像上下边界最近的两对相邻的交点间距离,c和d分别为距离图像左右边界最近的两对相邻的交点间距离。
在调整过程中,不断在图像中打印出a、b、c和d的值以及垂直关系是否满足,当上述条件满足后,打印提醒光轴与棋盘格已垂直,调整完成。
2)获得方位角与像素点对应关系表
提取棋盘格角点后可得每一角点的像平面坐标及其世界坐标。根据双线性插值可求得任意像素的世界坐标(xW,yW,0),其中xW和yW分别代表像素点在世界坐标系中X轴方向和Y轴方向上的坐标。
已知相机镜头焦距f,以光轴为基准,视场中任意像素点P'对应的方位角θ(P')的计算公式为:
其中,分别为像素点P'与像平面坐标原点O在世界坐标系中的横坐标。
步骤2:在不同时刻采集的图像间识别目标点
对于低成本视觉/惯性组合导航系统,对理想航向对应目标点的识别与跟踪可以有效地减少由低精度陀螺引起的航向角解算误差,尤其是在自主移动机器人在二维平面上沿直线运动过程当中。然而,当目标点不具备可被直接提取图像特征时在不同时刻采集的图像中它将无法被直接定位与跟踪。为了解决这一问题,本发明利用了共面点的仿射变换不变性,通过在以目标点为中心,Tdis为半径的圆形区域内选取符合仿射变换的理想共面特征点集,并求取两图像此点集间的单应矩阵,进而根据单应阵更新目标点位置。具体方法如下:
1)利用距离阈值筛选出初始理想共面特征点集
已知机器人行进过程中在k1时刻与k2时刻采集的两幅图像I(k1)和I(k2),I(k1)中的目标点P'(k1)位置已知。首先提取、描述并匹配两幅图中的特征点,通过距离阈值Tdis筛选初始理想共面特征点集具体计算方法如下:
其中,像素P点的坐标(xP,yP)为在以图像中心为原点、水平向右为X轴正方向、竖直向下为Y轴正方向的坐标系XOY中的坐标,为I(k1)中第i个匹配的特征点,Nm为匹配成功的特征点总数。
2)利用MSAC算法去除匹配异常点对挑选理想平面
由于匹配算法根据特征点描述子间距离进行匹配,有可能误将两幅图中非同一特征点成功匹配,此外,由于只经阈值Tdis筛选难以保证被筛选出的特征点均位于同一平面,因此需利用MSAC算法将异常匹配点对去除并进一步挑选准确理想平面,得到理想共面特征点候选集实际使用中MSAC算法距离判定阈值为1.6像素。具体计算方法如下:
其中,特征点特征点Nd中点的个数。
3)根据两三角形面积比的仿射不变性筛选理想共面特征点集
由于经阈值Tdis及MSAC筛选难以保证被筛选出的特征点均位于同一理想平面,因此根据两三角形的面积之比这一仿射不变量,在中进一步挑选符合仿射变换的理想共面特征点,具体方法如下:
首先,在中挑选三个点构成种子三角形ΔVMF,然后在其他点中不断挑选第四点与种子三角形一边构成检测三角形,如ΔTMF。为保证两三角形面积比对第四点的位置具有较高的敏感度,种子三角形的选取以及第四点的选取应符合以下条件:
其中,SΔTMF(k1)表示三角形ΔTMF的面积,SΔVMF(k1)表示三角形ΔVMF的面积,Tr为面积比阈值;CΔVMF(k1)表示种子三角形ΔVMF的周长,Tc为周长最小阈值;θ1、θ2、θ3为三角形ΔVMF的三个内角,为三角形ΔTMF的三个内角,Ta为内角最小阈值。实际应用中三个阈值可分别设为1.2、25像素、30度。
当图像I(k1)中的两三角形确定后,根据I(k1)和I(k2)间的匹配关系,即可得到SΔTMF(k2)与SΔVMF(k2),当两三角形之比满足下列条件时,即证明I(k2)中所选第四点为符合仿射变换的并且与ΔVMF共面的点,将其加入理想共面特征点集
其中,Tm为最大面积比之差,实际应用中可设置为10-5
4)计算单应阵,更新目标点位置
目标点为理想航向所对应的无穷远点,根据成像原理,它与中的点共面,因此,可根据最小二乘法(Least Square Method)求得理想共面特征点集间的单应阵H1,进而以此计算目标点在I(k2)中位置P'(k2),具体计算方法如下:
[P'(k2)1]=H1[P'(k1)1]
其中,NMT中点的个数。
步骤3:兴趣区域的选取与更新
为加速计算,特征点的选取与筛选只在两个选定的同心兴趣区域ROI1和ROI2内进行,其中ROI1为矩形区域,ROI2为原型区域,ROI1的初始宽度为图像宽度的60%,初始宽度是ROI2直径的两倍,ROI2的初始直径为图像高度的30%。图像I(k+1)中的ROI1(k+1)和ROI2(k+1)均以预测目标点Pc(k+1)为中心,Pc(k+1)以及ROI1(k+1)的宽度均根据陀螺仪的测量数据计算得到,具体计算方法如下:
其中,WI为图像宽度,α为水平视场角,ω表示陀螺仪测得的角速率,Δt为连续两幅图像的采集时间间隔,WR1(k+1)为ROI1(k+1)的宽度,ηW(k+1)代表ROI1(k+1)与图像宽度的比。当|ωΔt/α|≥0.5时,两幅图像中的将无特征点可匹配。
实际应用中,ROI1(k+1)的高度可取为ROI2(k+1)半径的4倍,ROI2(k+1)的半径Tdis(k+1)的计算方法如下:
步骤4:参考帧自适应选取方法
由于在连续帧间进行目标点识别跟踪会产生累积误差,并且当目标点与相机间有物体干扰时,MSAC方法筛选后的点集可能并非在无穷远平面的稳定理想点集,二者均造成所求单应阵准确度降低,本发明针对以上问题提出如下解决方法:
1)为抑制累积误差,挑选可有效匹配的、目标点位置已知的图像作为参考图像Ir(k),并且在当前图像与参考图像间进行目标点的识别与跟踪。当当前图像相对于参考图像产生较大变化,匹配特征点数目小于阈值时,Ir(k)需要更新为当前图像,更新方法如下:
其中,N(k+1)与N(k+v)分别代表Ir(k)与I(k+1)、Ir(k)与I(k+v)间的匹配特征点对数。
2)为修正目标点在新参考图像中的位置,在进行参考图像更新的同时,选取稳定的、符合仿射变换的、位于无穷远平面的理想共面特征点集计算修正单应矩阵H2,具体计算方法如下:
首先,挑选从稳定出现的特征点集
然后,根据两三角形面积之比的仿射不变性与上文所述三角形挑选条件,在中筛选稳定的理想共面特征点集并根据匹配关系得到使用最小二乘法求得修正后的单应矩阵H2,据此修正目标点在新参考图像中的位置。具体计算方法如下:
[P'(k+v)1]t=H2[P'(k)1]t
其中,NSI中点的个数。
步骤5:目标点对应航向识别方法
利用相机标定获得的方位角与像素对应关系表,根据目标点跟踪结果P'即可识别当前航向:
实施例:
本发明是一种基于目标点识别的视觉航向解算方法,该方法提出了一种基于特征的目标点识别算法,根据此算法和相机标定结果可准确地有效地解算出视觉航向。方法的实现流程如图1所示,具体步骤如下:
步骤1:根据如图2所示线性相机成像原理,利用棋盘格对低成本线性相机进行简易静态标定,获得方位角与像素对应关系表,如图3所示为棋盘格靶标在视场中的图像;
步骤2:载入方位角与像素对应关系表,获得第一帧图像I(1),在I(1)中选择初始目标点,如图5(a)所示,提取并描述ROI1(1)中的SURF特征点,将I(1)存储为第一幅参考图像Ir(k);
步骤3:采集下一帧图像,调整ROI1与ROI2位置与大小,提取并描述ROI1中的SURF特征点,与参考图像Ir(k)中特征点进行匹配,匹配成功的特征点在Ir(k)中位置如图5(b)所示;筛选理想共面特征点,计算单应阵,识别目标点在当前图像中的位置:
1)利用距离阈值筛选出初始理想共面特征点集。已知图像尺寸为640×480像素,Tdis设置为0.15×480像素
2)利用MSAC算法去除匹配异常点对挑选理想平面,距离判定阈值为1.6像素
3)利用两三角形面积比的仿射不变性筛选理想共面特征点集根据以下条件挑选三角形,理想的三角形选择结果如图4所示:
并且以10-3作为面积比之差最大值筛选理想共面特征点,结果如图5(c)所示。
4)计算单应阵,更新目标点位置
[P'(k+v)1]=H1[P'(k)1]
步骤4:当满足更新参考图像的条件时,将当前采集的图像更新为参考图像,并修正目标点位置,稳定的理想共面匹配特征点的筛选如图5(e)所示
[P'(k+v)1]t=H2[P'(k)1]t
步骤5:已知f=2cm,D=26cm,根据方位角与像素对应关系表获得目标点对应航向角ψ(P');
重复步骤2至步骤5直至导航结束。目标点识别在I(20)中的结果如图5(f)所示。

Claims (6)

1.一种基于目标点识别的视觉航向识别方法,包括以下几个步骤:
步骤1:对线性相机进行静态标定,获得方位角与像素对应关系表;
以相机光轴为基准,相机视场中每一像素点都对应确定的方位角与俯仰角,首先对线性相机进行静态标定,然后,获得方位角与像素对应关系表;
步骤2:载入方位角与像素对应关系表,在第一帧图像中选择初始目标点,提取并描述第一兴趣区域ROI1与第二兴趣区域ROI2中的SURF特征点,并将此帧图像存储为第一幅参考图像;
以目标点为中心,Tdis为半径的圆形区域内选取符合仿射变换的理想共面特征点集,并求取两图像此点集间的单应矩阵,根据单应阵更新目标点位置;
步骤3:采集下一帧图像,调整第一与第二兴趣区域的位置与大小,提取并描述此帧图像第一兴趣区域中的SURF特征点并与参考图像进行匹配,筛选理想共面特征点,计算单应矩阵,识别目标点在当前图像中的位置;
特征点的选取与筛选在两个选定的同心兴趣区域ROI1和ROI2内进行,其中ROI1为矩形区域,ROI2为原型区域;k+1时刻采集的图像I(k+1)中的ROI1(k+1)和ROI2(k+1)均以预测目标点Pc(k+1)为中心,Pc(k+1)以及ROI1(k+1)的宽度均根据陀螺仪的测量数据计算得到,具体计算方法如下:
P c ( k + 1 ) = P ′ ( k ) + ( W I α ω Δ t , 0 )
W R 1 ( k + 1 ) = η W ( k + 1 ) W I η W ( k + 1 ) = 0.6 , | ω Δ t / α | ∈ [ 0 , 0.1 ) 0.2 | ω Δ t / α | , | ω Δ t / α | ∈ [ 0.1 , 0.3 ) 1.0 , | ω Δ t / α | ∈ [ 0.3 , 0.5 )
其中,WI为图像宽度,α为水平视场角,ω表示陀螺仪测得的角速率,Δt为连续两幅图像的采集时间间隔,为ROI1(k+1)的宽度,ηW(k+1)代表ROI1(k+1)与图像宽度的比;当|ωΔt/α|≥0.5时,两幅图像中的将无特征点可匹配;
步骤4:当满足更新参考图像的条件时,将当前帧图像更新为参考图像,并筛选稳定的、符合仿射变换的、位于无穷远平面的理想共面特征点集,修正目标点位置;
步骤5:根据方位角与像素对应关系表获得目标点对应航向角,重复步骤3至步骤6直至导航结束;
利用相机标定获得的方位角θ(P)与像素P对应关系表,根据目标点跟踪结果P',识别当前航向ψ(P'):
ψ ( P ′ ) = θ ( P ′ ) = a r c t a n ( x P ′ W - x O W D + f ) .
2.根据权利要求1所述的一种基于目标点识别的视觉航向识别方法,所述的步骤1具体包括:
1)置参照物棋盘格与相机光轴垂直
将棋盘格放置于距相机镜头距离D,并使棋盘格图像充满相机视场,通过距离图像边界最近的四对相邻的两角点间的距离,保证棋盘格与相机光轴的垂直关系,计算公式为:
| a - b | a ≤ 0.05 , | c - d | c ≤ 0.05
其中,a和b分别为距离图像上下边界最近的两对相邻的交点间距离,c和d分别为距离图像左右边界最近的两对相邻的交点间距离;
在调整过程中,不断在图像中打印出a、b、c和d的值以及垂直关系是否满足,当上述条件满足后,打印提醒光轴与棋盘格已垂直,调整完成;
2)获得方位角与像素点对应关系表
提取棋盘格角点,得到每一角点的像平面坐标及其世界坐标,根据双线性插值求得任意像素的世界坐标(xW,yW,0),其中xW和yW分别代表像素点在世界坐标系中X轴方向和Y轴方向上的坐标;
已知相机镜头焦距f,以光轴为基准,视场中任意像素点P'对应的方位角θ(P')的计算公式为:
θ ( P ′ ) = a r c t a n ( x P ′ W - x O W D + f )
其中,分别为像素点P'与像平面坐标原点O在世界坐标系中的横坐标;
进而,得到方位角与像素点对应关系表。
3.根据权利要求1所述的一种基于目标点识别的视觉航向识别方法,所述的步骤2具体包括:
1)利用距离阈值筛选出初始理想共面特征点集
已知机器人行进过程中在k1时刻与k2时刻采集的两幅图像I(k1)和I(k2),I(k1)中的目标点P'(k1)位置已知;首先提取、描述并匹配两幅图中的特征点,通过距离阈值Tdis筛选初始理想共面特征点集具体计算方法如下:
其中,像素P点的坐标(xP,yP)为在以图像中心为原点、水平向右为X轴正方向、竖直向下为Y轴正方向的坐标系XOY中的坐标,为I(k1)中第i个匹配的特征点,Nm为匹配成功的特征点总数;
2)利用MSAC算法去除匹配异常点对挑选理想平面
利用MSAC算法将异常匹配点对去除,并进一步挑选准确理想平面,得到理想共面特征点候选集具体计算方法如下:
其中,特征点特征点Nd中点的个数;
3)根据两三角形面积比的仿射不变性筛选理想共面特征点集
首先,在中挑选三个点构成种子三角形ΔVMF,然后在其他点中不断挑选第四点与种子三角形一边构成检测三角形ΔTMF,种子三角形的选取以及第四点的选取应符合以下条件:
其中,SΔTMF(k1)表示三角形ΔTMF的面积,SΔVMF(k1)表示三角形ΔVMF的面积,Tr为面积比阈值;CΔVMF(k1)表示种子三角形ΔVMF的周长,Tc为周长最小阈值;θ1、θ2、θ3为三角形ΔVMF的三个内角,为三角形ΔTMF的三个内角,Ta为内角最小阈值;
当图像I(k1)中的两三角形确定后,根据I(k1)和I(k2)间的匹配关系,得到SΔTMF(k2)与SΔVMF(k2),当两三角形之比满足下列条件时,即证明I(k2)中所选第四点为符合仿射变换的并且与ΔVMF共面的点,将其加入理想共面特征点集
| S &Delta; T M F ( k ) S &Delta; V M F ( k ) - S &Delta; T M F ( k + v ) S &Delta; V M F ( k + v ) | < T m
其中,Tm为最大面积比之差;
4)计算单应阵,更新目标点位置
根据最小二乘法求得理想共面特征点集间的单应阵H1,计算目标点在I(k2)中位置P'(k2),具体计算方法如下:
H 1 = { H 1 | m i n ( M = &Sigma; l = 1 N M T ( P l M T ( k 2 ) 1 t - H 1 P l M T ( k 1 ) 1 t ) 2 ) }
[P'(k2) 1]=H1[P'(k1) 1]
其中,NMT中点的个数。
4.根据权利要求1所述的一种基于目标点识别的视觉航向识别方法,所述的步骤3中,ROI1的初始宽度为图像宽度的60%,初始宽度是ROI2直径的两倍,ROI2的初始直径为图像高度的30%。
5.根据权利要求1所述的一种基于目标点识别的视觉航向识别方法,所述的步骤3中,ROI1(k+1)的高度可取为ROI2(k+1)半径的4倍,ROI2(k+1)的半径Tdis(k+1)的计算方法如下:
6.根据权利要求1所述的一种基于目标点识别的视觉航向识别方法,所述的步骤4具体包括:
具体的:
1)当当前图像相对于参考图像的匹配特征点数目小于阈值时,Ir(k)更新为当前图像,更新方法如下:
I r ( k ) = I ( k + v ) , i f N ( k + 1 ) N ( k + v ) < 0.5
其中,N(k+1)与N(k+v)分别代表Ir(k)与I(k+1)、Ir(k)与I(k+v)间的匹配特征点对数;
2)采用理想共面特征点集计算修正单应矩阵H2,具体计算方法如下:
首先,挑选从稳定出现的特征点集
然后,在中筛选稳定的理想共面特征点集并根据匹配关系得到使用最小二乘法求得修正后的单应矩阵H2,据此修正目标点在新参考图像中的位置;具体计算方法如下:
H 2 = { H 2 | m i n ( M = &Sigma; z = 1 N S I ( P z S I ( k + v ) 1 t - H 2 P z S I ( k ) 1 t ) 2 ) }
[P'(k+v) 1]t=H2[P'(k) 1]t
其中,NSI中点的个数。
CN201610941710.3A 2016-08-26 2016-10-25 基于目标点识别的视觉航向识别方法 Expired - Fee Related CN106529587B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016107308544 2016-08-26
CN201610730854 2016-08-26

Publications (2)

Publication Number Publication Date
CN106529587A true CN106529587A (zh) 2017-03-22
CN106529587B CN106529587B (zh) 2019-06-25

Family

ID=58292741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610941710.3A Expired - Fee Related CN106529587B (zh) 2016-08-26 2016-10-25 基于目标点识别的视觉航向识别方法

Country Status (1)

Country Link
CN (1) CN106529587B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107677274A (zh) * 2017-09-12 2018-02-09 西北工业大学 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN108416799A (zh) * 2018-03-06 2018-08-17 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
CN108563236A (zh) * 2018-06-08 2018-09-21 清华大学 一种基于同心圆特征的纳型无人机目标跟踪方法
WO2019019139A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated IMAGE SENSOR CALIBRATION IN A ROBOTIC VEHICLE
CN109949365A (zh) * 2019-03-01 2019-06-28 武汉光庭科技有限公司 基于路面特征点的车辆指定位置停车方法及系统
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
WO2019170024A1 (zh) * 2018-03-06 2019-09-12 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、存储介质
CN110374045A (zh) * 2019-07-29 2019-10-25 哈尔滨工业大学 一种智能化除冰方法
CN110475226A (zh) * 2018-05-11 2019-11-19 深圳Tcl新技术有限公司 一种基于无人机的基站信号覆盖方法、系统及无人机
WO2020051923A1 (en) * 2018-09-15 2020-03-19 Qualcomm Incorporated Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
CN111380480A (zh) * 2019-12-31 2020-07-07 吉林大学 基于三角形阵列仿射不变量的汽车形貌重建系统与方法
CN112989982A (zh) * 2021-03-05 2021-06-18 佛山科学技术学院 一种无人车图像采集控制方法及系统
US11216955B2 (en) 2018-03-06 2022-01-04 Beijing Sensetime Technology Development Co., Ltd. Target tracking methods and apparatuses, electronic devices, and storage media

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489176A (zh) * 2012-06-13 2014-01-01 中国科学院电子学研究所 一种对于严重几何畸变的sar图像进行同名点提取的方法
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN105719314A (zh) * 2016-01-30 2016-06-29 西北工业大学 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489176A (zh) * 2012-06-13 2014-01-01 中国科学院电子学研究所 一种对于严重几何畸变的sar图像进行同名点提取的方法
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN105719314A (zh) * 2016-01-30 2016-06-29 西北工业大学 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAI-YEW LUM 等: "Simulation Study of Homography-Based Vision-Aided Inertial Navigation for Aerial Vehicles", 《11TH IEEE INTERNATIONAL CONFERENCE ON CONTROL&AUTOMATION(ICCA)》 *
SHIYU ZHAO 等: "Homography-based Vision-aided Inertial Navigation of UAVs in Unknown Environments", 《AIAA GUIDANCE,NAVIGATION,AND CONTROL CONFERENCE》 *
ZHENG LI 等: "A new Positioning Method by Two GNSS Satellites and Relative Position Constraint", 《2016 IEEE CHINESE GUIDANCE,NAVIGATION AND CONTROL CONFERENCE(CGNCC)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019139A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated IMAGE SENSOR CALIBRATION IN A ROBOTIC VEHICLE
CN107677274A (zh) * 2017-09-12 2018-02-09 西北工业大学 基于双目视觉的无人机自主着陆导航信息实时解算方法
US11216955B2 (en) 2018-03-06 2022-01-04 Beijing Sensetime Technology Development Co., Ltd. Target tracking methods and apparatuses, electronic devices, and storage media
CN108416799A (zh) * 2018-03-06 2018-08-17 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
WO2019170024A1 (zh) * 2018-03-06 2019-09-12 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、存储介质
US11699240B2 (en) 2018-03-06 2023-07-11 Beijing Sensetime Technology Development Co., Ltd. Target tracking method and apparatus, and storage medium
CN110475226A (zh) * 2018-05-11 2019-11-19 深圳Tcl新技术有限公司 一种基于无人机的基站信号覆盖方法、系统及无人机
CN108563236A (zh) * 2018-06-08 2018-09-21 清华大学 一种基于同心圆特征的纳型无人机目标跟踪方法
TWI827649B (zh) * 2018-09-15 2024-01-01 美商高通公司 用於vslam比例估計的設備、系統和方法
WO2020051923A1 (en) * 2018-09-15 2020-03-19 Qualcomm Incorporated Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
CN112740274A (zh) * 2018-09-15 2021-04-30 高通股份有限公司 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
CN109949365B (zh) * 2019-03-01 2022-12-02 武汉光庭科技有限公司 基于路面特征点的车辆指定位置停车方法及系统
CN109949365A (zh) * 2019-03-01 2019-06-28 武汉光庭科技有限公司 基于路面特征点的车辆指定位置停车方法及系统
CN110374045B (zh) * 2019-07-29 2021-09-28 哈尔滨工业大学 一种智能化除冰方法
CN110374045A (zh) * 2019-07-29 2019-10-25 哈尔滨工业大学 一种智能化除冰方法
CN111380480A (zh) * 2019-12-31 2020-07-07 吉林大学 基于三角形阵列仿射不变量的汽车形貌重建系统与方法
CN111380480B (zh) * 2019-12-31 2024-06-07 吉林大学 基于三角形阵列仿射不变量的汽车形貌重建系统与方法
CN112989982A (zh) * 2021-03-05 2021-06-18 佛山科学技术学院 一种无人车图像采集控制方法及系统
CN112989982B (zh) * 2021-03-05 2024-04-30 佛山科学技术学院 一种无人车图像采集控制方法及系统

Also Published As

Publication number Publication date
CN106529587B (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN106529587A (zh) 基于目标点识别的视觉航向识别方法
CN104848858B (zh) 二维码以及用于机器人的视觉-惯性组合导航系统及方法
CN107229908B (zh) 一种车道线检测方法
Kong et al. Vanishing point detection for road detection
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
US20220215573A1 (en) Camera pose information detection method and apparatus, and corresponding intelligent driving device
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
WO2018133727A1 (zh) 一种正射影像图的生成方法及装置
CN105222788A (zh) 基于特征匹配的飞行器航偏移误差的自校正方法
CN111210477A (zh) 一种运动目标的定位方法及系统
CN112614188B (zh) 一种基于交比不变性的点阵式标定板及其识别方法
EP2887315A1 (en) Calibration device, method for implementing calibration, program and camera for movable body
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
CN109658366A (zh) 基于改进ransac和动态融合的实时视频拼接方法
CN105335977A (zh) 摄像系统及目标对象的定位方法
CN113221648A (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
WO2022179519A1 (zh) 基于地面纹理信息的地图构建方法和系统及移动机器人
US11904843B2 (en) Autonomous parking systems and methods for vehicles
Takahashi et al. A robust lane detection using real-time voting processor
CN111598956A (zh) 标定方法、装置和系统
WO2020132965A1 (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN111260538A (zh) 基于长基线双目鱼眼相机的定位及车载终端
WO2022133986A1 (en) Accuracy estimation method and system
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
EP3855393A1 (en) A method for detecting moving objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190625

Termination date: 20201025