CN106845552A - 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 - Google Patents

在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 Download PDF

Info

Publication number
CN106845552A
CN106845552A CN201710062178.2A CN201710062178A CN106845552A CN 106845552 A CN106845552 A CN 106845552A CN 201710062178 A CN201710062178 A CN 201710062178A CN 106845552 A CN106845552 A CN 106845552A
Authority
CN
China
Prior art keywords
delta
sift
alpha
formula
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710062178.2A
Other languages
English (en)
Other versions
CN106845552B (zh
Inventor
陈熙源
柳笛
刘晓
李庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710062178.2A priority Critical patent/CN106845552B/zh
Publication of CN106845552A publication Critical patent/CN106845552A/zh
Application granted granted Critical
Publication of CN106845552B publication Critical patent/CN106845552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,通过安装在移动载体上的车载摄像机采集载体的动态图像,采用金字塔Lucas‑Kanade光流和SIFT特征点匹配两种算法分别检测出当前帧和下一帧图像中的特征点并对其进行匹配,然后根据匹配成功的若干对特征点所对应的像素位移计算出在载体坐标系下的速度V光流、VSIFT,并将两者的差值ΔV以及加速度差值Δa输入到改进的自适应卡尔曼滤波器,对光流法计算得到的载体速度VSIFT进行直接校正。通过本发明求取速度精度高和求取速度快,显著提高了低动态载体速度的估计精度和实时性。

Description

在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低 动态载体速度计算方法
技术领域
本发明涉及计算机图像处理领域,尤其涉及通过融合光流和SIFT特征点匹配方法从而得到更高精度的移动载体速度的设计,适用于移动机器人的视觉辅助导航。
背景技术
目前,获取移动载体速度的方法主要有两种,一种为利用传统的码盘,另一种为基于视觉的方法。相比较于传统码盘的方法,利用视觉方法获取移动载体速度的方法不会受到轮子侧滑的影响,在车体没有运动的情况下,也不会出现结果上的漂移。近年来,基于视觉测量低动态移动载体速度的方法逐渐成为一种重要的选择。但是某一种单一的基于视觉测量速度的方法不能同时满足实时性和在光照不均匀情况下高鲁棒性的要求,因此如何提高在光照不均匀环境下利用视觉方法求得速度的精度和实时性成为工程应用中的一个重点和难点。
使用视觉求移动载体速度主要分为基于光流法和基于特征匹配跟踪两种方法。光流法对于图像运动的估计已经可以满足一定的精度和稳定度的要求,并且由于计算速度快,基于光流法的速度测量方法可以达到实际应用的要求,但是它在光照不均匀环境下测量的速度精度不高。SIFT特征点匹配方法具有尺度和旋转不变性,在光照不均匀情况下仍具有较高的显著性和高精度特性,但缺点是特征提取和匹配过程相对耗时较多,从而导致移动载体速度测量过程较慢。在光照不均匀环境下提高视觉方法求得速度的精度和实时性,主要有物理方法和软件算法,物理方法虽效果较好,却带来了成本等问题;相比而言,软件算法具有更高的灵活性及经济性。
基于上述单一视觉方法在光照不均匀条件下测量速度存在的问题,更多地关注软件算法,可以在不增加成本等问题的前提下,提高解决问题的精度和实时性。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提出了一种在不增加成本等问题的前提下,提高解决问题的精度和实时性的在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法。通过本发明的方法可以克服在光强分布不均匀环境下金字塔Lucas-Kanade光流法求取速度精度差和SIFT特征点匹配方法求取速度慢的缺点,突出了光流法的实时性和SIFT特征点匹配的准确性特点,显著提高了低动态载体速度的估计精度和实时性。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,包括以下步骤:
(1)在移动载体上安装车载摄像机,使其镜头垂直向下放置,用于拍摄地面图像,在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进行。
(2)在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点,并记录下角点在图像坐标系中的坐标。
(3)采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪,从而获取这些角点在下一帧图像坐标系中的坐标位置。
(4)通过RANSAC方法筛选并剔除跟踪异常的角点,对跟踪正常的角点在前后两帧图像坐标系中的坐标进行处理,计算出这些正常角点的横向和纵向位移并进行叠加,将叠加值求平均得到横向和纵向位移的平均值
(5)在进行步骤(2)、(3)、(4)步骤的同时,在感兴趣区域ROI中采用SIFT算法对相邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量。
(6)获取SIFT特征向量后,进行特征点匹配。以特征向量的欧式距离作为匹配准则。在前一帧图像中的特征点Ri,在后一帧中计算距离特征点Ri最近的2个特征点并且记录2个距离d1和d2,计算2个距离之比,比例在一定阈值范围之内的,可以认为是匹配点。
前一帧图像中的特征点Ri和后一帧图像中的特征点Si描述子分别表示为:
Ri=(ri1,ri1,…,ri128) (1)
Si=(si1,si1,…,si128) (2)
任意两个特征点相似性度量:
要得到配对的特征点描述子(Ri,Sj),需满足:
(7)重复步骤(4)中的方法,得到正常匹配特征点的横向和纵向位移的平均值
(8)假设摄像头光心到地面的距离为ZR,考虑地面水平则ZR为一常数,归一化焦距分别f1,f2。为了简化计算,在不考虑摄像机镜头畸变和摄像机成像平面坐标系中坐标轴倾斜的情况下,使用公式(5)、(6)、(7)可以求出移动载体沿摄像机坐标系X轴和Y轴的速度。
式(5)、(6)中,分别为正常匹配特征点的横向和纵向位移的平均值,F为摄像机的帧率。
(9)利用步骤(8),载体分别在光流法、SIFT方法下解算出的速度为Vx光流、Vy光流、VxSIFT、VySIFT。在考虑移动载体只做前进和旋转运动的情况下,便可由Vy光流、VySIFT表示移动载体前进方向上的速度,并将两者做差得ΔV,两者的加速度差Δa设为常数。把ΔV、Δa共同输入到改进的自适应卡尔曼滤波器中进行数据融合。
(10)改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV和Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统中由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行信息融合。
滤波器的系统方程和观测方程如式(8)、(9))所示:
Z(k)=H(k)X(k)+V(k) (9)
式(8)中T为相邻时刻间隔周期,α为载体加速度差值时间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号式(9)中H(k)=[1 0],V(k)为观测方程噪声
系统噪声矩阵Q(k-1)如式(10)所示:
上式中加速度差值的方差σ2表示为:
式(11)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公式确定:
为了进一步提高滤波算法的估计精度,引入滤波残差err(k)来调整系数k1、k2。k1、k2的取值可用公式(14)、(15)、(16)表示。
err(k)=Z(k)-H(k)X(k/k-1) (16)
式(14)、(15)中n为设定的一个正数,k11、k12、k21、k22均为常数。k11的取值空间为 k12的取值空间k21的取值范围为k22的取值范围为
(11)使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流进行直接校正,从而得到了精度较高的移动载体速度。
本发明相比现有技术,具有以下有益效果:
本发明使用光流和SIFT特征点匹配两种方法,通过安装在移动载体上的车载摄像机采集载体的动态图像,采用金字塔Lucas-Kanade光流和SIFT特征点匹配两种算法分别检测出当前帧和下一帧图像中的特征点并对其进行匹配,然后根据匹配成功的特征点对的像素位移计算出在载体坐标系下的速度V光流、VSIFT,并将两者的差值ΔV以及加速度差值Δa输入到改进的自适应卡尔曼滤波器,最后使用改进的自适应卡尔曼滤波器输出的估计值对光流法计算得到的载体速度VSIFT进行直接校正;上述方法的提出克服了在光强分布不均匀条件下金字塔Lucas-Kanade光流法求取速度精度差和SIFT特征点匹配方法求取速度慢的缺点,突出了光流法的实时性和SIFT特征点匹配的准确性特点。
附图说明
图1为一种在光照不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法的系统示意图。
图2为一种在光照不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法的控制方法示意图。
图3为本发明的流程示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,如图2、3所示,包括以下步骤:
(1)在移动载体上安装车载摄像机,使其镜头垂直向下放置,用于拍摄地面图像,在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进行。
(2)在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点,并记录下角点在图像坐标系中的坐标。
(3)采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪,从而获取这些角点在下一帧图像坐标系中的坐标位置。
(4)通过RANSAC方法筛选并剔除跟踪异常的角点,对跟踪正常的角点在前后两帧图像坐标系中的坐标进行处理,计算出这些正常角点的横向和纵向位移并进行叠加,将叠加值求平均得到横向和纵向位移的平均值
(5)在进行步骤(2)、(3)、(4)步骤的同时,在感兴趣区域ROI中采用SIFT算法对相邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量。
(6)获取SIFT特征向量后,进行特征点匹配。以特征向量的欧式距离作为匹配准则。在前一帧图像中的特征点Ri,在后一帧中计算距离特征点Ri最近的2个特征点并且记录2个距离d1和d2,计算2个距离之比,比例在一定阈值范围之内的,可以认为是匹配点。
前一帧图像中的特征点Ri和后一帧图像中的特征点Si描述子分别表示为:
Ri=(ri1,ri1,…,ri128) (1)
Si=(si1,si1,…,si128) (2)
任意两个特征点相似性度量:
要得到配对的特征点描述子(Ri,Sj),需满足:
(7)重复步骤(4)中的方法,得到正常匹配特征点的横向和纵向位移的平均值
(8)假设摄像头光心到地面的距离为ZR,考虑地面水平则ZR为一常数,归一化焦距分别f1,f2。为了简化计算,在不考虑摄像机镜头畸变和摄像机成像平面坐标系中坐标轴倾斜的情况下,使用公式(5)、(6)、(7)可以求出移动载体沿摄像机坐标系X轴和Y轴的速度。
式(5)、(6)中,分别为正常匹配特征点的横向和纵向位移的平均值,F为摄像机的帧率。
(9)利用步骤(8),载体分别在光流法、SIFT方法下解算出的速度为Vx光流、Vy光流、VxSIFT、VySIFT。在考虑移动载体只做前进和旋转运动的情况下,便可由Vy光流、VySIFT表示移动载体前进方向上的速度,并将两者做差得ΔV,两者的加速度差Δa设为常数。把ΔV、Δa共同输入到改进的自适应卡尔曼滤波器中进行数据融合。
(10)改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV和Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统中由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行信息融合。
滤波器的系统方程和观测方程如式(8)、(9))所示:
Z(k)=H(k)X(k)+V(k) (9)
式(8)中T为相邻时刻间隔周期,α为载体加速度差值时间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号式(9)中H(k)=[1 0],V(k)为观测方程噪声
系统噪声矩阵Q(k-1)如式(10)所示:
上式中加速度差值的方差σ2表示为:
式(11)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公式确定:
为了进一步提高滤波算法的估计精度,引入滤波残差err(k)来调整系数k1、k2。k1、k2的取值可用公式(14)、(15)、(16)表示。
err(k)=Z(k)-H(k)X(k/k-1) (16)
式(14)、(15)中n为设定的一个正数,k11、k12、k21、k22均为常数。k11的取值空间为 k12的取值空间k21的取值范围为k22的取值范围为
(11)使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流进行直接校正,从而得到了精度较高的移动载体速度。
如图1所示,一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法的系统,包括视觉摄像头和数据处理计算机。
改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV和Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统中由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行信息融合。
滤波器的系统方程和观测方程如式(17)、(18))所示:
Z(k)=H(k)X(k)+V(k) (18)
式(17)中T为相邻时刻间隔周期,α为载体加速度差值时间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号式(18)中H(k)=[1 0],V(k)为观测方程噪声
系统噪声矩阵Q(k-1)如式(19)所示:
上式中加速度差值的方差σ2表示为:
式(20)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公式确定:
为了进一步提高滤波算法的估计精度,引入滤波残差err(k)来调整系数k1、k2。k1、k2的取值可用公式(23)、(24)、(25)表示。
err(k)=Z(k)-H(k)X(k/k-1) (25)
式(23)、(24)中n为设定的一个正数,k11、k12、k21、k22均为常数。k11的取值空间为 k12的取值空间k21的取值范围为k22的取值范围为
通过自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流进行直接校正,从而得到了精度较高的移动载体速度。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,其特征在于,包括下列步骤:
步骤1,在移动载体上安装车载摄像机,使其镜头垂直向下放置,用于拍摄地面图像,在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进行;
步骤2,在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点,并记录下角点在图像坐标系中的坐标;
步骤3,采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪,从而获取这些角点在下一帧图像坐标系中的坐标位置;
步骤4,通过RANSAC方法筛选并剔除跟踪异常的角点,对跟踪正常的角点在前后两帧图像坐标系中的坐标进行处理,计算出这些正常角点的横向和纵向位移并进行叠加,将叠加值求平均得到横向位移的平均值纵向位移的平均值
步骤5,在感兴趣区域ROI中采用SIFT算法对相邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量;
步骤6,获取SIFT特征向量后,进行特征点匹配;
步骤7,重复步骤4中的方法,得到正常匹配特征点的横向位移的平均值纵向位移的平均值
步骤8,假设摄像头光心到地面的距离为ZR,归一化焦距分别为f1,f2,使用公式(5)、(6)、(7)求出移动载体沿摄像机坐标系X轴和Y轴的速度;
v x = &Delta; x &OverBar; &CenterDot; F - - - ( 5 )
v y = &Delta; y &OverBar; &CenterDot; F - - - ( 6 )
V x V y = Z R v x / f 1 Z R v y / f 2 - - - ( 7 )
式中,分别为正常匹配特征点的横向和纵向位移的平均值,F为摄像机的帧率,f1,f2表示归一化焦距;
步骤9,利用步骤(8),载体分别在光流法、SIFT方法下解算出的速度为Vx光流、Vy光流、VxSIFT、VySIFT;在考虑移动载体只做前进和旋转运动的情况下,便可由Vy光流、VySIFT表示移动载体前进方向上的速度,并将两者做差得ΔV,两者的加速度差Δa设为常数,把ΔV、Δa共同输入到改进的自适应卡尔曼滤波器中进行数据融合;
步骤10,改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV和Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统中由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行信息融合:
滤波器的系统方程和观测方程如式(8)、(9))所示:
X ( k ) = &Phi; ( k , k - 1 ) X ( k - 1 ) + U ( k - 1 ) &Delta; a &OverBar; + W ( k - 1 ) - - - ( 8 )
Z(k)=H(k)X(k)+V(k) (9)
式(8)中T为相邻时刻间隔周期,α为载体加速度差值时间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号式(9)中H(k)=[1 0],V(k)为观测方程噪声,系统噪声矩阵Q(k-1)如式(10)所示:
Q ( k - 1 ) = 2 &alpha; &sigma; 2 4 e - &alpha;T - 3 - e - 2 &alpha;T + 2 &alpha;T 2 &alpha; 3 e - 2 &alpha;T + 1 - 2 e - &alpha;T 2 &alpha; 2 e - 2 &alpha;T + 1 - 2 e - &alpha;T 2 &alpha; 2 1 - e - 2 &alpha;T 2 &alpha; - - - ( 10 )
上式中加速度差值的方差σ2表示为:
&sigma; 2 = 4 - &pi; &pi; [ &Delta;a new - max - &Delta;a ( k / k - 1 ) ] 2 , &Delta;a ( k / k - 1 ) > 0 4 - &pi; &pi; [ &Delta; a new - min - &Delta;a ( k . k - 1 ) ] 2 , &Delta;a ( k / k - 1 ) < 0 - - - ( 11 )
式(11)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其值随Δa(k/k-1)的改变而改变;假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公式确定:
M = 1 - k 1 &Delta; a ( k / k ) , &Delta;a u p &GreaterEqual; &Delta; a ( k / k ) &GreaterEqual; 0 1 - k 2 - &Delta; a ( k / k ) , 0 > &Delta; a ( k / k ) &GreaterEqual; &Delta;a - u p - - - ( 12 )
&Delta;a new - max = M &CenterDot; &Delta; a y , &Delta;a ( k / k ) &GreaterEqual; 0 &Delta; a new - min = M &CenterDot; &Delta; a - y , &Delta;a ( k / k ) < 0 - - - ( 13 )
步骤11,使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流进行直接校正,从而得到了精度较高的移动载体速度。
2.根据权利要求1所述在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,其特征在于:所述步骤6中的特征点匹配方法:
以特征向量的欧式距离作为匹配准则,在前一帧图像中的特征点Ri,在后一帧中计算距离特征点Ri最近的2个特征点并且记录2个距离d1和d2,计算2个距离之比,比例在一定阈值范围之内的,认为是匹配点;
前一帧图像中的特征点Ri和后一帧图像中的特征点Si描述子分别表示为:
Ri=(ri1,ri1,…,ri128) (1)
Si=(si1,si1,…,si128) (2)
任意两个特征点相似性度量d(Ri,Si):
d ( R i , S i ) = &Sigma; j = 1 128 ( r i j - s i j ) 2 - - - ( 3 )
要得到配对的特征点描述子(Ri,Sj),需满足:
Threshold表示阈值。
3.根据权利要求1所述在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,其特征在于:所述步骤10中,引入滤波残差err(k)来调整系数k1、k2,k1、k2的取值用公式(14)、(15)、(16)表示:
k 1 = ( 1 - k 11 | e r r ( k ) | ) &CenterDot; ( &Delta;a y - &Delta;a u p &Delta;a y ) 1 &Delta;a u p , | e r r ( k ) | &GreaterEqual; n k 12 , | e r r ( k ) | < n - - - ( 14 )
k 2 = ( 1 - k 21 | e r r ( k ) | ) &CenterDot; ( - &Delta;a - y - &Delta;a u p - &Delta;a - y ) 1 &Delta;a u p , | e r r ( k ) | &GreaterEqual; n k 22 , | e r r ( k ) | < n - - - ( 15 )
err(k)=Z(k)-H(k)X(k/k-1) (16)
式(14)、(15)中n为设定的一个正数,k11、k12、k21、k22均为常数;k11的取值空间为 k12的取值空间k21的取值范围为k22的取值范围为
CN201710062178.2A 2017-01-31 2017-01-31 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法 Active CN106845552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710062178.2A CN106845552B (zh) 2017-01-31 2017-01-31 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710062178.2A CN106845552B (zh) 2017-01-31 2017-01-31 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法

Publications (2)

Publication Number Publication Date
CN106845552A true CN106845552A (zh) 2017-06-13
CN106845552B CN106845552B (zh) 2019-11-08

Family

ID=59121960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710062178.2A Active CN106845552B (zh) 2017-01-31 2017-01-31 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法

Country Status (1)

Country Link
CN (1) CN106845552B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920257A (zh) * 2017-12-01 2018-04-17 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN108573269A (zh) * 2017-10-24 2018-09-25 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN108961342A (zh) * 2018-05-02 2018-12-07 珠海市微半导体有限公司 一种光流传感器的校准方法及系统
CN109727273A (zh) * 2018-12-29 2019-05-07 北京茵沃汽车科技有限公司 一种基于车载鱼眼相机的移动目标检测方法
CN111736237A (zh) * 2020-07-31 2020-10-02 上海眼控科技股份有限公司 辐射雾检测方法、装置、计算机设备和可读存储介质
CN112613526A (zh) * 2020-12-17 2021-04-06 厦门大学 一种基于光流跟踪的特征匹配算法及系统
CN113076883A (zh) * 2021-04-08 2021-07-06 西南石油大学 一种基于图像特征识别的井喷气体流速测量方法
WO2021168755A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像处理方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005041A (zh) * 2010-11-02 2011-04-06 浙江大学 一种针对存在循环回路的图像序列的特征点匹配方法
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
US20140270411A1 (en) * 2013-03-15 2014-09-18 Henry Shu Verification of User Photo IDs
CN104881645A (zh) * 2015-05-26 2015-09-02 南京通用电器有限公司 基于特征点互信息量和光流法的车辆前方目标的检测方法
CN105279522A (zh) * 2015-09-30 2016-01-27 华南理工大学 一种基于sift的场景物体实时配准方法
US20160358018A1 (en) * 2015-06-02 2016-12-08 SK Hynix Inc. Moving object detection device and object detection method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005041A (zh) * 2010-11-02 2011-04-06 浙江大学 一种针对存在循环回路的图像序列的特征点匹配方法
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
US20140270411A1 (en) * 2013-03-15 2014-09-18 Henry Shu Verification of User Photo IDs
CN104881645A (zh) * 2015-05-26 2015-09-02 南京通用电器有限公司 基于特征点互信息量和光流法的车辆前方目标的检测方法
US20160358018A1 (en) * 2015-06-02 2016-12-08 SK Hynix Inc. Moving object detection device and object detection method
CN105279522A (zh) * 2015-09-30 2016-01-27 华南理工大学 一种基于sift的场景物体实时配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赖泊能 等: "基于DM642的金字塔Lucas-Kanade光流法计算速度信息", 《测控技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573269A (zh) * 2017-10-24 2018-09-25 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN108573269B (zh) * 2017-10-24 2021-02-05 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN107920257A (zh) * 2017-12-01 2018-04-17 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN107920257B (zh) * 2017-12-01 2020-07-24 北京奇虎科技有限公司 视频关键点实时处理方法、装置及计算设备
CN108961342B (zh) * 2018-05-02 2020-12-15 珠海市一微半导体有限公司 一种光流传感器的校准方法及系统
CN108961342A (zh) * 2018-05-02 2018-12-07 珠海市微半导体有限公司 一种光流传感器的校准方法及系统
CN109727273A (zh) * 2018-12-29 2019-05-07 北京茵沃汽车科技有限公司 一种基于车载鱼眼相机的移动目标检测方法
WO2021168755A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN111736237A (zh) * 2020-07-31 2020-10-02 上海眼控科技股份有限公司 辐射雾检测方法、装置、计算机设备和可读存储介质
CN112613526A (zh) * 2020-12-17 2021-04-06 厦门大学 一种基于光流跟踪的特征匹配算法及系统
CN112613526B (zh) * 2020-12-17 2023-09-15 厦门大学 一种基于光流跟踪的特征匹配方法及系统
CN113076883A (zh) * 2021-04-08 2021-07-06 西南石油大学 一种基于图像特征识别的井喷气体流速测量方法
CN113076883B (zh) * 2021-04-08 2022-05-06 西南石油大学 一种基于图像特征识别的井喷气体流速测量方法

Also Published As

Publication number Publication date
CN106845552B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN106845552A (zh) 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法
JP6896044B2 (ja) 道路の垂直輪郭検出
US9256791B2 (en) Road vertical contour detection
CN107750364A (zh) 使用稳定的坐标系的道路垂直轮廓检测
Stein et al. A robust method for computing vehicle ego-motion
CN102222341B (zh) 运动特征点检测方法及装置、运动目标检测方法及装置
CN101383899A (zh) 一种空基平台悬停视频稳像方法
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
JP5105481B2 (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN107038683A (zh) 运动目标的全景成像方法
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
CN110462682A (zh) 物体检测装置以及车辆
CN103996292A (zh) 一种基于角点匹配的运动车辆跟踪方法
CN104331907B (zh) 一种基于orb特征检测测量载体速度的方法
CN106915303A (zh) 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
Arróspide et al. On-board robust vehicle detection and tracking using adaptive quality evaluation
JP5783211B2 (ja) 交通量計測装置および交通量計測方法
CN102142148B (zh) 视频空时特征提取方法
Chiu et al. Real-Time Front Vehicle Detection Algorithm for an Asynchronous Binocular System.
CN115797405A (zh) 一种基于车辆轴距的多镜头自适应跟踪方法
Yu et al. An improved phase correlation method for stop detection of autonomous driving
Luo Object tracking for automatic driving
CN107248171A (zh) 一种基于三角剖分的单目视觉里程计尺度恢复方法
Zheng et al. Understanding vehicle motion via spatial integration of intensities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant