CN104331907A - 一种基于orb特征检测测量载体速度的方法 - Google Patents

一种基于orb特征检测测量载体速度的方法 Download PDF

Info

Publication number
CN104331907A
CN104331907A CN201410629762.8A CN201410629762A CN104331907A CN 104331907 A CN104331907 A CN 104331907A CN 201410629762 A CN201410629762 A CN 201410629762A CN 104331907 A CN104331907 A CN 104331907A
Authority
CN
China
Prior art keywords
displacement
point
matching characteristic
carrier
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410629762.8A
Other languages
English (en)
Other versions
CN104331907B (zh
Inventor
陈熙源
赖泊能
李庆华
方琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201410629762.8A priority Critical patent/CN104331907B/zh
Publication of CN104331907A publication Critical patent/CN104331907A/zh
Application granted granted Critical
Publication of CN104331907B publication Critical patent/CN104331907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于ORB特征检测来测量载体速度的方法，通过对摄像机获取的连续两帧图像进行ORB特征提取并匹配，从而得到载体的位移和速度。所述方法包括：对当前帧和下一帧进行灰度化并设定感兴趣区域；利用OrientedFAST算子对特征点检测；利用RotatedBRIEF特征描述子对特征点进行特征匹配；对匹配出来的特征点对进行筛选并剔除误匹配点；然后对得到的特征点对的像素位移进行分析和计算；通过系统模型得到比例转换系数，从而得到载体的实际位移和速度。本方法简单易实现，对图像特征点检测和匹配的速度提高明显，特别适用于对实时性要求高的视觉辅助系统中。

Description

一种基于ORB特征检测测量载体速度的方法
技术领域
本发明涉及计算机图像处理领域，尤其涉及一种通过图像特征提取来测量像素位移，从而测量得载体移动速度的设计，适用于机器人，飞行器等的视觉辅助导航。
背景技术
通过特征提取来获取载体位移和速度，是视觉辅助导航系统中的一种非常重要的手段。视觉辅助技术已经广泛应用在机器人导航、飞行器等载体的导航技术中。通常，我们通过对摄像机拍摄到的图像，对当前帧和下一帧图像使用特征检测技术检测出鲁棒性强的特征点，然后对在当前帧和下一帧中检测出的特征点进行特征匹配，从而得到优良特征点在当前帧和下一帧中的位置，由此我们便可以得到特征点在图像中的像素位移。再由摄像机的帧率，我们可以得到当前帧和下一帧的时间间隔，通过位移和这个两帧间的时间间隔，我们就可以得到特征点的像素位移了，再通过摄像机和载体之间的模型几何关系，便可求得载体的速度和位移。
在导航领域中，视觉检测具有以下三个优势：1、非接触测量，对于观测体和被观测体都不会产生任何损伤，从而提高系统的可靠性；2、机器视觉具有较宽的光谱响应范围以及宽广的机器视野，这可以使得机器视觉获得更丰富的外界信息；3、机器视觉可以长时间稳定工作，而不会像诸如惯性导航器件等会产生误差累积，所以在惯性导航中，可利用机器视觉，对惯性导航进行误差补偿。
无论在工业制造还是机器人视觉导航中，都会追求更快更鲁棒的方法来进行特征点检测和匹配。从最早的光流算法，到后来的SIFT特征检测，再后来基于对SIFT特征检测算法改进而来的更为快速的SURF特征检测算法，都很好地实现了两帧图像间的特征点检测和匹配。一般的特征检测算法，如果是用于对前后两幅图像进行特征匹配，比如用于人脸识别等工程应用中，则对实时性要求不高，在一秒乃至两秒的处理时间范围，我们都是可以忍受的。而在载体视觉辅助导航中，如果特征点检测和识别的处理过程太慢，则会导致载体速度已经发生了变化，而这个图像处理过程却还在运行，而无法实时地得到载体当前的位移和速度。因此，传统的利用SURF特征检测算法来实现特征检测的方法则不能够用在载体利用视觉来测量运动速度的情况中。
发明内容
本发明提供一种基于ORB特征检测算法来测量载体速度的方法，用于实现通过视觉技术快速地得到载体当前速度。具体包含以下步骤：
(1)在被测载体上安装一个导航摄像头，该导航摄像头的镜头垂直朝下，用于拍摄地面，以便获取地面特征；
(2)在导航摄像头拍摄过程中，截取当前帧和下一帧的图像；
(3)将这两幅图像转为灰度图像；
(4)分别从两幅灰度图像的中央选取一定大小的感兴趣区域，使用ORB特征检测算法对当前帧和下一帧的特征点进行检测，并从中得到相应特征点的描述子；
(5)根据得到的特征点的描述子，通过暴力匹配方法，对当前帧和下一帧中的特征点进行匹配；
(6)遍历所有匹配出来的特征点对，求得特征点移动的最大绝对位移(即匹配出的特征点间的距离)max_dist，然后，剔除掉像素绝对位移大于0.6*max_dist的匹配特征点对，得到正确匹配特征点对的对数；
(7)求取每对正确匹配特征点对的横向位移和纵向位移，并将所有正确匹配特征点对的横向位移、纵向位移分别进行叠加，然后分别除以正确匹配特征点对的对数，得到每对正确匹配特征点对的横向、纵向的平均像素位移；
(8)通过摄像机的帧率求得相邻帧之间的时间间隔，根据步骤(7)得到的每对正确匹配特征点对的横向、纵向的平均像素位移，得到特征点在横向、纵向上的移动速度，然后再经过系统建模，求得载体的位移以及它的移动速度。
本发明与现有技术相比：
1)利用ORB特征检测算法来进行特征点的检测和匹配，使图像处理速度大大提高，比传统的SURF算法的速度快了将近4倍，这大大增强了系统的实时性。
2)因为其实时性强的优点，在视觉辅助惯性导航技术中，更有利于实时地得到更多的速度信息，使得导航性能更加精确可靠。
附图说明
下面将结合附图及实施例对本发明作进一步说明：
图1是本发明实施例的步骤流程图；
图2是本发明实施例的硬件实验平台图；
图3是本发明实施例的ORB特征点匹配效果图；
图4是本发明实施例的计算出特征点像素位移结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图2所示，硬件平台是一台可移动的小车，平台上有一个工业摄像机，摄像机光轴垂直于地面且面朝地面，还有一台笔记本电脑用于实施图像处理。
如图1所示，一种基于ORB特征检测来测量载体速度的方法，包括以下步骤：
1)因为要使用特征检测，所以，小车运动的环境应该处于一个有纹理的地面环境。
2)小车运动过程中，摄像机面朝地面，不断拍摄运动过程中地面的纹理变化。
3)对拍摄到的图像，截取当前一帧图像，以及下一帧的图像。为减少图像处理的信息，对这两帧图像分别进行灰度化。
4)本实施例采用的工业摄像机拍摄的图像像素为640*480，如果直接处理这样大小的图像，将会使处理时间大大延长。而因为利用特征点来检测速度，所以并不需要对图像全部特征点进行检测和匹配，只需对其中某一区域的特征变化检测并识别出来即可。因此，本实施例将截取拍摄到的图像中央160*120大小感兴趣区域(ROI)进行图像处理，从而大大减少了图像信息，并极大提高了特征点检测和匹配的速度，增强了实时性。
5)对这个在当前帧和下一帧中选取出来的ROI，使用ORB特征检测算法，首先用Oriented FAST算子对当前帧和下一帧特征点进行检测，并从中得到特征点，并且得到相应特征点的Rotated BRIEF特征描述子。
6)利用上一步中得到的特征点的Rotated BRIEF特征描述子对两帧中感兴趣区域(ROI)中检测出的ORB特征点进行暴力匹配。
7)在匹配中，会因某些特征点的特征描述子相似，而导致误匹配，因此，要对匹配出来的匹配特征点对进行筛选。在当前帧和下一帧的特征点匹配完成后，对所有匹配特征点对的绝对像素位移进行计算，并得到所有匹配特征点对绝对像素位移的最大值max_dist。然后，剔除掉像素位移大于0.6*max_dist的匹配特征点对。剩下的特征点对，本实施例即认为是正确匹配的特征点对，并得到正确匹配特征点对的对数。
8)后面的操作只对正确匹配特征点对进行操作。获取每对特征点对的横向像素位移和纵向像素位移。
9)对获取得的每对特征点对的横向像素位移和纵向像素位移分别进行叠加，然后除以正确匹配特征点对的对数，从而得到横向像素平均位移和纵向像素平均位移。
10)最后通过摄像机的帧率，利用Vkeypoint＝Skeypoint*f(其中Vkeypoint为特征点像素速度，Skeypoint为特征点像素位移，f为帧率)由上一步得到的横向和纵向的像素平均位移得到横向和纵向的像素速度，然后通过系统建模，对实际系统结构分析得到实际载体位移与像素位移之间的关系，从而通过测量和标定得到实际载体位移与像素位移之间的比例值K，利用Sreal＝Skeypoint*K(其中K为实际载体位移Sreal和像素位移Skeypoint间的比例系数)求得实际载体位移以及它的移动速度。
图3是本发明实施例中载体运行时对图像进行特征检测的ORB特征点匹配效果图，其中，左边的图像为当前帧的图像，右边则为下一帧的图像，圆圈为检测出的匹配特征点，连线是为了突出在两帧中匹配出来的特征点。
图4是本发明实施例的计算出特征点像素位移结果图，其中：第一行Time(Extracting&Matching)是当前帧和下一帧图像中用于特征点检测和匹配的处理时间，单位为ms；第二行MaxDist和第三行MinDist分别是匹配出的遍历所有匹配出来的特征点对，求得特征点移动的最大绝对位移和最小绝对位移(这里绝对位移即匹配出的特征点间的距离)；第四行the matches.size()是在当前帧和下一帧中能够匹配出来的特征点对的对数；第五行the good_matches.size()是剔除掉像素位移大于0.6*max_dist(最大绝对位移)的匹配特征点对后，剩下的正确匹配特征点对的对数；第六行xz是所有正确匹配特征点对的横向位移总和；第七行yz是所有正确匹配特征点对的纵向位移总和；第八和第九行，则是利用前面求得的xz和yz分别除以正确匹配特征点对的对数而得到横向和纵向上的平均位移，并将其视作计算出的像素横向位移和纵向位移。
本发明可以作为一种适用于INS、GPS、超声波等多传感器组合导航系统中用于速度估计和对速度测量误差校正的方法，应用者可以根据其特殊的应用领域通过修改软件来灵活方便地实现利用视觉信息测量载体的位移和速度，及其运动方向。

Claims (2)

1.一种基于ORB特征检测测量载体位移和速度的方法，其特征在于包括以下步骤：
（1）在被测载体上安装一个导航摄像头，该导航摄像头的镜头垂直朝下，用于拍摄地面，以便获取地面特征；
（2）在导航摄像头拍摄过程中，截取当前帧和下一帧的图像；
（3）将这两幅图像转为灰度图像；
（4）分别从两幅灰度图像的中央选取一定大小的感兴趣区域，使用ORB特征检测算法对当前帧和下一帧的特征点进行检测，并从中得到相应特征点的描述子；
（5）根据得到的特征点的描述子，通过暴力匹配方法，对当前帧和下一帧中的特征点进行匹配；
（6）遍历所有匹配出来的特征点对，求得特征点移动的最大绝对位移max_dist，然后，剔除掉像素绝对位移大于0.6*max_dist的匹配特征点对，得到正确匹配特征点对的对数；
（7）求取每对正确匹配特征点对的横向位移和纵向位移，并将所有正确匹配特征点对的横向位移、纵向位移分别进行叠加，然后分别除以正确匹配特征点对的对数，得到每对正确匹配特征点对的横向、纵向的平均像素位移；
（8）通过摄像机的帧率求得相邻帧之间的时间间隔，根据步骤（7）得到的每对正确匹配特征点对的横向、纵向的平均像素位移，得到特征点在横向、纵向上的移动速度，然后再经过系统建模，求得载体的位移以及它的移动速度。
2.如权利要求1所述的基于ORB特征检测测量载体位移和速度的方法，其特征在于所述感兴趣区域的大小为160*120像素。
CN201410629762.8A 2014-11-10 2014-11-10 一种基于orb特征检测测量载体速度的方法 Active CN104331907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410629762.8A CN104331907B (zh) 2014-11-10 2014-11-10 一种基于orb特征检测测量载体速度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410629762.8A CN104331907B (zh) 2014-11-10 2014-11-10 一种基于orb特征检测测量载体速度的方法

Publications (2)

Publication Number Publication Date
CN104331907A true CN104331907A (zh) 2015-02-04
CN104331907B CN104331907B (zh) 2018-03-16

Family

ID=52406627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410629762.8A Active CN104331907B (zh) 2014-11-10 2014-11-10 一种基于orb特征检测测量载体速度的方法

Country Status (1)

Country Link
CN (1) CN104331907B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137468A (zh) * 2015-09-24 2015-12-09 北京理工大学 光电式gps盲区环境下车辆可持续导航数据采集装置及方法
CN106525049A (zh) * 2016-11-08 2017-03-22 山东大学 一种基于计算机视觉的四足机器人本体位姿跟踪方法
CN107462742A (zh) * 2017-09-05 2017-12-12 北京聚利科技股份有限公司 速度测量方法、测量装置、测量系统及车辆
CN109782012A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第二十研究所 一种基于光电图像特征关联的测速方法
CN112798812A (zh) * 2020-12-30 2021-05-14 中山联合汽车技术有限公司 基于单目视觉的目标测速方法
CN113096407A (zh) * 2021-02-27 2021-07-09 惠州华阳通用电子有限公司 一种限高通道车辆防撞方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100310182A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Geocoding by image matching
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法
CN103150908A (zh) * 2013-02-05 2013-06-12 长安大学 一种基于视频的平均车速检测方法
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
CN103686083A (zh) * 2013-12-09 2014-03-26 北京理工大学 一种基于车载传感器视频流匹配的实时测速方法
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100310182A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Geocoding by image matching
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
CN103150908A (zh) * 2013-02-05 2013-06-12 长安大学 一种基于视频的平均车速检测方法
CN103686083A (zh) * 2013-12-09 2014-03-26 北京理工大学 一种基于车载传感器视频流匹配的实时测速方法
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MERLIN_Q: "最新版的OpenCV中新增加的ORB 特征的使用，http://blog.csdn.net/merlin_q/article/details/7026375", 《CSDN博客》 *
王雪冬: "四旋翼飞行器面向全景视图构建的飞行控制", 《万方数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137468A (zh) * 2015-09-24 2015-12-09 北京理工大学 光电式gps盲区环境下车辆可持续导航数据采集装置及方法
CN106525049A (zh) * 2016-11-08 2017-03-22 山东大学 一种基于计算机视觉的四足机器人本体位姿跟踪方法
CN106525049B (zh) * 2016-11-08 2019-06-28 山东大学 一种基于计算机视觉的四足机器人本体位姿跟踪方法
CN107462742A (zh) * 2017-09-05 2017-12-12 北京聚利科技股份有限公司 速度测量方法、测量装置、测量系统及车辆
CN109782012A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第二十研究所 一种基于光电图像特征关联的测速方法
CN112798812A (zh) * 2020-12-30 2021-05-14 中山联合汽车技术有限公司 基于单目视觉的目标测速方法
CN112798812B (zh) * 2020-12-30 2023-09-26 中山联合汽车技术有限公司 基于单目视觉的目标测速方法
CN113096407A (zh) * 2021-02-27 2021-07-09 惠州华阳通用电子有限公司 一种限高通道车辆防撞方法及装置
CN113096407B (zh) * 2021-02-27 2022-10-11 惠州华阳通用电子有限公司 一种限高通道车辆防撞方法及装置

Also Published As

Publication number Publication date
CN104331907B (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
US10402985B2 (en) Collision prediction
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN104331907A (zh) 一种基于orb特征检测测量载体速度的方法
CN105043350A (zh) 一种双目视觉测量方法
Chien et al. Visual odometry driven online calibration for monocular lidar-camera systems
CN103559711A (zh) 基于三维视觉系统图像特征和三维信息的运动估计方法
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
Pundlik et al. Time to collision and collision risk estimation from local scale and motion
Ferrara et al. Wide-angle and long-range real time pose estimation: A comparison between monocular and stereo vision systems
CN112683228A (zh) 单目相机测距方法及装置
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN106408589B (zh) 基于车载俯视相机的车辆运动测量方法
CN114119729A (zh) 障碍物识别方法及装置
Fontanelli et al. A RANSAC-based fast road line detection algorithm for high-speed wheeled vehicles
KR101896183B1 (ko) 카메라 모션 추정을 위한 3차원 직선 검출 방법
Meers et al. Face recognition using a time-of-flight camera
Cheda et al. Camera egomotion estimation in the ADAS context
Dalmia et al. High-speed extraction of 3D structure of selectable quality using a translating camera
Lee et al. Visual odometry for absolute position estimation using template matching on known environment
CN108830884B (zh) 一种多视觉传感器协同目标跟踪方法
CN114119885A (zh) 图像特征点匹配方法、装置及系统、地图构建方法及系统
JP2004038760A (ja) 車両用走行路認識装置
Brunken et al. Incorporating Plane-Sweep in Convolutional Neural Network Stereo Imaging for Road Surface Reconstruction.
Bourzeix et al. Speed estimation using stereoscopic effect
Ahmed et al. Distance alert system using Stereo vision and feature extraction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant