CN110032983B - 一种基于orb特征提取和flann快速匹配的轨迹识别方法 - Google Patents

一种基于orb特征提取和flann快速匹配的轨迹识别方法 Download PDF

Info

Publication number
CN110032983B
CN110032983B CN201910322671.2A CN201910322671A CN110032983B CN 110032983 B CN110032983 B CN 110032983B CN 201910322671 A CN201910322671 A CN 201910322671A CN 110032983 B CN110032983 B CN 110032983B
Authority
CN
China
Prior art keywords
matching
gradient
image
information
flann
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910322671.2A
Other languages
English (en)
Other versions
CN110032983A (zh
Inventor
张广才
马浚峰
赵小东
衣超
寇江伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Harbin Science And Technology Robot Research Institute Co ltd
Original Assignee
Yangzhou Harbin Science And Technology Robot Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Harbin Science And Technology Robot Research Institute Co ltd filed Critical Yangzhou Harbin Science And Technology Robot Research Institute Co ltd
Priority to CN201910322671.2A priority Critical patent/CN110032983B/zh
Publication of CN110032983A publication Critical patent/CN110032983A/zh
Application granted granted Critical
Publication of CN110032983B publication Critical patent/CN110032983B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法属于图像匹配领域;包括获取目标图像和参考图像;通过使用FAST算法分别对目标图像和参考图像进行关键点定位;通过使用Harris角检测分别对目标图像和参考图像的关键点选择最好的关键点;使用尺度金字塔变换获取空间信息,得到从小区域的细节到图像中大的特征信息;使用中心与角度方向计算,获得区域的方向角度;使用LDB算法构建描述子;通过FLANN算法将目标图像和参考图像的特征描述子匹配;去除误差大的匹配,匹配完成;现有技术中运动捕捉技术识别魔法棒采用两个以上相机配合,导致成本高和占地面积大;本发明解决了由于运动捕捉技术识别魔法棒采用两个以上相机配合,导致成本高和占地面积大的技术问题。

Description

一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法
技术领域
本发明属于图像匹配领域,尤其涉及一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法。
背景技术
魔法棒互动娱乐体验项目,在国内此形式的互动体验项目还属于首创,可参考的资料比较少。目前,这种应用大多数采用运动捕捉技术识别魔法棒需要采用两个以上相机配合,运动捕捉相机很贵,这样成本会提高很多。并且被检测端,比如魔法棒,反射头会做成刚体,球形,这样会使魔法棒的整体占地面积大。
发明内容
本发明克服了上述现有技术的不足,提供一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,使用单一相机记录轨迹,通过使用本发明将记录的曲线与数据库中的轨迹进行识别对比,本发明深度特征提取方面采用ORB特征提取结合LDB描述子进行匹配,再采用FLANN模板匹配技术实现魔法棒画出来的轨迹识别,在保证定位精确的前提下,解决了现有技术中运动捕捉技术识别魔法棒采用两个以上相机配合,导致成本高和占地面积大的技术问题。
本发明的技术方案:
一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,包括以下步骤:
步骤a、获取目标图像和参考图像;
步骤b、通过使用FAST算法分别对目标图像和参考图像进行关键点定位;
步骤c、通过使用Harris角检测分别对目标图像和参考图像的关键点选择最好的关键点;
步骤d、使用尺度金字塔变换获取空间信息,得到从小区域的细节到图像中大的特征信息;
步骤e、使用中心与角度方向计算,获得区域的方向角度;
步骤f、使用LDB算法构建描述子;
步骤g、通过FLANN算法将目标图像和参考图像的特征描述子匹配;
步骤h、去除误差大的匹配,匹配完成。
进一步地,所述使用LDB算法构建描述子的方法,包括以下步骤:
步骤f1、将梯度信息加入到特征点描述当中,增加描述子的差异性;
步骤f2、将特征点的邻域图像块划分成n×n大小的网格,从每个网格里提取具有代表性的信息;
步骤f3、对每队网格里的信息进行二进制比较,得到二进制字符串描述子。
进一步地,所述对每队网格里的信息进行二进制比较的方法包括:
步骤f31、对每队网格里的信息通过下列公式进行二进制比较,公式如下:
Figure BDA0002035262640000021
Func()是从网格里提取信息的函数,Func(i)∈{Iintensity(i),dx(i),dy(i)}其中,
Figure BDA0002035262640000022
dx(i):=Gradientx(i)
dy(i):=Gradienty(i)
m是网格i内所有的像素点数目,Gradientx(i)和Gradienty(i)是网格i在x和y方向的区域梯度;
步骤f32、通过对每对网格的平均灰度、x方向梯度和y方向梯度的计算,每对网格之间进行比较得到3bits的信息;对一个图像块区域中n×n个网格进行灰度和梯度比较,得到一个大小为3n2(n2-1)/2bits的二进制字符串描述子,其中n=2,3,4;随着n的增加,描述子的差异性也增加。
进一步地,所述通过FLANN算法将目标图像和参考图像的特征描述子匹配的方法,包括:
步骤g1、将当前帧中感兴趣的对象找出来;找到帧和帧之间的一致性的过程就是在一个描述符集合中找到另一个集合的最近邻,即为训练集;
步骤g2、找出数据集中方差最高的维度,利用这个维度的数值将数据划分为两个部分,对每个集重复相同的过程;
步骤g3、建立多棵随机K-d树,从具有最高方差N-d维中随机选取若干维度,用来做划分;
步骤g4、对随机K-d森林进行搜索的时候,所有的随机K-d树将共享一个优先队列;增加数的数量能加快搜索速度。
进一步地,所述树的数量控制在预定范围内,若超过预定范围,搜索速度会减慢。
本发明相对于现有技术具有以下有益效果:
本发明提供了一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,尤其适用于运动捕捉技术识别魔法棒,使用单一相机记录轨迹,通过使用本发明将记录的曲线与数据库中的轨迹进行识别对比,本发明深度特征提取方面采用ORB特征提取结合LDB描述子进行匹配,再采用FLANN模板匹配技术实现魔法棒画出来的轨迹识别,在保证定位精确的前提下,解决了现有技术中运动捕捉技术识别魔法棒采用两个以上相机配合,导致成本高和占地面积大的技术问题。
附图说明
图1是本发明流程图;
图2是本发明像素点图。
具体实施方式
以下将结合附图对本发明进行详细说明。
具体实施方式一
一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,如图1所述,包括以下步骤:
步骤a、获取目标图像和参考图像;
步骤b、通过使用FAST算法分别对目标图像和参考图像进行关键点定位;
步骤c、通过使用Harris角检测分别对目标图像和参考图像的关键点选择最好的关键点;
步骤d、使用尺度金字塔变换获取空间信息,得到从小区域的细节到图像中大的特征信息;
步骤e、使用中心与角度方向计算,获得区域的方向角度;
步骤f、使用LDB算法构建描述子;
步骤g、通过FLANN算法将目标图像和参考图像的特征描述子匹配;
步骤h、去除误差大的匹配,匹配完成。
具体地,所述通过使用FAST算法分别对目标图像和参考图像进行关键点定位,具体方法包括:
步骤b1、如图2所示,一个以像素p为中心,半径为3的圆上,有16个像素点,包括p1、p2、...、p16;
步骤b2、定义一个阈值,计算p1、p9与中心的像素差,若他们绝对值小于阈值,则点不可能是特征点,直接pass掉;否则,当做候选点,有待进一步考察;
步骤b3、若p是候选点,则计算p1、p9、p5、p13与中心p的像素差,若它们的绝对值有至少3个超过阈值,则当做候选点,再进行下一步考察;否则,直接pass掉;
步骤b4、若p是候选点,则计算p1到p16这16个点与中心p的像素差,若它们有至少9个超过阈值,则是特征点;否则,直接pass掉;
步骤b5、对图像进行非极大值抑制,计算特征点出的FAST得分值,即score值或s值,判断以特征点p为中心的一个邻域内,例如在如3×3或5×5,计算若有多个特征点,则判断每个特征点的s值,16个点与中心差值得绝对值总和,若p是领域所有特征点中响应值最大的,则保留;否则,抑制。若领域内只有一个特征点,角点,则保留。使用函数V利用非最大值抑制方法滤除干扰点,其中函数V的定义为如下,
Figure BDA0002035262640000031
公式中用V表示得分,t表示阈值,pixel values表示区域内的所有像素点,value为单个像素值。
具体地,所述通过使用Harris角检测分别对目标图像和参考图像的关键点选择最好的关键点,方法包括通过步骤b计算后,FAST特征没有对特征的正确进行排序,所以使用了Harris角点进行计算排序,首先去较低的阈值获取超过N个关键点,然后再根据Harris角点的计算进行排序。
具体地,所述使用尺度金字塔变换获取空间信息,得到从小区域的细节到图像中大的特征信息,步骤b并未计算出尺度特征,所以使用计算图片的尺度金字塔,再不同尺度计算FAST关键点。
具体地,所述使用中心与角度方向计算的具体方法包括:
步骤e1、计算灰度矩m,一个图像块的灰度矩定义为:
Figure BDA0002035262640000041
其中I(x,y)表示像素点(x,y)的灰度。
步骤e2、将灰度的重心定义为:
Figure BDA0002035262640000042
公式中C表示灰度的重心。
步骤e3、从中心O,也就是FAST的关键点,到C点就有了一个向量:计算FAST的方向,则计算公式如下,在ORB特征里面,它使用的领域就是一个圆;
Figure BDA0002035262640000043
所述使用中心与角度方向计算的方法引用文献Rublee E,Rabaud V,Konolige K,et al.ORB:an efficicet alternative to SIFT or SURF[C].2011IEEE InternationalConference on Computer Vision(ICCV2011),2011:2564-2571。
具体地,所述使用LDB算法构建描述子的方法,包括以下步骤:
步骤f1、将梯度信息加入到特征点描述当中,增加描述子的差异性;
步骤f2、将特征点的邻域图像块划分成n×n大小的网格,从每个网格里提取具有代表性的信息;
步骤f3、对每队网格里的信息进行二进制比较,得到二进制字符串描述子。
具体地,所述对每队网格里的信息进行二进制比较的方法包括:
步骤f31、对每队网格里的信息通过下列公式进行二进制比较,公式如下:
Figure BDA0002035262640000051
Func()是从网格里提取信息的函数,Func(i)∈{Iintensity(i),dx(i),dy(i)}其中,
Figure BDA0002035262640000052
dx(i):=Gradientx(i)
dy(i):=Gradienty(i)
其中,Iintensity(k)为k点灰度;Iintensity(i)为每个小格区域中所有m个像素计算平均值;k=1-m是1到m个像素;dx(i)是x方向的梯度;dy(i)是y方向的梯度;i,j是一种变量表示,m是网格i内所有的像素点数目,Gradientx(i)和Gradienty(i)是网格i在x和y方向的区域梯度;
步骤f32、通过对每对网格的平均灰度、x方向梯度和y方向梯度的计算,每对网格之间进行比较得到3bits的信息;对一个图像块区域中n×n个网格进行灰度和梯度比较,得到一个大小为3n2(n2-1)/2bits的二进制字符串描述子,其中n=2,3,4;随着n的增加,描述子的差异性也增加。
具体地,所述通过FLANN算法将目标图像和参考图像的特征描述子匹配的方法,包括:
步骤g1、将当前帧中感兴趣的对象找出来;找到帧和帧之间的一致性的过程就是在一个描述符集合中找到另一个集合的最近邻,即为训练集;
步骤g2、找出数据集中方差最高的维度,利用这个维度的数值将数据划分为两个部分,对每个集重复相同的过程;
步骤g3、建立多棵随机K-d树,从具有最高方差N_d维中随机选取若干维度,用来做划分;
步骤g4、对随机K-d森林进行搜索的时候,所有的随机K-d树将共享一个优先队列;增加数的数量能加快搜索速度。
具体地,所述树的数量控制在一定范围内,若超过一定范围,搜索速度会减慢。
在魔法棒的轨迹识别中,其中深度特征提取方面使用ORB算法,由于ORB算法的实时性很好,但是鲁棒性差一些,所以采用ORB特征提取结合LDB描述子进行匹配,再采用FLANN模板匹配技术实现魔法棒画出来的轨迹识别;
ORB算法的描述子是一种基于BRIEF特征描述子的改进,采用了具有方向性的Oriented FAST作为特征点检测算子,并且使用了改进版本的steer Brief描述子。但是这种采用平均灰度信息不能描述区域内灰度变化信息,因此鲁棒性比较差。
本发明采用LDB算子是一种差异性强的二进制描述子构建方法,除了比较区域内的平均灰度外,进一步比较水平方向和垂直方向的平均梯度信息,增加了描述子的差异性。
使用方法:用魔法棒开始从屏幕上端进入,到另一端出去表示结束;单一相机将拍摄下来的光点记录下来并进行拟合成一条曲线,例如:对号√,将拟合的曲线与数据库中的曲线,例如:对号√,使用本实施方式进行对比,如果对比成功,表示识别出来画出曲线,例如:对号√。

Claims (5)

1.一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,其特征在于,包括以下步骤:
步骤a、获取目标图像和参考图像;
步骤b、通过使用FAST算法分别对目标图像和参考图像进行关键点定位;
步骤c、通过使用Harris角检测分别对目标图像和参考图像的关键点选择最好的关键点;
步骤d、使用尺度金字塔变换获取空间信息,得到从小区域的细节到图像中大的特征信息;
步骤e、使用中心与角度方向计算,获得区域的方向角度;
步骤f、使用LDB算法构建描述子;
步骤g、通过FLANN算法将目标图像和参考图像的特征描述子匹配;
步骤h、去除误差大的匹配,匹配完成。
2.根据权利要求1所述一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,其特征在于,所述使用LDB算法构建描述子的方法,包括以下步骤:
步骤f1、将梯度信息加入到特征点描述当中,增加描述子的差异性;
步骤f2、将特征点的邻域图像块划分成n×n大小的网格,从每个网格里提取具有代表性的信息;
步骤f3、对每队网格里的信息进行二进制比较,得到二进制字符串描述子。
3.根据权利要求2所述一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,其特征在于,所述对每队网格里的信息进行二进制比较的方法包括:
步骤f31、对每队网格里的信息通过下列公式进行二进制比较,公式如下:
Figure FDA0002035262630000011
Func()是从网格里提取信息的函数,Func(i)∈{Iintensity(i),dx(i),dy(i)}其中,
Figure FDA0002035262630000012
dx(i):=Gradientx(i)
dy(i):=Gradienty(i)
m是网格i内所有的像素点数目,Gradientx(i)和Gradienty(i)是网格i在x和y方向的区域梯度;
步骤f32、通过对每对网格的平均灰度、x方向梯度和y方向梯度的计算,每对网格之间进行比较得到3bits的信息;对一个图像块区域中n×n个网格进行灰度和梯度比较,得到一个大小为3n2(n2-1)/2bits的二进制字符串描述子,其中n=2,3,4;随着n的增加,描述子的差异性也增加。
4.根据权利要求1所述一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,其特征在于,所述通过FLANN算法将目标图像和参考图像的特征描述子匹配的方法,包括:
步骤g1、将当前帧中感兴趣的对象找出来;找到帧和帧之间的一致性的过程就是在一个描述符集合中找到另一个集合的最近邻,即为训练集;
步骤g2、找出数据集中方差最高的维度,利用这个维度的数值将数据划分为两个部分,对每个集重复相同的过程;
步骤g3、建立多棵随机K-d树,从具有最高方差N_d维中随机选取若干维度,用来做划分;
步骤g4、对随机K-d森林进行搜索的时候,所有的随机K-d树将共享一个优先队列;增加数的数量能加快搜索速度。
5.根据权利要求4所述一种基于ORB特征提取和FLANN快速匹配的轨迹识别方法,其特征在于,所述树的数量控制在预定范围内,若超过预定范围,搜索速度减慢。
CN201910322671.2A 2019-04-22 2019-04-22 一种基于orb特征提取和flann快速匹配的轨迹识别方法 Expired - Fee Related CN110032983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910322671.2A CN110032983B (zh) 2019-04-22 2019-04-22 一种基于orb特征提取和flann快速匹配的轨迹识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910322671.2A CN110032983B (zh) 2019-04-22 2019-04-22 一种基于orb特征提取和flann快速匹配的轨迹识别方法

Publications (2)

Publication Number Publication Date
CN110032983A CN110032983A (zh) 2019-07-19
CN110032983B true CN110032983B (zh) 2023-02-17

Family

ID=67239465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910322671.2A Expired - Fee Related CN110032983B (zh) 2019-04-22 2019-04-22 一种基于orb特征提取和flann快速匹配的轨迹识别方法

Country Status (1)

Country Link
CN (1) CN110032983B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706191B (zh) * 2019-10-14 2022-09-20 中国空气动力研究与发展中心超高速空气动力研究所 一种基于红外图像拼接融合算法的高压容器检测方法
CN111461196B (zh) * 2020-03-27 2023-07-21 上海大学 基于结构特征的快速鲁棒图像识别跟踪方法和装置
CN111460967B (zh) * 2020-03-27 2024-03-22 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质
CN112733694B (zh) * 2021-01-04 2022-04-29 中南大学 一种基于orb特征的轨道铺设滚筒的识别方法与系统
CN114359591B (zh) * 2021-12-13 2024-07-23 重庆邮电大学 一种融合边缘特征的自适应图像匹配算法
CN114494746B (zh) * 2022-01-28 2024-10-15 腾讯科技(深圳)有限公司 图像处理方法、装置及计算机设备
CN114565744A (zh) * 2022-03-01 2022-05-31 江苏蓝创文化科技有限公司 魔法棒交互体验系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798357B2 (en) * 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
CN106570820B (zh) * 2016-10-18 2019-12-03 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法

Also Published As

Publication number Publication date
CN110032983A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110032983B (zh) 一种基于orb特征提取和flann快速匹配的轨迹识别方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
He et al. Multi-scale FCN with cascaded instance aware segmentation for arbitrary oriented word spotting in the wild
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
Yi et al. Text extraction from scene images by character appearance and structure modeling
CN111383244B (zh) 一种目标检测跟踪方法
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
WO2015131468A1 (en) Method and system for estimating fingerprint pose
CN106778768A (zh) 基于多特征融合的图像场景分类方法
CN108021869A (zh) 一种结合高斯核函数的卷积神经网络跟踪方法
CN103886619A (zh) 一种融合多尺度超像素的目标跟踪方法
CN108280421A (zh) 基于多特征深度运动图的人体行为识别方法
CN112634262A (zh) 一种基于互联网的写字质量评价方法
Mitra et al. A large dataset for improving patch matching
CN117877068B (zh) 一种基于掩码自监督遮挡像素重建的遮挡行人重识别方法
CN111597875A (zh) 一种交通标志识别方法、装置、设备及存储介质
CN109740607B (zh) 字符图像的残缺区域检测和残缺字符图像恢复方法
CN107967481A (zh) 一种基于局部性约束和显著性的图像分类方法
JP2007066019A (ja) 画像検索方法及び装置
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
CN108564020B (zh) 基于全景3d图像的微手势识别方法
CN103020631A (zh) 基于星型模型的人体运动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230217

CF01 Termination of patent right due to non-payment of annual fee