CN103927745A - 面向可穿戴设备的跟踪与匹配并行计算方法 - Google Patents

面向可穿戴设备的跟踪与匹配并行计算方法 Download PDF

Info

Publication number
CN103927745A
CN103927745A CN201410127332.6A CN201410127332A CN103927745A CN 103927745 A CN103927745 A CN 103927745A CN 201410127332 A CN201410127332 A CN 201410127332A CN 103927745 A CN103927745 A CN 103927745A
Authority
CN
China
Prior art keywords
tracking
algorithm
wearable device
matching
harris
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410127332.6A
Other languages
English (en)
Inventor
于方杰
马纯永
田丰林
韩勇
陈戈
吴合义
范龙庆
马圣博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Jingwei Blue Image Information Technology Co Ltd
BEIJING ZHONGHAI XINTU TECHNOLOGY Co Ltd
Original Assignee
Qingdao Jingwei Blue Image Information Technology Co Ltd
BEIJING ZHONGHAI XINTU TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Jingwei Blue Image Information Technology Co Ltd, BEIJING ZHONGHAI XINTU TECHNOLOGY Co Ltd filed Critical Qingdao Jingwei Blue Image Information Technology Co Ltd
Priority to CN201410127332.6A priority Critical patent/CN103927745A/zh
Publication of CN103927745A publication Critical patent/CN103927745A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明针对增强现实跟踪与匹配问题提出一种面向可穿戴设备的跟踪与匹配并行计算方法。本发明采用SCAAT-EKF特征跟踪技术,对可穿戴设备中的多传感器进行互补式融合数据采集,能够有效避免数据冲突。同时利用基于双核CPU+GPU群核多通道的运算策略,在GPU内进行基于Harris算法的角点检测和提取,并使用双核CPU进行P-KLT跟踪和匹配计算,从而实现算法快速并行处理。发明涉及的计算方法主要包括以下五个方面:面向可穿戴设备的混合跟踪与特征提取、自然特征无标记目标的特征点精确提取、基于GPU并行进程机制实现对Harris角点的检测、基于CPU的P-KLT并行特征跟踪算法、二次匹配优化算法。该发明实现了可穿戴设备传感器和视觉跟踪与匹配的结合,在增强现实三维注册方面具有广阔前景。

Description

面向可穿戴设备的跟踪与匹配并行计算方法
技术领域:
本发明属于增强现实领域,具体涉及到一种面向可穿戴设备的跟踪与匹配并行计算方法。
背景技术:
增强现实是一门交叉学科,它综合了模式识别、三维重建、机器学习等领域的技术,是最近几年图形图像领域的一个研究热点,如今被广泛应用于军事、教育、医疗、企业和生活等方面,衍生出许多增强现实应用产品,如Google Glass,GALAXYGear等。面向可穿戴设备的增强现实通过图形学和视觉技术,将虚拟的信息融合到真实世界中,使真实的环境和虚拟的物体实时地叠加到同一个空间,是随着虚拟现实技术迅速发展和实际应用需要出现的一种将真实世界信息和虚拟世界信息无缝集成的新技术。实际上对面向可穿戴设备的增强现实技术的研究主要集中在三个方面:特征提取算法、特征跟踪和特征匹配。
增强现实中的特征追踪与信息提取是在用户视点下,解决虚实场景之间的配准问题,即确定虚拟信息在真实环境下的位置和朝向等信息。常用的跟踪方式有磁传感跟踪、惯性跟踪和视觉跟踪等几种。基于实际应用的需要和人眼的敏感性,增强现实系统对配准的准确度和虚拟信息的真实感有着很高的要求,因此需要具有准确性高、快速性强、鲁棒性稳定、跟踪范围广等特性。此外,还需兼顾计算的可移动性,以及传感器的大小、重量、散热等多方面因素。由于实际应用的复杂性,任何一种单一跟踪技术都难以实现上述性能指标。
增强现实中自然特征的注册目前通常采用KLT跟踪算法和SIFT、SURF特征匹配算法。KLT(Kanade Lucas Tomasi)作为一种快速、准确的特征跟踪算法,被广泛应用于注册相邻帧间的单应矩阵,这类基于特征跟踪的方法能够通过迭代相邻两帧间的单应性矩阵来计算世界坐标系与当前帧间的单应关系。这样虽能满足实时性要求,却引入了误差累积的缺陷,降低了系统的稳定性,使得系统在运行过程中误差不断增大,不能满足长时间的三维注册需要。除此之外,SIFT算法作为传统的特征匹配方法之一,虽然描述符可区分度高,但是每个描述符占用的空间比较大,对空间内存容量要求高,在可穿戴设备上不易实现。SURF特征匹配算法是目前比较流行的宽基线特征点匹配算法之一,具有较快的运算速度,但是该算法的计算复杂度较高,每帧都做SURF提取与匹配工作,内存消耗比较大,很难应用在实时的可穿戴式增强现实设备中。
发明内容
针对上述问题,本发明提出了一种基于金字塔结构的光流法(Pyramidal KLT)和Harris二次匹配算法的并行跟踪匹配计算方法,并提出了面向可穿戴设备的混合追踪SCAAT技术。采用双核CPU+GPU群核并行处理方法,在CPU内进行基本调度运算、P-KLT跟踪算法与二次匹配计算,同时在GPU内进行基于Harris算法的角点检测和提取。通过这种并行方式,能够提高跟踪算法的鲁棒性和稳定性,而且实时性强、运算效率高,能够弥补普通计算方法同步性低、计算速度慢的缺陷。
为实现上述方法,本专利采用如下的具体跟踪与匹配算法,其包括以下步骤:
(1)提出一种面向可穿戴设备的混合跟踪与特征提取技术,保证多跟踪器的实时性数据采集同时避免数据冲突;
(2)Harris角点检测CRF优化方法,对CRF算法进行改进,完成自然特征无标记目标的特征点精确提取;
(3)基于GPU并行进程机制实现对Harris角点的检测,侧重阐述了在多设备控制条件下Harris角点检测并行算法的实现方法;
(4)基于CPU的P-KLT并行特征跟踪算法,给出相邻帧中特征点的位移偏差;
(5)二次匹配优化算法,采用BGNCC初始粗匹配和RANSAC精匹配提高匹配鲁棒性。
所述步骤(1)中,本发明提出了一种面向可穿戴设备的特征跟踪方法,使用多传感器SCAAT-EKF(single-constraint-at-a-timeExtendedKalman Filtering)互补式融合的数据采集数据方式,最大程度降低模块的局限性,将不同类型的姿态信息进行整合与分析,从而避免跟踪失败,增强跟踪鲁棒性和稳定性。
所述步骤(2)中,针对原始的Harris算法单一阈值设定、定位精度低等缺点,对原始的Harris算法进行了改进。原始Harris算法中角点响应函数中的k值是一个经验常数,随意性比较大,会造成Harris角点提取可靠性的降低,在图片不一样的情况下,很容易影响到角点提取的准确性,改进的算法根据角点响应CRF函数计算原图像上对应的每个像素的CRF。具体包括以下步骤:
步骤A:建立与图像x方向一阶导数和Y方向-阶导数局部自相关函数相联系的2*2自相关对称矩阵M。
步骤B:将2*2自相关对称矩阵M代入Harris算子角点响应函数CRF。
步骤C:根据像素点的CRF值判断是否为提取出的角点。
所述步骤(3)中,本发明中选择的方法摒弃了之前广为运用的CPU角点检测算法而选取了另一种基于GPU的并行Harris角点检测算法。该算法依据GPU计算特点和任务划分的特点,采用CPU+GPU协作计算模式,将任务划分成多个子任务,并对划分的子任务给出合理的并行调度算法,使GPU和CPU各自发挥特点,从而充分挖掘GPU通用计算能力。
所述步骤(4)中,理论上的KLT算法是基于窗口内小而连贯运动假设,然而面向可穿戴设备的视频跟踪器拍摄的是大而不连贯运动,因此普通KLT算法在实际跟踪中实时性差、失败率高。因此借助图像金字塔方式来解决:首先根据SACCT算法在较大的空间尺度上进行跟踪获取图像帧,再通过求解SSD函数得到窗口位移d=(dx,dy),最后使用P-KLT迭代结构算法对图像金字塔自下向上采样并对图像像素进行处理,由此可保证KLT算法在对于缩放变换的有效性。
所述步骤(5)中,根据以上步骤采用Harris算子提取出的目标角点,利用BGNCC方法进行角点粗匹配,使用RANSAC方法进行错误匹配角点的剔除,最后再根据互相的匹配角点,计算其方差,根据方差排序,排除掉偏移量比较大的点,利用计算排序后的匹配角点的偏移均值,从而得到目标物体的位置。具体包括以下两部分:(1)采用BGNCC算法进行特征点初步匹配。(2)使用RANSAC算法消除BGNCC算法的错误匹配角点,采用角点均值方差的方法排除偏移值比较大的一些角点,通过计算其偏移均值的方法,计算目标的跟踪窗口。
本发明的有益效果在于:这种面向可穿戴设备的跟踪与匹配并行计算方法充分考虑了目标追中的不稳定性和匹配错误率高的缺点,在提高运算效率的同时,增强跟踪鲁棒性和稳定性,克服了普通计算方法同步性低、计算速度慢的缺陷,解决了多传感器跟踪数据冲突与单一矩阵变换匹配率低的问题,满足了面向可穿戴设备目标跟踪的高要求,尤其是在可穿戴设备视觉并行跟踪中更能体现其优势。
附图说明
图1为SCAAT-EKF算法结构示意附图;
图2为GPU并行Harris角点检测算法流程附图;
图3为随机采样RANSAC算法结构附图。
具体实施方式
本发明的面向可穿戴设备的跟踪与匹配并行计算方法,包括以下步骤:
(1)面向可穿戴设备的混合跟踪与特征提取技术;
(2)Harris角点检测CRF优化方法,对CRF算法进行改进,完成自然特征无标记目标的特征点精确提取;
(3)基于GPU并行进程机制实现对Harris角点的检测;
(4)基于CPU的P-KLT并行特征跟踪算法,给出两帧中特征点的位移偏差;
(5)二次匹配优化算法,采用BGNCC初始粗匹配和RANSAC精匹配提高匹配鲁棒性。
一、面向可穿戴设备的混合跟踪方法
可穿戴技术是在混合跟踪技术基础上发展而来,是体态跟踪与监测的核心技术,能够提供高精度鲁棒性的姿态与位置信息。当前可穿戴设备包括智能眼镜、智能手表、数据手套等可整合进用户随身配件的设备,在硬件上主要集成GPS定位、陀螺仪、朝向仪、加速度传感器、惯性跟踪器、压力重力传感器和视觉摄像机等模块。特征跟踪使用多传感器SCAAT-EKF(single-constraint-at-a-timeExtended Kalman Filtering)互补式融合的数据采集方法,能够最大程度降低模块的局限性,将不同类型的姿态信息进行整合与分析,能够避免跟踪失败,增强跟踪鲁棒性和稳定性。SCAAT-EKF方法能够高效融合异步串行传感器测量数据,有效避免数据冲突而产生的错误。
SCAAT解决了在传感器单个测量参数个数小于传感器状态估计参数个数条件下的退化解问题,其核心思想是单个传感器测量只提供用户状态部分信息并能够增量提高先验状态,从而在单个传感器测量被迭代用于合并一个新传感器的可测数据时获得低延迟和高精度的估计值。面向可穿戴设备的跟踪技术难点在于视频摄像头的跟踪,需要根据采集到的画面进行角点提取和匹配,从而完成对目标的实时跟踪。如图1所示,当使用EKF实现基于SCAAT的姿态跟踪时,需要对所有跟踪器构建一个统一的过程模型,而对每个跟踪器单独构建一个测量模型,以协调处理跟踪器之间的测量不同步和不完整测量信息,这样就能解决视频跟踪与其他传感器测量信息的融合,利用多通道采集方法全方位跟踪目标动态特性。以下部分着重阐述了可穿戴设备视觉并行跟踪算法的设计。
二、针对CRF改进的Harris角点提取优化运算方法
Harris角点检测是Moravec角点检测算子的改进,特别是给出与自相关函数相联系的矩阵M。M矩阵的特征值是自相关函数的一阶曲率,根据曲率的大小就能判断出该点是否为点特征。其具体实现原理为:在图像中设计一个局部检测窗口,通过判断该窗口沿任一方向作微小偏移是否都会引起窗口的平均能量有很大变化且超过设定的阈值,如果是就将窗口的中心像素点提取为角点。根据以上原理简列步骤如下:
首先,建立于图像x方向一阶导数和Y方向-阶导数局部自相关函数相联系的2*2自相关对称矩阵M。根据Harris算法公式:
E ( u , v ) = Σ x , y ω ( x , y ) [ I ( x + u , y + v ) - I ( x , y ) ] 2
上式中I为图像的灰度函数,ω指定一个图像窗口,ω(x,y)是加权窗口,在指定的窗口内为统一值,其他处为0。根据全微分公式,可变换为如下形式:
E ( u , v ) = Σ x , y ω ( x , y ) [ uI x - vI y ] 2
对于任何微小的移动E(u,v)根据上式的导数项展开后化为二次型有:
A C C B = ω ( x , y ) ⊗ I x 2 I x I y I x I y I y 2
其中求得M即为自相关对称矩阵。
然后,将2*2自相关对称矩阵M代入Harris算子角点响应函数CRF(Corner ResponseFunction):CRF=det(M)-ktr2(M),其中,M为特征矩阵,det为矩阵的行列式,tr为矩阵的迹,k是常数,一般取0.04≤k≤0.06。由于原始算法单一阈值设定、定位精度低等缺点,考虑到CRF实质是角点检测信号,行列式的值大、迹的值大小为角点信号,反之为边缘信号,或者是其他信号,对原始算法进行改进,优化后的算法采用下式进行计算角点响应函数:
CRF = det ( M ) tr ( M ) + ϵ
其中,ε是一个值很小的数,能够避免矩阵M的迹有可能出现零的情况。
最后,根据像素点的CRF值判断是否为提取出的角点,当CRF值大于某一对应阈值R且在其领域内取得局部极大值时就被判断为Harris角点,反之则不是所要获取的角点。
三、基于GPU的并行Harris角点检测算法
本发明在优化Harris角点提取算法的基础上,实现了使用GPU进行角点检测,同时与特征点跟踪匹配并行处理,利用双核CPU+GPU架构完成对面向可穿戴设备SCAAT算法的自然无标记特征的提取,如图2所示。实现HatriS角点检测的并行运算主要步骤如下:
步骤1:系统可穿戴设备初始化并取得设备信息,根据设备数目枚举设备信息等。
步骤2:读取图像数据,将位图数据读入特定的结构体中,对图像的Flag、Color、Size、Hight、Width等数据进行存储。
步骤3:对X、Y方向的高斯求导模板数据处理,并将模板数据传输到GPU全局存储器和常数存储器中,采用并行GPU页存储技术,加速高斯模板访问速度。
步骤4:系统调度第一个内核执行影像高斯卷积计算函数,这个进程中主要包含以下4个步骤:
(1)确定内核的执行配置,根据数据密度和计算量,设定线程的网格维度和块维度。
(2)输入数据分解,每个线程块把相关的数据从显存读取到共享存储器,同一线程块的各线程均完成相应数据加载(通过线程块内同步确保完成)。由于共享存储器位于GPU内,且距离计算单元很近,其访问速度很快,所以要最大程度地利用共享存储器。
(3)发起内核进行线程间的并行计算,线程块利用共享存储器和寄存器在同步控制下,并行完成每一个像素对相应X和Y方向的影像高斯卷积数据的计算。
(4)将GPU计算的数据结果从GPU共享存储器中写回各自对应的全局存储器。
步骤5:系统调度第二个内核计算梯度图像中对应影像像素点兴趣值,整个过程封装在内核函数中,同时完成X和Y方向的影像像素点梯度平方值的求和。
步骤6:数据读出,由于GPU存储空间有限,所以运算结束后,还需将兴趣值结果从GPU传回CPU。
步骤7:由系统进行非最大值抑制计算,并计算出符合阈值要求的像素点坐标。
步骤8:图像数据输出,适当修改图像文件的位图信息结构体,将参数数据写入到文件中,形成处理后的图像。
四、P-KLT并行特征跟踪算法
经过以上步骤能够精确提取出某一帧的特征点,KLT跟踪算法是将这些特征点同上一帧进行比较,得出位置偏移量从而实现特征的跟踪。由于这种跟踪方法精确度高,因此需要较高的时间同步性,采用角点检测与跟踪匹配并行的计算方法能够最大程度地增强程序处理的时序性与稳定性,降低匹配错误率。除此之外,由于帧之间的偏差较小,而且经过Harris算法提取出的特征点都进行了矩阵变换,因此仅对特征点进行局部范围搜索比较,不需要对每个特征点进行比较。虽然KLT算法能够加速特征点的搜索和跟踪,但是由于不支持两帧之间的同比例缩放,常导致跟踪失败。因此采用图像金字塔KLT(Pyramidal KLT)方式,在较大的尺度上进行跟踪,通过金字塔结构自上而下对图像采样处理,从而保证KLT算法在对处于缩放变换时的有效性,利用平移矩阵得到更理想的跟踪效果。具体的算法实现步骤如下:
步骤1:获取图像帧。根据SCAAT混合跟踪方法得到一个灰度图像包含特征局部区域信息的窗口W,并认为时间连续和空间一致,t时刻的图像图像帧用I表示,t+τ时刻的图像帧用J表示,I(X)与J(X)分别表示对应时刻的像素,满足条件公式:J(AX+d)=I(X)。理想条件下帧J中存在一点J(AX+d)和帧I中的I(X)点是同一个像素,但由于实际提取图像信息时噪音的存在,因此将运动参数的求解转化为找到使SSD函数最小化时的特征窗口位移d。
步骤2:求解SSD函数。设n(X)为在时间τ内由于光照变化产生的噪声,则J(AX+d)=J(X)+n(X),将n(X)平方并在整个窗口上积分,得到最小化误差SSD函数:
ε=∫∫(n(X))2ω(X)
步骤3:计算特征窗口位移d。上式中ω(X)为特征区域内像素点的加权系数,通常取为1,对公式进行泰勒级数展开,并截取线性项,根据SSD函数两边求导后得到式:当导数为零时误差最小,最终得到Td=a。其中:
Z = ∫ ∫ W n ( X ) n T ( X ) dX
n ( X ) = n x n y T
a = ∫ ∫ W ( I ( X ) - J ( X ) ) n ( X ) ω ( X ) dX
求解上式可得到特征窗口位移d=(dx,dy)。
步骤4:使用P-KLT迭代结构优化算法。具体步骤为,首先,在金字塔的最底层对帧图像进行仿射矩阵变换即KLT算法。然后将计算出的值以初始运动预测结果的方式传递给上一层,这个值即为两帧之间的像素位移和仿射变换结果,接着将得到的结果进行第一步的矩阵变换,并将值以同样的方式传递给下一层,最后反复迭代至金字塔的最高层。这样就能将不满足小而连贯运动缩放比例的帧出现的可能性降低,从而实现更快更长的运跟踪。
五、二次匹配并行计算方法
针对在GPU中根据Harris算子提取出的目标角点,在双核CPU并行进程中调用二次匹配算法,利用特征点分布特性和双向最大归一化相关系数(Bidirectional GreatestNormalized CorrelatiVe Coefficient,BGNCC)进行粗匹配,然后使用随机采样符合法(Random Sampl e Consensus,RANSAC)方法进行错误匹配角点的剔除,最后再根据互相的匹配角点,计算其方差,根据方差排序,排除掉偏移量比较大的点,然后计算排序后的匹配角点的偏移均值,从而得到目标物体的位置。具体步骤如下:
首先,对特征点进行双向最大归一化BGNCC初始粗匹配。设W1、W2为两幅大小相同的窗口,(x1,y1)的取值范围是匹配窗口的大小,从W1图像窗口中提取的特征点为pi,从W2图像窗口中提取的特征点为pj,u1,u2为相关窗口内像素灰度的均值。则归一化互相关函数NCC公式为:
C ij = Σ 1 ( W 1 ( x 1 y 1 ) - u 1 ) ( W 2 ( x 1 y 1 ) - u 2 ) Σ 1 ( W 1 ( x 1 y 1 ) - u 1 ) 2 Σ 1 ( W 2 ( x 1 y 1 ) - u 2 ) 2
NCC匹配方法能够去除低频噪声干扰,首先在帧A取得一角点,寻找在相邻帧B中和该角点相关性(即Cij值)最大的角点,根据设定的阈值g,若Cij大于g,将筛选后的特征角点作为给定角点的匹配点,当双向搜寻到最大相关性的角点彼此对应时,完成角点初始粗匹配。
其次,对特征点采用随机采样RANSAC算法精匹配。BGNCC虽然可以得到比较高的正确匹配率,到那时当物体运动时仍会存在误匹配。特征点匹配的正确性对后续目标位置偏移的估计有直接影响,因此采用RANSAC算法消除错误匹配并求出图像间的最优变换。RANSAC算法基本思想:构造一个目标函数输出矩阵M,多次提取最小点集估计该函数中参数的初始值,根据初始参数来判断是否满足需要的估计参数,从而把数据分为“匹配点”和“排除点”,最后反过来利用所有的“匹配点”重新计算目标函数的参数。如图3所示,根据以上思想列出具体算法步骤如下:
步骤1:初始化N=1,TrialCount=0。N为得到比例p所需要的采用次数,p取大于0.95的值。TrialCount为当前采样次数。N与p满足以下关系:p=1-(1-ε′s)N,其中s为每次采样的特征点的数目。
步骤2:判断N是否大于TrialCount,如果是则随机选取满足三点不共线特征的四个点,并限制随机选取的次数,如果超过限制次数或者是N小于TrialCount,则输出矩阵F。
步骤3:在满足以上条件后计算矩阵F,得出实际匹配点与其估计的匹配点之间的几何距离dis。其中基本变换矩阵F的计算公式为:x′TFx=0,x、x′T为两幅图像的任一对匹配点。采用Sampson距离计算公式划分匹配点和排、、除点:
dis i = ( x i ′ T Fx i ) 2 ( Fx i ) 1 2 + ( Fx i ) 2 2 + ( F T x i ′ ) 1 2 + ( F T x i ′ ) 2 2 , i = 1,2 , . . . , n
步骤4:通过dis与阈值t的比较,统计匹配点个数ninliers并存储匹配点,判断当前采样次数是否大于最大采样次数,如果是则退出循环输出矩阵F,如果没有到达最大采样次数,则重置N,TrialCount执行步骤1,直到满足条件退出循环。这样就能利用二次匹配并行算法计算出角点偏移均值,从而完成精确角点匹配与跟踪。

Claims (6)

1.一种面向可穿戴设备的跟踪与匹配并行计算方法,其特征在于,面向可穿戴设备的混合跟踪与特征提取、自然特征无标记目标的特征点精确提取、基于GPU并行进程机制实现对Harris角点的检测、基于CPU的P-KLT并行特征跟踪算法、二次匹配优化算法等五个流程,其中:
(1)提出一种面向可穿戴设备的混合跟踪与特征提取技术,保证多跟踪器的实时性数据采集和避免数据冲突;
(2)Harris角点检测CRF优化方法,对CRF算法进行改进,完成自然特征无标记目标的特征点精确提取;
(3)基于GPU并行进程机制实现对Harris角点的检测,侧重阐述了在多设备控制条件下Harris角点检测并行算法的实现方法;
(4)基于CPU的P-KLT并行特征跟踪算法,给出相邻帧中特征点的位移偏差;
(5)二次匹配优化算法,采用BGNCC初始粗匹配和RANSAC精匹配提高匹配鲁棒性。
2.根据权利要求1所述的面向可穿戴设备的跟踪与匹配并行计算方法,其特征在于:所述步骤(1)中提出了一种面向可穿戴设备的特征跟踪方法,使用多传感器SCAAT-EKF互补式融合的数据采集数据方式,最大程度降低模块的局限性,将不同类型的姿态信息进行整合与分析。
3.根据权利要求1所述的面向可穿戴设备的跟踪与匹配并行计算方法,其特征在于:所述步骤(2)中的针对原始Harris算法的阈值设定单一、定位精度低等缺点,对原始的Harris算法进行了改进,改进后的算法根据角点响应CRF函数计算原图像上对应的每个像素的CRF值。具体包括以下步骤:
A.建立与图像X方向一阶导数和Y方向一阶导数局部自相关函数相联系的2*2自相关对称矩阵M;
B.将2*2自相关对称矩阵M代入Harris算子角点响应函数CRF;
C.根据像素点的CRF值判断是否为提取出的角点。
4.根据权利要求1所述的面向可穿戴设备的跟踪与匹配并行计算方法,其特征在于:所述步骤(3)中的选取了一种基于GPU的并行Harris角点检测算法,该算法依据GPU计算特点和任务划分的特点,采用CPU+GPU协作计算模式,将任务划分成多个子任务,并对划分的子任务给出合理的并行调度算法。
5.根据权利要求1所述的面向可穿戴设备的跟踪与匹配并行计算方法,其特征在于:所述步骤(4)中的采用图像金字塔KLT(Pyrami dal KLT)方式,在较大的尺度上进行视觉跟踪,通过金字塔结构自上而下对图像采样处理,从而保证KLT算法在对处于缩放变换时的有效性,利用平移矩阵得到更理想的跟踪效果。
6.根据权利要求1所述的面向可穿戴设备的跟踪与匹配并行计算方法,其特征在于:所述步骤(5)中的二次匹配优化算法,具体包括以下两步骤:
步骤1:采用BGNCC算法进行特征点初步匹配;
步骤2:使用RANSAC算法消除BGNCC算法的错误匹配角点。
CN201410127332.6A 2014-03-28 2014-03-28 面向可穿戴设备的跟踪与匹配并行计算方法 Pending CN103927745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410127332.6A CN103927745A (zh) 2014-03-28 2014-03-28 面向可穿戴设备的跟踪与匹配并行计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410127332.6A CN103927745A (zh) 2014-03-28 2014-03-28 面向可穿戴设备的跟踪与匹配并行计算方法

Publications (1)

Publication Number Publication Date
CN103927745A true CN103927745A (zh) 2014-07-16

Family

ID=51145956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410127332.6A Pending CN103927745A (zh) 2014-03-28 2014-03-28 面向可穿戴设备的跟踪与匹配并行计算方法

Country Status (1)

Country Link
CN (1) CN103927745A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680558A (zh) * 2015-03-14 2015-06-03 西安电子科技大学 使用GPU硬件加速的Struck目标跟踪方法
CN106688017A (zh) * 2016-11-28 2017-05-17 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
CN108449951A (zh) * 2015-12-03 2018-08-24 三星电子株式会社 用户终端及其控制方法
CN108694348A (zh) * 2017-04-07 2018-10-23 中山大学 一种基于自然特征的跟踪注册方法及装置
CN109477607A (zh) * 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 用于跟踪的图像处理
CN109522503A (zh) * 2018-09-29 2019-03-26 东南大学 基于ar与lbs技术的旅游景点虚拟留言板系统
CN109978801A (zh) * 2019-03-25 2019-07-05 联想(北京)有限公司 一种图像处理方法及图像处理装置
CN110276836A (zh) * 2018-03-13 2019-09-24 幻视互动(北京)科技有限公司 一种可加速特征点检测的方法及mr混合现实智能眼镜
CN110288702A (zh) * 2019-06-28 2019-09-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN110929620A (zh) * 2019-11-15 2020-03-27 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111780754A (zh) * 2020-06-23 2020-10-16 南京航空航天大学 基于稀疏直接法的视觉惯性里程计位姿估计方法
CN112837256A (zh) * 2019-11-04 2021-05-25 珠海零边界集成电路有限公司 一种用于Harris角点检测的电路系统及检测方法
US11106928B2 (en) 2016-06-06 2021-08-31 Sz Dji Osmo Technology Co., Ltd. Carrier-assisted tracking
CN114140502A (zh) * 2021-12-10 2022-03-04 江南大学 一种基于嵌入式gpu的图像光流计算方法、装置以及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930477A (zh) * 2011-08-02 2013-02-13 国家电网公司 智能配电网的风险分析管理方法与系统
WO2013116407A1 (en) * 2012-02-01 2013-08-08 Stephen Latta Coordinate-system sharing for augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930477A (zh) * 2011-08-02 2013-02-13 国家电网公司 智能配电网的风险分析管理方法与系统
WO2013116407A1 (en) * 2012-02-01 2013-08-08 Stephen Latta Coordinate-system sharing for augmented reality

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZILIANG JIAO: "Markerless Registration Based on Natural Features Tracking for Augmented Reality", 《INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER SCIENCE AND ELECTRONICS INFORMATION》 *
赵新灿: "增强现实维修诱导系统关键技术研究", 《中国博士论文全文数据库》 *
郭昌达: "增强现实三维配准技术方法研究", 《中国优秀硕士论文全文数据库》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680558B (zh) * 2015-03-14 2017-07-28 西安电子科技大学 使用GPU硬件加速的Struck目标跟踪方法
CN104680558A (zh) * 2015-03-14 2015-06-03 西安电子科技大学 使用GPU硬件加速的Struck目标跟踪方法
CN108449951B (zh) * 2015-12-03 2022-11-11 三星电子株式会社 用户终端及其控制方法
CN108449951A (zh) * 2015-12-03 2018-08-24 三星电子株式会社 用户终端及其控制方法
CN109477607A (zh) * 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 用于跟踪的图像处理
US11568626B2 (en) 2016-06-06 2023-01-31 Sz Dji Osmo Technology Co., Ltd. Carrier-assisted tracking
US10902609B2 (en) 2016-06-06 2021-01-26 Sz Dji Osmo Technology Co., Ltd. Image processing for tracking
US11106928B2 (en) 2016-06-06 2021-08-31 Sz Dji Osmo Technology Co., Ltd. Carrier-assisted tracking
CN106688017A (zh) * 2016-11-28 2017-05-17 深圳市大疆创新科技有限公司 生成点云地图的方法、计算机系统和装置
CN108694348A (zh) * 2017-04-07 2018-10-23 中山大学 一种基于自然特征的跟踪注册方法及装置
CN110276836A (zh) * 2018-03-13 2019-09-24 幻视互动(北京)科技有限公司 一种可加速特征点检测的方法及mr混合现实智能眼镜
CN109522503A (zh) * 2018-09-29 2019-03-26 东南大学 基于ar与lbs技术的旅游景点虚拟留言板系统
CN109522503B (zh) * 2018-09-29 2021-04-27 东南大学 基于ar与lbs技术的旅游景点虚拟留言板系统
CN109978801B (zh) * 2019-03-25 2021-11-16 联想(北京)有限公司 一种图像处理方法及图像处理装置
CN109978801A (zh) * 2019-03-25 2019-07-05 联想(北京)有限公司 一种图像处理方法及图像处理装置
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN110288702B (zh) * 2019-06-28 2021-05-18 联想(北京)有限公司 一种数据处理方法及电子设备
CN110288702A (zh) * 2019-06-28 2019-09-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN112837256A (zh) * 2019-11-04 2021-05-25 珠海零边界集成电路有限公司 一种用于Harris角点检测的电路系统及检测方法
CN110929620A (zh) * 2019-11-15 2020-03-27 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN110929620B (zh) * 2019-11-15 2023-04-07 浙江大华技术股份有限公司 目标跟踪方法、装置及存储装置
CN111780754A (zh) * 2020-06-23 2020-10-16 南京航空航天大学 基于稀疏直接法的视觉惯性里程计位姿估计方法
CN114140502A (zh) * 2021-12-10 2022-03-04 江南大学 一种基于嵌入式gpu的图像光流计算方法、装置以及设备

Similar Documents

Publication Publication Date Title
CN103927745A (zh) 面向可穿戴设备的跟踪与匹配并行计算方法
US10203209B2 (en) Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
CN110335337B (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
CN104200237B (zh) 一种基于核化相关滤波高速自动多目标跟踪方法
WO2015096509A1 (zh) 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
CN110637461B (zh) 计算机视觉系统中的致密光学流处理
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN104050685A (zh) 基于粒子滤波视觉注意力模型的运动目标检测方法
CN101572770B (zh) 一种可用于实时监控的运动检测方法与装置
CN109859178A (zh) 一种基于fpga的红外遥感图像实时目标检测方法
CN102853835A (zh) 基于尺度不变特征变换的无人飞行器景象匹配定位方法
Wei et al. GMSK-SLAM: a new RGB-D SLAM method with dynamic areas detection towards dynamic environments
Zhang et al. PSNet: Perspective-sensitive convolutional network for object detection
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
CN111812978A (zh) 一种多无人机协作slam方法与系统
CN110651475B (zh) 用于致密光学流的阶层式数据组织
Xie et al. Angular Tracking Consistency Guided Fast Feature Association for Visual-Inertial SLAM
Kuang et al. A Real-time and Robust Monocular Visual Inertial SLAM System Based on Point and Line Features for Mobile Robots of Smart Cities Toward 6G
Wang et al. Multi-features visual odometry for indoor mapping of UAV
Chen et al. Multi-neighborhood guided Kendall rank correlation coefficient for feature matching
Geng et al. SANet: A novel segmented attention mechanism and multi-level information fusion network for 6D object pose estimation
Mei et al. A Novel scene matching navigation system for UAVs based on vision/inertial fusion
De-Maeztu et al. A temporally consistent grid-based visual odometry framework for multi-core architectures
Wang et al. Monocular VO based on deep siamese convolutional neural network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 100085 C, block 9, 3rd Street, Beijing, Haidian District, C309

Applicant after: BEIJING ZHONGHAI XINTU TECHNOLOGY CO., LTD.

Applicant after: QINGDAO JINGWEI BLUE IMAGE INFORMATION TECHNOLOGY CO., LTD.

Address before: 100085 C, block 9, 3rd Street, Beijing, Haidian District, D309

Applicant before: BEIJING ZHONGHAI XINTU TECHNOLOGY CO., LTD.

Applicant before: QINGDAO JINGWEI BLUE IMAGE INFORMATION TECHNOLOGY CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140716

WD01 Invention patent application deemed withdrawn after publication