CN103034859B - 一种获取姿势模型的方法及装置 - Google Patents

一种获取姿势模型的方法及装置 Download PDF

Info

Publication number
CN103034859B
CN103034859B CN201210539080.9A CN201210539080A CN103034859B CN 103034859 B CN103034859 B CN 103034859B CN 201210539080 A CN201210539080 A CN 201210539080A CN 103034859 B CN103034859 B CN 103034859B
Authority
CN
China
Prior art keywords
time characteristic
real time
characteristic points
feature point
fixed reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210539080.9A
Other languages
English (en)
Other versions
CN103034859A (zh
Inventor
陈玮
柳海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210539080.9A priority Critical patent/CN103034859B/zh
Publication of CN103034859A publication Critical patent/CN103034859A/zh
Application granted granted Critical
Publication of CN103034859B publication Critical patent/CN103034859B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种获取姿势模型的方法及装置,涉及通信网络技术领域,可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。本发明通过确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离以及参考特征点的概率分布;匹配实时图像的实时特征点与参考特征点,确定实时特征点的第一匹配概率和第一实时特征点;根据第一实时特征点与所述参考特征点的概率分布,确定第一实时特征点的第二匹配概率;确定第一实时特征点正确匹配的综合概率;根据综合概率以及第一实时特征点,确定实时图像中目标实物相对摄像头的目标姿势模型。本发明适于采用增强现实技术获取姿势模型时采用。

Description

一种获取姿势模型的方法及装置
技术领域
本发明涉及通信网络技术领域,尤其涉及一种获取姿势模型的方法及装置。背景技术
增强现实(AugmentedReality,AR)是利用虚拟物体对真实场景进行显示增强的技术,通过将原本在现实世界的一定时间、空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知,从而达到超越现实的感官体验。在增强现实中,按照识别、跟踪的对象的不同,可以分为有标记的增强现实(MarkerAR)和无标记的增强现实(Mark-lessAR)两种。无标记的增强现实系统,识别和跟踪的目标是“自然”的图片或物体。
Mark-lessAR技术需要首先识别目标,然后跟踪目标,以获得目标相对于摄像头的姿势,再根据目标的姿势实现虚拟物体和目标的叠加。通常采用基于局部特征描述符或者局部特征分类器进行目标识别。具体的,获取多幅参考图像,并检测参考图像的局部特征,根据每个参考图像的局部特征计算局部特征描述符,或者采用局部特征分类器对每个参考图像的局部特征进行分类。采用摄像头获取目标实物的实时图像,并检测实时图像的局部特征,根据每个实时图像的局部特征计算局部特征描述符,或者采用局部特征分类器对每个实时图像的局部特征进行分类。将参考图像的局部特征与实时图像的局部特征进行匹配,并采用随机抽样一致性算法(RandomSampleConsensus,RANSAC)或进步抽样一致性算法(ProgressiveSampleConsensus,PROSAC)对匹配集合进行处理,得到正确的匹配(内点)。采用正确匹配的特征,计算目标实物的姿势模型。
其中,局部特征为图像中的感兴趣区域。当检测出局部特征之后,选取局部特征周围的一个邻域,使用不同的图像处理算法,可以得到不同的处理结果。这些结果就被称为局部特征描述符或特征向量。另外,在选取局部特征的邻域中,采用图像处理算法,提取图像的局部特征向量,并根据局部特征向量确定局部特征块。将图像的局部特征块编号{1,…,n},作为n个分类。已知某一未知分类的局部特征时,可以使用局部特征分类器将这个未知分类的特征分类到某个分类。
然而,由于摄像头和目标实物之间的视角与参考图像的视角的差异等原因,使得基于局部特征进行匹配时,存在错误匹配,使得RANSAC或PROSAC所需要的迭代次数不均匀,从而无法识别目标实物或者降低目标实物的识别速度。
发明内容
本发明的实施例提供一种获取姿势模型的方法及装置,可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。
第一方面,本发明提供一种获取姿势模型的方法,包括:
根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,以及根据所述第一欧氏距离确定所述参考特征点的概率分布;
根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点;
根据所述第一实时特征点与所述参考特征点的概率分布,确定所述第一实时特征点的第二匹配概率;
根据所述第一匹配概率和所述第二匹配概率,确定所述第一实时特征点正确匹配的综合概率;
根据确定的所述综合概率以及所述第一实时特征点,确定所述实时图像中目标实物相对摄像头的目标姿势模型。
在第一种可能的实施例中,结合第一方面,所述对所述参考图像进行仿射变换获得训练图像,包括:
在预设参数范围内,确定随机仿射矩阵;
根据所述随机仿射矩阵,对所述参考图像进行仿射变换获得至少一幅训练图像。
在第二种可能的实施例中,结合第一方面的第一种可能的实施例,所述根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,包括:
获取参考图像,并确定所述参考图像的参考特征点,以及根据所述参考特征点的邻域计算所述参考特征点的SIFT描述符;
根据所述至少一幅训练图像以及根据所述参考特征点的邻域,计算所述至少一幅训练图像的参考特征点的SIFT描述符;
分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离。
在第三种可能的实施例中,结合第一方面的第二种可能的实施例,所述获取参考图像,并确定所述参考图像的参考特征点,包括:
获取参考图像;
根据所述参考图像,获取将所述参考图像的分辨率逐步减小而生成的至少一幅参考图像,将所述至少一幅参考图像按照分辨率排序,构造为金字塔图像;
获取所述金字塔图像的每一层金字塔中的参考特征点。
在第四种可能的实施例中,结合第一方面的第二种可能的实施例,在分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离之后,还包括:
根据所述至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与所述目标参考特征点对应的第一欧氏距离,并将不符合所述预设特征的参考特征点删除;
其中,所述预设特征为各个所述参考特征点对应的所述第一欧氏距离构成的直方图中,主峰明显,以及所述直方图中所述主峰对应的第一欧氏距离大于第三欧式距离的1/2,所述第三欧式距离为所有组的所述参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
在第五种可能的实施例中,结合第一方面,所述根据所述第一欧氏距离确定所述参考特征点的概率分布,包括:
根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d max 0.0 d > d max 确定所述目标参考特征点的概率分布;其中,d表示所述第一欧氏距离,dmax表示预设最大第一欧氏距离。
在第六种可能的实施例中,结合第一方面的第五种可能的实施例,在所述根据所述第一欧氏距离确定所述参考特征点的概率分布之后,还包括:
确定由所述目标参考特征点构成的目标对象的目标模型文件,所述目标模型文件包括:所述目标参考特征点在世界坐标系的位置坐标以及所述目标参考特征点所属金字塔的层数;以及确定所述参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及所述参考特征点的概率分布。
在第七种可能的实施例中,结合第一方面的第六种可能的实施例,所述根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点,包括:
获取实时图像,并确定所述实时图像的实时特征点;
根据所述实时图像以及所述实时特征点,采用所述目标模型文件中的所述局部特征描述符或者局部特征分类器,匹配所述实时图像的实时特征点与所述参考特征点,确定所述实时特征点的第一匹配概率;
根据所述第一匹配概率,确定所述第一匹配概率大于第一阈值的第一实时特征点,其中,所述第一阈值为大于0并且小于1的值,所述第一实时特征点为至少一个实时特征点。
在第八种可能的实施例中,结合第一方面的第七种可能的实施例,所述根据所述第一实时特征点与所述参考特征点的概率分布,确定所述第一实时特征点的第二匹配概率,包括:
根据所述实时图像中,获取所述第一实时特征点的邻域,并根据所述第一实时特征点的邻域计算所述第一实时特征点的SIFT描述符;
获取与所述第一实时特征点匹配的第一参考特征点的SIFT描述符;
计算所述第一实时特征点的SIFT描述符与所述第一参考特征点的SIFT描述符的第二欧氏距离;
根据所述参考特征点的概率分布,确定所述第二欧氏距离对应的第二匹配概率,所述第二匹配概率为所述第二欧式距离对应的所述第一实时特征点的匹配概率。
在第九种可能的实施例中,结合第一方面的第八种可能的实施例,所述根据所述第一匹配概率和所述第二匹配概率,确定所述第一实时特征点正确匹配的综合概率,包括:
根据Pi=P1iP2i确定所述第一实时特征点正确匹配的综合概率;其中,Pi表示所述第一实时特征点正确匹配的综合概率,P1i表示所述实时特征点的第一匹配概率,P2i表示各个所述第一实时特征点的第二匹配概率。
在第十种可能的实施例中,结合第一方面的第九种可能的实施例,在所述确定所述第一实时特征点正确匹配的综合概率之后,还包括:
根据所述综合概率,确定所述综合概率大于第二阈值的第二实时特征点,其中,所述第二阈值为大于0并且小于1的值,所述第二实时特征点为至少一个实时特征点;
根据所述第二实时特征点与所述第一实时特征点确定正确匹配比例。
在第十一种可能的实施例中,结合第一方面的第十种可能的实施例,所述根据确定的所述综合概率以及所述第一实时特征点,确定所述实时图像中目标实物相对摄像头的目标姿势模型包括:
根据所述综合概率对所述第一实时特征点和所述第一参考特征点进行排序;
确定排序之后的所述第一实时特征点和所述第一参考特征点中几何位置分布最优的K组匹配特征点,所述几何位置分布最优为确定的所述第一实时特征点或者所述第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
根据确定的所述K组匹配特征点,计算所述实时图像中第一目标相对摄像头的姿势模型,并确定符合所述姿势模型的第一匹配特征点的数目,所述第一目标为所述实时图像中任一目标;
当所述第一匹配特征点的数目大于第三阈值,并且所述第一匹配特征点的数目的比例大于所述正确匹配比例时,确定所述姿势模型为目标姿势模型。
第二方面,本发明实施例提供一种获取姿势模型的装置,包括:
欧氏距离确定单元,用于根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,以及根据所述第一欧氏距离确定所述参考特征点的概率分布;
匹配概率确定单元,用于根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点;
所述匹配概率确定单元,还用于根据所述第一实时特征点与所述参考特征点的概率分布,确定所述第一实时特征点的第二匹配概率;
所述匹配概率确定单元,还用于根据所述第一匹配概率和所述第二匹配概率,计算所述第一实时特征点正确匹配的综合概率;
目标姿势模型确定单元,用于根据确定的所述综合概率以及所述第一实时特征点,确定所述实时图像中目标实物相对摄像头的目标姿势模型。
在第一种可能的实施例中,结合第一方面,所述欧氏距离确定单元,包括:
仿射变换模块,用于在预设参数范围内,确定随机仿射矩阵;以及根据所述随机仿射矩阵,对所述参考图像进行仿射变换获得至少一幅训练图像。
在第二种可能的实施例中,结合第二方面中第一种可能的实施例,所述欧氏距离确定单元包括:
第一处理模块,用于获取参考图像,并确定所述参考图像的参考特征点,以及根据所述参考特征点的邻域计算所述参考特征点的SIFT描述符;
第二处理模块,用于根据所述至少一幅训练图像以及根据所述参考特征点的邻域,计算所述至少一幅训练图像的参考特征点的SIFT描述符;
欧氏距离确定模块,用于分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离。
在第三种可能的实施例中,结合第二方面中第二种可能的实施例,所述第一处理模块,包括:
参考图像获取子模块,用于获取参考图像;
金字塔图像获取子模块,用于根据所述参考图像,获取将所述参考图像的分辨率逐步减小而生成的至少一幅参考图像,将所述至少一幅参考图像按照分辨率排序,构造为金字塔图像;
参考特征点获取子模块,用于获取所述金字塔图像的每一层金字塔中的参考特征点。
在第四种可能的实施例中,结合第二方面中第二种可能的实施例,所述装置还包括:
欧氏距离筛选单元,用于根据所述至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与所述目标参考特征点对应的第一欧氏距离,并将不符合所述预设特征的参考特征点删除;
其中,所述预设特征为各个所述参考特征点对应的所述第一欧氏距离构成的直方图中,主峰明显,以及所述直方图中所述主峰对应的第一欧氏距离大于第三欧式距离的1/2,所述第三欧式距离为所有组的所述参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
在第五种可能的实施例中,结合第二方面,所述欧氏距离确定单元包括:
概率分布确定模块,用于根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d max 0.0 d > d max 确定所述目标参考特征点的概率分布;其中,d表示所述第一欧氏距离,dmax表示预设最大第一欧氏距离。
在第六种可能的实施例中,结合第二方面的第五种可能的实施例,其特征在于,所述装置还包括:
目标模型文件确定单元,用于确定由所述目标参考特征点构成的目标对象的目标模型文件,所述目标模型文件包括:所述目标参考特征点在世界坐标系的位置坐标以及所述目标参考特征点所属金字塔的层数;以及确定所述参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及所述参考特征点的概率分布。
在第七种可能的实施例中,结合第二方面的第六种可能的实施例,所述匹配概率确定单元包括:
实时特征点确定模块,用于获取实时图像,并确定所述实时图像的实时特征点;
第一匹配概率确定模块,用于根据所述实时图像以及所述实时特征点,采用所述目标模型文件中的所述局部特征描述符或者局部特征分类器,匹配所述实时图像的实时特征点与所述参考特征点,确定所述实时特征点的第一匹配概率;
第一实时特征点确定模块,用于根据所述第一匹配概率,确定所述第一匹配概率大于第一阈值的第一实时特征点,其中,所述第一阈值为大于0并且小于1的值,所述第一实时特征点为至少一个实时特征点。
在第八种可能的实施例中,结合第一方面的第七种可能的实施例,所述匹配概率确定单元,还包括:
SIFT描述符确定模块,用于根据所述实时图像中,获取所述第一实时特征点的邻域,并根据所述第一实时特征点的邻域计算所述第一实时特征点的SIFT描述符;
以及获取与所述第一实时特征点匹配的第一参考特征点的SIFT描述符;
第二欧氏距离计算模块,用于计算所述第一实时特征点的SIFT描述符与所述第一参考特征点的SIFT描述符的第二欧氏距离;
第二匹配概率确定模块,用于根据所述参考特征点的概率分布,确定所述第二欧氏距离对应的第二匹配概率,所述第二匹配概率为所述第二欧式距离对应的所述第一实时特征点的匹配概率。
在第九种可能的实施例中,结合第一方面的第八种可能的实施例,所述匹配概率确定单元,还包括:
综合概率确定模块,用于根据Pi=P1iP2i确定所述第一实时特征点正确匹配的综合概率;其中,Pi表示所述第一实时特征点正确匹配的综合概率,P1i表示所述实时特征点的第一匹配概率,P2i表示各个所述第一实时特征点的第二匹配概率。
在第十种可能的实施例中,结合第一方面的第九种可能的实施例,所述装置还包括:
第二实时特征确定单元,用于根据所述综合概率,确定所述综合概率大于第二阈值的第二实时特征点,其中,所述第二阈值为大于0并且小于1的值,所述第二实时特征点为至少一个实时特征点;
计算单元,用于根据所述第二实时特征点与所述第一实时特征点确定正确匹配比例。
在第十一种可能的实施例中,结合第一方面的第十种可能的实施例,所述目标姿势模型确定单元包括:
排序模块,用于根据所述综合概率对所述第一实时特征点和所述第一参考特征点进行排序;
匹配特征点确定模块,用于确定排序之后的所述第一实时特征点和所述第一参考特征点中几何位置分布最优的K组匹配特征点,所述几何位置分布最优为确定的所述第一实时特征点或者所述第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
姿势模型确定模块,用于根据确定的所述K组匹配特征点,计算所述实时图像中第一目标相对摄像头的姿势模型,并确定符合所述姿势模型的第一匹配特征点的数目,所述第一目标为所述实时图像中任一目标;
以及当所述第一匹配特征点的数目大于第三阈值,并且所述第一匹配特征点的数目的比例大于所述正确匹配比例时,确定所述姿势模型为目标姿势模型。
本发明实施例提供一种获取姿势模型的方法及装置,通过根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,以及根据所述第一欧氏距离确定所述参考特征点的概率分布;根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点;根据所述第一实时特征点与所述参考特征点的概率分布,确定所述第一实时特征点的第二匹配概率;根据所述第一匹配概率和所述第二匹配概率,确定所述第一实时特征点正确匹配的综合概率;根据确定的所述综合概率以及所述第一实时特征点,确定所述实时图像中目标实物相对摄像头的目标姿势模型。
与现有技术中由于摄像头和目标实物之间的视角与参考图像的视角的差异等原因,使得基于局部特征进行匹配时,存在错误匹配,使得RANSAC或PROSAC所需要的迭代次数不均匀,从而无法识别目标实物或者降低目标实物的识别速度相比,本发明实施例通过第一试验(即计算第一匹配概率)确定部分特征点进行第二次试验(即第二匹配概率),并结合两次试验获得综合概率,使得可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种获取姿势模型的方法的流程图;
图2为本发明实施例1提供的一种获取姿势模型的方法中目标对象的参考模型准备阶段的流程图;
图3A为本发明实施例1提供的第一欧氏距离的直方图的示意图;
图3B为本发明实施例1提供的第一欧氏距离的另一直方图的示意图;
图4为本发明实施例1提供的参考特征点的概率分布图的示意图;
图5为本发明实施例1提供的一种获取姿势模型的方法中实时目标识别阶段的流程图;
图6为本发明实施例1提供的一种获取姿势模型的方法中目标姿势模型获取阶段的流程图;
图7为本发明实施例2提供的一种获取姿势模型的装置的框图;
图8为本发明实施例2提供的欧氏距离确定单元的框图;
图9为本发明实施例2提供的另一种获取姿势模型的装置的框图;
图10为本发明实施例2提供的匹配概率确定单元的框图;
图11为本发明实施例2提供的一种获取姿势模型的装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例提供一种获取姿势模型的方法,该方法的执行主体为具有摄像头的终端,例如数据相机、手机、平板电脑等。如图1所示,该方法包括:
步骤101,根据参考图像以及对参考图像进行仿射变换获得的训练图像,确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离,以及根据第一欧氏距离确定参考特征点的概率分布;
参考图像为终端中预先保存的图像,参考图像为至少一幅,当只有一幅参考图像时,可以采用渲染的方法获取多幅图像。
在本实施例中,对参考图像进行仿射变换获得训练图像,包括:在预设参数范围内,确定随机仿射矩阵;根据随机仿射矩阵,对参考图像进行仿射变换获得至少一幅训练图像。其中,预设参数范围包括预设角度以及预设系数。
现有技术中采用SIFT算法构造了尺度金子塔(DifferenceofGaussian,DoG),在尺度金字塔上求得尺度-空间极值(Scale-SpaceExtrema)。对于这些极值点,选取极值点所在的邻域,并根据其尺度求得描述向量(descriptorvector),我们称这种描述向量为SIFT描述符。在本实施例中,获得的参考特征点的向量也统称为SIFT描述符。
欧氏距离也可以称为欧几里得度量或者欧几里得距离,它是在m维空间中两个点之间的真实距离。在二维空间中的欧氏距离就是两点之间的直线段距离。
步骤102,根据获取的实时图像,匹配实时图像的实时特征点与参考特征点,确定各个实时特征点的第一匹配概率以及第一匹配概率大于第一阈值的第一实时特征点;
实时图像可以为通过摄像头采集的目标实物的图像。
在本实施例中,获取实时图像之后,匹配实时图像的实时特征点与参考图像的参考特征点的过程可以看作第一次概率试验,通过第一次概率试验可以获取第一匹配概率大于第一阈值的第一实时特征点,即全部实时特征点中的部分符合条件的实时特征点,以便采用这部分实时特征点进行第二次概率试验,从而降低计算复杂度,提高计算效率。
在本实施例中,对全部实时特征点进行第一次概率试验,可以避免出现遮挡或者部分目标实物移除摄像头的场景,使得只存在目标的部分图像的情况,导致特征点匹配不够。本实施例可以最大范围地保证系统的识别效果。
步骤103,根据第一实时特征点与参考特征点的概率分布,确定第一实时特征点的第二匹配概率;
以第一实时特征点作为第二次概率试验的对象,进一步确定第二匹配概率。具体的,根据实时图像,获取第一实时特征点的邻域,并根据第一实时特征点的邻域计算第一实时特征点的SIFT描述符;获取与第一实时特征点匹配的第一参考特征点的SIFT描述符;计算第一实时特征点的SIFT描述符与第一参考特征点的SIFT描述符的第二欧氏距离;根据参考特征点的概率分布,确定第二欧氏距离对应的第二匹配概率,第二匹配概率为第二欧式距离对应的第一实时特征点的匹配概率。
步骤104,根据第一匹配概率和第二匹配概率,确定第一实时特征点正确匹配的综合概率;
在本步骤中,通过第一匹配概率与第二匹配概率的乘积,获得第一实时特征点正确匹配的综合概率。
进一步的,依据综合概率对第一实时特征点以及与第一实时特征点匹配的第一参考特征点进行排序,例如,可以按照综合概率从大到小的顺序对第一实时特征点以及与第一实时特征点匹配的第一参考特征点进行排序,或者按照综合概率从小到大的顺序对第一实时特征点以及与第一实时特征点匹配的第一参考特征点进行排序。依据综合概率对第一实时特征点以及与第一实时特征点匹配的第一参考特征点进行排序的目的是为了在确定姿势模型时,在第一实时特征点以及与第一实时特征点匹配的第一参考特征点中进行抽样,以便快速获得合理的姿势模型。
步骤105,根据确定的综合概率以及第一实时特征点,确定实时图像中目标实物相对摄像头的目标姿势模型。
在增强现实系统中,通常定义一个和目标相关联的世界坐标系,定义另一个和摄像头相关联的摄像头坐标系。在世界坐标系中的目标经过旋转和平移可以得到摄像头坐标系中的目标。例如,在世界坐标系中的目标经过[R,t]可以得到摄像头坐标系中的目标,则[R,t]就是摄像头和目标之间的相对姿势,即目标姿势模型。其中,R可以为旋转的角度,t为平移的数值。
本发明实施例提供一种获取姿势模型的方法,通过获得参考图像中参考特征点的概率分布,并根据第一试验(即计算第一匹配概率)确定部分特征点进行第二次试验(即第二匹配概率),根据概率分布以及部分特征点确定第二匹配概率,并结合两次试验获得综合概率。根据综合概率以及部分特征点确定实时图像中目标实物相对摄像头的目标姿势模型,使得可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。
本发明实施例提供另一种获取姿势模型的方法,该方法可以分为三部分进行详细描述:第一,目标对象的参考模型准备阶段;第二,实时目标识别阶段;第三,目标姿势模型获取阶段。
如图2所示,目标对象的参考模型准备阶段包括以下步骤:
步骤201,终端获取参考图像,并根据参考图像获取金字塔图像;
在本实施例中,终端为具有摄像头的终端,例如终端可以为数据相机、手机、平板电脑等。
参考图像可以通过扫描目标或者摄像头正对着目标拍摄获得的,并预先保存在终端中的图像。参考图像为至少一幅,当只有一幅参考图像时,可以采用渲染的方法获取多幅图像,例如,通过仿射变换并插值的方法获得多幅图像。
根据参考图像,获取将参考图像的分辨率逐步减小而生成的至少一幅参考图像,将至少一幅参考图像按照分辨率排序,构造为金字塔图像。例如,对于像素大小为W·H的图像I,将图像I的分辨率逐步减小生成图像Ipyr_i,其中,i=(0,1,...1)。图像Ipyr_i的大小为图像Ipyr_i是对图像Ipyr_i-1进行隔行隔列采样得到的图像。构成的金字塔图像中金字塔的层数与参考图像的尺寸有关,通常参考图像的尺寸越大,金字塔的层数越多。
步骤202,根据金字塔图像确定参考图像的参考特征点,以及参考特征点的SIFT描述符;
在本步骤中,可以采用局部特征描述符表示参考图像的参考特征点,或者采用局部特征分类器对参考图像的参考特征点进行分类,从而获得参考图像的参考特征点的世界坐标。局部特征为图像中的感兴趣区域。当检测出局部特征之后,选取局部特征周围的一个邻域,使用不同的图像处理算法,可以得到不同的处理结果。这些结果就被称为局部特征描述符或特征向量。另外,在选取局部特征的邻域中,采用图像处理算法,提取图像的局部特征向量,并根据局部特征向量确定局部特征块。将图像的局部特征块分别编号{1,…,n},作为n个分类。已知某一未知分类的局部特征时,可以使用局部特征分类器将这个未知分类的特征分类到某个分类。
其中,当采用局部特征描述符时,可以在金字塔图像中金字塔的每层使用FAST-9算法检测指定数量范围的角点,这些角点就是参考图像的参考特征点。其中,根据角点周围图像的灰度值检测角点,具体的,检测候选角点周围一圈的像素值,如果候选角点周围邻域内有足够多的像素点与该候选角点的灰度值的差别大于预设差别值,则确定该候选角点为一个角点,预设差别值可以根据实际经验进行设置。对于金字塔图像的每层角点,某个角点的邻域和该角点应处于相同的金字塔层。在角点的邻域,使用不同类型的局部特征描述符计算方法,即可以得到角点处的局部特征描述符。
当采用局部特征分类器是,可以通过训练的方法,确定金字塔图像上最稳定出现的角点。采用不同的随机仿射变换,获得不同相对姿势下的训练图像。在这些训练图像上的角点邻域处计算角点的特征,即可得到特征分类器。
例如,第i个参考特征点在金字塔图像的第K层,并且在标准位置下,则第K层金字塔图像中的参考特征点的坐标为Xi=(xiyi)T,i=(1,2,…N),i表示第K层金字塔图像中第i个参考特征点,N表示第K层金字塔图像中参考特征点的总数。标准位置为摄像头正对图像的中心,且摄像头的光轴垂直于图像平面的位置。
进一步的,在第K层图像金字塔图像上,取Xi的邻域计算参考特征点SIFT描述符vi,i=(1,2,…N)。由于参考特征点的邻域已经确定,因此不需要再进行特征点检测,直接根据参考特征点的邻域按照现有技术计算参考特征点的SIFT描述符。根据上述方法,确定金字塔图像中每一层的参考特征点的SIFT描述符。
步骤203,在预设参数范围内,确定随机仿射矩阵,并根据随机仿射矩阵,对参考图像进行仿射变换获得至少一幅训练图像;
预设参数范围为预设角度以及预设系数,具体的,预设参数范围为:
θ∈[θmin,θmax],φ∈[φmin,φmax],λ1∈[λ1min,λ1max],λ2∈[λ2min,λ2max],其中,
θ=θmin+rand()·(θmaxmin),λ1=λ1min+rand()·(λ1max1min),λ2=λ2min+rand()·(λ2max2min)。
然后,根据下面的公式产生T0,T1…T5,根据T0,T1…T5组成随机放射矩阵T。将参考图像按照随机仿射矩阵进行仿射变换,得到单次训练图像,每个参考特征点i在仿射变换下的坐标为Xi′=TXi。取第K层训练图像中,X′i的邻域计算SIFT描述符vi。其中,
T = T 0 T 1 T 2 T 3 T 4 T 5 .
步骤204,确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离;
在本步骤中,根据参考图像的参考特征点的SIFT描述符Vi,与训练图像中参考特征点的SIFT描述符vi,计算Vi与vi之间的欧氏距离L2距离,并进行统计。具体的,根据计算Vi与vi之间的L2距离。
重复步骤203与步骤204,直到训练结束,其中,可以由用户自己定义训练结束的时间,例如,可以定义第一次出现循环训练图像时训练结束,也可以定义第二次出现循环训练图像时训练结束。其中,训练结束的时间越长,越容易从后续获得欧式距离中选择符合条件的欧氏距离直方图。当然训练结束的时间越长,计算消耗的时间也越长,因此可以根据经验确定训练结束的时间。
进一步可选的,分别计算参考图像的SIFT描述符与至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组参考特征点与参考特征点对应的第一欧氏距离。可以根据至少一组参考特征点与参考特征点对应的第一欧氏距离确定第一欧式距离的直方图。
步骤205,根据至少一组参考特征点与参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与目标参考特征点对应的第一欧氏距离,并将不符合预设特征的参考特征点删除;
其中,预设特征为各个参考特征点对应的第一欧氏距离构成的直方图中,主峰明显,以及直方图中主峰对应的第一欧氏距离大于第三欧式距离的1/2,第三欧式距离为所有组的参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
例如,如图3A和图3B所示的第一欧氏距离的直方图,其中,图3A中主峰明显,在大部分的柄bin上均有显著的概率,另外,通过计算,主峰处的SIFT描述符L2距离大于统计的最大距离的1/2。而图3B中,主峰不明显,因此舍弃图3B,并从参考特征点中删除图3B中对应的参考特征点。
步骤206,根据第一欧氏距离确定目标参考特征点的概率分布;
根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d max 0.0 d > d max 确定目标参考特征点的概率分布;其中,d表示第一欧氏距离,dmax表示预设最大第一欧氏距离。可以看出,0≤Fi(d)≤1,因此很容易将Fi(d)定点化。如图4所示,为根据第一欧式距离确定参考特征点的概率分布图。
确定的目标参考特征点的概率分布的目的为在实时目标识别阶段中,确定实时特征点的匹配概率。
步骤207,确定由目标参考特征点构成的目标对象的目标模型文件;
目标模型文件包括:目标参考特征点在世界坐标系的位置坐标以及目标参考特征点所属金字塔的层数;以及确定参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及参考特征点的概率分布。
确定目标模型文件的目的为在实时目标识别阶段中,根据目标模型文件匹配采集的实时图像与目标参考特征点。
如图5所示,实时目标识别阶段包括以下步骤:
步骤501,获取实时图像,并确定实时图像的实时特征点;
实时图像为通过摄像头实时拍摄的实物的图像,在实时图像中检测得到实时特征点,即获得实时图像中组成感兴趣图像的角点。具体的,可以采用现有技术中的方法在实时图像中检测得到实时特征点,在此本发明实施例不对获得实时特征点的方式进行限定。
步骤502,根据实时图像以及实时特征点,采用目标模型文件中的局部特征描述符或者局部特征分类器,匹配实时图像的实时特征点与参考特征点,确定实时特征点的第一匹配概率;
在本实施例中,匹配可以理解为:如果采用局部特征描述符,匹配的实时特征点与参考特征点必须满足其特征向量之间的距离是最小的;如果采用局部特征分类器,则实时特征点属于某一参考特征点分类的概率大于其他参考特征点分类的概率,且该概率大于设置的阈值。
参考特征点为根据参考图像获得的特征点。
可选的,在本实施例中,步骤502确定第一匹配概率的过程可以看作第一次概率试验。第一次概率试验时采用全部的实时特征点进行操作,避免了出现遮挡或者部分目标移除视场时,特征点匹配数不够的情况,使得最大范围地保证了识别效果。
当采用局部特征分类器时,可以直接将各个实时特征点进行分类,获得各个实时特征点的分类概率,即第一匹配概率P1i;当采用局部特征描述符时,可以稍做转换得到针对T1匹配试验优劣的概率P1i。例如,计算实时图像中的局部特征描述符和对应的目标模型文件中的局部特征描述符之间的欧氏距离,当欧氏距离为0时,则直接确定概率为1,当欧式距离为非0时,则确定概率为欧式距离的倒数。需要说明的是,可以根据经验设置一个概率范围,例如概率范围为[1/dmax,1/dmin],即计算获得的欧式距离大于等于dmin,并且小于等于dmax
步骤503,根据第一匹配概率,确定第一匹配概率大于第一阈值的第一实时特征点;其中,第一阈值为大于0并且小于1的值,第一实时特征点为至少一个实时特征点;
可选的,根据P1i>ε1确定第一实时特征点,其中,P1i表示第i个实时特征点的第一匹配概率,i=(1,2,…M),i表示实时图像中第i个实时特征点;ε1表示第一阈值,ε1∈(0,1)。例如,第一实时特征点可以为M1个,即实时特征点与参考特征点相匹配的特征点总数为M1。
步骤504,根据第一实时特征点与参考特征点的概率分布,确定第一实时特征点的第二匹配概率;
可选的,确定第二匹配概率的过程可以看作第二次概率试验。第二次概率试验时采用第一概率试验确定的部分实时特征点,即第一实时特征点,进行试验的操作,使得可以降低计算代价。
根据实时图像,获取第一实时特征点的邻域,并根据第一实时特征点的邻域计算第一实时特征点的SIFT描述符,例如,第一实时特征点的SIFT描述符为ui;获取与第一实时特征点匹配的第一参考特征点的SIFT描述符,第一实时特征点为M1个时,则第一参考特征点的个数也是M1个,其中第一参考特征点已经在目标对象的参考模型准备阶段确定了,因此可以直接获得,例如第一参考特征点的SIFT描述符为vi
进一步的,计算第一实时特征点的SIFT描述符与第一参考特征点的SIFT描述符的第二欧氏距离;可选的,根据计算第一欧式距离的方法计算第二欧式距离,即计算ui与Vi之间的L2距离di
进一步的,根据参考特征点的概率分布,确定第二欧氏距离对应的第二匹配概率,第二匹配概率为第二欧式距离对应的第一实时特征点的匹配概率。例如,根据附图4所示的参考特征点的概率分布,查找第二欧氏距离对应的概率,即为第二匹配概率P2i
步骤505,根据第一匹配概率和第二匹配概率,确定第一实时特征点正确匹配的综合概率;
根据Pi=P1iP2i确定第一实时特征点正确匹配的综合概率;其中,Pi表示第一实时特征点正确匹配的综合概率。
步骤506,根据综合概率,确定综合概率大于第二阈值的第二实时特征点,其中,第二阈值为大于0并且小于1的值,第二实时特征点为至少一个实时特征点;
可选的,根据Pi>ε2确定第二实时特征点,其中,ε2表示第二阈值,ε2∈(0,1)。例如,第二实时特征点可以为M2个。
步骤507,根据第二实时特征点与第一实时特征点确定正确匹配比例。
可选的,根据P=M2/M1·100%确定正确匹配比例,其中,P表示正确匹配比例。确定正确匹配比例的目的:在目标姿势模型获取阶段中作为提前结束流程的条件,使得可以尽快获取合理的目标姿势模型。
在确定正确匹配比例之后,第二阶段的计算结束,可以进行目标姿势模型获取阶段。在目标姿势模型获取阶段中可以采用修改后的PROSAC算法进行计算。现有技术中,PROSAC算法与RANSAC算法相关,RANSAC算法是一种迭代方法,用来在一组包含偏离模型(outlier)的被观测数据中估计出数学模型的参数,即在本实施例中在参考特征点和实时特征点中估计出姿势模型的参数。RANSAC是一个非确定性算法,从某种意义上说,它会产生一个在一定概率下合理的结果,其允许使用更多次迭代来使其概率增加。PROSAC算法与RANSAC算法的不同之处为:每次迭代时,PROSAC算法按照被观测数据正确的概率大小,优先选择正确概率大的被观测数据,以便减少迭代的次数,快速估计出合理模型的参数。
本实施例采用的修改后的PROSAC算法为在现有技术中的PROSAC算法之前增加一次抽样,具体可参看步骤602,另外修改后的PROSAC算法中增加估计姿势模型结束的条件,使得可以降低迭代的次数。
如图6所示,目标姿势模型获取阶段包括以下步骤:
步骤601,根据综合概率对第一实时特征点和第一参考特征点进行排序;
可选的,根据综合概率对第一实时特征点和第一参考特征点进行降序排列,或者根据综合概率对第一实时特征点和第一参考特征点进行升序排列。优选的,根据综合概率对第一实时特征点和第一参考特征点进行降序排列,以便在进行后续处理时直接选取综合概率较大的第一实时特征点和第一参考特征点进行操作,从而提高操作的速率。
步骤602,确定排序之后的第一实时特征点和第一参考特征点中几何位置分布最优的K组匹配特征点;
几何位置分布最优为确定的第一实时特征点或者第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
例如,在综合概率排序的前8组匹配特征点中进行选择,其中前8组匹配特征点可以为:
第1组,参考特征点:(377,289),实时特征点(370,275);
第2组,参考特征点:(409,373),实时特征点(380,312);
第3组,参考特征点:(473,299),实时特征点(409,279);
第4组,参考特征点:(250,210),实时特征点(315,238);
第5组,参考特征点:(258,203),实时特征点(318,234);
第6组,参考特征点:(473,265),实时特征点(410,262);
第7组,参考特征点:(263,386),实时特征点(317,322);
第8组,参考特征点:(521,369),实时特征点(426,309)。
从上述8组匹配特征点中选择几何位置最优的4组匹配特征点进行模型估计,则选择的4组匹配特征点可以为:
第4组,参考特征点:(250,210),实时特征点(315,238);
第6组,参考特征点:(473,265),实时特征点(410,262);
第7组,参考特征点:(263,386),实时特征点(317,322);
第8组,参考特征点:(521,369),实时特征点(426,309)。
需要说明的是,K还可以取其他的值。确定几何位置分布最优的K组匹配特征点进行模型估计,可以使得后续进行模型估计时迭代的次数很少,计算量降低,并且可以快速估计出合理的姿势模型。
步骤603,根据确定的K组匹配特征点,计算实时图像中第一目标相对摄像头的姿势模型,并确定符合姿势模型的第一匹配特征点的数目,第一目标为实时图像中任一目标;
可选的,在根据确定的K组匹配特征点,计算实时图像中第一目标相对摄像头的姿势模型时,可以采用修改后的PROSAC算法进行计算。在本实施例中采用修改后的PROSAC算法进行姿势模型估计,可以在PROSAC算法的基础上进一步减少迭代的次数。具体的,根据选择出的4组匹配特征点计算得到初始化模型W1,需要说明的是,可以采用现有技术中不同的模型计算方法进行初始化模型W1的估计,在此不一一赘述。
其中,第一实时特征点和第一参考特征点为抽样集合Q,选择出来的4组匹配特征点为子集S,则余集SC为除子集S之外的Q。SC中与模型初始化模型W1的误差小于预设阈值t的样本集以及S构成S*,S*为内点集合,其中内点集合中的元素构成S的一致集(ConsensusSet)。一致集可以理解为集合内的元素一致满足模型的集合。在完成一定的抽样次数之后,若未确定一致集,则算法失败,若可以确定一致集,则算法结束。
步骤604,当第一匹配特征点的数目大于第三阈值,并且第一匹配特征点的数目的比例大于正确匹配比例时,确定姿势模型为目标姿势模型。
在本步骤中,一致集中的元素,即确定的第一匹配特征点。本步骤可以看作估计姿势模型结束的条件,即第一匹配特征点的数目大于第三阈值,并且第一匹配特征点的数目的比例大于正确匹配比例时,可以确定已经估计出合理的姿势模型,即目标姿势模型。其中,第三阈值为大于0并且小于1的值,ε3表示第三阈值,ε3∈(0,1)。
例如,第一匹配特征点的数目为I1,则第一匹配特征点的数目的比例为I1/N1。即I1>ε3并且I1/N1>α·P时,算法结束,否则继续估计模型,其中,α为可设置的系数。
在本实施例中,设置估计姿势模型结束的条件可以使得迭代系数降低,使得计算量减少,并且可以保证AR系统的流畅性,避免了由于迭代此时过多,使得识别时间过长而造成的顿挫现象。
本发明实施例提供一种获取姿势模型的方法,通过获得参考图像中参考特征点的概率分布,并根据第一试验(即计算第一匹配概率)确定部分特征点进行第二次试验(即第二匹配概率),根据概率分布以及部分特征点确定第二匹配概率,并结合两次试验获得综合概率。根据综合概率以及部分特征点确定实时图像中目标实物相对摄像头的目标姿势模型,使得可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。
实施例2
本发明实施例提供一种获取姿势模型的装置,该装置可以为具有摄像头的终端,例如数据相机、手机、平板电脑等。如图7所示,该装置包括:欧氏距离确定单元701,匹配概率确定单元702,目标姿势模型确定单元703;
欧氏距离确定单元701,用于根据参考图像以及对参考图像进行仿射变换获得的训练图像,确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离,以及根据第一欧氏距离确定参考特征点的概率分布;
参考图像为终端中预先保存的图像,参考图像为至少一幅,当只有一幅参考图像时,可以采用渲染的方法获取多幅图像。
欧氏距离也可以称为欧几里得度量或者欧几里得距离,它是在m维空间中两个点之间的真实距离。在二维空间中的欧氏距离就是两点之间的直线段距离。
匹配概率确定单元702,用于根据获取的实时图像,匹配实时图像的实时特征点与参考特征点,确定各个实时特征点的第一匹配概率以及第一匹配概率大于第一阈值的第一实时特征点;
实时图像可以为通过摄像头采集的目标实物的图像。在本实施例中,获取实时图像之后,匹配实时图像的实时特征点与参考图像的参考特征点的过程可以看作第一次概率试验,通过第一次概率试验可以获取第一匹配概率大于第一阈值的第一实时特征点,即全部实时特征点中的部分符合条件的实时特征点,以便采用这部分实时特征点进行第二次概率试验,从而降低计算复杂度,提高计算效率。
匹配概率确定单元702,还用于根据第一实时特征点与参考特征点的概率分布,确定第一实时特征点的第二匹配概率;
匹配概率确定单元702,还用于根据第一匹配概率和第二匹配概率,计算第一实时特征点正确匹配的综合概率;
目标姿势模型确定单元703,用于根据确定的综合概率以及第一实时特征点,确定实时图像中目标实物相对摄像头的目标姿势模型。
进一步可选的,如图8所示,欧氏距离确定单元701,包括:仿射变换模块7011,第一处理模块7012,第二处理模块7013,欧氏距离确定模块7014;
其中,仿射变换模块7011,用于在预设参数范围内,确定随机仿射矩阵;以及根据随机仿射矩阵,对参考图像进行仿射变换获得至少一幅训练图像;
第一处理模块7012,用于获取参考图像,并确定参考图像的参考特征点,以及根据参考特征点的邻域计算参考特征点的SIFT描述符;
第二处理模块7013,用于根据至少一幅训练图像以及根据参考特征点的邻域,计算至少一幅训练图像的参考特征点的SIFT描述符;
欧氏距离确定模块7014,用于分别计算参考图像的SIFT描述符与至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组参考特征点与参考特征点对应的第一欧氏距离。
在本步骤中,欧氏距离确定模块7014根据参考图像的参考特征点的SIFT描述符Vi,与训练图像中参考特征点的SIFT描述符vi,计算Vi与vi之间的欧氏距离L2距离,并进行统计。
具体的,根据计算Vi与vi之间的L2距离。
进一步可选的,如图8所示,第一处理模块7012包括:参考图像获取子模块70121,金字塔图像获取子模块70122,参考特征点获取子模块70123;
参考图像获取子模块70121,用于获取参考图像;参考图像可以通过扫描目标或者摄像头正对着目标拍摄获得的,并预先保存在终端中的图像。
金字塔图像获取子模块70122,用于根据参考图像,获取将参考图像的分辨率逐步减小而生成的至少一幅参考图像,将至少一幅参考图像按照分辨率排序,构造为金字塔图像;
可选的,对于像素大小为W·H的图像I,将图像I的分辨率逐步减小生成图像Ipyr_i,其中,i=(0,1,...l)。图像Ipyr_i的大小为图像Ipyr_i是对图像Ipyr_i-1进行隔行隔列采样得到的图像。构成的金字塔图像中金字塔的层数与参考图像的尺寸有关,通常参考图像的尺寸越大,金字塔的层数越多。
参考特征点获取子模块70123,用于获取金字塔图像的每一层金字塔中的参考特征点。
可以采用局部特征描述符表示参考图像的参考特征点,或者采用局部特征分类器对参考图像的参考特征点进行分类,从而获得金字塔图像的每一层金字塔中的参考特征点。例如,第i个参考特征点在金字塔图像的第K层,并且在标准位置下,则第K层金字塔图像中的参考特征点的坐标为Xi=(xiyi)T,i=(1,2,…N),i表示第K层金字塔图像中第i个参考特征点,N表示第K层金字塔图像中参考特征点的总数。标准位置为摄像头正对图像的中心,且摄像头的光轴垂直于图像平面的位置。
进一步可选的,如图9所示,该装置还包括:欧氏距离筛选单元704;
在欧氏距离确定单元701确定第一欧氏距离之后,欧氏距离筛选单元704,用于根据至少一组参考特征点与参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与目标参考特征点对应的第一欧氏距离,并将不符合预设特征的参考特征点删除;
其中,预设特征为各个参考特征点对应的第一欧氏距离构成的直方图中,主峰明显,以及直方图中主峰对应的第一欧氏距离大于第三欧式距离的1/2,第三欧式距离为所有组的参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
进一步可选的,如图8所示,欧氏距离确定单元701还包括:概率分布确定模块7015;
在欧氏距离确定单元701根据第一欧氏距离确定参考特征点的概率分布时,可以采用概率分布确定模块7015确定参考特征点的概率分布,具体的,根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d max 0.0 d > d max 确定目标参考特征点的概率分布;其中,d表示第一欧氏距离,dmax表示预设最大第一欧氏距离。
进一步可选的,如图9所示,该装置还包括:目标模型文件确定单元705;
在欧氏距离确定单元701确定目标参考特征点的概率分布之后,目标模型文件确定单元705,用于确定由目标参考特征点构成的目标对象的目标模型文件,目标模型文件包括:目标参考特征点在世界坐标系的位置坐标以及目标参考特征点所属金字塔的层数;以及确定参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及参考特征点的概率分布。
进一步可选的,如图10所示,匹配概率确定单元702确定第一匹配概率时,匹配概率确定单元702包括:实时特征点确定模块7021,第一匹配概率确定模块7022,第一实时特征点确定模块7023;
实时特征点确定模块7021,用于获取实时图像,并确定实时图像的实时特征点;
实时图像为通过摄像头实时拍摄的实物的图像,在实时图像中检测得到实时特征点,即获得实时图像中组成感兴趣图像的角点。具体的,可以采用现有技术中的方法在实时图像中检测得到实时特征点,在此本发明实施例不对获得实时特征点的方式进行限定。
第一匹配概率确定模块7022,用于根据实时图像以及实时特征点,采用目标模型文件中的局部特征描述符或者局部特征分类器,匹配实时图像的实时特征点与参考特征点,确定实时特征点的第一匹配概率;
参考特征点为根据参考图像获得的特征点。
第一匹配概率确定模块7022确定第一匹配概率的过程可以看作第一次概率试验。第一次概率试验时采用全部的实时特征点进行操作,避免了出现遮挡或者部分目标移除视场时,特征点匹配数不够的情况,使得最大范围地保证了识别效果。
第一实时特征点确定模块7023,用于根据第一匹配概率,确定第一匹配概率大于第一阈值的第一实时特征点,其中,第一阈值为大于0并且小于1的值,第一实时特征点为至少一个实时特征点。
可选的,根据P1i>ε1确定第一实时特征点,其中,P1i表示第i个实时特征点的第一匹配概率,i=(1,2,…M),i表示实时图像中第i个实时特征点;ε1表示第一阈值,ε1∈(0,1)。
进一步可选的,如图10所示,匹配概率确定单元702确定第二匹配概率时,匹配概率确定单元702还包括:SIFT描述符确定模块7024,第二欧氏距离计算模块7025,第二匹配概率确定模块7026;
SIFT描述符确定模块7024,用于根据实时图像中,获取第一实时特征点的邻域,并根据第一实时特征点的邻域计算第一实时特征点的SIFT描述符;以及获取与第一实时特征点匹配的第一参考特征点的SIFT描述符;
第二欧氏距离计算模块7025,用于计算第一实时特征点的SIFT描述符与第一参考特征点的SIFT描述符的第二欧氏距离;
第二匹配概率确定模块7026,用于根据参考特征点的概率分布,确定第二欧氏距离对应的第二匹配概率,第二匹配概率为第二欧式距离对应的第一实时特征点的匹配概率。
可选的,确定第二匹配概率的过程可以看作第二次概率试验。第二次概率试验时采用第一概率试验确定的部分实时特征点,即第一实时特征点,进行试验的操作,使得可以降低计算代价。
进一步的,如图10所示,匹配概率确定单元702确定综合概率时,匹配概率确定单元702包括:综合概率确定模块7027;
综合概率确定模块7027,用于根据Pi=P1iP2i确定第一实时特征点正确匹配的综合概率;其中,Pi表示第一实时特征点正确匹配的综合概率,P1i表示实时特征点的第一匹配概率,P2i表示各个第一实时特征点的第二匹配概率。
进一步的,如图9所示,该装置还包括:第二实时特征确定单元706,计算单元707;
在匹配概率确定单元702确定综合概率之后,第二实时特征确定单元706,用于根据综合概率,确定综合概率大于第二阈值的第二实时特征点,其中,第二阈值为大于0并且小于1的值,第二实时特征点为至少一个实时特征点;
根据第二实时特征点与第一实时特征点,计算单元707确定正确匹配比例。确定正确匹配比例的目的:在目标姿势模型获取阶段中作为提前结束流程的条件,使得可以尽快获取合理的目标姿势模型。
进一步的,如图9所示,目标姿势模型确定单元703包括:排序模块7031,匹配特征点确定模块7032,姿势模型确定模块7033;
排序模块7031,用于根据综合概率对第一实时特征点和第一参考特征点进行排序;
可选的,根据综合概率对第一实时特征点和第一参考特征点进行降序排列,或者根据综合概率对第一实时特征点和第一参考特征点进行升序排列。优选的,根据综合概率对第一实时特征点和第一参考特征点进行降序排列,以便在进行后续处理时直接选取综合概率较大的第一实时特征点和第一参考特征点进行操作,从而提高操作的速率。
匹配特征点确定模块7032,用于确定排序之后的第一实时特征点和第一参考特征点中几何位置分布最优的K组匹配特征点;
几何位置分布最优为确定的第一实时特征点或者第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
例如,在综合概率排序的前8组匹配特征点中进行选择,其中前8组匹配特征点可以为:
第1组,参考特征点:(377,289),实时特征点(370,275);
第2组,参考特征点:(409,373),实时特征点(380,312);
第3组,参考特征点:(473,299),实时特征点(409,279);
第4组,参考特征点:(250,210),实时特征点(315,238);
第5组,参考特征点:(258,203),实时特征点(318,234);
第6组,参考特征点:(473,265),实时特征点(410,262);
第7组,参考特征点:(263,386),实时特征点(317,322);
第8组,参考特征点:(521,369),实时特征点(426,309)。
匹配特征点确定模块7032从上述8组匹配特征点中选择几何位置最优的4组匹配特征点进行模型估计,则选择的4组匹配特征点可以为:
第4组,参考特征点:(250,210),实时特征点(315,238);
第6组,参考特征点:(473,265),实时特征点(410,262);
第7组,参考特征点:(263,386),实时特征点(317,322);
第8组,参考特征点:(521,369),实时特征点(426,309)。
需要说明的是,K还可以取其他的值。匹配特征点确定模块7032确定几何位置分布最优的K组匹配特征点进行模型估计,可以使得后续进行模型估计时迭代的次数很少,计算量降低,并且可以快速估计出合理的姿势模型。
姿势模型确定模块7033,用于根据确定的K组匹配特征点,计算实时图像中第一目标相对摄像头的姿势模型,并确定符合姿势模型的第一匹配特征点的数目,第一目标为实时图像中任一目标;以及当第一匹配特征点的数目大于第三阈值,并且第一匹配特征点的数目的比例大于正确匹配比例时,确定姿势模型为目标姿势模型。
例如,第一匹配特征点的数目为I1,则第一匹配特征点的数目的比例为I1/N1。即I1>ε3并且I1/N1>α·P时,算法结束,否则继续估计模型,其中,α为可设置的系数。
在本实施例中,设置估计姿势模型结束的条件可以使得迭代系数降低,使得计算量减少,并且可以保证AR系统的流畅性,避免了由于迭代此时过多,使得识别时间过长而造成的顿挫现象。
本发明实施例提供一种获取姿势模型的装置,通过欧氏距离确定单元获得参考图像中参考特征点的概率分布,匹配概率确定单元计算第一匹配概率确定部分特征点进行第二次试验(即确定第二匹配概率),根据概率分布以及部分特征点确定第二匹配概率,并结合两次试验获得综合概率。根据综合概率以及部分特征点目标姿势模型确定单元确定实时图像中目标实物相对摄像头的目标姿势模型,使得可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。
本发明实施例提供另一种获取姿势模型的装置,该装置可以为具有摄像头的终端,例如数据相机、手机、平板电脑等。如图11所示,该装置包括:处理器1101,存储器1102;
处理器1101,用于根据参考图像以及对参考图像进行仿射变换获得的训练图像,确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离,以及根据第一欧氏距离确定参考特征点的概率分布;
参考图像为终端中预先保存的图像,参考图像为至少一幅,当只有一幅参考图像时,可以采用渲染的方法获取多幅图像。
欧氏距离也可以称为欧几里得度量或者欧几里得距离,它是在m维空间中两个点之间的真实距离。在二维空间中的欧氏距离就是两点之间的直线段距离。
根据获取的实时图像,处理器1101匹配实时图像的实时特征点与参考特征点,确定各个实时特征点的第一匹配概率以及第一匹配概率大于第一阈值的第一实时特征点;
实时图像可以为通过摄像头采集的目标实物的图像。在本实施例中,获取实时图像之后,匹配实时图像的实时特征点与参考图像的参考特征点的过程可以看作第一次概率试验,通过第一次概率试验可以获取第一匹配概率大于第一阈值的第一实时特征点,即全部实时特征点中的部分符合条件的实时特征点,以便采用这部分实时特征点进行第二次概率试验,从而降低计算复杂度,提高计算效率。
根据第一实时特征点与参考特征点的概率分布,处理器1101确定第一实时特征点的第二匹配概率;
根据第一匹配概率和第二匹配概率,处理器1101计算第一实时特征点正确匹配的综合概率;
根据确定的综合概率以及第一实时特征点,处理器1101确定实时图像中目标实物相对摄像头的目标姿势模型。
进一步可选的,在处理器1101根据参考图像以及对参考图像进行仿射变换获得的训练图像,确定参考图像的参考特征点的SIFT描述符与训练图像中参考特征点的SIFT描述符的第一欧氏距离,以及根据第一欧氏距离确定参考特征点的概率分布具体包括:
获取参考图像,并确定参考图像的参考特征点,以及根据参考特征点的邻域计算参考特征点的SIFT描述符;具体的,首先获取参考图像;然后根据参考图像,获取将参考图像的分辨率逐步减小而生成的至少一幅参考图像,将至少一幅参考图像按照分辨率排序,构造为金字塔图像;可选的,对于像素大小为W·H的图像I,将图像I的分辨率逐步减小生成图像Ipyr_i,其中,i=(0,1,…l)。图像Ipyr_i的大小为图像Ipyr_i是对图像Ipyr_i-1进行隔行隔列采样得到的图像。构成的金字塔图像中金字塔的层数与参考图像的尺寸有关,通常参考图像的尺寸越大,金字塔的层数越多。再根据构造的金字塔图像获取金字塔图像的每一层金字塔中的参考特征点;可以采用局部特征描述符表示参考图像的参考特征点,或者采用局部特征分类器对参考图像的参考特征点进行分类,从而获得金字塔图像的每一层金字塔中的参考特征点。例如,第i个参考特征点在金字塔图像的第K层,并且在标准位置下,则第K层金字塔图像中的参考特征点的坐标为Xi=(xiyi)T,i=(1,2,…N),i表示第K层金字塔图像中第i个参考特征点,N表示第K层金字塔图像中参考特征点的总数。标准位置为摄像头正对图像的中心,且摄像头的光轴垂直于图像平面的位置。
进一步的,在处理器1101根据参考特征点的邻域计算参考特征点的SIFT描述符之后,存储器1102保存参考特征点的SIFT描述符;
在预设参数范围内,确定随机仿射矩阵;以及根据随机仿射矩阵,对参考图像进行仿射变换获得至少一幅训练图像;
根据至少一幅训练图像以及根据参考特征点的邻域,计算至少一幅训练图像的参考特征点的SIFT描述符;
进一步的,在处理器1101根据至少一幅训练图像以及根据参考特征点的邻域计算至少一幅训练图像的参考特征点的SIFT描述符之后,存储器1102保存至少一幅训练图像的参考特征点的SIFT描述符;
根据存储器1102中存储的分别参考图像的SIFT描述符与至少一幅训练图像中每一幅训练图像的SIFT描述符,计算参考图像的SIFT描述符与至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组参考特征点与参考特征点对应的第一欧氏距离;进一步的,根据参考图像的参考特征点的SIFT描述符Vi,与训练图像中参考特征点的SIFT描述符vi,计算Vi与vi之间的欧氏距离L2距离,并进行统计。
具体的,根据计算Vi与vi之间的L2距离。
进一步可选的,在处理器1101计算参考图像的SIFT描述符与至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离之后,处理器1101根据至少一组参考特征点与参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与目标参考特征点对应的第一欧氏距离,并将不符合预设特征的参考特征点删除;
其中,预设特征为各个参考特征点对应的第一欧氏距离构成的直方图中,主峰明显,以及直方图中主峰对应的第一欧氏距离大于第三欧式距离的1/2,第三欧式距离为所有组的参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
进一步可选的,在处理器1101确定符合预设特征的目标参考特征点与目标参考特征点对应的第一欧氏距离之后,存储器1102保存目标参考特征点与目标参考特征点对应的第一欧氏距离。
进一步可选的,在处理器1101确定参考特征点的概率分布时,根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d max 0.0 d > d max 确定目标参考特征点的概率分布;其中,d表示第一欧氏距离,dmax表示预设最大第一欧氏距离。
进一步可选的,在处理器1101确定参考特征点的概率分布之后,存储器1102用于保存参考特征点的概率分布。
进一步可选的,在存储器1102保存参考特征点的概率分布之后,处理器1101确定由目标参考特征点构成的目标对象的目标模型文件,目标模型文件包括:目标参考特征点在世界坐标系的位置坐标以及目标参考特征点所属金字塔的层数;以及确定参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及参考特征点的概率分布。
进一步可选的,在处理器1101确定由目标参考特征点构成的目标对象的目标模型文件之后,存储器1102保存目标模型文件。
进一步可选的,处理器1101确定实时特征点的第一匹配概率,包括:获取实时图像,并确定实时图像的实时特征点;实时图像为通过摄像头实时拍摄的实物的图像,在实时图像中检测得到实时特征点,即获得实时图像中组成感兴趣图像的角点。具体的,可以采用现有技术中的方法在实时图像中检测得到实时特征点,在此本发明实施例不对获得实时特征点的方式进行限定。
根据实时图像以及实时特征点,采用目标模型文件中的局部特征描述符或者局部特征分类器,匹配实时图像的实时特征点与参考特征点,确定实时特征点的第一匹配概率;确定第一匹配概率的过程可以看作第一次概率试验。第一次概率试验时采用全部的实时特征点进行操作,避免了出现遮挡或者部分目标移除视场时,特征点匹配数不够的情况,使得最大范围地保证了识别效果。
根据第一匹配概率,确定第一匹配概率大于第一阈值的第一实时特征点,其中,第一阈值为大于0并且小于1的值,第一实时特征点为至少一个实时特征点。可选的,根据P1i>ε1确定第一实时特征点,其中,P1i表示第i个实时特征点的第一匹配概率,i=(1,2,…M),i表示实时图像中第i个实时特征点;ε1表示第一阈值,ε1∈(0,1)。
进一步可选的,在处理器1101确定第一实时特征点之后,存储器1102保存第一实时特征点。
处理器1101根据存储器1102保存的第一实时特征点,根据实时图像中,获取第一实时特征点的邻域,并根据第一实时特征点的邻域计算第一实时特征点的SIFT描述符;以及获取与第一实时特征点匹配的第一参考特征点的SIFT描述符;
处理器1101计算第一实时特征点的SIFT描述符与第一参考特征点的SIFT描述符的第二欧氏距离;
根据参考特征点的概率分布,处理器1101确定第二欧氏距离对应的第二匹配概率,第二匹配概率为第二欧式距离对应的第一实时特征点的匹配概率。
可选的,确定第二匹配概率的过程可以看作第二次概率试验。第二次概率试验时采用第一概率试验确定的部分实时特征点,即第一实时特征点,进行试验的操作,使得可以降低计算代价。
在处理器1101确定第二匹配概率之后,根据Pi=P1iP2i确定第一实时特征点正确匹配的综合概率;其中,Pi表示第一实时特征点正确匹配的综合概率,P1i表示实时特征点的第一匹配概率,P2i表示各个第一实时特征点的第二匹配概率;
存储器1102保存确定的正确匹配的综合概率。
根据存储器1102保存的综合概率,处理器1101确定综合概率大于第二阈值的第二实时特征点,其中,第二阈值为大于0并且小于1的值,第二实时特征点为至少一个实时特征点;
处理器1101根据第二实时特征点与第一实时特征点确定正确匹配比例。确定正确匹配比例的目的:在目标姿势模型获取阶段中作为提前结束流程的条件,使得可以尽快获取合理的目标姿势模型。
进一步可选的,处理器1101确定目标姿势模型时,包括:根据综合概率对第一实时特征点和第一参考特征点进行排序;可选的,根据综合概率对第一实时特征点和第一参考特征点进行降序排列,或者根据综合概率对第一实时特征点和第一参考特征点进行升序排列。优选的,根据综合概率对第一实时特征点和第一参考特征点进行降序排列,以便在进行后续处理时直接选取综合概率较大的第一实时特征点和第一参考特征点进行操作,从而提高操作的速率。
处理器1101确定排序之后的第一实时特征点和第一参考特征点中几何位置分布最优的K组匹配特征点,几何位置分布最优为确定的第一实时特征点或者第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
例如,在综合概率排序的前8组匹配特征点中进行选择,其中前8组匹配特征点可以为:
第1组,参考特征点:(377,289),实时特征点(370,275);
第2组,参考特征点:(409,373),实时特征点(380,312);
第3组,参考特征点:(473,299),实时特征点(409,279);
第4组,参考特征点:(250,210),实时特征点(315,238);
第5组,参考特征点:(258,203),实时特征点(318,234);
第6组,参考特征点:(473,265),实时特征点(410,262);
第7组,参考特征点:(263,386),实时特征点(317,322);
第8组,参考特征点:(521,369),实时特征点(426,309)。
处理器1101从上述8组匹配特征点中选择几何位置最优的4组匹配特征点进行模型估计,则选择的4组匹配特征点可以为:
第4组,参考特征点:(250,210),实时特征点(315,238);
第6组,参考特征点:(473,265),实时特征点(410,262);
第7组,参考特征点:(263,386),实时特征点(317,322);
第8组,参考特征点:(521,369),实时特征点(426,309)。
需要说明的是,K还可以取其他的值。处理器1101确定几何位置分布最优的K组匹配特征点进行模型估计,可以使得后续进行模型估计时迭代的次数很少,计算量降低,并且可以快速估计出合理的姿势模型。
根据确定的K组匹配特征点,处理器1101计算实时图像中第一目标相对摄像头的姿势模型,并确定符合姿势模型的第一匹配特征点的数目,第一目标为实时图像中任一目标;
以及当第一匹配特征点的数目大于第三阈值,并且第一匹配特征点的数目的比例大于正确匹配比例时,确定姿势模型为目标姿势模型。
例如,第一匹配特征点的数目为I1,则第一匹配特征点的数目的比例为I1/N1。即I1>ε3并且I1/N1>α·P时,算法结束,否则继续估计模型,其中,α为可设置的系数。
在本实施例中,设置估计姿势模型结束的条件可以使得迭代系数降低,使得计算量减少,并且可以保证AR系统的流畅性,避免了由于迭代此时过多,使得识别时间过长而造成的顿挫现象。
本发明实施例提供一种获取姿势模型的装置,通过欧氏距离确定单元获得参考图像中参考特征点的概率分布,匹配概率确定单元计算第一匹配概率确定部分特征点进行第二次试验(即确定第二匹配概率),根据概率分布以及部分特征点确定第二匹配概率,并结合两次试验获得综合概率。根据综合概率以及部分特征点目标姿势模型确定单元确定实时图像中目标实物相对摄像头的目标姿势模型,使得可以降低错误匹配,降低迭代次数,正确、快速的识别目标实物。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (24)

1.一种获取姿势模型的方法,其特征在于,包括:
根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的尺度无关的特征变换SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,以及根据所述第一欧氏距离确定所述参考特征点的概率分布;
根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点;
根据所述实时图像,获取所述第一实时特征点的邻域,并计算所述第一实时特征点的SIFT描述符;获取与所述第一实时特征点匹配的参考特征点的SIFT描述符;计算所述第一实时特征点的SIFT描述符与所述第一实时特征点匹配的参考特征点的SIFT描述符的第二欧氏距离,确定第二欧氏距离对应的第二匹配概率;
根据所述第一匹配概率和所述第二匹配概率,确定所述第一实时特征点正确匹配的综合概率;
对所述综合概率进行排序,确定排序之后的所述第一实时特征点和所述第一实时特征点匹配的参考特征点中几何位置分布最优的K组匹配特征点;根据确定的所述K组匹配特征点,计算所述实时图像中第一目标相对摄像头的姿势模型,并确定符合姿势模型的第一匹配特征点的数目;当所述第一匹配特征点的数目大于第三阈值,并且所述第一匹配特征点的数目的比例大于正确匹配比例时,确定所述姿势模型为目标姿势模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述参考图像进行仿射变换获得训练图像,包括:
在预设参数范围内,确定随机仿射矩阵;
根据所述随机仿射矩阵,对所述参考图像进行仿射变换获得至少一幅训练图像。
3.根据权利要求2所述的方法,其特征在于,所述根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,包括:
获取参考图像,并确定所述参考图像的参考特征点,以及根据所述参考特征点的邻域计算所述参考特征点的SIFT描述符;
根据所述至少一幅训练图像以及根据所述参考特征点的邻域,计算所述至少一幅训练图像的参考特征点的SIFT描述符;
分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离。
4.根据权利要求3所述的方法,其特征在于,所述获取参考图像,并确定所述参考图像的参考特征点,包括:
获取参考图像;
根据所述参考图像,获取将所述参考图像的分辨率逐步减小而生成的至少一幅参考图像,将所述至少一幅参考图像按照分辨率排序,构造为金字塔图像;
获取所述金字塔图像的每一层金字塔中的参考特征点。
5.根据权利要求3所述的方法,其特征在于,在分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离之后,还包括:
根据所述至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与所述目标参考特征点对应的第一欧氏距离,并将不符合所述预设特征的参考特征点删除;
其中,所述预设特征为各个所述参考特征点对应的所述第一欧氏距离构成的直方图中,主峰明显,以及所述直方图中所述主峰对应的第一欧氏距离大于第三欧式距离的1/2,所述第三欧式距离为所有组的所述参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一欧氏距离确定所述参考特征点的概率分布,包括:
根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d m a x 0.0 d > d m a x 确定目标参考特征点的概率分
布;其中,d表示所述第一欧氏距离,dmax表示预设最大第一欧氏距离。
7.根据权利要求6所述的方法,其特征在于,在所述根据所述第一欧氏距离确定所述参考特征点的概率分布之后,还包括:
确定由所述目标参考特征点构成的目标对象的目标模型文件,所述目标模型文件包括:所述目标参考特征点在世界坐标系的位置坐标以及所述目标参考特征点所属金字塔的层数;以及确定所述参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及所述参考特征点的概率分布。
8.根据权利要求7所述的方法,其特征在于,所述根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点,包括:
获取实时图像,并确定所述实时图像的实时特征点;
根据所述实时图像以及所述实时特征点,采用所述目标模型文件中的所述局部特征描述符或者局部特征分类器,匹配所述实时图像的实时特征点与所述参考特征点,确定所述实时特征点的第一匹配概率;
根据所述第一匹配概率,确定所述第一匹配概率大于第一阈值的第一实时特征点,其中,所述第一阈值为大于0并且小于1的值,所述第一实时特征点为至少一个实时特征点。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一实时特征点与所述参考特征点的概率分布,确定所述第一实时特征点的第二匹配概率,包括:
根据所述实时图像,获取所述第一实时特征点的邻域,并根据所述第一实时特征点的邻域计算所述第一实时特征点的SIFT描述符;
获取与所述第一实时特征点匹配的第一参考特征点的SIFT描述符;
计算所述第一实时特征点的SIFT描述符与所述第一参考特征点的SIFT描述符的第二欧氏距离;
根据所述参考特征点的概率分布,确定所述第二欧氏距离对应的第二匹配概率,所述第二匹配概率为所述第二欧式距离对应的所述第一实时特征点的匹配概率。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一匹配概率和所述第二匹配概率,确定所述第一实时特征点正确匹配的综合概率,包括:
根据Pi=P1iP2i确定所述第一实时特征点正确匹配的综合概率;其中,Pi表示所述第一实时特征点正确匹配的综合概率,P1i表示所述实时特征点的第一匹配概率,P2i表示各个所述第一实时特征点的第二匹配概率。
11.根据权利要求10所述的方法,其特征在于,在所述确定所述第一实时特征点正确匹配的综合概率之后,还包括:
根据所述综合概率,确定所述综合概率大于第二阈值的第二实时特征点,其中,所述第二阈值为大于0并且小于1的值,所述第二实时特征点为至少一个实时特征点;
根据所述第二实时特征点与所述第一实时特征点确定正确匹配比例。
12.根据权利要求11所述的方法,其特征在于,所述根据确定的所述综合概率以及所述第一实时特征点,确定所述实时图像中目标实物相对摄像头的目标姿势模型包括:
根据所述综合概率对所述第一实时特征点和所述第一参考特征点进行排序;
确定排序之后的所述第一实时特征点和所述第一参考特征点中几何位置分布最优的K组匹配特征点,所述几何位置分布最优为确定的所述第一实时特征点或者所述第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
根据确定的所述K组匹配特征点,计算所述实时图像中第一目标相对摄像头的姿势模型,并确定符合所述姿势模型的第一匹配特征点的数目,所述第一目标为所述实时图像中任一目标;
当所述第一匹配特征点的数目大于第三阈值,并且所述第一匹配特征点的数目的比例大于所述正确匹配比例时,确定所述姿势模型为目标姿势模型。
13.一种获取姿势模型的装置,其特征在于,包括:
欧氏距离确定单元,用于根据参考图像以及对所述参考图像进行仿射变换获得的训练图像,确定所述参考图像的参考特征点的SIFT描述符与所述训练图像中所述参考特征点的SIFT描述符的第一欧氏距离,以及根据所述第一欧氏距离确定所述参考特征点的概率分布;
匹配概率确定单元,用于根据获取的实时图像,匹配所述实时图像的实时特征点与所述参考特征点,确定各个所述实时特征点的第一匹配概率以及所述第一匹配概率大于第一阈值的第一实时特征点;
所述匹配概率确定单元,还用于根据所述实时图像,获取所述第一实时特征点的邻域,并计算所述第一实时特征点的SIFT描述符;获取与所述第一实时特征点匹配的参考特征点的SIFT描述符;计算所述第一实时特征点的SIFT描述符与所述第一实时特征点匹配的参考特征点的SIFT描述符的第二欧氏距离,确定第二欧氏距离对应的第二匹配概率;
所述匹配概率确定单元,还用于根据所述第一匹配概率和所述第二匹配概率,计算所述第一实时特征点正确匹配的综合概率;
目标姿势模型确定单元,用于对所述综合概率进行排序,确定排序之后的所述第一实时特征点和所述第一实时特征点匹配的参考特征点中几何位置分布最优的K组匹配特征点;根据确定的所述K组匹配特征点,计算所述实时图像中第一目标相对摄像头的姿势模型,并确定符合姿势模型的第一匹配特征点的数目;当所述第一匹配特征点的数目大于第三阈值,并且所述第一匹配特征点的数目的比例大于正确匹配比例时,确定所述姿势模型为目标姿势模型。
14.根据权利要求13所述的装置,其特征在于,所述欧氏距离确定单元,包括:
仿射变换模块,用于在预设参数范围内,确定随机仿射矩阵;以及根据所述随机仿射矩阵,对所述参考图像进行仿射变换获得至少一幅训练图像。
15.根据权利要求14所述的装置,其特征在于,所述欧氏距离确定单元包括:
第一处理模块,用于获取参考图像,并确定所述参考图像的参考特征点,以及根据所述参考特征点的邻域计算所述参考特征点的SIFT描述符;
第二处理模块,用于根据所述至少一幅训练图像以及根据所述参考特征点的邻域,计算所述至少一幅训练图像的参考特征点的SIFT描述符;
欧氏距离确定模块,用于分别计算所述参考图像的SIFT描述符与所述至少一幅训练图像中每一幅训练图像的SIFT描述符的第一欧氏距离,获得至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离。
16.根据权利要求15所述的装置,其特征在于,所述第一处理模块,包括:
参考图像获取子模块,用于获取参考图像;
金字塔图像获取子模块,用于根据所述参考图像,获取将所述参考图像的分辨率逐步减小而生成的至少一幅参考图像,将所述至少一幅参考图像按照分辨率排序,构造为金字塔图像;
参考特征点获取子模块,用于获取所述金字塔图像的每一层金字塔中的参考特征点。
17.根据权利要求15所述的装置,其特征在于,所述装置还包括:
欧氏距离筛选单元,用于根据所述至少一组所述参考特征点与所述参考特征点对应的第一欧氏距离,确定符合预设特征的目标参考特征点与所述目标参考特征点对应的第一欧氏距离,并将不符合所述预设特征的参考特征点删除;
其中,所述预设特征为各个所述参考特征点对应的所述第一欧氏距离构成的直方图中,主峰明显,以及所述直方图中所述主峰对应的第一欧氏距离大于第三欧式距离的1/2,所述第三欧式距离为所有组的所述参考特征点对应的第一欧氏距离中最大的第一欧氏距离。
18.根据权利要求13所述的装置,其特征在于,所述欧氏距离确定单元包括:
概率分布确定模块,用于根据 F i ( d ) = Pr [ x ≥ d ] 0 ≤ d ≤ d m a x 0.0 d > d m a x 确定目
标参考特征点的概率分布;其中,d表示所述第一欧氏距离,dmax表示预设最大第一欧氏距离。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
目标模型文件确定单元,用于确定由所述目标参考特征点构成的目标对象的目标模型文件,所述目标模型文件包括:所述目标参考特征点在世界坐标系的位置坐标以及所述目标参考特征点所属金字塔的层数;以及确定所述参考特征点时采用的局部特征描述符或者局部特征分类器;以及参考特征点的SIFT描述符;以及所述参考特征点的概率分布。
20.根据权利要求19所述的装置,其特征在于,所述匹配概率确定单元包括:
实时特征点确定模块,用于获取实时图像,并确定所述实时图像的实时特征点;
第一匹配概率确定模块,用于根据所述实时图像以及所述实时特征点,采用所述目标模型文件中的所述局部特征描述符或者局部特征分类器,匹配所述实时图像的实时特征点与所述参考特征点,确定所述实时特征点的第一匹配概率;
第一实时特征点确定模块,用于根据所述第一匹配概率,确定所述第一匹配概率大于第一阈值的第一实时特征点,其中,所述第一阈值为大于0并且小于1的值,所述第一实时特征点为至少一个实时特征点。
21.根据权利要求20所述的装置,其特征在于,所述匹配概率确定单元,还包括:
SIFT描述符确定模块,用于根据所述实时图像中,获取所述第一实时特征点的邻域,并根据所述第一实时特征点的邻域计算所述第一实时特征点的SIFT描述符;
以及获取与所述第一实时特征点匹配的第一参考特征点的SIFT描述符;
第二欧氏距离计算模块,用于计算所述第一实时特征点的SIFT描述符与所述第一参考特征点的SIFT描述符的第二欧氏距离;
第二匹配概率确定模块,用于根据所述参考特征点的概率分布,确定所述第二欧氏距离对应的第二匹配概率,所述第二匹配概率为所述第二欧式距离对应的所述第一实时特征点的匹配概率。
22.根据权利要求21所述的装置,其特征在于,所述匹配概率确定单元,还包括:
综合概率确定模块,用于根据Pi=P1iP2i确定所述第一实时特征点正确匹配的综合概率;其中,Pi表示所述第一实时特征点正确匹配的综合概率,P1i表示所述实时特征点的第一匹配概率,P2i表示各个所述第一实时特征点的第二匹配概率。
23.根据权利要求22所述的装置,其特征在于,所述装置还包括:
第二实时特征确定单元,用于根据所述综合概率,确定所述综合概率大于第二阈值的第二实时特征点,其中,所述第二阈值为大于0并且小于1的值,所述第二实时特征点为至少一个实时特征点;
计算单元,用于根据所述第二实时特征点与所述第一实时特征点确定正确匹配比例。
24.根据权利要求23所述的装置,其特征在于,所述目标姿势模型确定单元包括:
排序模块,用于根据所述综合概率对所述第一实时特征点和所述第一参考特征点进行排序;
匹配特征点确定模块,用于确定排序之后的所述第一实时特征点和所述第一参考特征点中几何位置分布最优的K组匹配特征点,所述几何位置分布最优为确定的所述第一实时特征点或者所述第一参考特征点中任意两点之间的距离大于预设最小像素距离,并且任意三点不共线,K为大于等于3的正整数;
姿势模型确定模块,用于根据确定的所述K组匹配特征点,计算所述实时图像中第一目标相对摄像头的姿势模型,并确定符合所述姿势模型的第一匹配特征点的数目,所述第一目标为所述实时图像中任一目标;
以及当所述第一匹配特征点的数目大于第三阈值,并且所述第一匹配特征点的数目的比例大于所述正确匹配比例时,确定所述姿势模型为目标姿势模型。
CN201210539080.9A 2012-12-13 2012-12-13 一种获取姿势模型的方法及装置 Expired - Fee Related CN103034859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210539080.9A CN103034859B (zh) 2012-12-13 2012-12-13 一种获取姿势模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210539080.9A CN103034859B (zh) 2012-12-13 2012-12-13 一种获取姿势模型的方法及装置

Publications (2)

Publication Number Publication Date
CN103034859A CN103034859A (zh) 2013-04-10
CN103034859B true CN103034859B (zh) 2016-03-30

Family

ID=48021738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210539080.9A Expired - Fee Related CN103034859B (zh) 2012-12-13 2012-12-13 一种获取姿势模型的方法及装置

Country Status (1)

Country Link
CN (1) CN103034859B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574894B (zh) * 2015-12-21 2018-10-16 天津远度科技有限公司 一种运动物体特征点跟踪结果的筛选方法和系统
CN111160165B (zh) * 2019-12-18 2023-12-19 上海达显智能科技有限公司 一种自适应式姿态纠错检测方法及装置
CN111242992B (zh) * 2020-01-13 2023-05-23 洛阳理工学院 一种图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005047A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像配准系统及其方法
CN102208033A (zh) * 2011-07-05 2011-10-05 北京航空航天大学 基于数据聚类的鲁棒sift特征匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160366B2 (en) * 2008-06-20 2012-04-17 Sony Corporation Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005047A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像配准系统及其方法
CN102208033A (zh) * 2011-07-05 2011-10-05 北京航空航天大学 基于数据聚类的鲁棒sift特征匹配方法

Also Published As

Publication number Publication date
CN103034859A (zh) 2013-04-10

Similar Documents

Publication Publication Date Title
Zimmermann et al. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images
Gilani et al. Learning from millions of 3D scans for large-scale 3D face recognition
Aldoma et al. Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation
Revaud et al. Epicflow: Edge-preserving interpolation of correspondences for optical flow
US9330491B2 (en) Context constrained novel view interpolation
Fooladgar et al. Multi-modal attention-based fusion model for semantic segmentation of RGB-depth images
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN106529573A (zh) 一种结合三维点云分割和局部特征匹配的实时物体检测方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
CN107274431A (zh) 视频内容增强方法及装置
CN103578093A (zh) 图像配准方法、装置及增强现实系统
JP4496992B2 (ja) 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体
Li et al. RGBD relocalisation using pairwise geometry and concise key point sets
CN104217459A (zh) 一种球面特征提取方法
CN108960267A (zh) 用于模型调整的系统和方法
Srivastava et al. Deeppoint3d: Learning discriminative local descriptors using deep metric learning on 3d point clouds
CN103034859B (zh) 一种获取姿势模型的方法及装置
Donoser et al. Robust planar target tracking and pose estimation from a single concavity
Stein et al. Towards unsupervised whole-object segmentation: Combining automated matting with boundary detection
CN106934395B (zh) 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
Yu et al. Learning bipartite graph matching for robust visual localization
CN108090914A (zh) 基于统计建模与像素分类的彩色图像分割方法
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160330

Termination date: 20181213