CN105184786A - 一种浮点型三角形特征描述方法 - Google Patents
一种浮点型三角形特征描述方法 Download PDFInfo
- Publication number
- CN105184786A CN105184786A CN201510542180.0A CN201510542180A CN105184786A CN 105184786 A CN105184786 A CN 105184786A CN 201510542180 A CN201510542180 A CN 201510542180A CN 105184786 A CN105184786 A CN 105184786A
- Authority
- CN
- China
- Prior art keywords
- triangle
- prime
- descriptor
- theta
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
一种浮点型三角形特征描述方法,属于计算机视觉领域。以单一的三角形作为一个特征单元,以三角形边角关系结合三角形局部区域信息构建38维特征描述子,包括三角形三边和三角构成的六维形状描述子,以及以三角形质心为中心、以三角形最长边的一定比例为半径所确定正方形区域形成的32维区域描述子。与现有以多个三角形为特征单元但描述信息简单的算法相比,本发明特征描述子维数降低,形状描述子和区域描述子半径具有平移、尺度和旋转不变性,区域描述子中心具有仿射不变性,因此既能显著降低特征描述的复杂度、提升匹配速度,也能提高特征描述的鲁棒性。由于增加了几何约束,本发明的特征点匹配可靠性得到提高。
Description
技术领域
本发明涉及计算机视觉领域,特别是涉及一种浮点型三角形特征描述方法。
背景技术
图像匹配一直是计算机视觉领域的研究热点,其功能是将不同时间、不同角度、不同传感器或者不同拍摄条件下得到的两幅图像进行对应,已在视觉导航、目标识别、定位与跟踪、遥感图像处理、图像检索、立体视觉测距和三维重建等方面得到了广泛应用。
图像匹配可用的特征包括点、线、三角形等不同层次的特征。通过对这些特征进行定量描述,可形成特征描述子;通过度量两幅图像中两个特征描述子之间的距离,可确定这两个特征是否匹配,进而决定两幅图像是否匹配。因此,特征描述是决定图像匹配与否的关键环节。目前,绝大多数图像匹配算法应用的是点特征(如斑点或角点)及其描述,过程如下:首先,对两幅图像进行斑点或角点检测;然后,对特征点进行局部特征描述、建立特征描述子;接着,基于特征描述子对两幅图像的特征点进行匹配量度计算,并与设定的阈值进行比较,获取匹配点对;最后,剔除错误匹配点,得出匹配结果。基于点特征描述的图像匹配方法具有匹配精度高的优势。然而,在实际的图像匹配任务中,一幅图像通常能检测到几千个特征点,而每个特征点的特征描述子可长达128维(如SIFT算法)。由于特征点数目较多,且点特征的描述较为复杂,致使图像匹配速度变慢,达不到实时性要求。为了提高匹配速度,一些学者从缩小特征描述子的长度入手进行了改进。例如,SURF算法将SIFT算法的特征描述子从128维降为64维,其速度较之SIFT算法提升了3倍左右;PCA-SIFT则通过PCA降维技术进行压缩。此外,大多数特征描述方法(如SIFT、SURF等)构建的是浮点型描述子。为了提高速度,近年来一些学者提出了二进制描述子(如ORB、BRISK和FREAK等算法)以简化计算,但匹配精度有所下降。所以本发明采用浮点型特征描述子。
与点特征相比,三角形特征包含三个特征点(即三个顶点),而且在特征点的基础上增加了几何约束。因此,基于三角形进行特征描述与匹配,可提高特征点匹配的可靠性。然而,在现有利用三角形匹配实现特征点匹配的算法中,存在特征单元复杂、特征描述鲁棒性差、匹配速度慢等问题。首先,特征单元复杂的表现为,一个特征单元由多个三角形组成。有的是三角剖分网络中一个节点及其全部相邻节点构成的三角形集合,有的是由一个节点及其最近邻节点组成的三角形链(逆时针或顺时针方向),还有的是共有一个顶点的三角形序列(逆时针方向)。其次,特征描述鲁棒性差的问题表现为,在三角形特征描述中,多数算法主要利用了三角形的边角关系,有些算法还利用了特征点坐标、角度以及类型等信息。这些特征描述信息相对简单,所以鲁棒性较差。最后,由于特征单元复杂(包含多个三角形),现有算法的特征描述过程较为耗时,致使匹配速度变慢。
发明内容
本发明提供了一种新的三角形特征描述方法,提高特征描述的鲁棒性,同时大幅降低特征描述的复杂度,显著提升图像匹配速度,解决现有三角形特征描述过于复杂、鲁棒性差和匹配速度慢的问题。
本发明的技术方案是,以单一的三角形作为一个特征单元,以三角形边角关系结合三角形局部区域信息构建38维特征描述子,包括三角形三边和三角构成的六维形状描述子,以及以三角形质心为中心、以三角形最长边的一定比例为半径所确定正方形区域形成的32维区域描述子。具体步骤如下:
第一步:构建六维形状描述子。六维形状描述子包括三角形的三边和三角。假设一个三角形按逆时针顺序排列的三个顶点为v1、v2、v3,则三角形的三个边长l1,l2,l3同样满足逆时针顺序,且由下式计算得到:
式中dis表示两点间的距离。以三角形最长边为起点,仍按逆时针顺序对三边进行排列,记新得到的三个边长为l1'、l2'、l3',则三角形三边对应的三维特征描述子构建如下:
式中α是一个加权系数。
设与三条边l1'、l2'、l3'相对的三个角分别为θ1、θ2、θ3,这三个内角也满足逆时针排列顺序。应用余弦公式计算三个内角如下:
则三角形三个内角对应的三维特征描述子构建如下:
angleDesc=β[θ1θ2θ3](4)
式中β也是一个加权系数。
至此,一个三角形的六维形状描述子表示如下:
第二步:构建32维区域描述子。
首先,确定三角形局部区域的中心点、描述半径和描述子主方向。其中,中心点选为三角形的质心。设三个顶点的坐标为v1(x1,y1)、v2(x2,y2)、v3(x3,y3),则质心坐标为[(x1+x2+x3)/3,(y1+y2+y3)/3];描述半径选为γl1',γ为比例因子,γ=0.2~0.6,l1'为三角形的最长边;描述子的主方向选为按逆时针顺序的三角形最长边方向。
其次,构建三角形区域描述子。以三角形质心为中心、以γl1'为半径确定正方形区域,正方形的一条对称轴与主方向平行。将该区域等分为四个子区域,分别计算各子区域中每个像素的梯度方向,记录每个像素的梯度值;对于每个子区域中所有像素的梯度值,根据其方向相对于主方向的偏转角进行累积统计。每个子区域有八个方向,四个子区域排列起来共计32维。最后,对32维特征向量进行归一化处理,得到区域描述子如下式所示。
blockDesc=[b1,b2,...,b32](6)
第三步:将三角形的六维形状描述子和32维区域描述子拼接起来,构成38维的三角形特征描述子:
式中,加权系数α和β的选择依据是,保证形状描述子和区域描述子具有相同的权重,具体可选为α=1448,β=461。
需要说明的是,为了进一步提高图像匹配的速度和稳定性,可对特征点和三角形进行选取,规则如下:根据特征点的响应强度,选取数目为200~500的特征点;剔除三角形最长边边长小于设定阈值TH1或大于设定阈值TH2的三角形。其中,TH1取4~5个像素;TH2定义为
式中w和h分别是当前图像的宽和高,R_TH是比例常数,取为20~30;L_TH表示长度阈值,取为20~30。
此外,检验三角形匹配正确性的方法是,提取匹配三角形质心以及顶点的对应关系,使用RANSAC(RANdomSAmpleConsensus)算法对这些对应关系进行验证,进而得到最终的特征点匹配关系。
本发明与现有以多个三角形为特征单元但描述信息简单的算法相比,以一个三角形为特征单元,但在简单的三角形边角关系基础上增加了局部区域信息,且形状描述子和区域描述子半径具有平移、尺度和旋转不变性,区域描述子中心具有仿射不变性,因此既能显著降低特征描述的复杂度、提升匹配速度,也能提高特征描述的鲁棒性。由于特征描述子维数降低,本发明匹配速度大约是SIFT算法的14倍,是SURF算法的4倍。
附图说明
图1是本发明的流程图。
图2(a)为形状描述子的构建示意图。
图2(b)为区域描述子的构建示意图。
具体实施方式
现有两幅待匹配图像,分辨率均为1392×512。采用本发明进行图像匹配的流程如附图1所示。
第一步:输入两幅待匹配图像。
第二步:特征点提取。对两幅待匹配图像使用斑点检测算法或者角点检测算法进行特征点检测。
第三步:特征点选取。根据特征点的响应强度选取500个特征点。
第四步:三角剖分。使用Delaunay三角剖分算法对特征点进行三角剖分处理,分别得到两幅图像的三角形网络。
第五步:三角形选择。剔除三角形网络中三角形最长边边长小于四个像素或大于25个像素的三角形,分别得到两幅图像的三角形特征集合。
第六步:三角形描述。现以附图2中三角形ABC为例说明描述子构建过程:
首先,应用公式(1)计算三角形的三边长,以最长边为起点,按逆时针顺序对三边进行排列,得到l1'、l2'、l3',如图2(a)所示,l=l1'+l2'+l3';采用公式(3)计算l1'、l2'、l3'相对的三个角θ1、θ2、θ3,如图2(a)所示;取α=1448,β=461,得到三角形的六维形状描述子
其次,设三个顶点坐标为A(x1,y1)、B(x2,y2)、C(x3,y3),求取质心D坐标[(x1+x2+x3)/3,(y1+y2+y3)/3];以D为中心,以C→A(附图2(b)中箭头方向)为主方向,以DE=0.5l1'为描述半径确定描述区域;将该区域等分为四个子区域,每个子区域有八个方向,见图2(b),计算32维区域描述子[b1,b2,...,b32]。
最后,将三角形的六维形状描述子和32维区域描述子拼接起来,构成38维的三角形特征描述子
第七步:三角形匹配。通过扫描遍历的方法进行匹配判断。采用SIFT算法的做法,计算最近距离与次近距离的比值,如果该比值小于阈值0.49,则认为具有最近距离的两个三角形之间存在匹配关系。
第八步:错误匹配剔除。提取匹配三角形中心点和顶点之间的对应关系,使用RANSAC算法对这些对应关系进行验证,进而得到特征点之间的匹配关系。
第九步:输出匹配结果。
Claims (5)
1.一种浮点型三角形特征描述方法,其特征在于以下步骤:
第一步:构建六维形状描述子;假设一个三角形按逆时针顺序排列的三个顶点为v1、v2、v3,计算三角形的三个边长l1,l2,l3:
式中dis表示两点间的距离;以三角形最长边为起点,按逆时针顺序对三边进行排列,记新得到的三个边长为l′1、l′2、l′3,l=l′1+l′2+l′3;设与三条边l′1、l′2、l′3相对的三个内角分别为θ1、θ2、θ3,应用余弦公式计算三个内角如下:
则三角形的六维形状描述子获取如下:
式中α、β是加权系数,α和β的选择依据是保证形状描述子和区域描述子具有相同的权重;
第二步:构建32维区域描述子;
首先,确定三角形局部区域的中心点、描述半径和描述子主方向;中心点选为三角形的质心;设三个顶点的坐标为v1(x1,y1)、v2(x2,y2)、v3(x3,y3),则质心坐标为[(x1+x2+x3)/3,(y1+y2+y3)/3];描述半径选为γl′1,γ为比例因子,l′1为三角形的最长边;描述子的主方向选为按逆时针顺序的三角形最长边方向;
其次,构建三角形区域描述子;以三角形质心为中心、以γl′1为半径确定正方形区域,正方形的一条对称轴与主方向平行;将该区域等分为四个子区域,分别计算各子区域中每个像素的梯度方向,记录每个像素的梯度值;对于每个子区域中所有像素的梯度值,根据其方向相对于主方向的偏转角进行累积统计;每个子区域有八个方向,四个子区域排列起来共计32维;最后,对32维特征向量进行归一化处理,得到以下区域描述子:
blockDesc=[b1,b2,...,b32]
第三步:将三角形的六维形状描述子和32维区域描述子拼接起来,构成38维的三角形特征描述子:
提取匹配三角形质心以及顶点的对应关系,使用RANSAC算法对这些对应关系进行验证,得到最终的特征点匹配关系。
2.根据权利要求1所述的一种浮点型三角形特征描述方法,其特征是,α=1448,β=461。
3.根据权利要求1或2所述的一种浮点型三角形特征描述方法,其特征是,描述半径γl′1中,比例因子γ=0.2~0.6。
4.根据权利要求1或2所述的一种浮点型三角形特征描述方法,其特征是,对特征点和三角形进行选取,规则如下:根据特征点的响应强度,选取数目为200~500的特征点;剔除三角形最长边边长小于设定阈值TH1或大于设定阈值TH2的三角形;TH1取4~5个像素,TH2定义为
式中w和h分别是当前图像的宽和高,R_TH是比例常数,取为20~30;L_TH表示长度阈值,取为20~30。
5.根据权利要求3所述的一种浮点型三角形特征描述方法,其特征是,对特征点和三角形进行选取,规则如下:根据特征点的响应强度,选取数目为200~500的特征点;剔除三角形最长边边长小于设定阈值TH1或大于设定阈值TH2的三角形;TH1取4~5个像素,TH2定义为
式中w和h分别是当前图像的宽和高,R_TH是比例常数,取为20~30;L_TH表示长度阈值,取为20~30。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510542180.0A CN105184786B (zh) | 2015-08-28 | 2015-08-28 | 一种浮点型三角形特征描述方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510542180.0A CN105184786B (zh) | 2015-08-28 | 2015-08-28 | 一种浮点型三角形特征描述方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105184786A true CN105184786A (zh) | 2015-12-23 |
CN105184786B CN105184786B (zh) | 2017-10-17 |
Family
ID=54906839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510542180.0A Active CN105184786B (zh) | 2015-08-28 | 2015-08-28 | 一种浮点型三角形特征描述方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105184786B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180447A (zh) * | 2016-03-10 | 2017-09-19 | 珠海金山网络游戏科技有限公司 | 一种获得光照强度的方法及装置 |
CN107229935A (zh) * | 2017-05-16 | 2017-10-03 | 大连理工大学 | 一种三角形特征的二进制描述方法 |
CN107247953A (zh) * | 2017-05-31 | 2017-10-13 | 大连理工大学 | 一种基于边缘率的特征点类型选择方法 |
CN109146972A (zh) * | 2018-08-21 | 2019-01-04 | 南京师范大学镇江创新发展研究院 | 基于快速特征点提取及网格化三角形约束的视觉导航方法 |
CN110111375A (zh) * | 2019-03-29 | 2019-08-09 | 中国地质大学(武汉) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 |
CN111860759A (zh) * | 2019-04-25 | 2020-10-30 | 国际商业机器公司 | 数据的自主修改的方法和系统 |
CN112131971A (zh) * | 2020-09-07 | 2020-12-25 | 大连理工大学 | 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013130469A1 (en) * | 2012-03-02 | 2013-09-06 | Sony Corporation | Automatic image alignment |
CN104050675A (zh) * | 2014-06-30 | 2014-09-17 | 河南理工大学 | 基于三角形描述的特征点匹配方法 |
CN104867126A (zh) * | 2014-02-25 | 2015-08-26 | 西安电子科技大学 | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 |
-
2015
- 2015-08-28 CN CN201510542180.0A patent/CN105184786B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013130469A1 (en) * | 2012-03-02 | 2013-09-06 | Sony Corporation | Automatic image alignment |
CN104867126A (zh) * | 2014-02-25 | 2015-08-26 | 西安电子科技大学 | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 |
CN104050675A (zh) * | 2014-06-30 | 2014-09-17 | 河南理工大学 | 基于三角形描述的特征点匹配方法 |
Non-Patent Citations (1)
Title |
---|
闫自庚 等: "基于SURF特征和Delaunay三角网格的图像匹配", 《自动化学报》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180447A (zh) * | 2016-03-10 | 2017-09-19 | 珠海金山网络游戏科技有限公司 | 一种获得光照强度的方法及装置 |
CN107180447B (zh) * | 2016-03-10 | 2020-12-04 | 珠海金山网络游戏科技有限公司 | 一种获得光照强度的方法及装置 |
CN107229935A (zh) * | 2017-05-16 | 2017-10-03 | 大连理工大学 | 一种三角形特征的二进制描述方法 |
CN107229935B (zh) * | 2017-05-16 | 2020-12-11 | 大连理工大学 | 一种三角形特征的二进制描述方法 |
CN107247953A (zh) * | 2017-05-31 | 2017-10-13 | 大连理工大学 | 一种基于边缘率的特征点类型选择方法 |
CN107247953B (zh) * | 2017-05-31 | 2020-05-19 | 大连理工大学 | 一种基于边缘率的特征点类型选择方法 |
CN109146972A (zh) * | 2018-08-21 | 2019-01-04 | 南京师范大学镇江创新发展研究院 | 基于快速特征点提取及网格化三角形约束的视觉导航方法 |
CN109146972B (zh) * | 2018-08-21 | 2022-04-12 | 南京师范大学镇江创新发展研究院 | 基于快速特征点提取及网格化三角形约束的视觉导航方法 |
CN110111375A (zh) * | 2019-03-29 | 2019-08-09 | 中国地质大学(武汉) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 |
CN110111375B (zh) * | 2019-03-29 | 2021-05-04 | 中国地质大学(武汉) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 |
CN111860759A (zh) * | 2019-04-25 | 2020-10-30 | 国际商业机器公司 | 数据的自主修改的方法和系统 |
CN112131971A (zh) * | 2020-09-07 | 2020-12-25 | 大连理工大学 | 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105184786B (zh) | 2017-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105184786A (zh) | 一种浮点型三角形特征描述方法 | |
Fathi et al. | Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features | |
CN102693542B (zh) | 一种影像特征匹配方法 | |
CN103411553B (zh) | 多线结构光视觉传感器的快速标定方法 | |
CN101216895B (zh) | 一种复杂背景图像中椭圆图像特征的自动提取方法 | |
CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
CN103604417B (zh) | 物方信息约束的多视影像双向匹配策略 | |
CN103714571A (zh) | 一种基于摄影测量的单像机三维重建方法 | |
CN103295239A (zh) | 一种基于平面基准影像的激光点云数据的自动配准方法 | |
CN104463108A (zh) | 一种单目实时目标识别及位姿测量方法 | |
CN103679702A (zh) | 一种基于图像边缘矢量的匹配方法 | |
CN104867126A (zh) | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 | |
CN104034269A (zh) | 一种单目视觉测量方法与装置 | |
CN109117851A (zh) | 一种基于网格统计约束的视频图像匹配方法 | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN109493384A (zh) | 相机位姿估计方法、系统、设备及存储介质 | |
CN102663733B (zh) | 基于特征组对的特征点匹配方法 | |
CN106489062A (zh) | 用于测量移动平台的位移的系统和方法 | |
CN105004337A (zh) | 基于直线匹配的农用无人机自主导航方法 | |
Ma et al. | 3D convolutional auto-encoder based multi-scale feature extraction for point cloud registration | |
CN106886988A (zh) | 一种基于无人机遥感的线性目标检测方法及系统 | |
CN104992431A (zh) | 多光谱图像配准的方法及装置 | |
CN104517280A (zh) | 三维成像方法 | |
US20210272301A1 (en) | Method for processing three-dimensional point cloud data | |
CN104992433A (zh) | 基于线段匹配的多光谱图像配准的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |