CN111223134B - 直线特征的特征向量构建方法、特征匹配方法和计算设备 - Google Patents
直线特征的特征向量构建方法、特征匹配方法和计算设备 Download PDFInfo
- Publication number
- CN111223134B CN111223134B CN202010057823.3A CN202010057823A CN111223134B CN 111223134 B CN111223134 B CN 111223134B CN 202010057823 A CN202010057823 A CN 202010057823A CN 111223134 B CN111223134 B CN 111223134B
- Authority
- CN
- China
- Prior art keywords
- concentric circle
- straight line
- feature
- sub
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000010276 construction Methods 0.000 title claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 86
- 238000012163 sequencing technique Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 8
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 74
- 238000000605 extraction Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种直线特征的特征向量构建方法、特征匹配方法和计算设备，本申请在原始图像上进行降采样与高斯模糊处理建立高斯尺度金字塔，并在各层级图像上提取直线段；将直线段的矩形邻域区域记为支持区域，并建立局部坐标系；根据支持区域内全局的像素灰度值大小顺序将支持区域划分为多个子区域；以子区域中像素点为圆心构造同心圆结构，在圆环上间隔采样像素点，并对该局部的灰度值大小进行排序编码；将灰度值排序编码通过加权直方图的形式构造为特征向量，进行特征向量匹配。通过本申请，提高了处理纹理信息较少的直线特征匹配中准确率和召回率，并对单调光照变化、图像旋转、视角变化、尺度变化、局部遮挡等情况具有较好的鲁棒性。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种直线特征的特征向量构建方法、特征匹配方法和计算设备。
背景技术
图像特征匹配是图像处理领域的重要研究方向，其主要任务是利用图像中提取的显著、独特的特征配准不同拍摄条件下获得的同一场景的两幅或者多幅图像，广泛应用于图像拼接、三维重建、目标识别、位姿估计等计算机视觉与模式识别领域。人造景观如建筑物、工业制造等场景能够提供大量的直线特征，并且图像直线特征相比于点特征能够提供更为直观的几何与结构特征信息。直线特征匹配的难点主要在于提取的直线通常断裂为多个直线段、长度各异、端点提取不准确，以及图像中的光照变化、图像旋转、视角变化、尺度变化和局部遮挡。
目前的直线特征匹配方法主要分为两大类：基于局部纹理的直线匹配方法和基于几何与拓扑信息的直线匹配方法。
文章“MSLD:A robust descriptor for line matching.Pattern Recognition,2009,42(5):941-953”提出了一种利用局部纹理信息构建特征描述的方法，利用直线邻域区域的像素灰度梯度信息进行特征匹配，通过求取灰度梯度的均值、标准差固定描述子的特征向量维数解决直线段长度各异的问题。但由于采用的是固定尺寸的特征提取窗口，并且构建的特征向量需要丰富的纹理信息提供支持，因此无法处理纹理信息较少、尺度变化以及视角变化较大等较为极端的场景。
文章“Robust line matching through line-point invariants.PatternRecognition,2012,45(2):794-805”构建了仿射变换与射影变换下的平面直线-点不变量用于直线匹配。该方法高度依赖于特征点匹配结果建立直线-点不变量，选用不同的特征点匹配方法将得到不同的直线特征匹配结果，但匹配的召回率通常偏低,并且不适用于特征点稀少的场景。
文章“Hierarchical line matching based on Line-Junction-Line structuredescriptor and local homography estimation.Neurocomputing,2016,207-220”提出了一种多直线结构进行直线匹配的方法，并假设形成该结构的两条相邻直线及其交点在空间中共面。通过建立灰度梯度方向直方图对该结构的邻域纹理信息进行描述，实现两两直线同时匹配，在光照变化、图像旋转、视角变化场景能得到较高的准确率和召回率。但在纹理信息较少的场景下无法获得足够稳定可靠的灰度梯度信息。
从以上分析可以看出，基于图像灰度梯度的方法在直线特征匹配领域得到广泛应用，但在局部纹理信息不足的情况下无法提供足够显著、独特的特征信息，并且需要额外考虑尺度变化、视角变化等场景。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种直线特征的特征向量构建方法、特征匹配方法和计算设备。
第一方面，本申请提供了一种直线特征的特征向量构建方法，包括：建立目标图像的高斯尺度金字塔，在所述高斯尺度金字塔中各个层级图像上提取直线段，得到多组同名直线段；以及，在所述高斯尺度金字塔中各个层级图像上，对每组所述同名直线段，确定该组同名直线段中各个直线段的特征向量，将其作为所述目标图像上对应直线段的特征向量；其中，确定每个直线段的特征向量包括：在直线段对应层级的图像上，以该直线段为中心的矩形邻域为支持区域；按照该支持区域内像素点的灰度值大小顺序，将该支持区域划分为多个子区域；以及，确定每个子区域对应的特征向量，将该支持区域内所有子区域对应的排序编码拼接形成该直线段的特征向量；其中，对于各个子区域，确定子区域对应的特征向量包括：根据该直线段两侧邻域的平均灰度梯度方向，建立该直线段对应的局部坐标系；对子区域内的各个像素点，在该局部坐标系下，构造每个像素点的同心圆；在每个同心圆上均匀采样，得到每个同心圆上的多个采样点；通过双线性插值方法得到采样点的灰度值；对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法确定该子区域内该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量；以及，将各个同心圆半径对应的特征向量拼接形成该子区域对应的特征向量。
在某些实施例中，在加权统计直方图方法中，以像素点到直线段的距离确定该像素点在加权统计直方图中的权重，其中，像素点的权重与该像素点到直线段的距离负相关。
在某些实施例中，按照该支持区域内像素点的灰度值大小顺序，将该支持区域划分为多个子区域，包括：按照该支持区域内像素点的灰度值大小顺序，将该支持区域内像素点平均划分为多个组，每个组内的像素点作为一个子区域，得到该支持区域对应的多个子区域。
在某些实施例中，对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法，确定该子区域内该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量，包括：对每个同心圆，按照同心圆上的采样点的灰度值进行灰度值排序编码，得到每个同心圆对应的排序编码；对子区域内各个同心圆半径的同心圆，基于同一同心圆半径中每个同心圆对应的排序编码，通过加权统计直方图方法，确定该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
在某些实施例中，对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法，确定该该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量，包括：对每个同心圆，将同心圆上的采样点按在同心圆上的位置均匀划分为多个采样点集，其中，每个采样点集中的采样点数量相同；对于同一同心圆半径的同心圆上同一位置的采样点集，以采样点集为单位建立索引表进行灰度值排序编码，得到该位置的采样点集对应的排序编码，通过加权统计直方图方法确定该位置的采样点集对应的特征向量，得到该同心圆半径的同心圆上的多个位置对应的特征向量；将同一同心圆半径的同心圆上各个位置的采样点集对应的特征向量拼接，形成该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
在某些实施例中，以像素点到直线段的距离确定该像素点在加权统计直方图中的权重，包括：按照以下方式确定像素点的权重：
在某些实施例中，支持区域的宽为直线段的长度，支持区域的长为预设值。
第二方面，本申请提供了一种直线特征匹配方法，包括：根据本申请任意直线特征的特征向量构建方法，确定第一图像和第二图像的直线特征的特征向量，其中，直线特征的特征向量为同名直线段中各个直线段的特征向量；基于最近邻次近邻距离比值策略进行特征匹配，得到候选匹配对，其中，将欧氏距离最小值作为两组同名直线段之间的相似度度量。
在某些实施例中，直线特征匹配方法还包括：基于随机抽样一致算法估计基本矩阵，剔除错误的直线匹配对，得到最终匹配对。
第三方面，本申请提供了一种计算设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；计算机程序被所述处理器执行时实现本申请的直线特征匹配方法的步骤。
第四方面，本申请提供了一种计算设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；计算机程序被所述处理器执行时实现本申请的直线特征的特征向量构建方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，能够在图像纹理信息较少的直线特征匹配任务中获得较高的准确率和召回率，同时多尺度直线段提取能够有效应对尺度变化的情况，局部坐标系的建立使得直线特征向量具有旋转不变性。支持区域与子区域中像素点灰度值排序的特征向量构造方式，能够适应单调光照变化场景，并且固定了不同长度直线段的特征向量维数，对视角变化、局部遮挡等有较好的鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的直线特征的特征向量构建方法一种实施方式的流程图；
图2为本申请实施例中确定每个直线段的特征向量的方法的流程图；
图3为本申请实施例中确定子区域对应的排序编码的方法的流程图；
图4为本申请实施例中直线特征匹配方法一种实施方式的流程图；
图5为本申请实施例中计算设备一种实施方式的硬件示意图；
图6为本申请实施例中直线特征匹配方法一个示例的流程图；
图7为本申请实施例中在高斯尺度金字塔各层级图像上提取同名直线示意图；
图8为本申请实施例中在直线支持区域建立局部坐标系示意图；
图9为本申请实施例中根据全局灰度值大小划分子区域示意图；
图10为本申请实施例中同心圆结构示意图；
图11为本申请实施例中在同心圆结构上间隔采样示意图；
图12为本申请实施例中在测试数据集上的准确率图；
图13为本申请实施例中在测试数据集上的召回率图；
图14为本申请实施例中在测试数据集上的F1值图；以及
图15为本申请实施例中匹配结果图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
图1为本申请实施例提供的直线特征的特征向量构建方法一种实施方式的流程图，如图1所示，该方法步骤S102至步骤S104。
步骤S102，建立目标图像的高斯尺度金字塔，在该高斯尺度金字塔中各个层级图像上提取直线段，得到多组同名直线段。
在步骤S102中，在目标图像的原始图像基础上进行降采样与高斯模糊处理得到高斯尺度金字塔。高斯尺度金字塔包含多个层级的图像，包括目标图像的原始图像和多尺度图像，形成目标图像对应的多个尺度的图像。
在高斯尺度金字塔各层级图像上提取直线段，高斯尺度金字塔中每个图像上提取出多个直线段，得到多尺度直线段。作为示例性说明，将提取的多尺度直线段根据各层级的尺度因子映射到原始图像的尺度空间，将相互近似平行且端点位置相近的多尺度直线段视为同名直线段，即在原始图像中认为是同一条直线段。由此得到目标图像上对应的多组同名直线段。
步骤S104，在高斯尺度金字塔中各个层级图像上，对每组同名直线段，确定该组同名直线段中各个直线段的特征向量，将其作为目标图像上对应直线段的特征向量。
在步骤S104中，一组同名直线段中包含多个直线段，在直线段对应的图像上，确定该直线段的特征向量，由此得到原始图像上直线段在多个尺度下的特征向量。对于一组同名直线段中的直线段，原始图像上的直线段在原始图像上确定其特征向量，第K层级上的直线段在第K层级的图像上确定其特征向量，由此得到该组同名直线段的特征向量。其中，该组同名直线段的特征向量由其包含的直线段的特征向量组成。
在本申请实施例中，将原始图像上直线段对应的同名直线段的特征向量，作为原始图像上直线段的特征向量，由此原始图像上的直线段包含多个尺度的特征向量。在本申请实施例中，作为一个示例，将目标图像上直线段的特征向量表示为Do＝{D1,D2,...,Dk}，其中，D1,D2,...,Dk为该直线段在各层级图像上对应直线段的特征向量，k为高斯尺度金字塔的层数，其中，原始图像标记为第1层。
本申请实施例中，提供了构建一组同名直线段中每个直线段的特征向量的方法。图2为本申请实施例中确定每个直线段的特征向量的方法的流程图，如图2所示，步骤S104中确定每个直线段的特征向量包括步骤S202至步骤S206。
步骤S202，在直线段对应层级的图像上，以该直线段为中心的矩形邻域为支持区域。
在步骤S202中，支持区域的宽为直线段的长度，支持区域的长可为预设值。
步骤S204，按照该支持区域内像素点的灰度值大小顺序，将该支持区域划分为多个子区域。
在某些实施例中，步骤S204中，按照该支持区域内像素点的灰度值大小顺序，将该支持区域内像素点平均划分为多个组，每个组内的像素点作为一个子区域，得到该支持区域对应的多个子区域。
在本申请实施例中，多个子区域由像素点的灰度值排序和分组形成，因此子区域一般为不规则区域。
步骤S206，确定每个子区域对应的特征向量，将该支持区域内所有子区域对应的特征向量拼接形成该直线段的特征向量。
在步骤S206中，对每个子区域按照子区域内像素点的灰度值，进行灰度值排序编码，得到子区域对应的特征向量。将支持区域中多个子区域对应的特征向量拼接，形成支持区域对应的特征向量，即支持区域对应的直线段的特征向量。
在步骤S206中，根据支持区域对应的直线段两侧邻域的平均灰度梯度方向，建立该直线段对应的局部坐标系。在该局部坐标系下，确定每个子区域对应的特征向量。
在本申请实施例中，作为示例性说明，将支持区域对应的直线段的特征向量(即前述的D1,D2,...,Dk)表示为D＝[H1,H2,...,HS]，其中，H1,H2,...,HS为子区域1至s对应的特征向量。
在本申请实施例中，提供了确定每个子区域对应的特征向量的方法。图3为本申请实施例中确定子区域对应的特征向量的方法的流程图，如图3所示，步骤S206中，对于各个子区域，确定子区域对应的特征向量包括步骤S302至步骤S312。
步骤S302，根据直线段两侧邻域的平均灰度梯度方向，建立该直线段对应的局部坐标系。
步骤S304，对子区域内的各个像素点，在该局部坐标系下，构造每个像素点的同心圆。
在步骤S304中，对于子区域内的每个像素点，以像素点为圆心，以R＝{Rj:j∈[1,r]}为半径，构建r个同心圆，其中Rj表示第j个同心圆的半径，r为每个像素点对应同心圆的数量。每个像素点包含r个同心圆。以P个像素点为例，同一同心圆半径包含P个同心圆，每个同心圆对应于一个像素点。
步骤S306，在每个同心圆上均匀采样，得到每个同心圆上的多个采样点。
在步骤S306中，每个同心圆上采样N个点，每个像素点包含r*N个采样点。子区域内，同一同心圆半径包括P个同心圆，每个同心圆上包括N个采样点，同一同心圆半径包括P*N个采样点。
步骤S308，通过双线性插值方法得到采样点的灰度值。
步骤S310，对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法，确定该子区域内该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
在某些实施例中，在步骤S310中，以像素点到直线段的距离确定该像素点在加权统计直方图中的权重，其中，像素点的权重与该像素点到直线段的距离负相关。
在某些实施例中，以像素点到直线段的距离确定该像素点在加权统计直方图中的权重，包括：按照以下方式确定像素点的权重：
在某些实施例中，步骤S310中，对每个同心圆，按照同心圆上的采样点的灰度值进行灰度值排序编码，得到每个同心圆对应的排序编码；对子区域内各个同心圆半径的同心圆，基于同一同心圆半径中每个同心圆对应的排序编码，通过加权统计直方图方法，确定该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
在本申请实施例中，在加权统计直方图方法中，统计排序编码出现的次数，根据排序编码出现的次数构造特征向量。加权统计直方图方法构造特征向量可参见公知技术。为了便于理解，下面对其作示例性说明。例如，像素点的一个同心圆包括3个采样点，按照灰度值排序包括3！，即6种情况，建立索引表如下：
| 索引值 | 排序编码 |
| 1# | 123 |
| 2# | 132 |
| 3# | 213 |
| 4# | 231 |
| 5# | 312 |
| 6# | 321 |
在加权统计直方图方法中，特征向量H的初始值为[0,0,0,0,0,0]。统计同一同心圆半径下的P(子区域内像素点的个数)个同心圆对应的排序编码出现的次数(假设权重为1)，当排序编码“213”(索引值为3#)出现一次时，H变为[0,0,1,0,0,0]。在统计同一同心圆半径下的P个同心圆对应的P个排序编码后，作为示例性说明，得到H为[5,1,1,6,10,2]。其中，同一同心圆半径下所有像素点的同心圆采用相同的索引表。
在该实施例中，例如，一个同心圆包含4个采样点，对应包含24(即4！)种排序，索引表长度为24，特征向量H的维数为24。
在某些实施例中，为了减小索引表的长度，并且降低后续构造的特征向量维数，在步骤S310中，对每个同心圆，将同心圆上的采样点按在同心圆上的位置均匀划分为多个采样点集，其中，每个采样点集中的采样点数量相同；对于同一同心圆半径的同心圆上同一位置的采样点集，以采样点集为单位建立索引表进行灰度值排序编码，得到该位置的采样点集对应的排序编码，通过加权统计直方图方法确定该位置的采样点集对应的特征向量，得到该同心圆半径的同心圆上的多个位置对应的特征向量；将同一同心圆半径的同心圆上各个位置的采样点集对应的特征向量拼接，形成该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
在该实施例中，例如，一个同心圆包含4个采样点，将4个采样点分为2个采样点集，每个采样点集包含2个采样点，每个采样点集对应包含2种排序，索引表长度为2。两个采样点集合并后的特征向量H的维数为4。
在该实施例中，示例性说明，一个子区域包含P个像素点，每个像素点包含r个同心圆，每个同心圆上包含4N个采样点。对于每个像素点的每个同心圆，按照同心圆顺时针方向，将4N个采样点均匀划分为4个采样点集，每个采样点集包含N个采样点，每个采样点集对应于同心圆上的一个位置。例如，一个圆上按顺序有12345678个点，分为4个点集，可分成15、26、37、48这4个点集。对于同一同心圆半径，在一个位置上包含P(像素点的个数)个采样点集，采样点集中包含N个采样点。对同一同心圆半径，以一个位置的采样点集为单位建立索引表(索引表长度为N！，其中“！”为阶乘运算)进行排序编码，并通过统计直方图方法确定该同心圆半径上该位置对应的特征向量(特征向量的维数为N！)。同一同心圆半径包括4个位置，可得到4个位置对应的特征向量。将这4个特征向量拼接形成该同心圆半径的特征向量(特征向量的维数为4*N！)。按照同样的方法得到其他同心圆半径的特征向量。
步骤S312，将各个同心圆半径对应的特征向量拼接形成该子区域对应的特征向量。
在本申请实施例中，提供了一种基于本申请实施例的特征向量构建方法的直线特征匹配方法。
图4为本申请实施例中直线特征匹配方法一种实施方式的流程图，如图4所示，该方法包括步骤S402至步骤S406。
步骤S402，确定第一图像和第二图像的直线特征的特征向量，其中，直线特征的特征向量为同名直线段中各个直线段的特征向量。
在步骤S402中，第一图像为参考图，第二图像为待匹配图像。
步骤S404，基于最近邻次近邻距离比值(NNDR)策略进行特征匹配，得到候选匹配对，其中，将欧氏距离最小值作为两组同名直线段之间的相似度度量。
在某些实施例中，上述直线特征匹配方法还包括：步骤S406，基于随机抽样一致算法(RANSAC)估计基本矩阵，剔除错误的直线匹配对，得到最终匹配对。
本实施例还提供一种计算设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图5所示，本实施例的计算设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21和处理器22。需要指出的是，图5仅示出了具有组件21-22的计算设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算设备20的操作系统和各类应用软件，例如本申请实施例的特征向量构建方法、或直线特征匹配方法的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如特征向量构建方法、或直线特征匹配方法的程序代码，以实现特征向量构建方法、或直线特征匹配方法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储特征向量构建方法、或直线特征匹配方法的程序代码，被处理器执行时实现特征向量构建方法、或直线特征匹配方法。
下面对本申请实施例的一个可选实施方式进行描述。
如图6所示，该方法包括步骤S602至步骤S616。
步骤S602，在原始图像上建立高斯尺度金字塔，在各个层级图像上使用现有直线提取算法提取直线段。
在原始图像的基础上进行降采样与高斯模糊处理得到高斯尺度金字塔。如图7所示，使用现有直线提取算法在各个层级图像上提取直线段，将提取的多尺度直线段根据各层级的尺度因子映射到原始图像的尺度空间，其中相互近似平行且端点位置相近的多尺度直线段视为同名直线段，即在原始图像中认为是同一条直线段。
步骤S604，将提取的直线段邻域的矩形区域记为支持区域，以直线段两侧的平均灰度梯度方向为依据建立局部坐标系。
如图8所示，以提取的直线段L为中心，直线段长度为宽，划出矩形区域记为该直线段的支持区域。计算直线段两侧邻域的平均灰度梯度方向记为d⊥，逆时针取与d⊥正交的方向记为dL，以此建立直线段L的局部坐标系。
步骤S606，将直线段的支持区域内全局像素灰度值进行排序，划分为多个子区域。
对直线段的支持区域内的n个像素点P＝{p1,p2,...,pn}，对应的灰度值记为I＝{I(p1),I(p2),...,I(pn)}。按照灰度值升序重新排列这n个像素点，得到新的灰度值序列记为：
其中f(1),f(2),...f(n)是1,2,...,n的一个排列。将新的灰度值序列
平均划分为m组，对应的像素点p(x)则被划分至子区域S，记为：
如图9所示，根据全局灰度值大小将直线段支持区域自适应地划分成了多个不规则的子区域，在图9中(b)由不同灰度区域表示。
步骤S608，以子区域中的像素点为圆心构造同心圆结构，在同心圆的圆环上间隔采样，对采样点灰度值大小进行排序编码。
如图10所示，在建立的局部坐标系下，取子区域中的像素点x，以x为圆心R＝{Rj:j∈[1,r]}为半径构造r个同心圆。在同心圆圆环上均匀采样，得到N个采样点记为
其中i∈[1,N],j∈[1,r]。利用双线性插值得到这些采样点的灰度值记为
按照灰度值升序重新排列这N个采样点，得到新的灰度值序列记为：
其中f(1),f(2),...f(N)是1,2,...,N的一个排列。所有可能的排列数为N！，建立索引表将新的灰度值序列映射到对应的编码η。
为了减小索引表的长度，并且降低后续构造的特征向量维数，在每个圆环上均匀采样时采用间隔采样的方式，将N个采样点划分为v个点集，每个集合内包括u个采样点，即满足N＝u·v。如图11所示，在以R＝{Rj:j∈[1,r]}为半径的同心圆上间隔采样得到如下点集：
然后以点集为单位建立索引表，进行灰度值排序编码。
步骤S610，建立加权统计直方图，统计局部采样点的排序编码值。
以子区域中像素点x到中心直线段l的距离d为权重
对应圆环采样点序列的编码值η为分组编号建立加权统计直方图，统计子区域中像素点邻域局部采样点的排序编码值。具体地，对于第S个子区域中所有位于第r个圆环上第v个点集的采样点，基于采样点序列的编码值η和权重gd在统计直方图上投票，记为
步骤S612，拼接所有子区域的加权统计直方图，归一化形成特征向量。
将所有子区域的加权统计直方图拼接在一起形成一个特征向量D，进行向量归一化处理得到最终的特征描述向量：
D＝[H1,H2,...,HS]；
步骤S614，计算两两直线特征向量间的欧氏距离，采用最近邻次近邻距离比值(NNDR)策略匹配得到候选匹配对。
其中，计算参考图像中一组同名直线段的特征向量Dref＝{D1,D2,...,Dscale}，将其与待匹配图像中的另一组同名直线段特征向量Dtest＝{D′1,D′2,...,D′scale}的欧氏距离最小值min(dist(Dref,Dtest))作为两组同名直线间的相似度度量，采用最近邻次近邻距离比值(NNDR)策略进行特征匹配，得到候选匹配对。
步骤S616，基于RANSAC策略估计基本矩阵，剔除错误的直线匹配对，得到最终结果。
计算候选匹配对中两两直线的交点，采用8点法和RANSAC策略估计基本矩阵，剔除异常交点，修正得到最终的直线匹配结果。
实验数据
采用一组在直线特征匹配方法中广泛使用的测试数据集，包含了纹理稀少、光照变化、图像旋转、尺度变化、视角变化、局部遮挡等挑战因素。所有的实验在一台CPU为Inteli7-8565U(1.8GHz)，RAM为16GB的便携式计算机上进行。
采用准确率(正确匹配数量与获得的所有匹配数量之比)、召回率(正确匹配数量与真值数量之比)以及F1值(准确率与召回率的调和平均值)进行有效性评价。
将本申请方法与较新的2种方法比较(MSLD算法、LPI算法)。图12展示了算法准确率，图13展示了算法召回率，图14展示了算法F1值。综合考虑3个评价指标，结果表明本实施例的结果最好。
为了直观表明本方法的匹配结果，选取了5对图像(lowTexture,leuven,outdoor_rotation,shop_scale,occlusion)，图15展示了本方法在这些图像上的匹配结果，结果显示，本申请方法能够很好的应对纹理信息较少、单调光照变化、图像旋转、视角变化、尺度变化、局部遮挡等情况。
基于以上描述可知，通过本申请实施例提供的该方法，能够在图像纹理信息较少的直线特征匹配任务中获得较高的准确率和召回率，同时多尺度直线段提取能够有效应对尺度变化的情况，局部坐标系的建立使得直线特征向量具有旋转不变性。支持区域与子区域中像素点灰度值排序的特征向量构造方式，能够适应单调光照变化场景，并且固定了不同长度直线段的特征向量维数，对视角变化、局部遮挡等有较好的鲁棒性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。
Claims (10)
1.一种直线特征的特征向量构建方法，其特征在于，包括：
建立目标图像的高斯尺度金字塔，在所述高斯尺度金字塔中各个层级图像上提取直线段，得到多组同名直线段；以及
在所述高斯尺度金字塔中各个层级图像上，对每组所述同名直线段，确定该组同名直线段中各个直线段的特征向量，将其作为所述目标图像上对应直线段的特征向量；
其中，确定每个直线段的特征向量包括：
在直线段对应层级的图像上，以该直线段为中心的矩形邻域为支持区域；
按照该支持区域内像素点的灰度值大小顺序，将该支持区域划分为多个子区域；以及
确定每个子区域对应的特征向量，将该支持区域内所有子区域对应的特征向量拼接形成该直线段的特征向量；
其中，对于各个子区域，确定子区域对应的特征向量包括：
根据该直线段两侧邻域的平均灰度梯度方向，建立该直线段对应的局部坐标系；
对子区域内的各个像素点，在该局部坐标系下，构造每个像素点的同心圆；
在每个同心圆上均匀采样，得到每个同心圆上的多个采样点；
通过双线性插值方法得到采样点的灰度值；
对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法确定该子区域内该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量；以及
将各个同心圆半径对应的特征向量拼接形成该子区域对应的特征向量。
2.根据权利要求1所述的直线特征的特征向量构建方法，其特征在于，在所述加权统计直方图方法中，以像素点到直线段的距离确定该像素点在加权统计直方图中的权重，其中，像素点的权重与该像素点到直线段的距离负相关。
3.根据权利要求1所述的直线特征的特征向量构建方法，其特征在于，按照该支持区域内像素点的灰度值大小顺序，将该支持区域划分为多个子区域，包括：
按照该支持区域内像素点的灰度值大小顺序，将该支持区域内像素点平均划分为多个组，每个组内的像素点作为一个子区域，得到该支持区域对应的多个子区域。
4.根据权利要求2所述的直线特征的特征向量构建方法，其特征在于，以像素点到直线段的距离确定该像素点在加权统计直方图中的权重，包括：按照以下方式确定像素点的权重：
其中，gd为像素点的权重，d为像素点到直线段的距离，σ为标准差。
5.根据权利要求1至4中任一项所述的直线特征的特征向量构建方法，其特征在于，对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法确定该子区域内该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量，包括：
对每个同心圆，按照同心圆上的采样点的灰度值进行灰度值排序编码，得到每个同心圆对应的排序编码；
对子区域内各个同心圆半径的同心圆，基于同一同心圆半径中每个同心圆对应的排序编码，通过加权统计直方图方法，确定该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
6.根据权利要求1至4中任一项所述的直线特征的特征向量构建方法，其特征在于，对该子区域内各个同心圆半径的同心圆，按照灰度值对同一同心圆半径上的采样点进行排序编码，通过加权统计直方图方法确定该子区域内该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量，包括：
对每个同心圆，将同心圆上的采样点按在同心圆上的位置均匀划分为多个采样点集，其中，每个采样点集中的采样点数量相同；
对于同一同心圆半径的同心圆上同一位置的采样点集，以采样点集为单位建立索引表进行灰度值排序编码，得到该位置的采样点集对应的排序编码，通过加权统计直方图方法确定该位置的采样点集对应的特征向量，得到该同心圆半径的同心圆上的多个位置对应的特征向量；
将同一同心圆半径的同心圆上各个位置的采样点集对应的特征向量拼接，形成该同心圆半径对应的特征向量，得到各个同心圆半径对应的特征向量。
7.根据权利要求1至4中任一项所述的直线特征的特征向量构建方法，其特征在于，所述支持区域的宽为直线段的长度，所述支持区域的长为预设值。
8.一种直线特征匹配方法，其特征在于，包括：
根据权利要求1至7中任一项所述的直线特征的特征向量构建方法，确定第一图像和第二图像的直线特征的特征向量，其中，直线特征的特征向量为同名直线段中各个直线段的特征向量；
基于最近邻次近邻距离比值策略进行特征匹配，得到候选匹配对，其中，将欧氏距离最小值作为两组同名直线段之间的相似度度量。
9.根据权利要求8所述的直线特征匹配方法，其特征在于，还包括：基于随机抽样一致算法估计基本矩阵，剔除错误的直线匹配对，得到最终匹配对。
10.一种计算设备，其特征在于，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010057823.3A CN111223134B (zh) | 2020-01-19 | 2020-01-19 | 直线特征的特征向量构建方法、特征匹配方法和计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010057823.3A CN111223134B (zh) | 2020-01-19 | 2020-01-19 | 直线特征的特征向量构建方法、特征匹配方法和计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111223134A CN111223134A (zh) | 2020-06-02 |
| CN111223134B true CN111223134B (zh) | 2023-04-14 |
Family
ID=70831843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010057823.3A Active CN111223134B (zh) | 2020-01-19 | 2020-01-19 | 直线特征的特征向量构建方法、特征匹配方法和计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223134B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000082075A (ja) * | 1998-06-24 | 2000-03-21 | Nippon Telegr & Teleph Corp <Ntt> | 直線による画像の検索装置，検索方法およびそのプログラム記録媒体 |
| CN103383733A (zh) * | 2013-05-16 | 2013-11-06 | 浙江智尔信息技术有限公司 | 一种基于半机器学习的车道视频检测方法 |
| CN105678733A (zh) * | 2014-11-21 | 2016-06-15 | 中国科学院沈阳自动化研究所 | 一种基于直线段上下文的红外与可见光异源图像匹配方法 |
| WO2019237520A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 一种图像匹配方法、装置、计算机设备及存储介质 |
-
2020
- 2020-01-19 CN CN202010057823.3A patent/CN111223134B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000082075A (ja) * | 1998-06-24 | 2000-03-21 | Nippon Telegr & Teleph Corp <Ntt> | 直線による画像の検索装置，検索方法およびそのプログラム記録媒体 |
| CN103383733A (zh) * | 2013-05-16 | 2013-11-06 | 浙江智尔信息技术有限公司 | 一种基于半机器学习的车道视频检测方法 |
| CN105678733A (zh) * | 2014-11-21 | 2016-06-15 | 中国科学院沈阳自动化研究所 | 一种基于直线段上下文的红外与可见光异源图像匹配方法 |
| WO2019237520A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 一种图像匹配方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Kai Li等.Hierarchical line matching based on Line–Junction–Line structure descriptor and local homography estimation.《Neurocomputing》.2016,第1-14页. * |
| 朱世昕等.基于半直接方法的序列影像直线特征跟踪匹配算法.《计算机科学》.2019,第270-273页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111223134A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299720B (zh) | 一种基于轮廓片段空间关系的目标识别方法 | |
| CN110738236B (zh) | 图像匹配方法、装置、计算机设备及存储介质 | |
| CN101650784B (zh) | 一种利用结构上下文特征进行图像匹配的方法 | |
| CN110766708B (zh) | 基于轮廓相似度的图像比较方法 | |
| CN112699775A (zh) | 基于深度学习的证件识别方法、装置、设备及存储介质 | |
| CN110942076B (zh) | 一种陶瓷产品防伪标识生成方法及系统 | |
| CN110443242B (zh) | 读数框检测方法、目标识别模型训练方法及相关装置 | |
| CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
| CN114743189A (zh) | 指针式仪表读数识别方法、装置、电子设备及存储介质 | |
| US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
| CN116188756A (zh) | 一种基于深度学习的仪表角度校正与示数识别方法 | |
| CN108960246B (zh) | 一种用于图像识别的二值化处理装置及方法 | |
| CN113761262A (zh) | 图像的检索类别确定方法、系统以及图像检索方法 | |
| CN111223134B (zh) | 直线特征的特征向量构建方法、特征匹配方法和计算设备 | |
| CN115438682B (zh) | 用于确定解码方向的方法、装置及解码设备 | |
| CN108304838B (zh) | 一种图片信息识别方法及终端 | |
| CN111695441B (zh) | 图像文档处理方法、装置及计算机可读存储介质 | |
| CN112699898B (zh) | 一种基于多层特征融合的图像方向识别方法 | |
| CN111931786B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN111275693B (zh) | 一种图像中物体的计数方法、计数装置及可读存储介质 | |
| CN113051901A (zh) | 一种身份证文本识别方法、系统、介质及电子终端 | |
| CN113761169A (zh) | 一种价格识别方法和装置 | |
| CN112287763A (zh) | 图像处理方法、装置、设备及介质 | |
| CN111753723A (zh) | 一种基于密度校准的指纹识别方法及装置 | |
| CN112507921B (zh) | 基于目标区域的图形搜索方法、系统、电子装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |