CN109829502A - 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 - Google Patents
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 Download PDFInfo
- Publication number
- CN109829502A CN109829502A CN201910105678.9A CN201910105678A CN109829502A CN 109829502 A CN109829502 A CN 109829502A CN 201910105678 A CN201910105678 A CN 201910105678A CN 109829502 A CN109829502 A CN 109829502A
- Authority
- CN
- China
- Prior art keywords
- point
- matching
- neighborhood
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，通过降采样待匹配像对，获得稀疏匹配点集，而后随机抽样一致方法剔除匹配点集中的外点，再利用上一步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域，提取内点所在邻域的HOG描述符，并对其进行卷积得到分数矩阵，最后通过归一化后的分数矩阵筛选出新增匹配点集的相对坐标，并将其还原为匹配像对上的绝对坐标来达到稠密匹配的目的：通过该方法能够获得更为稠密的匹配点，对比DM的算法，使得数据上的查准率平均提升近十个百分点，时间效率提升近三十个百分点，空间效率提升近二十五个百分点，继而降低了处理图像时的时间和空间资源的消耗。
Description
技术领域
本发明属于信号处理技术领域，具体涉及面向重复纹理及非刚性形变的像对高效稠密匹配方法。
背景技术
像对间的稠密匹配算法旨在寻找两幅图片之间的共同视觉信息，尽可能多的建立像素点之间的对应关系，是计算机视觉领域的研究热点之一，也是是后续高级图像处理的基础。
现有的这些方法都依赖于从粗到精的方案，部分细节在粗尺度上丢失，造成许多特征无法被检测到。由于这些未检测到的特征对应于局部极小值，因此无法在更高层次被恢复并在各层次上传播。
其中DeepMatching算法虽然通过金字塔结构提高了匹配结果的鲁棒性，较好地解决了非刚体与重复纹理的稠密匹配问题，但由于其采用自下而上的金字塔结构和自上而下的回溯处理方式，不仅会对过程中的误差累积降低查准率，而且会对算法的时间和空间效率产生严重影响，且随着图像尺寸的增加，时空资源的使用情况亦呈指数形式增加，降低了该方法的实用性。
发明内容
为了解决现有技术存在的问题,本发明提供面向重复纹理及非刚性形变的像对高效稠密匹配方法，本发明能够较好地解决摄影基线过宽，重复纹理以及非刚性形变条件下像对匹配的问题，具备较高的查准率与时空效率，技术方案如下：
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步：降采样待匹配像对，在低分辨率空间下通过DeepMatching算法获得稀疏匹配点集；
第二步：采用随机抽样一致方法剔除第一步中获得的稀疏匹配点集中的外点；
第三步：利用第二步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域；
第四步：根据第三步中获得的邻域，提取内点所在邻域的HOG描述符；
第五步：对第四步中获得的描述符进行卷积得到分数矩阵；
第六步：对第五步中得到的分数矩阵进行归一化，继而筛选出新增匹配点集的相对坐标；
第七步：将第六步中获得相对坐标还原为匹配像对上的绝对坐标来达到稠密匹配的目的。
第一步的操作方法为，引入降采样因子α，加快获得大尺寸像对的稠密匹配结果，并根据其取值对待匹配图像I和目标匹配图像I'进行降采样，而后通过DeepMatching算法获得像对降采样后的稀疏匹配点集S＝{p,p',s}，其中I中的特征点p与I'中的特征点p'构成一对配点，s是匹配点之间的相似度分数。
第二步的操作方法为，通过RANSAC算法将DeepMatching匹配后获得的点集S内存在的错误点进行剔除。
第三步的处理方法为：3.1：确定卷积区域，通过降采样因子α的取值对卷积区域的大小进行确定，而后通过相机位姿确定卷积区域的位置，同时为确定卷积区域，采用公式(1)进行计算：
V:V(S)→(N,M,posi) i＝1,2,3,....,n (1)
其中,→代表返回过程，V对稀疏匹配点集S估算区域的近似比值k，通过k值选择合适的邻域大小N和M进行卷积，同时通过S中匹配点计算出相机位姿，确定卷积区域的中心posi；
3.2：在S内挑选匹配图像中的边界点，构成四边形，该四边形的边长定义为边界点距离，继而最大边界距离比上最小边界距离获得比值k：
通过获得比值k，再通过M＝k*N，得到邻域M的大小；
3.3：为保证结果的离散程度，通过公式(3)在以p为中心N*N大小的邻域中，综合距离方差与投影值，获得局部特征明显的点集：
li＝D(oij,dis(i))i＝1,2,...,n j＝1,2,...,8 (3)
其中li是待匹配点集合，dis(i)是距离中心点pi的偏移距离，oij为公式(4)计算获得的投影值；
oij＝Ixcosqj+Iysinqj (i＝1,2,...,n,j＝1～8,qj＝45°*j) (4)
其中，i代表邻域中每个像素，j对应每个像素8方向投影值，通过每个像素的横向梯度Ix的八个方向上的余弦值与纵向梯度Iy相对应的八个方向上的正弦值相加得到每个像素在八个方向上的投影值oij；
3.4：根据匹配点集S计算得到的相机位姿x与方向数组dir确定卷积区域的中心posi：
posi＝U(Si,x,dir) i＝1,2,...,n (5)
3.5：从S内挑选偶数个数据，两两为一组，以其中一组中的第一个数据为原点，计算第二个数据与第一个数据的差值来获得旋转偏移值，两个旋转偏移值相减得到坐标象限的偏差dif，而后指针dir根据坐标象限差dif的情况指向不同的方向数组，继而使得邻域提取的HOG信息与当前待匹配点集合li中的信息分布方向一致；
3.6：通过上述过程确定了与待匹配点集合li所对应匹配的区域大小M与匹配区域中心posi，则完成邻域的选择。
第四步的具体操作流程为：4.1：选择好邻域后，分别对以p与p'为中心所确定的N*N与M*M大小的邻域根据dir提取HOG描述符，并将其以降采样因子α还原到原图像中获得匹配点位置：
其中,→代表返回过程，公式(7)中BN,p是以p为中心N*N大小的邻域，BM,p'是以p'为中心M*M大小的邻域，通过HOG确定输入图像的边缘信息，其主要是通过HOG反馈的图像边缘信息，统计局部区域的方向梯度直方图，用以描述输入图像的表象，其中设f(x,y)为图像函数，则通过公式(8)给出了横向梯度Ix和纵向梯度Iy的计算方法：
4.2：通过HOG确定局部邻域的主方向，通过HOG具有良好的尺度及旋转不变性，估算邻域与内的稠密匹配点对，将匹配点对间的关系视为光流场，而其内的匹配点对受到其约束，按公式(4)计算投影值oi，其中投影值较大的即为该像素点的稠密估计方向。
第五步的处理过程为，将BN,p和BM,p'的邻域进行卷积，得到两个邻域的分数矩阵Sim:
公式(9)中的代表卷积，在分数矩阵Sim中，第i行的几何意义是待匹配图像中第i个区域与目标匹配图像中其他区域的相似程度，行中数值越大，则表明它们在同一方向上的变化越契合。
第六步的具体处理流程为，将Sim进行归一化，统一比较标准，而分数矩阵Sim中的每一项代表两个点的相似度分数：
Sim(i,j)＝BN,pi·BM,p'j(i∈BN,p；j∈BM，p') (10)
BN,pi为以p为中心N*N大小区域中第i个点，BM,p'j为以p'为中心M*M大小的区域中第j个点，·为内积运算，通过Fm筛选分数矩阵Sim中的m个点的分值及其所在分数矩阵Sim中的位置ki,hi：
其中,→代表返回过程，基于公式(11)及Top-k排序算法筛选出分数矩阵Sim中前m个值，使得匹配点分布均匀。
第七步的具体操作方法为，最后将得到的位置和重新计算的分数信息加入到集合Ri中：
其中,→代表返回过程，通过公式(12)将相对位置信息kj，hj还原到分别以pj和p'j为邻域中心的图像上，其中R为最终的稠密结果集合，sj为原匹配点间的匹配分数，s'j为稠密化后的匹配点分数，βj是关于Sim(kj,hj)的分数因子，用来平衡新增匹配点对间的相似度，综上所述，匹配集合S＝{p,p',s}的稠密化计算为：
与现有技术相比，本发明的有益效果是：
(1)通过上述方法能够获得更为稠密的匹配点，通过对比以前的算法，使得数据上的查准率平均提升近十个百分点；
(2)通过上述方法处理图像，在时间效率和空间效率上，相较于DM算法有较大提升，时间效率提升近三十个百分点，空间效率提升近二十五个百分点，继而降低了处理图像时的时间和空间资源的消耗。
附图说明
图1为边界点与边界点距离定义示意图；
图2为宽基线影像待匹配图像及匹配结果示意图；
图3为宽基线影像目标匹配图像及匹配结果示意图；
图4为具有重复纹理的宽基线影像待匹配图像及匹配结果示意图；
图5为具有重复纹理的宽基线影像目标匹配图像及匹配结果示意图；
图6为旋转与缩放中重复纹理待匹配图像及匹配结果示意图；
图7为旋转与缩放中重复纹理目标匹配图像及匹配结果示意图；
图8为非刚体待匹配图像及匹配结果示意图；
图9为非刚体目标匹配图像及匹配结果示意图；
图10为DM与本文在数据集上的准确度对比折线图；
图11为Mikolajczyk数据集上本文方法与DM在内存与时间使用对比折线图；
图12为MPI-Sintel数据集上本文方法与DM在内存与时间使用对比折线图；
图13为Kitti数据集上本文方法与DM内存与时间使用对比折线图。
具体实施方式
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
如图1至图13示，本发明提供了面向重复纹理及非刚性形变的像对高效稠密匹配方法包括以下步骤：
实施例1
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步：降采样待匹配像对，在低分辨率空间下通过DeepMatching算法获得稀疏匹配点集；
第二步：采用随机抽样一致方法剔除第一步中获得的稀疏匹配点集中的外点；
第三步：利用第二步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域；
第四步：根据第三步中获得的领域，提取内点所在邻域的HOG描述符；
第五步：对第四步中获得的描述符进行卷积得到分数矩阵；
第六步：对第五步中得到的分数矩阵进行归一化，继而筛选出新增匹配点集的相对坐标；
第七步：将第六步中获得相对坐标还原为匹配像对上的绝对坐标来达到稠密匹配的目的。
对宽基线影像匹配结果对比：
采用主频为3.8GHz的CPU及8G的内存作为实验环境，采用VS2013开发工具，结合Opencv3及IntelMKL库进行编码，分别在Mikolajczyk、MPI-Sintel和Kitti数据集上进行试验，并与DM算法试验结果进行比较分析。
将图2与图3中的左一图像输入，通过DM算法进行稠密匹配，获得图2与图3中的左二图像。
将图2与图3中的左一图像输入，对齐进行降采样处理，通过DM算法进行稠密匹配，获得图2与图3中的右二图像。
将图2与图3中右二图像输入，通过如下步骤算法：一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步的操作方法为，引入降采样因子α，加快获得大尺寸像对的稠密匹配结果，并根据其取值对待匹配图像I和目标匹配图像I'进行降采样，而后通过DeepMatching算法获得像对降采样后的稀疏匹配点集S＝{p,p',s}，其中I中的特征点p与I'中的特征点p'构成一对配点，s是匹配点之间的相似度分数。
第二步的操作方法为，通过RANSAC算法将DeepMatching匹配后获得的点集S内存在的错误点进行剔除。
第三步的处理方法为：3.1：确定卷积区域，通过降采样因子α的取值对卷积区域的大小进行确定，而后通过相机位姿确定卷积区域的位置，同时为确定卷积区域，采用公式(1)进行计算：
V:V(S)→(N,M,posi) i＝1,2,3,....,n (1)
其中,→代表返回过程，V对稀疏匹配点集S估算区域的近似比值k，通过k值选择合适的邻域大小N和M进行卷积，同时通过S中匹配点计算出相机位姿，确定卷积区域的中心posi；
3.2：在S内挑选匹配图像中的边界点，构成四边形，该四边形的边长定义为边界点距离，继而最大边界距离比上最小边界距离获得比值k：
通过获得比值k，再通过M＝k*N，得到邻域M的大小；
3.3：为保证结果的离散程度，通过公式(3)在以p为中心N*N大小的领域中，综合距离方差与投影值，获得局部特征明显的点集：
li＝D(oij,dis(i))i＝1,2,...,n j＝1,2,...,8 (3)
其中li是待匹配点集合，dis(i)是距离中心点pi的偏移距离，oij为公式(4)计算获得的投影值；
oi＝Ixcosqi+Iysinqi (i＝1～8,qi＝45°*i) (4)
其中通过每个像素的横向梯度Ix的八个方向上的余弦值与纵向梯度Iy相对应的八个方向上的正弦值相加得到每个像素在八个方向上的投影值oi；
3.4：根据匹配点集S计算得到的相机位姿x与方向数组dir确定卷积区域的中心posi：
posi＝U(Si,x,dir)i＝1,2,...,n (5)
3.5：从S内挑选偶数个数据，两两为一组，以其中一组中的第一个数据为原点，计算第二个数据与第一个数据的差值来获得旋转偏移值，两个旋转偏移值相减得到坐标象限的偏差dif，而后指针dir根据坐标象限差dif的情况指向不同的方向数组，继而使得邻域提取的HOG信息与当前待匹配点集合li中的信息分布方向一致；
3.6：通过上述过程确定了与待匹配点集合li所对应匹配的区域大小M与匹配区域中心posi，则完成邻域的选择。
第四步的具体操作流程为：4.1：选择好邻域后，分别对以p与p'为中心所确定的N*N与M*M大小的邻域根据dir提取HOG描述符，并将其以降采样因子α还原到原图像中获得匹配点位置：
其中,→代表返回过程，公式(7)中BN,p是以p为中心N*N大小的邻域，BM,p'是以p'为中心M*M大小的邻域，通过HOG确定输入图像的边缘信息，其主要是通过HOG反馈的图像边缘信息，统计局部区域的方向梯度直方图，用以描述输入图像的表象，其中设f(x,y)为图像函数，则通过公式(8)给出了横向梯度Ix和纵向梯度Iy的计算方法：
4.2：通过HOG确定局部邻域的主方向，通过HOG具有良好的尺度及旋转不变性，估算领域与内的稠密匹配点对，将匹配点对间的关系视为光流场，而其内的匹配点对受到其约束，按公式(4)计算投影值oi，其中投影值较大的即为该像素点的稠密估计方向。
第五步的处理过程为，将BN,p和BM,p'的邻域进行卷积，得到两个邻域的分数矩阵Sim:
公式(9)中的代表卷积，在分数矩阵Sim中，第i行的几何意义是待匹配图像中第i个区域与目标匹配图像中其他区域的相似程度，行中数值遇到，则表明它们在同一方向上的变化越契合。
第六步的具体处理流程为，将Sim进行归一化，统一比较标准，而分数矩阵Sim中的每一项代表两个点的相似度分数：
Sim(i,j)＝BN,pi·BM,p'j(i∈BN,p；j∈BM，p') (10)
BN,pi为以p为中心N*N大小区域中第i个点，BM,p'j为以p'为中心M*M大小的区域中第j个点，·为内积运算，通过Fm筛选分数矩阵Sim中的m个点的分值及其所在分数矩阵Sim中的位置ki,hi：
其中,→代表返回过程，基于公式(11)及Top-k排序算法筛选出分数矩阵Sim中前m个值，使得匹配点分别均匀。
第七步的具体操作方法为，最后将得到的位置和重新计算的分数信息加入到集合Ri中：
其中,→代表返回过程，通过公式(12)将相对位置信息kj，hj还原到分别以pj和p'j为邻域中心的图像上，其中R为最终的稠密结果集合，sj为原匹配点间的匹配分数，s'j为稠密化后的匹配点分数，βj是关于Sim(kj,hj)的分数因子，用来平衡新增皮盆点对建的相似度，综述所述，匹配集合S＝{p,p',s}的稠密化计算为：
通过公式(13)计算获得图2与图3中的右一图像，对比图2与图3中的左二图像与右一图像，匹配点更为稠密。
实施例2
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步：降采样待匹配像对，在低分辨率空间下通过DeepMatching算法获得稀疏匹配点集；
第二步：采用随机抽样一致方法剔除第一步中获得的稀疏匹配点集中的外点；
第三步：利用第二步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域；
第四步：根据第三步中获得的领域，提取内点所在邻域的HOG描述符；
第五步：对第四步中获得的描述符进行卷积得到分数矩阵；
第六步：对第五步中得到的分数矩阵进行归一化，继而筛选出新增匹配点集的相对坐标；
第七步：将第六步中获得相对坐标还原为匹配像对上的绝对坐标来达到稠密匹配的目的。
对具有重复纹理的宽基线影像匹配结果对比：
采用主频为3.8GHz的CPU及8G的内存作为实验环境，采用VS2013开发工具，结合Opencv3及IntelMKL库进行编码，分别在Mikolajczyk、MPI-Sintel和Kitti数据集上进行试验，并与DM算法试验结果进行比较分析。
将图4与图5中的左一图像输入，通过DM算法进行稠密匹配，获得图4与图5中的左二图像。
将图4与图5中的左一图像输入，对齐进行降采样处理，通过DM算法进行稠密匹配，获得图4与图5中的右二图像。
将图4与图5中右二图像输入，通过如下步骤算法：
第一步的操作方法为，引入降采样因子α，加快获得大尺寸像对的稠密匹配结果，并根据其取值对待匹配图像I和目标匹配图像I'进行降采样，而后通过DeepMatching算法获得像对降采样后的稀疏匹配点集S＝{p,p',s}，其中I中的特征点p与I'中的特征点p'构成一对配点，s是匹配点之间的相似度分数。
第二步的操作方法为，通过RANSAC算法将DeepMatching匹配后获得的点集S内存在的错误点进行剔除。
第三步的处理方法为：3.1：确定卷积区域，通过降采样因子α的取值对卷积区域的大小进行确定，而后通过相机位姿确定卷积区域的位置，同时为确定卷积区域，采用公式(1)进行计算：
V:V(S)→(N,M,posi) i＝1,2,3,....,n (1)
其中,→代表返回过程，V对稀疏匹配点集S估算区域的近似比值k，通过k值选择合适的邻域大小N和M进行卷积，同时通过S中匹配点计算出相机位姿，确定卷积区域的中心posi；
3.2：在S内挑选匹配图像中的边界点，构成四边形，该四边形的边长定义为边界点距离，继而最大边界距离比上最小边界距离获得比值k：
通过获得比值k，再通过M＝k*N，得到邻域M的大小；
3.3：为保证结果的离散程度，通过公式(3)在以p为中心N*N大小的领域中，综合距离方差与投影值，获得局部特征明显的点集：
li＝D(oij,dis(i)) i＝1,2,...,n j＝1,2,...,8 (3)
其中li是待匹配点集合，dis(i)是距离中心点pi的偏移距离，oij为公式(4)计算获得的投影值；
oi＝Ixcosqi+Iysinqi (i＝1～8,qi＝45°*i) (4)
其中通过每个像素的横向梯度Ix的八个方向上的余弦值与纵向梯度Iy相对应的八个方向上的正弦值相加得到每个像素在八个方向上的投影值oi；
3.4：根据匹配点集S计算得到的相机位姿x与方向数组dir确定卷积区域的中心posi：
posi＝U(Si,x,dir) i＝1,2,...,n (5)
3.5：从S内挑选偶数个数据，两两为一组，以其中一组中的第一个数据为原点，计算第二个数据与第一个数据的差值来获得旋转偏移值，两个旋转偏移值相减得到坐标象限的偏差dif，而后指针dir根据坐标象限差dif的情况指向不同的方向数组，继而使得邻域提取的HOG信息与当前待匹配点集合li中的信息分布方向一致；
3.6：通过上述过程确定了与待匹配点集合li所对应匹配的区域大小M与匹配区域中心posi，则完成邻域的选择。
第四步的具体操作流程为：4.1：选择好邻域后，分别对以p与p'为中心所确定的N*N与M*M大小的邻域根据dir提取HOG描述符，并将其以降采样因子α还原到原图像中获得匹配点位置：
其中,→代表返回过程，公式(7)中BN,p是以p为中心N*N大小的邻域，BM,p'是以p'为中心M*M大小的邻域，通过HOG确定输入图像的边缘信息，其主要是通过HOG反馈的图像边缘信息，统计局部区域的方向梯度直方图，用以描述输入图像的表象，其中设f(x,y)为图像函数，则通过公式(8)给出了横向梯度Ix和纵向梯度Iy的计算方法：
4.2：通过HOG确定局部邻域的主方向，通过HOG具有良好的尺度及旋转不变性，估算领域与内的稠密匹配点对，将匹配点对间的关系视为光流场，而其内的匹配点对受到其约束，按公式(4)计算投影值oi，其中投影值较大的即为该像素点的稠密估计方向。
第五步的处理过程为，将BN,p和BM,p'的邻域进行卷积，得到两个邻域的分数矩阵Sim:
公式(9)中的代表卷积，在分数矩阵Sim中，第i行的几何意义是待匹配图像中第i个区域与目标匹配图像中其他区域的相似程度，行中数值遇到，则表明它们在同一方向上的变化越契合。
第六步的具体处理流程为，将Sim进行归一化，统一比较标准，而分数矩阵Sim中的每一项代表两个点的相似度分数：
Sim(i,j)＝BN,pi·BM,p'j(i∈BN,p；j∈BM，p') (10)
BN,pi为以p为中心N*N大小区域中第i个点，BM,p'j为以p'为中心M*M大小的区域中第j个点，·为内积运算，通过Fm筛选分数矩阵Sim中的m个点的分值及其所在分数矩阵Sim中的位置ki,hi：
其中,→代表返回过程，基于公式(11)及Top-k排序算法筛选出分数矩阵Sim中前m个值，使得匹配点分别均匀。
第七步的具体操作方法为，最后将得到的位置和重新计算的分数信息加入到集合Ri中：
其中,→代表返回过程，通过公式(12)将相对位置信息kj，hj还原到分别以pj和p'j为邻域中心的图像上，其中R为最终的稠密结果集合，sj为原匹配点间的匹配分数，s'j为稠密化后的匹配点分数，βj是关于Sim(kj,hj)的分数因子，用来平衡新增皮盆点对建的相似度，综述所述，匹配集合S＝{p,p',s}的稠密化计算为：
通过公式(13)计算获得图4与图5中的右一图像，对比图4与图5中的左二图像与右一图像，匹配点更为稠密。
实施例3
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步：降采样待匹配像对，在低分辨率空间下通过DeepMatching算法获得稀疏匹配点集；
第二步：采用随机抽样一致方法剔除第一步中获得的稀疏匹配点集中的外点；
第三步：利用第二步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域；
第四步：根据第三步中获得的领域，提取内点所在邻域的HOG描述符；
第五步：对第四步中获得的描述符进行卷积得到分数矩阵；
第六步：对第五步中得到的分数矩阵进行归一化，继而筛选出新增匹配点集的相对坐标；
第七步：将第六步中获得相对坐标还原为匹配像对上的绝对坐标来达到稠密匹配的目的。
对旋转与缩放中重复纹理匹配结果对比：
采用主频为3.8GHz的CPU及8G的内存作为实验环境，采用VS2013开发工具，结合Opencv3及IntelMKL库进行编码，分别在Mikolajczyk、MPI-Sintel和Kitti数据集上进行试验，并与DM算法试验结果进行比较分析。
将图6与图7中的左一图像输入，通过DM算法进行稠密匹配，获得图6与图7中的左二图像。
将图6与图7中的左一图像输入，对齐进行降采样处理，通过DM算法进行稠密匹配，获得图6与图7中的右二图像。
将图6与图7中右二图像输入，通过如下步骤算法：
第一步的操作方法为，引入降采样因子α，加快获得大尺寸像对的稠密匹配结果，并根据其取值对待匹配图像I和目标匹配图像I'进行降采样，而后通过DeepMatching算法获得像对降采样后的稀疏匹配点集S＝{p,p',s}，其中I中的特征点p与I'中的特征点p'构成一对配点，s是匹配点之间的相似度分数。
第二步的操作方法为，通过RANSAC算法将DeepMatching匹配后获得的点集S内存在的错误点进行剔除。
第三步的处理方法为：3.1：确定卷积区域，通过降采样因子α的取值对卷积区域的大小进行确定，而后通过相机位姿确定卷积区域的位置，同时为确定卷积区域，采用公式(1)进行计算：
V:V(S)→(N,M,posi) i＝1,2,3,....,n (1)
其中,→代表返回过程，V对稀疏匹配点集S估算区域的近似比值k，通过k值选择合适的邻域大小N和M进行卷积，同时通过S中匹配点计算出相机位姿，确定卷积区域的中心posi；
3.2：在S内挑选匹配图像中的边界点，构成四边形，该四边形的边长定义为边界点距离，继而最大边界距离比上最小边界距离获得比值k：
通过获得比值k，再通过M＝k*N，得到邻域M的大小；
3.3：为保证结果的离散程度，通过公式(3)在以p为中心N*N大小的领域中，综合距离方差与投影值，获得局部特征明显的点集：
li＝D(oij,dis(i)) i＝1,2,...,n j＝1,2,...,8 (3)
其中li是待匹配点集合，dis(i)是距离中心点pi的偏移距离，oij为公式(4)计算获得的投影值；
oi＝Ixcosqi+Iysinqi (i＝1～8,qi＝45°*i) (4)
其中通过每个像素的横向梯度Ix的八个方向上的余弦值与纵向梯度Iy相对应的八个方向上的正弦值相加得到每个像素在八个方向上的投影值oi；
3.4：根据匹配点集S计算得到的相机位姿x与方向数组dir确定卷积区域的中心posi：
posi＝U(Si,x,dir) i＝1,2,...,n (5)
3.5：从S内挑选偶数个数据，两两为一组，以其中一组中的第一个数据为原点，计算第二个数据与第一个数据的差值来获得旋转偏移值，两个旋转偏移值相减得到坐标象限的偏差dif，而后指针dir根据坐标象限差dif的情况指向不同的方向数组，继而使得邻域提取的HOG信息与当前待匹配点集合li中的信息分布方向一致；
3.6：通过上述过程确定了与待匹配点集合li所对应匹配的区域大小M与匹配区域中心posi，则完成邻域的选择。
第四步的具体操作流程为：4.1：选择好邻域后，分别对以p与p'为中心所确定的N*N与M*M大小的邻域根据dir提取HOG描述符，并将其以降采样因子α还原到原图像中获得匹配点位置：
其中,→代表返回过程，公式(7)中BN,p是以p为中心N*N大小的邻域，BM,p'是以p'为中心M*M大小的邻域，通过HOG确定输入图像的边缘信息，其主要是通过HOG反馈的图像边缘信息，统计局部区域的方向梯度直方图，用以描述输入图像的表象，其中设f(x,y)为图像函数，则通过公式(8)给出了横向梯度Ix和纵向梯度Iy的计算方法：
4.2：通过HOG确定局部邻域的主方向，通过HOG具有良好的尺度及旋转不变性，估算领域与内的稠密匹配点对，将匹配点对间的关系视为光流场，而其内的匹配点对受到其约束，按公式(4)计算投影值oi，其中投影值较大的即为该像素点的稠密估计方向。
第五步的处理过程为，将BN,p和BM,p'的邻域进行卷积，得到两个邻域的分数矩阵Sim:
公式(9)中的代表卷积，在分数矩阵Sim中，第i行的几何意义是待匹配图像中第i个区域与目标匹配图像中其他区域的相似程度，行中数值遇到，则表明它们在同一方向上的变化越契合。
第六步的具体处理流程为，将Sim进行归一化，统一比较标准，而分数矩阵Sim中的每一项代表两个点的相似度分数：
Sim(i,j)＝BN,pi·BM,p'j(i∈BN,p；j∈BM，p') (10)
BN,pi为以p为中心N*N大小区域中第i个点，BM,p'j为以p'为中心M*M大小的区域中第j个点，·为内积运算，通过Fm筛选分数矩阵Sim中的m个点的分值及其所在分数矩阵Sim中的位置ki,hi：
其中,→代表返回过程，基于公式(11)及Top-k排序算法筛选出分数矩阵Sim中前m个值，使得匹配点分别均匀。
第七步的具体操作方法为，最后将得到的位置和重新计算的分数信息加入到集合Ri中：
其中,→代表返回过程，通过公式(12)将相对位置信息kj，hj还原到分别以pj和p'j为邻域中心的图像上，其中R为最终的稠密结果集合，sj为原匹配点间的匹配分数，s'j为稠密化后的匹配点分数，βj是关于Sim(kj,hj)的分数因子，用来平衡新增皮盆点对建的相似度，综述所述，匹配集合S＝{p,p',s}的稠密化计算为：
通过公式(13)计算获得图6与图7中的右一图像，对比图6与图7中的左二图像与右一图像，匹配点更为稠密。
实施例4
一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步：降采样待匹配像对，在低分辨率空间下通过DeepMatching算法获得稀疏匹配点集；
第二步：采用随机抽样一致方法剔除第一步中获得的稀疏匹配点集中的外点；
第三步：利用第二步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域；
第四步：根据第三步中获得的领域，提取内点所在邻域的HOG描述符；
第五步：对第四步中获得的描述符进行卷积得到分数矩阵；
第六步：对第五步中得到的分数矩阵进行归一化，继而筛选出新增匹配点集的相对坐标；
第七步：将第六步中获得相对坐标还原为匹配像对上的绝对坐标来达到稠密匹配的目的。
对非刚体匹配结果对比：
采用主频为3.8GHz的CPU及8G的内存作为实验环境，采用VS2013开发工具，结合Opencv3及IntelMKL库进行编码，分别在Mikolajczyk、MPI-Sintel和Kitti数据集上进行试验，并与DM算法试验结果进行比较分析。
将图8与图9中的左一图像输入，通过DM算法进行稠密匹配，获得图8与图9中的左二图像。
将图8与图9中的左一图像输入，对齐进行降采样处理，通过DM算法进行稠密匹配，获得图8与图9中的右二图像。
将图8与图9中右二图像输入，通过如下步骤算法：
第一步的操作方法为，引入降采样因子α，加快获得大尺寸像对的稠密匹配结果，并根据其取值对待匹配图像I和目标匹配图像I'进行降采样，而后通过DeepMatching算法获得像对降采样后的稀疏匹配点集S＝{p,p',s}，其中I中的特征点p与I'中的特征点p'构成一对配点，s是匹配点之间的相似度分数。
第二步的操作方法为，通过RANSAC算法将DeepMatching匹配后获得的点集S内存在的错误点进行剔除。
第三步的处理方法为：3.1：确定卷积区域，通过降采样因子α的取值对卷积区域的大小进行确定，而后通过相机位姿确定卷积区域的位置，同时为确定卷积区域，采用公式(1)进行计算：
V:V(S)→(N,M,posi) i＝1,2,3,....,n (1)
其中,→代表返回过程，V对稀疏匹配点集S估算区域的近似比值k，通过k值选择合适的邻域大小N和M进行卷积，同时通过S中匹配点计算出相机位姿，确定卷积区域的中心posi；
3.2：在S内挑选匹配图像中的边界点，构成四边形，该四边形的边长定义为边界点距离，继而最大边界距离比上最小边界距离获得比值k：
通过获得比值k，再通过M＝k*N，得到邻域M的大小；
3.3：为保证结果的离散程度，通过公式(3)在以p为中心N*N大小的领域中，综合距离方差与投影值，获得局部特征明显的点集：
li＝D(oij,dis(i)) i＝1,2,...,n j＝1,2,...,8 (3)
其中li是待匹配点集合，dis(i)是距离中心点pi的偏移距离，oij为公式(4)计算获得的投影值；
oi＝Ixcosqi+Iysinqi (i＝1～8,qi＝45°*i) (4)
其中通过每个像素的横向梯度Ix的八个方向上的余弦值与纵向梯度Iy相对应的八个方向上的正弦值相加得到每个像素在八个方向上的投影值oi；
3.4：根据匹配点集S计算得到的相机位姿x与方向数组dir确定卷积区域的中心posi：
posi＝U(Si,x,dir) i＝1,2,...,n (5)
3.5：从S内挑选偶数个数据，两两为一组，以其中一组中的第一个数据为原点，计算第二个数据与第一个数据的差值来获得旋转偏移值，两个旋转偏移值相减得到坐标象限的偏差dif，而后指针dir根据坐标象限差dif的情况指向不同的方向数组，继而使得邻域提取的HOG信息与当前待匹配点集合li中的信息分布方向一致；
3.6：通过上述过程确定了与待匹配点集合li所对应匹配的区域大小M与匹配区域中心posi，则完成邻域的选择。
第四步的具体操作流程为：4.1：选择好邻域后，分别对以p与p'为中心所确定的N*N与M*M大小的邻域根据dir提取HOG描述符，并将其以降采样因子α还原到原图像中获得匹配点位置：
其中,→代表返回过程，公式(7)中BN,p是以p为中心N*N大小的邻域，BM,p'是以p'为中心M*M大小的邻域，通过HOG确定输入图像的边缘信息，其主要是通过HOG反馈的图像边缘信息，统计局部区域的方向梯度直方图，用以描述输入图像的表象，其中设f(x,y)为图像函数，则通过公式(8)给出了横向梯度Ix和纵向梯度Iy的计算方法：
4.2：通过HOG确定局部邻域的主方向，通过HOG具有良好的尺度及旋转不变性，估算领域与内的稠密匹配点对，将匹配点对间的关系视为光流场，而其内的匹配点对受到其约束，按公式(4)计算投影值oi，其中投影值较大的即为该像素点的稠密估计方向。
第五步的处理过程为，将BN,p和BM,p'的邻域进行卷积，得到两个邻域的分数矩阵Sim:
公式(9)中的代表卷积，在分数矩阵Sim中，第i行的几何意义是待匹配图像中第i个区域与目标匹配图像中其他区域的相似程度，行中数值遇到，则表明它们在同一方向上的变化越契合。
第六步的具体处理流程为，将Sim进行归一化，统一比较标准，而分数矩阵Sim中的每一项代表两个点的相似度分数：
Sim(i,j)＝BN,pi·BM,p'j(i∈BN,p；j∈BM，p') (10)
BN,pi为以p为中心N*N大小区域中第i个点，BM,p'j为以p'为中心M*M大小的区域中第j个点，·为内积运算，通过Fm筛选分数矩阵Sim中的m个点的分值及其所在分数矩阵Sim中的位置ki,hi：
其中,→代表返回过程，基于公式(11)及Top-k排序算法筛选出分数矩阵Sim中前m个值，使得匹配点分别均匀。
第七步的具体操作方法为，最后将得到的位置和重新计算的分数信息加入到集合Ri中：
其中,→代表返回过程，通过公式(12)将相对位置信息kj，hj还原到分别以pj和p'j为邻域中心的图像上，其中R为最终的稠密结果集合，sj为原匹配点间的匹配分数，s'j为稠密化后的匹配点分数，βj是关于Sim(kj,hj)的分数因子，用来平衡新增皮盆点对建的相似度，综述所述，匹配集合S＝{p,p',s}的稠密化计算为：
通过公式(13)计算获得图8与图9中的右一图像，对比图8与图9中的左二图像与右一图像，匹配点更为稠密。
通过实施例1至实施例4，可以看出本文算法在查准率上优于DM，并将Mikolajczyk、MPI-Sintel和Kitti数据集上DM与本文方法的查准率结果绘制为图10，同时采用相同大小且宽高比为4:3的像对进行实验，并分别在图11、图12、图13中绘制了α＝0.5时DM与本文方法的内存与时间资源使用情况，由图11至图13可知，本文方法在内存和时间效率上优于DM算法。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细说明，领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本权利要求范围当中。
Claims (8)
1.一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于，包括以下步骤：
第一步：降采样待匹配像对，在低分辨率空间下通过DeepMatching算法获得稀疏匹配点集；
第二步：采用随机抽样一致方法剔除第一步中获得的稀疏匹配点集中的外点；
第三步：利用第二步得到的匹配结果估计相机位姿及缩放比例确定每个点对稠密化过程中的邻域；
第四步：根据第三步中获得的邻域，提取内点所在邻域的HOG描述符；
第五步：对第四步中获得的描述符进行卷积得到分数矩阵；
第六步：对第五步中得到的分数矩阵进行归一化，继而筛选出新增匹配点集的相对坐标；
第七步：将第六步中获得相对坐标还原为匹配像对上的绝对坐标来达到稠密匹配的目的。
2.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第一步的操作方法为，引入降采样因子α，加快获得大尺寸像对的稠密匹配结果，并根据其取值对待匹配图像I和目标匹配图像I'进行降采样，而后通过DeepMatching算法获得像对降采样后的稀疏匹配点集S＝{p,p',s}，其中I中的特征点p与I'中的特征点p'构成一对配点，s是匹配点之间的相似度分数。
3.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第二步的操作方法为，通过RANSAC算法将DeepMatching匹配后获得的点集S内存在的错误点进行剔除。
4.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第三步的处理方法为：3.1：确定卷积区域，通过降采样因子α的取值对卷积区域的大小进行确定，而后通过相机位姿确定卷积区域的位置，同时为确定卷积区域，采用公式(1)进行计算：
V:V(S)→(N,M,posi) i＝1,2,3,....,n (1)
其中,→代表返回过程，V对稀疏匹配点集S估算区域的近似比值k，通过k值选择合适的邻域大小N和M进行卷积，同时通过S中匹配点计算出相机位姿，确定卷积区域的中心posi；
3.2：在S内挑选匹配图像中的边界点，构成四边形，该四边形的边长定义为边界点距离，继而最大边界距离比上最小边界距离获得比值k：
通过获得比值k，再通过M＝k*N，得到邻域M的大小；
3.3：为保证结果的离散程度，通过公式(3)在以p为中心N*N大小的邻域中，综合距离方差与投影值，获得局部特征明显的点集：
li＝D(oij,dis(i)) i＝1,2,...,n j＝1,2,...,8 (3)
其中li是待匹配点集合，dis(i)是距离中心点pi的偏移距离，oij为公式(4)计算获得的投影值；
oij＝Ixcosqi+Iysinqi (i＝1～8,qi＝45°*i) (4)
其中，i代表邻域中每个像素，j对应每个像素8方向投影值，通过每个像素的横向梯度Ix的八个方向上的余弦值与纵向梯度Iy相对应的八个方向上的正弦值相加得到每个像素在八个方向上的投影值oij；
3.4：根据匹配点集S计算得到的相机位姿x与方向数组dir确定卷积区域的中心posi：
posi＝U(Si,x,dir) i＝1,2,...,n (5)
3.5：从S内挑选偶数个数据，两两为一组，以其中一组中的第一个数据为原点，计算第二个数据与第一个数据的差值来获得旋转偏移值，两个旋转偏移值相减得到坐标象限的偏差dif，而后指针dir根据坐标象限差dif的情况指向不同的方向数组，继而使得邻域提取的HOG信息与当前待匹配点集合li中的信息分布方向一致；
3.6：通过上述过程确定了与待匹配点集合li所对应匹配的区域大小M与匹配区域中心posi，则完成邻域的选择。
5.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第四步的具体操作流程为：4.1：选择好邻域后，分别对以p与p'为中心所确定的N*N与M*M大小的邻域根据dir提取HOG描述符，并将其以降采样因子α还原到原图像中获得匹配点位置：
其中,→代表返回过程，公式(7)中BN,p是以p为中心N*N大小的邻域，BM,p'是以p'为中心M*M大小的邻域，通过HOG确定输入图像的边缘信息，其主要是通过HOG反馈的图像边缘信息，统计局部区域的方向梯度直方图，用以描述输入图像的表象，其中设f(x,y)为图像函数，则通过公式(8)给出了横向梯度Ix和纵向梯度Iy的计算方法：
4.2：通过HOG确定局部邻域的主方向，通过HOG具有良好的尺度及旋转不变性，估算邻域与内的稠密匹配点对，将匹配点对间的关系视为光流场，而其内的匹配点对受到其约束，按公式(4)计算投影值oi，其中投影值较大的即为该像素点的稠密估计方向。
6.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第五步的处理过程为，将BN,p和BM,p'的邻域进行卷积，得到两个邻域的分数矩阵Sim:
公式(9)中的代表卷积，在分数矩阵Sim中，第i行的几何意义是待匹配图像中第i个区域与目标匹配图像中其他区域的相似程度，行中数值越大，则表明它们在同一方向上的变化越契合。
7.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第六步的具体处理流程为，将Sim进行归一化，统一比较标准，而分数矩阵Sim中的每一项代表两个点的相似度分数：
Sim(i,j)＝BN,pi·BM,p'j(i∈BN,p；j∈BM，p') (10)
BN,pi为以p为中心N*N大小区域中第i个点，BM,p'j为以p'为中心M*M大小的区域中第j个点，·为内积运算，通过Fm筛选分数矩阵Sim中的m个点的分值及其所在分数矩阵Sim中的位置ki,hi：
其中,→代表返回过程，基于公式(11)及Top-k排序算法筛选出分数矩阵Sim中前m个值，使得匹配点分布均匀。
8.根据权利要求1所述的一种面向重复纹理及非刚性形变的像对高效稠密匹配方法，其特征在于：第七步的具体操作方法为，将得到的位置和重新计算的分数信息加入到集合Ri中：
其中,→代表返回过程，通过公式(12)将相对位置信息kj，hj还原到分别以pj和p'j为邻域中心的图像上，其中R为最终的稠密结果集合，sj为原匹配点间的匹配分数，s'j为稠密化后的匹配点分数，βj是关于Sim(kj,hj)的分数因子，用来平衡新增匹配点对间的相似度，综上所述，匹配集合S＝{p,p',s}的稠密化计算为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910105678.9A CN109829502B (zh) | 2019-02-01 | 2019-02-01 | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910105678.9A CN109829502B (zh) | 2019-02-01 | 2019-02-01 | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829502A true CN109829502A (zh) | 2019-05-31 |
| CN109829502B CN109829502B (zh) | 2023-02-07 |
Family
ID=66863351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910105678.9A Active CN109829502B (zh) | 2019-02-01 | 2019-02-01 | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829502B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611856A (zh) * | 2020-04-20 | 2020-09-01 | 杭州电子科技大学 | 一种基于top-k分块的加权近邻二值模式识别方法 |
| CN117036454A (zh) * | 2023-08-24 | 2023-11-10 | 同济大学 | 一种基于稠密匹配算法的构件表面位移场检测方法 |
Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1442614A1 (en) * | 2001-10-26 | 2004-08-04 | British Telecommunications Public Limited Company | Method and apparatus for image matching |
| JP2004326688A (ja) * | 2003-04-28 | 2004-11-18 | Toshiba Corp | 画像間の対応点推定方法およびテンプレートマッチングシステム |
| US20060251324A1 (en) * | 2004-09-20 | 2006-11-09 | Bachmann Charles M | Method for image data processing |
| WO2008075359A2 (en) * | 2006-12-21 | 2008-06-26 | Yeda Research And Development Co. Ltd. | Method and apparatus for matching local self-similarities |
| CN101398937A (zh) * | 2008-10-29 | 2009-04-01 | 北京航空航天大学 | 基于同一场景散乱照片集的三维重构方法 |
| WO2010043618A1 (en) * | 2008-10-14 | 2010-04-22 | Sicpa Holding Sa | Method and system for item identification |
| CN101826206A (zh) * | 2010-03-31 | 2010-09-08 | 北京交通大学 | 一种相机自定标的方法 |
| CN102722731A (zh) * | 2012-05-28 | 2012-10-10 | 南京航空航天大学 | 一种基于改进sift算法的高效图像匹配方法 |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN103700099A (zh) * | 2013-12-18 | 2014-04-02 | 同济大学 | 一种旋转和尺度不变的宽基线立体匹配方法 |
| CN104200517A (zh) * | 2014-08-06 | 2014-12-10 | 北京工业大学 | 一种三维重建方法 |
| CN104657986A (zh) * | 2015-02-02 | 2015-05-27 | 华中科技大学 | 一种基于子空间融合和一致性约束的准稠密匹配扩展方法 |
| CN105184856A (zh) * | 2015-09-02 | 2015-12-23 | 泰山学院 | 一种基于稠密匹配的二阶段人体皮肤三维重建方法 |
| CN105405116A (zh) * | 2014-09-04 | 2016-03-16 | 南京理工大学 | 一种基于图割的立体匹配方法 |
| CN105427308A (zh) * | 2015-11-20 | 2016-03-23 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN106355607A (zh) * | 2016-08-12 | 2017-01-25 | 辽宁工程技术大学 | 一种宽基线彩色图像模板匹配方法 |
| JP2017503290A (ja) * | 2014-04-08 | 2017-01-26 | ジョンシャン ユニバーシティＳｕｎ Ｙａｔ−Ｓｅｎ Ｕｎｉｖｅｒｓｉｔｙ | 無特徴抽出の高密度ｓｆｍ三次元再構成法 |
| CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
| CN106780574A (zh) * | 2016-11-18 | 2017-05-31 | 辽宁工程技术大学 | 一种图像的无纹理区域匹配方法 |
| CN107506795A (zh) * | 2017-08-23 | 2017-12-22 | 国家计算机网络与信息安全管理中心 | 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法 |
| CN107657644A (zh) * | 2017-09-28 | 2018-02-02 | 浙江大华技术股份有限公司 | 一种移动环境下稀疏场景流检测方法和装置 |
| CN108573273A (zh) * | 2017-03-10 | 2018-09-25 | 欧姆龙株式会社 | 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质 |
| CN108830284A (zh) * | 2018-06-27 | 2018-11-16 | 电子科技大学 | 基于密文图像灰度直方图向量的图像识别方法 |
| US20180342100A1 (en) * | 2017-05-25 | 2018-11-29 | Onsiteiq, Inc. | Interactive Image Based 3D Panograph |
| AU2018101640A4 (en) * | 2018-11-01 | 2018-12-06 | Macau University Of Science And Technology | A system and method for image processing |
-
2019
- 2019-02-01 CN CN201910105678.9A patent/CN109829502B/zh active Active
Patent Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1442614A1 (en) * | 2001-10-26 | 2004-08-04 | British Telecommunications Public Limited Company | Method and apparatus for image matching |
| JP2004326688A (ja) * | 2003-04-28 | 2004-11-18 | Toshiba Corp | 画像間の対応点推定方法およびテンプレートマッチングシステム |
| US20060251324A1 (en) * | 2004-09-20 | 2006-11-09 | Bachmann Charles M | Method for image data processing |
| WO2008075359A2 (en) * | 2006-12-21 | 2008-06-26 | Yeda Research And Development Co. Ltd. | Method and apparatus for matching local self-similarities |
| WO2010043618A1 (en) * | 2008-10-14 | 2010-04-22 | Sicpa Holding Sa | Method and system for item identification |
| CN101398937A (zh) * | 2008-10-29 | 2009-04-01 | 北京航空航天大学 | 基于同一场景散乱照片集的三维重构方法 |
| CN101826206A (zh) * | 2010-03-31 | 2010-09-08 | 北京交通大学 | 一种相机自定标的方法 |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN102722731A (zh) * | 2012-05-28 | 2012-10-10 | 南京航空航天大学 | 一种基于改进sift算法的高效图像匹配方法 |
| CN103700099A (zh) * | 2013-12-18 | 2014-04-02 | 同济大学 | 一种旋转和尺度不变的宽基线立体匹配方法 |
| JP2017503290A (ja) * | 2014-04-08 | 2017-01-26 | ジョンシャン ユニバーシティＳｕｎ Ｙａｔ−Ｓｅｎ Ｕｎｉｖｅｒｓｉｔｙ | 無特徴抽出の高密度ｓｆｍ三次元再構成法 |
| CN104200517A (zh) * | 2014-08-06 | 2014-12-10 | 北京工业大学 | 一种三维重建方法 |
| CN105405116A (zh) * | 2014-09-04 | 2016-03-16 | 南京理工大学 | 一种基于图割的立体匹配方法 |
| CN104657986A (zh) * | 2015-02-02 | 2015-05-27 | 华中科技大学 | 一种基于子空间融合和一致性约束的准稠密匹配扩展方法 |
| CN105184856A (zh) * | 2015-09-02 | 2015-12-23 | 泰山学院 | 一种基于稠密匹配的二阶段人体皮肤三维重建方法 |
| CN105427308A (zh) * | 2015-11-20 | 2016-03-23 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN106355607A (zh) * | 2016-08-12 | 2017-01-25 | 辽宁工程技术大学 | 一种宽基线彩色图像模板匹配方法 |
| CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
| CN106780574A (zh) * | 2016-11-18 | 2017-05-31 | 辽宁工程技术大学 | 一种图像的无纹理区域匹配方法 |
| CN108573273A (zh) * | 2017-03-10 | 2018-09-25 | 欧姆龙株式会社 | 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质 |
| US20180342100A1 (en) * | 2017-05-25 | 2018-11-29 | Onsiteiq, Inc. | Interactive Image Based 3D Panograph |
| CN107506795A (zh) * | 2017-08-23 | 2017-12-22 | 国家计算机网络与信息安全管理中心 | 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法 |
| CN107657644A (zh) * | 2017-09-28 | 2018-02-02 | 浙江大华技术股份有限公司 | 一种移动环境下稀疏场景流检测方法和装置 |
| CN108830284A (zh) * | 2018-06-27 | 2018-11-16 | 电子科技大学 | 基于密文图像灰度直方图向量的图像识别方法 |
| AU2018101640A4 (en) * | 2018-11-01 | 2018-12-06 | Macau University Of Science And Technology | A system and method for image processing |
Non-Patent Citations (13)
| Title |
|---|
| BRACHMANN.E: ""DSAC - Differentiable RANSAC for Camera Localization"", 《30TH IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| FAN.JZ: ""Hierarchical coherency sensitive hashing and interpolation with RANSAC for large displacement optical flow"", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 * |
| H. SHIGETA: ""Analyzing Leukocyte Migration Trajectories by Deformable Image Matching"", 《2019 IEEE 19TH INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOENGINEERING (BIBE)》 * |
| REVAUD .J: ""DeepMatching:hierarchical deformable dense matching"", 《LNTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
| WANG.C: ""LOCALITY SENSITIVE HASHING BASED DEEPMATCHING FOR OPTICAL FLOW ESTIMATION"", 《INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNAL PROCESSING ICASSP》 * |
| 刘万军: ""时空上下文抗遮挡视觉跟踪"", 《中国图象图形学报》 * |
| 刘思睿: ""快速光流估计与时空一致件三维重建"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 吕耀文等: "基于双目视觉的三维重建和拼接技术研究", 《光电子技术》 * |
| 吴炜等: "一种仿射不变量支持的准稠密控制点匹配算法", 《武汉大学学报(信息科学版)》 * |
| 张新君: ""基于联合协同表示与SVM决策融合的高光谱图像分类研究"", 《计算机应用研究》 * |
| 贾迪: ""像对匹配的模板选择与匹配"", 《中国图象图形学报》 * |
| 贾迪: ""种图像的连续性边缘提取方法"", 《计算机工程与科学》 * |
| 赵云皓等: "增量式SFM中特征点检测与匹配方法的改进", 《激光杂志》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611856A (zh) * | 2020-04-20 | 2020-09-01 | 杭州电子科技大学 | 一种基于top-k分块的加权近邻二值模式识别方法 |
| CN111611856B (zh) * | 2020-04-20 | 2023-05-05 | 杭州电子科技大学 | 一种基于top-k分块的加权近邻二值模式识别方法 |
| CN117036454A (zh) * | 2023-08-24 | 2023-11-10 | 同济大学 | 一种基于稠密匹配算法的构件表面位移场检测方法 |
| CN117036454B (zh) * | 2023-08-24 | 2024-05-14 | 同济大学 | 一种基于稠密匹配算法的构件表面位移场检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829502B (zh) | 2023-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
| Sirmacek et al. | A probabilistic framework to detect buildings in aerial and satellite images | |
| CN105718882B (zh) | 一种分辨率自适应特征提取与融合的行人重识别方法 | |
| CN106529448A (zh) | 利用聚合通道特征进行多视角人脸检测的方法 | |
| CN104809731B (zh) | 一种基于梯度二值化的旋转尺度不变场景匹配方法 | |
| CN104881671B (zh) | 一种基于2D‑Gabor的高分遥感影像局部特征提取方法 | |
| CN102663391A (zh) | 一种图像的多特征提取与融合方法及系统 | |
| CN102662949A (zh) | 一种基于多特征融合的指定目标检索方法及系统 | |
| Gao et al. | Image categorization: Graph edit distance+ edge direction histogram | |
| Glasner et al. | Contour-based joint clustering of multiple segmentations | |
| CN112766184B (zh) | 基于多层级特征选择卷积神经网络的遥感目标检测方法 | |
| US10810433B2 (en) | Method and system for tracking objects | |
| CN102446356A (zh) | 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法 | |
| CN108268865A (zh) | 一种基于级联卷积网络的自然场景下车牌识别方法及系统 | |
| Li et al. | Image Matching Algorithm based on Feature-point and DAISY Descriptor. | |
| CN108280469A (zh) | 一种基于稀疏表示的超市商品图像识别方法 | |
| CN107610136B (zh) | 基于凸包结构中心查询点排序的显著目标检测方法 | |
| CN109829502A (zh) | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 | |
| CN108319961A (zh) | 一种基于局部特征点的图像roi快速检测方法 | |
| CN109389017B (zh) | 行人再识别方法 | |
| CN103336964A (zh) | 一种基于模值差镜像不变性的sift图像匹配方法 | |
| Gupta et al. | A novel color image segmentation approach based on k-means clustering with proper determination of the number of clusters and suitable distance metric | |
| Trinh et al. | Facet-based multiple building analysis for robot intelligence | |
| CN110147755B (zh) | 基于上下文级联cnn的人头检测方法 | |
| Ghariba et al. | Salient object detection using semantic segmentation technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |