CN112101475A - 若干幅无序影像智能分类与拼接方法 - Google Patents
若干幅无序影像智能分类与拼接方法 Download PDFInfo
- Publication number
- CN112101475A CN112101475A CN202011004237.9A CN202011004237A CN112101475A CN 112101475 A CN112101475 A CN 112101475A CN 202011004237 A CN202011004237 A CN 202011004237A CN 112101475 A CN112101475 A CN 112101475A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- splicing
- feature
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 182
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000012163 sequencing technique Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 110
- 230000008569 process Effects 0.000 claims description 53
- 230000009466 transformation Effects 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000012546 transfer Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010845 search algorithm Methods 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000000746 purification Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000005397 spin echo fourier transformation Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的若干幅无序影像智能分类与拼接方法，一是采用改进的基于BBF的K‑D树特征匹配方法进行若干幅无序影像特征匹配；二是定义拼接相关度用于描述影像间的相关性，定义拼接可信度用于描述影像之间相关强度；三是对相关影像进行排序优先宽度遍历，实现无序影像高速智能分类；四是通过优化传递式拼接方法降低影像拼接误差，结合影像拼接线和融合算法实现影像拼接。实践表明，本发明实现了更快速的特征匹配，定义了更精准的影像相关性描述量，实现更高速的影像智能分类与拼接，是无序影像智能分类与拼接的成功实践，实用高效、易于扩展、精准快速，解决了多幅无序影像智能分类与精准拼接问题。
Description
技术领域
本发明涉及一种无序影像分类与拼接方法，特别涉及若干幅无序影像智能分类与拼接方法，属于无序影像拼接技术领域。
背景技术
影像拼接广泛应用于遥感影像处理、虚拟现实等领域，是计算机视觉与影像处理领域的重要内容，有着良好的市场价值与应用前景。伴随影像采集设备的普及和丰富，影像存储和网络信息分享更加便捷，影像数量急剧增长，不同场景、无序影像更具普遍性。这些影像可能由不同用户在不同场景、不同设备、不同视角下拍摄，它们之间的相对关系未知，属于多场景无序影像集。同时伴随航空、计算机、传感器等技术迅猛发展，低空数字摄影测量如无人机遥感已成为新兴发展方向，无人机等低空摄影设备，以其灵活机动、低成本、操作简单等优点成为遥感数据的重要获取手段。影像拼接是无人机等低空遥感应用中的一项重要内容，由于无人机等低空设备采集影像中飞行速度和位置较传统摄影测量设备，都有较大不可控性，采集的大量影像也呈现无序状态，存在重复采集、缺失采集的情况。
影像集中影像具有较强的独立性，同时大容量存储技术的进步，可能出现若干幅局部区域场景影像。因此实际应用中不同场景、无序影像将更加普遍，然而现有技术影像拼接技术主要针对的是单组有顺序的序列影像，该序列影像之间拼接相关性已知或者较为简单，主要是特征点提取，相邻序列影像之间的匹配等问题。对于无序影像拼接，必须考虑每幅影像与其它影像相关性及分类问题，对匹配效率、匹配准确性等问题提出了挑战。如何更为快速的实现大量特征的匹配；如何定义更为精准的量来描述影像间的相关性；如果影像不是来自同一组场景，如何高速实现若干幅无序影像的智能分类与拼接。
无序影像拼接实现分三步。首先为所有影像提取局部不变特征并完成影像特征匹配，其次对完成特征匹配的多场景无序影像进行分类，最后对分类后同一组内即一系列具有重叠区域的影像进行拼接与融合，实现多场景无序影像拼接。以下主要分析以上三部分的现有技术及发展趋势。
现有技术的影像特征匹配是确定影像之间同名点的过程，根据邻接影像之间视角变化情况，分为窄基线匹配和宽基线匹配。其中，窄基线匹配常在航空摄影测量影像处理中出现，常采用协相关系数法；宽基线情况下，邻接影像之间视角变换较大，常采用基于特征的匹配方法。局部影像特征向更加高效、低存储的方向发展，这将使得以后局部影像特征在快速实时性、大规模的应用中发挥更大的作用。
现有技术的无序影像分类常出现在计算机视觉的多视匹配、影像识别、影像检索等领域。无序影像分类大致分为二类，一种是穷举匹配法，另一种是基于机器学习的字典树法。虽然穷举法精度较高，但是其效率伴随影像数量的增加而严重下降，影响其在很多领域的应用。基于机器学习的字典树法，采用对影像特征聚类分析的方式得到字典树，对应的查询影像采用与字典树的叶子节点数相同的维数来表示，在效率上有很大提高，由于机器学习过程中损失较多信息，容易出现影像分类错误，比如基于机器学习的字典树法的分类准确度就比较低。
现有技术的影像拼接大致分成两类：直接法和基于影像特征的方法。直接法利用到一切有利数据，影像配准精度较高，然而该方法需要较高质量的初始数据；而基于影像特征的方法不需要初始数据。现有技术的影像拼接技术大多集中在单组有顺序的序列影像，主要针对特征点提取，相邻序列影像之间的匹配等问题，但只适用于影像之间仅存在平移的情况，对影像的旋转、缩放以及灰度变换有局限性，对于尺度变换明显的影像特征匹配精度提高意义并不大。
综上，现有技术都还存在一些明显不足，表现在以下方面：
一是影像拼接技术广泛应用于医学影像、遥感影像处理、数字地图和卫星影像生成、虚拟现实等领域，是影像处理与计算机视觉领域的一项重要内容。现有技术的影像拼接主要针对的是单组有顺序的序列影像，影像之间拼接相关性已知或者较为简单，同时内容也主要是特征点提取，相邻序列影像之间的匹配等问题。但伴随影像采集设备的普及，不同场景的影像更具有普遍性，若干幅无序影像拼接技术有着重要意义和巨大应用价值。；
二是现有技术影像拼接技术主要针对的是单组有顺序的序列影像，该序列影像之间拼接相关性已知或者较为简单，主要是特征点提取，相邻序列影像之间的匹配等问题。对于无序影像拼接，必须考虑每幅影像与其它影像相关性及分类问题，对匹配效率、匹配准确性等问题提出了挑战。如何更为快速的实现大量特征的匹配；如何定义更为精准的量来描述影像间的相关性；如果影像不是来自同一组场景，如何高速实现无序影像的智能分类与拼接的问题还有待解决；
三是现有技术无法根据影像分类结果计算影像拼接矩阵，无法实现若干幅无序影像拼接；不能快速、准确地实现无序影像智能分类与拼接，不能利用无序影像，拼接得到视觉效果更好的宽视角影像；不能智能、可靠的实现无人机等低空影像数据处理；不能针对不同时间、不同用户、不同场景拍摄的大数据量、不同质量的影像进行处理，无法实现海量影像的分类检索，不能够满足行业需求；
四是现有技术无法实现快速的特征匹配，无法实现高速的影像智能分类与拼接，对于复杂且大量的无序影像分类与拼接的设计与实现较弱，只适合于小规模影像分类与拼接，且精度不高、可移植能力较差，一般只运用于特定的领域，同时存在交互性能弱、智能化程度低、可扩展性低、分类速度慢、拼接精度低等缺陷。
发明内容
本发明提供的若干幅无序影像智能分类与拼接方法，提出了针对若干幅无序影像的快速特征匹配方法；定义了拼接相关度和可信度的概念用于描述影像之间的相关性；结合图论将影像作为图节点，若干幅无序影像构成非连通图，通过遍历非连通图实现无序影像集智能分类；根据影像分类结果计算影像拼接矩阵，实现若干幅无序影像拼接；可以快速、准确地实现若干幅无序影像智能分类与拼接，利用无序影像，拼接得到视觉效果更好的宽视角影像；能够智能、可靠的实现无人机等低空影像数据处理；针对不同时间、不同用户、不同场景拍摄的大数据量、不同质量的影像高效处理，实现海量影像的分类检索与拼接，是一种具备显著创新性，且优势突出的无序影像分类与拼接方法。
为达到以上技术效果，本发明所采用的技术方案如下：
若干幅无序影像智能分类与拼接方法，一是提出了改进的基于BBF的K-D树特征匹配方法，首先，提取所有无序影像的SIFT特征，将所有特征合并构建具有特征索引的K-D树特征总库；然后，采用基于BBF的K-D树类似最近邻搜索算法为每幅影像的特征进行匹配，实现大量特征快速匹配；二是定义拼接相关度和拼接可信度描述影像之间相关性，并给出了无序影像相关定量计算式；三是基于图论知识，通过遍历若干幅无序影像构成的非连通图，实现影像智能分类和有序化；将影像作为图节点则若干幅无序影像构成非连通图，将影像之间拼接可信度作为图节点之间连接权，若干幅无序影像智能分类问题转化为遍历非连通图得到若干幅连通子图的过程；优先宽度遍历按场景划分的连通子图，在遍历过程中优先拓展连接权较大的分支，得到最佳拼接路径；四是采用改进的传递式拼接方法计算影像拼接矩阵，结合影像拼接线和融合算法实现若干幅影像拼接；
若干幅无序影像智能分类与拼接方法的整体流程为：
第1步，对影像库中每幅影像提取SEFT特征，创建K-D树特征总库；
第2步，将影像库中每幅影像i的每个特征，与总特征库K-D树特征总库进行匹配，寻求最接近的m个特征，找到这m个最接近特征指向的影像获得邻近影像集pi；
第3步，对影像i与影像集pi中每幅影像j的匹配特征进行RANSAC提纯，同时得到影像间透视变换矩阵hDi-j；
第4步，计算影像拼接相关度Wij、拼接可信度Oij，Wij和Oij大于临界值才加入邻近影像集Gi；
第5步，遍历若干幅无序影像集对应的非连通图，得到若干幅连通子图实现智能分类，对邻近影像集Gi中每幅影像j与影像E的拼接可信度Oij进行排序，优先宽度遍历连通子图，得到最佳拼接路径；
第6步，采用改进的传递式拼接方法，计算连通子图中每幅影像的拼接矩阵，假设影像i为影像j的上级节点影像i的拼接矩阵为Di，则影像j的拼接矩阵为Dj＝DiDij；
第7步，根据拼接矩阵将影像变换到拼接坐标系下，根据泰森多边形算法生成影像拼接线；
第8步，结合拼接线进行影像拼接与融合，生成若干幅拼接影像。
若干幅无序影像智能分类与拼接方法，进一步的，构建具有特征索引的K-D树特征总库中，具有特征索引的K-D树特征库中每个叶子节点中存储了该特征所在的影像编号，影像特征在K-D树中搜索到最邻近特征的同时，还通过最邻近特征找到其所在影像编号，实现影像相关；具有特征索引的K-D树节点数据结构增加ImageID数据，该数据用于存储特征节点所在影像编号；
对若干幅无序影像集中所有影像分别提取SIFT特征，将所有影像的SIFT特征合并，然后按照构建K-D树的步骤，构建具有特征索引的K-D树特征总库；以K-D树特征库为索引，若干幅无序影像中每幅影像的每个特征，都找到匹配特征及其对应的影像，得到每幅影像的邻接影像集及相关特征数据，为若干幅无序影像分类提供数据；
在K-D树特征总库中进行邻近查询是特征匹配的重要步骤，通过K-D树搜索与待匹配特征具有最邻近空间距离的特征，完成特征匹配。
若干幅无序影像智能分类与拼接方法，进一步的，本发明采用改进的基于BBF的K-D树的类似最近邻查询算法，进行影像特征匹配；具体类似最近邻查询过程为：
第一步，从K-D树的根部开始，将查询点P与中间点mpoint(i,n)比较选择分支，i为维度，n中间点对应值，将未被选中的分支所在的位置及与查询点P的距离存入优先队列Formation；
第二步，按照第一步中所述过程进行访问，直到所在分支的所有叶节点均为访问，并记录下与查询点P具有最短距离的节点并更新最短距离MinDistance；
第三步，对K-D树按照优先队列Formation中记录数据，进行回溯，并实时更新最短距离MinDistance及对应数据点，直到Formation为空或达到最大回溯次数；
其中大小为m的K-D树检索算法复杂度是glog2m，其中g是BBF算法中的迭代次数，是一个有限的较小的正整数。
若干幅无序影像智能分类与拼接方法，进一步的，实现若干幅无序影像特征匹配是对无序影像集中所有影像分别提取特征，然后构建具有特征索引的K-D树特征总库，影像集中的每幅影像的每个特征，通过搜索K-D树特征总库，找到类似邻近特征并记录下该匹配特征所在的影像编号及匹配空间距离；
对若干幅无序影像集中所有影像按照流程进行特征匹配后，获得每幅影像的邻接影像集p，即可得到若干幅无序影像之间的特征相关关系，为后续的若干幅无序影像智能分类及影像拼接提供数据；
小部分特征匹配结果存在明显错误即粗差，为了后续的若干幅无序影像智能分类以及影像拼接，需要提供高纯度的特征匹配数据，剔除错误匹配关系；本发明采用RANSAC算法剔除错误匹配。
若干幅无序影像智能分类与拼接方法，进一步的，优先宽度遍历连通子图获取最佳拼接路径中，连通图的优先宽度遍历是从图结构的某个节点U0出发，依次访问节点U0的邻节点L1,L2,...，然后访问节点L1的邻节点，L2的邻节点，依次类推；即从节点U0开始，按层次依次访问邻接点，直到连通图的所有节点都被访问到；优先宽度遍历过程需保证所有的节点均被访问一次，从节点出发，依次访问未被访问过的邻接点，同时需使先被访问过的节点的邻接点，先于后被访问的节点的邻接点被访问到，依次类推，直到图结构中所有的图节点被访问到为止；
本发明将计算得到的影像之间的拼接可信度，作为图节点之间的连接权，在对连通子图遍历过程中，对图节点的邻接节点按照连接权大小排序，优先拓展连接权较大的分支，保证以最佳路径访问，也即获得最佳影像拼接路径。
若干幅无序影像智能分类与拼接方法，进一步的，传递式拼接方法是根据相邻影像之间的配准关系，通过传递相乘的方式得到每幅影像到参考影像的几何变换矩阵；影像E1为参考影像，D12、D23、D3j、DjM为相邻影像之间的配准关系，m为影像数，3＜j≤m，D13、D1j、D1m为通过传递式相乘得到的影像到参考影像E1的几何变换矩阵；
为得到每组连通子图中每个图节点相对于参考影像的拼接矩阵D，从其中一个图节点出发，将该影像的拼接矩阵D定义为D0；其它图节点i的拼接矩阵为Di，计算式为：
Di＝Dq*Dq-i
式中Dq是图节点i上一级邻接点q的拼接矩阵；Dq-i是影像i与影像q之间的透视变换矩阵；例如，影像E3相对于参考影像E1的几何变换矩阵D13表示为：D13＝D12D23；传递式拼接方法是将相邻影像的配准关系，根据传递相乘方式得到每幅影像到参考影像的几何变换矩阵，将每幅影像直接变换到拼接坐标系得到拼接影像。
若干幅无序影像智能分类与拼接方法，进一步的，本发明从二个方面改进传递式拼接方法：一是降低影像之间配准误差；二是减少传递次数，降低累计误差；
降低影像之间配准误差中，通过RANSAC匹配提纯计算，得到若干幅无序影像集中每幅影像i与其邻接影像集pi中每幅影像j的单应变换矩阵Dij，及满足该单应矩阵模型的最大一致性同名点对；利用该最大一致性同名点对，采用基于投影误差最小的最小二乘算法，计算得到相邻影像之间的最佳单应变换矩阵D；对有多个相等数目的最大一致性同名点对的情况，采用一致性同名点对中所有数据累计模型距离最小的一致性集合，计算D矩阵的最小二乘解；假设影像i与其邻接影像集pi中影像有n对同名内点，
和
是其中一对，
和
在影像i上的投影点，为计算出单应矩阵Dij需满足n≥4，结合最小二乘算法计算下式，得到影像i与邻接影像j之间的几何变换矩阵Dij，
式中：
其中d33＝1；
最小二乘算法的目标函数为：
通过基于投影误差最小的最小二乘算法，计算得到相邻图像之间的最优单应变换矩阵D，提高配准精度，降低影像间的配准误差。
若干幅无序影像智能分类与拼接方法，进一步的，降低累计误差采用降低传递相乘次数的方法，降低传递式拼接的误差积累，具体方法包括以下两种：第一种，选择合适的参考影像；第二种，以最小深度的连通子图树结构得到最佳拼接路径；
传递式拼接方法的参考影像，对应于优先宽度遍历连通子图获取最佳拼接路径中遍历连通子图时的首节点，参考影像选取准则即为首节点选取准则：准则一，选取邻节点数最多的图节点作为遍历的首节点；准则二，对于邻节点数目相等的节点，则选择与邻节点连接权累计值最大的图节点作为首节点；本发明采用优先宽度遍历连通子图的方式，得到具有最小深度的树结构，用于传递式拼接矩阵的计算。
若干幅无序影像智能分类与拼接方法，进一步的，基于拼接矩阵的直接影像拼接中，假设同一场景影像集E1，E2，E3…Em中E1为参考影像，根据拼接矩阵D1将影像E1映射到拼接坐标系；根据拼接矩阵D2将影像E2映射到拼接坐标系；根据拼接矩阵D3将影像E3映射到拼接坐标系；以此类推，直到将最后一幅影像Em映射到拼接坐标系，这样从第1幅参考影像到第m幅影像逐幅拼接得到最终拼接结果影像Am(x,y)；
通过优先宽度遍历连通子图得到最佳拼接路径，采用传递式拼接方法得到连通子图中每幅影像的拼接矩阵，然后根据拼接矩阵进行影像拼接；上述过程是针对单组影像集的拼接矩阵计算，对于若干幅无序影像的拼接矩阵计算，根据若干幅无序影像分类结果，对每组影像集分别计算影像拼接矩阵。
若干幅无序影像智能分类与拼接方法，进一步的，基于拼接线的影像拼接是采用泰森多边形算法计算重叠影像之间的拼接线，顾及重叠面的泰森多边形图是对重叠区归属的重新划分，首先通过搜索影像边界区域获取影像的有效范围，将影像范围外的区域的像素进行最大最小灰度值填充，然后采用顾及重叠的面泰森多边形生成方法，计算重叠影像间的平分线并生成泰森多边形，从而形成接缝线网络；重叠影像之间拼接线生成流程：
流程一，判定影像Ei和影像Ej是否具有重叠区域，如果具有重叠区域则计算影像Ei和影像Ej之间的分割线；
流程二，用该分割线剪裁影像Ei和影像Ej范围；
流程三，将剪裁得到的范围作为影像的新范围更新；
流程四，重复以上流程一至流程三的过程，直到完成影像集拼接线计算；
对影像拼接线附近区域影像进行融合处理；本发明采用多波段融合算法，融合拼接线附近影像。
与现有技术相比，本发明的贡献和创新点在于：
第一，本发明提供的若干幅无序影像智能分类与拼接方法，主要得利于三个方面：一是采用改进的基于BBF的K-D树特征匹配方法进行若干幅无序影像特征匹配；二是定义拼接相关度用于描述影像间的相关性，定义拼接可信度用于描述影像之间相关强度；三是对相关影像进行排序优先宽度遍历，实现无序影像高速智能分类；四是通过优化传递式拼接方法降低影像拼接误差，结合影像拼接线和融合算法实现影像拼接。实践表明，本发明实现了更快速的特征匹配，定义了更精准的影像相关性描述量，实现更高速的影像智能分类与拼接，是无序影像智能分类与拼接的成功实践，实用高效、易于扩展、精准快速，解决了多幅无序影像智能分类与精准拼接问题。
第二，本发明提供的若干幅无序影像智能分类与拼接方法，采用SEFT特征提取及描述算法，并考虑到SEFT描述符的高维特性采用基于BBF的具有特征索引的最近邻匹配算法，并采用RANSAC算法剔除错误匹配；通过构建K-D树特征总库进行特征匹配，该算法较传统的穷举匹配算法以及基于BBF的K-D树匹配算法在搜索效率有大幅度提高；特别针对影像集包含多场景且无序的情况，将特征索引引入K-D树，为若干幅无序影像智能分类奠定基础；提出的影像拼接相关度和拼接可信度概念，以及其定量的计算式；为实现若干幅无序影像智能分类，引入非连通描述若干幅无序影像之间的相关性特征，结合影像相关性和拼接可信度，采用优先宽度遍历实现影像智能分类及最佳拼接路径计算；分析传递式影像拼接的两个主要误差，配准误差和积累误差，并提出针对降低这两个误差的优化方案，在此基础上计算出若干幅连通子图中每幅影像的拼接矩阵；针对基于拼接矩阵的直接影像拼接存在拼接边缘明显且色彩不一致的缺陷，采用泰森多边形算法计算影像拼接线并在拼接线附近区域进行影像融合，可有效实现若干幅影像拼接。本发明设计并实现了从众多无序影像中智能、快速、精准的分类与拼接方法，大幅提高无序影像分类与拼接性能；
第三，本发明提供的若干幅无序影像智能分类与拼接方法，提出了针对若干幅无序影像的快速特征匹配方法；定义了拼接相关度和可信度的概念用于描述影像之间的相关性，利用同名点数量，特征空间误差，匹配误差等重要参数建立数学模型，用于定量计算影像之间相关度；结合图论将影像作为图节点，若干幅无序影像构成非连通图，通过遍历非连通图实现无序影像集智能分类；根据影像分类结果计算影像拼接矩阵，实现若干幅无序影像拼接；可以快速、准确地实现若干幅无序影像智能分类与拼接，利用无序影像，拼接得到视觉效果更好的宽视角影像；能够智能、可靠的实现无人机等低空影像数据处理；针对不同时间、不同用户、不同场景拍摄的大数据量、不同质量的影像高效处理，实现海量影像的分类检索，是一种具备显著创新性，且优势突出的无序影像分类与拼接方法；
第四，本发明提供的若干幅无序影像智能分类与拼接方法，具有交互性能强、智能化程度高、可扩展性高、分类速度快、语言移植能力好、拼接精度高等优势，能实现若干幅无序影像分类、快速得到影像拼接结果。当前无序影像分类已是计算机视觉计算应用中重要内容，包括了三维重构、多视图匹配、影像检索、影像浏览等应用领域。基于此背景，本发明实现无序影像的智能分类及拼接，具有巨大的创造价值和市场运用空间。
附图说明
图1是本发明基于支持向量机的文档信息提取流程示意图。
图2是本发明若干幅无序影像分类及特征拼接流程示意图。
图3是本发明无序影像特征匹配的具体流程示意图。
图4是本发明若干幅无序影像对应的非连通图。
图5是本发明遍历非连通图得到的三组连通子图。
图6是本发明连通子图优先宽度遍历结果示意图。
图7是本发明的传递式拼接方法示意图。
图8是本发明的图像拼接过程和拼接示例图。
具体实施方式
下面结合附图，对本发明提供的若干幅无序影像智能分类与拼接方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。
本发明针对若干幅无序影像智能分类与拼接中的三大问题：一是更快速的进行特征匹配，二是定义更精准的影像相关性描述量，三是更高速的实现影像智能分类与拼接，提出了基于拼接相关度的若干幅无序影像智能分类与拼接方法；主要包括：
一是提出了改进的基于BBF的K-D树特征匹配方法，首先，提取所有无序影像的SIFT特征，将所有特征合并构建具有特征索引的K-D树特征总库；然后，采用基于BBF的K-D树类似最近邻搜索算法为每幅影像的特征进行匹配，实现大量特征快速匹配，通过分析证明本发明提出的改进的基于BBF的K-D树特征匹配方法相对于现有技术的两两影像匹配算法，匹配效率上有大幅提升；
二是定义拼接相关度和拼接可信度描述影像之间相关性，并给出了无序影像相关定量计算式；
三是基于图论知识，通过遍历若干幅无序影像构成的非连通图，实现影像智能分类和有序化；将影像作为图节点则若干幅无序影像构成非连通图，将影像之间拼接可信度作为图节点之间连接权，若干幅无序影像智能分类问题转化为遍历非连通图得到若干幅连通子图的过程；优先宽度遍历按场景划分的连通子图，在遍历过程中优先拓展连接权较大的分支，得到最佳拼接路径；
四是采用改进的传递式拼接方法计算影像拼接矩阵，结合影像拼接线和融合算法实现若干幅影像拼接，最后通过实验证明可有效实现若干幅影像拼接。
如图1所示，若干幅无序影像智能分类与拼接方法的整体流程为：
第1步，对影像库中每幅影像提取SEFT特征，创建K-D树特征总库；
第2步，将影像库中每幅影像i的每个特征，与总特征库K-D树特征总库进行匹配，寻求最接近的m个特征，找到这m个最接近特征指向的影像获得邻近影像集pi，实施例中选取m＝2；
第3步，对影像i与影像集pi中每幅影像j的匹配特征进行RANSAC提纯，同时得到影像间透视变换矩阵hDi-j；
第4步，计算影像拼接相关度Wij、拼接可信度Oij，Wij和Oij大于临界值才加入邻近影像集Gi；
第5步，遍历若干幅无序影像集对应的非连通图，得到若干幅连通子图实现智能分类，对邻近影像集Gi中每幅影像j与影像E的拼接可信度Oij进行排序，优先宽度遍历连通子图，得到最佳拼接路径；
第6步，采用改进的传递式拼接方法，计算连通子图中每幅影像的拼接矩阵，假设影像i为影像j的上级节点影像i的拼接矩阵为Di，则影像j的拼接矩阵为Dj＝DiDij；
第7步，根据拼接矩阵将影像变换到拼接坐标系下，根据泰森多边形算法生成影像拼接线；
第8步，结合拼接线进行影像拼接与融合，生成若干幅拼接影像。
一、若干幅无序影像特征匹配
考虑到待拼接影像集具有多场景、无序性的特点，本发明采用基于特征的方法进行特征匹配，实现后续若干幅无序影像智能分类和拼接。本发明提出改进的基于BBF的K-D树特征匹配算法，若干幅无序影像集中每幅影像在完成特征匹配的同时，得到其邻接影像集C，及特征匹配关系，为后续若干幅无序影像智能分类提供相关性评价数据；最后采用RANSAC对匹配结果提纯，更新每幅影像的邻接影像集C及特征匹配关系。若干幅无序影像分类及特征拼接流程图如图2所示。
(一)构建具有特征索引的K-D树特征总库
具有特征索引的K-D树特征库中每个叶子节点中存储了该特征所在的影像编号，影像特征在K-D树中搜索到最邻近特征的同时，还通过最邻近特征找到其所在影像编号，实现影像相关；具有特征索引的K-D树节点数据结构增加ImageID数据，该数据用于存储特征节点所在影像编号。
对若干幅无序影像集中所有影像分别提取SIFT特征，将所有影像的SIFT特征合并，然后按照构建K-D树的步骤，构建具有特征索引的K-D树特征总库。
以K-D树特征库为索引，若干幅无序影像中每幅影像的每个特征，都找到匹配特征及其对应的影像，得到每幅影像的邻接影像集及相关特征数据，为若干幅无序影像分类提供数据；通过特征库可大幅提高检索速度，找到的影像都是拼接相关度较大的候选影像，大幅降低后期影像匹配的计算量。
在K-D树特征总库中进行邻近查询是特征匹配的重要步骤，通过K-D树搜索与待匹配特征具有最邻近空间距离的特征，完成特征匹配；K-D树库中特征的数量非常大，但K-D树高效的近邻搜索算法使得算法效率得到很大提高，K-D树检索除速度快，另一个好处是能得多个接近特征。
(二)构建K-D树特征总库论证
本发明采用的方式是，对所有影像分别提取特征，将所有影像的特征合并，然后构建特征总库，最后每幅影像的特征搜索K-D树特征总库，实现特征匹配；如果对构建所有影像的K-D树特征总库，采用传统的K-D树节点数据结构，完成影像特征匹配的同时，无法得到影像之间特征相关关系。为此本发明在传统K-D树节点数据结构的基础上，增加了影像ImageID数据，改进成具有特征索引的K-D树特征总库，每幅影像搜索具有索引的K-D树特征总库后，即可同时得到该影像与其它影像的特征相关关系。
具有特征索引的K-D树特征总库的构建效率：对具有m个k维数据点的集合，构建K-D树的时间复杂度为X(k×n×log2n)，假设特征描述符的维数为k，无序影像集合中有w幅影像，每幅影像提取n个特征，总的特征数为M，则M＝w×n，基于K-D树的特征匹配方法，构建K-D树的时间复杂度为：
Told＝w×X(k×n×log2n)
Tnew＝X(k×M×log2M)
＝X(k×w×n×log2(w×n))
具有特征索引的K-D树特征总库和基于传统算法的K-D树特征库分别的构建时间复杂度Tnew和Told之间的比例关系e，只与单幅影像特征点数n以及影像总数w有关，设n＝1000，M＝1000w，对影像总数n变量取值，结论为：在K-D树构建时间复杂度方面，本发明提出的具有特征索引的K-D树特征总库，较基于传统算法的K-D树特征库，构建K-D树的时间复杂度持平，对于影像总数w＜n，Tnew/Told＜2.0，其中n＝20时e＝1.42，伴随w的增加而成对数形式缓慢增加；一般情况下影像总数w小于平均单幅影像特征数n，所以一般t＜2.0。因此，本发明构建所有影像特征总库的方式，较传统分别构建单幅影像特征库的构建时间复杂度增加量较少，两者属于同一量级；引申方法，对于大数据量的影像集，将其划分为若干影像子集，然后分别构建具有特征索引的K-D树特征总库。
(三)基于BBF的具有特征索引的K-D树特征匹配
1.基于BBF的K-D树查询方法
由于本发明采用的SIFT算法的特征描述符维数为128，直接采用K-D树最近邻查询算法，效率十分低下，为此本发明采用改进的基于BBF的K-D树的类似最近邻查询算法，进行影像特征匹配。
K-D树最邻近查询P在低维空间中效率较高，但是在高维空间中查询效率下降严重，主要原因是在查询时为找到数据集中P的最邻近点，需要回溯未被访问但与P的超球面有交集的空间区域，然而伴随K-D树维度k的增加，需回溯的节点数伴随增加。
基于BBF的K-D树的类似最近邻查询算法，主要增加以下二点，用于约束K-D树最邻近查询：一是针对K-D树最邻近查询在高维空间中，回溯次数太多，BBF采用限制回溯次数的方法；二是限制回溯次数，如果依然采用等权查询，会导致在回溯次数内可能无法找到最邻近点，对此BBF采用按优先顺序进行回溯查询，保证在回溯次数内有最大的概率搜索到最邻近点；其中，优先顺序按照树分支与查询点P的空间距离确定，距离越近优先权越大，反之则越少,在查询过程中，将未被访问的分支及其与查询点的空间距离，放入优先队列中，开始回溯时按照空间距离大小排序，距离越小优先权越大的优先查询；具体类似最近邻查询过程如下所示：
第一步，从K-D树的根部开始，将查询点P与中间点mpoint(i,n)比较选择分支，i为维度，n中间点对应值，将未被选中的分支所在的位置及与查询点P的距离存入优先队列Formation；
第二步，按照第一步中所述过程进行访问，直到所在分支的所有叶节点均为访问，并记录下与查询点P具有最短距离的节点并更新最短距离MinDistance；
第三步，对K-D树按照优先队列Formation中记录数据，进行回溯，并实时更新最短距离MinDistance及对应数据点，直到Formation为空或达到最大回溯次数。
该方法可有效减少回溯次数，大幅减小计算量，提高匹配速度。其中大小为m的K-D树检索算法复杂度是glog2m，其中g是BBF算法中的迭代次数，是一个有限的较小的正整数。
2.实现若干幅无序影像特征匹配
对若干幅无序影像集中所有影像分别提取特征，然后构建具有特征索引的K-D树特征总库，影像集中的每幅影像的每个特征，通过搜索K-D树特征总库，找到类似邻近特征并记录下该匹配特征所在的影像编号及匹配空间距离。
基于BBF的具有特征索引的K-D树搜索算法，进行若干幅无序影像特征匹配的具体流程如图3图所示，对若干幅无序影像集中影像i按照若干幅无序影像特征匹配的具体流程，对影像i的所有特征找到n个近邻特征，记录每个特征与其与n个近邻特征的匹配距离，得到影像i的邻接影像集pi，实施例中取n＝2，是排除搜索到特征自身后的设置，同时该设置考虑了影像之间可能存在多度重叠的情况。
对若干幅无序影像集中所有影像按照流程进行特征匹配后，获得每幅影像的邻接影像集p，即可得到若干幅无序影像之间的特征相关关系，为后续的若干幅无序影像智能分类及影像拼接提供数据。
小部分特征匹配结果存在明显错误即粗差，为了后续的若干幅无序影像智能分类以及影像拼接，需要提供高纯度的特征匹配数据，剔除错误匹配关系。本发明采用RANSAC算法剔除错误匹配。
二、若干幅无序影像智能分类
针对若干幅无序影像智能分类存在的二个问题，一是定义更为精准的影像相关性描述量、二是更为高速的实现智能分类，本发明提出基于拼接可信度的若干幅无序影像智能分类方法。
本发明得到的若干幅无序影像集中每幅影像的邻接影像集p及特征匹配关系，为实现影像智能分类提供了数据支持；对待拼接的无序影像，本发明定义影像拼接相关度和拼接可信度，描述影像之间的拼接相关性；本发明将影像作为图结构的节点，影像拼接关系转变成图节点的邻接关系，若干幅无序影像智能分类问题转化为对非连通图遍历获得若干幅连通子图的问题；为获得最佳拼接路径，采用优先宽度遍历连通子图，在遍历过程中将拼接可信度作为节点连接权进行排序，优先扩展连接权较大的分支。
(一)无序影像相关性判定
1.影像拼接相关度计算
利用构建的K-D树特征总库作过渡，待匹配影像无需将其特征单独与剩余每幅影像的特征一一匹配，只需检索特征库，找到与待匹配影像的特征距离最小的特征所指向的影像，去掉自身将剩余影像作为候选邻接影像；如果影像i的每个特征点在特征库中都检索到最近邻点对应的影像j，这些影像组成一个候选邻接影像集pi；假设影像i中有nij个特征指向pi中的影像j，用拼接相关度描述影像i与影像j之间的相关程度，其计算公式为：
式中，mi为影像i的SIFT特征总数，mj为特征库所指影像j的SIFT特征总数量，rij,k为影像i中特征点与影像j中对应的第k个特征点在特征空间中的距离，nij为影像i指向影像j特征点的总数量；s为防止rij,k为0造成公式无意义而添加的较小正数；建模依据为，式中倒数
表示误差，其值越小相关度ij越大；乘以nij，表示相对匹配特征数目越多，相关度Wij越大；求和
表示匹配数量越多，相关度Wij越大；除以MIN(mi,mj)表示平均单个匹配特征的连接强度，避免匹配特征数越多连接强度越大。
实验中将与影像i的拼接相关度Wij大于给定临界值t的候选影像j记录下来，其余的影像由于相关度太小可舍弃以减少后期运算量；对于无关场景RANSAC计算后仍保留少数匹配关系的情况，其匹配特征的空间距离一般较大，计算出的拼接相关度W较小，通过选取合适的拼接相关度临界值WL，即可排除这种情况。因此，拼接相关度临界值的选择，应尽量排除无关影像关系的干扰，同时保留具有强相关性的影像关系。
2.影像拼接可信度计算
匹配特征点对初步建立后，还需做容错匹配验证，预筛选匹配结果。因此，影像i需要与其相关的影像j，进一步做基于透视变换模型的RANSAC容错匹配，两张影像之间的单应矩阵含有8个未知数，需要至少4个平面点进行解算，如果RANSAC计算得到的内点数小于4，则将该相关影像从候选邻接影像集pi中剔除；然后根据相关影像之间的匹配点对，计算相关影像之间的透视变换矩阵hDi-j，hDi-j描述影像i与影像j之间的相对透视变换关系；同时，进一步计算匹配内点数≥4的影像j与影像i的拼接可信度，计算公式为：
Oij＝exp[-(m0+m*)/kWijmim]
式中，mim是影像i与影像j进行RANSAC计算的内点数；m*是满足影像i通过hDi-j透视变换后投影到影像j内部，且同时满足影像j通过
变换后能够投影到影像i内部的特征点数量。同时，上式将可拼接可信度映射到[0,1]值域范围内，便于统一化处理。
实施例中选取m0＝30、k＝100，同时舍弃拼接可信度Oij＜0.55的影像j，以减少后期拼接渲染的计算量；每幅影像i的每个特征点都可以在K-D树特征库中找到与其距离最接近的多个特征aij,k，其中，编号ij代表影像i通过K-D树特征库查找到相关影像j,k表示影像j中与影像i特征相匹配的特征编号，注意影像j不包含影像i自身。
将每幅影像看作一个节点，计算获得的影像拼接可信度Oij，描述图节点之间的连接权,建立以影像为节点用于拼接的图结构，若干幅无序影像智能分类问题转化为多个非连通子图节点的优先宽度遍历问题；每一个影像节点i都有，一个拼接矩阵Di，包含若干个与该节点相关的影像节点的集合G；两影像之间拼接可信度Oij，作为图节点之间的连接权，为提高拼接的准确性，先根据影像拼接可信度排序，优先扩展连接权较大的分支；在宽度搜索过程中，连接同名点多、匹配稳定的相关影像对，将优先进行拼接匹配计算。
3.相关性测试
对多组影像a、b、c分别进行特征提取及匹配，并对特征匹配结果进行RANSAC提纯，最后计算影像相关度及拼接可信度，综上分析可得，影像之间匹配特征数目占影像特征的比例越高，即重叠度越高，则具有越高的相关度和拼接可信度；对于经过RANSAC处理后仍存在误匹配的情况，由于其匹配特征数及所在特征比例较低，根据其计算得到的相关度和拼接可信度均较低，可以很容易剔除这种情况。两幅影像之间相关度和拼接可信度具有对称性，是由于两幅影像分别与K-D树特征库进行匹配，相互之间差异较小证明本发明特征匹配算法的有效性。
(二)优先宽度遍历实现智能分类
若干幅无序影像中属于同一场景的影像之间具有相关性，不同场景的影像之间不具有相关性，将影像作为图结构的节点，若干幅无序影像构成的图结构为非连通图；因而若干幅无序影像智能分类的问题，转化为在非连通图中遍历获得若干幅连通子图的实现过程。
本发明通过遍历非连通图获得若干幅连通子图，实现若干幅无序影像智能分类，然后采用优先宽度遍历的方式搜索连通子图，并将拼接可信度作为图节点之间的连接权，在遍历过程中优先拓展连接权较大的分支，进而获得最佳影像拼接路径。
1.遍历非连通图实现智能分类
由于若干幅无序影像集合，含有多个场景，不同场景的影像之间不具有连接关系，因而若干幅无序影像形成的为非连通图。计算若干幅无序影像之间的拼接可信度并舍弃拼接可信度Oij＜0.55的影像相关关系，得到影像相关性及拼接可信度统计表。拼接可信度统计表包含图节点的邻接关系，得到若干幅无序影像对应的非连通图，通过遍历非连通图，得到若干幅连通子图，进而实现若干幅无序影像的智能分类。
图4为非连通图，非连通图包含3组连通子图，表明该非连通图代表的若干幅无序影像集包含3个场景影像，其中，E1、E2、E3…E13代表若干幅无序影像集中影像，对非连通图进行遍历可以得到3组连通子图，连通子图包含的影像分别为E1、E2、E3、E4、E5、E6、E7；E8、E9和E10、E11、E12、E13，对应的连通子图分别如下图中的图(b)、图(c)、图(d)所示。
2.优先宽度遍历连通子图获取最佳拼接路径
连通图的优先宽度遍历是从图结构的某个节点U0出发，依次访问节点U0的邻节点L1,L2,...，然后访问节点L1的邻节点，L2的邻节点，依次类推；即从节点U0开始，按层次依次访问邻接点，直到连通图的所有节点都被访问到；优先宽度遍历过程需保证所有的节点均被访问一次，从节点出发，依次访问未被访问过的邻接点，同时需使先被访问过的节点的邻接点，先于后被访问的节点的邻接点被访问到，依次类推，直到图结构中所有的图节点被访问到为止；如果邻接点之间的顺序不确定，那么优先宽度遍历的结果不是唯一的。
本发明将计算得到的影像之间的拼接可信度，作为图节点之间的连接权，在对连通子图遍历过程中，对图节点的邻接节点按照连接权大小排序，优先拓展连接权较大的分支，保证以最佳路径访问，也即获得最佳影像拼接路径。图5中连通子图(X)遍历过程，对图节点E1的邻接点E2、E3、E4、E5遍历之前，首先对OE1-E2、OE1-E3、OE1-E4、OE1-E5按大小进行排序，假设OE1-E2＞OE1-E3＞OE1-E4＞OE1-E5，那么图节点E1的邻节点访问顺序是E2、E3、E4、E5；同理，在依次访问E2、E3、E4、E5的邻节点时，需要对其邻节点按连接权大小排序；依次类推，直到访问到最后一个节点。假设图5中，连通子图(X)中图节点E1与其邻节点之间的连接权关系为WE1E2＞WE1E3＞WE1E4＞WE1E5，连通子图(Y)中图节点E10与其邻节点之间的连接权关系为WE10E11＞WE10E12＞WE10E13，连通子图(X)、(Y)、(Z)遍历结果分别是E1-E2-E3-E4-E5-E7-E6；E8-E9；E10-E11-E12-E13，遍历获得的树结构如图6。
(三)实验结果与分析
本发明实现若干幅无序影像智能分类的步骤大致为：第一，利用本发明得到的每幅影像的邻接影像集p及特征匹配关系，计算影像之间的拼接相关度；第二，计算若干幅无序影像之间的拼接可信度，该拼接可信度已规范至[0-1]范围内，并舍弃拼接可信度小于Othreshold的值；第三，遍历若干幅无序影像对应的非连通图，获得若干幅连通子图，实现若干幅无序影像的智能分类；第四，优先宽度遍历连通子图，得到最佳拼接路径。
三、无序影像高效拼接
通过计算实现若干幅无序影像的智能分类，获得多场景分别对应的连通子图，本发明需要对每组连通子图中包含的无序影像进行高效拼接。影像拼接的重要步骤是影像坐标变换，此外，影像拼接过程中涉及到影像坐标变换。本发明提出无序影像拼接矩阵的计算及无序影像高效拼接的实现过程，实现快速、有效地实现无序影像拼接。
(一)影像拼接计算
1.传递式拼接方法
传递式拼接方法是根据相邻影像之间的配准关系，通过传递相乘的方式得到每幅影像到参考影像的几何变换矩阵。如图7所示为传递式拼接方法示意图，影像E1为参考影像，D12、D23、D3j、DjM为相邻影像之间的配准关系，m为影像数，3＜j≤m，D13、D1j、D1m为通过传递式相乘得到的影像到参考影像E1的几何变换矩阵。
为得到每组连通子图中每个图节点相对于参考影像的拼接矩阵D，从其中一个图节点出发，将该影像的拼接矩阵D定义为D0(可以是单位阵E)；其它图节点i的拼接矩阵为Di，计算式为：
Di＝Dq*Dq-i
式中Dq是图节点i上一级邻接点q的拼接矩阵；Dq-i是影像i与影像q之间的透视变换矩阵；例如，影像E3相对于参考影像E1的几何变换矩阵D13表示为：D13＝D12D23；传递式拼接方法是将相邻影像的配准关系，根据传递相乘方式得到每幅影像到参考影像的几何变换矩阵，将每幅影像直接变换到拼接坐标系得到拼接影像，因此具有计算量小，容易实现影像拼接的优势。
2.拼接误差解析
传递式拼接方法的误差主要分为两类：影像配准误差和累积误差，假设影像E1和影像E2的配准变换矩阵为D12，配准误差为ΔD12，而配准变换真值为
影像E2和影像E3的配准变换矩阵为D23，配准误差为ΔD23，而配准变换真值为
则有：
那么根据传递式拼接计算得到的影像E1和影像E3之间的配准变换矩阵为D13，真值为
则有：
D13＝D12D23
上式展开式中第一项为通过传递式拼接方法计算得到的影像变换矩阵，之后三项为误差项，伴随传递次数的增加，拼接误差不断积累。
3.改进的影像拼接方法
根据拼接误差解析得到结论：传递式拼接方法的主要误差为，影像配准误差和累积误差，且伴随传递次数的增加，拼接误差不断积累，本发明从二个方面改进传递式拼接方法：一是降低影像之间配准误差；二是减少传递次数，降低累计误差。
(1)降低影像之间配准误差
通过RANSAC匹配提纯计算，可得到若干幅无序影像集中每幅影像i与其邻接影像集pi中每幅影像j的单应变换矩阵Dij，及满足该单应矩阵模型的最大一致性同名点对；利用该最大一致性同名点对，采用基于投影误差最小的最小二乘算法，计算得到相邻影像之间的最佳单应变换矩阵D，从而进一步提高配准精度，降低影像之间的配准误差；对有多个相等数目的最大一致性同名点对的情况，采用一致性同名点对中所有数据累计模型距离最小的一致性集合，计算D矩阵的最小二乘解；假设影像i与其邻接影像集pi中影像有n对同名内点，
和
是其中一对，
和
在影像i上的投影点，为计算出单应矩阵Dij需满足n≥4，结合最小二乘算法计算下式，得到影像i与邻接影像j之间的几何变换矩阵Dij，
式中：
其中d33＝1；
最小二乘算法的目标函数为：
通过基于投影误差最小的最小二乘算法，计算得到相邻图像之间的最优单应变换矩阵D，进一步提高配准精度，降低影像间的配准误差。
(2)降低累计误差
本发明采用降低传递相乘次数的方法，降低传递式拼接的误差积累，具体方法包括以下两种：第一种，选择合适的参考影像；第二种，以最小深度的连通子图树结构得到最佳拼接路径。
传递式拼接方法的参考影像，对应于优先宽度遍历连通子图获取最佳拼接路径中遍历连通子图时的首节点，参考影像选取准则即为首节点选取准则：准则一，选取邻节点数最多的图节点作为遍历的首节点；准则二，对于邻节点数目相等的节点，则选择与邻节点连接权累计值最大的图节点作为首节点。本发明采用优先宽度遍历连通子图的方式，得到具有最小深度的树结构，用于传递式拼接矩阵的计算。
(二)影像拼接与融合
1.基于拼接矩阵的直接影像拼接
假设同一场景影像集E1，E2，E3…Em中E1为参考影像，根据拼接矩阵D1将影像E1映射到拼接坐标系；根据拼接矩阵D2将影像E2映射到拼接坐标系；根据拼接矩阵D3将影像E3映射到拼接坐标系；以此类推，直到将最后一幅影像Em映射到拼接坐标系，这样从第1幅参考影像到第m幅影像逐幅拼接得到最终拼接结果影像Am(x,y)。影像拼接过程中的影像坐标变换示意图如图8(a)所示，拼接示例如图8(b)。
通过优先宽度遍历连通子图得到最佳拼接路径，采用传递式拼接方法得到连通子图中每幅影像的拼接矩阵，然后根据拼接矩阵进行影像拼接；上述过程是针对单组影像集的拼接矩阵计算，对于若干幅无序影像的拼接矩阵计算，可根据若干幅无序影像分类结果，对每组影像集分别计算影像拼接矩阵。
观察图8可以看出，基于拼接矩阵的直接拼接影像中影像边界明显，且边界处色彩不一致，为得到整体色彩一致，且拼接边缘平滑的拼接影像，本发明基于拼接线和融合算法进行影像拼接。
2.基于拼接线的影像拼接
本发明采用泰森多边形算法计算重叠影像之间的拼接线，顾及重叠面的泰森多边形图是对重叠区归属的重新划分，这种划分是没有冗余、无缝的，算法首先通过搜索影像边界区域获取影像的有效范围，将影像范围外的区域的像素进行最大最小灰度值填充，然后采用顾及重叠的面泰森多边形生成方法，计算重叠影像间的平分线并生成泰森多边形，从而形成接缝线网络；重叠影像之间拼接线生成流程：
流程一，判定影像Ei和影像Ej是否具有重叠区域，如果具有重叠区域则计算影像Ei和影像Ej之间的分割线；
流程二，用该分割线剪裁影像Ei和影像Ej范围；
流程三，将剪裁得到的范围作为影像的新范围更新；
流程四，重复以上流程一至流程三的过程，直到完成影像集拼接线计算；
由于影像采集时相机光圈大小，光照强度，及运动视差等方面的差异，重叠影像之间存在色彩差异，为了得到整体色彩一致性较高，且拼接边缘光滑的拼接影像，对影像拼接线附近区域影像进行融合处理；本发明采用多波段融合算法，融合拼接线附近影像，达到自然过渡的效果。
Claims (10)
1.若干幅无序影像智能分类与拼接方法，其特征在于，一是提出了改进的基于BBF的K-D树特征匹配方法，首先，提取所有无序影像的SIFT特征，将所有特征合并构建具有特征索引的K-D树特征总库；然后，采用基于BBF的K-D树类似最近邻搜索算法为每幅影像的特征进行匹配，实现大量特征快速匹配；二是定义拼接相关度和拼接可信度描述影像之间相关性，并给出了无序影像相关定量计算式；三是基于图论知识，通过遍历若干幅无序影像构成的非连通图，实现影像智能分类和有序化；将影像作为图节点则若干幅无序影像构成非连通图，将影像之间拼接可信度作为图节点之间连接权，若干幅无序影像智能分类问题转化为遍历非连通图得到若干幅连通子图的过程；优先宽度遍历按场景划分的连通子图，在遍历过程中优先拓展连接权较大的分支，得到最佳拼接路径；四是采用改进的传递式拼接方法计算影像拼接矩阵，结合影像拼接线和融合算法实现若干幅影像拼接；
若干幅无序影像智能分类与拼接方法的整体流程为：
第1步，对影像库中每幅影像提取SEFT特征，创建K-D树特征总库；
第2步，将影像库中每幅影像i的每个特征，与总特征库K-D树特征总库进行匹配，寻求最接近的m个特征，找到这m个最接近特征指向的影像获得邻近影像集pi；
第3步，对影像i与影像集pi中每幅影像j的匹配特征进行RANSAC提纯，同时得到影像间透视变换矩阵hDi-j；
第4步，计算影像拼接相关度Wij、拼接可信度Oij，Wij和Oij大于临界值才加入邻近影像集Gi；
第5步，遍历若干幅无序影像集对应的非连通图，得到若干幅连通子图实现智能分类，对邻近影像集Gi中每幅影像j与影像E的拼接可信度Oij进行排序，优先宽度遍历连通子图，得到最佳拼接路径；
第6步，采用改进的传递式拼接方法，计算连通子图中每幅影像的拼接矩阵，假设影像i为影像j的上级节点影像i的拼接矩阵为Di，则影像j的拼接矩阵为Dj＝DiDij；
第7步，根据拼接矩阵将影像变换到拼接坐标系下，根据泰森多边形算法生成影像拼接线；
第8步，结合拼接线进行影像拼接与融合，生成若干幅拼接影像。
2.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，构建具有特征索引的K-D树特征总库中，具有特征索引的K-D树特征库中每个叶子节点中存储了该特征所在的影像编号，影像特征在K-D树中搜索到最邻近特征的同时，还通过最邻近特征找到其所在影像编号，实现影像相关；具有特征索引的K-D树节点数据结构增加ImageID数据，该数据用于存储特征节点所在影像编号；
对若干幅无序影像集中所有影像分别提取SIFT特征，将所有影像的SIFT特征合并，然后按照构建K-D树的步骤，构建具有特征索引的K-D树特征总库；以K-D树特征库为索引，若干幅无序影像中每幅影像的每个特征，都找到匹配特征及其对应的影像，得到每幅影像的邻接影像集及相关特征数据，为若干幅无序影像分类提供数据；
在K-D树特征总库中进行邻近查询是特征匹配的重要步骤，通过K-D树搜索与待匹配特征具有最邻近空间距离的特征，完成特征匹配。
3.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，本发明采用改进的基于BBF的K-D树的类似最近邻查询算法，进行影像特征匹配；具体类似最近邻查询过程为：
第一步，从K-D树的根部开始，将查询点P与中间点mpoint(i,n)比较选择分支，i为维度，n中间点对应值，将未被选中的分支所在的位置及与查询点P的距离存入优先队列Formation；
第二步，按照第一步中所述过程进行访问，直到所在分支的所有叶节点均为访问，并记录下与查询点P具有最短距离的节点并更新最短距离MinDistance；
第三步，对K-D树按照优先队列Formation中记录数据，进行回溯，并实时更新最短距离MinDistance及对应数据点，直到Formation为空或达到最大回溯次数；
其中大小为m的K-D树检索算法复杂度是glog2m，其中g是BBF算法中的迭代次数，是一个有限的较小的正整数。
4.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，实现若干幅无序影像特征匹配是对无序影像集中所有影像分别提取特征，然后构建具有特征索引的K-D树特征总库，影像集中的每幅影像的每个特征，通过搜索K-D树特征总库，找到类似邻近特征并记录下该匹配特征所在的影像编号及匹配空间距离；
对若干幅无序影像集中所有影像按照流程进行特征匹配后，获得每幅影像的邻接影像集p，即可得到若干幅无序影像之间的特征相关关系，为后续的若干幅无序影像智能分类及影像拼接提供数据；
小部分特征匹配结果存在明显错误即粗差，为了后续的若干幅无序影像智能分类以及影像拼接，需要提供高纯度的特征匹配数据，剔除错误匹配关系；本发明采用RANSAC算法剔除错误匹配。
5.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，优先宽度遍历连通子图获取最佳拼接路径中，连通图的优先宽度遍历是从图结构的某个节点U0出发，依次访问节点U0的邻节点L1,L2,...，然后访问节点L1的邻节点，L2的邻节点，依次类推；即从节点U0开始，按层次依次访问邻接点，直到连通图的所有节点都被访问到；优先宽度遍历过程需保证所有的节点均被访问一次，从节点出发，依次访问未被访问过的邻接点，同时需使先被访问过的节点的邻接点，先于后被访问的节点的邻接点被访问到，依次类推，直到图结构中所有的图节点被访问到为止；
本发明将计算得到的影像之间的拼接可信度，作为图节点之间的连接权，在对连通子图遍历过程中，对图节点的邻接节点按照连接权大小排序，优先拓展连接权较大的分支，保证以最佳路径访问，也即获得最佳影像拼接路径。
6.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，传递式拼接方法是根据相邻影像之间的配准关系，通过传递相乘的方式得到每幅影像到参考影像的几何变换矩阵；影像E1为参考影像，D12、D23、D3j、DjM为相邻影像之间的配准关系，m为影像数，3＜j≤m，D13、D1j、D1m为通过传递式相乘得到的影像到参考影像E1的几何变换矩阵；
为得到每组连通子图中每个图节点相对于参考影像的拼接矩阵D，从其中一个图节点出发，将该影像的拼接矩阵D定义为D0；其它图节点i的拼接矩阵为Di，计算式为：
Di＝Dq*Dq-i
式中Dq是图节点i上一级邻接点q的拼接矩阵；Dq-i是影像i与影像q之间的透视变换矩阵；例如，影像E3相对于参考影像E1的几何变换矩阵D13表示为：D13＝D12D23；传递式拼接方法是将相邻影像的配准关系，根据传递相乘方式得到每幅影像到参考影像的几何变换矩阵，将每幅影像直接变换到拼接坐标系得到拼接影像。
7.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，本发明从二个方面改进传递式拼接方法：一是降低影像之间配准误差；二是减少传递次数，降低累计误差；
降低影像之间配准误差中，通过RANSAC匹配提纯计算，得到若干幅无序影像集中每幅影像i与其邻接影像集pi中每幅影像j的单应变换矩阵Dij，及满足该单应矩阵模型的最大一致性同名点对；利用该最大一致性同名点对，采用基于投影误差最小的最小二乘算法，计算得到相邻影像之间的最佳单应变换矩阵D；对有多个相等数目的最大一致性同名点对的情况，采用一致性同名点对中所有数据累计模型距离最小的一致性集合，计算D矩阵的最小二乘解；假设影像i与其邻接影像集pi中影像有n对同名内点，
和
是其中一对，
和
在影像i上的投影点，为计算出单应矩阵Dij需满足n≥4，结合最小二乘算法计算下式，得到影像i与邻接影像j之间的几何变换矩阵Dij，
式中：
其中d33＝1；
最小二乘算法的目标函数为：
通过基于投影误差最小的最小二乘算法，计算得到相邻图像之间的最优单应变换矩阵D，提高配准精度，降低影像间的配准误差。
8.根据权利要求7所述的若干幅无序影像智能分类与拼接方法，其特征在于，降低累计误差采用降低传递相乘次数的方法，降低传递式拼接的误差积累，具体方法包括以下两种：第一种，选择合适的参考影像；第二种，以最小深度的连通子图树结构得到最佳拼接路径；
传递式拼接方法的参考影像，对应于优先宽度遍历连通子图获取最佳拼接路径中遍历连通子图时的首节点，参考影像选取准则即为首节点选取准则：准则一，选取邻节点数最多的图节点作为遍历的首节点；准则二，对于邻节点数目相等的节点，则选择与邻节点连接权累计值最大的图节点作为首节点；本发明采用优先宽度遍历连通子图的方式，得到具有最小深度的树结构，用于传递式拼接矩阵的计算。
9.根据权利要求1所述的若干幅无序影像智能分类与拼接方法，其特征在于，基于拼接矩阵的直接影像拼接中，假设同一场景影像集E1，E2，E3…Em中E1为参考影像，根据拼接矩阵D1将影像E1映射到拼接坐标系；根据拼接矩阵D2将影像E2映射到拼接坐标系；根据拼接矩阵D3将影像E3映射到拼接坐标系；以此类推，直到将最后一幅影像Em映射到拼接坐标系，这样从第1幅参考影像到第m幅影像逐幅拼接得到最终拼接结果影像Am(x,y)；
通过优先宽度遍历连通子图得到最佳拼接路径，采用传递式拼接方法得到连通子图中每幅影像的拼接矩阵，然后根据拼接矩阵进行影像拼接；上述过程是针对单组影像集的拼接矩阵计算，对于若干幅无序影像的拼接矩阵计算，根据若干幅无序影像分类结果，对每组影像集分别计算影像拼接矩阵。
10.根据权利要求9所述的若干幅无序影像智能分类与拼接方法，其特征在于，基于拼接线的影像拼接是采用泰森多边形算法计算重叠影像之间的拼接线，顾及重叠面的泰森多边形图是对重叠区归属的重新划分，首先通过搜索影像边界区域获取影像的有效范围，将影像范围外的区域的像素进行最大最小灰度值填充，然后采用顾及重叠的面泰森多边形生成方法，计算重叠影像间的平分线并生成泰森多边形，从而形成接缝线网络；重叠影像之间拼接线生成流程：
流程一，判定影像Ei和影像Ej是否具有重叠区域，如果具有重叠区域则计算影像Ei和影像Ej之间的分割线；
流程二，用该分割线剪裁影像Ei和影像Ej范围；
流程三，将剪裁得到的范围作为影像的新范围更新；
流程四，重复以上流程一至流程三的过程，直到完成影像集拼接线计算；
对影像拼接线附近区域影像进行融合处理；本发明采用多波段融合算法，融合拼接线附近影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011004237.9A CN112101475A (zh) | 2020-09-22 | 2020-09-22 | 若干幅无序影像智能分类与拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011004237.9A CN112101475A (zh) | 2020-09-22 | 2020-09-22 | 若干幅无序影像智能分类与拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112101475A true CN112101475A (zh) | 2020-12-18 |
Family
ID=73755855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011004237.9A Pending CN112101475A (zh) | 2020-09-22 | 2020-09-22 | 若干幅无序影像智能分类与拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101475A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492681A (zh) * | 2022-04-19 | 2022-05-13 | 南通人民彩印有限公司 | 应用电子设备识别彩印包装图案方法及其计算机视觉系统 |
| CN115471403A (zh) * | 2022-10-18 | 2022-12-13 | 如你所视(北京)科技有限公司 | 图像处理方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100591608B1 (ko) * | 2005-03-18 | 2006-06-20 | 전남대학교산학협력단 | 영상 정합시 대응점 검색방법 |
| CN104156968A (zh) * | 2014-08-19 | 2014-11-19 | 山东临沂烟草有限公司 | 大面积地形复杂区域无人机序列影像快速无缝拼接方法 |
| CN106952225A (zh) * | 2017-02-15 | 2017-07-14 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
| US20170262246A1 (en) * | 2016-03-09 | 2017-09-14 | Boe Technology Group Co., Ltd. | Splicing-screen display system and splicing display method |
| CN107918927A (zh) * | 2017-11-30 | 2018-04-17 | 武汉理工大学 | 一种匹配策略融合及低误差的快速图像拼接方法 |
| CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
-
2020
- 2020-09-22 CN CN202011004237.9A patent/CN112101475A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100591608B1 (ko) * | 2005-03-18 | 2006-06-20 | 전남대학교산학협력단 | 영상 정합시 대응점 검색방법 |
| CN104156968A (zh) * | 2014-08-19 | 2014-11-19 | 山东临沂烟草有限公司 | 大面积地形复杂区域无人机序列影像快速无缝拼接方法 |
| US20170262246A1 (en) * | 2016-03-09 | 2017-09-14 | Boe Technology Group Co., Ltd. | Splicing-screen display system and splicing display method |
| CN106952225A (zh) * | 2017-02-15 | 2017-07-14 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
| CN107918927A (zh) * | 2017-11-30 | 2018-04-17 | 武汉理工大学 | 一种匹配策略融合及低误差的快速图像拼接方法 |
| CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈慧颖: "多组无序图像自动分与拼接算法研究", 《武汉大学硕士学位论文》, 31 December 2018 (2018-12-31), pages 2 - 4 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492681A (zh) * | 2022-04-19 | 2022-05-13 | 南通人民彩印有限公司 | 应用电子设备识别彩印包装图案方法及其计算机视觉系统 |
| CN115471403A (zh) * | 2022-10-18 | 2022-12-13 | 如你所视(北京)科技有限公司 | 图像处理方法、装置及存储介质 |
| CN115471403B (zh) * | 2022-10-18 | 2024-02-13 | 如你所视(北京)科技有限公司 | 图像处理方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Neural 3d reconstruction in the wild | |
| Sattler et al. | Fast image-based localization using direct 2d-to-3d matching | |
| Snavely | Scene reconstruction and visualization from internet photo collections: A survey | |
| Snavely et al. | Skeletal graphs for efficient structure from motion | |
| US8645380B2 (en) | Optimized KD-tree for scalable search | |
| Tung et al. | The augmented multiresolution Reeb graph approach for content-based retrieval of 3D shapes | |
| CN109658445A (zh) | 网络训练方法、增量建图方法、定位方法、装置及设备 | |
| Beis et al. | Indexing without invariants in 3d object recognition | |
| US8429174B2 (en) | Methods, systems, and data structures for performing searches on three dimensional objects | |
| Weyand et al. | Discovering favorite views of popular places with iconoid shift | |
| Klopschitz et al. | Robust incremental structure from motion | |
| CN112085072B (zh) | 基于时空特征信息的草图检索三维模型的跨模态检索方法 | |
| Tao et al. | Partial retrieval of CAD models based on the gradient flows in Lie group | |
| CN112101475A (zh) | 若干幅无序影像智能分类与拼接方法 | |
| Wang et al. | Fast SIFT feature matching algorithm based on geometric transformation | |
| CN113628329B (zh) | 一种零样本草图三维点云检索方法 | |
| Yan et al. | Geometrically based linear iterative clustering for quantitative feature correspondence | |
| Lai et al. | 2D3D-MVPNet: Learning cross-domain feature descriptors for 2D-3D matching based on multi-view projections of point clouds | |
| Cinaroglu et al. | Long-term image-based vehicle localization improved with learnt semantic descriptors | |
| Guo et al. | Line-based 3d building abstraction and polygonal surface reconstruction from images | |
| CN117312594A (zh) | 一种融合双尺度特征的草图化机械零件库检索方法 | |
| Cao et al. | Stable image matching for 3D reconstruction in outdoor | |
| Cao et al. | Evaluation of local features for structure from motion | |
| Ma et al. | Vision-based indoor positioning method by joint using 2d images and 3d point cloud map | |
| CN106652023A (zh) | 一种大规模无序图像快速运动恢复结构的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |