CN114943823A - 基于深度学习语义感知的无人机图像拼接方法及系统 - Google Patents
基于深度学习语义感知的无人机图像拼接方法及系统 Download PDFInfo
- Publication number
- CN114943823A CN114943823A CN202210880785.0A CN202210880785A CN114943823A CN 114943823 A CN114943823 A CN 114943823A CN 202210880785 A CN202210880785 A CN 202210880785A CN 114943823 A CN114943823 A CN 114943823A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned aerial
- aerial vehicle
- spliced
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013135 deep learning Methods 0.000 title claims abstract description 45
- 230000008447 perception Effects 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 69
- 230000006870 function Effects 0.000 claims abstract description 61
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 14
- 238000005520 cutting process Methods 0.000 claims abstract description 12
- 210000003746 feather Anatomy 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 25
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000032669 eclosion Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于深度学习语义感知的无人机图像拼接方法及系统，其方法包括：通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；基于深度学习语义感知网络对重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；根据重叠图像区域及建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；根据加权能量有向图及建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。因此深度学习语义感知的图像拼接方法在搜索待拼接无人机图像的重叠区域时能绕开建筑物的最优接缝线，实现图像高质量拼接。
Description
技术领域
本发明涉及图像拼接领域，具体是涉及一种基于深度学习语义感知的无人机图像拼接方法及系统。
背景技术
传统图像拼接方法基于图像特征点进行图像序列的特征匹配，计算两两图像之间的映射关系，将所有图像映射到同一拼接平面，在图像之间的重叠区域搜索接缝线并进行图像融合，实现图像的无缝拼接，在光照变化不明显且不包含建筑物场景下能够取得较好的拼接效果。然而在无人机城市航拍图像中，包含大量的建筑物区域，由于建筑物屋顶纹理和梯度变化不明显，搜索的接缝线易穿过弱纹理区域的建筑物墙面、屋顶等区域，导致拼接图像出现明显的建筑物错位现象。
近年来，越来越多研究人员开展了改进最优接缝线搜索方法研究。现有改进的最优接缝线搜索算法利用辅助数据确保接缝线禁止穿越指定区域。此外，部分研究引入超像素分割结果改进接缝线优化算法。与传统方法相比，改进的接缝线优化算法考虑了更多的梯度和纹理信息。尽管上述接缝线优化算法取得了一定的进展，但尚未充分利用图像中的语义信息，只利用了颜色、梯度或纹理的图像信息，忽略或没有充分利用重叠图像区域之间的像素相似性与语义信息，导致在存在明显前景对象如建筑物场景下拼接图像出现建筑物错位、不对齐的问题。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于深度学习语义感知的无人机图像拼接方法及系统，该方法旨在搜索待拼接无人机图像的重叠区域中能绕开建筑物的最优接缝线，实现图像高质量拼接；相比于传统图像拼接方法，深度学习语义感知的无人机图像拼接方法具有拼接效果好、接缝自然的优点。
第一方面，提供一种基于深度学习语义感知的无人机图像拼接方法，包括以下步骤：
分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；
对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；
基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；
根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；
根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。
根据第一方面，在第一方面的第一种可能的实现方式中，所述“分别对两个待拼接无人机图像进行图像畸变校正及图像去噪”步骤，包括以下步骤：
根据相机参数、待拼接无人机图像像素点，获取待拼接无人机图像像素点对应的畸变校正像素点，并对所述畸变校正像素点通过双线性插值进行映射；
通过高斯滤波对图像畸变校正后的两个待拼接无人机图像进行平滑卷积处理去噪。
根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述“对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域”步骤，包括以下步骤：
提取两个待拼接无人机图像的sift特征点，通过极值检测在sift特征点中选取主特征点，赋予主特征点主方向，根据主特征点邻域内的其他特征点方向及主特征点主方向获取描述子；
根据所述描述子建立K-D树，在K-D树中通过欧式空间最近邻方法获得两个待拼接无人机图像的多个匹配特征点对；
根据多个所述匹配特征点对，通过RANSAC方法筛除多个匹配特征点对中的误匹配特征点对，根据筛除后的多个匹配特征点对通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域。
根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述“基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取无建筑物特征的建筑物分割图像”步骤，包括以下步骤：
裁剪所述重叠图像区域为相同尺寸的训练集图像，并对所述训练集图像进行扩增；
基于深度学习语义感知网络将扩增后的训练集图像分别通过高分辨率分支和低分辨率分支各提取一种图像特征信息，并将两种图像特征信息进行双边特征融合，并提取无人机图像中的建筑物区域获取初始预测建筑物分割图像；
对所述初始预测分割图像进行形态学图像处理及全连接CRFs后处理，获取建筑物分割图像。
根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述“根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图”步骤，包括以下步骤：
根据边缘轮廓能量成本函数提获取所述重叠图像区域的边缘轮廓信息；
在所述建筑物分割图像中，根据梯度大小能量成本函数获取两个待拼接无人机图像的梯度大小信息；
在所述建筑物分割图像中，根据颜色差异能量成本函数获取两个待拼接无人机图像的颜色差异信息；
通过对所述边缘轮廓信息、所述梯度大小信息及所述颜色差异信息进行加权融合，获取加权融合能量成本函数；
根据加权融合能量成本函数构建加权能量有向图。
根据第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述“通过对所述边缘轮廓信息、所述梯度大小信息及所述颜色差异信息进行加权融合，获取加权融合能量成本函数”步骤，包括以下步骤：
根据颜色差异信息对应的能量成本函数为：
根据梯度大小信息对应的能量成本函数为：
根据边缘轮廓信息对应的能量成本函数为：
获取获取加权融合能量成本函数为：
式（一）、（二）、（三）、（四）中，
分别为在RGB颜色空间中其中一
个待拼接无人机图像的像素点x的R、G、B颜色分量的大小，
及
分别为其中一个待
拼接无人机图像的像素点x的水平梯度及垂直梯度，Rq(x)、Gq(x)、Bq(x)分别为在RGB颜色空
间中另一个待拼接无人机图像的像素点x的R、G、B颜色分量的大小，Gq x(x)及Gq y(x)分别为
另一个待拼接无人机图像的像素点x的水平梯度及垂直梯度，a为预设常量，edge为有效边
缘轮廓像素点。
根据第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述“根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线”步骤，包括以下步骤：
将无人机图像分割结果中的所有无建筑物区域的像素点作为加权能量有向图的节点；
在加权能量有向图的所有节点之间构建弧，通过将所有弧进行流量初始化构建残留网络图，获取残留网络图中残余容量初始化；
在残留网络图中获取源点至汇点之间的增广链路，所述增广链路中残余容量的最小值为新增流的增量；
根据所述残余容量初始化及所述新增流的增量，更新残留网络图中弧的流量，获取更新后的残留网络图，直至更新后的残留网络图中获取不到新的增广链路，获取更新后的残留网络图中残余容量为0的弧构建最小割集；
根据所述最小割集，获取相邻两个最小割之间的交界为最优接缝线。
根据第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述“通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像”步骤，包括以下步骤：
获取最终拼接图像为I：
式（五）中，n为建筑物分割图像的数量，Ii为最优接缝线两边的图像，Wi为Ii对应的权值。
第二方面，提供一种基于深度学习语义感知的图像拼接系统，包括：
预处理模块，用于分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；
单应矩阵映射模块，与所述预处理模块通信连接，用于对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；
语义分割模块，与所述单应矩阵映射模块通信连接，用于基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；
加权融合能量成本模块，与所述语义分割模块及所述单应矩阵映射模块均通信连接，用于根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；
最终拼接图像模块，与所述加权融合能量成本模块及所述语义分割模块通信连接，用于根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。
与现有技术相比，本发明首先分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；再对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；再基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；再根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；最后根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。因此种基于深度学习语义感知的图像拼接方法旨在搜索待拼接无人机图像的重叠区域中能绕开建筑物的最优接缝线，实现图像高质量拼接；相比于传统图像拼接方法，深度学习语义感知的图像拼接方法具有拼接效果好、接缝自然的优点。
附图说明
图1是本发明一实施例提供的一种基于深度学习语义感知的无人机图像拼接方法的流程示意图；
图2是本发明一实施例提供的一种基于深度学习语义感知的无人机图像拼接系统的结构示意图。
附图说明：
100、基于深度学习语义感知的无人机图像拼接系统；110、预处理模块；120、单应矩阵映射模块；130、语义分割模块；140加权融合能量成本模块；150、最终拼接图像模块。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
参见图1所示，本发明实施例提供一种基于深度学习语义感知的图像拼接方法，包括以下步骤：
S100，分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；
S200，对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；
S300，基于深度学习语义感知网络对所述重叠图像区域提取建筑物区域，获取建筑物分割图像；
S400，根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；
S500，根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。
具体的，本实施例中，本发明首先分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；再对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；再基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；再根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；最后根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。因此基于深度学习语义感知的图像拼接方法旨在搜索待拼接无人机图像的重叠区域中能绕开建筑物的最优接缝线，实现图像高质量拼接；相比于传统图像拼接方法，深度学习语义感知的图像拼接方法具有拼接效果好、接缝自然的优点。
优选地，在本申请另外的实施例中，所述“S100，分别对两个待拼接无人机图像进行图像畸变校正及图像去噪”步骤，包括以下步骤：
S110，根据相机参数、待拼接无人机图像像素点，获取待拼接无人机图像像素点对应的畸变校正像素点，并对所述畸变校正像素点通过双线性插值进行映射；
S120，通过高斯滤波对图像畸变校正后的两个待拼接无人机图像进行平滑卷积处理去噪。
具体的，本实施例中，由于待拼接的两幅图像之间存在着平移、旋转、光照强度变化等变换关系，同时部分场景存在噪声、部分前景对象存在畸变、图像不清晰等问题，使得图像特征不明显、特征点提取数量少且易出现误匹配进而导致拼接效果不对齐、拼接质量低等问题出现。为了改善待拼接无人机图像质量，通过对输入图像进行畸变校正改善图像的畸变情况，并通过高斯滤波器对畸变校正后的图像去除存在的部分噪声，最大程度保留待拼接无人机图像的细节。
S110，通过查询相机参数获得径向畸变系数k1、k2，偏行畸变系数P1、P2，设像主点
的坐标为
，设待拼接无人机图像中的某一个像素点为
，则像素点的坐标变
形公式定义如下：
其中，
，像素点
进行图像畸变校正后对
应的像素点为
，那么
的坐标可由下式求出：
当获取了获取待拼接无人机图像像素点对应的畸变校正像素点后，由于畸变图像
映射到畸变校正后的图像上的像素点不一定是整数点，需要对畸变校正后的图像通过双线
性插值进行映射，将
的坐标表示为（i+u，j+v），i及j代表像素点的行和列的整数部
分，u及v代表像素点的小数部分，则双线性插值映射公式为：
其中，f(i,j)，f(i+1,j)，f(i,j+1)，f(i+1,j+1)分别为像素点
周围的行
和列坐标均为整数的四个像素点。
S120，高斯滤波公式为：
滤波窗口矩阵M(i,j)为(2k+1)*(2k+1)，i和j分别为滤波窗口矩阵的行和列坐标，
k为控制滤波窗口矩阵大小的参数，
为高斯分布的标准差，如果
较小，那么生成的高斯
滤波的中心系数越大，而周围的系数越小，这样对图像的平滑效果就不是很明显；相反
较
大时，则生成的模板的各个系数相近，对图像的平滑效果就比较明显。
优选地，在本申请另外的实施例中，所述“S200，对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域”步骤，包括以下步骤：
S210，提取两个待拼接无人机图像的sift特征点，通过极值检测在sift特征点中选取主特征点，赋予主特征点主方向，根据主特征点邻域内的其他特征点方向及主特征点主方向获取描述子；
S220，根据所述描述子建立K-D树，在K-D树中通过欧式空间最近邻方法获得两个待拼接无人机图像的多个匹配特征点对；
S230，根据多个所述匹配特征点对，通过RANSAC方法筛除多个匹配特征点对中的误匹配特征点对，根据筛除后的多个匹配特征点对通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域。
具体的，本实施例中，在图像拼接的流程中，相机之间相互位置关系不能确定，各个相机之间存在着很大的位移和偏角。基于传统的几何位置关系的直接拼接方法往往难以计算得到较为准确的相互位置关系，使得图像配准结果不够准确甚至在一些较为苛刻的情况下算法无法收敛导致得不到结果。因此为了改善图像配准质量，使用基于特征的图像配准技术对两幅视角和位姿差距很大的图像进行特征检测与匹配。
S210，提取两个待拼接无人机图像的sift特征点，使用高斯卷积模板和图像金字塔建立尺度空间，在各个尺度上的图像域和尺度域检测极值获取候选特征点位置，随后使用统计的方法赋予主特征点主方向，根据主特征点邻域内的其他特征点方向及主特征点主方向获取描述子。
S220，根据所述描述子建立K-D树（是在k维欧几里德空间组织点的数据结构），根
据与一个待拼接无人机图像I2中的某一个特征点β最相似的待拼接无人机图像I1中的K个
特征点，对这K个特征点；设K为2，设图像I1中与β最相似的两个特征点为α及β，用
和
分
别表示特征点β与特征点α、β之间的距离，并且
，如满足公式：
其中θ为匹配阈值，当满足上述公式则认为特征点β的匹配点为特征点α，进而两个待拼接无人机图像的多个匹配特征点对；
S230，随机抽取四对不共线的匹配特征点对；计算单应矩阵H，σ为此时的初始化投
影误差的阈值，设待拼接无人机图像I1的像素点为P(x,y)，待拼接无人机图像I2为
，
两幅图像之间的对应点存在着如下关系：
随机选取四个点对计算得到单应矩阵H后，将像素点为P(x,y)重投影到待配准图
像上计算重投影误差
，如果重投影误差
，则将像素点为P(x,y)
加入到内点集合I中，不符合的点为外点，进行无匹配筛除；如果内点集合I中元素数量比最
优内点集合Ibest中的元素数量多，则更新
；重复上述步骤，直到当前迭代次数超出
设定迭代次数N，获取最优内点集，使用最优内点集计算最终单应矩阵，通过最终单应矩阵
将一个待拼接无人机图像映射至另一个待拼接无人机图像上，从而获取两个待拼接无人机
图像的重叠图像区域。
优选地，在本申请另外的实施例中，所述“S300，基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像”步骤，包括以下步骤：
S310，裁剪所述重叠图像区域为相同尺寸的训练集图像，并对所述训练集图像进行扩增；
S320，基于深度学习语义感知网络将扩增后的训练集图像分别通过高分辨率分支和低分辨率分支各提取一种图像特征信息，并将两种图像特征信息进行双边特征融合，并提取无人机图像中的建筑物区域获取初始预测建筑物分割图像；
S330，对所述初始预测分割图像进行形态学图像处理及全连接CRFs后处理，获取建筑物分割图像。
具体的，本实施例中，由于拍摄的相机为小孔成像相机，无人机拍摄的图像存在投影差。同一建筑物在不同视角航拍图像下的成像不同，当接缝线穿过建筑物时，拼接图像会出现严重的建筑物错位、不对齐现象，大大影响图像拼接的质量。为了确保搜索得到的接缝线尽可能避免穿过建筑物，通过深度学习语义感知网络对待拼接无人机图像进行建筑物分割，提取图像中的建筑物区域，在原有传统图割法的基础上增加建筑物约束项。
S310，裁剪所述重叠图像区域为相同尺寸的训练集图像，将裁剪后的数据集图像进行翻转、旋转、放缩和随机擦除扩增数据集。
S320，基于深度学习语义感知网络将扩增后的训练集图像分别通过高分辨率分支和低分辨率分支各提取一种图像特征信息，高分辨率分支保持较高的分辨率，低分辨率分支通过多阶段下采样获得丰富的语义信息，在低分辨率分支上加入深度聚合金字塔池化模块增加模型感受用以提取更丰富的语义信息，具体为：深度聚合空间金字塔池化模块先对低分辨率特征图通过池化核以指数增长的步长生成尺寸为128*128，256*256，512*512的下采样特征图，并逐步分层融合，对所述的不同尺寸特征图通过卷积进行上采样，再通过卷积后与上一层的特征图进行融合。
将两种图像特征信息进行双边特征融合，具体为：对高分辨率分支通过卷积层进行降采样至低分辨率并融合到低分辨率分支，同时对低分辨率分支通过卷积层减少通道数以及双线性插值至高分辨率并融合到高分辨率分支，完成高分辨分支和低分辨率分支的特征融合。
定义重叠图像区域为有效区域和无效区域，非建筑物区域为有效区域，建筑物区域为无效区域，公式定义如下：
因此，通过定义搜索重叠图像区域的有效区域和无效区域，提高了搜索得到的接缝线质量，使接缝线可以很好地避开建筑物区域，避免拼接图像出现建筑物错位；同时仅在图像重叠区域的无建筑物特征的有效区域搜索接缝线，可以有效加快接缝线的搜索速度。
S330，形态学图像处理是利用一种特殊的结构元来测量或提取输入图像中相应的形状或特征，以便进一步进行图像分析和目标识别；全连接CRFs后处理是能够结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理，优化分类图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到更细致的分割边界。
优选地，在本申请另外的实施例中，所述“S400，根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图”步骤，包括以下步骤：
S410，根据边缘轮廓能量成本函数提获取所述重叠图像区域的边缘轮廓信息；
S420，在所述建筑物分割图像中，根据梯度大小能量成本函数获取两个待拼接无人机图像的梯度大小信息；
S430，在所述建筑物分割图像中，根据颜色差异能量成本函数获取两个待拼接无人机图像的颜色差异信息；
S440，通过对所述边缘轮廓信息、所述梯度大小信息及所述颜色差异信息进行加权融合，获取加权融合能量成本函数；
S450，根据加权融合能量成本函数构建加权能量有向图。
优选地，在本申请另外的实施例中，所述“S440，通过对所述边缘轮廓信息、所述梯度大小信息及所述颜色差异信息进行加权融合，获取加权融合能量成本函数”步骤，包括以下步骤：
根据颜色差异信息对应的能量成本函数为：
根据梯度大小信息对应的能量成本函数为：
根据边缘轮廓信息对应的能量成本函数为：
获取获取加权融合能量成本函数为：
式（一）、（二）、（三）、（四）中，
分别为在RGB颜色空间中其中一
个待拼接无人机图像的像素点x的R、G、B颜色分量的大小，
及
分别为其中一个待
拼接无人机图像的像素点x的水平梯度及垂直梯度，Rq(x)、Gq(x)、Bq(x)分别为在RGB颜色空
间中另一个待拼接无人机图像的像素点x的R、G、B颜色分量的大小，Gq x(x)及Gq y(x)分别为
另一个待拼接无人机图像的像素点x的水平梯度及垂直梯度，a为预设常量，edge为有效边
缘轮廓像素点。
因此，采用传统图割法搜索得到的接缝线会从建筑物等明显物体穿过，导致拼接后的图像建筑物等错位问题。因此为确保接缝线尽可能穿过纹理较弱的区域，在原有能量项基础上将图像颜色差异、梯度大小、边缘轮廓信息融合到能量项中作为最终的加权融合能量成本函数。
优选地，在本申请另外的实施例中，所述“S500，根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线”步骤，包括以下步骤：
S510，将无人机图像分割结果中的所有无建筑物区域的像素点作为加权能量有向图的节点；
S520，在加权能量有向图的所有节点之间构建弧，通过将所有弧进行流量初始化构建残留网络图，获取残留网络图中残余容量初始化；
S530，在残留网络图中获取源点至汇点之间的增广链路，所述增广链路中残余容量的最小值为新增流的增量；
S540，根据所述残余容量初始化及所述新增流的增量，更新残留网络图中弧的流量，获取更新后的残留网络图，直至更新后的残留网络图中获取不到新的增广链路，获取更新后的残留网络图中残余容量为0的弧构建最小割集；
S550，根据所述最小割集，获取相邻两个最小割之间的交界为最优接缝线。
具体的，本实施例中，
S520，在加权能量有向图的所有节点之间构建弧，同时通过加权融合能量成本函数为构建的弧进行赋值(u,v)，(u,v)代表顶点u到顶点v的一条边，f(u,v)表示该边的流量，令f(u,v)=0，即将所有弧边的流量初始化为0，通过将所有弧进行流量初始化构建残留网络图，获取残留网络图中残余容量初始化，残余容量初始化为每条弧边的最大流量，即cf(u,v)=c(u,v)。
S530，在残留网络图中获取源点至汇点之间的增广链路，所述增广链路中残余容量cf(u,v)的最小值为新增流的增量Δf；
S540，根据所述残余容量初始化及所述新增流的增量，更新残留网络图中弧的流
量
。
优选地，在本申请另外的实施例中，所述“S500，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像”步骤，包括以下步骤：
获取最终拼接图像为I：
式（五）中，n为建筑物分割图像的数量，Ii为最优接缝线两边的图像，Wi为Ii对应的权值。
因此，由于人类视觉对图像中的接缝非常敏感，接缝消除也是图像拼接中的一个关键问题，接缝消除可以提高缝合图像的整体质量，使缝合图像中的信息更加准确。接缝通常出现在两幅图像的边界处，造成较大的像素方差或梯度差。接缝消除需要将这种差异减少到可接受的范围，使重叠区域的过渡更加平滑。在完成接缝线搜索后为了使待拼接无人机图像在搜索得到的最优接缝线附近过渡的更加自然、减少错位，采用羽化融合方法对最优接缝线附近的像素点进行融合，使拼接图像的重叠区域过渡得更加自然以淡化接缝线。
参见图2所示，本发明还提供了一种基于深度学习语义感知的图像拼接系统100，包括：
预处理模块110，用于分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；
单应矩阵映射模块120，与所述预处理模块110通信连接，用于对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；
语义分割模块130，与所述单应矩阵映射模块120通信连接，用于基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；
加权融合能量成本模块140，与所述语义分割模块130及所述单应矩阵映射模块120均通信连接，用于根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；
最终拼接图像模块150，与所述加权融合能量成本模块140及所述语义分割模块130通信连接，用于根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。
具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
基于同一发明构思，本申请实施例还提供一种基于图像拼接的全景相机，包括基于多角度镜头的视频流获取模块和算法处理器模块，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于深度学习语义感知的无人机图像拼接方法，其特征在于，包括以下步骤：
分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；
对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；
基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；
根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；
根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。
2.如权利要求1所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“分别对两个待拼接无人机图像进行图像畸变校正及图像去噪”步骤，包括以下步骤：
根据相机参数、待拼接无人机图像像素点，获取待拼接无人机图像像素点对应的畸变校正像素点，并对所述畸变校正像素点通过双线性插值进行映射；
通过高斯滤波对图像畸变校正后的两个待拼接无人机图像进行平滑卷积处理去噪。
3.如权利要求1所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域”步骤，包括以下步骤：
提取两个待拼接无人机图像的sift特征点，通过极值检测在sift特征点中选取主特征点，赋予主特征点主方向，根据主特征点邻域内的其他特征点方向及主特征点主方向获取描述子；
根据所述描述子建立K-D树，在K-D树中通过欧式空间最近邻方法获得两个待拼接无人机图像的多个匹配特征点对；
根据多个所述匹配特征点对，通过RANSAC方法筛除多个匹配特征点对中的误匹配特征点对，根据筛除后的多个匹配特征点对通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域。
4.如权利要求1所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像”步骤，包括以下步骤：
裁剪所述重叠图像区域为相同尺寸的训练集图像，并对所述训练集图像进行扩增；
基于深度学习语义感知网络将扩增后的训练集图像分别通过高分辨率分支和低分辨率分支各提取一种图像特征信息，并将两种图像特征信息进行双边特征融合，并提取无人机图像中的建筑物区域获取初始预测建筑物分割图像；
对所述初始预测分割图像进行形态学图像处理及全连接CRFs后处理，获取建筑物分割图像。
5.如权利要求1所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图”步骤，包括以下步骤：
根据边缘轮廓能量成本函数提获取所述重叠图像区域的边缘轮廓信息；
在所述建筑物分割图像中，根据梯度大小能量成本函数获取两个待拼接无人机图像的梯度大小信息；
在所述建筑物分割图像中，根据颜色差异能量成本函数获取两个待拼接无人机图像的颜色差异信息；
通过对所述边缘轮廓信息、所述梯度大小信息及所述颜色差异信息进行加权融合，获取加权融合能量成本函数；
根据加权融合能量成本函数构建加权能量有向图。
6.如权利要求5所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“通过对所述边缘轮廓信息、所述梯度大小信息及所述颜色差异信息进行加权融合，获取加权融合能量成本函数”步骤，包括以下步骤：
根据颜色差异信息对应的能量成本函数为：
根据梯度大小信息对应的能量成本函数为：
根据边缘轮廓信息对应的能量成本函数为：
获取加权融合能量成本函数为：
式（一）、（二）、（三）、（四）中，
分别为在RGB颜色空间中其中一
个待拼接无人机图像的像素点x的R、G、B颜色分量的大小，
及
分别为其中一个待
拼接无人机图像的像素点x的水平梯度及垂直梯度，Rq(x)、Gq(x)、Bq(x)分别为在RGB颜色空
间中另一个待拼接无人机图像的像素点x的R、G、B颜色分量的大小，Gq x(x)及Gq y(x)分别为
另一个待拼接无人机图像的像素点x的水平梯度及垂直梯度，a为预设常量，edge为有效边
缘轮廓像素点。
7.如权利要求1所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线”步骤，包括以下步骤：
将无人机图像分割结果中的所有无建筑物区域的像素点作为加权能量有向图的节点；
在加权能量有向图的所有节点之间构建弧，通过将所有弧进行流量初始化构建残留网络图，获取残留网络图中残余容量初始化；
在残留网络图中获取源点至汇点之间的增广链路，所述增广链路中残余容量的最小值为新增流的增量；
根据所述残余容量初始化及所述新增流的增量，更新残留网络图中弧的流量，获取更新后的残留网络图，直至更新后的残留网络图中获取不到新的增广链路，获取更新后的残留网络图中残余容量为0的弧构建最小割集；
根据所述最小割集，获取相邻两个最小割之间的交界为最优接缝线。
8.如权利要求1所述的基于深度学习语义感知的无人机图像拼接方法，其特征在于，所述“通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像”步骤，包括以下步骤：
获取最终拼接图像为I：
式（五）中，n为建筑物分割图像的数量，Ii为最优接缝线两边的图像，Wi为Ii对应的权值。
9.一种基于深度学习语义感知的无人机图像拼接系统，其特征在于，包括：
预处理模块，用于分别对两个待拼接无人机图像进行图像畸变校正及图像去噪；
单应矩阵映射模块，与所述预处理模块通信连接，用于对通过图像畸变校正及图像去噪处理后的两个待拼接无人机图像进行图像配准，通过单应矩阵映射获取两个待拼接无人机图像的重叠图像区域；
语义分割模块，与所述单应矩阵映射模块通信连接，用于基于深度学习语义感知网络对所述重叠图像区域提取无人机图像中的建筑物区域，获取建筑物分割图像；
加权融合能量成本模块，与所述语义分割模块及所述单应矩阵映射模块均通信连接，用于根据所述重叠图像区域及所述建筑物分割图像，获取加权融合能量成本函数，并根据加权融合能量成本函数构建加权能量有向图；
最终拼接图像模块，与所述加权融合能量成本模块及所述语义分割模块通信连接，用于根据所述加权能量有向图及所述建筑物分割图像，通过最大流及最小割方法搜索最优接缝线，通过羽化融合方法以最优接缝线为基准对两个待拼接无人机图像进行拼接，获取最终拼接图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210880785.0A CN114943823B (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习语义感知的无人机图像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210880785.0A CN114943823B (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习语义感知的无人机图像拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943823A true CN114943823A (zh) | 2022-08-26 |
| CN114943823B CN114943823B (zh) | 2022-10-28 |
Family
ID=82910716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210880785.0A Active CN114943823B (zh) | 2022-07-26 | 2022-07-26 | 基于深度学习语义感知的无人机图像拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943823B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710467A (zh) * | 2024-02-06 | 2024-03-15 | 天津云圣智能科技有限责任公司 | 无人机定位方法、设备及飞行器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840570A (zh) * | 2010-04-16 | 2010-09-22 | 广东工业大学 | 一种快速图像拼接方法 |
| CN103985133A (zh) * | 2014-05-30 | 2014-08-13 | 武汉大学 | 基于图割能量优化的影像间最优拼接线寻找方法及系统 |
| US20160063705A1 (en) * | 2014-08-28 | 2016-03-03 | Qualcomm Incorporated | Systems and methods for determining a seam |
| CN112991176A (zh) * | 2021-03-19 | 2021-06-18 | 南京工程学院 | 一种基于最佳缝合线的全景图像拼接方法 |
-
2022
- 2022-07-26 CN CN202210880785.0A patent/CN114943823B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840570A (zh) * | 2010-04-16 | 2010-09-22 | 广东工业大学 | 一种快速图像拼接方法 |
| CN103985133A (zh) * | 2014-05-30 | 2014-08-13 | 武汉大学 | 基于图割能量优化的影像间最优拼接线寻找方法及系统 |
| US20160063705A1 (en) * | 2014-08-28 | 2016-03-03 | Qualcomm Incorporated | Systems and methods for determining a seam |
| CN112991176A (zh) * | 2021-03-19 | 2021-06-18 | 南京工程学院 | 一种基于最佳缝合线的全景图像拼接方法 |
Non-Patent Citations (4)
| Title |
|---|
| LI LI ET AL.: "Optimal seamline detection for multiple image mosaicking via graph cuts", 《ISPRS J. PHOTOGRAMM. REMOTE SENS.》 * |
| LI LI ET AL.: "Optimal Seamline Detection for Orthoimage Mosaicking by Combining Deep Convolutional Neural Network and Graph Cuts", 《REMOTE SENSING》 * |
| QI CHEN ET AL.: "Automatic Seamline Network Generation for Urban Orthophoto Mosaicking with the Use of a Digital Surface Model", 《REMOTE SENSING》 * |
| 马东岭 等: "基于最优接缝线的加权融合影像拼接算法", 《测绘工程》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710467A (zh) * | 2024-02-06 | 2024-03-15 | 天津云圣智能科技有限责任公司 | 无人机定位方法、设备及飞行器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943823B (zh) | 2022-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
| Wen et al. | Deep color guided coarse-to-fine convolutional network cascade for depth image super-resolution | |
| CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
| CN106940876A (zh) | 一种基于surf的快速无人机航拍图像拼接算法 | |
| CN110390640A (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| CN103985133B (zh) | 基于图割能量优化的影像间最优拼接线寻找方法及系统 | |
| CN109035170B (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
| CN111192194B (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
| CN111553845B (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
| CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
| JP2013536960A (ja) | 写真から肖像スケッチを合成するシステム及び方法 | |
| CN113689331B (zh) | 一种复杂背景下的全景图像拼接方法 | |
| CN114943823B (zh) | 基于深度学习语义感知的无人机图像拼接方法及系统 | |
| Le et al. | Object removal from complex videos using a few annotations | |
| Wang et al. | Image-based building regularization using structural linear features | |
| CN114898041A (zh) | 一种基于光度误差的改进icp方法 | |
| CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| CN113378756B (zh) | 一种三维人体语义分割方法、终端设备及存储介质 | |
| CN114241372A (zh) | 一种应用于扇扫拼接的目标识别方法 | |
| Qu et al. | An algorithm of image mosaic based on binary tree and eliminating distortion error | |
| CN111951162A (zh) | 一种基于改进的surf算法的图像拼接方法 | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| Zhu et al. | Co-occurrent structural edge detection for color-guided depth map super-resolution | |
| CN110838130A (zh) | 一种快速模糊距离变换方法 | |
| Amirkolaee et al. | Convolutional neural network architecture for digital surface model estimation from single remote sensing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Patentee before: Wuhan Tuke Intelligent Technology Co.,Ltd. |