CN108416732A - 一种基于图像配准与多分辨率融合的全景图像拼接方法 - Google Patents

一种基于图像配准与多分辨率融合的全景图像拼接方法 Download PDF

Info

Publication number
CN108416732A
CN108416732A CN201810105951.3A CN201810105951A CN108416732A CN 108416732 A CN108416732 A CN 108416732A CN 201810105951 A CN201810105951 A CN 201810105951A CN 108416732 A CN108416732 A CN 108416732A
Authority
CN
China
Prior art keywords
image
contour
feature
binary
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810105951.3A
Other languages
English (en)
Inventor
杨春德
吴戈
史晶
耿明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810105951.3A priority Critical patent/CN108416732A/zh
Publication of CN108416732A publication Critical patent/CN108416732A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明请求保护一种是基于图像配准与多分辨率融合的全景图像拼接方法。将序列图像自适应阈值二值化处理并利用像素邻域关系提取图像轮廓信息，通过Hu不变矩特征的相似性度量方法快速估算图像轮廓结构的相似区域，然后在两幅原图像相似区域部分进行SIFT特征点提取。并用双向K最邻近分类算法进行特征点初始匹配，RANSAC算法筛选误匹配点，估计图像间的仿射变换矩阵。另外在图像融合方面，采用亮度均衡化与局部色彩映射处理。然后通过改进的拉普拉斯金字塔多分率融合算法对拼接图像进行融合，实现无缝拼接。本发明不仅缩短了图像拼接时间，提高图像拼接的效率，而且可以快速定位相似区域，有效改善拼接中的误匹配，提高图像配准精度。

Description

一种基于图像配准与多分辨率融合的全景图像拼接方法
技术领域
本发明属于计算机视觉与图像处理领域，具体地说，是一种全景图像拼接方法。
背景技术
随着计算机视觉飞速发展，社会对图像处理的需求也越来越高。将一组在空间上彼此关联并且有一部分重叠区域的图像序列进行配准，经重采样融合后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像，这种高分辨率无缝图像的技术称为图像拼接。图像拼接技术可以将采集到的图像序列合成一幅无缝全景高清图像，其应用前景十分宽广，图像拼接也在虚拟现实、遥感图像处理、医学图像分析、摄影测量学等领域具有重要的理论意义和应用价值。
目前，主流图像拼接技术可以分为图像配准和图像融合两个主要部分，其中图像配准方面有基于图像像素级特征点和基于区域的提取方法(如轮廓、纹理等)。特征点提取方法主流有SIFT(Scale Invariant Feature Transform,SIFT)，SIFT算法对于旋转、缩放和尺度变化保持不变性，对视角变化和噪声也有很强的鲁棒性，被广泛应用。也正是由于SIFT算法的这些特点，使得算法的复杂度很高，实际处理比较耗时。基于区域的提取方法是利用几何形状特征进行配准，处理简单而且速度快，但配准精度不够而且容易误匹配。图像融合在拼接中也属于关键环节，目前大多数的图像拼接都采用加权平均融合法，该方法对重叠区域进行加权平均处理，方法效果不佳且容易造成重叠区域模糊。
发明内容
本发明的目的在于解决图像拼接过程中时间花费较多，拼接效果较差等问题。利用基于Hu不变矩的图像轮廓特征与特征点相结合的配准模型。通过像素邻域关系提取轮廓信息，通过Hu不变矩向量进行相似区域度量，然后在两幅原图像相似区域部分进行SIFT特征点提取，并用KNN初始匹配与RANSAC精确匹配，筛选误匹配点，估计图像间的仿射变换矩阵。针对图像曝光不均匀以及拼接缝问题，采用亮度均衡化与局部色彩映射处理，使得图像曝光均匀。通过改进的多分率融合算法对拼接图像进行融合，实现无缝拼接。提出了一种基于图像配准与多分辨率融合的全景图像拼接方法。本发明的技术方案如下：
一种基于图像配准与多分辨率融合的全景图像拼接方法，其包括以下几个步骤：
步骤S1、对输入待拼接的图像序列进行预处理，将预处理后的图像分为参考图像L与目标图像R；
步骤S2、将参考图像L与目标图像R采用自适应阈值的二值化处理，通过孔洞填充方式去除轮廓特征不明显的区域，然后通过像素邻域关系模型进行快速轮廓提取，分别得到L和R的轮廓图像Lcontour和Rcontour；
步骤S3、通过Hu不变矩特征思想，将Lcontour和Rcontour转化为 和分别表示关于Lcontour和Rcontour的Hu不变矩向量。利用相似性度量方法进行若干次等距迭代计算，估算出待拼接图像的相似区域；
步骤S4、在参考图像与目标图像的相似区域分别进行基于SIFT算法的特征点提取，并通过欧式距离计算两幅图像特征点集合；
步骤S5、对参考图像和目标图像的重叠区域建立KD-tree(K-Dimensional tree，K维分割树)，并分别对参考图像L和目标图像R相互作为参考进行KNN匹配，提取两次匹配操作的公共匹配对作为初始匹配，采用RANSAC(Random Sample Consensus，随机抽样一致算法)算法对粗匹配过后的生成特征点对进行精确匹配；
步骤S6、采用局部色彩映射与亮度均衡的方法处理曝光不均匀以及色调不统一问题；
步骤S7、利用拉普拉斯金字塔多分辨率融合方法进行拼接缝消除以及鬼影问题处理；
步骤S8、利用自动矫直的方法对拼接过后的图像序列进行畸变扭曲矫正。
进一步的，所述步骤S2将参考图像L与目标图像R采用自适应阈值的二值化处理，通过孔洞填充方式去除轮廓特征不明显的区域，然后通过像素邻域关系模型进行快速轮廓提取，得到Lcontour和Rcontour；具体包括以下几个步骤：
S2.1：输入两幅待拼接图像L和R，设L为左图，R为右图，通过滤波去除噪声干扰，分别进行自适应阈值的二值化处理，得到相应的二值图像Lbinary和Rbinary；
S2.2：对图像Lbinary和Rbinary进行孔洞填充处理，快速提取主要轮廓结构信息，得到图像L* binary和R* binary(L* binary和R* binary分别表示已进行孔洞填充处理后的图像)；
S2.3：对二值图像L* binary和R* binary进行反色处理，即0代表黑色像素，1代表白色像素，对值为1的像素进行八邻域区域是否存在0值判断，当至少存在一个0值时，则该像素值不变，否则取反，得到的二值图像即为图像的轮廓结构信息，分别设为Lcontour和Rcontour；
进一步的，所述步骤S3利用相似性度量方法进行若干次等距迭代计算，估算出待拼接图像的相似区域；包括以下几个步骤：
S3.1S3.1以N(N＝W/20)个步长为单位，轮廓图像Lcontour从右往左依次取宽为20×i(1≤i＜N)，高为H的区域Li contour，轮廓图像Rcontour从左往右依次取宽为20×i(1≤i＜N)，高为H的区域Ri contour，其中W表示图像的宽度，Li contour和Ri contour分别表示第i次在轮廓图像Lcontour和轮廓图像Rcontour上所提取的区域，且该两部分区面积相等；
S3.2依次在步骤S3.1限定区域内分别计算图像轮廓的Hu不变矩和 和分别表示关于Lcontour和Rcontour的Hu不变矩向量；
S3.3统计每次Li contour和Ri contour的相似性度量值ri，其最大值rmax＝MAX{ri}对应的区域即为图像L和R的相似部分；
S3.4L和R的相似区域表示为overlay，overlay的起始点坐标为(x,y)，overlay的宽度为Li contour(或者Ri contour)的宽度，overlay的高度为Li contour(或者Ri contour)的高度，L和R的overlay分别是：
其中1≤i＜N且i对应ri＝rmax。
进一步的，所述步骤S4提取图像局部SIFT特征点包括以下几个步骤：
S4.1首先求建立高斯金字塔，图像的尺度空间定义为原图像与高斯核函数的卷积：
L(x,y,δ)＝G(x,y,δ)*I(x,y)
其中δ表示尺度空间因子，大尺度对应图像概貌特征，小尺度对应图像细节特征；I(x,y)表示原始图像，G(x,y,δ)表示高斯卷积函数，L(x,y,δ)表示卷积后生成图像。
S4.2构造高斯差分函数DOG算子：
D(x,y,δ)＝[G(x,y,kδ)-G(x,y,δ)]*I(x,y)
＝L(x,y,kδ)-L(x,y,δ)
在高斯差分尺度空间中寻找极值点，k表示缩放因子系数。每个采样点与同尺度8邻域和上下尺度范围的18邻域的像素点进行比较，得到的极值点作为候选关键点；
S4.3赋予关键点方向参数，使关键点具有旋转不变性，用直方图统计关键点邻域像素梯度方向分布特性，梯度值大小和方向如下所示：
方向直方图中峰值方向作为关键点方向；其中L(x,y)表示像素位于(x,y)处的灰度值，m(x,y)为位于(x,y)处的梯度值大小，θ(x,y)为位于(x,y)处方向。
S4.4接着为每个关键点建立一个描述符，用一组向量将关键点描述出来。
进一步的，所述S4.4接着为每个关键点建立一个描述符，用一组向量将关键点描述出来具体包括：
首先将坐标轴旋转到关键点方向上，以确保旋转不变性，以关键点为中心将附近邻域划分4×4个子区域，每个子区域有8个方向向量信息，组成4×4×8＝128维特征点描述子信息，并对特征描述子信息归一化，保证特征点在亮度变化条件下保持稳定性。
进一步的，所述步骤S5对两幅图像进行初始匹配和精确配准包括以下几个步骤：
S5.1、确定分割域以及求解当前节点，取方差最大的维度作为当前所取得分割域并进行分割，并将特征点坐标值按方差最大的维度进行排序按一定规则划分。
S5.2、分别相互采用K最近邻算法进行初始匹配，根据相似度找出与它最相似的K个特征点作为候选特征点集合；
S5.3、采用RANSAC算法对粗匹配后生成的候选特征点集合进行精确匹配。
进一步的，所述步骤S6和S7对两幅图像进行亮度均衡与拼接缝消除包括以下几个步骤：
S6.1将两幅图像RGB空间转化为LAB色彩空间，修改A和B分量的来精确颜色的平衡，使用L分量来调整亮度对比；
S6.3对L和R分别进行拉普拉斯金字塔分解；
S6.4根据融合准则对L和R两幅图像的拉普拉斯金字塔L1和L2相对应的层进行融合；
S6.5得到拉普拉斯金字塔各层的融合图像后，对该金子塔进行重构，从而获得融合后结果图像，并将其合成到含有拼接缝的结果图像上。
本发明的优点及有益效果如下：
本发明是基于图像配准与多分辨率融合的全景图像拼接技术。针对传统图像配准方法中特征点提取时间花费多，内存代价大以及效率较慢等问题，采用一种基于重叠区域的待拼接序列图像快速配准方法，该方法结合图像轮廓信息与特征点检测的方式进行图像配准改进。将序列图像自适应阈值二值化处理并利用像素邻域关系提取图像轮廓信息，通过Hu不变矩特征的相似性度量方法快速估算图像轮廓结构的相似区域，然后在两幅原图像相似区域部分进行SIFT(Scale Invariant Feature Transform,)特征点提取，减少在图像上特征点提取的无效区域。并用双向K最邻近(KNN,K-NearestNeighbor)分类算法进行特征点初始匹配，RANSAC(Random Sample Consensus)算法筛选误匹配点，估计图像间的仿射变换矩阵。另外在图像融合方面，采用亮度均衡化与局部色彩映射处理，使得图像曝光均匀。然后通过改进的拉普拉斯金字塔(Laplacian Pyramid)多分率融合算法对拼接图像进行融合，实现无缝拼接。本发明采用轮廓特征与特征点相结合的图像配准，其效果要比单独使用特征点或者使用轮廓结构的效果好，不仅缩短了图像拼接时间，提高图像拼接的效率，而且可以快速定位相似区域，有效改善拼接中的误匹配，提高图像配准精度。
附图说明
图1为场景(a)的原始序列图像，场景(a)序列图像描述信息为校园风景有关，包括草地、建筑、树与天空等。
图2为通过本方法最后生成的场景(a)的全景拼接图。
图3为场景(b)的原始序列图像，场景(b)序列图像描述信息为校园建筑有关，包括建筑、门拱、树与地面等。
图4为场景(b)的轮廓信息图像序列。
图5为图像之间区域相似度分布统计图。
图6为通过本方法最后生成的场景(b)的全景拼接图。
图7为本发明的匹配精确度的统计表。
图8为本发明整体图像拼接时间效率的统计表。
图9为本发明提供优选实施例基于图像配准与多分辨率融合的全景图像拼接技术整体框架流程图；
图10为轮廓结构提取与相似区域度量流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
1.如附图1所示，基于图像配准与多分辨率融合的全景图像拼接技术包括以下步骤：
步骤S1，对输入待拼接的图像序列进行预处理；
步骤S2，参考图像L与目标图像R采用自适应阈值的二值化处理，通过孔洞填充方式去除轮廓特征不明显的区域，然后通过像素邻域关系模型进行快速轮廓提取，得到Lcontour和Rcontour；
步骤S3，通过Hu不变矩特征思想，将Lcontour和Rcontour转化为和利用相似性度量方法多次等距迭代计算，快速估算出待拼接图像的相似区域；
步骤S4，在参考图像与目标图像的相似区域分别进行基于SIFT算法的特征点提取，并通过欧式距离计算两幅图像特征点集合；
步骤S5，对参考图像和目标图像的重叠区域建立KD-tree，并分别相互作为参考进行KNN匹配，提取两次匹配操作的公共匹配对作为初始匹配。采用RANSAC算法对粗匹配过后的生成特征点对进行精确匹配；
步骤S6，采用局部色彩映射与亮度均衡的方法处理曝光不均匀以及色调不统一问题；
步骤S7，利用改进的拉普拉斯金字塔(Laplacian Pyramid)多分辨率融合方法进行拼接缝消除以及鬼影问题处理；
步骤S8，利用自动矫直的方法对拼接过后的图像序列进行畸变扭曲矫正。
2.如附图2所示，轮廓结构提取与相似区域度量流程包括以下步骤：
A、输入两幅待拼接图像L和R(设L为左图，R为右图)，通过滤波去除噪声干扰，分别进行自适应阈值的二值化处理，得到相应的二值图像Lbinary和Rbinary；
B、对图像Lbinary和Rbinary进行孔洞填充处理，快速提取主要轮廓结构信息，得到图像L* binary和R* binary；
C、对二值图像L* binary和R* binary进行反色处理(即0代表黑色像素，1代表白色像素)，对值为1的像素进行八邻域区域是否存在0值判断，当至少存在一个0值时，则该像素值不变，否则取反。得到的二值图像即为图像的轮廓结构信息，分别设为Lcontour和Rcontour；
D、以N(N＝W/20)个步长为单位，二值图像Lcontour从右往左依次取宽为20×i(1≤i＜N)，高为H的区域Li contour。二值图像Rcontour从左往右依次取宽为20×i(1≤i＜N)，高为H的区域Ri contour；
E、依次在步骤S3.1限定区域内分别计算图像轮廓的Hu不变矩和
F、统计每次Li contour和Ri contour的相似性度量值ri，其最大值rmax＝MAX{ri}对应的区域即为图像L和R的相似部分；
G、L和R的相似区域表示为overlay(起始点坐标(x,y)，相似区域宽度，相似区域高度)，L和R的overlay分别是：
其中1≤i＜N且i对应ri＝rmax。
3.提取图像局部SIFT特征点以及精确匹配处理包括以下步骤：
A、首先求建立高斯金字塔，图像的尺度空间定义为原图像与高斯核函数的卷积：
L(x,y,δ)＝G(x,y,δ)*I(x,y)
其中δ表示尺度空间因子，大尺度对应图像概貌特征，小尺度对应图像细节特征；
B、构造高斯差分函数(DOG算子)：
D(x,y,δ)＝[G(x,y,kδ)-G(x,y,δ)]*I(x,y)
＝L(x,y,kδ)-L(x,y,δ)
在高斯差分尺度空间中寻找极值点，每个采样点与同尺度8邻域和上下尺度范围的18邻域的像素点进行比较，得到的极值点作为候选关键点；
C、赋予关键点方向参数，使关键点具有旋转不变性。用直方图统计关键点邻域像素梯度方向分布特性，梯度值大小和方向如下所示：
方向直方图中峰值方向作为关键点方向；
D、接着为每个关键点建立一个描述符，用一组向量将关键点描述出来。首先将坐标轴旋转到关键点方向上，以确保旋转不变性。以关键点为中心将附近邻域划分4×4个子区域，每个子区域有8个方向向量信息，组成4×4×8＝128维特征点描述子信息，并对特征描述子信息归一化，保证特征点在亮度变化条件下保持稳定性。
E、确定分割域。特征点位置坐标为二维数据点，分别计算X,Y两个维度上的方差。求得的方差数越大，维度就越容易区分，取方差最大的维度作为当前所取得分割域并进行分割。
F、求解当前节点。将特征点坐标值按方差最大的维度进行排序，选取中值作为当前节点并利用该节点分割空间域，得到左右两个子空间。小于节点值的坐标属于左空间，大于节点值的坐标属于右空间，然后对包含在子空间里的坐标按照步骤A进行迭代划分。如果数据集中还存在特征点数据，则重复上述步骤，直到数据集中的特征点数据为空。
G、分别相互采用K最近邻算法进行初始匹配。根据相似度找出与它最相似的K个特征点作为候选特征点集合。
H、采用RANSAC算法对粗匹配过后生成的候选特征点集合进行精确匹配。首先初匹配的特征点集合可得到N个匹配对，从N个匹配对中随机选取m(m＝3)个点对集合，其中所抽取的m对特征点对中任意三点必须不共线。其仿射变换模型H如公式所示
其中，θ为图像旋转角度，u,v为图像沿x轴与y轴方向的水平位移。用初始化H模型去测试所有的其它匹配点对，如果某个点适用于估计的模型，认为它也是内点。取最大的内点数与之对应的仿射变换矩阵模型，并且选择内点数最多的集合为内点集。两幅图像间的仿射变换如下公式所示，通过求解方程组获取变换矩阵的参数。
4.对两幅图像进行多分辨率融合的处理包括以下步骤：
A、将两幅图像RGB空间转化为LAB色彩空间，修改A和B分量的来精确颜色的平衡，使用L分量来调整亮度对比。RGB色彩空间和LAB色彩空间必须用通道XYZ颜色空间作为中间层。转换方式如下公式：
L＝116f(Y/Yn)-16
a＝500[f(X/Xn)-f(Y/Yn)]
b＝200[f(Y/Yn)-f(Z/Zn)]
其中：
B、对L和R分别进行拉普拉斯金字塔分解，将两幅图像分别作为最底层图像G0(高斯金字塔的第0层)，利用高斯核(5*5)对其进行卷积，然后对卷积后的图像进行下采样(去除偶数行和列)得到上一层图像G1，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次构成高斯金字塔。假设高斯金字塔的第L层图像为Gl：
其中N为高斯金字塔顶层层号，R和C分别为高斯金字塔的行数和列数W(m,n)是一个二维可分离的5*5窗口函数，表达式为：
由G0,G1...GN构成高斯金字塔，其中G0为高斯金字塔的底层(与原图像相同)GN为金字塔的顶层。将Gl内插方法得到放大图像*Gl，使*Gl的尺寸与*Gl-1的尺寸相同，可表示成放大算子
该式子实现两个步骤：在偶数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和l-1层一样大小的图像。
另：
N为拉普拉斯金字塔顶层的层号LPl是拉普拉斯金字塔分解的第L层图像。由LP0，LP1、LP2…LPN构成的金字塔即为拉普拉斯金字塔。它的每一层L0图像是高斯金字塔本层G0图像与其高一层图像Gl经内插放大后图像*Gl的差。
C、根据融合准则对L和R两幅图像的拉普拉斯金字塔L1和L2相对应的层进行融合。
D、得到拉普拉斯金字塔各层的融合图像后，对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式进行递推，进行重构，从而获得融合后结果图像，并将其合成到含有拼接缝的结果图像上，如下公式所示。
为了验证本发明的效果，进行了以下实验：
实验平台：CPU:Intel(R)Core(TM)i5-6200U 2.40GHz,Windows 10。
编程软件：VS2012,OpenCV 2.4.9。
本发明对多个场景图像进行多次图像拼接实验，如序列图(a)和序列图(b)：
图1和图2分别为场景(a)的原始序列图像和本发明得到的全景图。图3至图6分别为场景(b)的原始序列图像、轮廓信息图像序列、图像之间区域相似度分布以及本发明得到的全景图。
表1序列场景(a)提取特征点实验数据对比
表2序列场景(b)提取特征点实验数据对比
定义图像之间的正确匹配概率如下公式所示：
表1和表2分别代表本发明方法在特征点提取上有效的减少时间的花销，图7表明本发明的匹配精确度的提升，图8表明本发明整体图像拼接时间效率的提升。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，包括以下几个步骤：
步骤S1、对输入待拼接的图像序列进行预处理，将预处理后的图像分为参考图像L与目标图像R；
步骤S2、将参考图像L与目标图像R采用自适应阈值的二值化处理，通过孔洞填充方式去除轮廓特征不明显的区域，然后通过像素邻域关系模型进行快速轮廓提取，分别得到L和R的轮廓图像Lcontour和Rcontour；
步骤S3、通过Hu不变矩特征思想，将Lcontour和Rcontour转化为和和分别表示关于Lcontour和Rcontour的Hu不变矩向量，利用相似性度量方法进行若干次等距迭代计算，估算出待拼接图像的相似区域；
步骤S4、在参考图像与目标图像的相似区域分别进行基于SIFT算法的特征点提取，并通过欧式距离计算两幅图像特征点集合；
步骤S5、对参考图像和目标图像的重叠区域建立K维分割树，并分别对参考图像L和目标图像R相互作为参考进行KNN匹配，提取两次匹配操作的公共匹配对作为初始匹配，采用RANSAC随机抽样一致算法对粗匹配过后的生成特征点对进行精确匹配；
步骤S6、采用局部色彩映射与亮度均衡的方法处理曝光不均匀以及色调不统一问题；
步骤S7、利用拉普拉斯金字塔多分辨率融合方法进行拼接缝消除以及鬼影问题处理；
步骤S8、利用自动矫直的方法对拼接过后的图像序列进行畸变扭曲矫正。
2.根据权利要求1所述的基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，所述步骤S2将参考图像L与目标图像R采用自适应阈值的二值化处理，通过孔洞填充方式去除轮廓特征不明显的区域，然后通过像素邻域关系模型进行快速轮廓提取，得到Lcontour和Rcontour；具体包括以下几个步骤：
S2.1：输入两幅待拼接图像L和R，设L为左图，R为右图，通过滤波去除噪声干扰，分别进行自适应阈值的二值化处理，得到相应的二值图像Lbinary和Rbinary；
S2.2：对图像Lbinary和Rbinary进行孔洞填充处理，快速提取主要轮廓结构信息，得到图像L* binary和R* binary，L* binary和R* binary分别表示已进行孔洞填充处理后的图像；
S2.3：对二值图像L* binary和R* binary进行反色处理，即0代表黑色像素，1代表白色像素，对值为1的像素进行八邻域区域是否存在0值判断，当至少存在一个0值时，则该像素值不变，否则取反，得到的二值图像即为图像的轮廓结构信息，分别设为Lcontour和Rcontour。
3.根据权利要求2所述的基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，所述步骤S3利用相似性度量方法进行若干次等距迭代计算，估算出待拼接图像的相似区域；包括以下几个步骤：
S3.1 以N(N＝W/20)个步长为单位，轮廓图像Lcontour从右往左依次取宽为20×i(1≤i＜N)，高为H的区域Li contou，r轮廓图像Rcontour从左往右依次取宽为20×i(1≤i＜N)，高为H的区域Ri contour，其中W表示图像的宽度，Li contour和Ri contour分别表示第i次在轮廓图像Lcontour和轮廓图像Rcontour上所提取的区域，且该两部分区面积相等；
S3.2 依次在步骤S3.1限定区域内分别计算图像轮廓的Hu不变矩和和分别表示关于Lcontour和Rcontour的Hu不变矩向量；
S3.3 统计每次Li contour和Ri contour的相似性度量值ri，其最大值rmax＝MAX{ri}对应的区域即为图像L和R的相似部分；
S3.4 L和R的相似区域表示为overlay，overlay的起始点坐标为(x,y)，overlay的宽度为Li contour或者Ri contour的宽度，overlay的高度为Li contour或者Ri contour的高度，L和R的overlay分别是：
其中1≤i＜N且i对应ri＝rmax。
4.根据权利要求1所述的基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，所述步骤S4提取图像局部SIFT特征点包括以下几个步骤：
S4.1 首先求建立高斯金字塔，图像的尺度空间定义为原图像与高斯核函数的卷积：
L(x,y,δ)＝G(x,y,δ)*I(x,y)
其中δ表示尺度空间因子，大尺度对应图像概貌特征，小尺度对应图像细节特征；I(x,y)表示原始图像，G(x,y,δ)表示高斯卷积函数，L(x,y,δ)表示卷积后生成图像；
S4.2 构造高斯差分函数DOG算子：
D(x,y,δ)＝[G(x,y,kδ)-G(x,y,δ)]*I(x,y)
＝L(x,y,kδ)-L(x,y,δ)
在高斯差分尺度空间中寻找极值点，k表示缩放因子系数，每个采样点与同尺度8邻域和上下尺度范围的18邻域的像素点进行比较，得到的极值点作为候选关键点；
S4.3 赋予关键点方向参数，使关键点具有旋转不变性，用直方图统计关键点邻域像素梯度方向分布特性，梯度值大小和方向如下所示：
方向直方图中峰值方向作为关键点方向，其中L(x,y)表示像素位于(x,y)处的灰度值，m(x,y)为位于(x,y)处的梯度值大小，θ(x,y)为位于(x,y)处方向；
S4.4 接着为每个关键点建立一个描述符，用一组向量将关键点描述出来。
5.根据权利要求4所述的基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，所述S4.4接着为每个关键点建立一个描述符，用一组向量将关键点描述出来具体包括：
首先将坐标轴旋转到关键点方向上，以确保旋转不变性，以关键点为中心将附近邻域划分4×4个子区域，每个子区域有8个方向向量信息，组成4×4×8＝128维特征点描述子信息，并对特征描述子信息归一化，保证特征点在亮度变化条件下保持稳定性。
6.根据权利要求4所述的基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，所述步骤S5对两幅图像进行初始匹配和精确配准包括以下几个步骤：
S5.1、确定分割域以及求解当前节点，取方差最大的维度作为当前所取得分割域并进行分割，并将特征点坐标值按方差最大的维度进行排序按一定规则划分。
S5.2、分别相互采用K最近邻算法进行初始匹配，根据相似度找出与它最相似的K个特征点作为候选特征点集合；
S5.3、采用RANSAC算法对粗匹配后生成的候选特征点集合进行精确匹配。
7.根据权利要求4所述的基于图像配准与多分辨率融合的全景图像拼接方法，其特征在于，所述步骤S6和S7对两幅图像进行亮度均衡与拼接缝消除包括以下几个步骤：
S6.1 将两幅图像RGB空间转化为LAB色彩空间，修改A和B分量的来精确颜色的平衡，使用L分量来调整亮度对比；
S6.3 对L和R分别进行拉普拉斯金字塔分解；
S6.4 根据融合准则对L和R两幅图像的拉普拉斯金字塔L1和L2相对应的层进行融合；
S6.5 得到拉普拉斯金字塔各层的融合图像后，对该金子塔进行重构，从而获得融合后结果图像，并将其合成到含有拼接缝的结果图像上。
CN201810105951.3A 2018-02-02 2018-02-02 一种基于图像配准与多分辨率融合的全景图像拼接方法 Pending CN108416732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810105951.3A CN108416732A (zh) 2018-02-02 2018-02-02 一种基于图像配准与多分辨率融合的全景图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810105951.3A CN108416732A (zh) 2018-02-02 2018-02-02 一种基于图像配准与多分辨率融合的全景图像拼接方法

Publications (1)

Publication Number Publication Date
CN108416732A true CN108416732A (zh) 2018-08-17

Family

ID=63126778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810105951.3A Pending CN108416732A (zh) 2018-02-02 2018-02-02 一种基于图像配准与多分辨率融合的全景图像拼接方法

Country Status (1)

Country Link
CN (1) CN108416732A (zh)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921848A (zh) * 2018-09-29 2018-11-30 长安大学 基于多目相机的桥梁缺陷检测装置及检测图像拼接方法
CN109308716A (zh) * 2018-09-20 2019-02-05 珠海市君天电子科技有限公司 一种图像匹配方法、装置、电子设备及存储介质
CN109461176A (zh) * 2018-10-22 2019-03-12 北京化工大学 高光谱图像的光谱配准方法
CN109584156A (zh) * 2018-10-18 2019-04-05 中国科学院自动化研究所 显微序列图像拼接方法及装置
CN109685721A (zh) * 2018-12-29 2019-04-26 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN109859125A (zh) * 2019-01-14 2019-06-07 广东工业大学 基于形态学检测与小波变换的图像高光修复方法
CN109961398A (zh) * 2019-02-18 2019-07-02 鲁能新能源(集团)有限公司 风机叶片图像分割与网格优化拼接方法
CN110059648A (zh) * 2019-04-24 2019-07-26 武汉科技大学 一种基于增补分割的复杂组成烧结矿的非结构信息库的建立方法
CN110111287A (zh) * 2019-04-04 2019-08-09 上海工程技术大学 一种织物多角度图像融合系统及其方法
CN110246082A (zh) * 2019-05-07 2019-09-17 华中科技大学 一种遥感全景图像拼接方法
CN110458757A (zh) * 2019-07-15 2019-11-15 中国计量大学 一种阈值自适应的特征点匹配图像拼接方法
CN110517213A (zh) * 2019-08-22 2019-11-29 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN110569861A (zh) * 2019-09-01 2019-12-13 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN110569927A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 移动端全景图像扫描提取的方法、终端和计算机设备
CN110738695A (zh) * 2019-10-12 2020-01-31 哈尔滨工业大学 一种基于局部变换模型的图像特征点误匹配剔除方法
CN111008955A (zh) * 2019-11-06 2020-04-14 重庆邮电大学 多尺度图像块匹配的快速复制粘贴篡改检测方法
CN111145228A (zh) * 2019-12-23 2020-05-12 西安电子科技大学 基于局部轮廓点与形状特征融合的异源图像配准方法
CN111192194A (zh) * 2019-12-05 2020-05-22 同济大学 一种针对幕墙建筑立面的全景图像拼接方法
CN111260543A (zh) * 2020-01-19 2020-06-09 浙江大学 一种基于多尺度图像融合和sift特征的水下图像拼接方法
CN111369495A (zh) * 2020-02-17 2020-07-03 珀乐(北京)信息科技有限公司 一种基于视频的全景图像的变化检测方法
CN111401385A (zh) * 2020-03-19 2020-07-10 成都理工大学 一种图像局部拓扑结构特征描述符的相似度计算方法
CN111445416A (zh) * 2020-03-30 2020-07-24 南京泓众电子科技有限公司 一种高动态范围全景图像的生成方法及其生成装置
CN111695441A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 图像文档处理方法、装置及计算机可读存储介质
CN111738920A (zh) * 2020-06-12 2020-10-02 山东大学 一种面向全景拼接加速的fpga架构及全景图像拼接方法
WO2020182230A3 (zh) * 2019-03-11 2020-10-22 影石创新科技股份有限公司 一种图像融合方法及便携式终端
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112070708A (zh) * 2020-08-21 2020-12-11 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
CN112330553A (zh) * 2020-10-30 2021-02-05 武汉理工大学 一种裂缝图像去噪方法、设备及存储介质
CN112511767A (zh) * 2020-10-30 2021-03-16 济南浪潮高新科技投资发展有限公司 一种视频拼接方法及设备、存储介质
CN112580721A (zh) * 2020-12-19 2021-03-30 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112734904A (zh) * 2020-12-29 2021-04-30 中国船舶重工集团公司第七0九研究所 警用便携式快速图像拼接处理系统
CN113112403A (zh) * 2021-03-31 2021-07-13 国网山东省电力公司枣庄供电公司 一种红外图像拼接方法、系统、介质及电子设备
CN113160194A (zh) * 2021-04-28 2021-07-23 贵州电网有限责任公司 一种紫外和可见光图像的距离自适应配准方法
CN113205450A (zh) * 2020-12-09 2021-08-03 哈尔滨理工大学 基于图像相似约束的图像拼接优化方法
CN113298720A (zh) * 2021-04-21 2021-08-24 重庆邮电大学 一种自适应的重叠图像旋转方法
CN113643341A (zh) * 2021-10-12 2021-11-12 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法
CN113706455A (zh) * 2021-07-14 2021-11-26 青海黄河上游水电开发有限责任公司 一种330kV电缆瓷瓶套管的破损快速检测方法
CN114742707A (zh) * 2022-04-18 2022-07-12 中科星睿科技(北京)有限公司 多源遥感图像拼接方法、装置、电子设备和可读介质
CN114926668A (zh) * 2022-05-16 2022-08-19 上海贝特威自动化科技有限公司 一种基于sift的变形目标定位算法
CN115082314A (zh) * 2022-06-28 2022-09-20 中国科学院光电技术研究所 一种自适应特征提取的光学表面缺陷图像分步拼接的方法
CN115358930A (zh) * 2022-10-19 2022-11-18 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法
CN115409753A (zh) * 2022-11-01 2022-11-29 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN115953332A (zh) * 2023-03-15 2023-04-11 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备
CN115953302A (zh) * 2023-03-14 2023-04-11 四川新视创伟超高清科技有限公司 一种多矩阵顶点融合拼接方法、系统、电子设备
CN116630164A (zh) * 2023-07-21 2023-08-22 中国人民解放军国防科技大学 海量显微图像的实时拼接方法
CN117670667A (zh) * 2023-11-08 2024-03-08 广州成至智能机器科技有限公司 一种无人机实时红外图像全景拼接方法
CN118015237A (zh) * 2024-04-09 2024-05-10 松立控股集团股份有限公司 基于全局相似性最佳接缝的多视角图像拼接方法及系统
CN118096519A (zh) * 2024-03-22 2024-05-28 江苏阔然医疗科技有限公司 一种荧光显微成像图像拼接算法
WO2024138434A1 (zh) * 2022-12-28 2024-07-04 深圳华大生命科学研究院 用于拼接图像的方法及其设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764231A (zh) * 2004-10-18 2006-04-26 汤姆森许可贸易公司 对输入图像进行色彩校正的设备和方法
CN104573644A (zh) * 2014-12-29 2015-04-29 天津瑞为拓新科技发展有限公司 多模式人脸识别方法
CN105528485A (zh) * 2015-12-07 2016-04-27 常州天能博智能系统科技有限公司 一种从位图自动轮廓提取及路径生成的方法
CN107133913A (zh) * 2017-05-08 2017-09-05 重庆邮电大学 一种自动矫直的图像拼接方法
CN107146201A (zh) * 2017-05-08 2017-09-08 重庆邮电大学 一种基于改进图像融合的图像拼接方法
US20180035047A1 (en) * 2016-07-29 2018-02-01 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764231A (zh) * 2004-10-18 2006-04-26 汤姆森许可贸易公司 对输入图像进行色彩校正的设备和方法
CN104573644A (zh) * 2014-12-29 2015-04-29 天津瑞为拓新科技发展有限公司 多模式人脸识别方法
CN105528485A (zh) * 2015-12-07 2016-04-27 常州天能博智能系统科技有限公司 一种从位图自动轮廓提取及路径生成的方法
US20180035047A1 (en) * 2016-07-29 2018-02-01 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
CN107133913A (zh) * 2017-05-08 2017-09-05 重庆邮电大学 一种自动矫直的图像拼接方法
CN107146201A (zh) * 2017-05-08 2017-09-08 重庆邮电大学 一种基于改进图像融合的图像拼接方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何桂华 等: "基于不变矩相似度的快速图像拼接", 《微型机与应用》 *
李中生 等: "基于SIFT和Hu特征融合的单目视觉识别算法研究", 《微型机与应用》 *
梁定强: "多头拼接扫描仪图像处理及辅助调试系统", 《中国优秀硕士学位论文全文数据库 信息科技Ⅱ辑》 *
顾明 等: "基于颜色空间转换的交通图像增强算法", 《仪器仪表学报》 *

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308716A (zh) * 2018-09-20 2019-02-05 珠海市君天电子科技有限公司 一种图像匹配方法、装置、电子设备及存储介质
CN108921848A (zh) * 2018-09-29 2018-11-30 长安大学 基于多目相机的桥梁缺陷检测装置及检测图像拼接方法
CN109584156A (zh) * 2018-10-18 2019-04-05 中国科学院自动化研究所 显微序列图像拼接方法及装置
CN109584156B (zh) * 2018-10-18 2022-01-28 中国科学院自动化研究所 显微序列图像拼接方法及装置
CN109461176A (zh) * 2018-10-22 2019-03-12 北京化工大学 高光谱图像的光谱配准方法
CN109685721A (zh) * 2018-12-29 2019-04-26 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN109859125B (zh) * 2019-01-14 2022-10-21 广东工业大学 基于形态学检测与小波变换的图像高光修复方法
CN109859125A (zh) * 2019-01-14 2019-06-07 广东工业大学 基于形态学检测与小波变换的图像高光修复方法
CN109961398A (zh) * 2019-02-18 2019-07-02 鲁能新能源(集团)有限公司 风机叶片图像分割与网格优化拼接方法
US11967051B2 (en) 2019-03-11 2024-04-23 Arashi Vision Inc. Image fusion method and portable terminal
WO2020182230A3 (zh) * 2019-03-11 2020-10-22 影石创新科技股份有限公司 一种图像融合方法及便携式终端
CN110111287A (zh) * 2019-04-04 2019-08-09 上海工程技术大学 一种织物多角度图像融合系统及其方法
CN110059648A (zh) * 2019-04-24 2019-07-26 武汉科技大学 一种基于增补分割的复杂组成烧结矿的非结构信息库的建立方法
CN110246082A (zh) * 2019-05-07 2019-09-17 华中科技大学 一种遥感全景图像拼接方法
CN110246082B (zh) * 2019-05-07 2020-12-18 华中科技大学 一种遥感全景图像拼接方法
CN110458757A (zh) * 2019-07-15 2019-11-15 中国计量大学 一种阈值自适应的特征点匹配图像拼接方法
CN110517213A (zh) * 2019-08-22 2019-11-29 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN110517213B (zh) * 2019-08-22 2021-11-09 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN110569861A (zh) * 2019-09-01 2019-12-13 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN110569861B (zh) * 2019-09-01 2022-11-22 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN110569927A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 移动端全景图像扫描提取的方法、终端和计算机设备
CN110738695A (zh) * 2019-10-12 2020-01-31 哈尔滨工业大学 一种基于局部变换模型的图像特征点误匹配剔除方法
CN110738695B (zh) * 2019-10-12 2021-08-13 哈尔滨工业大学 一种基于局部变换模型的图像特征点误匹配剔除方法
CN111008955A (zh) * 2019-11-06 2020-04-14 重庆邮电大学 多尺度图像块匹配的快速复制粘贴篡改检测方法
CN111192194B (zh) * 2019-12-05 2023-08-08 同济大学 一种针对幕墙建筑立面的全景图像拼接方法
CN111192194A (zh) * 2019-12-05 2020-05-22 同济大学 一种针对幕墙建筑立面的全景图像拼接方法
CN111145228A (zh) * 2019-12-23 2020-05-12 西安电子科技大学 基于局部轮廓点与形状特征融合的异源图像配准方法
CN111145228B (zh) * 2019-12-23 2023-05-26 西安电子科技大学 基于局部轮廓点与形状特征融合的异源图像配准方法
CN111260543A (zh) * 2020-01-19 2020-06-09 浙江大学 一种基于多尺度图像融合和sift特征的水下图像拼接方法
CN111369495A (zh) * 2020-02-17 2020-07-03 珀乐(北京)信息科技有限公司 一种基于视频的全景图像的变化检测方法
CN111369495B (zh) * 2020-02-17 2024-02-02 珀乐(北京)信息科技有限公司 一种基于视频的全景图像的变化检测方法
CN111401385A (zh) * 2020-03-19 2020-07-10 成都理工大学 一种图像局部拓扑结构特征描述符的相似度计算方法
CN111401385B (zh) * 2020-03-19 2022-06-17 成都理工大学 一种图像局部拓扑结构特征描述符的相似度计算方法
CN111445416A (zh) * 2020-03-30 2020-07-24 南京泓众电子科技有限公司 一种高动态范围全景图像的生成方法及其生成装置
CN111445416B (zh) * 2020-03-30 2022-04-26 南京泓众电子科技有限公司 一种高动态范围全景图像的生成方法及其生成装置
CN111695441B (zh) * 2020-05-20 2024-05-10 平安科技（深圳）有限公司 图像文档处理方法、装置及计算机可读存储介质
CN111695441A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 图像文档处理方法、装置及计算机可读存储介质
CN111738920A (zh) * 2020-06-12 2020-10-02 山东大学 一种面向全景拼接加速的fpga架构及全景图像拼接方法
CN112070708B (zh) * 2020-08-21 2024-03-08 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
CN112070708A (zh) * 2020-08-21 2020-12-11 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
US11985287B2 (en) 2020-08-21 2024-05-14 Hangzhou Glority Software Limited Image processing method, image processing device, electronic apparatus and storage medium
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112511767A (zh) * 2020-10-30 2021-03-16 济南浪潮高新科技投资发展有限公司 一种视频拼接方法及设备、存储介质
CN112330553B (zh) * 2020-10-30 2022-07-01 武汉理工大学 一种裂缝图像去噪方法、设备及存储介质
CN112511767B (zh) * 2020-10-30 2022-08-02 山东浪潮科学研究院有限公司 一种视频拼接方法及设备、存储介质
CN112330553A (zh) * 2020-10-30 2021-02-05 武汉理工大学 一种裂缝图像去噪方法、设备及存储介质
CN113205450A (zh) * 2020-12-09 2021-08-03 哈尔滨理工大学 基于图像相似约束的图像拼接优化方法
CN112580721B (zh) * 2020-12-19 2023-10-24 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112580721A (zh) * 2020-12-19 2021-03-30 北京联合大学 一种基于多分辨率特征融合的目标关键点检测方法
CN112734904A (zh) * 2020-12-29 2021-04-30 中国船舶重工集团公司第七0九研究所 警用便携式快速图像拼接处理系统
CN113112403A (zh) * 2021-03-31 2021-07-13 国网山东省电力公司枣庄供电公司 一种红外图像拼接方法、系统、介质及电子设备
CN113112403B (zh) * 2021-03-31 2023-03-24 国网山东省电力公司枣庄供电公司 一种红外图像拼接方法、系统、介质及电子设备
CN113298720A (zh) * 2021-04-21 2021-08-24 重庆邮电大学 一种自适应的重叠图像旋转方法
CN113160194A (zh) * 2021-04-28 2021-07-23 贵州电网有限责任公司 一种紫外和可见光图像的距离自适应配准方法
CN113706455A (zh) * 2021-07-14 2021-11-26 青海黄河上游水电开发有限责任公司 一种330kV电缆瓷瓶套管的破损快速检测方法
CN113706455B (zh) * 2021-07-14 2024-03-29 青海黄河上游水电开发有限责任公司 一种330kV电缆瓷瓶套管的破损快速检测方法
CN113643341A (zh) * 2021-10-12 2021-11-12 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法
CN114742707A (zh) * 2022-04-18 2022-07-12 中科星睿科技(北京)有限公司 多源遥感图像拼接方法、装置、电子设备和可读介质
CN114742707B (zh) * 2022-04-18 2022-09-27 中科星睿科技(北京)有限公司 多源遥感图像拼接方法、装置、电子设备和可读介质
CN114926668B (zh) * 2022-05-16 2023-12-08 上海贝特威自动化科技有限公司 一种基于sift的变形目标定位算法
CN114926668A (zh) * 2022-05-16 2022-08-19 上海贝特威自动化科技有限公司 一种基于sift的变形目标定位算法
CN115082314B (zh) * 2022-06-28 2024-10-18 中国科学院光电技术研究所 一种自适应特征提取的光学表面缺陷图像分步拼接的方法
CN115082314A (zh) * 2022-06-28 2022-09-20 中国科学院光电技术研究所 一种自适应特征提取的光学表面缺陷图像分步拼接的方法
CN115358930B (zh) * 2022-10-19 2023-02-03 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法
CN115358930A (zh) * 2022-10-19 2022-11-18 成都菁蓉联创科技有限公司 一种基于多无人机实时图像拼接方法及目标检测方法
CN115409753B (zh) * 2022-11-01 2023-02-03 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN115409753A (zh) * 2022-11-01 2022-11-29 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2024138434A1 (zh) * 2022-12-28 2024-07-04 深圳华大生命科学研究院 用于拼接图像的方法及其设备
CN115953302A (zh) * 2023-03-14 2023-04-11 四川新视创伟超高清科技有限公司 一种多矩阵顶点融合拼接方法、系统、电子设备
CN115953332A (zh) * 2023-03-15 2023-04-11 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备
CN115953332B (zh) * 2023-03-15 2023-08-18 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备
CN116630164B (zh) * 2023-07-21 2023-09-26 中国人民解放军国防科技大学 海量显微图像的实时拼接方法
CN116630164A (zh) * 2023-07-21 2023-08-22 中国人民解放军国防科技大学 海量显微图像的实时拼接方法
CN117670667A (zh) * 2023-11-08 2024-03-08 广州成至智能机器科技有限公司 一种无人机实时红外图像全景拼接方法
CN117670667B (zh) * 2023-11-08 2024-05-28 广州成至智能机器科技有限公司 一种无人机实时红外图像全景拼接方法
CN118096519A (zh) * 2024-03-22 2024-05-28 江苏阔然医疗科技有限公司 一种荧光显微成像图像拼接算法
CN118096519B (zh) * 2024-03-22 2024-08-06 江苏阔然医疗科技有限公司 一种荧光显微成像图像拼接算法
CN118015237A (zh) * 2024-04-09 2024-05-10 松立控股集团股份有限公司 基于全局相似性最佳接缝的多视角图像拼接方法及系统

Similar Documents

Publication Publication Date Title
CN108416732A (zh) 一种基于图像配准与多分辨率融合的全景图像拼接方法
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Ghosh et al. A survey on image mosaicing techniques
CN105957063B (zh) 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
Zhang et al. Multi-scale dictionary for single image super-resolution
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN107025632B (zh) 一种图像超分辨率重建方法及系统
CN107133913B (zh) 一种自动矫直的图像拼接方法
CN110334762A (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN103034982A (zh) 一种基于变焦视频序列的图像超分辨率重建方法
CN112183541B (zh) 一种轮廓提取方法及装置、电子设备、存储介质
Gai et al. Multi-focus image fusion method based on two stage of convolutional neural network
EP3937120B1 (en) Computer-implemented method, computer program product and system for processing images
Wei et al. Unsupervised recurrent hyperspectral imagery super-resolution using pixel-aware refinement
Zhu et al. Stacked U-shape networks with channel-wise attention for image super-resolution
CN109087245A (zh) 基于相邻关系模型的无人机遥感图像拼接系统
CN112862871A (zh) 图像融合方法及装置
Ostyakov et al. Seigan: Towards compositional image generation by simultaneously learning to segment, enhance, and inpaint
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112381811A (zh) 一种实现医学影像数据标注的方法、装置及设备
Fu et al. Multimodal biomedical image fusion method via rolling guidance filter and deep convolutional neural networks
CN115063562A (zh) 一种基于多视图三维重建的虚实融合增强现实呈现方法
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
CN114241372A (zh) 一种应用于扇扫拼接的目标识别方法
Wang et al. GGD-GAN: Gradient-guided dual-branch adversarial networks for relic sketch generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817

RJ01 Rejection of invention patent application after publication