CN107274337A - 一种基于改进光流的图像拼接方法 - Google Patents

一种基于改进光流的图像拼接方法 Download PDF

Info

Publication number
CN107274337A
CN107274337A CN201710471825.5A CN201710471825A CN107274337A CN 107274337 A CN107274337 A CN 107274337A CN 201710471825 A CN201710471825 A CN 201710471825A CN 107274337 A CN107274337 A CN 107274337A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
image
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710471825.5A
Other languages
English (en)
Other versions
CN107274337B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201710471825.5A priority Critical patent/CN107274337B/zh
Publication of CN107274337A publication Critical patent/CN107274337A/zh
Application granted granted Critical
Publication of CN107274337B publication Critical patent/CN107274337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于改进光流的图像拼接方法，属于图像信息处理技术领域。该方法包括：S1：计算空间相邻图像的重合区域；S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；S201：构造由总能量函数约束的变分模型；S202：根据总能量函数对特征描述符匹配约束项求解；S203：采用连续方法对变分模型中灰度值约束项、梯度约束、平滑度约束、光流平方差进行求解；S3：基于光流信息对重合区域进行配准和变换；S4：对变换后的图像进行融合，从而得到拼接后图像；本发明结合特征描述子匹配和密集光流匹配估计光流信息，从而对图像进行拼接，该方法对大位移和小位移光流均可精确计算，从而使光流配准精度可以大大提高。

Description

一种基于改进光流的图像拼接方法
技术领域
本发明属于图像信息处理技术领域，涉及图像拼接技术，尤其涉及一种基于改进光流的图像拼接方法。
背景技术
图像拼接是利用多个摄像机获取不同角度的图像并进行拼接形成宽视野图像的技术。根据场景不同，可以分为静止场景的图像拼接和运动场景的图像拼接。对于静止场景，难点在于如何消除静止视差引起的重影。对于运动场景，不仅包括静止物体的视差，还有前景移动物体穿越相机时的重影。
为了消除运动目标的拼接重影，如“鬼影”，目前方法大致可分为三类：第一类方法是采用先进的图像合成技术，如seam cutting(接缝切割)方法，但这类方法在有移动目标经过缝合线时，拼接图像中会出现运动目标断裂。第二类方法是基于深度信息的配准方法，因为运动区域和静止区域的深度特征区别较明显，采用立体匹配方法估计相邻图像的深度信息，利用深度信息进行配准，该类方法深度信息的正确估计尤为关键，然而，深度估计计算复杂度通常很高。第三类方法是基于运动矢量的配准方法，首先是估计运动矢量(运动大小和运动方向)，然后根据运动矢量匹配相邻两幅图像。
目前先进的运动矢量估计方法为光流法。对于光流估计，一方面，有能量最小化方法，该方法能产生准确、密集的流场，但是对于大位移的运动目标，光流的计算不准确。针对大位移运动目标，相应有特征描述子匹配法，这类方法计算的光流信息非常稀疏，小位移处的光流计算精度有限，由于缺少规律性约束，存在许多异常值。Facebook Surround 360采用了能量最小化方法产生密集的光流场，通过实验发现，对于小位移的运动目标，利用光流信息进行配准，配准精度高，可以消除拼接重影。但对于大视差大位移的运动目标，拼接重影问题没能得到解决。
故亟需一种图像拼接方法，能实现重叠区域既包括大位移运动目标，又包含小位移运动目标时的图像拼接。
发明内容
本发明针对重叠区域既包括大位移运动目标，又包含小位移运动目标时图像拼接容易出现重影的技术问题，提供了一种基于改进光流的图像拼接方法，消除了图像拼接出现的重影现象。
一种基于改进光流的图像拼接方法，包括：
S1：计算空间相邻图像的重合区域；
S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；
S201：构造由总能量函数约束的变分模型；总能量约束方式如下：
E(W)＝Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W,W1)+δEdesc(W1)；其中，Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Edesc(W1)为描述符匹配约束项、Ematch(W,W1)为光流平方差；
S202：特征描述符匹配约束项Edesc(W1)求解；
S203：采用连续方法对变分模型中Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Ematch(W,W1)为光流平方差进行求解；
S3：基于上一步骤求得的光流信息对重合区域进行配准和变换；
具体的，基于S2步骤计算的光流场，对重叠区域进行配准变换，变换公式如下：
I1(p)＝I2(x+u(p),y+v(p))＝I2(p′)
其中，I1、I2分别表示左右图像，p＝(x,y)表示左图像的像素点坐标，u(p)表示p点在x方向的光流，v(p)表示p点在y方向的光流；p′表示右图像的像素点坐标，即p和p′是根据光流而对应的两像素点；
即用单应性矩阵表示为：
S4：对变换后的图像进行融合，从而得到拼接后图像；
对变换后的图像采用渐进渐出图像融合方法融合重叠区域，再将非重叠区域和拼接后的重叠区域图像融合，得到最终的全景图像；渐进渐出融合公式为：
其中R1为左图像非重叠区域，R2为右图像非重叠区域，R3为左右图像的图像重叠区域，i表示右图像重叠区域的横坐标值，overlapImgWidth指相邻两幅图像重叠区域的图像宽度。
进一步的，所述S201中，
I1,I2分别是待配准的左图像和右图像，X＝(x,y)T表示是图像区域 上的像素坐标，W＝(u,v)T表示光流；
首先，加上灰度值约束项Ecolor(W)普通约束，即对应点应具有相同的灰度值；约束方式如下：
Ecolor(W)＝∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx
函数
梯度约束Egrad(W)约束方式如下：
其中，表示图像在x方向和y方向的梯度值，
平滑度约束Esmooth(W)的约束方式如下：
其中，u(X)表示像素点X＝(x,y)T在x方向的位移，v(X)表示y方向的位移；
特征匹配法的匹配约束项Edesc(W1)约束方式如下：
Edesc(W1)＝∫δ(X)|f2(X+W1(X))-f1(X)|2dx
其中，W1(X)表示基于描述符匹配法估计的X点的光流；δ(X)的取值为：当左图像上点X位置有特征点时，δ(X)取值为1，否则为0；f1(X)表示左图像X点的特征描述符，f2(X+W1(X))表示右图像的X+W1(X)点的特征描述符；
光流平方差Ematch(W,W1)约束方式如下：
Ematch(W,W1)＝∫δ(X)ρ(X)Ψ(|W(X)-W1(X)|2)dx
其中，ρ(X)表示匹配权重，ρ(X)的定义如下：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离；当最佳匹配和第二匹配相差较远时，ρ(X)匹配权重值大。
进一步的，所述步骤S202中求解匹配约束项Edesc(W1)具体包括：
假设δ(X)是左图像的离散网格，其坐标表示为Xi，δ′(X)是右图像的离散网格，其坐标表示为Xj；特征描述符匹配项可以改写成如下：
由于缺少规则约束，每一个网格点相互独立；因此，在优化W1时，可以在每一个网格点Xi独立求解；最优解W1(Xi)＝Xj-Xi，其整体的时间复杂度为Ο(mn)，其中m、n分别是左图像和右图像的网格点数；
S2021：图像分割；
对重叠区域左右原图像进行分割，将重叠区域左右原图像分割成若干个区域；
S2022：对分割后的图像区域进行方向梯度直方图提取；
S2023：区域匹配；
假设左图像分割区域i和右图像分割区域j的网格点的坐标分别为Xi、Xj，两区域的匹配分数为：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离，其中d的计算公式为：
N是i和j的组合总数；
通过匹配分数选取最优相匹配的区域块，从而计算该区域像素点在x方向和y方向的位移，即光流W1的大小。
进一步的，所述S1具体包括：
首先，计算相邻两幅图像的重合角度:
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频；
然后，根据重合角度计算空间相邻两幅图像重合区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重合区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角。
为了消除大位移运动目标的拼接重影，本发明提出了一种基于改进光流的图像拼接方法，结合特征描述子匹配和密集光流匹配估计光流信息，该方法对大位移和小位移光流均可精确计算，从而使光流配准精度可以大大提高。同时，光流计算可以充分利用GPU(Graphics Processing Unit，图形处理器)的并行、高速运算性能，实时性好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于改进光流的图像拼接方法的流程图；
图2是本发明实施例提供的基于特征描述子匹配和密集匹配相结合的光流方法的流程图；
图3是本发明实施例中HOG(Histogram of Oriented Gradient，方向梯度直方图)特征描述子的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明针对重叠区域既包括大位移运动目标，又包含小位移运动目标时图像拼接容易出现重影的技术问题，本发明提供了一种基于改进光流的图像拼接方法。该方法很好地消除了图像拼接后出现的重影现象。如图1所示，该方法包括以下步骤：
S1：计算空间相邻图像的重合区域；
首先，计算相邻两幅图像的重合角度:
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频。
然后，根据重合角度计算空间相邻两幅图像重合区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重合区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角。
S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；
为了准确计算出小位移和大位移运动目标的光流信息，本发明提出一种基于特征描述符匹配和密集匹配相结合的方法。特征描述符匹配方法对于大位移光流场的计算精确度高，但小位移光流场的精确度有限；密集匹配方法(能量最小化方法)对于小位移运动目标可以得到精确、密集的光流场，但大位移光流场的精确度有限。因此，本发明提出将两者结合计算光流用于图像拼接中。光流计算的流程图如图2所示，包括如下步骤：
S201：构造变分模型
设I1,I2分别是待配准的左图像和右图像，X＝(x,y)T表示是图像区域 上的像素坐标，W＝(u,v)T表示光流。首先，加上灰度值约束项Ecolor(W)，即对应点应具有相同的灰度值。
Ecolor(W)＝∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx
与Horn and Schunck模型相反，这里没有引入线性化。函数 能允许处理遮挡和非高斯偏差。它服从拉普拉斯分布，拉普拉斯分布的尾部比高斯分布更加平坦，其优势在于相应的约束项是仍然是凸函数。
由于光照变化，仅匹配颜色或灰度值并不可靠，因此加入梯度约束Egrad(W)(灰度变化一致性约束)：
其中，表示图像在x方向和y方向的梯度值。
由于最优位移场在场景中的对象边界处具有不连续性，因此，进一步引入流场的平滑度约束Esmooth(W)：
其中，u(X)表示像素点X＝(x,y)T在x方向的位移，v(X)表示y方向的位移。
以上三个约束组成的密集匹配法，可以处理变形、运动不连续性和遮挡。但是，对于大位移的估计精度有限。特征描述符匹配法可以用来估计大位移光流，但是它是一种离散估计方法，不能提高子像素的准确度。因此，引入特征匹配法的匹配约束项Edesc(W1)加入到上述变分模型中：
Edesc(W1)＝∫δ(X)|f2(X+W1(X))-f1(X)|2dx
其中，W1(X)表示基于描述符匹配法估计的X点的光流。δ(X)的取值为：当左图像上点X位置有特征点时，δ(X)取值为1，否则为0。f1(X)表示左图像X点的特征描述符，f2(X+W1(X))表示右图像的X+W1(X)点的特征描述符。
假设密集匹配法和特征匹配法估计的光流场都比较精确，那么W1(X)与W(X)应尽可能相似，因此加入两者的平方差作为另一约束项：
Ematch(W,W1)＝∫δ(X)ρ(X)Ψ(|W(X)-W1(X)|2)dx
其中，ρ(X)表示匹配权重，ρ(X)的定义如下：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离。当最佳匹配和第二匹配相差较远时，ρ(X)匹配权重值大。
将以上五个约束项组合，得到的总能量函数为：
E(W)＝Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W,W1)
+δEdesc(W1)
其中，α、β、γ、δ均为权重系数。
因此，光流的计算转换为能量函数最小化的优化问题。通过将特征描述符匹配和密集匹配相结合的方法计算光流，对于小位移和大位移的光流场均可精确计算。
S202：特征描述符匹配约束项Edesc(W1)求解；
描述符匹配项求解着重于最小化Edesc(W1)，其独立于其余能量约束项，Edesc(W1)的最小化为离散优化问题。假设δ(X)是左图像的离散网格，其坐标表示为Xi，δ′(X)是右图像的离散网格，其坐标表示为Xj。特征描述符匹配项可以改写成如下：
由于缺少规则约束，每一个网格点相互独立。因此，在优化W1时，可以在每一个网格点Xi独立求解。最优解W1(Xi)＝Xj-Xi，其整体的时间复杂度为Ο(mn)，其中m、n分别是左图像和右图像的网格点数。本发明采用简单有效的最近邻匹配优化求解特征描述符匹配项。
以上的优化过程简单，只需有合理的描述符和有效的网格点。良好的描述符匹配方法的主要在于能够精确捕获较小结构的运动，并且描述符具有独特性，以此来限制错误匹配的数量。本发明采用基于HOG特征的区域匹配法，包含三个步骤：一是图像分割、二是HOG描述符提取，三是区域匹配。
S2021：图像分割；
对重叠区域左右原图像进行分割，将重叠区域左右原图像分割成若干个区域，图像分割是为了将图像分割成多个块，用于S2023区域匹配，区域匹配比全局匹配速度更快。
本发明采用的是Arbelaez等人提出的OWT-UCM算法对图像进行分割。该方法引入分水岭变换的新变体Oriented Watershed Transform(OWT，定向分水岭变换)，用于生成一组轮廓检测器输出的初始化区域，然后从初始区域的边界构建一个Ultrametric ContourMap(UCM，超度量轮廓图)。轮廓检测器采用的是Maire等人提出的gPb边缘检测器，该边缘检测器优于简单的边缘检测是有考虑纹理。
S2022：对分割后的图像区域进行方向梯度直方图提取；
得到图像分割区域后，本发明计算密集的方向梯度直方图(HOG)，基于7×7的邻域计算梯度方向直方图，直方图包含15个不同方向。
首先，采用Gamma校正法对输入图像进行颜色空间归一化，目的是调节图像的对比度，降低图像局部的阴影和光照变化；然后，用σ＝0.8的高斯滤波器进行平滑处理。接着，计算像素点15个不同方向的梯度；再归一化HOG特征向量；最后，如图3所示，将中心像素点和与之相隔4个像素距离的8个邻域点的方向梯度直方图串联组成最终的特征向量，即描述符为15*9＝135维的向量。
S2023：区域匹配；
我们定义网格δ(X)来选取HOG特征描述符，在x方向和y方向相隔4个像素进行选取，即以降采样因子16选取特征描述符，从而减少匹配代价。假设左图像分割区域i和右图像分割区域j的网格点的坐标分别为Xi、Xj。两区域的匹配分数为：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离，其中d的计算公式为：
N是i和j的组合总数。
通过匹配分数选取最优相匹配的区域块，从而计算该区域像素点在x方向和y方向的位移，即W1。
S203：变分模型求解；
特征描述符项Edesc(W1)求解完之后，总能量函数的其余部分可采用连续方法求解。本发明采用Brox等人提出的基于局部优化和由粗到精相结合的优化方法。
S3：基于S2求得的光流信息对重合区域进行配准和变换；
基于S2步骤计算的光流场，对重叠区域进行配准变换，变换公式如下：
I1(p)＝I2(x+u(p),y+v(p))＝I2(p′)
其中，I1、I2分别表示左右图像，p＝(x,y)表示左图像的像素点坐标，u(p)表示p点在x方向的光流，v(p)表示p点在y方向的光流。p′表示右图像的像素点坐标，即p和p′是根据光流而对应的两像素点。
即用单应性矩阵表示为：
S4：对变换后的图像进行融合，从而得到拼接后图像。
基于光流信息得到变换后的图像后，对变换后的图像采用渐进渐出图像融合方法融合重叠区域，再将非重叠区域和拼接后的重叠区域图像融合，得到拼接后全景图像。渐进渐出融合公式为：
其中R1为左图像非重叠区域，R2为右图像非重叠区域，R3为左右图像的图像重叠区域，i表示右图像重叠区域的横坐标值，overlapImgWidth指相邻两幅图像重叠区域的图像宽度。
为了消除大位移运动目标的拼接重影，本发明提出了一种基于改进光流的图像拼接方法，结合特征描述子匹配和密集光流匹配估计光流信息，该方法对大位移和小位移光流均可精确计算，从而使光流配准精度可以大大提高。同时，光流计算可以充分利用GPU(Graphics Processing Unit，图形处理器)的并行、高速运算性能，实时性好。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于改进光流的图像拼接方法，其特征在于，包括：
S1：计算空间相邻图像的重合区域；
S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；
S201：构造由总能量函数约束的变分模型；总能量约束方式如下：E(W)＝Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W,W1)+δEdesc(W1)；其中，Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Edesc(W1)为描述符匹配约束项、Ematch(W,W1)为光流平方差；
S202：特征描述符匹配约束项Edesc(W1)求解；
S203：采用连续方法对变分模型中Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Ematch(W,W1)为光流平方差进行求解；
S3：基于上一步骤求得的光流信息对重合区域进行配准和变换；
具体的，基于S2步骤计算的光流场，对重叠区域进行配准变换，变换公式如下：
I1(p)＝I2(x+u(p),y+v(p))＝I2(p′)
其中，I1、I2分别表示左右图像，p＝(x,y)表示左图像的像素点坐标，u(p)表示p点在x方向的光流，v(p)表示p点在y方向的光流；p′表示右图像的像素点坐标，即p和p′是根据光流而对应的两像素点；
即用单应性矩阵表示为：
<mrow> <msup> <mi>p</mi> <mo>&amp;prime;</mo> </msup> <mo>~</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>u</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>v</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mi>p</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>I</mi> <mo>+</mo> <mi>D</mi> <mo>(</mo> <mi>p</mi> <mo>)</mo> <mo>)</mo> </mrow> <mi>p</mi> <mo>;</mo> </mrow>
<mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>u</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>v</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
S4：对变换后的图像进行融合，从而得到拼接后图像；
对变换后的图像采用渐进渐出图像融合方法融合重叠区域，再将非重叠区域和拼接后的重叠区域图像融合，得到最终的全景图像；渐进渐出融合公式为：
<mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>*</mo> <msub> <mi>I</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mn>3</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中R1为左图像非重叠区域，R2为右图像非重叠区域，R3为左右图像的图像重叠区域，i表示右图像重叠区域的横坐标值，overlapImgWidth指相邻两幅图像重叠区域的图像宽度。
2.根据权利要求1所述的方法，其特征在于，所述S201中，
I1,I2分别是待配准的左图像和右图像，X＝(x,y)T表示是图像区域 上的像素坐标，W＝(u,v)T表示光流；
首先，加上灰度值约束项Ecolor(W)普通约束，即对应点应具有相同的灰度值；约束方式如下：
Ecolor(W)＝∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx
函数
梯度约束Egrad(W)约束方式如下：
<mrow> <msub> <mi>E</mi> <mrow> <mi>g</mi> <mi>r</mi> <mi>a</mi> <mi>d</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mo>&amp;Integral;</mo> <mi>&amp;Omega;</mi> </msub> <mi>&amp;Psi;</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mn>2</mn> </msub> <mo>(</mo> <mrow> <mi>X</mi> <mo>+</mo> <mi>W</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mn>1</mn> </msub> <mo>(</mo> <mi>X</mi> <mo>)</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mi>d</mi> <mi>x</mi> </mrow>
其中，表示图像在x方向和y方向的梯度值，
平滑度约束Esmooth(W)的约束方式如下：
<mrow> <msub> <mi>E</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mo>&amp;Integral;</mo> <mi>&amp;Omega;</mi> </msub> <mi>&amp;Psi;</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>u</mi> <mo>(</mo> <mi>X</mi> <mo>)</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>v</mi> <mo>(</mo> <mi>X</mi> <mo>)</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mi>d</mi> <mi>x</mi> </mrow>
其中，u(X)表示像素点X＝(x,y)T在x方向的位移，v(X)表示y方向的位移；
特征匹配法的匹配约束项Edesc(W1)约束方式如下：
Edesc(W1)＝∫δ(X)|f2(X+W1(X))-f1(X)|2dx
其中，W1(X)表示基于描述符匹配法估计的X点的光流；δ(X)的取值为：当左图像上点X位置有特征点时，δ(X)取值为1，否则为0；f1(X)表示左图像X点的特征描述符，f2(X+W1(X))表示右图像的X+W1(X)点的特征描述符；
光流平方差Ematch(W,W1)约束方式如下：
Ematch(W,W1)＝∫δ(X)ρ(X)Ψ(|W(X)-W1(X)|2)dx
其中，ρ(X)表示匹配权重，ρ(X)的定义如下：
<mrow> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> </mfrac> </mrow>
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离；当最佳匹配和第二匹配相差较远时，ρ(X)匹配权重值大。
3.根据权利要求2所述的方法，其特征在于，所述步骤S202中求解描述符匹配约束项Edesc(W1)具体包括：
假设δ(X)是左图像的离散网格，其坐标表示为Xi，δ′(X)是右图像的离散网格，其坐标表示为Xj；特征描述符匹配项可以改写成如下：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>s</mi> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mo>&amp;Integral;</mo> <mi>&amp;delta;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mi>f</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mrow> <mi>X</mi> <mo>+</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <msup> <mo>|</mo> <mn>2</mn> </msup> <mi>d</mi> <mi>x</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>&amp;delta;</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <mo>|</mo> <msub> <mi>f</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced>
由于缺少规则约束，每一个网格点相互独立；因此，在优化W1时，可以在每一个网格点Xi独立求解；最优解W1(Xi)＝Xj-Xi，其整体的时间复杂度为Ο(mn)，其中m、n分别是左图像和右图像的网格点数；
S2021：图像分割；
对重叠区域左右原图像进行分割，将重叠区域左右原图像分割成若干个区域；
S2022：对分割后的图像区域进行方向梯度直方图提取；
S2023：区域匹配；
假设左图像分割区域i和右图像分割区域j的网格点的坐标分别为Xi、Xj，两区域的匹配分数为：
<mrow> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> </mfrac> </mrow>
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离，其中d的计算公式为：
<mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>f</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>j</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>l</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> </mfrac> </mrow>
N是i和j的组合总数；
通过匹配分数选取最优相匹配的区域块，从而计算该区域像素点在x方向和y方向的位移，即光流W1的大小。
4.根据权利要求3所述的方法，其特征在于，所述S1具体包括：
首先，计算相邻两幅图像的重合角度:
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频；
然后，根据重合角度计算空间相邻两幅图像重合区域的图像宽度：
<mrow> <mi>o</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> <mi>l</mi> <mi>a</mi> <mi>p</mi> <mi>Im</mi> <mi>g</mi> <mi>W</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> <mo>=</mo> <mi>i</mi> <mi>m</mi> <mi>g</mi> <mi>W</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> <mo>*</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>o</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> <mi>l</mi> <mi>a</mi> <mi>p</mi> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> </mrow> <mrow> <mi>F</mi> <mi>o</mi> <mi>v</mi> <mi>H</mi> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
其中，overlapImgWidth指相邻两幅图像重合区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角。
CN201710471825.5A 2017-06-20 2017-06-20 一种基于改进光流的图像拼接方法 Active CN107274337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710471825.5A CN107274337B (zh) 2017-06-20 2017-06-20 一种基于改进光流的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710471825.5A CN107274337B (zh) 2017-06-20 2017-06-20 一种基于改进光流的图像拼接方法

Publications (2)

Publication Number Publication Date
CN107274337A true CN107274337A (zh) 2017-10-20
CN107274337B CN107274337B (zh) 2020-06-26

Family

ID=60068968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710471825.5A Active CN107274337B (zh) 2017-06-20 2017-06-20 一种基于改进光流的图像拼接方法

Country Status (1)

Country Link
CN (1) CN107274337B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307200A (zh) * 2018-01-31 2018-07-20 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN109087250A (zh) * 2018-08-29 2018-12-25 浙江传媒学院 基于规则边界约束的图像拼接方法
CN109242811A (zh) * 2018-08-16 2019-01-18 广州视源电子科技股份有限公司 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备
CN109559286A (zh) * 2018-11-19 2019-04-02 电子科技大学 一种方差梯度约束法红外图像边缘保持去噪方法
CN109873941A (zh) * 2019-03-01 2019-06-11 南京泓众电子科技有限公司 全景镜头组件及全景生成方法
CN110189254A (zh) * 2019-04-30 2019-08-30 华中科技大学 一种图像数据集的形变参数集束平差方法及图像拼接方法
CN110458870A (zh) * 2019-07-05 2019-11-15 北京迈格威科技有限公司 一种图像配准、融合、遮挡检测方法、装置和电子设备
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统
CN111915483A (zh) * 2020-06-24 2020-11-10 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN113362362A (zh) * 2021-06-17 2021-09-07 易普森智慧健康科技（深圳）有限公司 基于总变分区域选取的明视野显微镜全景图像对齐算法
TWI743477B (zh) * 2019-05-07 2021-10-21 威盛電子股份有限公司 圖像處理裝置及圖像處理的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177968A1 (en) * 2012-12-20 2014-06-26 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
CN106803899A (zh) * 2015-11-26 2017-06-06 华为技术有限公司 合并图像的方法和装置
CN106815802A (zh) * 2016-12-23 2017-06-09 深圳超多维科技有限公司 一种图像拼接方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177968A1 (en) * 2012-12-20 2014-06-26 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
CN106803899A (zh) * 2015-11-26 2017-06-06 华为技术有限公司 合并图像的方法和装置
CN106815802A (zh) * 2016-12-23 2017-06-09 深圳超多维科技有限公司 一种图像拼接方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DENIS FORTUN ET AL.: "SEMI-LOCAL VARIATIONAL OPTICAL FLOW ESTIMATION", 《ICIP 2012》 *
付琼莹 等: "一种基于特征匹配的大位移变分光流方法", 《测绘科学技术学报》 *
林枝叶: "面向全景视频拼接的图像融合算法及其GPU实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王雅静: "用于智能监控的视频序列拼接研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
阳求应: "基于特征约束对称光流的运动估计及图像配准", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307200B (zh) * 2018-01-31 2020-06-09 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN108307200A (zh) * 2018-01-31 2018-07-20 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN109242811A (zh) * 2018-08-16 2019-01-18 广州视源电子科技股份有限公司 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备
CN109087250A (zh) * 2018-08-29 2018-12-25 浙江传媒学院 基于规则边界约束的图像拼接方法
CN109087250B (zh) * 2018-08-29 2022-05-24 浙江传媒学院 基于规则边界约束的图像拼接方法
CN109559286A (zh) * 2018-11-19 2019-04-02 电子科技大学 一种方差梯度约束法红外图像边缘保持去噪方法
CN109559286B (zh) * 2018-11-19 2022-12-06 电子科技大学 一种方差梯度约束法红外图像边缘保持去噪方法
CN109873941A (zh) * 2019-03-01 2019-06-11 南京泓众电子科技有限公司 全景镜头组件及全景生成方法
CN109873941B (zh) * 2019-03-01 2020-11-20 南京泓众电子科技有限公司 全景镜头组件及全景生成方法
CN110189254A (zh) * 2019-04-30 2019-08-30 华中科技大学 一种图像数据集的形变参数集束平差方法及图像拼接方法
TWI743477B (zh) * 2019-05-07 2021-10-21 威盛電子股份有限公司 圖像處理裝置及圖像處理的方法
WO2021004237A1 (zh) * 2019-07-05 2021-01-14 北京迈格威科技有限公司 一种图像配准、融合、遮挡检测方法、装置和电子设备
CN110458870A (zh) * 2019-07-05 2019-11-15 北京迈格威科技有限公司 一种图像配准、融合、遮挡检测方法、装置和电子设备
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及系统
CN111915483A (zh) * 2020-06-24 2020-11-10 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质
WO2021258579A1 (zh) * 2020-06-24 2021-12-30 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN111915483B (zh) * 2020-06-24 2024-03-19 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN113362362A (zh) * 2021-06-17 2021-09-07 易普森智慧健康科技（深圳）有限公司 基于总变分区域选取的明视野显微镜全景图像对齐算法

Also Published As

Publication number Publication date
CN107274337B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN107274337B (zh) 一种基于改进光流的图像拼接方法
Yao et al. Recurrent mvsnet for high-resolution multi-view stereo depth inference
Kim et al. Spatio-temporal transformer network for video restoration
EP3971825A1 (en) Systems and methods for hybrid depth regularization
CN105374019B (zh) 一种多深度图融合方法及装置
US8718328B1 (en) Digital processing method and system for determination of object occlusion in an image sequence
CN104463859B (zh) 一种基于跟踪指定点的实时视频拼接方法
Zhi et al. Toward dynamic image mosaic generation with robustness to parallax
Choi et al. A contour tracking method of large motion object using optical flow and active contour model
CN107209938A (zh) 用于生成图像的初始超像素标签图的方法和装置
US11875490B2 (en) Method and apparatus for stitching images
CN111553841A (zh) 一种基于最佳缝合线更新的实时视频拼接算法
CN108093188B (zh) 一种基于混合投影变换模型的大视场视频全景图拼接的方法
Gong Enforcing temporal consistency in real-time stereo estimation
Seok Lee et al. Simultaneous super-resolution of depth and images using a single camera
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
Long et al. Detail preserving residual feature pyramid modules for optical flow
Chen et al. Integrating dashcam views through inter-video mapping
Cao et al. Constructing big panorama from video sequence based on deep local feature
Favorskaya et al. Warping techniques in video stabilization
JP6910622B2 (ja) 画像処理システム
Matsumoto et al. Real-time enhancement of RGB-D point clouds using piecewise plane fitting
Gupta et al. 3dfs: Deformable dense depth fusion and segmentation for object reconstruction from a handheld camera
Gkamas et al. Guiding optical flow estimation using superpixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant