CN107274337B - 一种基于改进光流的图像拼接方法 - Google Patents
一种基于改进光流的图像拼接方法 Download PDFInfo
- Publication number
- CN107274337B CN107274337B CN201710471825.5A CN201710471825A CN107274337B CN 107274337 B CN107274337 B CN 107274337B CN 201710471825 A CN201710471825 A CN 201710471825A CN 107274337 B CN107274337 B CN 107274337B
- Authority
- CN
- China
- Prior art keywords
- image
- optical flow
- constraint
- matching
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000006073 displacement reaction Methods 0.000 claims abstract description 39
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000002996 descriptor matching method Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 2
- 238000010924 continuous production Methods 0.000 claims 1
- 238000011437 continuous method Methods 0.000 abstract description 3
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000003068 static effect Effects 0.000 description 4
- 238000002924 energy minimization method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种基于改进光流的图像拼接方法，属于图像信息处理技术领域。该方法包括：S1：计算空间相邻图像的重合区域；S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；S201：构造由总能量函数约束的变分模型；S202：根据总能量函数对特征描述符匹配约束项求解；S203：采用连续方法对变分模型中灰度值约束项、梯度约束、平滑度约束、光流平方差进行求解；S3：基于光流信息对重合区域进行配准和变换；S4：对变换后的图像进行融合，从而得到拼接后图像；本发明结合特征描述子匹配和密集光流匹配估计光流信息，从而对图像进行拼接，该方法对大位移和小位移光流均可精确计算，从而使光流配准精度可以大大提高。
Description
技术领域
本发明属于图像信息处理技术领域，涉及图像拼接技术，尤其涉及一种基于改进光流的图像拼接方法。
背景技术
图像拼接是利用多个摄像机获取不同角度的图像并进行拼接形成宽视野图像的技术。根据场景不同，可以分为静止场景的图像拼接和运动场景的图像拼接。对于静止场景，难点在于如何消除静止视差引起的重影。对于运动场景，不仅包括静止物体的视差，还有前景移动物体穿越相机时的重影。
为了消除运动目标的拼接重影，如“鬼影”，目前方法大致可分为三类：第一类方法是采用先进的图像合成技术，如seam cutting(接缝切割)方法，但这类方法在有移动目标经过缝合线时，拼接图像中会出现运动目标断裂。第二类方法是基于深度信息的配准方法，因为运动区域和静止区域的深度特征区别较明显，采用立体匹配方法估计相邻图像的深度信息，利用深度信息进行配准，该类方法深度信息的正确估计尤为关键，然而，深度估计计算复杂度通常很高。第三类方法是基于运动矢量的配准方法，首先是估计运动矢量(运动大小和运动方向)，然后根据运动矢量匹配相邻两幅图像。
目前先进的运动矢量估计方法为光流法。对于光流估计，一方面，有能量最小化方法，该方法能产生准确、密集的流场，但是对于大位移的运动目标，光流的计算不准确。针对大位移运动目标，相应有特征描述子匹配法，这类方法计算的光流信息非常稀疏，小位移处的光流计算精度有限，由于缺少规律性约束，存在许多异常值。Facebook Surround 360采用了能量最小化方法产生密集的光流场，通过实验发现，对于小位移的运动目标，利用光流信息进行配准，配准精度高，可以消除拼接重影。但对于大视差大位移的运动目标，拼接重影问题没能得到解决。
故亟需一种图像拼接方法，能实现重叠区域既包括大位移运动目标，又包含小位移运动目标时的图像拼接。
发明内容
本发明针对重叠区域既包括大位移运动目标，又包含小位移运动目标时图像拼接容易出现重影的技术问题，提供了一种基于改进光流的图像拼接方法，消除了图像拼接出现的重影现象。
一种基于改进光流的图像拼接方法，包括：
S1：计算空间相邻图像的重合区域；
S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；
S201：构造由总能量函数约束的变分模型；总能量函数约束方式如下：
E(W)＝Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W，W1)+δEdesc(W1)；其中，Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Edesc(W1)为描述符匹配约束项、Ematch(W，W1)为光流平方差；
S202：特征描述符匹配约束项Edesc(W1)求解；
S203：采用连续方法对变分模型中Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Ematch(W，W1)为光流平方差进行求解；
S3：基于上一步骤求得的光流信息对重合区域进行配准和变换；
具体的，基于S2步骤计算的光流场，对重叠区域进行配准变换，变换公式如下：
I1(p)＝I2(x+u(p)，y+v(p))＝I2(p＇)
其中，I1、I2分别表示左右图像，p＝(x，y)表示左图像的像素点坐标，u(p)表示p点在x方向的光流，v(p)表示p点在y方向的光流；p＇表示右图像的像素点坐标，即p和p＇是根据光流而对应的两像素点；
即用单应性矩阵表示为：
S4：对变换后的图像进行融合，从而得到拼接后图像；
对变换后的图像采用渐进渐出图像融合方法融合重叠区域，再将非重叠区域和拼接后的重叠区域图像融合，得到最终的全景图像；渐进渐出融合公式为：
其中R1为左图像非重叠区域，R2为右图像非重叠区域，R3为左右图像的图像重叠区域，
0≤i≤overlapImgWidth，i表示右图像重叠区域的横坐标值，overlapImgWidth指相邻两幅图像重叠区域的图像宽度；
其中，d、β、γ、δ均为权重系数，W表示基于密集匹配法估计的光流，W1表示基于描述符匹配法估计的光流，I表示最终的拼接图像。
进一步的，所述S201中，
I1，I2分别是待配准的左图像和右图像，X＝(x，y)T表示是图像区域
上的像素坐标，W＝(u，v)T表示光流；
首先，加上灰度值约束项Ecolor(W)普通约束，即对应点应具有相同的灰度值；约束方式如下：
Ecolor(W)＝∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx
函数
ε＝0.001；
梯度约束Egrad(W)约束方式如下：
其中，
，表示图像在x方向和y方向的梯度值，
ε＝0.001；
平滑度约束Esmooth(W)的约束方式如下：
其中，u(X)表示像素点X＝(x，y)T在x方向的位移，v(X)表示y方向的位移；
ε＝0.001：
特征匹配法的匹配约束项Edesc(W1)约束方式如下：
Edesc(W1)＝∫δ(X)|f2(X+W1(X))-f1(X)|2dx
其中，W1(X)表示基于描述符匹配法估计的X点的光流；δ(X)的取值为：当左图像上点X位置有特征点时，δ(X)取值为1，否则为0；f1(X)表示左图像X点的特征描述符，f2(X+W1(X))表示右图像的X+W1(X)点的特征描述符；
光流平方差Ematch(W，W1)约束方式如下：
Ematch(W，W1)＝∫δ(X)ρ(X)Ψ(|W(X)-W1(X)|2)dx
其中，ρ(X)表示匹配权重，
ε＝0.001；ρ(X)的定义如下：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离；当最佳匹配和第二匹配相差较远时，ρ(X)匹配权重值大。
进一步的，所述步骤S202中求解匹配约束项Edesc(W1)具体包括：
假设δ(X)是左图像的离散网格，其坐标表示为Xi，δ＇(X)是右图像的离散网格，其坐标表示为Xi；特征描述符匹配项可以改写成如下：
由于缺少规则约束，每一个网格点相互独立；因此，在优化W1时，可以在每一个网格点Xi独立求解；最优解W1(Xi)＝Xj-Xi，其整体的时间复杂度为O(mn)，其中m、n分别是左图像和右图像的网格点数；
S2021：图像分割；
对重叠区域左右原图像进行分割，将重叠区域左右原图像分割成若干个区域；
S2022：对分割后的图像区域进行方向梯度直方图提取；
S2023：区域匹配；
假设左图像分割区域i和右图像分割区域j的网格点的坐标分别为Xi、Xj，两区域的匹配分数为：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离，其中d的计算公式为：
N是i和j的组合总数，k表示左图像任意一个分割区域，l表示右图像任意一个分割区域。∑k，l表示对左右图像所有分割区域计算特征描述符的距离值的和；
通过匹配分数选取最优相匹配的区域块，从而计算该区域像素点在x方向和y方向的位移，即光流W1的大小。
进一步的，所述S1具体包括：
首先，计算相邻两幅图像的重合角度：
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频；
然后，根据重合角度计算空间相邻两幅图像重合区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重合区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角。
为了消除大位移运动目标的拼接重影，本发明提出了一种基于改进光流的图像拼接方法，结合特征描述子匹配和密集光流匹配估计光流信息，该方法对大位移和小位移光流均可精确计算，从而使光流配准精度可以大大提高。同时，光流计算可以充分利用GPU(Graphics Processing Unit，图形处理器)的并行、高速运算性能，实时性好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于改进光流的图像拼接方法的流程图；
图2是本发明实施例提供的基于特征描述子匹配和密集匹配相结合的光流方法的流程图；
图3是本发明实施例中HOG(Histogram of Oriented Gradient，方向梯度直方图)特征描述子的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明针对重叠区域既包括大位移运动目标，又包含小位移运动目标时图像拼接容易出现重影的技术问题，本发明提供了一种基于改进光流的图像拼接方法。该方法很好地消除了图像拼接后出现的重影现象。如图1所示，该方法包括以下步骤：
S1：计算空间相邻图像的重合区域；
首先，计算相邻两幅图像的重合角度：
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频。
然后，根据重合角度计算空间相邻两幅图像重合区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重合区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角。
S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；
为了准确计算出小位移和大位移运动目标的光流信息，本发明提出一种基于特征描述符匹配和密集匹配相结合的方法。特征描述符匹配方法对于大位移光流场的计算精确度高，但小位移光流场的精确度有限；密集匹配方法(能量最小化方法)对于小位移运动目标可以得到精确、密集的光流场，但大位移光流场的精确度有限。因此，本发明提出将两者结合计算光流用于图像拼接中。光流计算的流程图如图2所示，包括如下步骤：
S201：构造变分模型
设I1，I2分别是待配准的左图像和右图像，X＝(x，y)T表示是图像区域
上的像素坐标，W＝(u，v)T表示光流。首先，加上灰度值约束项Ecolor(W)，即对应点应具有相同的灰度值。
Ecolor(W)＝∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx
与Horn and Schunck模型相反，这里没有引入线性化。函数
ε＝0.001，能允许处理遮挡和非高斯偏差。它服从拉普拉斯分布，拉普拉斯分布的尾部比高斯分布更加平坦，其优势在于相应的约束项是仍然是凸函数。
由于光照变化，仅匹配颜色或灰度值并不可靠，因此加入梯度约束Egrad(W)(灰度变化一致性约束)：
其中，
表示图像在x方向和y方向的梯度值。
ε＝0.001。
由于最优位移场在场景中的对象边界处具有不连续性，因此，进一步引入流场的平滑度约束Esmooth(W)：
其中，u(X)表示像素点X＝(x，y)T在x方向的位移，v(X)表示y方向的位移。
ε＝0.001。
以上三个约束组成的密集匹配法，可以处理变形、运动不连续性和遮挡。但是，对于大位移的估计精度有限。特征描述符匹配法可以用来估计大位移光流，但是它是一种离散估计方法，不能提高子像素的准确度。因此，引入特征匹配法的匹配约束项Edesc(W1)加入到上述变分模型中：
Edesc(W1)＝∫δ(X)|f2(X+W1(X))-f1(X)|2dx
其中，W1(X)表示基于描述符匹配法估计的X点的光流。δ(X)的取值为：当左图像上点X位置有特征点时，δ(X)取值为1，否则为0。f1(X)表示左图像X点的特征描述符，f2(X+W1(X))表示右图像的X+W1(X)点的特征描述符。
假设密集匹配法和特征匹配法估计的光流场都比较精确，那么W1(X)与W(X)应尽可能相似，因此加入两者的平方差作为另一约束项：
Ematch(W，W1)＝∫δ(X)ρ(X)Ψ(|W(X)-W1(X)|2)dx
其中，ρ(X)表示匹配权重，
ε＝0.001。ρ(X)的定义如下：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离。当最佳匹配和第二匹配相差较远时，ρ(X)匹配权重值大。
将以上五个约束项组合，得到的总能量函数为：
E(W)＝Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W，W1)+δEdesc(W1)
其中，α、β、γ、δ均为权重系数。
因此，光流的计算转换为能量函数最小化的优化问题。通过将特征描述符匹配和密集匹配相结合的方法计算光流，对于小位移和大位移的光流场均可精确计算。
S202：特征描述符匹配约束项Edesc(W1)求解；
描述符匹配项求解着重于最小化Edesc(W1)，其独立于其余能量约束项，Edesc(W1)的最小化为离散优化问题。假设δ(X)是左图像的离散网格，其坐标表示为Xi，δ＇(X)是右图像的离散网格，其坐标表示为Xj。特征描述符匹配项可以改写成如下：
由于缺少规则约束，每一个网格点相互独立。因此，在优化W1时，可以在每一个网格点Xi独立求解。最优解W1(Xi)＝Xj-Xi，其整体的时间复杂度为O(mn)，其中m、n分别是左图像和右图像的网格点数。本发明采用简单有效的最近邻匹配优化求解特征描述符匹配项。
以上的优化过程简单，只需有合理的描述符和有效的网格点。良好的描述符匹配方法的主要在于能够精确捕获较小结构的运动，并且描述符具有独特性，以此来限制错误匹配的数量。本发明采用基于HOG特征的区域匹配法，包含三个步骤：一是图像分割、二是HOG描述符提取，三是区域匹配。
S2021：图像分割；
对重叠区域左右原图像进行分割，将重叠区域左右原图像分割成若干个区域，图像分割是为了将图像分割成多个块，用于S2023区域匹配，区域匹配比全局匹配速度更快。
本发明采用的是Arbelaez等人提出的OWT-UCM算法对图像进行分割。该方法引入分水岭变换的新变体Oriented Watershed Transform(OWT，定向分水岭变换)，用于生成一组轮廓检测器输出的初始化区域，然后从初始区域的边界构建一个Ultrametric ContourMap(UCM，超度量轮廓图)。轮廓检测器采用的是Maire等人提出的gPb边缘检测器，该边缘检测器优于简单的边缘检测是有考虑纹理。
S2022：对分割后的图像区域进行方向梯度直方图提取；
得到图像分割区域后，本发明计算密集的方向梯度直方图(HOG)，基于7×7的邻域计算梯度方向直方图，直方图包含15个不同方向。
首先，采用Gamma校正法对输入图像进行颜色空间归一化，目的是调节图像的对比度，降低图像局部的阴影和光照变化；然后，用σ＝0.8的高斯滤波器进行平滑处理。接着，计算像素点15个不同方向的梯度；再归一化HOG特征向量；最后，如图3所示，将中心像素点和与之相隔4个像素距离的8个邻域点的方向梯度直方图串联组成最终的特征向量，即描述符为15*9＝135维的向量。
S2023：区域匹配；
我们定义网格δ(X)来选取HOG特征描述符，在x方向和y方向相隔4个像素进行选取，即以降采样因子16选取特征描述符，从而减少匹配代价。假设左图像分割区域i和右图像分割区域j的网格点的坐标分别为Xi、Xj。两区域的匹配分数为：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离，其中d的计算公式为：
N是i和j的组合总数，k表示左图像任意一个分割区域，l表示右图像任意一个分割区域。∑k，l表示对左右图像所有分割区域计算特征描述符的距离值的和。
通过匹配分数选取最优相匹配的区域块，从而计算该区域像素点在x方向和y方向的位移，即W1。
S203：变分模型求解；
特征描述符项Edesc(W1)求解完之后，总能量函数的其余部分可采用连续方法求解。本发明采用Brox等人提出的基于局部优化和由粗到精相结合的优化方法。
S3：基于S2求得的光流信息对重合区域进行配准和变换；
基于S2步骤计算的光流场，对重叠区域进行配准变换，变换公式如下：
I1(p)＝I2(x+u(p)，y+v(p))＝I2(p＇)
其中，I1、I2分别表示左右图像，p＝(x，y)表示左图像的像素点坐标，u(p)表示p点在x方向的光流，v(p)表示p点在y方向的光流。p，表示右图像的像素点坐标，即p和p＇是根据光流而对应的两像素点。
即用单应性矩阵表示为：
S4：对变换后的图像进行融合，从而得到拼接后图像。
基于光流信息得到变换后的图像后，对变换后的图像采用渐进渐出图像融合方法融合重叠区域，再将非重叠区域和拼接后的重叠区域图像融合，得到拼接后全景图像。渐进渐出融合公式为：
其中R1为左图像非重叠区域，R2为右图像非重叠区域，R3为左右图像的图像重叠区域，
0≤i≤overlapImgWidth，i表示右图像重叠区域的横坐标值，overlapImgWidth指相邻两幅图像重叠区域的图像宽度，α、β、γ、δ均为权重系数，W表示基于密集匹配法估计的光流，W1表示基于描述符匹配法估计的光流，I表示最终的拼接图像。
为了消除大位移运动目标的拼接重影，本发明提出了一种基于改进光流的图像拼接方法，结合特征描述子匹配和密集光流匹配估计光流信息，该方法对大位移和小位移光流均可精确计算，从而使光流配准精度可以大大提高。同时，光流计算可以充分利用GPU(Graphics Processing Unit，图形处理器)的并行、高速运算性能，实时性好。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (2)
1.一种基于改进光流的图像拼接方法，其特征在于，包括：
S1：计算空间相邻图像的重合区域；
S2：基于特征描述符匹配和密集匹配相结合的方法计算光流；
S201：构造由总能量函数约束的变分模型；总能量函数约束方式如下：E(W)＝Ecolor(W)+αEgrad(W)+βEsmooth(W)+γEmatch(W，W1)+δEdesc(W1)；其中，Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Edesc(W1)为描述符匹配约束项、Ematch(W，W1)为光流平方差；
S202：特征描述符匹配约束项Edesc(W1)求解；
S203：采用连续方法对变分模型中Ecolor(W)为灰度值约束项、Egrad(W)为梯度约束、Esmooth(W)为平滑度约束、Ematch(W，W1)为光流平方差进行求解；
S3：基于上一步骤求得的光流信息对重合区域进行配准和变换；
具体的，基于S2步骤计算的光流场，对重叠区域进行配准变换，变换公式如下：
I1(p)＝I2(x+u(p)，y+v(p))＝I2(p′)
其中，I1、I2分别表示左右图像，p＝(x，y)表示左图像的像素点坐标，u(p)表示p点在x方向的光流，v(p)表示p点在y方向的光流；p′表示右图像的像素点坐标，即p和p′是根据光流而对应的两像素点；
即用单应性矩阵表示为：
S4：对变换后的图像进行融合，从而得到拼接后图像；
对变换后的图像采用渐进渐出图像融合方法融合重叠区域，再将非重叠区域和拼接后的重叠区域图像融合，得到最终的全景图像；渐进渐出融合公式为：
其中R1为左图像非重叠区域，R2为右图像非重叠区域，R3为左右图像的图像重叠区域，
i表示右图像重叠区域的横坐标值，overlapImgWidth指相邻两幅图像重叠区域的图像宽度；
其中，α、β、γ、δ均为权重系数，W表示基于密集匹配法估计的光流，W1表示基于描述符匹配法估计的光流，I表示最终的拼接图像；
所述S201中，
I1,I2分别是待配准的左图像和右图像，X＝(x,y)T表示是图像区域
上的像素坐标，W＝(u,v)T表示光流；
首先，加上灰度值约束项Ecolor(W)普通约束，即对应点应具有相同的灰度值；约束方式如下：
Ecolor(W)＝∫ΩΨ(|I2(X+W(X))-I1(X)|2)dx
函数
ε＝0.001；
梯度约束Egrad(W)约束方式如下：
其中，
表示图像在x方向和y方向的梯度值，
ε＝0.001；
平滑度约束Esmooth(W)的约束方式如下：
其中，u(X)表示像素点X＝(x,y)T在x方向的位移，v(X)表示y方向的位移；
ε＝0.001；
特征匹配法的匹配约束项Edesc(W1)约束方式如下：
Edesc(W1)＝∫δ(X)|f2(X+W1(X))-f1(X)|2dx
其中，W1(X)表示基于描述符匹配法估计的X点的光流；δ(X)的取值为：当左图像上点X位置有特征点时，δ(X)取值为1，否则为0；f1(X)表示左图像X点的特征描述符，f2(X+W1(X))表示右图像的X+W1(X)点的特征描述符；
光流平方差Ematch(W,W1)约束方式如下：
Ematch(W,W1)＝∫δ(X)ρ(X)Ψ(|W(X)-W1(X)|2)dx
其中，ρ(X)表示匹配权重，
ε＝0.001；ρ(X)的定义如下：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离；当最佳匹配和第二匹配相差较远时，ρ(X)匹配权重值大；
所述S202中求解描述符匹配约束项Edesc(W1)具体包括：
假设δ(X)是左图像的离散网格，其坐标表示为Xi，δ′(X)是右图像的离散网格，其坐标表示为Xj；特征描述符匹配项可以改写成如下：
由于缺少规则约束，每一个网格点相互独立；因此，在优化W1时，可以在每一个网格点Xi独立求解；最优解W1(Xi)＝Xj-Xi，其整体的时间复杂度为O(mn)，其中m、n分别是左图像和右图像的网格点数；
S2021：图像分割；
对重叠区域左右原图像进行分割，将重叠区域左右原图像分割成若干个区域；
S2022：对分割后的图像区域进行方向梯度直方图提取；
S2023：区域匹配；
假设左图像分割区域i和右图像分割区域j的网格点的坐标分别为Xi、Xj，两区域的匹配分数为：
d1和d2分别表示特征描述符的最佳匹配和第二最佳匹配的欧氏距离，其中d的计算公式为：
N是i和j的组合总数，k表示左图像任意一个分割区域，l表示右图像任意一个分割区域，∑k，l表示对左右图像所有分割区域计算特征描述符的距离值的和；
通过匹配分数选取最优相匹配的区域块，从而计算该区域像素点在x方向和y方向的位移，即光流W1的大小。
2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：
首先，计算相邻两幅图像的重合角度：
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频；
然后，根据重合角度计算空间相邻两幅图像重合区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重合区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重合角度，FovHAngle是指摄像机的水平视角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710471825.5A CN107274337B (zh) | 2017-06-20 | 2017-06-20 | 一种基于改进光流的图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710471825.5A CN107274337B (zh) | 2017-06-20 | 2017-06-20 | 一种基于改进光流的图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107274337A CN107274337A (zh) | 2017-10-20 |
| CN107274337B true CN107274337B (zh) | 2020-06-26 |
Family
ID=60068968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710471825.5A Active CN107274337B (zh) | 2017-06-20 | 2017-06-20 | 一种基于改进光流的图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107274337B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307200B (zh) * | 2018-01-31 | 2020-06-09 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN109242811B (zh) * | 2018-08-16 | 2021-09-17 | 广州视源电子科技股份有限公司 | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 |
| CN109087250B (zh) * | 2018-08-29 | 2022-05-24 | 浙江传媒学院 | 基于规则边界约束的图像拼接方法 |
| CN109559286B (zh) * | 2018-11-19 | 2022-12-06 | 电子科技大学 | 一种方差梯度约束法红外图像边缘保持去噪方法 |
| CN109873941B (zh) * | 2019-03-01 | 2020-11-20 | 南京泓众电子科技有限公司 | 全景镜头组件及全景生成方法 |
| CN110189254B (zh) * | 2019-04-30 | 2020-12-08 | 华中科技大学 | 一种图像数据集的形变参数集束平差方法及图像拼接方法 |
| TWI743477B (zh) * | 2019-05-07 | 2021-10-21 | 威盛電子股份有限公司 | 圖像處理裝置及圖像處理的方法 |
| CN110458870B (zh) * | 2019-07-05 | 2020-06-02 | 北京迈格威科技有限公司 | 一种图像配准、融合、遮挡检测方法、装置和电子设备 |
| CN110969696A (zh) * | 2019-12-19 | 2020-04-07 | 中德人工智能研究院有限公司 | 三维建模快速空间重构的方法及系统 |
| CN111915483B (zh) * | 2020-06-24 | 2024-03-19 | 北京迈格威科技有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
| CN113362362B (zh) * | 2021-06-17 | 2022-06-14 | 易普森智慧健康科技（深圳）有限公司 | 基于总变分区域选取的明视野显微镜全景图像对齐算法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803899A (zh) * | 2015-11-26 | 2017-06-06 | 华为技术有限公司 | 合并图像的方法和装置 |
| CN106815802A (zh) * | 2016-12-23 | 2017-06-09 | 深圳超多维科技有限公司 | 一种图像拼接方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286656B2 (en) * | 2012-12-20 | 2016-03-15 | Chung-Ang University Industry-Academy Cooperation Foundation | Homography estimation apparatus and method |
-
2017
- 2017-06-20 CN CN201710471825.5A patent/CN107274337B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803899A (zh) * | 2015-11-26 | 2017-06-06 | 华为技术有限公司 | 合并图像的方法和装置 |
| CN106815802A (zh) * | 2016-12-23 | 2017-06-09 | 深圳超多维科技有限公司 | 一种图像拼接方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| SEMI-LOCAL VARIATIONAL OPTICAL FLOW ESTIMATION;Denis Fortun et al.;《ICIP 2012》;20121231;第77-80页 * |
| 一种基于特征匹配的大位移变分光流方法;付琼莹 等;《测绘科学技术学报》;20131231;第30卷(第1期);第54-57页 * |
| 基于特征约束对称光流的运动估计及图像配准;阳求应;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151015(第10期);论文第22-29页 * |
| 用于智能监控的视频序列拼接研究;王雅静;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第07期);论文第23-24页 * |
| 面向全景视频拼接的图像融合算法及其GPU实现;林枝叶;《中国优秀硕士学位论文全文数据库信息科技辑》;20170215(第02期);论文第9-25页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107274337A (zh) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107274337B (zh) | 一种基于改进光流的图像拼接方法 | |
| EP3971825B1 (en) | Systems and methods for hybrid depth regularization | |
| CN105374019B (zh) | 一种多深度图融合方法及装置 | |
| US8718328B1 (en) | Digital processing method and system for determination of object occlusion in an image sequence | |
| CN104463859B (zh) | 一种基于跟踪指定点的实时视频拼接方法 | |
| Zhi et al. | Toward dynamic image mosaic generation with robustness to parallax | |
| CN107767339B (zh) | 一种双目立体图像拼接方法 | |
| CN105894443B (zh) | 一种基于改进的surf算法的实时视频拼接方法 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| Choi et al. | A contour tracking method of large motion object using optical flow and active contour model | |
| CN108093188B (zh) | 一种基于混合投影变换模型的大视场视频全景图拼接的方法 | |
| Gong | Enforcing temporal consistency in real-time stereo estimation | |
| CN110580715B (zh) | 一种基于照度约束和格网变形的图像对齐方法 | |
| CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
| Long et al. | Detail preserving residual feature pyramid modules for optical flow | |
| Chen et al. | Integrating dashcam views through inter-video mapping | |
| Favorskaya et al. | Warping techniques in video stabilization | |
| Cao et al. | Constructing big panorama from video sequence based on deep local feature | |
| JP6910622B2 (ja) | 画像処理システム | |
| Gupta et al. | 3dfs: Deformable dense depth fusion and segmentation for object reconstruction from a handheld camera | |
| Matsumoto et al. | Real-time enhancement of RGB-D point clouds using piecewise plane fitting | |
| Lin et al. | Interactive disparity map post-processing | |
| Sun et al. | Image stitching with weighted elastic registration | |
| Xue et al. | Elastic Warping with Global Linear Constraints for Parallax Image Stitching | |
| CN117221466B (zh) | 基于网格变换的视频拼接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |