CN106709878B - 一种快速图像融合方法 - Google Patents
一种快速图像融合方法 Download PDFInfo
- Publication number
- CN106709878B CN106709878B CN201611076440.0A CN201611076440A CN106709878B CN 106709878 B CN106709878 B CN 106709878B CN 201611076440 A CN201611076440 A CN 201611076440A CN 106709878 B CN106709878 B CN 106709878B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- difference
- minimum
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 230000035807 sensation Effects 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 241000251468 Actinopterygii Species 0.000 claims abstract description 21
- 230000001186 cumulative effect Effects 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000000205 computational method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种快速图像融合方法，涉及鱼眼图像拼接技术领域，包括：取出图像融合区；找出最优融合中心线；计算线性映射查找表；根据所述线性映射查找表进行图像融合。找出最优融合中心线步骤包括：计算融合区的边缘特征；计算边缘特征与绝对灰度差值的和；寻找最小累加差值及其路径从而得到最优融合中心线。本方法综合计算了融合区内图像的灰度差异和边缘特征，规划路径避开图像中内容丰富区域，再利用动态迭代方法进行最优融合中心线搜索，解决了融合区图像模糊问题，图像真实清晰，大大提高图像拼接结果的效果。同时极大降低了计算的复杂度，降低了对系统资源的需求。
Description
技术领域
本发明涉及图像通信技术领域，尤其是涉及鱼眼图像拼接技术领域。
背景技术
鱼眼图像拼接是一种利用实景图像组成全景空间的技术，目前的鱼眼图像拼接技术主要有两种方案：
第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后采用2D图像配准技术对校正后的图像元进行2D配准，最后对配准的两幅图像进行融合。
第二种方案是把鱼眼图像的径向畸变校正参数和图像元的位姿参数作为一体，整体用最优化技术进行参数估计，最后调用参数映射表对镜头单元图像进行图像拼接。
这些方法在图像融合过程中如果采用直接融合的方法(例如：平均值法、加权平均法、中值滤波法)，会导致生成的全景图像因为重叠区域的细节差异而出现明显的拼接缝。
为了解决拼接缝这个技术问题，目前常用的方法是采用动态规划和graph-cut的方法来查找最优融合中心线，具体来说就是利用两幅图像重叠区域内像素之间的灰度差异和颜色差异，在重叠区域中找到一条灰度和颜色差异最小的线，这条线就被称为最优融合中心线。
在中国专利公布号CN105957007A中介绍了一种基于最优融合线的加权融合方法，它采用graph-cut的最优缝合线算法来找出重合区域中差异最小的划分线，然后利用加权平均法在最优缝合线L周围对待拼接的图像像素值进行融合，该最优缝合线算法基于像素级寻找差异最小的划分线，在对重叠区域中内容丰富的地方进行加权平均融合时，会产生较大的模糊现象。在中国专利公布号CN103856727A中介绍了一种结合颜色和结构差异最小的最优缝合线算法，利用人工智能中的启发式A*搜索算法计算平均累计误差值最小的线作为最优缝合线，该方法计算复杂，运算量大，占用系统资源多。
采用现有技术中的方法生成的全景图像，容易出现模糊、拼接错位等现象，生成的全景图像效果不佳，同时占用大量的系统资源，对硬件配置的要求极高。
发明内容
本发明为克服图像拼接后模糊的问题，旨在提供一种寻找最优融合中心线融合后得到清晰鱼眼图像的方法。
一种快速图像融合方法，所述方法包括：
获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区；在所述融合区内找出最优融合中心线；利用所述最优融合中心线计算线性映射查找表；根据所述线性映射查找表进行图像融合；
在所述融合区内找出最优融合中心线的步骤包括：计算融合区的边缘特征；计算边缘特征与绝对灰度差值的和；寻找最小累加差值及其路径从而得到最优融合中心线；
所述计算融合区的边缘特征的具体步骤如下：利用Canny边缘检测算子提取所述融合区中相互重叠的区域I1和I2的边缘特征，其中第一步：利用高斯滤波模板平滑I1和I2：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I1和I2进行高斯平滑处理，得到去除噪声后的相互重叠区域g1(x，y)和g2(x，y)，I1和I2内(x,y)处灰度化后灰度值分别用I1(x,y)和I2(x,y)表示，所用公式如下所示：
第二步：利用一阶偏导的有限差分进行计算梯度的幅值和方向：已经平滑滤波后的相互重叠区域g1(x，y)和g2(x，y)的梯度用2*2的一阶有限差分近似式来计算x和y方向上的偏导数；g1(x，y)在x和y方向上的偏导数分别为Gx(x，y)和Gy(x，y)表示：
根据x与y方向的梯度可以计算g1(x，y)像素点的梯度幅值G(x，y)与角度θ(x，y)：
第三步：对梯度幅值进行非极大值抑制；将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算；对于每个像素点，邻域的中心像素梯度幅值与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0；第四步：用双阈值算法检测和连接边缘：对非极大值抑制后的重叠区域g1(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2；把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃；对一个融合区，利用双阈值算法检测得到融合区的边缘特征G1(x，y)和G2(x，y)；
所述计算边缘特征与绝对灰度差值的和的具体步骤如下：计算对准之后重叠区域中像素对的绝对灰度差值imgdiff，像素对的绝对灰度差值计算方法如下：
将边缘特征G1(x，y)和G2(x，y)叠加到绝对灰度差值imgdiff(x，y)中；
所述寻找最小累加差值及其路径从而得到最优融合中心线的具体步骤如下：选取32个起始点，并将其初始位置保存在path中；在极小邻域内计算每个起始点走过一行的最小累加误差及其最小路径；获取最小累加差值及其路径；
寻找最小累加差值及其路径从而得到最优融合中心线：选取32个起始点，并将其初始位置保存在path中；在极小邻域内计算每个起始点走过一行的最小累加误差及其最小路径；获取最小累加差值及其路径；所述选取32个起始点并将其初始位置保存在path中的具体步骤如下：获取边缘特征与绝对灰度差值的和Imgdiff(x，y)，将其第一行中间的32个像素作为生长起始点，并将这32个起始点在Imgdiff(x，y)中的位置保存在path(x，y)中，这32个起始点的像素值作为第一行的最小累加差值保存在acc_error(cur，y)中，同时将其赋值给acc_error(pre，y)，其中i∈1......32；
所述在极小邻域内计算每个起始点走过一行的最小累加误差及其最小路径的具体步骤如下：对于acc_error(pre，y)中的每一元素，我们限定它在Imgdiff(x，y)的所有路径在一个极小的邻域w中，其中3≤w≤5。获取每一路径点在融合区内当前行的位置信息，找出与这些位置相对应的Imgdiff(x，y)的邻域，然后在这一邻域内计算所有元素的最小值，将它与acc_error{pre，y)进行叠加，就可以得到acc_error{cur，y)，同时将邻域内取得最小值的位置保存在path(x，y)中；最小累加差值的计算公式如下：
所述获取最小累加差值及其路径的具体步骤如下：逐行从上至下遍历整个融合区，得到从所有路径起始点开始走过整个融合区的最小累加差值以及与之对应的最小路径线。在最后一行的acc_error(cur，y)中选取最小的那个元素所在的位置，找到这个位置在path(x，y)矩阵中对应的那一列，即找出的最优融合中心线的位置。
所述利用最优融合中心线计算线性映射查找表的具体步骤如下：其中blend_w表示进行实际线性融合宽度；
作为一个优选的实施例，所述计算融合区的边缘特征的步骤与计算边缘特征与绝对灰度差值的和的步骤之间还包括如下步骤：计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准；该步骤包括如下子步骤：计算边缘特征G1(x，y)和G2(x，y)的绝对误差值dg(x，y)：
对绝对误差值按列求和得到累加误差值向量Dg(y)：
移动重叠区域使计算的边缘特征的差值最小：取累加误差值向量Dg(y)中最小元素Dmin，然后固定G1(x，y)，将G2(x，y)向下平移Dmin行，向下超出的部分丢掉，向上空白的部分用G1(x，y)中对应部分填补，之后将G1(x，y)和G2(x，y)做绝对差值运算并且保存在最小边缘差异Emin中，然后按照步长为1依次向上移动G2(x，y)，同时对G1(x，y)和G2(x，y)做绝对差值运算，将得到的边缘差异和Emin相比较，如果比Emin小，那么用所述边缘差异更新Emin，否则丢弃该边缘差异；当G2(x，y)向上移动到距离原图像Dmin行时，会得到G2(x，y)在移动范围为(-Dmin～Dmin)时的最小边缘差异Emin以及相对应的G2(x，y)向上或向下移动的步数step，然后利用step将融合区中的I2(x，y)相对应的向上或向下移动step行；Emin的计算方法如下：
min(.)表示取最小值运算，Emin的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。
作为一个优选的实施例，在根据所述线性映射查找表进行图像融合之后所述方法还包括：对全景图像进行颜色、亮度均衡处理。
本发明的方法综合计算了融合区内图像的灰度差异和边缘特征，规划路径避开图像中内容丰富区域，再利用动态迭代方法进行最优融合中心线搜索，解决了融合区图像模糊问题，图像真实清晰，大大提高图像拼接结果的效果。同时极大降低了计算的复杂度，降低了对系统资源的需求即降低了系统的硬件要求。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种实施例的系统流程框图；
图2是相邻两幅鱼眼图像融合区示意图；
图3是计算最优融合中心线的流程图；
图4是根据本发明一种实施例Canny边缘检测算子实现流程图；
图5是根据本发明一种实施例Canny边缘检测算子在x和y方向上的模板示意图；
图6是根据本发明一种实施例Canny边缘检测算子中非极大值抑制模板示意图；
图7是根据本发明一种实施例利用边缘特征对融合区进行对准的流程图；
图8是根据本发明一种实施例最优融合中心线的搜索算法实现流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种快速图像融合方法，图1是本发明快速图像融合方法的系统流程框图。如图1所示，本发明所提供的方法包括以下步骤：
S1：获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区。具体方法如下：获取同一时刻待融合的多幅鱼眼图像，将任意两幅相邻鱼眼图像相互重叠的区域指定为一个融合区且首尾两幅鱼眼图像的重叠区域也指定为一个融合区。如图2所示，相邻的两幅鱼眼图像分别命名为Image1、Image2，它们相互重叠的区域为I1和I2，这两个相互重叠的区域一起构成了一个融合区。
S2：在所述融合区内找出最优融合中心线。采用综合边缘特征与灰度差异的动态迭代算法在融合区中找出一条最优融合中心线，找出融合区中最优融合中心线方法如图3流程图步骤所示，S2包括S201、S202、S203、S204、S205、S206等大步骤。其中：
S201：计算融合区的边缘特征。具体步骤如下：利用Canny边缘检测算子提取融合区中相互重叠的区域I1和I2的边缘特征，Canny边缘检测算子的具体步骤如图4流程图所示，S201包括S2011、S2012、S2013、S2014等小步骤。其中：
S2011：利用高斯滤波模板平滑I1和I2。步骤如下：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I1和I2进行高斯平滑处理，得到去除噪声后的相互重叠区域g1(x，y)和g2(x，y)，所用公式如下所示：
其中，I1(x,y)和I2(x,y)表示I1和I2内(x,y)处灰度化后灰度值，*表示卷积运算。
S2012：利用一阶偏导的有限差分进行计算梯度的幅值和方向。步骤如下：已经平滑滤波后的相互重叠区域g1(x，y)和g2(x，y)的梯度用2*2的一阶有限差分近似式来计算x和y方向上的偏导数。g1(x，y)在x和y方向上的偏导数分别用Gx(x，y)和Gy(x，y)表示：
x和y方向上的偏导数模板如图5所示，根据x与y方向的梯度可以计算g1(x，y)中像素点的梯度幅值G(x，y)与角度θ(x，y)：
G(x，y)反映了图像的边缘强度，θ(x，y)表示方位角反映了梯度的方向，当G(x，y)取得局部最大值时，其对应的梯度方向θ(x，y)反映了边缘的方向。
S2013：对梯度幅值进行非极大值抑制。仅仅得到全局的梯度并不足以确定边缘，因此必须保留局部梯度最大的点，且要抑制非极大值。方法如下：将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算。如图6中a图中四个扇区的标号为0到3，对应b图中3*3邻域的四种可能组合。对于每个像素点，邻域的中心像素梯度幅值与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0。
S2014：用双阈值算法检测和连接边缘。具体步骤如下：对非极大值抑制后的重叠区域g1(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2。即把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如果能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃。对一个融合区，利用双阈值算法检测后就可以得到融合区的边缘特征G1(x，y)和G2(x，y)。
S202：计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准，如图7所示。具体包括如下S2021、S2022、S2023等步骤：
S2021：计算边缘特征G1(x，y)和G2(x，y)的绝对误差值dg(x，y)，方法如下：
其中，||表示求绝对值运算。
S2022：对绝对误差值按列求和得到累加误差值向量Dg(y)，方法如下：
S2023：移动重叠区域使计算的边缘特征的差值最小。具体步骤如下：取累加误差值向量Dg(y)中最小元素Dmin，然后固定G1(x，y)，将G2(x，y)向下平移Dmin行，向下超出的部分丢掉，向上空白的部分用G1(x，y)中对应部分填补，接下来将G1(x，y)和G2(x，y)做绝对差值运算并且保存在最小边缘差异Emin中，然后按照步长为1依次向上移动G2(x，y)，同时对G1(x，y)和G2(x，y)做绝对差值运算，将得到的边缘差异和Emin相比较，如果比Emin小，那么用这个边缘差异更新Emin，否则丢弃这个边缘差异。当G2(x，y)向上移动到距离原图像Dmin行时，会得到G2(x，y)在移动范围为(-Dmin～Dmin)时的最小边缘差异Emin以及相对应的G2(x，y)向上或向下移动的步数step，然后利用step将融合区中的I2(x，y)相对应的向上或向下移动step行。Emin的计算方法如下：
其中，min(.)表示取最小值运算，Emin的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。
利用S201步中从融合区相互重叠的区域中提取的边缘特征G1(x，y)和G2(x，y)，将这两个特征矩阵做绝对差值运算得到在这两个重叠区域中边缘特征的差异，这个差异值表明融合区在水平方向上并没有完全的对准，如果在水平方向上直接进行线性融合，会导致融合区产生错位现象。最后通过S2023这个步骤，利用特征矩阵的最小边缘差异，在垂直方向上调整融合区中相互重叠的区域，使这两个重叠区域在水平方向上对准，从而解决融合后图像错位问题。
S203：计算边缘特征与绝对灰度差值的和
计算对准之后重叠区域中像素对的绝对灰度差值imgdiff，像素对的绝对灰度差值计算方法如下：
将上述S201步中提取出来的边缘特征G1(x，y)和G2(x，y)叠加到绝对灰度差值imgdiff(x，y)中，得到表示相互重叠的区域结构与灰度差异的特征imgdiff(x，y)。
S204：寻找最小累加差值及其对应的路径。具体步骤如下：在计算得到边缘特征与绝对灰度差值的和之后，该结果是一个H×W的矩阵。我们选取该矩阵第一行的中间32个像素作为路径起始点，采取逐行从上至下的搜索算法，分别计算出每个路径起始点对应的一条融合线的平均累加误差值，选取平均累加误差值最小的那条线作为最优融合中心线，从而保证最优融合中心线要尽可能的穿越融合区平滑部分的原则。该搜索算法的具体实现流程图如图8所示，步骤如下：
S2041：选取32个路径起始点，并将其初始位置保存在path(x，y)中。具体步骤如下：获取边缘特征与绝对灰度差值的和imgdiff(x，y)，将其第一行中间的32个像素作为生长起始点，并将这32个起始点在imgdiff(x，y)中的位置保存在path(x，y)中，这32个起始点的像素值作为第一行的最小累加差值保存在acc_error(cur，y)中，同时将其赋值给acc_error(pre，y)，其中i∈1......32。
S2042：在极小邻域内计算每个路径起始点走过一行的最小累加差值及其最小路径。具体步骤如下：对于acc_error(pre，y)中的每一元素，我们限定它在Imgdiff(x，y)的所有路径在一个极小的邻域w中，即每一元素从上往下可以移动的范围不超过w，其中3≤w≤5。获取每一路径点在融合区内当前行的位置信息，找出与这些位置相对应的Imgdiff(x，y)的邻域，然后在这一邻域内计算所有元素的最小值，将它与acc_error(pre，y)进行叠加，就可以得到acc_error(cur，y)，同时将邻域内取得最小值的位置保存在path(x，y)中。最小累加差值的计算公式如下：
S2043：获取最小累加差值及其路径。具体步骤如下：
逐行从上至下遍历整个融合区，得到从所有路径起始点开始走过整个融合区的最小累加差值以及与之对应的最小路径线。在最后一行的acc_error{cur，y)中选取最小的那个元素所在的位置，找到这个位置在path(x，y)矩阵中对应的那一列，即找出的最优融合中心线的位置。
本发明的方法只要找出最后一行的acc_error{cur，i)中选取最小的那个元素所在的位置，然后对应到path矩阵中，因此极大降低了计算的复杂度，降低了对系统资源的需求即降低了系统的硬件要求。
通过步骤S2中的S201、S203、S204，首先计算了融合区内相互重叠区域的灰度差异和边缘特征差异，然后综合这两种差异信息，规划路径避开图像中的内容丰富的区域，在融合区内利用动态迭代的方法进行最优融合中心线搜索。通过搜索出来的最优融合中心线，让合成的全景图像尽可能地接近真实，不会因为融合区内的细节差异而产生明显的拼接缝隙。同时最优融合中心线的搜索方法考虑了融合区的边缘特征和灰度差异，因此融合成的全景图像在融合区没有图像的模糊问题。
S3：利用最优融合中心线计算线性映射查找表
通过最优融合中心线建立每个融合区中重叠区域像素点对应位置的线性映射查找表table。线性映射查找表的生成方法如下：
其中，blend_w表示进行实际线性融合的宽度。
在步骤S3中，利用找出的最优融合中心线，建立融合区的线性映射查找表。具体就是以最优融合中心线为中心，在它两边对称地取大小为的一个区域，组合起来就是一个的区间，table表中与这个区间相对应的位置的值是线性变化的，大小都在0～1内，在这个区间的左边的table表的值为1，在这个区间的右边的table表的值为0。
S4:根据线性映射查找表进行图像融合
根据生成的多个线性映射查找表，根据线性加权公式对每个融合区的各个像素进行线性加权，融合成一幅全景图像。采用线性映射查找表的方法相比于直接的平均融合，有一个线性区域的过渡，因此可以让图像的融合区更加平滑，进一步消除了缝合缝隙。
S5:对全景图像进行颜色、亮度均衡处理
对生成的全景图像进行亮度与颜色的均衡处理，以消除不同摄像机之间的色彩差异，得到最终的鱼眼镜头全景图像。具体就是通过鱼眼镜头的光照模型，利用曝光补偿blocksgain算法进行光线融和，从而校正一幅鱼眼图像内部的光照不均匀性，然后通过相邻两幅鱼眼图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
本发明的有益效果是：
1、通过步骤S2中的S201、S203、S204，首先计算了融合区内相互重叠区域的灰度差异和边缘特征差异，然后综合这两种差异信息，规划路径避开图像中的内容丰富的区域，在融合区内利用动态迭代的方法进行最优融合中心线搜索。通过搜索出来的最优融合中心线，让合成的全景图像尽可能地接近真实，不会因为融合区内的细节差异而产生明显的拼接缝隙。同时最优融合中心线的搜索方法考虑了融合区的边缘特征和灰度差异，因此融合成的全景图像在融合区没有图像的模糊问题。S204只要找出最后一行的acc_error(cur，i)中选取最小的那个元素所在的位置，然后对应到path矩阵中，运算简单，因此极大的降低了计算的复杂度，降低了对系统资源的需求即降低了系统的硬件要求。
2、通过S202来调整融合区中相互重叠的区域，进一步在解决模糊的问题的基础上解决融合区的错位问题。利用S201步中从融合区相互重叠的区域中提取的边缘特征G1(x，y)和G2(x，y)，将这两个特征矩阵做绝对差值运算得到在这两个重叠区域中边缘特征的差异，这个差异值表明融合区在水平方向上并没有完全的对准。通过S2023这个步骤，利用特征矩阵的最小绝对差值，在垂直方向上调整融合区中相互重叠的区域，使这两个重叠区域在水平方向上对准，从而解决融合后图像错位问题。
3、通过步骤S3和S4，建立融合区的线性映射查找表，可以使融合区看起来更加平滑，进一步消除了缝合缝隙。
4、通过S5的曝光补偿blocksgain算法解决了因光线不同而造成两幅图像曝光度不同的问题，此外建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换，使得两幅图像达到了整体的亮度和颜色的一致性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (3)
1.一种快速图像融合方法，其特征在于，所述方法包括：
获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区；在所述融合区内找出最优融合中心线；利用所述最优融合中心线计算线性映射查找表；根据所述线性映射查找表进行图像融合；
在所述融合区内找出最优融合中心线的步骤包括：计算融合区的边缘特征；计算边缘特征与绝对灰度差值的和；寻找最小累加差值及其路径从而得到最优融合中心线；
所述计算融合区的边缘特征的具体步骤如下：利用Canny边缘检测算子提取所述融合区中相互重叠的区域I1和I2的边缘特征，其中第一步：利用高斯滤波模板平滑I1和I2：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I1和I2进行高斯平滑处理，得到去除噪声后的相互重叠区域g1(x，y)和g2(x，y)，I1和I2内(x,y)处灰度化后灰度值分别用I1(x,y)和I2(x,y)表示，所用公式如下所示：
<mrow>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
</mrow>
<mrow>
<msub>
<mi>g</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
</mrow>
<mrow>
<msub>
<mi>g</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
<mo>;</mo>
</mrow>
第二步：利用一阶偏导的有限差分进行计算梯度的幅值和方向：已经平滑滤波后的相互重叠区域g1(x，y)和g2(x，y)的梯度用2*2的一阶有限差分近似式来计算x和y方向上的偏导数；g1(x，y)在x和y方向上的偏导数分别为Gx(x，y)和Gy(x，y)表示：
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mn>2</mn>
</mfrac>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mn>2</mn>
</mfrac>
<mo>;</mo>
</mrow>
根据x与y方向的梯度可以计算g1(x，y)像素点的梯度幅值G(x，y)与角度θ(x，y)：
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msubsup>
<mi>G</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>G</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
</mrow>
<mrow>
<mi>&theta;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>/</mo>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
<mo>;</mo>
</mrow>
第三步：对梯度幅值进行非极大值抑制；将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算；对于每个像素点，邻域的中心像素梯度幅值G(x，y)与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0；第四步：用双阈值算法检测和连接边缘：对非极大值抑制后的重叠区域g1(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2；把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃；对一个融合区，利用双阈值算法检测得到融合区的边缘特征G1(x，y)和G2(x，y)；
所述计算边缘特征与绝对灰度差值的和的具体步骤如下：计算对准之后重叠区域中像素对的绝对灰度差值imgdiff，像素对的绝对灰度差值计算方法如下：
<mrow>
<msub>
<mi>img</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
<mo>;</mo>
</mrow>
将边缘特征G1(x，y)和G2(x，y)叠加到绝对灰度差值imgdiff(x，y)中；
<mrow>
<msub>
<mi>Img</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>img</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>f</mi>
<mi>f</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>G</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>G</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
<mo>;</mo>
</mrow>
所述寻找最小累加差值及其路径从而得到最优融合中心线的具体步骤如下：选取32个起始点，并将其初始位置保存在path中；在极小邻域内计算每个起始点走过一行的最小累加误差及其最小路径；获取最小累加差值及其路径；
寻找最小累加差值及其路径从而得到最优融合中心线：选取32个起始点，并将其初始位置保存在path中；在极小邻域内计算每个起始点走过一行的最小累加误差及其最小路径；获取最小累加差值及其路径；所述选取32个起始点并将其初始位置保存在path中的具体步骤如下：获取边缘特征与绝对灰度差值的和Imgdiff(x，y)，将其第一行中间的32个像素作为生长起始点，并将这32个起始点在Imgdiff(x，y)中的位置保存在path(x，y)中，这32个起始点的像素值作为第一行的最小累加差值保存在acc_error(cur，y)中，同时将其赋值给acc_error(pre，y)，其中i∈1......32；
所述在极小邻域内计算每个起始点走过一行的最小累加误差及其最小路径的具体步骤如下：对于acc_error(pre，y)中的每一元素，我们限定它在Imgdiff(x，y)的所有路径在一个极小的邻域w中，其中3≤w≤5；获取每一路径点在融合区内当前行的位置信息，找出与这些位置相对应的Imgdiff(x，y)的邻域，然后在这一邻域内计算所有元素的最小值，将它与acc_error(pre，y)进行叠加，就可以得到acc_error(cur，y)，同时将邻域内取得最小值的位置保存在path(x，y)中；最小累加差值的计算公式如下：
acc_error_min＝min(Imgdiff(x，path(x-1，y))，Imgdiff(x，path(x-1，y)+1)，Imgdiff(x，path(x-1，y)-1))←
<mrow>
<mi>a</mi>
<mi>c</mi>
<mi>c</mi>
<mo>_</mo>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mi>u</mi>
<mi>r</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>a</mi>
<mi>c</mi>
<mi>c</mi>
<mo>_</mo>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mo>_</mo>
<mi>min</mi>
<mo>+</mo>
<mi>a</mi>
<mi>c</mi>
<mi>c</mi>
<mo>_</mo>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
<mo>;</mo>
</mrow>
所述获取最小累加差值及其路径的具体步骤如下：逐行从上至下遍历整个融合区，得到从所有路径起始点开始走过整个融合区的最小累加差值以及与之对应的最小路径线；在最后一行的acc_error(cur，y)中选取最小的那个元素所在的位置，找到这个位置在path(x，y)矩阵中对应的那一列，即找出的最优融合中心线的位置；
所述利用最优融合中心线计算线性映射查找表的具体步骤如下：其中blend_w表示进行实际线性融合宽度；
<mrow>
<mi>t</mi>
<mi>a</mi>
<mi>b</mi>
<mi>l</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>,</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mn>1</mn>
<mo>&le;</mo>
<mi>x</mi>
<mo><</mo>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
<mo>_</mo>
<mi>l</mi>
<mi>i</mi>
<mi>n</mi>
<mi>e</mi>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mi>l</mi>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
<mo>_</mo>
<mi>w</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>b</mi>
<mi>l</mi>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
<mo>_</mo>
<mi>w</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mi>x</mi>
<mo>+</mo>
<mn>3</mn>
<mo>/</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
<mo>_</mo>
<mi>l</mi>
<mi>i</mi>
<mi>n</mi>
<mi>e</mi>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mi>l</mi>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
<mo>_</mo>
<mi>w</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</mfrac>
<mo>)</mo>
<mo>&le;</mo>
<mi>x</mi>
<mo>&le;</mo>
<mo>(</mo>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
<mo>_</mo>
<mi>l</mi>
<mi>i</mi>
<mi>n</mi>
<mi>e</mi>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mi>l</mi>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
<mo>_</mo>
<mi>w</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</mfrac>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
<mo>_</mo>
<mi>l</mi>
<mi>i</mi>
<mi>n</mi>
<mi>e</mi>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mi>l</mi>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
<mo>_</mo>
<mi>w</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</mfrac>
<mo>)</mo>
<mo><</mo>
<mi>x</mi>
<mo>&le;</mo>
<mi>W</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
2.根据权利要求1所述的快速图像融合方法，其特征在于，所述计算融合区的边缘特征的步骤与计算边缘特征与绝对灰度差值的和的步骤之间还包括如下步骤：计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准；该步骤包括如下子步骤：计算边缘特征G1(x，y)和G2(x，y)的绝对误差值dg(x，y)：
<mrow>
<msub>
<mi>d</mi>
<mi>g</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<msub>
<mi>G</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>G</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
</mrow>
对绝对误差值按列求和得到累加误差值向量Dg(y)：
<mrow>
<msub>
<mi>D</mi>
<mi>g</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>H</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>g</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
</mrow>
移动重叠区域使计算的边缘特征的差值最小：取累加误差值向量Dg(y)中最小元素Dmin，然后固定G1(x，y)，将G2(x，y)向下平移Dmin行，向下超出的部分丢掉，向上空白的部分用G1(x，y)中对应部分填补，之后将G1(x，y)和G2(x，y)做绝对差值运算并且保存在最小边缘差异Emin中，然后按照步长为1依次向上移动G2(x，y)，同时对G1(x，y)和G2(x，y)做绝对差值运算，将得到的边缘差异和Emin相比较，如果比Emin小，那么用所述边缘差异更新Emin，否则丢弃该边缘差异；当G2(x，y)向上移动到距离原图像Dmin行时，会得到G2(x，y)在移动范围为(-Dmin～Dmin)时的最小边缘差异Emin以及相对应的G2(x，y)向上或向下移动的步数step，然后利用step将融合区中的I2(x，y)相对应的向上或向下移动step行；Emin的计算方法如下：
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>min</mi>
<mo>|</mo>
<msub>
<mi>G</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>G</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>k</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>k</mi>
<mo>&Element;</mo>
<mn>0</mn>
<mo>...</mo>
<mo>...</mo>
<mn>2</mn>
<mo>*</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>H</mi>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>y</mi>
<mo>&Element;</mo>
<mn>1......</mn>
<mi>W</mi>
</mrow>
min(.)表示取最小值运算，Emin的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。
3.根据权利要求1或2所述的快速图像融合方法，其特征在于，在根据所述线性映射查找表进行图像融合的步骤之后，所述方法还包括：对全景图像进行颜色、亮度均衡处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611076440.0A CN106709878B (zh) | 2016-11-30 | 2016-11-30 | 一种快速图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611076440.0A CN106709878B (zh) | 2016-11-30 | 2016-11-30 | 一种快速图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106709878A CN106709878A (zh) | 2017-05-24 |
| CN106709878B true CN106709878B (zh) | 2018-05-04 |
Family
ID=58934195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611076440.0A Expired - Fee Related CN106709878B (zh) | 2016-11-30 | 2016-11-30 | 一种快速图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709878B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203986A (zh) * | 2017-05-26 | 2017-09-26 | 努比亚技术有限公司 | 一种图像融合方法、装置及计算机可读存储介质 |
| CN107529017A (zh) * | 2017-10-12 | 2017-12-29 | 长沙全度影像科技有限公司 | 一种全景相机的多拼接模式的系统及方法 |
| CN107958466B (zh) * | 2017-12-01 | 2022-03-29 | 大唐国信滨海海上风力发电有限公司 | 一种Slam算法优化基于模型的跟踪方法 |
| CN108109208B (zh) * | 2017-12-01 | 2022-02-08 | 同济大学 | 一种海上风电场增强现实方法 |
| CN108537730B (zh) * | 2018-03-27 | 2021-10-22 | 宁波江丰生物信息技术有限公司 | 一种图像拼接方法 |
| CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
| CN109120858B (zh) * | 2018-10-30 | 2021-01-15 | 努比亚技术有限公司 | 一种图像拍摄方法、装置、设备及存储介质 |
| CN109523491A (zh) * | 2018-12-13 | 2019-03-26 | 深圳市路畅智能科技有限公司 | 用于环视辅助泊车的环视光照均一化方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701764A (zh) * | 2016-01-05 | 2016-06-22 | 曲阜裕隆生物科技有限公司 | 一种用于医学图像的拼接方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100446037C (zh) * | 2007-08-31 | 2008-12-24 | 北京工业大学 | 基于特征的大幅面文化遗产图像拼接方法 |
-
2016
- 2016-11-30 CN CN201611076440.0A patent/CN106709878B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701764A (zh) * | 2016-01-05 | 2016-06-22 | 曲阜裕隆生物科技有限公司 | 一种用于医学图像的拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《无人机遥感图像拼接关键技术研究》;贾银江;《中国博士学位论文全文数据库》;20160830(第8期);第7-89页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106709878A (zh) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709878B (zh) | 一种快速图像融合方法 | |
| CN106530267B (zh) | 一种避免全景图像错位的融合方法 | |
| CN106462944B (zh) | 高分辨率全景vr生成器及方法 | |
| CN104408701B (zh) | 一种大场景视频图像拼接方法 | |
| CN103839223B (zh) | 图像处理方法及装置 | |
| JP6561216B2 (ja) | 光学フローを使用した中間ビューの生成 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| CN106780326B (zh) | 一种提高全景图像清晰度的融合方法 | |
| CN110390640A (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| CN104851076B (zh) | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 | |
| CN106940876A (zh) | 一种基于surf的快速无人机航拍图像拼接算法 | |
| CN103985133B (zh) | 基于图割能量优化的影像间最优拼接线寻找方法及系统 | |
| CN106204437B (zh) | 一种图像融合方法 | |
| CN107993263A (zh) | 环视系统自动标定方法、汽车、标定装置及存储介质 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| CN104933679A (zh) | 一种放大图像的方法及其对应系统 | |
| CN109801212A (zh) | 一种基于sift特征的鱼眼图像拼接方法 | |
| CN112365518A (zh) | 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法 | |
| CN110390657A (zh) | 一种图像融合方法 | |
| CN107093165A (zh) | 一种递归图像的快速显示方法及装置 | |
| CN110473247A (zh) | 立体匹配方法、装置及存储介质 | |
| CN111179173A (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
| CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201223 Address after: 101104 E57, 1st floor, building 1, courtyard 116, beidahua village, Tongzhou District, Beijing Patentee after: BEIJING JINGHUAHUI EQUIPMENT TECHNOLOGY Co.,Ltd. Address before: 410205 room 402, 4 / F, building 9, phase I, CLP Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha City, Hunan Province Patentee before: PANODUX IMAGING TECHNOLOGY Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180504 Termination date: 20211130 |