CN106780326B - 一种提高全景图像清晰度的融合方法 - Google Patents
一种提高全景图像清晰度的融合方法 Download PDFInfo
- Publication number
- CN106780326B CN106780326B CN201611076457.6A CN201611076457A CN106780326B CN 106780326 B CN106780326 B CN 106780326B CN 201611076457 A CN201611076457 A CN 201611076457A CN 106780326 B CN106780326 B CN 106780326B
- Authority
- CN
- China
- Prior art keywords
- difference
- error
- sensation
- minimum
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明公开了一种提高全景图像清晰度的融合方法，涉及鱼眼图像拼接技术领域，包括：取出图像融合区；找出最优融合中心线；计算线性映射查找表；根据所述线性映射查找表进行图像融合。找出最优融合中心线步骤包括：计算融合区的边缘特征；计算边缘特征与绝对灰度差值的和；寻找最小累加差值及其路径；在最小累加差值中找到误差最小位置；根据保存的路径从下至上找出那条误差最小的路径即最优融合中心线的位置；本方法综合计算了融合区内图像的灰度差异和边缘特征，规划路径避开图像中内容丰富区域，再利用动态迭代方法进行最优融合中心线搜索，解决了融合区图像模糊问题，图像真实清晰，大大提高图像拼接结果的效果。
Description
技术领域
本发明涉及图像通信技术领域，尤其是涉及鱼眼图像拼接技术领域。
背景技术
鱼眼图像拼接是一种利用实景图像组成全景空间的技术，目前的鱼眼图像拼接技术主要有两种方案：
第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后采用2D图像配准技术对校正后的图像元进行2D配准，最后对配准的两幅图像进行融合。
第二种方案是把鱼眼图像的径向畸变校正参数和图像元的位姿参数作为一体，整体用最优化技术进行参数估计，最后调用参数映射表对镜头单元图像进行图像拼接。
这些方法在图像融合过程中如果采用直接融合的方法(例如：平均值法、加权平均法、中值滤波法)，会导致生成的全景图像因为重叠区域的细节差异而出现明显的拼接缝。
为了解决拼接缝这个技术问题，目前常用的方法是采用动态规划和graph-cut的方法来查找最优融合中心线，具体来说就是利用两幅图像重叠区域内像素之间的灰度差异和颜色差异，在重叠区域中找到一条灰度和颜色差异最小的线，这条线就被称为最优融合中心线。
在中国专利公布号CN105957007A中介绍了一种基于最优融合线的加权融合方法，它采用graph-cut的最优缝合线算法来找出重合区域中差异最小的划分线，然后利用加权平均法在最优缝合线L周围对待拼接的图像像素值进行融合，该最优缝合线算法基于像素级寻找差异最小的划分线，在对重叠区域中内容丰富的地方进行加权平均融合时，会产生较大的模糊现象。
采用现有技术中的方法生成的全景图像，容易出现模糊、拼接错位等现象，生成的全景图像效果不佳。
发明内容
本发明为克服图像拼接后模糊的问题，旨在提供一种寻找最优融合中心线融合后得到清晰鱼眼图像的方法。
一种提高全景图像清晰度的融合方法，所述方法包括：
获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区；在所述融合区内找出最优融合中心线；利用所述最优融合中心线计算线性映射查找表；根据所述线性映射查找表进行图像融合；
在所述融合区内找出最优融合中心线的步骤包括：计算融合区的边缘特征；计算边缘特征与绝对灰度差值的和；寻找最小累加差值及其路径；在最小累加差值中找到误差最小位置；根据保存的路径从下至上找出那条误差最小的路径即最优融合中心线的位置；
所述计算融合区的边缘特征的具体步骤如下：利用Canny边缘检测算子提取所述融合区中相互重叠的区域I1和I2的边缘特征，其中第一步：利用高斯滤波模板平滑I1和I2：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I1和I2进行高斯平滑处理，得到去除噪声后的相互重叠区域g1(x，y)和g2(x，y)，I1和I2内(x,y)处灰度化后灰度值分别用I1(x,y)和I2(x,y)表示，所用公式如下所示：
第二步：利用一阶偏导的有限差分进行计算梯度的幅值和方向：已经平滑滤波后的相互重叠区域g1(x，y)和g2(x，y)的梯度可以用2*2的一阶有限差分近似式来计算x和y方向上的偏导数；以g1(x，y)为例，g1(x，y)在x和y方向上的偏导数分别为Gx(x，y)和Gy(x，y)表示：
根据x与y方向的梯度可以计算g1(x，y)像素点的梯度幅值G(x，y)与角度θ(x，y)：
第三步：对梯度幅值进行非极大值抑制；将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算；对于每个像素点，邻域的中心像素梯度值G(x，y)与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0；第四步：用双阈值算法检测和连接边缘：对非极大值抑制后的g1(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2；把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃；对一个融合区，利用双阈值算法检测得到融合区的边缘特征G1(x，y)和G2(x，y)；
所述计算边缘特征与绝对灰度差值的和的具体步骤如下：计算对准之后重叠区域中像素对的绝对灰度差值imgdiff，像素对的绝对灰度差值计算方法如下：
将边缘特征G1(x，y)和G2(x，y)叠加到绝对灰度差值imgdiff(x，y)中；
所述寻找最小累加差值及其路径的具体步骤如下：利用大小为n的滤波模板对Imgdiff(x，y)进行逐行滤波，其中9≤n≤16。然后对Imgdiff(x，y)中每行的每个元素Imgdiff(x，y)计算与之对应的行标的最小累加差值acc_error(cur，y)。即在前一行标最小累加差值的对应位置取一个极小的邻域w，其中3≤w≤5，找出这个邻域内所有元素的最小值，将它与元素Imgdiff(x，y)进行叠加，就可得到acc_error(cur，y)，最小累加差值的计算公式如下：
acc_error_min＝min(acc_error(pre，y)，acc_error(pre，y+1)，acc_error(pre，y-1))
其中，pre表示前一个行标，cur表示当前行标。此外，将在邻域内找出的最小值到元素Imgdiff(x，y)的那条最小路径保存在path(x，y)中。计算公式如下：
所述在最小累加差值中找到误差最小位置的具体步骤如下：处理完Imgdiff(x，y)中一行的所有元素后，从上至下逐行遍历Imgdiff(x，y)中的所有元素，得到融合区中所有行的最小累加差值acc_error(cur，y)以及所有可能的最小路径path(x，y)，然后从acc_error(cur，y)中找到最小元素在融合区的位置，计算方法如下所示：
其中，函数argmin(.)表示使目标函数取最小值时自变量的取值，acc_error(cur，y)是一个大小为1*W的一维向量，表示计算最小累加差值向量acc_error(cur，y)函数取最小值时自变量y的取值，由此计算最小元素所在的位置，即最小元素在融合区的位置，H表示融合区的高度，seam_line是一个一维数组，大小为1×H。
所述根据保存的路径从下至上找出那条误差最小的路径即最优融合中心线的位置的具体步骤如下：将最小元素在融合区的位置加上path(x，y)中对应位置存储的路径指示作为最优融合中心线seam_line的位置，最优融合中心线的计算公式如下所示：
其中i表示重叠区域从下往上的行标；
所述利用最优融合中心线计算线性映射查找表具体步骤如下：其中blend_w表示进行实际线性融合的宽度；
作为一个优选的实施例，所述计算融合区的边缘特征的步骤与计算边缘特征与绝对灰度差值的和的步骤之间还包括如下步骤：计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准；该步骤包括如下子步骤：计算边缘特征G1(x，y)和G2(x，y)的绝对误差值
dg(x，y)：
对绝对误差值按列求和得到累加误差值向量Dg(y)：
移动重叠区域使计算的边缘特征的差值最小：取累加误差值向量Dg(y)中最小元素Dmin，然后固定G1(x，y)，将G2(x，y)向下平移Dmin行，向下超出的部分丢掉，向上空白的部分用G1(x，y)中对应部分填补，之后将G1(x，y)和G2(x，y)做绝对差值运算并且保存在最小边缘差异Emin中，然后按照步长为1依次向上移动G2(x，y)，同时对G1(x，y)和G2(x，y)做绝对差值运算，将得到的边缘差异和Emin相比较，如果比Emin小，那么用所述边缘差异更新Emin，否则丢弃该边缘差异；当G2(x，y)向上移动到距离原图像Dmin行时，会得到G2(x，y)在移动范围为(-Dmin～Dmin)时的最小边缘差异Emin以及相对应的G2(x，y)向上或向下移动的步数step，然后利用step将融合区中的I2(x，y)相对应的向上或向下移动step行；Emin的计算方法如下：
min(.)表示取最小值运算，Emin的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。
作为一个优选的实施例，在根据所述线性映射查找表进行图像融合的步骤之后，所述方法还包括：对全景图像进行颜色、亮度均衡处理。
本发明的方法综合计算了融合区内图像的灰度差异和边缘特征，规划路径避开图像中内容丰富区域，再利用动态迭代方法进行最优融合中心线搜索，解决了融合区图像模糊问题，图像真实清晰，大大提高图像拼接结果的效果，操作简单、方便、融合效果好。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种实施例的系统流程框图；
图2是相邻两幅鱼眼图像融合区示意图；
图3是计算最优融合中心线的流程图；
图4是根据本发明一种实施例Canny边缘检测算子实现流程图；
图5是根据本发明一种实施例Canny边缘检测算子在x和y方向上的模板示意图；
图6是根据本发明一种实施例Canny边缘检测算子中非极大值抑制模板示意图；
图7是根据本发明一种实施例利用边缘特征对融合区进行对准的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种清晰全景图的鱼眼图像融合方法，图1是本发明清晰全景图的鱼眼图像融合方法的系统流程框图。如图1所示，本发明所提供的一种清晰全景图的鱼眼图像融合方法包括以下步骤：
S1：获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区。具体方法如下：获取同一时刻待融合的多幅鱼眼图像，将任意两幅相邻鱼眼图像相互重叠的区域指定为一个融合区且首尾两幅鱼眼图像的重叠区域也指定为一个融合区。如图2所示，相邻的两幅鱼眼图像分别命名为Imagel、Image2，它们相互重叠的区域为I1和I2，这两个相互重叠的区域一起构成了一个融合区。
S2：在所述融合区内找出最优融合中心线。采用综合边缘特征与灰度差异的动态迭代算法在融合区中找出一条最优融合中心线，找出融合区中最优融合中心线方法如图3流程图步骤所示，S2包括S201、S202、S203、S204、S205、S206等大步骤。其中：
S201：计算融合区的边缘特征。具体步骤如下：利用Canny边缘检测算子提取融合区中相互重叠的区域I1和I2的边缘特征，Canny边缘检测算子的具体步骤如图4流程图所示，S201包括S2011、S2012、S2013、S2014等小步骤。其中：
S2011：利用高斯滤波模板平滑I1和I2。步骤如下：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I1和I2进行高斯平滑处理，得到去除噪声后的相互重叠区域g1(x，y)和g2(x，y)，所用公式如下所示：
其中，I1(x，y)和I2(x，y)表示I1和I2内(x，y)处灰度化后灰度值，*表示卷积运算。
S2012：利用一阶偏导的有限差分进行计算梯度的幅值和方向。步骤如下：已经平滑滤波后的相互重叠区域g1(x，y)和g2(x，y)的梯度可以用2*2的一阶有限差分近似式来计算x和y方向上的偏导数。以g1(x，y)为例，g1(x，y)在x和y方向上的偏导数分别用Gx(x，y)和Gy(x，y)表示：
x和y方向上的偏导数模板如图5所示，根据x与y方向的梯度可以计算g1(x，y)中像素点的梯度幅值G(x，y)与角度θ(x，y)：
G(x，y)反映了图像的边缘强度，θ(x，y)表示方位角反映了梯度的方向，当G(x，y)取得局部最大值时，其对应的梯度方向θ(x，y)反映了边缘的方向。
S2013：对梯度幅值进行非极大值抑制。仅仅得到全局的梯度并不足以确定边缘，因此必须保留局部梯度最大的点，且要抑制非极大值。方法如下：将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算。如图6中a图中四个扇区的标号为0到3，对应b图中3*3邻域的四种可能组合。对于每个像素点，邻域的中心像素梯度值G(x，y)与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0。
S2014：用双阈值算法检测和连接边缘。具体步骤如下：对非极大值抑制后的g1(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2。即把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如果能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃。对一个融合区，利用双阈值算法检测后就可以得到融合区的边缘特征G1(x，y)和G2(x，y)。
S202：计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准，如图7所示。具体包括如下S2021、S2022、S2023等步骤：
S2021：计算边缘特征G1(x，y)和G2(x，y)的绝对误差值dg(x，y)，方法如下：
其中，||表示求绝对值运算。
S2022：对绝对误差值按列求和得到累加误差值向量Dg(y)，方法如下：
S2023：移动重叠区域使计算的边缘特征的差值最小。具体步骤如下：取累加误差值向量Dg(y)中最小元素Dmin，然后固定G1(x，y)，将G2(x，y)向下平移Dmin行，向下超出的部分丢掉，向上空白的部分用G1(x，y)中对应部分填补，接下来将G1(x，y)和G2(x，y)做绝对差值运算并且保存在最小边缘差异Emin中，然后按照步长为1依次向上移动G2(x，y)，同时对G1(x，y)和G2(x，y)做绝对差值运算，将得到的边缘差异和Emin相比较，如果比Emin小，那么用这个边缘差异更新Emin，否则丢弃这个边缘差异。当G2(x，y)向上移动到距离原图像Dmin行时，会得到G2(x，y)在移动范围为(-Dmin～Dmin)时的最小边缘差异Emin以及相对应的G2(x，y)向上或向下移动的步数step，然后利用step将融合区中的I2(x，y)相对应的向上或向下移动step行。Emin的计算方法如下：
其中，min(.)表示取最小值运算，Emin的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。
利用S201步中从融合区相互重叠的区域中提取的边缘特征G1(x，y)和G2(x，y)，将这两个特征矩阵做绝对差值运算得到在这两个重叠区域中边缘特征的差异，这个差异值表明融合区在水平方向上并没有完全的对准，如果在水平方向上直接进行线性融合，会导致融合区产生错位现象。最后通过S2023这个步骤，利用特征矩阵的最小边缘差异，在垂直方向上调整融合区中相互重叠的区域，使这两个重叠区域在水平方向上对准，从而解决融合后图像错位问题。
S203：计算边缘特征与绝对灰度差值的和
计算对准之后重叠区域中像素对的绝对灰度差值imgdiff，像素对的绝对灰度差值计算方法如下：
将上述S201步中提取出来的边缘特征G1(x，y)和G2(x，y)叠加到绝对灰度差值imgdiff(x，y)中，得到表示相互重叠的区域结构与灰度差异的特征Imgdiff(x，y)。
S204：寻找最小累加差值及其对应的路径
利用大小为n的滤波模板对Imgdiff(x，y)进行逐行滤波，其中9≤n≤16。然后对Imgdiff(x，y)中每行的每个元素Imgdiff(x，y)计算与之对应的行标的最小累加差值acc_error(cur，y)。即在前一行标最小累加差值的对应位置取一个极小的邻域w，其中3≤w≤5，找出这个邻域内所有元素的最小值，将它与元素Imgdiff(x，y)进行叠加，就可得到acc_error(cur，y)，最小累加差值的计算公式如下：
acc_error_min＝min(acc_error(pre，y)，acc_error(pre，y+1)，acc_error(pre，y-1))
其中，pre表示前一个行标，cur表示当前行标。此外，将在邻域内找出的最小值到元素Imgdiff(x，y)(的那条最小路径保存在path(x，y)中。计算公式如下：
S205：在最小累加差值中找到误差最小位置
处理完Imgdiff(x，y)中一行的所有元素后，从上至下逐行遍历Imgdiff(x，y)(中的所有元素，得到融合区中所有行的最小累加差值acc_error(cur，y)以及所有可能的最小路径path(x，y)，然后从acc_error(cur，y)中找到最小元素在融合区的位置，计算方法如下所示：
其中，函数argmin(.)表示使目标函数取最小值时自变量的取值，acc_error(cur，y)是一个大小为1*W的一维向量，表示计算最小累加差值向量acc_error(cur，y)函数取最小值时自变量y的取值，由此计算最小元素所在的位置，即最小元素在融合区的位置，H表示融合区的高度，seam_line是一个一维数组，大小为1×H。
S206:根据保存的路径从下至上找出那条误差最小的路径即最优融合中心线的位置。将最小元素在融合区的位置加上path(x，y)中对应位置存储的路径指示作为最优融合中心线seam_line的位置，最优融合中心线的计算公式如下所示：
其中i表示重叠区域从下往上的行标。
在步骤S2中，首先计算了融合区内相互重叠区域的灰度差异和边缘差异，然后综合这两种差异信息，规划路径避开图像中的内容丰富的区域，在融合区内利用动态迭代的方法进行最优融合中心线搜索。通过S2找出来的最优融合中心线，让合成的全景图像尽可能地接近真实，不会因为融合区内的细节差异而产生明显的拼接缝隙。同时最优融合中心线的搜索方法考虑了融合区的边缘特征，因此融合成的全景图像在融合区没有图像的模糊问题，图像真实清晰，大大提高图像拼接结果的效果。
S3：利用最优融合中心线计算线性映射查找表
通过最优融合中心线建立每个融合区中重叠区域像素点对应位置的线性映射查找表table。线性映射查找表的生成方法如下：
其中，blend_w表示进行实际线性融合的宽度。
在步骤S3中，利用找出的最优融合中心线，建立融合区的线性映射查找表。具体就是以最优融合中心线为中心，在它两边对称地取大小为的一个区域，组合起来就是一个的区间，table表中与这个区间相对应的位置的值是线性变化的，大小都在0～1内，在这个区间的左边的table表的值为1，在这个区间的右边的table表的值为0。
S4:根据线性映射查找表进行图像融合
根据生成的多个线性映射查找表，根据线性加权公式对每个融合区的各个像素进行线性加权，融合成一幅全景图像。采用线性映射查找表的方法相比于直接的平均融合，有一个线性区域的过渡，因此可以让图像的融合区更加平滑，进一步消除了缝合缝隙。
S5:对全景图像进行颜色、亮度均衡处理
对生成的全景图像进行亮度与颜色的均衡处理，以消除不同摄像机之间的色彩差异，得到最终的鱼眼镜头全景图像。具体就是通过鱼眼镜头的光照模型，利用曝光补偿blocksgain算法进行光线融和，从而校正一幅鱼眼图像内部的光照不均匀性，然后通过相邻两幅鱼眼图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
本发明的有益效果是：
1、通过步骤S2中的S201、S203、S204、S205、S206中，首先计算了融合区内相互重叠区域的灰度差异和边缘特征差异，然后综合这两种差异信息，规划路径避开图像中的内容丰富的区域，在融合区内利用动态迭代的方法进行最优融合中心线搜索。通过搜索出来的最优融合中心线，让合成的全景图像尽可能地接近真实，不会因为融合区内的细节差异而产生明显的拼接缝隙。同时最优融合中心线的搜索方法考虑了融合区的边缘特征和灰度差异，因此融合成的全景图像在融合区没有图像的模糊问题。
2、通过S202来调整融合区中相互重叠的区域，进一步在解决模糊的问题的基础上解决融合区的错位问题。利用S201步中从融合区相互重叠的区域中提取的边缘特征G1(x，y)和G2(x，y)，将这两个特征矩阵做绝对差值运算得到在这两个重叠区域中边缘特征的差异，这个差异值表明融合区在水平方向上并没有完全的对准。通过S2023这个步骤，利用特征矩阵的最小边缘差异，在垂直方向上调整融合区中相互重叠的区域，使这两个重叠区域在水平方向上对准，从而解决融合后图像错位问题。
3、通过步骤S3和S4，建立融合区的线性映射查找表，可以使融合区看起来更加平滑，进一步消除了缝合缝隙。
4、通过S5的曝光补偿blocksgain算法解决了因光线不同而造成两幅图像曝光度不同的问题，此外建立相邻两幅图像之间直方图映射表，通过映射表对两幅鱼眼图像做整体的映射变换，使得两幅图像达到了整体的亮度和颜色的一致性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (3)
1.一种提高全景图像清晰度的融合方法，其特征在于，所述方法包括：
获取同一时刻鱼眼镜头采集的多幅鱼眼图像，从中取出融合区；在所述融合区内找出最优融合中心线；利用所述最优融合中心线计算线性映射查找表；根据所述线性映射查找表进行图像融合；
在所述融合区内找出最优融合中心线的步骤包括：计算融合区的边缘特征；计算边缘特征与绝对灰度差值的和；寻找最小累加差值及其路径；在最小累加差值中找到误差最小位置；根据保存的路径从下至上找出误差最小的路径即最优融合中心线的位置；
所述计算融合区的边缘特征的具体步骤如下：利用Canny边缘检测算子提取所述融合区中相互重叠的区域I1和I2的边缘特征，其中第一步：利用高斯滤波模板平滑I1和I2：首先生成方差σ＝1.4的高斯滤波模板h(x，y，σ)，然后对I1和I2进行高斯平滑处理，得到去除噪声后的相互重叠区域g1(x，y)和g2(x，y)，I1和I2内(x,y)处灰度化后灰度值分别用I1(x,y)和I2(x,y)表示，所用公式如下所示：
第二步：利用一阶偏导的有限差分进行计算梯度的幅值和方向：已经平滑滤波后的相互重叠区域g1(x，y)和g2(x，y)的梯度可以用2*2的一阶有限差分近似式来计算x和y方向上的偏导数；以g1(x，y)为例，g1(x，y)在x和y方向上的偏导数分别为Gx(x，y)和Gy(x，y)表示：
根据x与y方向的梯度可以计算g1(x，y)像素点的梯度幅值G(x，y)与角度θ(x，y)：
第三步：对梯度幅值进行非极大值抑制；将梯度角离散为圆周的四个扇区之一，然后用3*3的模板作抑制运算；对于每个像素点，邻域的中心像素梯度值G(x，y)与沿着梯度线的两个像素的梯度值相比，如果G(x，y)不比沿梯度线的两个相邻像素梯度值大，则令G(x，y)＝0；第四步：用双阈值算法检测和连接边缘：对非极大值抑制后的g1(x，y)用低阈值t1和高阈值t2进行判断，其中t1＝0.4×t2；把任意边缘像素梯度值小于t1的像素丢弃，把任意边缘像素梯度值大于t2的像素保留，把任意边缘像素梯度值在t1与t2之间的，如能通过边缘连接到一个像素大于t2而且边缘所有像素大于最小阈值t1的则保留，否则丢弃；对一个融合区，利用双阈值算法检测得到融合区的边缘特征G1(x，y)和G2(x，y)；
所述计算边缘特征与绝对灰度差值的和的具体步骤如下：计算对准之后重叠区域中像素对的绝对灰度差值imgdiff，像素对的绝对灰度差值计算方法如下：
将边缘特征G1(x，y)和G2(x，y)叠加到绝对灰度差值imgdiff(x，y)中；
所述寻找最小累加差值及其路径的具体步骤如下：利用大小为n的滤波模板对Imgdiff(x，y)进行逐行滤波，其中9≤n≤16；然后对Imgdiff(x，y)中每行的每个元素Imgdiff(x，y)计算与之对应的行标的最小累加差值acc_error(cur，y)；即在前一行标最小累加差值的对应位置取一个极小的邻域w，其中3≤w≤5，找出这个邻域内所有元素的最小值，将它与元素Imgdiff(x，y)进行叠加，就可得到acc_error(cur，y)，最小累加差值的计算公式如下：
acc_error_min＝min(acc_error(pre，y)，acc_error(pre，y+1)，acc_error(pre，y-1))
其中，pre表示前一个行标，cur表示当前行标；此外，将在邻域内找出的最小值到元素Imgdiff(x，y)的那条最小路径保存在path(x，y)中；计算公式如下：
所述在最小累加差值中找到误差最小位置的具体步骤如下：处理完Imgdiff(x，y)中一行的所有元素后，从上至下逐行遍历Imgdiff(x，y)中的所有元素，得到融合区中所有行的最小累加差值acc_error(cur，y)以及所有可能的最小路径path(x，y)，然后从acc_error(cur，y)中找到最小元素在融合区的位置，计算方法如下所示：
其中，函数argmin(.)表示使目标函数取最小值时自变量的取值，acc_error(cur，y)是一个大小为1*W的一维向量，表示计算最小累加差值向量acc_error(cur，y)函数取最小值时自变量y的取值，由此计算最小元素所在的位置，即最小元素在融合区的位置，H表示融合区的高度，seam_line是一个一维数组，大小为1×H；
所述根据保存的路径从下至上找出那条误差最小的路径即最优融合中心线的位置的具体步骤如下：将最小元素在融合区的位置加上path(x，y)中对应位置存储的路径指示作为最优融合中心线seam_line的位置，最优融合中心线的计算公式如下所示：
其中i表示重叠区域从下往上的行标；
所述利用最优融合中心线计算线性映射查找表具体步骤如下：其中blend_w表示进行实际线性融合的宽度；
2.根据权利要求1所述的提高全景图像清晰度的融合方法，其特征在于，所述计算融合区的边缘特征的步骤与计算边缘特征与绝对灰度差值的和的步骤之间还包括如下步骤：计算边缘特征的差异性同时利用这个差异性使相互重叠的区域对准；该步骤包括如下子步骤：计算边缘特征G1(x，y)和G2(x，y)的绝对误差值dg(x，y)：
对绝对误差值按列求和得到累加误差值向量Dg(y)：
移动重叠区域使计算的边缘特征的差值最小：取累加误差值向量Dg(y)中最小元素Dmin，然后固定G1(x，y)，将G2(x，y)向下平移Dmin行，向下超出的部分丢掉，向上空白的部分用G1(x，y)中对应部分填补，之后将G1(x，y)和G2(x，y)做绝对差值运算并且保存在最小边缘差异Emin中，然后按照步长为1依次向上移动G2(x，y)，同时对G1(x，y)和G2(x，y)做绝对差值运算，将得到的边缘差异和Emin相比较，如果比Emin小，那么用所述边缘差异更新Emin，否则丢弃该边缘差异；当G2(x，y)向上移动到距离原图像Dmin行时，会得到G2(x，y)在移动范围为(-Dmin～Dmin)时的最小边缘差异Emin以及相对应的G2(x，y)向上或向下移动的步数step，然后利用step将融合区中的I2(x，y)相对应的向上或向下移动step行；Emin的计算方法如下：
min(.)表示取最小值运算，Emin的大小为H×W，H表示重叠区域的高度，W表示重叠区域的宽度。
3.根据权利要求1或2所述的提高全景图像清晰度的融合方法，其特征在于，在根据所述线性映射查找表进行图像融合的步骤之后，所述方法还包括：对全景图像进行颜色、亮度均衡处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611076457.6A CN106780326B (zh) | 2016-11-30 | 2016-11-30 | 一种提高全景图像清晰度的融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611076457.6A CN106780326B (zh) | 2016-11-30 | 2016-11-30 | 一种提高全景图像清晰度的融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780326A CN106780326A (zh) | 2017-05-31 |
| CN106780326B true CN106780326B (zh) | 2019-01-15 |
Family
ID=58898710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611076457.6A Active CN106780326B (zh) | 2016-11-30 | 2016-11-30 | 一种提高全景图像清晰度的融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780326B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109208B (zh) * | 2017-12-01 | 2022-02-08 | 同济大学 | 一种海上风电场增强现实方法 |
| CN107958466B (zh) * | 2017-12-01 | 2022-03-29 | 大唐国信滨海海上风力发电有限公司 | 一种Slam算法优化基于模型的跟踪方法 |
| CN107909559B (zh) * | 2017-12-22 | 2020-06-19 | 清华大学 | 基于相机高低位数据的图像去噪融合方法及系统 |
| CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
| CN108682024B (zh) * | 2018-04-20 | 2021-05-18 | 长沙学院 | 一种图像清晰度匹配方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016032735A1 (en) * | 2014-08-28 | 2016-03-03 | Qualcomm Incorporated | Systems and methods for determining a seam |
| CN105869113A (zh) * | 2016-03-25 | 2016-08-17 | 华为技术有限公司 | 全景图像的生成方法和装置 |
-
2016
- 2016-11-30 CN CN201611076457.6A patent/CN106780326B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016032735A1 (en) * | 2014-08-28 | 2016-03-03 | Qualcomm Incorporated | Systems and methods for determining a seam |
| CN105869113A (zh) * | 2016-03-25 | 2016-08-17 | 华为技术有限公司 | 全景图像的生成方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于几何特征配准的图像鲁棒拼接算法;朱俊;《中国博士学位论文全文数据库信息科技辑》;20150615(第6期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780326A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780326B (zh) | 一种提高全景图像清晰度的融合方法 | |
| CN106709878B (zh) | 一种快速图像融合方法 | |
| CN106530267B (zh) | 一种避免全景图像错位的融合方法 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| CN104408701B (zh) | 一种大场景视频图像拼接方法 | |
| CN104851076B (zh) | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 | |
| CN110276734B (zh) | 图像畸变校正方法和装置 | |
| CN103150715B (zh) | 图像拼接处理方法及装置 | |
| CN107369148B (zh) | 基于改进sml与导向滤波的多聚焦图像融合方法 | |
| CN104732485B (zh) | 一种数字化x线图像的拼接方法及系统 | |
| CN106683045A (zh) | 一种基于双目像机的全景图像拼接方法 | |
| CN104392416B (zh) | 一种运动场景的视频拼接方法 | |
| CN103606132A (zh) | 基于空域和时域联合滤波的多帧数字图像去噪方法 | |
| CN105374039B (zh) | 基于轮廓锐度的单目图像深度信息估计方法 | |
| CN108876723A (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
| US20150029312A1 (en) | Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| CN106952225A (zh) | 一种面向森林防火的全景拼接方法 | |
| CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN110060259A (zh) | 一种基于霍夫变换的鱼眼镜头有效区域提取方法 | |
| CN103177260A (zh) | 一种彩色图像边界提取方法 | |
| CN106780309A (zh) | 一种合成孔径雷达图像拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |