具体实施方式
如图1所示,本发明实施例提供一种用于视频拼接的图像亮度与色彩均衡方法,其包括如下步骤:
S1、获取待拼接的两相邻图像并根据待拼接的两相邻图像计算图像变换矩阵。并设置迭代停止条件。
如图6,其示出了待拼接的两相邻图像(待拼接图像L以及待拼接图像R)以及两相邻图像之间的重叠区域(黑矩形框内的区域)。
其中,所述步骤S1中图像变换矩阵的形式如下:
其中m0至m7表示图像的变换形式。
迭代停止条件包括m0至m7中任意一项的变化小于预设百分比或者完成预设的迭代次数。
其中m0至m7表示图像的变换形式,涵盖了平移变换、欧式变换、相似变换以及仿射变换等变换形式(如图8所示),可以用于描述摄像机的平移、水平扫动、垂直扫动、旋转、镜头缩放等运动。对m0至m7中任意一项变化小于5%,或当迭代次数达到3次时即停止迭代。
S2、根据待拼接的两相邻图像在两者相重叠部分中纹理相似区域的图像的亮度与色彩差异,确定图像的亮度与色彩补偿系数。
可选地,如图2所示,所述步骤S2包括如下子步骤:
S21、确定待拼接的两相邻图像的重叠区域,并将每幅图像的重叠区域划分成若干大小的图像块。分别计算每一图像块R、G、B通道的区域梯度方向直方图。
RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
在本步骤S21中,首先利用梯度模板[-1,0,1]分别计算图像块中各像素点处R、G、B通道的梯度强度Mc(x,y)和梯度方向θc(x,y):
式(1)中,c∈(R,G,B),Gh,c(x,y)和Gv,c(x,y)分别表示像素点(x,y)处c通道在水平方向和垂直方向上的梯度值,则区域梯度方向直方图Hc的计算公式为:
式(2)中,m=0,1,…,N-1为直方图的级数,δ为克罗内克函数(Kroneckerdelta函数)。
如图6所示,确定待拼接的两相邻图像中的待拼接图像L与待拼接图像R的重叠区域。在本实施例中,重叠区域(黑矩形框内区域)大小为432×992像素,据此将重叠区域划分成大小为8×8的互不重叠的图像块,并计算每个图像块R、G、B通道的区域梯度方向直方图。
S22、根据MDPA距离进行直方图匹配,若匹配成功,则将该图像块标记为相似图像块。
MDPA(Minimum Difference of Pair Assignments)算法的基本思想是将直方图作为首尾相接的圆环,每一个统计值作为一个单元,可以在圆环上顺时针或者逆时针移动。MDPA距离就是移动一个直方图的单元得到另一个直方图的最少单元数。S22中匹配公式如下:
公式(3)中,Hc和H'c为两幅图像在重叠区对应图像块的区域梯度直方图,若对任意c∈(R,G,B),均有D(Hc,H'c)<λ,则匹配成功,将该图像块标记为相似块。
如图7所示,相比欧氏距离,MDPA距离综合考虑了2个直方图中各个bin(bin表示直方图组距)之间差异的分布情况,因此它能够更精确地衡量2个直方图的相似程度(如图7所示)。在本实施例中,匹配阈值λ取0.2。若距离小于λ,则认为参加比较的两个图像块来自同一个物体的相同部分,并在图像L和图像R中将其标记为相似块。
利用MDPA距离做直方图匹配,若匹配成功,则将该图像块标记为相似图像块。
S23、获取待拼接的两相邻图像中每幅图像中相似图像块R、G、B通道的均值和
其中均值和可以通过统计得到。
S24、根据均值和计算待拼接的两相邻图像中每幅图像R、G、B通道的补偿系数αc和α'c。
S24中的计算公式如下:
S3、根据所述图像的亮度与色彩补偿系数调整待拼接的两相邻图像的亮度和色彩得到调整后的图像。根据调整后的图像重新计算图像变换矩阵。
可选地,如图3所示,所述步骤S3包括如下子步骤:
S31、根据均值和以及补偿系数αc和α'c分别对待拼接的两相邻图像中每幅图像的R、G、B通道进行补偿以得到调整后的图像。
S31中补偿的公式如下:
调整后的图像为图像和图像
S32、根据调整后的图像重新计算图像变换矩阵。
S4、重复执行步骤S2、S3直到符合停止迭代条件时停止。获得最终的图像变换矩阵以及最终的图像的亮度与色彩补偿系数,并将当前原始待拼接图像保存为参考图像。
实施本实施例,根据相邻的两待拼接图像在重叠部分中纹理相似区域的亮度与色彩差异,计算出亮度与色彩补偿系数,在图像拼接之前对每幅图像利用亮度和色彩补偿系数,进行亮度和色彩的调整。在最大程度上减小了图像间的亮度和色彩差异,使得图像过渡非常自然。
可选地,如图1所示,本发明实施例提供用于视频拼接的图像亮度与色彩均衡方法还可以包括如下步骤:
S5、连续获取待拼接的两相邻图像,判断当前时刻获取的待拼接的两相邻图像的亮度和/或色彩相对于参考图像是否发生突变,如果发生突变,则跳转到步骤S2,更新最终的图像的亮度与色彩补偿系数,并将当前原始待拼接图像保存为参考图像。
可选地,如图4所示,所述步骤S5包括如下子步骤:
S51、连续获取待拼接的两相邻图像;
S52、连续预设次数统计每一次获取的待拼接的两相邻图像相对于两相邻参考图像的R、G、B任意一通道的差别值。计算连续预设次数获取的差别值的平均值并判断所述差别值的平均值是否均大于预设差别值,如果连续预设次数获取的差别值的平均值均超过预设差别值,则跳转到步骤S2,更新最终的图像的亮度与色彩补偿系数,并将当前原始待拼接图像保存为参考图像。
实施本实施例,可以针对视频拼接应用的实时性要求,根据当前时刻不同摄像机拍摄到的图像的亮度与色彩是否发生突变,决定是否更新亮度与色彩补偿系数,实时性较高。
以上实施例的的思路如下:根据待拼接的两相邻图像在重叠部分中纹理相似区域的亮度与色彩差异,计算出亮度与色彩补偿系数,在图像融合之前对每幅图像利用亮度和色彩补偿系数,进行亮度和色彩的调整,以最大程度地减小图像间的亮度和色彩差异。为提高视频拼接中图像配准的精度,在视频拼接系统初始化阶段,采用“特征提取与匹配——亮度和色彩调整——特征再提取与匹配”的迭代策略,寻找最优的图像变换矩阵。针对视频拼接应用的实时性要求,根据当前时刻不同摄像机拍摄到的图像的亮度与色彩是否发生突变,决定是否更新亮度与色彩补偿系数。本发明可有效消除视频拼接中出现的亮度和色彩跳变问题,实现实时无缝拼接。
图5为本发明另一实施例的用于视频拼接的图像亮度与色彩均衡方法流程图,包括以下步骤:
步骤1、开始。
步骤2、获取待拼接的图像。
步骤3、在初始化阶段设置停止迭代的条件。判断是否初始化,如果已经初始化,进入步骤4;如果没有完成初始化,则直接跳转到步骤17。
步骤4、计算图像变换矩阵。
步骤5、确定相邻待拼接图像的重叠区域。
步骤6、将重叠区域划分成若干大小相等的图像块。
步骤7、统计相似图像块的R、G、B通道的均值。
步骤8、根据相似图像块的R、G、B通道的均值计算亮度与色彩补偿系数。
步骤9、根据均值以及补偿系数分别对待拼接的两相邻图像中每幅图像的R、G、B通道进行补偿以得到调整后的图像。
步骤10、重新计算图像变换矩阵。
步骤11、判断是否完成迭代,如果没有,重新调整到步骤5,如果已经完成迭代,则进入下一步骤12。
步骤12、保存迭代结束时获取的亮度与色彩补偿系数,并将当前原始待拼接图像保存为参考图像。
步骤13、根据补偿系数与参考图像来调整继续获取的待拼接视频图像的亮度与色彩。
步骤14、输出调整之后的图像。
步骤15、判断是否收到结束命令,如果是,则进入步骤16;否则跳转执行步骤2。
步骤16、整个拼接过程停止。
如图9所示,本发明实施例还提供一种用于视频拼接的图像亮度与色彩均衡系统,其包括如下模块:
初始化模块10,用于获取待拼接的两相邻图像并根据待拼接的两相邻图像计算图像变换矩阵。并用于设置迭代停止条件。
可选地,所述初始化模块10中图像变换矩阵的形式如下:
其中m0至m7表示图像的变换形式;迭代停止条件包括m0至m7中任意一项的变化小于预设百分比或者完成预设的迭代次数。
调整模块20,用于根据待拼接的两相邻图像在两者相重叠部分中纹理相似区域的图像的亮度与色彩差异,确定图像的亮度与色彩补偿系数,根据所述图像的亮度与色彩补偿系数调整待拼接的两相邻图像的亮度和色彩得到调整后的图像。并用于根据调整后的图像重新计算图像变换矩阵。
可选地,如图10所示,所述调整模块20包括如下单元:
图像块处理单元21,用于确定待拼接的两相邻图像的重叠区域,并用于将每幅图像的重叠区域划分成若干大小的图像块,分别计算每一图像块R、G、B通道的区域梯度方向直方图。
直方图匹配单元22,用于根据MDPA距离进行直方图匹配,在匹配成功时,将该图像块标记为相似图像块。
通道均值获取单元23,用于获取待拼接的两相邻图像中每幅图像中相似图像块R、G、B通道的均值和
补偿系数获取单元24,用于根据均值和计算待拼接的两相邻图像中每幅图像R、G、B通道的补偿系数αc和α'c。
补偿单元25,用于根据均值和以及补偿系数αc和α'c分别对待拼接的两相邻图像中每幅图像的R、G、B通道进行补偿以得到调整后的图像。
计算单元26,用于根据调整后的图像重新计算图像变换矩阵。
迭代模块30,用于重复执行启动调整模块20的功能直到符合停止迭代条件时停止。并用于获得最终的图像变换矩阵、最终的图像的亮度与色彩补偿系数,以及将当前原始待拼接图像保存为参考图像。
可选地,如图9所示,用于视频拼接的图像亮度与色彩均衡系统还可以包括如下模块:
实时拼接模块40,用于连续获取待拼接的两相邻图像,判断当前时刻获取的待拼接的两相邻图像的亮度和/或色彩相对于参考图像是否发生突变。当发生突变时,启动调整模块20中的补偿系数获取单元24,更新最终的图像的亮度与色彩补偿系数,并将当前原始待拼接图像保存为参考图像。
可选地,如图11所示,所述实时拼接模块40包括如下单元:
连续获取单元41,用于连续获取待拼接的两相邻图像。
实时拼接单元42,用于连续预设次数统计每一次获取的待拼接的两相邻图像相对于参考图像的R、G、B任意一通道的差别值。并用于计算连续预设次数获取的差别值的平均值并判断所述差别值的平均值是否均大于预设差别值,当连续预设次数获取的差别值的平均值均超过预设差别值时,启动调整模块20中关于计算图像的亮度与色彩补偿系数的功能,更新最终的图像的亮度与色彩补偿系数,并将当前原始待拼接图像保存为参考图像。
以上装置实施例与方法实施例是一一对应的,装置实施例简略之处,参见方法实施例即可。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应超过本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。