CN102760286B - 一种拼接墙的拼接缝识别方法及消除方法 - Google Patents

Abstract

本发明涉及视频图像处理领域，具体涉及一种拼接墙的拼接缝识别方法和消除方法。一种拼接墙的拼接缝识别方法包括步骤：将拍摄的图像转换为灰度图像；提取灰度图像中的拼接缝点形成二值图像；对二值图像进行Hough变换，利用累加器记录变换结果；根据累加器结果求出拼接缝对应的直线方程。本发明的拼接缝识别方法采用拼接缝识别模板对拼接缝进行识别，能够准确识别拼接墙中的拼接缝，具有较高的鲁棒性，能够识别由于摄像头与拼接墙相对运动而变模糊的拼接缝。而且，本发明具有较高的计算效率，能够满足实时处理的要求。本发明的拼接缝消除方法将识别出来的拼接缝利用线性插值实现拼接缝的去除。

Description

一种拼接墙的拼接缝识别方法及消除方法

技术领域

本发明涉及视频图像处理领域，具体涉及一种拼接墙的拼接缝识别方法和消除方法。 

背景技术

VW(Video Wall)，即超高分辨率数字拼接墙系统，具有超高分辨率、多信号源、超大画面无缝显示等特性，用以满足用户的集中显示、集中监控、集中指挥调度需求，从而有效提升监控者的工作效率与质量，完成在单个显示屏前无法完成的工作，其有着广阔的应用前景。 

拼接墙由多块液晶屏幕拼接而成，拼接不可避免的就会产生拼接缝，而液晶屏幕的边框是影像拼接缝宽窄的重要原因。液晶屏幕的边框具有支撑屏幕、封装光学结构、封装电子结构等多种功能，因为显示屏幕本身的重量需要边框进行支撑，因此控制屏幕边框的宽度是一件非常困难的事情。但对于拼接墙体，拼接缝的大小却严重影响实际的显示效果。在液晶拼接墙产业格局中，接缝问题已经成为阻碍这一产业壮大的一个核心因素。利用相关技术改善拼接墙的接缝显示效果有助于解决拼接缝的显示问题。 

视频图像处理技术源自计算机视觉技术，它能够在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。运用图像处理算法，在不需要人为干预的情况下，通过对摄像机拍摄的视频图像序列进行自动分析，实现对场景中目标定位、识别和跟踪等操作，并可以在此基础上进一步理解和描述目标的行为。使用视频图像处理技术，对视频图像中拼接墙的拼接缝进行自动识别，并使用一定的方法将其消除，可以让拼接墙在视频中获得更好的视觉展示效果。 

一种现有的从图像中识别直线的方法，是在图像区域进行拟合，前提是要根据先验知识确定一个大概的直线方程，通过直线方程拟合的方法识别图像中的直线，这种方法因为预先设定了直线方程，识别结果的鲁棒性较差，在处理摄像头畸变引起的直线弯曲以及视频图像中其他直线的干扰等问题时，性能会受到很大影响。同时，拟合运算的计算效率较低，无法满足视频图像实时处理的要求。 

另一种可能用来识别直线的方法，是将图像按横向与纵向分别考虑，在两个方向上分别使用现有的边缘检测算子（如sobel算子），求出图像的梯度图，梯度大于预先设定阈值的点，可能为直线上的点，根据阈值将梯度图转为二值图像，最后用Hough变换求出直线方程。 

此种直线识别方法较前一种方法，计算效率较高，但由于使用边缘检测算子进行边缘检测会产生较多干扰，当接缝边缘不明显时，无法简单的通过阈值筛选出接缝，所以识别率不高，因此这种方法也不适合直接用来处理识别拼接缝的问题。 

视频图像中拼接墙的拼接缝识别及消除，其难点在于： 

（1）视频图像中，拍摄到的大屏幕场景会不断变化，同时由于拍摄角度等原因，光线也会不断变化，对识别产生干扰；

（2）视频图像处理对处理速度要求较高，现有的识别方法速度较慢，无法满足实时处理视频图像的要求；

（3）视频图像中拍摄的物体会产生摄像头畸变现象，大屏幕的拼接缝会弯曲而非严格的直线，对识别造成影响；

（4）在识别过程中，视屏图像中大屏幕区域内外的其他线状物体容易被错误识别，使用不恰当的识别方法会对识别结果造成干扰，同时影像处理速度；

（5）当摄像头与拼接屏幕产生相对运动时，视频图像中的拼接缝可能会变模糊，导致不容易被识别；

针对上述难点，现有的一些方法均无法直接使用，需要设计更加合理的具有针对性的方法来解决视频图像中超高分辨率数字拼接墙的拼接缝识别及消除问题。

发明内容

本发明解决的技术问题是克服现有技术的不足，提供一种提高拼接缝检测准确率的拼接墙的拼接缝识别方法。 

本发明还提供一种提高拼接缝检测和消除准确率的拼接缝消除方法。 

为解决上述技术问题，本发明第一个发明目的的技术方案如下： 

一种拼接墙的拼接缝识别方法，包括步骤：

将拍摄的图像转换为灰度图像；

提取灰度图像中的拼接缝点形成二值图像；

对二值图像进行Hough变换，利用累加器记录变换结果；

根据累加器结果求出拼接缝对应的直线方程。

上述方案中，所述提取灰度图像中的拼接缝点形成二值图像的具体步骤为： 

设置拼接缝提取模板；

利用拼接缝提取模板遍历灰度图像提取拼接缝点；

建立灰度图像对应的提取结果二值图像，其中将拼接缝点的值设为1。

上述方案中，所述提取模板包括横向拼接缝提取模板和纵向拼接缝提取模板。 

上述方案中，提取灰度图像中的拼接缝点形成二值图像后还进行如下步骤：利用提取结果二值图像对拼接缝点进行筛选，去除伪拼接缝点。 

上述方案中，所述利用提取结果二值图像对拼接缝点进行筛选，去除伪拼接缝点的具体步骤为： 

设置拼接缝筛选模板和筛选阈值；

利用拼接缝筛选模板遍历提取结果二值图像，对拼接缝筛选模板区域内的像素求和；

判断求和结果是否大于筛选阈值，若是则将求和结果所对应的像素点保留，否则将求和结果对应的像素点的值设为0，得到筛选后的二值图像。

上述方案中，所述拼接缝筛选模板包括横向拼接缝筛选模板和纵向拼接缝筛选模板。 

上述方案中，所述Hough变换采用极坐标参数方程。 

上述方案中，所述根据累加器结果求出拼接缝对应的直线方程的具体步骤为： 

设置变换阈值；

将累加器结果大于变换阈值时所对应的点保留；

求取保留点中的极值点，根据每个极值点求出拼接缝对应的直线方程。

上述方案中，所述变换阈值包括横向拼接缝的变换阈值和纵向拼接缝的变换阈值。 

本发明第二个发明目的的技术方案如下： 

一种拼接墙的拼接缝消除方法，，采用所述的拼接墙的拼接缝识别方法识别拼接墙中的拼接缝，根据拼接缝的直线方程采用线性插值对原始拍摄图像进行拼接缝融合，得到消除拼接缝后的图像。

与现有技术相比，本发明技术方案的有益效果是： 

本发明的拼接缝识别方法采用拼接缝识别模板对拼接缝进行识别，能够准确识别拼接墙中的拼接缝，并采用拼接缝筛选模板对提取的拼接缝点进行筛选，进一步将伪拼接缝点去除，保留真拼接缝点，进一步提高了拼接缝识别的准确率。本发明具有较高的鲁棒性，能够识别由于摄像头与拼接墙相对运动而变模糊的拼接缝。而且，本发明具有较高的计算效率，能够满足实时处理的要求。本发明的拼接缝消除方法将识别出来的拼接缝利用线性插值实现拼接缝的去除。

附图说明

图1 为本发明中一种拼接墙的拼接缝识别方法的流程图； 

图2为本发明中拼接缝提取模板的示意图，其中a图为横向拼接缝提取模板，b图为纵向拼接缝提取模板；

图3为拼接墙中横向窄拼接缝局部和放大示意图，其中a图为横向拼接缝局部示意图，b图为a图的放大示意图；

图4为拼接墙中横向宽拼接缝示意图；

图5为原始拍摄的视频图像及其提取拼接缝点后的二值图像；

图6为图5的提取结果二值图像进行拼接缝点筛选后的二值图像；

图7为从图6中识别出来的拼接缝示意图；

图8为本发明中一种拼接墙的拼接缝消除方法的流程图；

图9为原始拍摄的视频图像示意图；

图10为对图9进行拼接缝消除后结果示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。 

如图1所示，为本发明中一种拼接墙的拼接缝识别方法的流程图。一种拼接墙的拼接缝识别方法，具体包括如下步骤： 

（S1）将拍摄的图像转换为灰度图像；对拍摄的视频图像中的每一帧图像逐帧处理，将彩色图像转换为灰度图像，得到转换后的每帧图像的灰度图像。

（S2）提取灰度图像中的拼接缝点形成二值图像；其具体步骤为： 

（S21）设置拼接缝提取模板；拼接缝提取模板包括横向拼接缝提取模板和纵向拼接缝提取模板。如图2所示，假设将横向拼接缝提取模板设置为7*1向量，将纵向拼接缝提取模板设置为1*7向量，其中的 分别代表灰度图像对应模板中不同位置像素点的灰度值。

（S22）利用拼接缝提取模板遍历灰度图像提取拼接缝点； 

以横向拼接缝提取模板为例，若拼接缝属于窄拼接缝，则利用横向拼接缝提取模板遍历灰度图像，若在横向拼接缝提取模板区域内，，则判断拼接缝为三个像素宽，为拼接缝点；若，则判断拼接缝为两个像素宽，为拼接缝点；若，则判断拼接缝为一个像素宽，为拼接缝点。

若拼接缝属于宽拼接缝，则利用横向拼接缝提取模板遍历灰度图像，若在横向拼接缝提取模板区域内，，其中avg表示均值，则c，d，e为拼接缝；同时向横向拼接缝提取模板两边继续扩展，若b<a，则b为拼接缝，如果f<g，则f为拼接缝，以此类推，直到找不到拼接缝或者达到预先设定的像素值上限。 

上述对拼接缝提取模板的设置以及对拼接缝点的判断规则可具体根据实际的拼接墙设置，以获取更准确的拼接缝提取模板以及提取更为准确的拼接缝点。如图3所示，为拼接墙中横向窄拼接缝局部和放大示意图。对于横向窄接缝，其满足三个特征：a)拼接缝宽在个像素之间；b) 拼接缝像素值低于上下非拼接缝区域的像素值；c)是一条横向直线，倾角大于-20o，小于20o。将这三个特征作为窄拼接缝的前提假设条件，根据横向窄拼接缝的特征设置上述横向拼接缝提取模板和拼接缝点的判断规则。如图4所示，对于横向宽拼接缝，其宽度通常在3个像素以上，有的地方甚至超过10个像素。这种情况下，如果单纯的采用横向窄拼接缝的判断规则，扩大模板，会极大的增加运算量，因此，需要根据横向宽拼接缝的实际情况设置不同的判断规则。 

（S23）建立灰度图像对应的提取结果二值图像，其中将拼接缝点的值设为1。 

将拼接缝提取模板遍历整幅灰度图像，就能找出所有拼接缝点，同时也会带来很多噪声。如图5所示，图5（a）为原始拍摄的视频图像，图5（b）为横向拼接缝提取结果示意图，拼接缝提取的结果图是二值图像，数值为1（白）的像素表示拼接缝点，为0（黑）的像素表示不是接缝点。 

（S3）利用提取结果二值图像对拼接缝点进行筛选，去除伪拼接缝点。对拼接缝点进行筛选的原则是：a)孤立的点一般不为拼接缝；b)弯曲的线一般不为拼接缝。其具体步骤为： 

（S31）设置拼接缝筛选模板和筛选阈值；拼接缝筛选模板包括横向拼接缝筛选模板和纵向拼接缝筛选模板；

（S32）利用拼接缝筛选模板遍历提取结果二值图像，对拼接缝筛选模板区域内的像素求和；

（S33）判断求和结果是否大于筛选阈值，若是则将求和结果所对应的像素点保留，否则将求和结果对应的像素点的值设为0，得到筛选后的二值图像。

如对与横向窄拼接缝，设置横向拼接缝筛选模板 m×n，其中m为30，n为2，筛选阈值T为25；对于横向宽拼接缝，设置横向拼接缝筛选模板 m×n，其中m为30，n为4，筛选阈值T为70。如图6所示为利用横向拼接缝筛选模板对图5中的横向拼接缝提取结果二值图像中的拼接缝点进行筛选后的二值图像。 

（S4）对筛选后的二值图像进行Hough变换，利用累加器记录变换结果； 

针对筛选后的二值图像，使用极坐标参数方程对其进行Hough变换（又名Radon变换），极坐标中直线参数方程为：

ρ =xcosθ+ysinθ    （1）

Hough变换在极坐标系参数空间中检测共线的主要步骤为：

（1）给ρ和θ定义值域，ρ∈[-D,D]（D=max（width，height）），θ∈[-90°，90°]，构造二维累加数组A（ρ，θ），初始化为零数组；

（2）对x-y空间中的给定点，1≤i≤n，利用θ遍取其值域内的值（步长自设），通过公式（1）计算出ρ；

每计算出一组的（ρ，θ）值，便对累加数组对应的元素A（ρ，θ）加1，则计算完成之后，A（ρ，θ）的值就是对应参数ρ和θ的直线上的共线点的数目，通过ρ和θ又可以利用公式（1）反求得原空间直线函数式。

（S5）根据累加器结果求出拼接缝对应的直线方程。 

（S51）设置变换阈值；变换阈值包括横向拼接缝的变换阈值和纵向拼接缝的变换阈值。如对与窄拼接缝，横向方向Hough变换阈值设为width*4/8,纵向方向Hough变换阈值为height*4/8；对于宽拼接缝，横向方向Hough变换阈值设为width*4/6, 纵向方向Hough变换阈值为height*4/6。 

（S52）将累加器结果大于变换阈值时所对应的点保留； 

（S53）求取保留点中的极值点，根据每个极值点求出拼接缝对应的直线方程。如图7所示，为根据执行方程式提取的拼接缝结果示意图。

如图8所示，为本发明中一种拼接墙的拼接缝消除方法的流程图，所述消除方法采用拼接墙的拼接缝识别方法识别拼接墙中的拼接缝，根据拼接缝的直线方程采用线性插值对原始拍摄图像进行拼接缝融合，得到消除拼接缝后的图像。如图10所示，为对原始拍摄视频图像进行拼接缝消除后的结构示意图。 

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。 

Claims (5)

1.一种拼接墙的拼接缝识别方法，其特征在于，包括步骤：

将拍摄的图像转换为灰度图像；

提取灰度图像中的拼接缝点形成二值图像；

对二值图像进行Hough变换，利用累加器记录变换结果；

根据累加器结果求出拼接缝对应的直线方程；

所述提取灰度图像中的拼接缝点形成二值图像的具体步骤为：

设置拼接缝提取模板；

利用拼接缝提取模板遍历灰度图像提取拼接缝点；

建立灰度图像对应的提取结果二值图像，其中将拼接缝点的值设为1；

提取灰度图像中的拼接缝点形成二值图像后还进行如下步骤：利用提取结果二值图像对拼接缝点进行筛选，去除伪拼接缝点；

所述利用提取结果二值图像对拼接缝点进行筛选，去除伪拼接缝点的具体步骤为：

设置拼接缝筛选模板和筛选阈值；

利用拼接缝筛选模板遍历提取结果二值图像，对拼接缝筛选模板区域内的像素求和；

判断求和结果是否大于筛选阈值，若是则将求和结果所对应的像素点保留，否则将求和结果对应的像素点的值设为0，得到筛选后的二值图像；

所述Hough变换采用极坐标参数方程；

所述根据累加器结果求出拼接缝对应的直线方程的具体步骤为：

设置变换阈值；

将累加器结果大于变换阈值时所对应的点保留；

求取保留点中的极值点，根据每个极值点求出拼接缝对应的直线方程。

2.根据权利要求1所述的拼接墙的拼接缝识别方法，其特征在于，所述提取模板包括横向拼接缝提取模板和纵向拼接缝提取模板。

3.根据权利要求1所述的拼接墙的拼接缝识别方法，其特征在于，所述拼接缝筛选模板包括横向拼接缝筛选模板和纵向拼接缝筛选模板。

4.根据权利要求1所述的拼接墙的拼接缝识别方法，其特征在于，所述变换阈值包括横向拼接缝的变换阈值和纵向拼接缝的变换阈值。

5.一种拼接墙的拼接缝消除方法，其特征在于，采用权利要求1所述的拼接墙的拼接缝识别方法识别拼接墙中的拼接缝，根据拼接缝的直线方程采用线性插值对原始拍摄图像进行拼接缝融合，得到消除拼接缝后的图像。