CN102427504B - 一种基于背景拼接墙的图像处理方法、装置及系统 - Google Patents

Abstract

一种基于背景拼接墙的图像处理方法、装置及系统，该方法包括步骤：识别所拍摄图像中的背景拼接墙；对所拍摄图像中的背景拼接墙进行处理，消除所拍摄图像中背景拼接墙的拼缝。根据本发明方案，其是通过在摄像机所拍摄的图像中识别出拼接墙的显示边缘，并针对所拍摄图像中的拼接墙进行处理来消除所拍摄图像中拼接墙的拼缝，从而不仅可以有效消除显示输出的图片的拼缝，而且无需对拼接显示墙作任何处理，不会增加硬件成本，而且可以实现不同观察点的画面的一致性，可以不受摄像机视角变化的限制。

Description

一种基于背景拼接墙的图像处理方法、装置及系统

技术领域

本发明涉及一种基于背景拼接墙的图像处理方法、一种基于背景拼接墙的图像处理装置、以及一种基于背景拼接墙的图像处理系统。

背景技术

随着LED光源DLP显示技术的不断发展和更新，拼接墙显示技术得到了日益广泛的应用，LED光源宽色域、亮丽色彩的特性进一步深化了DLP显示技术的应用与发展，目前在广电行业更是得到了越来越多的使用，较多采用的是以LED光源为主的DLP显示背景墙，主持人可方便地与显示背景墙进行互动操作，应用时，摄像机拍摄到包含背景拼接墙的显示内容及主持人等前景内容后直接输出给用户进行观看。

然而，在目前的背景显示墙的应用中，由于整个显示拼接墙是由各个DLP显示单元拼接而成的，因而在拼接显示单元与拼接显示单元之间不可避免地存在着缝隙，就目前的技术水平而言，这个缝隙可以控制在1毫米以内，但对于电视机端的观众来说，依然可以清晰地看见各个拼接显示屏之间较大的缝隙，在摄像机的镜头拉近时，这个缝隙将更明显。

为了解决这种拼缝的问题，目前所采用的方案，均是采用边缘融合方式，通过对两个投影机之间的重叠区画面进行亮度渐变、羽化等处理形成无缝的画面，这种边缘融合方式，必须利用到两个显示单元输出的重叠区，但是这种处理方式破坏了箱体式显示单元光路的封闭性，并不适用于DLP、LCD等显示背景墙消除拼缝应用。另一方面，在广电节目的录制现场，会存在多个拍摄点，不同的拍摄点依然会造成画面的均匀性问题，也会存在背景墙非正面拍摄的情况，影响电视机观众的视觉效果。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于提供一种基于背景拼接墙的图像处理方法、一种基于背景拼接墙的图像处理装置、一种基于背景拼接墙的图像处理系统，其可以有效消除显示输出的图片的拼缝，且可以实现不同观察点的画面的一致性，可以不受摄像机视角变化的限制。

为达到上述目的，本发明采用以下技术方案：

一种基于背景拼接墙的图像处理方法，包括步骤：

识别所拍摄图像中的背景拼接墙；

对所拍摄图像进行处理，消除所拍摄图像中背景拼接墙的拼缝。

一种基于背景拼接墙的图像处理装置，包括：

与摄像机连接的拼接墙识别单元，用于识别所拍摄图像中的背景拼接墙；

消缝单元，用于对所拍摄图像进行处理，消除所拍摄图像中背景拼接墙的拼缝。

一种基于背景拼接墙的图像处理系统，包括一个以上的摄像头，还包括至少一个如上所述的基于背景拼接墙的图像处理装置，该基于背景拼接墙的图像处理装置与至少一个摄像头连接。

根据上述本发明方案，其是通过在摄像机所拍摄的图像中识别出拼接墙的显示边缘，并针对所拍摄图像中的拼接墙进行处理来消除所拍摄图像中拼接墙的拼缝，从而不仅可以有效消除显示输出的图片的拼缝，而且无需对拼接显示墙作任何处理，不会增加硬件成本，而且可以实现不同观察点的画面的一致性，可以不受摄像机视角变化的限制。

附图说明

图1是本发明的基于背景拼接墙的图像处理方法实施例的流程示意图；

图2是具体示例1中的基于背景拼接墙的图像处理方法的流程示意图；

图3是其中一种识别背景拼接墙的拼缝及进行缩放的示意图；

图4是另外一种识别背景拼接墙的拼缝及进行缩放的示意图；

图5是具体示例2中的颜色补偿处理的流程示意图；

图6是具体示例3中的基于背景拼接墙的图像处理方法的流程示意图；

图7是缩放比例系数的确定方式示意图；

图8是暗场拍摄时人眼观测画面的示意图；

图9是暗场拍摄时摄像机拍摄到的画面的示意图；

图10是具体示例4中的基于背景拼接墙的图像处理方法的流程示意图

图11本发明的消除拼接墙拼缝的装置实施例的结构示意图；

图12是具体示例5中的基于背景拼接墙的图像处理装置的结构示意图；

图13是具体示例5中的装置的一个应用场景的示意图；

图14是具体示例5中的装置的另一个应用场景的示意图；

图15是具体示例6中的基于背景拼接墙的图像处理装置的结构示意图；

图16是具体示例6中的装置的一个应用场景的示意图；

图17是具体示例6中的装置的另一个应用场景的示意图；

图18是具体示例7中的基于背景拼接墙的图像处理装置的结构示意图；

图19是具体示例7中的装置的一个应用场景的示意图；

图20是具体示例8中的基于背景拼接墙的图像处理装置的结构示意图；

图21是具体示例8中的装置的一个应用场景的示意图。

具体实施方式

图1中示出了本发明的基于背景拼接墙的图像处理方法实施例的流程示意图，如图1所示，其包括步骤：

步骤S101：识别所拍摄图像中的背景拼接墙；

步骤S102：对所拍摄图像进行处理，消除所拍摄图像中背景拼接墙的拼缝。

其中，在上述步骤S101中识别所拍摄图像中的背景拼接墙时，可以有各种不同的实现方式，例如，可以是通过在拼接墙的四个边缘各增加一个特殊颜色或者打钉材料的标志，或者在屏幕的四个边角设定1至2个特殊的像素值，或者在拼接显示墙的屏幕边缘添加至少三个突出标记，从而在摄像机进行拍摄时可以通过识别这些特殊标记来自动识别出背景拼接墙的显示边缘，进而识别出所拍摄图像中的背景拼接墙，具体的实现方式在此不予赘述。

在上述步骤S102中对所拍摄图像中的背景拼接墙进行处理、消除所拍摄图像中背景拼接墙的拼缝时，依据实际需要，可以有多种不同的处理方式，在其中一种方式中，可以是通过识别所拍摄图像中背景拼接墙的拼缝后、对所拍摄图像中的各显示单元进行缩放覆盖背景拼接墙的拼缝部分后进行输出，在另外一种实现方式中，可以是利用原始拼接墙输入信号，对原始拼接墙输入的图像信号进行缩放后替换或者覆盖所拍摄图像中的背景拼接墙部分后进行叠加输出，以下就针对这些实现方式的具体示例分别进行说明。

具体示例1

图2中示出了该具体示例中的基于背景拼接墙的图像处理方法的流程示意图，在该示例中，是以识别所拍摄图像中背景拼接墙的拼缝后、对所拍摄图像中的各显示单元进行缩放覆盖背景拼接墙的拼缝部分后进行输出为例来说明。

如图2所示，在该具体示例中，本发明的方法包括步骤：

步骤S201：识别所拍摄图像中的背景拼接墙，进入步骤S202；

步骤S202：计算所拍摄图像中背景拼接墙的各拼缝的位置坐标，进入步骤S203；

步骤S203：根据各拼缝的位置坐标，计算确定出所拍摄图像中背景拼接墙的各显示单元缩放至相邻拼缝的设定位置处的缩放系数，进入步骤S204；

步骤S204：根据各显示单元的缩放系数对摄像机所拍摄的实时图像中背景拼接墙的各显示单元对应的图像进行缩放。

在上述步骤S204中对实时图像中背景拼接墙的各显示单元对应的图像进行缩放后，将缩放后的图像进行输出，即可实现背景拼接墙部分的图像的无缝输出。

在上述步骤S202中计算所拍摄图像中背景拼接墙的各拼缝的位置坐标时，考虑到在同一个拼接墙中的各显示单元都是同样尺寸大小，且各显示单元之间的距离(即拼缝)通常也相同，因此，可以依据背景拼接墙的边缘坐标点以及拼接墙系统的类型以及显示单元的尺寸，自动计算出各拼缝的位置坐标，图3中示出了应用这种方式确定背景拼接墙中拼缝的位置坐标的示意图。

图3所示中，是假设通过在拼接墙的显示单元边框添加三个突出标记来自动实现对拍摄图像中背景拼接墙的识别，图3所示的示例中，是假设各显示单元的尺寸均相同、且各拼缝大小也相同。如图3所示，可以在所拍摄图像中识别出三个突出标记的坐标为(x1，y1)、(x2，y1)和(x5，y3)，设定在摄像机输出画面中，Px为显示单元长度，横纵缝隙宽度均为L，Py为显示单元高度，从而根据背景墙系统类型及显示单元尺寸，可以有：4Px+3L＝x5-x1；3Px+3L＝x5-x2；2Py+1L＝y3-y1。从而可以计算得到：Px＝x2-x1；L＝(x5-x2-3Px)/3；Py＝(y3-y1-(x5-x2-3Px)/3)/2。

并据此可以计算得到各显示单元的位置坐标：

以0-0显示单元为例：其左上角的坐标点为(x1，y1)，其右上角的坐标点为(x2，y1)，其右下角的坐标点为(x2，y2)，即(x2，y1+Py)，其左下角的坐标点为(x1，y2)，即(x1，y1+Py)；

以0-1显示单元为例：其左上角的坐标点为(x2’，y1)，即(x2+L，y1)，其右上角的坐标点为(x3，y1)，即(x2+Px+L，y1)，其右下角的坐标点为(x3，y2)，即(x2+Px+L，y1+Py)，其左下角的坐标点为(x2’，y2)，即(x2+L，y1+Py)。

采用同理的算法可以得到其他显示单元的坐标点。

随后，依据各显示单元的坐标点，即可确定针对各显示单元的缩放系数。在针对各显示单元进行缩放时，只要各显示单元进行缩放后能够分别覆盖背景拼接墙的拼缝的一部分、且各显示单元缩放后的部分能够完全覆盖背景拼接墙的拼缝即可，出于方便计算的目的，可使缩放后的各显示单元的边界分别到达相邻拼缝的中界，在下述说明中，以使缩放后的各显示单元的边界分别到达相邻拼缝的中界为例进行说明。

以图3中所示的0-0显示单元为例：

在将该0-0显示单元的边界缩放至相邻拼缝的中界时，即需要将由(x1，y1)、(x2，y1)、(x2，y2)、(x1，y2)组成的画面放大到由(x1，y1)、((x2+x2’)/2，y1)、((x2+x2’)/2，(y2+y2’)/2)、(x1，(y2+y2’)/2)组成的画面，其中，(x2’+x2)/2是水平方向拼缝的中值；(y2’+y2)/2是垂直方向拼缝的中值；

从而可以得到0-0显示单元的缩放系数，其中水平方向上的放大系数为：((x2+x2’)/2-x1)/(x2-x1)，垂直方向上的放大系数为：((y2+y2’)/2-y1)/(y2-y1)，图像放大时可采用高次插值等算法来实现像素的补偿。

以图3中所示的0-1显示单元为例：

在将该0-1显示单元的边界缩放至相邻拼缝的中界时，即需要将由(x2’，y1)、(x3，y1)、(x3，y2)、(x2’，y2)组成的画面放大到由((x2+x2’)/2，y1)、((x3+x3’)/2，y1)、((x3+x3’)/2，(y2+y2’)/2)、((x2+x2’)/2，(y2+y2’)/2)组成的画面；

从而可以得到0-1显示单元的缩放系数，其中水平方向上的放大系数为：((x3+x3’)/2-(x2+x2’)/2)/(x3-x2’)，垂直方向上的放大系数为：((y2+y2’)/2-y1)/(y2-y1)，图像放大时可采用高次插值等算法来实现像素的补偿。

采用同理的算法可以得到其他显示单元的缩放系数及拼缝补偿值。

在计算得到各显示单元的缩放系数后，可保存在存储介质中，以应用于后续实时拍摄过程中的消缝缩放处理。其中，摄像机每次开机或位置发生移动时，需要重新识别背景拼接墙、进行拼缝定位、确定计算各显示单元的缩放范围及缩放系数。

在依据缩放系数进行缩放处理时，可以是依据相对坐标来进行处理，此时，需要先将绝对坐标转换成相对坐标，将各坐标值相应减去(x1，y1)即可得到相对坐标。为便于理解，在下述说明中，仍然是以绝对坐标来进行说明。

在上述图3所示的示例中，是假设各显示单元的尺寸同等大小、各拼缝大小也相同的情况下来实现拼缝的识别和缩放系数的计算。实际安装过程中，由于误差的问题，各拼缝的大小可能并不相同，因此，可以通过对物理拼缝与显示单元的显示内容进行区分来实现对拼缝的识别。图4中示出了依据这种方式对拼缝进行识别的示意图，图4所示中，是以3行3列的拼接墙为例进行说明。

为了更好地对拼接墙的物理拼缝进行区分，可以是在显示单元的拼接缝涂上一种特殊的颜色材料，该颜色可采用RGB三基色合成之外的一种颜色，以与背景显示墙所能显示的颜色相区别，方便区分出物理拼缝与背景图像内容。

其中一种应用方式中，通过在拼接显示墙输出全白画面，通过摄像机进行拍摄后，对拍摄到的图像确认拼缝，得到拼缝模板，并通过图像二值化处理，得到拍摄画面的模板位置坐标。

进行图像二值化处理时，若像素点的亮度值大于设定阈值Y，则输出为1，否则输出为0。据此可确定图4中所示的图像的拼缝边界位置，其中，水平方向的拼缝边界位置分别为：x0、x1、x2、x3、x4、x5......，垂直方向的拼缝边界位置分别为：y0、y1、y2、y3、y4、y5......。

从而据此可以确定各显示单元的缩放范围及缩放系数，据此对各显示单元进行缩放，以将各显示单元缩放至相邻拼缝的中界为例，在图4所示的示例中：

对于0-0显示单元：

需要将0-0显示单元的图像由(x0，y0)、(x0，y1)、(x1，y0)、(x1，y1)组成的画面放大到由(x0，y0)、(x0，y2)、(x2，y0)、(x2，y2)组成的画面，从而可以确定水平方向上的缩放系数为：(x2-x0)/(x1-x0)，垂直方向上的缩放系数为：(y2-y0)/(y1-y0)，图像放大时可采用高次插值等算法来实现像素的补偿；

对于0-1显示单元：

需要将0-1显示单元的图像由(x3，y0)、(x3，y1)、(x4，y0)、(x4，y1)组成的画面放大到由(x2，y0)、(x2，y2)、(x5，y0)、(x5，y2)组成的画面，从而可以确定水平方向上的缩放系数为：(x5-x2)/(x4-x3)。垂直方向上的缩放系数为：(y2-y0)/(y1-y0)，图像放大时可采用高次插值等算法来实现像素的补偿；

对于0-2显示单元：

需要将0-2显示单元的图像由(x6，y0)、(x6，y1)、(x7，y0)、(x7，y1)组成的画面放大到由(x5，y0)、(x5，y2)、(x7，y0)、(x7，y2)组成的画面，从而可以确定水平方向上的缩放系数为：(x7-x5)/(x7-x6)，垂直方向上的缩放系数为：(y2-y0)/(y1-y0)，图像放大时可采用高次插值等算法来实现像素的补偿。

基于同样的原理，可以得到其他各显示单元的缩放范围、缩放系数以及相应拼缝的补偿值。

在根据上述确定的缩放范围、缩放系数对摄像机所拍摄的实时图像中背景拼接墙的各显示单元进行缩放后进行输出，可实现无拼缝画面的图像输出，而且这种处理方式无需考虑图像画面重叠区，大大减低了系统处理的复杂性，特别适用于光电行业背景拼接墙无缝画面的生成。

具体示例2

在该具体示例2中，相对于上述具体示例1中来说，考虑到对拼接显示墙的颜色一致性的问题，对缩放后的图像进行了颜色补偿处理。图5中示出了该具体示例2中结合上述具体示例1中的缩放过程进行颜色补偿处理的流程示意图。

如图5所示，颜色补偿处理的流程包括步骤：

步骤S501：拍摄拼接显示墙输出全色测试图时的图像得到补偿系数测试图像，进入步骤S502；

步骤S502：根据各显示单元的缩放系数对补偿系数测试图像中背景拼接墙的各显示单元对应的图像进行缩放，进入步骤S503；

步骤S503：识别缩放后的补偿系数测试图像中背景拼接墙的各像素点的像素值，根据各像素点的像素值以及像素设定目标值计算背景拼接墙中各像素点的补偿系数，进入步骤S504；

步骤S504：根据各像素点的补偿系数对缩放后的实时图像中背景拼接墙的各像素点进行像素补偿。

其中，上述全色测试图为各像素点的像素值相同的测试图，例如可以是全白测试图，此时上述补偿系数测试图图像为全白测试图图像；或者可以是包括全红测试图、全绿测试图、全蓝测试图，此时上述补偿系数测试图图像包括全红测试图图像、全绿测试图图像、全蓝测试图图像。

在采用包含全红测试图、全绿测试图、全蓝测试图的全色测试图的情况下，具体确定各像素点的补偿系数的方式可以是，使拼接显示墙分别显示全红、全绿、全蓝的背景画面，摄像机分别基于全红、全绿、全蓝的背景拼接墙画面进行拍摄，分别得到各像素点在该测试状态下的像素值，即R值、G值、B值，随后即可根据像素设定目标值实现各像素点的补偿系数的计算。

假设各像素点的像素设定目标值为(Ro，Go，Bo)，则可以根据该设定的目标值(Ro，Go，Bo)计算出各像素点的补偿系数，假设某个像素点的像素值为(R，G，B)，则该像素点的补偿系数为：

R分量补偿系数r-gain＝Ro/R；

G分量补偿系数g-gain＝Go/G；

B分量补偿系数b-gain＝Bo/B；

将上述具体示例1中缩放处理后的实时图像乘以相应各像素点的补偿系数再进行输出，即可实现颜色、亮度校正后的播放图像的输出。

上述补偿系数的确定方式，仅仅是以其中一种最简单的方式进行了说明，根据实际需要，还可以是包含有其他的处理方式来进行综合考虑，只要能够确定出各像素点的补偿系数，能够对各像素点进行补偿实现颜色、亮度的一致性输出即可。

结合上述具体示例1中的消除拼缝的方式以及具体示例2中的像素补偿的方式，在一个具体的实际使用过程中，以测试时输出全白测试图为例，具体的使用过程可以是：

在前期调试阶段，对拼接显示墙的拼缝涂上特殊的材料颜色来便于识别拼缝，这里的拼接显示墙可以是DLP、LCD、LED等任何一种类型的拼接显示墙，在各摄像机的位置已经设定并开始进行调试时，往拼接显示墙输出显示全白画面，各摄像机分别进行拍摄，依据各摄像机所拍摄到的全白测试画面可观察和区分到所拍摄的背景显示墙中的各显示单元以及拼缝，通过识别确定各显示单元的边界、以及拼缝的位置坐标，确定针对各显示单元的缩放范围以及缩放比例，得到各显示单元的缩放范围以及缩放比例后可予以储存，以便于后续正常工作过程中进行使用；

根据得到的各显示单元的缩放范围以及缩放比例对拍摄到的全白测试画面进行缩放，以消除背景拼接墙的全白测试画面中的拼缝，随后，识别缩放后的全白测试画面中的各像素点的像素值，依据像素设定目标值确定各像素点的补偿系数，并将得到的各像素点的补偿系数予以储存，方便后续正常工作过程中使用；

在进入正常工作的录制播放状态后，摄像机拍摄到了包含背景拼接墙的实时图像后，首先根据上述各显示单元的缩放范围以及缩放比例对实时图像的背景拼接墙的各显示单元进行缩放，实现消缝处理，缩放后的实时图像再根据上述各像素点的补偿系数进行像素值的补偿后进行输出，实现颜色、亮度的一致性处理。

具体示例3

图6中示出了该具体示例中的基于背景拼接墙的图像处理方法的流程示意图，在该示例中，是对原始拼接墙输入的图像信号进行缩放后、与分离出的清晰前景画面进行叠加输出进行说明。

如图6所示，在该具体示例中，本发明的方法包括步骤：

步骤S601：识别所拍摄图像中的背景拼接墙，进入步骤S602；

步骤S602：确定所拍摄图像中的背景拼接墙与所拍摄图像的整体画面缩放比例系数，进入步骤S603；

步骤S603：在同步信号的暗场时进行拍摄，得到包含暗场背景拼接墙与清晰前景画面的实时图像，并分离出该实时图像中的清晰前景画面，该前景画面是所拍摄图像中除了背景拼接墙部分的画面，进入步骤S604；

步骤S604：将原始拼接墙输入的图像信号按照上述整体画面缩放比例系数进行缩放，将缩放后所得的图像对应于实时图像中的暗场背景拼接墙所在位置作为底层图像、分离后的清晰前景画面作为顶层图像进行叠加后进行输出。

上述步骤S602中确定整体画面缩放比例系数时，基于拼接墙为矩形、而且摄像机拍摄输出的图像通常也是矩形图像的特性，可以是分别计算横纵向的缩放比例。图7中示出了缩放比例系数的确定方式示意图。

假设其中一个摄像机观察点所拍摄图像在坐标系中的坐标如图7所示，摄像机所拍摄图像的四个边缘角坐标点为(x0，y0)、(x3，y0)、(x0，y3)、(x3，y3)，摄像机所拍摄图像中的背景拼接墙的四个边缘坐标点为(x1，y1)、(x2，y1)、(x2，y2)和(x1、y2)，从而可以据此计算得到该摄像机所拍摄画面中的背景拼接墙与摄像机所拍摄的整体画面的缩放比例系数，该缩放比例系数包括水平方向缩放比例系数及垂直方向缩放比例系数，分别为：

水平方向缩放比例系数＝(x2-x1)/(x3-x0)；

垂直方向缩放比例系数＝(y2-y1)/(y3-y0)。

在得到该缩放比例系数后，可将各摄像机所拍摄图像中的背景拼接墙的位置坐标范围以及缩放比例系数进行存储，以方便后续工作过程中使用。

在现有的拍摄方式中，为了保证摄像机的拍摄效果，通常都是在同步信号线的明场时间内进行画面的拍摄，以得到清晰的背景墙画面供用户观看。然而，在本发明方案中，为了能够有效地区分背景拼接墙与前景画面来进行处理，则是选择在同步信号的暗场时进行拍摄，利用同步信号的明场和暗场的区别，识别区分出清晰的前景图像和暗场背景拼接墙，得到包含暗场背景拼接墙和清晰前景画面的实时图像，为了能够更准确地在同步信号的暗场实施拍摄，相对于已有的同步信号来说，可以适当延长同步信号的暗场时间。

由于人眼的视觉效应，在电视直播现场，人眼并不会感觉到有暗场的存在，图8中示出了摄像机在同步信号的暗场进行拍摄时刻人眼观测现场画面的示意图，可见，人眼观测到的仍然是清晰的显示画面。但在实际上，摄像机在同步信号的暗场进行拍摄时所拍摄到的画面与人眼观测现场画面有所不同，图9中示出了同步信号的暗场时摄像机拍摄到的画面的示意图，由图可见，通过在同步信号的暗场进行拍摄，在得到的实时图像中，暗场背景拼接墙能够很明显地与拼接墙的前景画面相区别开来。在实际实施时，可要求前景内容(例如主持人服装、头发颜色等)与显示屏幕暗场时的色调不相同，以避免对后续的处理过程造成干扰。

摄像机在同步信号的暗场时刻所拍摄得到的实时图像中的背景拼接墙部分，将是深饱和度的单色背景底色，为了确保暗场拍摄后形成单色背景底色，拼接墙的屏幕和拼缝可使用相同材料。

随后，对摄像机在同步信号的暗场时刻所拍摄得到的实时图像进行图像分离处理，分离出实时图像中的清晰前景画面。具体进行分离处理时，可以是将实时图像中的暗场背景拼接墙的颜色设置为透明或者单色背景底色，以便于后续过程中的叠加合成。实施时，可利用色键功能来实现，通过色键功能将暗场背景拼接墙的背景颜色设置为透明，可利用现有的线性编辑器来实现，现有的线性编辑器具有色键功能，因而也不会增加过多设备成本。然后，根据上述确定的缩放比例系数对原始拼接墙输入的图像信号进行缩放，缩放时，将原始拼接墙输入的图像信号乘以缩放比例系数，从而得到与摄像机所拍摄的实时图像中的背景拼接墙的显示范围同等大小的图像，并按照所存储的所拍摄图像中的背景拼接墙的位置坐标范围，确定图像播放输出时背景拼接墙的画面位置，即将缩放后所得的图像的位置设置为与背景拼接墙在实时图像中的位置相同，将缩放后所得的图像作为底层、经过图像分离处理后的清晰前景画面作为顶层进行叠加合成后进行输出，由于顶层图像中除了清晰的前景图像(例如主持人)外暗场背景拼接墙的底色已经变为透明，从而可以根据像素叠加的方式得到输出图像，且可以保证不同摄像头观察点的背景墙显示画面均是正面面对电视机观众，也可以保证各显示单元画面的一致性。

在一个具体的实际使用过程中，具体的使用过程可以是：

在前期调试阶段，对拼接显示墙的屏幕边缘的四个边角进行特殊处理，这里的拼接显示墙可以是DLP、LCD、LED等任何一种类型的拼接显示墙，便于摄像机识别拼接显示墙的屏幕边缘，在各摄像机的位置已经设定并开始进行调试时，各摄像机分别进行拍摄，依据各摄像机所拍摄到的图像可观察到背景显示墙的四个边缘坐标点，并进而确定针对各摄像机的背景拼接墙相对于该摄像机的拍摄整体画面的缩放比例系数、以及背景拼接墙相对于该摄像机的拍摄整体画面的位置坐标范围，得到该缩放比例系数、位置坐标范围之后可予以储存，方便后续过程中使用；

在进入正常工作的录制播放状态后，主持人会进入画面中进行主持工作，利用同步信号的明场和暗场识别前景与背景图像，适当延长暗场时间，选择在同步信号的暗场时进行拍摄，从而可以得到包含暗场背景显示墙以及清晰的前景画面的实时图像，为了避免对背景显示墙的分离造成干扰，可要求前景内容(例如主持人服装等)避免与拼接显示屏暗场时的色调相同；

然后将所拍摄图像中的暗场背景显示墙的各像素点的颜色设置为透明，由于是在同步信号的暗场时进行的拍摄，背景显示墙画面的颜色均较暗，而在具体的主持工作中主持人可能会遮挡住一部分的拼接墙，因此，在设置透明时，可以是将所拍摄的实时图像中背景拼接墙范围内、像素值达到某个特定阈值的各像素点的颜色设置为透明，该特定阈值根据实际需要进行设定，从而可以避免将前景的主持人对应的像素也设置为透明；

随后，按照上述确定的缩放比例系数对原始拼接墙输入的图像信号进行缩放，使缩放后所得的图像与所拍摄的实时图像中背景拼接墙的显示范围同等大小，然后将缩放后所得的图像置于背景拼接墙在所拍摄的实时图像中的画面位置，将缩放后所得的图像作为底层、经过图像分离处理后的前景图像作为顶层进行叠加合成后进行输出。

具体示例4

图10中示出了该具体示例中的基于背景拼接墙的图像处理方法的流程示意图，在该示例中，是将原始拼接墙输入的图像信号进行缩放后直接替换拍摄图像中的背景拼接墙进行输出说明。

如图10所示，在该具体示例中，本发明的方法包括步骤：

步骤S1001：识别所拍摄图像中的背景拼接墙，进入步骤S1002；

步骤S1002：确定所拍摄图像中的背景拼接墙与所拍摄图像的整体画面缩放比例系数，进入步骤S1003；

步骤S1003：在同步信号的暗场时进行拍摄，得到包含暗场背景拼接墙与清晰前景画面的实时图像，进入步骤S1004；

步骤S 1004：按照上述缩放比例系数对原始拼接墙输入的图像信号进行缩放，将缩放后所得的图像替换所拍摄得到的实时图像中的暗场背景拼接墙后进行输出。

如上所示，在该具体示例4中，是根据缩放比例系数对原始拼接墙输入的图像信号进行缩放，得到与摄像机所拍摄的实时图像中背景拼接墙的显示范围同等大小的图像后，按照所存储的所拍摄图像中的背景拼接墙的位置坐标范围，将缩放后所得的图像作为底层直接替换所拍摄到的实时图像中的暗场背景拼接墙后进行输出。

而在实际的使用过程中，由于摄像机所设置的角度的不同，在具体的主持工作中，主持人可能会遮挡住一部分的拼接墙，因此，在将缩放后所得的图像替换掉暗场背景拼接墙时，可以是依据缩放后所得的图像与背景显示墙的对应关系、将所拍摄到的实时图像中背景拼接墙范围内、像素值达到某个特定阈值的各像素点进行替换，该特定阈值根据实际需要进行设定，从而可以避免将前景的主持人对应的像素也做了替换。

具体示例4中的其他技术特征与上述具体示例3中的相同，在此不予赘述。

其中，在上述两个具体示例的说明中，仅以其中两种利用缩放后所得的图像对所拍摄图像中的背景拼接墙进行替换的方式进行说明，基于替换的目的，本领域技术人员还可以衍生多种其他的方式进行替换，这些衍生方式应当都囊括在本发明方案的范围之内。

另外，在上述对具体工作过程的说明中，是以在调试时确定缩放比例系数及背景拼接墙的位置坐标范围、然后应用于后续的所拍摄的实时图像的处理过程中为例进行说明，即在进行调试后，各摄像机的位置是固定不变的，并且不考虑摄像机的镜头拉近拉远的变化，这是因为在很多常规的电视节目中，只需要应用到各摄像头所拍摄图像之间的切换，并不涉及单个摄像头的拉近拉远及角度转换的变化，例如新闻类节目。而在实际的广电行业中，出于具体应用的需要，某些节目仍然可能需要拉近拉远的应用，例如直播节目，在这种情况下，可以为系统增加智能自学习模式，摄像机镜头每次调焦后，以及每次检测到摄像机拍摄角度发生变化，系统都将自动启动调试模式，重新计算摄像机所拍摄图片的背景拼接墙相对于该摄像机所拍摄图片的拍摄整体画面的缩放比例系数及背景拼接墙的位置坐标范围。进入正常工作的录制播放状态后，对实时图像进行分离、融合叠加后输出图像。在确定缩放比例系数时，考虑到可能会被主持人挡住一部分的拼接墙，可以根据所确定的拼接墙边界、拼接墙为矩形的特性来综合考虑，具体的处理过程在此不予赘述。

此外，本发明的上述具体示例3、4的说明中，均是以在具体工作时摄像机在同步信号的暗场时拍摄进行说明，这是考虑到暗场拍摄时所得到图像中的背景拼接墙的颜色会明显有别于前景图像的颜色，从而便于对背景拼接墙的识别，方便提取与清晰的前景画面，且便于对背景拼接墙部分的替换，只要能够实现对拍摄图像中背景拼接墙部分的替换、且不至于引起对前景画面的误替换，也可以是在同步信号的明场时刻进行拍摄，只要能够实现缩放后所得的图像对背景拼接墙的替换输出即可。

根据上述本发明的基于背景拼接墙的图像处理方法，本发明还提供一种基于背景拼接墙的图像处理装置，图11中示出了本发明的基于背景拼接墙的图像处理装置实施例的结构示意图，其包括有：

拼接墙识别单元1101，用于识别所拍摄图像中的背景拼接墙，该拼接墙识别单元1101与摄像机相连接；

消缝单元1102，用于对所拍摄图像中的背景拼接墙进行处理，消除所拍摄图像中背景拼接墙的拼缝。

其中，拼接墙识别单元1101在识别所拍摄图像中的背景拼接墙时，可以有各种不同的实现方式，例如，可以是通过在拼接墙的四个边缘各增加一个特殊颜色或者打钉材料的标志，或者在屏幕的四个边角设定1至2个特殊的像素值，或者在拼接显示墙的屏幕边缘添加至少三个突出标记，从而在摄像机进行拍摄时可以通过识别这些特殊标记来自动识别出背景拼接墙的显示边缘，进而识别出所拍摄图像中的背景拼接墙，具体的实现方式在此不予赘述。

消缝单元1102在对所拍摄图像中的背景拼接墙进行处理、消除所拍摄图像中背景拼接墙的拼缝时，依据实际需要，可以有多种不同的处理方式，在其中一种方式中，可以是通过识别所拍摄图像中背景拼接墙的拼缝后、对所拍摄图像中的各显示单元进行缩放覆盖背景拼接墙的拼缝部分后进行输出，在另外一种实现方式中，可以是利用原始拼接墙输入信号，对原始拼接墙输入的图像信号进行缩放后替换或者覆盖所拍摄图像中的背景拼接墙部分后进行叠加输出，以下就针对这些实现方式的具体示例分别进行说明。

具体示例5

图12中示出了该具体示例5中的基于背景拼接墙的图像处理装置的结构示意图，在该示例中，是以识别所拍摄图像中背景拼接墙的拼缝后、对所拍摄图像中的各显示单元进行缩放覆盖背景拼接墙的拼缝部分后进行输出为例来说明。

如图12所示，在该具体示例中，消缝单元1102包括有：

拼缝位置确定单元1201，用于计算所拍摄图像中背景拼接墙的各拼缝的位置坐标；

缩放系数确定单元1202，计算确定出所拍摄图像中背景拼接墙的各显示单元的缩放范围及缩放系数，所述缩放范围是将显示单元缩放至相邻拼缝的的设定位置处的范围；

缩放单元1203，用于根据各显示单元的缩放范围及缩放系数对摄像机所拍摄的实时图像中背景拼接墙的各显示单元对应的图像进行缩放。

在该具体示例5中，背景拼接墙的识别方式、拼缝位置的确定方式、缩放系数的确定方式、缩放消缝方式、以及相邻拼缝的设定位置的确定方式可与上述本发明方法的具体示例1中的相同，在此不予赘述。

在进行具体应用时，可以是针对每个摄像机都接入安装一个上述本发明的基于背景拼接墙的图像处理装置，如图13所示。为了节约硬件成本，可以是使各摄像机接入同一个基于背景拼接墙的图像处理装置，此时，可设置有信号选择单元1400，该信号选择单元1400连接在摄像机与拼接墙识别单元1101、缩放单元1203之间，通过信号选择单元1400来选择确定对哪个摄像机所拍摄的图像进行处理，如图14所示。信号选择单元1400对摄像机的信号的选择，可以与镜头导播时的镜头切换的信号相同步，在此不予赘述。

具体示例6

图15中示出了该具体示例6中的基于背景拼接墙的图像处理装置的结构示意图，在该示例中，考虑到对拼接显示墙的颜色一致性的问题，实现了对缩放后的图像的颜色补偿处理。

如图15所示，该具体示例6相对于上述具体示例5而言，消缝单元1202还包括有：像素识别单元1501、补偿系数确定单元1502、像素补偿单元1503。

在该具体示例中，上述缩放单元1203，还用于根据各显示单元的缩放系数对补偿系数测试图像中背景拼接墙的各显示单元对应的图像进行缩放，这里的补偿系数测试图像是拍摄拼接显示墙输出全色测试图时的图像所得到的图像，这里全色测试图为各像素点的像素值相同的测试图；

其中，像素识别单元1501，用于识别缩放后的补偿系数测试图像中背景拼接墙的各像素点的像素值；

补偿系数确定单元1502，用于根据各像素点的像素值以及像素设定目标值计算背景拼接墙中各像素点的补偿系数；

像素补偿单元1503，用于根据各像素点的补偿系数对缩放单元缩放后的实时图像中背景拼接墙的各像素点进行像素补偿。

在该具体示例6中，背景拼接墙的识别方式、像素值的识别方式、补偿系数的确定方式、像素补偿方式可与上述本发明方法的具体示例2中的相同，在此不予赘述。

在进行具体应用时，可以是针对每个摄像机都接入安装一个上述本发明的基于背景拼接墙的图像处理装置，如图16所示。为了节约硬件成本，可以是使各摄像机接入同一个基于背景拼接墙的图像处理装置，此时，可设置有信号选择单元1700，该信号选择单元1700连接在摄像机与拼接墙识别单元1101、缩放单元1203之间，通过信号选择单元1700来选择确定对哪个摄像机所拍摄的图像进行处理，如图17所示。信号选择单元1700对摄像机的信号的选择，可以与镜头导播时的镜头切换的信号相同步，在此不予赘述。

结合上述具体示例2中的像素补偿的方式，在一个具体的实际使用过程中，以测试时输出全白测试图为例，上述具体示例6中的基于背景拼接墙的图像处理装置的具体使用过程可以是：

在前期调试阶段，对拼接显示墙的拼缝涂上特殊的材料颜色来便于识别拼缝，这里的拼接显示墙可以是DLP、LCD、LED等任何一种类型的拼接显示墙，在各摄像机的位置已经设定并开始进行调试时，往拼接显示墙输出显示全白画面，各摄像机分别进行拍摄，摄像机所拍摄到的全白测试画面传送至拼接墙识别单元1101，拼接墙识别单元1101可识别和区分全白测试画面中背景显示墙中的各显示单元以及拼缝，拼缝位置确定单元1201计算确定出各拼缝的位置坐标，缩放系数确定单元1202计算确定各显示单元的缩放范围以及缩放比例，缩放系数确定单元1202得到各显示单元的缩放范围以及缩放比例后可予以储存，以便于后续正常工作过程中进行使用；

随后，缩放单元1203根据缩放系数确定单元1202得到的各显示单元的缩放范围以及缩放比例对拍摄到的全白测试画面进行缩放，以消除背景拼接墙的全白测试画面中的拼缝；

随后，像素识别单元1501识别缩放后的全白测试画面中的各像素点的像素值，补偿系数确定单元1502依据像素设定目标值确定各像素点的补偿系数，并将得到的各像素点的补偿系数予以储存，方便后续正常工作过程中使用，像素补偿单元1503可以根据各像素点的补偿系数对缩放后的全白测试画面进行像素补偿后输出给用户来观看测试效果；

在进入正常工作的录制播放状态后，摄像机拍摄到了包含背景拼接墙的实时图像后，缩放单元1203根据缩放系数确定单元1202得到的各显示单元的缩放范围以及缩放比例对实时图像的背景拼接墙的各显示单元进行缩放，实现消缝处理，随后，像素补偿单元1503根据各像素点的补偿系数对缩放后的实时图像进行像素值的补偿后进行输出，实现颜色、亮度的一致性处理。

具体示例7

图18中示出了该具体示例7中的基于背景拼接墙的图像处理装置的结构示意图，在该示例中，是以分离所拍摄图像中的背景显示墙部分、对原始拼接墙输入的图像信号进行缩放后、与分离后图像进行叠加输出进行说明。

如图18所示，在该具体示例中，消缝单元1102包括有：

与拼接墙识别单元11连接的比例系数确定单元1801，用于确定所拍摄图像中的背景拼接墙与所拍摄图像的整体画面缩放比例系数；

与摄像机连接的背景图像分离单元1802，用于从摄像机在同步信号的暗场时拍摄得到的实时图像中分离出清晰的前景画面；

与比例系数确定单元1801、背景图像分离单元1802连接的融合叠加单元1803，用于将原始拼接墙输入的图像信号按照上述缩放比例系数进行缩放，将缩放后所得的图像对应于所拍摄的实时图像中的背景拼接墙所在位置作为底层图像、分离后的清晰的前景画面作为顶层图像进行叠加后进行输出。

在该具体示例7中，背景拼接墙的识别方式、整体画面缩放比例系数的确定方式、暗场拍摄方式、背景图像的分离方式以及融合叠加的方式可与上述本发明方法的具体示例3中的相同，在此不予赘述。

在进行具体应用时，可以是针对每个摄像机都接入安装一个上述本发明的基于背景拼接墙的图像处理装置。为了节约硬件成本，可以是使各摄像机接入同一个基于背景拼接墙的图像处理装置，此时，可设置有信号选择单元1900，该信号选择单元1900连接在摄像机与拼接墙识别单元1101、背景图像分离单元1802之间，通过信号选择单元1900来选择确定对哪个摄像机所拍摄的图像进行处理，如图19所示。信号选择单元1900对摄像机的信号的选择，可以与镜头导播时的镜头切换的信号相同步，在此不予赘述。

具体示例8

图20中示出了该具体示例8中的基于背景拼接墙的图像处理装置的结构示意图，在该示例中，是用原始拼接墙输入的图像信号进行缩放后的信号直接替换拍摄图像中的背景拼接墙后输出播放图像进行说明。

如图20所示，在该具体示例中，消缝单元1102包括有：

与拼接墙识别单元1101连接的比例系数确定单元2001，用于确定所拍摄图像中的背景拼接墙与所拍摄图像的整体画面缩放比例系数；

与摄像机、比例系数确定单元2001连接的替换融合单元2002，用于按照上述缩放比例系数对原始拼接墙输入的图像信号进行缩放，将缩放后所得的图像替换摄像机在同步信号的暗场时拍摄得到的实时图像中的暗场背景拼接墙后进行输出。

在该具体示例8中，背景拼接墙的识别方式、比例系数的确定方式、替换融合方式可与上述本发明方法的具体示例4中的相同，在此不予赘述。

在进行具体应用时，可以是针对每个摄像机都接入安装一个上述本发明的基于背景拼接墙的图像处理装置。为了节约硬件成本，可以是使各摄像机接入同一个基于背景拼接墙的图像处理装置，此时，可设置有信号选择单元2100，该信号选择单元2100连接在摄像机与拼接墙识别单元1101、替换融合单元2002之间，通过信号选择单元2100来选择确定对哪个摄像机所拍摄的图像进行处理，如图21所示。信号选择单元2100对摄像机的信号的选择，可以与镜头导播时的镜头切换的信号相同步，在此不予赘述。

依据上述本发明的基于背景拼接墙的图像处理装置，本发明还提供一种基于背景拼接墙的图像处理系统，具体可以是基于拼接墙的图像拍摄输出系统，该图像处理系统包括一个以上的摄像机、以及如上所述的本发明的基于背景拼接墙的图像处理装置，其中，该基于背景拼接墙的图像处理装置与各摄像机连接，各摄像机所拍摄图像进入本发明装置进行缩放的消缝处理、或者是缩放的消缝处理及像素补偿后进行图像输出，以使得用户所观看的图像没有拼接墙的拼缝，该图像拍摄输出系统的具体架构可如上述图13、图14、图16、图17、图19、图21中所示，在此不予赘述。

以包含上述具体示例7中的基于背景拼接墙的图像处理装置为例，本发明的基于拼接墙的图像拍摄输出系统的具体工作过程可以是：

在前期调试阶段，各摄像机分别将拍摄后的图像发送至消除拼接墙拼缝的装置，该装置识别各摄像机所拍摄到图像中的背景拼接墙，并进而确定针对各摄像机的背景拼接墙相对于该摄像机的拍摄整体画面的缩放比例系数、以及背景拼接墙相对于该摄像机的拍摄整体画面的坐标参数，得到该缩放比例系数、坐标参数之后可予以储存，方便后续过程中使用；

在进入正常工作的录制播放状态后，主持人会进入画面中进行主持工作，摄像机在同步信号的暗场时进行拍摄，从而可以得到包含暗场的背景显示墙画面以及清晰的前景画面的实时图像，为了避免对背景图像的分离造成干扰，可要求前景内容(例如主持人服装等)避免与拼接显示屏暗场时的色调相同；

摄像机在同步信号的暗场时所拍摄的实时图像发送至基于背景拼接墙的图像处理装置，该装置通过背景图像分离、图像叠加融合等处理过程后输出无拼接墙拼缝的图像，具体的处理过程与上述相同，在此不予赘述。

以上所述的本发明实施方式，仅仅是对本发明的较佳实施例的详细说明，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于背景拼接墙的图像处理方法，其特征在于，包括步骤：

识别所拍摄图像中的背景拼接墙；

对所拍摄图像进行处理，消除所拍摄图像中背景拼接墙中的拼缝；

对所拍摄图像中的拼接墙进行处理、以消除所拍摄图像中背景拼接墙中的拼缝的过程具体包括：

计算所拍摄图像中背景拼接墙中的各拼缝的位置坐标；

根据各拼缝的位置坐标，计算确定出所拍摄图像中背景拼接墙中的各显示单元的缩放范围及缩放系数，所述缩放范围是将显示单元缩放至相邻拼缝的设定位置处的范围；

根据各显示单元的缩放范围及缩放系数对摄像机所拍摄的实时图像中背景拼接墙中的各显示单元对应的图像进行缩放。

2.根据权利要求1所述的基于背景拼接墙的图像处理方法，其特征在于，所述相邻拼缝的设定位置为相邻拼缝的中界。

3.根据权利要求1或2所述的基于背景拼接墙的图像处理方法，其特征在于，还包括步骤：

拍摄拼接显示墙输出全色测试图时的图像得到补偿系数测试图像，所述全色测试图为各像素点的像素值相同的测试图；

根据各显示单元的缩放系数对补偿系数测试图像中背景拼接墙中的各显示单元对应的图像进行缩放后，识别缩放后的补偿系数测试图像中背景拼接墙中的各像素点的像素值，根据各像素点的像素值以及像素设定目标值计算背景拼接墙中各像素点的补偿系数；

根据各像素点的补偿系数对缩放后的实时图像中背景拼接墙中的各像素点进行像素补偿。

4.一种基于背景拼接墙的图像处理装置，其特征在于，包括：

与摄像机连接的拼接墙识别单元，用于识别所拍摄图像中的背景拼接墙；

消缝单元，用于对所拍摄图像进行处理，消除所拍摄图像中背景拼接墙中的拼缝；

所述消缝单元具体包括：

拼缝位置确定单元，用于计算所拍摄图像中背景拼接墙中的各拼缝的位置坐标；

缩放系数确定单元，计算确定出所拍摄图像中背景拼接墙中的各显示单元的缩放范围及缩放系数，所述缩放范围是将显示单元缩放至相邻拼缝的设定位置处的范围；

缩放单元，用于根据各显示单元的缩放范围及缩放系数对摄像机所拍摄的实时图像中背景拼接墙中的各显示单元对应的图像进行缩放。

5.根据权利要求4所述的基于背景拼接墙的图像处理装置，其特征在于，所述相邻拼缝的设定位置为相邻拼缝的中界。

6.根据权利要求4所述的基于背景拼接墙的图像处理装置，其特征在于，还包括：像素识别单元、补偿系数确定单元、像素补偿单元；

所述缩放单元，还用于根据各显示单元的缩放系数对补偿系数测试图像中背景拼接墙中的各显示单元对应的图像进行缩放，所述补偿系数测试图像是拍摄拼接显示墙输出全色测试图时的图像所得到的图像，所述全色测试图为各像素点的像素值相同的测试图；

所述像素识别单元，用于识别缩放后的补偿系数测试图像中背景拼接墙中的各像素点的像素值；

所述补偿系数确定单元，用于根据各像素点的像素值以及像素设定目标值计算背景拼接墙中各像素点的补偿系数；

所述像素补偿单元，用于根据各像素点的补偿系数对缩放单元缩放后的实时图像中背景拼接墙中的各像素点进行像素补偿。

7.根据权利要求4至6任意一项所述的基于背景拼接墙的图像处理装置，其特征在于，还包括信号选择单元，拼缝位置确定单元、缩放单元通过该信号选择单元与摄像机相连接。

8.一种基于背景拼接墙的图像处理系统，包括一个以上的摄像头，其特征在于，还包括至少一个如权利要求4至7任意一项所述的基于背景拼接墙的图像处理装置，该基于背景拼接墙的图像处理装置与至少一个摄像头连接。