CN101562706B - 一种图像拼接方法和设备 - Google Patents

Abstract

本发明公开了一种图像拼接方法和设备。该方法包括：接收端获取关于接收到的多条码流的拼接配置；所述接收端根据所述关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。本发明中，在发送端通过多台存在特定位置关系的图像采集装置采集多路码流，在接收端进行多条码流的拼接配置，使得接收端能够对接收到的多条码流中的图像进行拼接，实现在视频会议中根据需要增加竖直方向或水平方向的视角。

Description

一种图像拼接方法和设备

技术领域

本发明涉及通讯技术领域，尤其涉及一种图像拼接方法和设备。

背景技术

现有技术中，视频会议系统通过网络通讯技术实现虚拟会议，实时传输各个会场的图像和声音，使得地理上分散的各个会场从逻辑上位于一个会议中。通过图像、声音等多种方式交流信息，实现位于各个会场的与会者间的交流。视频会议在最大程度上缩短了空间距离，实现了各个会场的与会者间实时且直观的交流。

目前的视频会议系统中，对于各个会场，通常采用一个摄像头采集会场图像(通常情况下，发言者所在会场的摄像头采集发言人图像，其他会场的摄像头采集会场全景图像)，经过编码后发送给会议中的其他会场，其他会场中的视频设备经过解码后进行显示，从而得到远端会场的更多信息。但是一个摄像头的采集范围非常有限，不能采集到大范围宽视角的会场信息。目前有很多设备支持双流功能，采用两个摄像头采集不同的图像(发言人图像和会场全景图像)，通过两路码流发送给会议中的其他会场。该方法虽然可以同时传送两路图像，但两路图像之间没有相关性，因此不能起到拓宽视角的作用。

另外，现有的视频会议系统中逐步采用了高清格式标准，即1080P或720P的图像分辨率，通过使用16∶9的广角摄像头在会议中传输横宽比为16∶9的图像，视角较标清系统(采用横宽比为4∶3的图像)有所增加，使视频会议系统中能够显示的会场信息有所增加。16∶9的图像与4∶3的图像相比，在水平方向上视角增加了1/3，但用户仍不能根据所需观看的会场信息的需要，自由选择增加竖直方向或水平方向的视角。

发明内容

本发明提供一种图像拼接方法和设备，用于在视频会议中根据需要增加竖直方向或水平方向的视角。

为达到上述目的，本发明提供了一种图像拼接方法，包括：

在接收多条码流之前，接收端与码流的发送端协商获取多条码流的拼接配置，或者接收端和发送端分别与多点控制单元MCU协商获取关于接收到的多条码流的拼接配置；该拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

所述接收端根据所述关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。

所述根据关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接包括：

根据所述接收到的多条码流中携带的同步标识，获取所述多条码流中每一帧的时间先后关系；

根据所述码流序列，获取每一码流的标识与M×N个图像采集装置中的图像采集装置的对应关系；根据所述横向参数以及纵向参数，获取每一图像采集装置在所述M×N个图像采集装置中的位置；

根据所述每一码流的标识所对应的图像采集装置、以及每一图像采集装置在所述M×N个图像采集装置中的位置，将所述多条码流中具有相同时间的帧解码得到的图像进行拼接。

其中，所述根据所述每一码流所对应的图像采集装置、以及每一图像采集装置在所述M×N个图像采集装置中的位置，将所述多条码流中具有相同时间的帧解码得到的图像进行拼接前，还包括：

根据所述每一码流所对应的图像采集装置、每一图像采集装置在所述M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述多条码流中解码得到的图像中存在的重叠区域进行裁剪。

其中，发送端与所述接收端间通过MCU通信时，所述发送端与所述MCU协商得到所述MCU接收到的多条码流的第一拼接配置，MCU与接收端的协商得到所述接收端接收到的多条码流的第二拼接配置；其中，所述第一拼接配置中的码流序列，用于标识MCU从发送端接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；所述第二拼接配置中的码流序列，用于标识接收端从MCU接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

所述接收端根据所述关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接之前，还包括：

所述发送端将本地采集装置采集到的多条码流中分别添加同步标识后向所述MCU发送；

所述MCU根据所述第一拼接配置以及所述第二拼接配置，将从所述发送端接收到的多条码流的标识进行更新后向所述接收端发送；

所述对接收到的多条码流中的图像进行拼接，具体包括：

所述接收端根据所述第二拼接配置，对接收到的多条码流中的图像进行拼接；

其中，所述发送端将本地采集装置采集到的多条码流中分别添加同步标识后向所述接收端发送前，还包括：

所述发送端根据本地采集装置采集到的每一码流所对应的图像采集装置、每一图像采集装置在本地M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述各图像采集装置的图像中存在的重叠区域进行裁剪后进行编码。

本发明还提供一种图像拼接设备，包括：

配置获取单元，用于在接收多条码流之前，接收端与码流的发送端协商获取多条码流的拼接配置，或者接收端和发送端分别与多点控制单元MCU协商获取关于接收到的多条码流的拼接配置；该拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由中M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

拼接单元，用于根据所述配置获取单元获取的关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。

所述拼接单元包括：

时间获取子单元，用于根据所述接收到的多条码流中携带的同步标识，获取所述多条码流中每一帧的时间先后关系；

对应关系获取子单元，用于根据所述码流序列，获取每一码流的标识与M×N个图像采集装置中的图像采集装置的对应关系；根据所述横向参数以及纵向参数，获取每一图像采集装置在所述M×N个图像采集装置中的位置；

图像拼接子单元，用于根据所述对应关系获取子单元获取的每一码流的标识所对应的图像采集装置、每一图像采集装置在所述M×N个图像采集装置中的位置，以及所述时间获取子单元获取的所述多条码流中每一帧的时间先后关系，将所述多条码流中具有相同时间的帧解码得到的图像进行拼接。

其中，所述拼接单元还包括：

裁剪子单元，用于在所述图像拼接子单元将所述多条码流中具有相同时间的帧解码得到的图像进行拼接显示前，根据所述每一码流所对应的图像采集装置、每一图像采集装置在所述M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述多条码流中解码得到的图像中存在的重叠区域进行裁剪。

本发明还提供一种图像发送设备，包括：

图像采集单元，包括多个采集装置，用于采集多路图像并编码得到多条码流；

配置协商单元，用于与接收端协商所述接收端接收到的多条码流的拼接配置，所述拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

同步标识添加单元，用于在所述图像采集单元得到的多路码流中添加同步标识，所述同步标识用于表示所述多条码流中每一帧的时间先后关系；

发送单元，用于将所述添加同步标识后的多条码流向所述接收端发送。

其中，还包括：

裁剪单元，用于根据图像采集单元采集到的每一码流所对应的图像采集装置、每一图像采集装置在本地M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述各图像采集装置的图像中存在的重叠区域进行裁剪后进行编码。

本发明还提供一种多点控制单元MCU，包括：

拼接配置获取单元，用于与发送端协商得到所述MCU接收到的多条码流的第一拼接配置，与接收端的协商得到所述接收端接收到的多条码流的第二拼接配置；所述第一拼接配置和所述第二拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；其中，所述第一拼接配置中的码流序列，用于标识MCU从发送端接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；所述第二拼接配置中的码流序列，用于标识接收端从MCU接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

码流接收单元，用于接收所述发送端将本地采集装置采集到的多条码流中分别添加同步标识后向MCU发送的码流；

标识更新单元，用于根据所述第一拼接配置以及所述第二拼接配置，将从所述发送端接收到的多条码流的标识进行更新；

码流发送单元，用于所述携带更新后的标识的多条码流向所述接收端发送。

与现有技术相比，本发明具有以下优点：

在发送端通过多台存在特定位置关系的图像采集装置采集多路码流，在接收端进行多条码流的拼接配置，使得接收端能够对接收到的多条码流中的图像进行拼接，实现在视频会议中根据需要增加竖直方向或水平方向的视角。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中提供的图像拼接方法的流程图；

图2是本发明应用场景中视频会议终端侧的两个摄像头的安装位置示意图；

图3是本发明应用场景中两个摄像头采集的图像范围示意图；

图4A和图4B是本发明应用场景中对两个摄像头采集的图像在水平方向区域中的重叠部分进行裁剪的示意图；

图5A和图5B是本发明应用场景中对两个摄像头采集的图像通过显示设备输出的示意图；

图6是本发明应用场景中点对点呼叫的流程示意图；

图7是本发明应用场景中多点会议呼叫的流程示意图；

图8是本发明中提供的图像拼接设备的结构示意图；

图9是本发明中提供的图像发送设备的结构示意图；

图10是本发明中提供的多点控制单元MCU的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种图像拼接方法，如图1所示，包括：

步骤s101、接收端获取关于接收到的多条码流的拼接配置。具体的，发送端与接收端进行协商，接收端获取关于接收到的多条码流的拼接配置。

步骤s102、接收端根据关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。该多条码流是由发送端发送的，发送端将本地采集装置采集到的多条码流中分别添加同步标识后向接收端发送。

本发明的一应用场景中，以对能够提供2路视频流的会议系统的改进为例进行说明。以通过2路视频流对水平方向视角拓宽为例，对视频会议发送端的图像采集装置(如摄像头)进行设置，视频会议发送端的两个摄像头的安装位置示意图如图2所示，将两个摄像头(Cam1和Cam2)的安装位置按照同一水平位置、摄像头面对方向为同一方向，以固定距离分开。两个摄像头在相同的缩放、平移、旋转参数情况下，视角相同。假设Cam1采集的图像为View1，Cam2采集的图像为View2，两个摄像头采集的图像范围如图3所示，即图像View1和图像View2在水平方向的取景区域有一定的重叠部分(图3中间部分方块网格所示的区域)，竖直方向的取景区域高度相同。

在摄像头参数(物理像素、焦距、视场角等)以及摄像头位置已知的情况下，可以根据摄像头参数以及摄像头位置，计算得到图像View1和图像View2在水平方向的取景区域中重叠部分的尺寸。

以上以水平方向上安装的两个摄像头(Cam1和Cam2)为例，说明了对摄像头的安装位置的要求。可以理解的是，对于由M×N个摄像头构成的摄像头阵列，其安装位置与上述对于两个摄像头的安装位置的需求相似。将位于第j行(j＝1，2，3...N)的M个摄像头的安装位置按照同一水平位置、摄像头面对方向为同一方向，以固定距离分开，相邻的摄像头在水平方向的取景区域有一定的重叠部分；将位于第i列(i＝1，2，3...M)的N个摄像头的安装位置按照同一垂直位置、摄像头面对方向为同一方向，以固定距离分开，相邻的摄像头在垂直方向的取景区域有一定的重叠部分。在摄像头参数以及摄像头位置已知的情况下，同样可以根据摄像头参数以及摄像头位置，计算得到相邻的各摄像头所采集图像在水平方向和/或垂直方向的取景区域中重叠部分的尺寸。

对于视频会议发送端，其能够对本地的多个摄像机进行标识，如M×N个摄像机可以标识为Camera[0][0]，Camera[0][1]，......，Camera[i][j]，......，Camera[m-1][n-1]。并通过控制命令对每一摄像机进行同步控制。具体的：

用户可以使用遥控器或者WEB页面等其他用户接口对视频会议发送端的多个摄像机进行控制。视频会议发送端收到来自遥控器的红外信号、或者WEB页面发送的网口控制包后，解析得到平移、转动或者缩放等控制命令；并将控制命令计算解析为每一个摄像机的参数CameraMoveParameter[0][0]，CameraMoveParameter[0][1]，......CameraMoveParameter[i][j]，......，CameraMoveParameter[m-1][n-1]，将解析得到的参数通过串口或者网络分别下发给每一个对应的摄像机，使得各摄像机根据下发的参数进行调节。通过该流程，使得视频会议发送端可以对多个摄像机设备采集到的采集图像区域进行控制。

用户还可以通过视频会议发送端外的其他网络设备，使用H.281协议(H.281协议运用H.224协议发送消息，对远端摄像机的摇动、倾斜、推拉等进行远程控制)实现对视频会议发送端的多个摄像机的远程控制。视频会议发送端收到来自其他网络设备的基于H.281协议的摄像机控制消息，解析得到平移、转动或者缩放等控制命令；并将控制命令计算解析为每一个摄像机的参数CameraMoveParameter[0][0]，CameraMoveParameter[0][1]，......CameraMoveParameter[i][j]，......，CameraMoveParameter[m-1][n-1]，将解析得到的参数通过串口或者网络分别下发给每一个对应的摄像机，使得各摄像机根据下发的参数进行调节。通过该流程，使得视频会议发送端可以对多个摄像机设备采集到的采集图像区域进行控制。

对于视频会议发送端的多个摄像头采集的图像，需要对其进行预处理。仍以两个摄像头为例，即对两个摄像头采集的图像在水平方向区域中的重叠部分进行裁剪。发送端可以将两个摄像头采集的图像进行预处理后进行编码，并向接收端发送；发送端也可以直接将两个摄像头采集的图像进行编码，并向接收端发送，由接收端对解码得到的图像进行预处理。具体的图像预处理方式可以使用以下两种可选方式：

(1)对两个摄像头Cam1和Cam2采集的图像在水平方向区域中的重叠部分进行平均图像裁剪，其示意图如图4A所示。裁剪后图像View1和图像View2中各分别显示一部分重叠区域。对于由M×N个摄像头构成的摄像头阵列，将相邻摄像头采集的图像在水平方向区域和垂直方向区域的重叠部分分别进行平均裁剪，使得裁剪后的各图像中分别显示一部分重叠区域，且各图像能够组合得到M×N个摄像头采集到的最大范围图像。

(2)保证摄像头Cam1采集的图像的完整性，仅对摄像头Cam2中存在的两个摄像头采集的图像在水平方向区域中的重叠部分进行裁剪，其示意图如图4B所示。裁剪后图像View1中显示全部重叠区域，图像View2中不包括重叠区域。对于由M×N个摄像头构成的摄像头阵列，将相邻摄像头采集的图像在水平方向区域和垂直方向区域的重叠部分进行裁剪，使得部分裁剪后的图像中包括重叠区域，部分裁剪后的图像中不包括重叠区域，且各图像能够组合得到M×N个摄像头采集到的最大范围图像。

本发明中，在视频会议终端间进行呼叫处理时，要求在当前使用的H.323协议或SIP协议基础上，增加多路码流同步处理要求的信令，该信令中包括信令标识以及关于接收端接收到的多条码流的拼接配置。

具体的，信令标识用于标识发送的码流为WideViewAngelSystem(宽视角系统)；

具体的，拼接配置中包括：

横向参数：M，默认值为1，用于表示M×N个摄像头构成的系统中位于水平方向的摄像头的数量；

纵向参数：N，默认值为1，用于表示M×N个摄像头构成的系统中位于垂直方向的摄像头的数量)；

排列优先标识：0或1，用于标识横向排列优先或纵向排列优先(例如0表示横向排列优先，1表示纵向排列优先)。在系统中默认配置为横向排列优先或纵向排列优先时，拼接配置中可以不携带该排列优先标识，根据系统的默认配置进行配置即可。根据该排列优先标识可以确定多个摄像头在M×N摄像头阵列中的位置，以M＝2，N＝2为例，则系统中包括4个摄像头CAM1、CAM2、CAM3以及CAM4。当优先标识为0时，即横向优先时，CAM1～CAM4的位置关系如表1所示；当优先标识为1时，即纵向优先时，CAM1～CAM4的位置关系如表2所示。

表1.横向优先时，CAM1～CAM4的位置关系

CAM1	CAM2
		CAM3	CAM4

表2.纵向优先时，CAM1～CAM4的位置关系

CAM1	CAM3
		CAM2	CAM4

码流序列：用于标识不同码流与M×N序号之间的关系，即表示每一码流是从M×N摄像头阵列中的哪一个摄像头采集到的。当各码流通过不同的逻辑通道进行发送时，码流序列标识的即为码流的逻辑通道号与M×N摄像头阵列中摄像机序号之间的关系。例如，码流的逻辑通道号为10～13，则发送端需要在向接收端发送码流时，通知接收端各码流的逻辑通道号与M×N摄像头阵列中摄像机序号之间的关系。例如，一逻辑通道号与摄像机序号的对应关系如表3所示：

表3.逻辑通道号与摄像机序号的对应关系

逻辑通道号	摄像机序号
		10	CAM4
11	CAM1
		12	CAM2
13	CAM3

当各码流通过同一条逻辑通道进行发送时，码流序列标识的即为各码流的标识与M×N摄像头阵列中摄像机序号之间的关系。该对应关系的形式与上述表3所示的逻辑通道号与摄像机序号的对应关系相似，在此不进行重复描述。

结合上述横向参数、纵向参数、排列优先标识(在不携带排列优先标识时则根据系统默认配置)以及码流序列，可以实现码流中图像的拼接。例如，以各码流通过不同的逻辑通道进行发送、且排列优先标识或系统默认配置为横向优先为例，根据上述表1和表3可知：

从逻辑通道10接收到的码流为CAM4采集到的，在拼接时应当位于拼接后图像的右下角区域；

从逻辑通道11接收到的码流为CAM1采集到的，在拼接时应当位于拼接后图像的左上角区域；

从逻辑通道12接收到的码流为CAM2采集到的，在拼接时应当位于拼接后图像的左下角区域；

从逻辑通道13接收到的码流为CAM3采集到的，在拼接时应当位于拼接后图像的右上角区域。

另外，发送端在发送多路码流时，还需要为各路码流中的帧添加同步标识；该同步标识用于对不同码流中的帧的时间顺序进行标识。例如同时向接收端发送四条码流时，需要通过同步标识(如时间戳)标识出不同码流中的帧的时间先后顺序，使得接收端在对不同码流中的帧解码得到图像时，能够将具有相同时间属性的图像在同一时刻的同一帧中进行拼接显示。

当码流接收端为视频会议接收端时，在视频会议接收端接收到多路码流时，需要对各路码流进行解码得到图像并获取同步标识，之后根据进行图像显示输出时，根据每一码流的标识所对应的图像采集装置、每一图像采集装置在M×N个图像采集装置中的位置，以及多条码流中每一帧的时间先后关系，将多条码流中具有相同时间的帧解码得到的图像进行拼接显示。具体可以使用以下可选显示方式：

(1)采用一台显示设备，将经过预处理的两个摄像头采集的图像拼接后，进行补齐缩放，通过一台显示设备输出，为保证图像比例不变形，显示区域的缺失部分采用增填黑边输出，如图5A所示。对于由M×N个摄像头构成的摄像头阵列采集的图像，将经过预处理的M×N个摄像头采集的图像拼接后，进行补齐缩放，通过一台显示设备输出。

(2)采用两台显示设备，将经过预处理的摄像头Cam1采集的图像View1显示在TV1上，将经过预处理的摄像头Cam2采集的图像View2显示在TV2上，为保证图像比例不变形，TV1和TV2中缺失部分采用增填黑边输出，如图5B所示。对于由M×N个摄像头构成的摄像头阵列采集的图像，将经过预处理的M×N个摄像头采集的图像通过多台显示设备分别输出，多台显示设备输出的图像拼接后即可得到拼接图像。

当码流接收端为MCU时，需要对收到的多路码流顺序进行整理，按照MCU与需要接收码流的终端协商的码流标识，将从另一终端接收到的需要发送的码流的标识进行更新后，发送给需要接收码流的终端，具体的描述请参考后文中图7所示的应用场景中的相关描述。也可以直接根据多路码流进行图像拼接，将拼接后的图像直接向需要接收的终端发送。对于该MCU进行图像拼接的方法，与上述视频会议接收端进行图像拼接的方法相似，在此不进行重复描述。

本发明的一应用场景中，以视频终端A和视频终端B之间进行的点对点呼叫为例，如图6所示，包括以下流程：

视频终端A和视频终端B之间建立CS(H.225协议的Call Signaling)连接，之后进行基于H.245的协商，首先视频终端A和视频终端B之间互发Terminal Capability Set消息，Terminal Capability Set消息中携带终端传输和接收多媒体流的相关信息，接收方(视频终端A或视频终端B)在接到发送方(视频终端B或视频终端A)发送的Terminal Capability Set消息后，向发送方回应Terminal Capability Set Ack消息进行确认。之后，视频终端A和视频终端B之间交互携带信令标识WideViewAngelSystem以及关于接收端接收到的多条码流的拼接配置的消息，消息的接收方(视频终端A或视频终端B)根据该消息得知发送方(视频终端B或视频终端A)发送的多路码流支持WideViewAngelSystem(宽视角系统)，需要在接收后进行拼接。之后视频终端A和视频终端B之间交互Open Logical Channel消息，为多媒体流的传输开启逻辑通道。逻辑通道开启后，视频终端A和视频终端B之间交互RTP流，发送方(视频终端A或视频终端B)发送多路码流，接收方(视频终端B或视频终端A)根据拼接配置对多路码流中的图像进行拼接。

本发明的另一应用场景中，以视频终端A和视频终端B之间通过MCU进行的多点会议呼叫为例，如图7所示，包括以下流程：

视频终端A和视频终端B分别与MCU之间建立CS连接，之后进行基于H.245的协商，首先视频终端A和视频终端B分别与MCU互发TerminalCapability Set消息，Terminal Capability Set消息中携带终端传输和接收多媒体流的相关信息，接收方(MCU与视频终端A互为发送方和接收方，MCU与视频终端B互为发送方和接收方)在接到发送方发送的Terminal Capability Set消息后，向发送方回应Terminal Capability Set Ack消息进行确认。之后，视频终端A和视频终端B分别与MCU交互携带信令标识WideViewAngelSystem以及关于接收方接收到的多条码流的拼接配置的消息，接收方根据该消息得知发送方发送的多路码流支持WideViewAngelSystem(宽视角系统)，需要在接收后进行拼接。之后视频终端A和视频终端B分别与MCU交互OpenLogical Channel消息，为多媒体流的传输开启逻辑通道。逻辑通道开启后，视频终端A和视频终端B分别与MCU交互RTP流，发送方(MCU与视频终端A互为发送方和接收方，MCU与视频终端B互为发送方和接收方)发送多路码流，接收方根据拼接配置对多路码流中的图像进行拼接。

在此多点会议呼叫的场景中，当视频终端A与MCU协商得到第一拼接配置，MCU与视频终端B协商得到第二拼接配置时，MCU对于从视频终端A接收到的码流，需要根据第一拼接配置以及第二拼接配置，将从视频终端A接收到的多条码流的标识进行更新后向视频终端B发送；MCU对于从视频终端B接收到的码流，需要根据第一拼接配置以及第二拼接配置，将从视频终端B接收到的多条码流的标识进行更新后向视频终端A发送。

例如，在视频终端A侧与MCU协商的第一拼接配置中为横向优先、视频终端B侧与MCU协商的第二拼接配置中为纵向优先时，MCU对于从视频终端A侧接收到的多路码流，需要根据第一拼接配置和第二拼接配置中图像位置的对应关系，将接收到的各路码流中的标识更改后向视频终端B侧发送，使得视频终端A侧各摄像头采集的图像能够显示在视频终端B侧的正确位置。

本发明提供的上述方法中，在发送端通过多台存在特定位置关系的图像采集装置采集多路码流，在接收端进行多条码流的拼接配置，使得接收端能够对接收到的多条码流中的图像进行拼接，实现在视频会议中根据需要增加竖直方向或水平方向的视角。

本发明还提供一种图像拼接设备，用于实现上述图像拼接方法，如图8所示，包括：

配置获取单元11，用于获取关于接收到的多条码流的拼接配置。配置获取单元11获取的关于接收到的多条码流的拼接配置包括横向参数、纵向参数、排列优先标识以及码流序列：其中：

横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量。纵向参数N，用于表示由中M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量。码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系。

拼接单元12，用于根据配置获取单元11获取的关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。该拼接单元12具体包括：

时间获取子单元121，用于根据接收到的多条码流中携带的同步标识，获取多条码流中每一帧的时间先后关系。

对应关系获取子单元122，用于根据码流序列，获取每一码流的标识与M×N个图像采集装置中的图像采集装置的对应关系。根据横向参数以及纵向参数，获取每一图像采集装置在M×N个图像采集装置中的位置。

图像拼接子单元123，用于根据对应关系获取子单元获取的每一码流的标识所对应的图像采集装置、每一图像采集装置在M×N个图像采集装置中的位置，以及时间获取子单元获取的多条码流中每一帧的时间先后关系，将多条码流中具有相同时间的帧解码得到的图像进行拼接。

裁剪子单元124，用于在图像拼接子单元123将多条码流中具有相同时间的帧解码得到的图像进行拼接显示前，根据每一码流所对应的图像采集装置、每一图像采集装置在M×N个图像采集装置中的位置、以及图像采集装置的参数，将多条码流中解码得到的图像中存在的重叠区域进行裁剪。

本发明还提供一种图像发送设备，其结构如图9所示，包括：

图像采集单元21，包括多个采集装置，用于采集多路图像并编码得到多条码流。

配置协商单元22，用于与接收端协商接收端接收到的多条码流的拼接配置。

同步标识添加单元23，用于在图像采集单元得到的多路码流中添加同步标识，同步标识用于表示多条码流中每一帧的时间先后关系。

发送单元24，用于将同步标识添加单元23添加同步标识后的多条码流向接收端发送，码流发送时遵循配置协商单元22与接收端协商的接收端接收到的多条码流的拼接配置。

裁剪单元25，用于根据图像采集单元采集到的每一码流所对应的图像采集装置、每一图像采集装置在本地M×N个图像采集装置中的位置、以及图像采集装置的参数，将各图像采集装置的图像中存在的重叠区域进行裁剪后进行编码。

本发明还提供一种多点控制单元MCU，其结构如图10所示，包括：

拼接配置获取单元31，用于与发送端协商得到MCU接收到的多条码流的第一拼接配置，与接收端的协商得到接收端接收到的多条码流的第二拼接配置。

码流接收单元32，用于接收发送端将本地采集装置采集到的多条码流中分别添加同步标识后向MCU发送的码流。

标识更新单元33，用于根据拼接配置获取单元31中的第一拼接配置以及第二拼接配置，将从发送端接收到的多条码流的标识进行更新。

码流发送单元34，用于携带标识更新单元33更新后的标识的多条码流向接收端发送。

本发明提供的上述设备中，在发送端通过多台存在特定位置关系的图像采集装置采集多路码流，在接收端进行多条码流的拼接配置，使得接收端能够对接收到的多条码流中的图像进行拼接，实现在视频会议中根据需要增加竖直方向或水平方向的视角。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的单元或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的单元可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

Claims (11)

1.一种图像拼接方法，其特征在于，包括：

在接收多条码流之前，接收端与码流的发送端协商获取多条码流的拼接配置，或者接收端和发送端分别与多点控制单元MCU协商获取关于接收到多条码流的拼接配置；该拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

所述接收端根据所述关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。

2.如权利要求1所述的方法，其特征在于，所述根据关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接包括：

根据所述接收到的多条码流中携带的同步标识，获取所述多条码流中每一帧的时间先后关系；

根据所述码流序列，获取每一码流的标识与M×N个图像采集装置中的图像采集装置的对应关系；根据所述横向参数以及纵向参数，获取每一图像采集装置在所述M×N个图像采集装置中的位置；

根据所述每一码流的标识所对应的图像采集装置、以及每一图像采集装置在所述M×N个图像采集装置中的位置，将所述多条码流中具有相同时间的帧解码得到的图像进行拼接。

3.如权利要求2所述的方法，其特征在于，所述根据所述每一码流所对应的图像采集装置、以及每一图像采集装置在所述M×N个图像采集装置中的位置，将所述多条码流中具有相同时间的帧解码得到的图像进行拼接前，还包括：

根据所述每一码流所对应的图像采集装置、每一图像采集装置在所述M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述多条码流中解码得到的图像中存在的重叠区域进行裁剪。

4.如权利要求1所述的方法，其特征在于，发送端与所述接收端间通过MCU通信时，所述发送端与所述MCU协商得到所述MCU接收到的多条码流的第一拼接配置，MCU与接收端的协商得到所述接收端接收到的多条码流的第二拼接配置；其中，所述第一拼接配置中的码流序列，用于标识MCU从发送端接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；所述第二拼接配置中的码流序列，用于标识接收端从MCU接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

所述接收端根据所述关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接之前，还包括：

所述发送端将本地采集装置采集到的多条码流中分别添加同步标识后向所述MCU发送；

所述MCU根据所述第一拼接配置以及所述第二拼接配置，将从所述发送端接收到的多条码流的标识进行更新后向所述接收端发送；

所述对接收到的多条码流中的图像进行拼接，具体包括：

所述接收端根据所述第二拼接配置，对接收到的多条码流中的图像进行拼接。

5.如权利要求4所述的方法，其特征在于，所述发送端将本地采集装置采集到的多条码流中分别添加同步标识后向所述接收端发送前，还包括：

所述发送端根据本地采集装置采集到的每一码流所对应的图像采集装置、每一图像采集装置在本地M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述各图像采集装置的图像中存在的重叠区域进行裁剪后进行编码。

6.一种图像拼接设备，其特征在于，包括：

配置获取单元，用于在接收多条码流之前，接收端与码流的发送端协商获取多条码流的拼接配置，或者接收端和发送端分别与多点控制单元MCU协商获取关于接收到的多条码流的拼接配置；该拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由中M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

拼接单元，用于根据所述配置获取单元获取的关于接收到的多条码流的拼接配置，对接收到的多条码流中的图像进行拼接。

7.如权利要求6所述的拼接设备，其特征在于，所述拼接单元包括：

时间获取子单元，用于根据所述接收到的多条码流中携带的同步标识，获取所述多条码流中每一帧的时间先后关系；

对应关系获取子单元，用于根据所述码流序列，获取每一码流的标识与M×N个图像采集装置中的图像采集装置的对应关系；根据所述横向参数以及纵向参数，获取每一图像采集装置在所述M×N个图像采集装置中的位置；

图像拼接子单元，用于根据所述对应关系获取子单元获取的每一码流的标识所对应的图像采集装置、每一图像采集装置在所述M×N个图像采集装置中的位置，以及所述时间获取子单元获取的所述多条码流中每一帧的时间先后关系，将所述多条码流中具有相同时间的帧解码得到的图像进行拼接。

8.如权利要求7所述的拼接设备，其特征在于，所述拼接单元还包括：

裁剪子单元，用于在所述图像拼接子单元将所述多条码流中具有相同时间的帧解码得到的图像进行拼接显示前，根据所述每一码流所对应的图像采集装置、每一图像采集装置在所述M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述多条码流中解码得到的图像中存在的重叠区域进行裁剪。

9.一种图像发送设备，其特征在于，包括：

图像采集单元，包括多个采集装置，用于采集多路图像并编码得到多条码流；

配置协商单元，用于与接收端协商所述接收端接收到的多条码流的拼接配置，所述拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

同步标识添加单元，用于在所述图像采集单元得到的多路码流中添加同步标识，所述同步标识用于表示所述多条码流中每一帧的时间先后关系；

发送单元，用于将所述添加同步标识后的多条码流向所述接收端发送。

10.如权利要求9所述的图像发送设备，其特征在于，还包括：

裁剪单元，用于根据图像采集单元采集到的每一码流所对应的图像采集装置、每一图像采集装置在本地M×N个图像采集装置中的位置、以及图像采集装置的参数，将所述各图像采集装置的图像中存在的重叠区域进行裁剪后进行编码。

11.一种多点控制单元MCU，其特征在于，包括：

拼接配置获取单元，用于与发送端协商得到所述MCU接收到的多条码流的第一拼接配置，与接收端的协商得到所述接收端接收到的多条码流的第二拼接配置；所述第一拼接配置和所述第二拼接配置包括：横向参数M，用于表示由M×N个图像采集装置构成的系统中位于水平方向的图像采集装置的数量；纵向参数N，用于表示由M×N个图像采集装置构成的系统中位于垂直方向的图像采集装置的数量；码流序列，用于标识每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；其中，所述第一拼接配置中的码流序列，用于标识MCU从发送端接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；所述第二拼接配置中的码流序列，用于标识接收端从MCU接收到的每一码流与M×N个图像采集装置中的一图像采集装置的对应关系；

码流接收单元，用于接收所述发送端将本地采集装置采集到的多条码流中分别添加同步标识后向MCU发送的码流；

标识更新单元，用于根据所述第一拼接配置以及所述第二拼接配置，将从所述发送端接收到的多条码流的标识进行更新；

码流发送单元，用于所述携带更新后的标识的多条码流向所述接收端发送。

Images