CN108134918A - 视频处理方法、装置及多点视频处理单元、会议设备 - Google Patents

Abstract

本发明公开了一种视频处理方法、装置及多点视频处理单元、会议设备，其中，方法包括：接收参会的多个会议终端发送的视频数据；将多个会议终端发送的视频数据合成一路视频数据；按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据；将多路视频数据一一发送至对应的会议终端。通过按照各会议终端所支持的分辨率对视频数据进行编码且编码后的视频数据与终端一一对应，使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步。

Description

视频处理方法、装置及多点视频处理单元、会议设备

技术领域

本发明涉及视频会议技术领域，具体涉及一种视频处理方法、装置及多点视频处理单元、会议设备。

背景技术

一个视频会议系统一般包括：视频处理平台、终端(Mobile Terminal，简称为MT)、网守(Gatekeeper，简称为GK)等几个部分。其中，多点控制单元(Multi Control Unit，简称为MCU)为视频处理平台的重要组成部分。在视频会议过程中，各种不同的终端都呼入MCU进行集中管控和交换，组成一个视频会议网络。多点视频处理单元是MCU的重要组成部分，负责对来自于各终端的视频进行处理和交换，最终使各终端都能得到与自己网络线路与解码能力相匹配的视频流。

传统视频会议的多点视频处理单元在进行多画面合成后，一般编码成一路或几路视频码流，每一路视频码流会广播发送给多个视频会议终端，多画面合成后的编码码流路数会远少于接收码流的视频会议终端个数；每一终端在接收到多点视频处理单元发送的视频码流之后，对视频码流进行解码，需要根据各自对应的分辨率对视频码流进行处理，以使得处理后的视频码流的分辨率与对应终端侧的分辨率相匹配，从而保证视频画面的完整性。

然而，由于各个终端对视频码流处理时还参照对应终端的分辨率，不仅增加了终端的数据处理量，降低了处理效率，而且还会导致各个终端的视频画面不同步。

发明内容

有鉴于此，本发明实施例提供了一种视频处理方法、装置及多点视频处理单元、会议设备，以解决在视频会议过程中，终端的数据处理量较大所导致的各终端视频画面显示不同步的问题。

本发明第一方面提供了一种视频处理方法，包括：

接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流；

将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同；

将所述多路视频数据一一发送至对应的会议终端。

可选地，将所述多个会议终端发送的视频数据合成一路视频数据包括：将所述多个会议终端发送的视频数据合成一路预设分辨率的视频数据；

按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码包括：判断各会议终端所支持的分辨率与所述预设分辨率是否相同；当不相同时，将所述一路视频数据缩放至对应会议终端所支持的分辨率；对缩放后的视频数据分别进行编码。

可选地，按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码包括：

检测与各会议终端连接的线路带宽；

根据所述线路带宽的变化调整所述一路视频数据的编码码率，使得编码码率与对应的线路带宽适应；

利用调整后的编码码率对所述一路视频数据进行编码。

可选地，接收参会的多个会议终端发送的视频数据包括：

与参会的所述多个会议终端建立连接；

接收参会的所述多个会议终端发送的视频码流；

分别对所述多个会议终端发送的视频码流进行解码，得到所述多个会议终端的视频数据。

本发明第二方面提供一种视频处理装置，包括：

接收单元，用于接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流；

视频数据合成单元，用于将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

编码单元，用于按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同；

发送单元，用于将所述多路视频数据一一发送至对应的会议终端。

本发明第三方面提供一种多点视频处理单元，包括：

视频处理模块，用于将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

多个编码端口模块，分别与所述视频处理模块连接，并与所述多个会议终端一一对应连接，用于按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，将所述多路视频数据一一发送至对应的会议终端，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

可选地，所述多点控制单元还包括：

解码端口模块，与所述多个会议终端和所述视频处理模块连接，用于对参会的所述多个会议终端发送的视频码流进行解码，得到所述多个会议终端的视频数据。

可选地，所述解码端口模块为多个，分别与所述多个会议终端一一对应连接。

本发明第四方面还提供一种会议设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面所述的视频处理方法。

本发明第五方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面所述的视频处理方法。

本发明提供的技术方案，具有如下有益效果：

1.本发明提供的视频处理方法，通过按照各会议终端所支持的分辨率对视频数据进行编码且编码后的视频数据与终端一一对应，使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步。

2.本发明提供的视频处理方法，通过按照预设分辨率对多个会议终端发送的视频数据进行合成，在编码时仅需比较各终端分辨率与预设分辨率之间的大小关系，并根据该大小关系进行视频数据进行缩放处理，能够减小终端侧的数据处理量的前提条件下，提高视频处理装置的处理效率。

3.本发明提供的视频处理方法，其中，在对视频数据进行编码时，根据各会议终端连接的线路带宽的变化，进行视频数据编码码率的调整；此外，由于编码后的视频码流与终端一一对应，因此，对针对视频会议终端的带宽波动情况动态调整编码码率并不会影响其他视频会议终端的图像效果，从而能够使的参会的各会议终端都能获得最佳的图像显示效果。

4.本发明提供的视频处理装置，通过按照各会议终端所支持的分辨率对视频数据进行编码且编码后的视频数据与终端一一对应，使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步。

5.本发明提供的多点视频处理单元，其中，编码端口模块与会议终端一一对应连接，用于按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据，使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步；此外，多点视频处理单元的编码端口模块与会议终端一一对应连接，能够按照会议终端的需求为会议终端提供一对一的个性化服务，从而使会议终端的用户能得到更好的用户体验，包括更好的图像质量和更好的图像流畅度。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明的一个具体示意的应用场景；

图2示出了本发明实施例1中视频处理方法的一个具体示意的方法流程图；

图3示出了本发明实施例2中视频处理方法的一个具体示意的方法流程图；

图4示出了本发明实施例3中视频处理方法的一个具体示意的方法流程图；

图5示出了本发明实施例4中视频处理方法的一个具体示意的方法流程图；

图6示出了本发明实施例5中视频处理装置的一个具体示意的方法流程图；

图7示出了本发明实施例6中多点视频处理单元的一个具体示意的结构图；

图8示出了本发明实施例7中多点视频处理单元的一个具体示意的结构图；

图9示出了本发明实施例8中会议设备的一个具体示意的硬件结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明的应用场景，视频会议中共有n个参会终端，分别为会议终端1至会议终端n。在视频会议开始时，各会议与视频会议系统的会议设备连接，会议终端侧采集的视频数据发送给会议设备进行处理，会议设备将处理后的视频数据一一对应地发送给各会议终端。

此外，本发明公开了一种会议设备，该会议设备中包括有与会议终端一一对应设置的编码端口模块，即编码端口模块的数量可以按照会议终端的数量进行具体设置。因此，本发明中提供的会议设备也可以称之为端口会议设备，能够为会议终端提供一对一的个性化服务，从而使会议终端的用户能得到更好的用户体验。

实施例1

本实施例提供一种视频处理方法，可视频处理装置中。如图2所示，该方法包括以下步骤：

步骤S11，接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流。

每个参会的会议终端实时拍摄对应会议终端侧的视频码流，拍摄视频码流的装置可以是会议终端自带的拍摄装置，也可以是外置的拍摄装置；例如，对于具有摄像头的会议终端(手机，平板等)，可以采用摄像头对会议终端侧进行视频码流的实时拍摄；对于无摄像头的会议终端(投影，个人电脑等)，可以采用附加的摄像头或拍摄装置对会议终端侧进行视频码流的实时拍摄。

各拍摄装置所拍摄到的视频码流经各会议终端发送给视频会议系统的视频处理装置，即视频处理装置接收参会的多个会议终端发送的视频数据，用于视频处理装置对该视频数据进行后续处理。

步骤S12，将多个会议终端发送的视频数据合成一路视频数据，其中，一路视频数据的每一帧包含各会议终端侧拍摄的画面。

视频处理装置可以根据需要，将多个会议终端(其中，多个会议终端可以是所有会议终端，也可以是根据实际情况所设置的会议终端进行实时调整)发送的视频数据进行画面合成，即合成一路视频数据。其中，画面合成后的一路视频数据的每一帧包含对应会议终端侧拍摄的画面。

例如，会议终端1至会议终端10对应的参会人员需要在视频会议过程中发言，会议终端11至会议终端n的参会人员在视频会议过程中不需要发言。因此，需要在所有会议终端上显示会议终端1至会议终端10侧拍摄的画面。那么，视频处理装置将会议终端1至会议终端10发送的视频数据合成一路视频数据；即，在同一显示画面上，同时显示会议终端1至会议终端10侧拍摄的画面。

此外，视频处理装置也可以在视频会议过程中的不同时间段，根据实际使用情况，对相应的会议终端发送的视频数据合成为一路视频数据。

步骤S13，按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

各会议终端所支持的分辨率可以是会议终端与视频处理装置连接时，发送给视频处理装置的，也可以是在初次发送视频数据时，同时发送给视频处理装置的。只需保证视频处理装置能够获知所有会议终端所支持的分辨率。

视频处理装置在将合成后的一路视频数据发送给各会议终端之前，需要对该一路视频数据进行编码，在编码过程中按照各会议终端所支持的分辨了对合成后的一路视频数据分别进行编码处理，以得到与多个会议终端一一对应的多路视频数据。

具体地，对应于不同的会议终端，视频处理装置按照该会议终端所支持的分辨率对合成后的一路视频数据进行编码，使得编码后的视频数据的分辨率与对应会议终端所支持的分辨率相同。

步骤S14，将多路视频数据一一发送至对应的会议终端。

视频处理装置将编码后的视频数据一一发送至对应的会议终端，其中，编码后的视频数据的数量与会议终端的数量相同。即，视频处理装置对应一每个会议终端，对一路视频数据进行编码。

通过按照各会议终端所支持的分辨率对视频数据进行编码且编码后的视频数据与终端一一对应，使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步。

实施例2

本实施例提供一种视频处理方法，可视频处理装置中。如图3所示，该方法包括以下步骤：

步骤S21，接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流。

与实施例1步骤S11相同，在此不再赘述。

步骤S22，将多个会议终端发送的视频数据合成一路视频数据，其中，一路视频数据的每一帧包含各会议终端侧拍摄的画面。

视频处理装置将多个会议终端发送的视频数据合成一路预设分辨率的视频数据，其中，预设分辨率可以为所有会议终端所支持的分辨率中的一种，也可以为出会议终端所支持的分辨率中的一种。

例如，预设分辨率可以为所有会议终端所支持的分辨率中的最高分辨率，或最低分辨率。那么，视频处理装置在后续处理过程中，只需对所有视频数据的分辨率按照同一方向进行缩放，即同时放大或同时缩小，能够提高视频处理装置的处理效率。

步骤S23，按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

视频处理装置需要按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，以得到与所有会议终端数量相同的多路视频数据。具体地，该包括以下步骤：

步骤S231，判断各会议终端所支持的分辨率与预设分辨率是否相同；当不相同时，执行步骤S232；当相同时，执行对视频数据分别进行编码的步骤。

视频处理装置依次判断每个会议终端所支持的分辨率与预设分辨率是否相同，若不相同，则表示需要对发送给该会议终端的视频数据的分辨率进行缩放操作，即执行步骤S232；若相同，则表示预设分辨率与该会议终端的分辨率相同，不需要进行缩放操作，直接对一路视频数分别进行编码，然后执行步骤S24。

例如，视频处理装置对多路视频数据进行合成的一路视频数据的预设分辨率为1920*1080，会议终端1的分辨率为3840*2160，会议终端2的分辨率为1920*1080，会议终端3的分辨率为720*576。那么，对应于会议终端1，视频处理装置需要对合成后的一路视频数据的分辨率进行放大；对应于会议终端2，视频处理装置不需要对合成后的一路视频数据的分辨率缩放操作；对应于会议终端3，视频处理装置需要对合成后的一路视频数据的分辨率进行缩小。

步骤S232，将一路视频数据缩放至对应会议终端所支持的分辨率。

在会议终端所支持的分辨率与合成后的一路视频数据的分辨率不同时，视频处理装置需要根据各会议终端所支持的分辨率，对合成后的一路视频数据的分辨率进行缩放，达到对应会议终端所支持的分辨率。

步骤S233，对缩放后的视频数据分别进行编码。

视频处理装置对进行缩放操作后的，与各会议终端所支持的分辨率相同的视频数据分别进行编码，即编码后的视频数据的数量与会议终端的数量相同，且编码后的视频数据的分辨率与会议终端所支持的分辨率相同。

步骤S24，将多路视频数据一一发送至对应的会议终端。

与实施例1步骤S14相同，在此不再赘述。

通过按照预设分辨率对多个会议终端发送的视频数据进行合成，在编码时仅需比较各终端分辨率与预设分辨率之间的大小关系，并根据该大小关系进行视频数据进行缩放处理，能够减小终端侧的数据处理量的前提条件下，提高视频处理装置的处理效率。

未在本实施例中详细描述的步骤细节，请参照实施例1，在此不再赘述。

实施例3

本实施例提供一种视频处理方法，可视频处理装置中。如图4所示，该方法包括以下步骤：

步骤S31，接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流。

与实施例1步骤S11相同，在此不再赘述。

步骤S32，将多个会议终端发送的视频数据合成一路视频数据，其中，一路视频数据的每一帧包含各会议终端侧拍摄的画面。

与实施例1步骤S12相同，在此不再赘述。

步骤S33，按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

视频处理装置在对合成后的一路视频数据进行编码处理过程中，需要按照各会议终端所支持的分辨率进行，以保证编码后的视频数据的分辨率与各会议终端所支持的分辨率相同，从而避免在会议终端侧在解码后需要对视频数据的分辨率进行调整，减小了会议终端侧的数据处理量，提供会议终端侧的数据处理效率。

此外，在实施例中，视频处理装置在编码处理过程中，还需要实时检测视频处理装置与各会议终端连接的线路带宽，以编基于该线路带宽及时调整编码码率，提高各会议终端所获得的图像效果。

步骤S331，检测与各会议终端连接的线路带宽。

其中，视频处理装置与会议终端是一一对应连接的，即视频处理装置与会议终端连接的线路带宽与其他会议终端无关。例如，视频处理装置与会议终端A的线路带宽发生波动，与会议终端A以外的其余会议终端无关。视频处理装置实时检测与各会议终端连接的线路带宽，以便在后续编码过程中，对编码码率做出及时调整。

步骤S332，根据线路带宽的变化调整一路视频数据的编码码率，使得编码码率与对应的线路带宽适应。

视频处理装置根据与其连接的会议终端的线路带宽的变化，实时调整对合成后的一路视频数据的编码码率。对应于不同的会议终端，编码码率与该会议终端对应的线路带宽相适应，而与其他会议终端无关，因此，在对其中某一会议终端对应的编码码率进行调整时，并不会影响到其他会议终端的编码码率。

步骤S333，利用调整后的编码码率对一路视频数据进行编码。

视频处理装置利用调整后的编码码率对合成后的一路视频数据进行编码，保证此时的编码码率与当前的线路带宽相适应。

步骤S34，将多路视频数据一一发送至对应的会议终端。

与实施例1步骤S14相同，在此不再赘述。

在对视频数据进行编码时，根据各会议终端连接的线路带宽的变化，进行视频数据编码码率的调整；此外，由于编码后的视频码流与终端一一对应，因此，对针对视频会议终端的带宽波动情况动态调整编码码率并不会影响其他视频会议终端的图像效果，从而能够使的参会的各会议终端都能获得最佳的图像显示效果。

实施例4

本实施例提供一种视频处理方法，可视频处理装置中。如图5所示，该方法包括以下步骤：

步骤S41，接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流。

具体地，包括以下步骤：

步骤S411，与参会的多个会议终端建立连接。

在视频会议开始时，参会的多个会议终端建立与视频处理装置的连接，以保证视频会议的正常进行。

步骤S412，接收参会的多个会议终端发送的视频码流。

多个会议终端实时拍摄各自终端侧的视频码流，会议终端将该视频码流发送给视频处理装置，即视频处理装置接收参会的多个会议终端发送的视频码流。

步骤S413，分别对多个会议终端发送的视频码流进行解码，得到多个会议终端的视频数据。

视频处理装置分别对多个会议终端发送的视频码流进行解码，得到对应于多个会议终端的视频数据。

步骤S42，将多个会议终端发送的视频数据合成一路视频数据，其中，一路视频数据的每一帧包含各会议终端侧拍摄的画面。

其中，该步骤包括：将多个会议终端发送的视频数据合成一路预设分辨率的视频数据。

与实施例2步骤S22相同，在此不再赘述。

步骤S43，按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

步骤S431，判断各会议终端所支持的分辨率与所述预设分辨率是否相同；当不相同时，执行步骤S432；当相同时，执行步骤S433。

与实施例2步骤S231相同，在此不再赘述。

步骤S432，将一路视频数据缩放至对应会议终端所支持的分辨率。

与实施例2步骤S232相同，在此不再赘述。

步骤S433，检测与各会议终端连接的线路带宽。

与实施例3步骤S331相同，在此不再赘述。

步骤S434，根据线路带宽的变化调整一路视频数据的编码码率，使得编码码率与对应的线路带宽适应。

与实施例3步骤S332相同，在此不再赘述。

步骤S435，利用调整后的编码码率对所述一路视频数据进行编码。

与实施例3步骤S333相同，在此不再赘述。

步骤S44，将多路视频数据一一发送至对应的会议终端。

与实施例1步骤S14相同，在此不再赘述。

未在本实施例中详细描述的步骤细节，请参照实施例1至实施例3，在此不再赘述。

实施例5

本实施例提供一种视频处理装置，可用于执行实施例1至实施例4中的视频处理方法。如图6所示，该装置包括：

接收单元61，用于接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流；

视频数据合成单元62，用于将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

编码单元63，用于按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同；

发送单元64，用于将所述多路视频数据一一发送至对应的会议终端。

该视频处理装置通过按照各会议终端所支持的分辨率对视频数据进行编码且编码后的视频数据与终端一一对应，使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步。

实施例6

本实施例提供一种用于视频会议系统的多点视频处理单元，可用于执行实施例1至实施例4中的视频处理方法。如图7所示，该多点控制单元包括：

视频处理模块71，用于将多个会议终端发送的视频数据合成一路视频数据，其中，一路视频数据的每一帧包含各会议终端侧拍摄的画面。

多个编码端口模块，分别与视频处理模块连接，并与多个会议终端一一对应连接，用于按照各会议终端所支持的分辨率对一路视频数据分别进行编码处理，得到与多个会议终端一一对应的多路视频数据，将多路视频数据一一发送至对应的会议终端，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

其中，相比于一个编码端口模块对应多个会议终端的多点视频处理单元，这种编码端口模块与会议终端一一对应连接的多点视频处理单元，使得编码端口模块能够按照会议终端的需求，为会议终端提供一对一的个性化服务，从而使会议终端的用户能得到更好的用户体验，包括更好的图像质量和更好的图像流畅度。

此外，编码端口模块与会议终端一一对应连接，能够使得各会议终端在接收到编码后的视频数据之后，仅需要对视频数据进行解码后即可显示，并不需要考虑终端侧的分辨率问题，从而能够减小终端侧的数据处理量，提高终端侧的数据处理效率，以保证所有终端侧视频画面的同步。

作为本实施例的一种可选实施方式，还包括：解码端口模块73，与多个会议终端和视频处理模块连接，用于对参会的所述多个会议终端发送的视频码流进行解码，得到所述多个会议终端的视频数据。

其中，可选地，解码端口模块73为多个，分别与多个会议终端一一对应连接。即，一个会议终端对应于一个解码端口模块73以及一个编码端口模块72。

作为本实施例的一种具体实施方式，该多点视频处理单元，包括多达25个视频解码端口模块、一个多达25画面的视频处理模块以及与参与视频会议的终端数相等的视频编码端口模块。视频会议终端与视频会议多点控制单元进行呼叫信令交互后，视频会议终端向视频会议多点控制单元发送编码视频流，视频会议多点控制单元接收视频会议终端发送的编码视频流后，调用解码端口模块进行解码，解码后的视频裸数据送入视频处理模块，视频处理模块根据设定的画面合成风格对各路解码后视频裸数据进行缩放至设定的大小然后进行画面合成至一路视频，合成后的视频分发给各视频编码端口模块按需要缩放后进行编码，每个视频编码端口模块对应一个视频会议终端，编码码率可以根据视频会议终端的线路带宽情况动态调整。

其中，每一个视频会议终端都在多点控制单元上有一个对应的视频编码端口模块72，视频编码端口模块72可以根据会议终端的要求，编码一路单独的码流，可以根据视频会议终端的带宽波动情况动态调整码率而不会影响其它视频会议终端的图像效果，从而使参与会议的各视频会议终端都能获得最佳的图像效果。

实施例7

本实施例提供一种多点视频处理单元的一个具体应用的实例，其中，如图8所示，在一个视频会议中，有n个3840*2160分辨率终端，m个1920*1080分辨率终端，l个1280*720分辨率终端，k个720*576分辨率终端参与会议，该实现包括：

步骤1：根据画面合成风格所需的图像路数从所有参与会议的终端中选取对应画面合成风格的路数，例如，可以为25路，把所选终端的编码码流发给多点控制单元的解码端口模块。

步骤2：各解码端口模块对步骤1发过来的每一路编码视频码流进行视频解码，解码后得到视频裸数据。

步骤3：各解码端口模块对步骤2得到的视频裸数据根据画面合成的要求缩放至画面合成对应窗格的大小。

步骤4：多路步骤3得到的视频裸数据发往多画面合成模块合成为一路3840*2160大小的视频裸数据。

步骤5：多点控制单元为每一个参与视频会议的终端分配一个编码端口模块，步骤4得到的视频裸数据被分发送给各个终端对应的视频编码端口模块。

步骤6：各编码端口模块把从步骤5得到的视频裸数据按需要进行缩放，如果终端要求的编码分辨率等于3840*2160，则无需缩放，如果终端要求的编码分辨率小于3840*2160，则缩放至终端要求的分辨率大小。

步骤6：各编码端口模块把按需缩放或未缩放后的视频裸数据按终端的要求进行编码，编码格式与编码码率大小完全按终端的个性需求。

步骤7：多点控制单元把由步骤6得到的编码码流发往对应的视频会议终端。

步骤8：在视频会议过程中，各编码端口模块可以根据多点控制单元探测到的各终端线路带宽情况动态调整各编码器的码率。

由于每个参与视频会议的终端在本多点视频处理单元上都有一个对应的编码端口模块，终端与编码端口模块是一对一的关系，这样在视频会议过程中，如果某个终端的线路带宽发生了变化，其对应的编码端口模块可以根据线路带宽的变化动态调整编码码率，并且不会影响到其它视频会议终端的图像效果，这样保证每个参会的视频会议终端都能得到与自己线路带宽相匹配的最佳图像效果。

实施例8

图9是本发明实施例提供的会议设备的硬件结构示意图，如图9所示，该装置包括一个或多个处理器81以及存储器82，图9中以一个处理器81为例。

处理器81与存储器82可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器81可以为中央处理器(Central Processing Unit，CPU)。处理器81还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器82作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的视频处理方法对应的程序指令/模块。处理器81通过运行存储在存储器82中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述实施例中的视频处理方法。

存储器82可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据视频处理装置的使用所创建的数据等。此外，存储器82可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器82可选包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至视频处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器82中，当被所述一个或者多个处理器81执行时，执行实施例1至实施例4中任一项所述的视频处理方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1所示的实施例中的相关描述。

实施例9

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行实施例1至实施例4中任一项所述的视频处理方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流；

将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同；

将所述多路视频数据一一发送至对应的会议终端。

2.根据权利要求1所述的视频处理方法，其特征在于，

将所述多个会议终端发送的视频数据合成一路视频数据包括：将所述多个会议终端发送的视频数据合成一路预设分辨率的视频数据；

按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码包括：判断各会议终端所支持的分辨率与所述预设分辨率是否相同；当不相同时，将所述一路视频数据缩放至对应会议终端所支持的分辨率；对缩放后的视频数据分别进行编码。

3.根据权利要求1或2所述的视频处理方法，其特征在于，按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码包括：

检测与各会议终端连接的线路带宽；

根据所述线路带宽的变化调整所述一路视频数据的编码码率，使得编码码率与对应的线路带宽适应；

利用调整后的编码码率对所述一路视频数据进行编码。

4.根据权利要求3所述的视频处理方法，其特征在于，接收参会的多个会议终端发送的视频数据包括：

与参会的所述多个会议终端建立连接；

接收参会的所述多个会议终端发送的视频码流；

分别对所述多个会议终端发送的视频码流进行解码，得到所述多个会议终端的视频数据。

5.一种视频处理装置，其特征在于，包括：

接收单元，用于接收参会的多个会议终端发送的视频数据，其中，每个会议终端发送的视频数据为对应会议终端侧拍摄到的视频码流；

视频数据合成单元，用于将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

编码单元，用于按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同；

发送单元，用于将所述多路视频数据一一发送至对应的会议终端。

6.一种用于视频会议系统的多点视频处理单元，包括：

视频处理模块，用于将所述多个会议终端发送的视频数据合成一路视频数据，其中，所述一路视频数据的每一帧包含各会议终端侧拍摄的画面；

多个编码端口模块，分别与所述视频处理模块连接，并与所述多个会议终端一一对应连接，用于按照各会议终端所支持的分辨率对所述一路视频数据分别进行编码处理，得到与所述多个会议终端一一对应的多路视频数据，将所述多路视频数据一一发送至对应的会议终端，其中，每一路视频数据的分辨率与对应会议终端所支持的分辨率相同。

7.根据权利要求6所述的多点视频处理单元，其特征在于，还包括：

解码端口模块，与所述多个会议终端和所述视频处理模块连接，用于对参会的所述多个会议终端发送的视频码流进行解码，得到所述多个会议终端的视频数据。

8.根据权利要求6所述的多点视频处理单元，其特征在于，所述解码端口模块为多个，分别与所述多个会议终端一一对应连接。

9.一种会议设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-4所述的视频处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-4所述的视频处理方法。