CN117692598A - 视频流的发送方法及装置 - Google Patents

Abstract

本发明实施例提供了一种视频流的发送方法及装置，包括：获取多个终端中每个终端的属性信息；根据每个终端的属性信息对输入视频流进行重编码，得到重编码视频流；根据每个终端的属性信息，将输入视频流或重编码视频流发送至多个终端中的部分终端或全部终端。通过本发明，解决了现有技术中由于视频流码流的兼容性问题，导致的终端接收的视频流质量较差的问题，进而达到了满足新旧终端之间视频码流的兼容性的同时，确保新型终端可接收到延时画质不变的视频流的效果。

Description

视频流的发送方法及装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种视频流的发送方法及装置。

背景技术

信息技术的发展使得视频会议越来越多的出现在了生活和工作当中。在视频会议应用项目中，为了缩减数字化系统建设整体费用，将视频会议系统平台侧设备更新换代后，端侧设备维持原样，从而导致新建的视频会议系统中会存在不同品牌、不同型号、不同年代的各类会议终端，这种设备更新方式使得端侧设备“利旧”的需求则依然十分强烈。

但新建视频会议系统要兼容各类新旧终端，则成为一个困难的技术问题，特别是视频流码流兼容性问题，某些厂家终端发出的视频流可能无法被所有终端接收并播放。通过对视频流的重编码技术，可以使参与视频会议的所有终端接收并播放视频流。

目前是将输入视频流进行重编码后发送至参与视频会议所有接收终端，然而接收终端中可能存在能够接收原始输入视频流的终端。由于重编码后的视频流质量较低（例如，分辨率较低），对于能够接收原始输入视频流的终端来说用户体验降低，并且还存在资源浪费的问题。

针对上述问题，目前尚未存在有效的解决方案。

发明内容

本发明实施例提供了一种视频流的发送方法及装置，以至少解决相关技术中由于视频流码流的兼容性问题，导致的终端接收的视频流质量较差的问题。

根据本发明的一个实施例，提供了一种视频流的发送方法，包括：获取多个终端中每个所述终端的属性信息，其中，所述属性信息包括第一属性信息和第二属性信息，所述第一属性信息用于指示所述终端的发送的视频流是否需要重编码，所述第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，所述多个终端参与同一视频会议；根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流；根据每个所述终端的属性信息，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端或全部终端。

在一个示例性实施例中，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，包括：在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，得到所述重编码视频流；在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流。

在一个示例性实施例中，在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，包括：对所述输入视频流进行非对称的重编码，得到所述重编码视频流；在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流，包括：对所述输入视频流进行对称的重编码，得到所述重编码视频流。

在一个示例性实施例中，对所述输入视频流进行对称的重编码，得到所述重编码视频流，包括：获取所述输入视频的第一身份标识；对所述输入视频流进行重编码，得到所述重编码视频流；将所述重编码视频流的身份标识设置为所述第一身份标识。

在一个示例性实施例中，对所述输入视频流进行非对称的重编码，得到所述重编码视频流，包括：获取所述输入视频的第一身份标识；对所述输入视频流进行重编码，得到所述重编码视频流；将所述重编码视频流的身份标识设置为第二身份标识，其中，所述第一身份标识与所述第二身份标识不同。

在一个示例性实施例中，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，还包括：使用会议系统的多画面融合模块对所述输入视频流进行所述重编码，所述会议系统是所述视频会议的软件系统。

在一个示例性实施例中，将所述重编码视频流的身份标识设置为第二身份标识，包括：获取转码模拟终端的身份标识，根据所述转码模拟终端的身份标识确定所述第二身份标识，其中，转码模拟终端是动态生成的虚拟终端；在所述对所述输入视频流进行所述非对称的重编码之后，所述方法还包括：将未经所述重编码的所述输入视频确定为填充画面；将所述填充画面输入所述视频会议的多画面融合布局，生成多画面融合视频流。

根据本发明的另一个实施例，提供了一种视频流的发送装置，包括：获取模块，用于获取多个终端中每个所述终端的属性信息，其中，所述属性信息包括第一属性信息和第二属性信息，所述第一属性信息用于指示所述终端的发送的视频流是否需要重编码，所述第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，所述多个终端参与同一视频会议；重编码模块，用于根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流；发送模块，用于根据每个所述终端的属性信息，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端或全部终端。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，获取多个终端中每个终端的属性信息，其中，属性信息包括第一属性信息和第二属性信息，第一属性信息用于指示所述终端的发送的视频流是否需要重编码，第二属性信息用于指示所述终端接收的视频流是否为重编码视频流；根据每个终端的属性信息对输入视频流进行重编码，得到重编码后的视频流；根据每个终端的属性信息，将输入视频流或重编码后的视频流发送至多个终端。

由于属性信息中，第一属性信息用于指示终端的发送的视频流是否需要重编码，第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，通过获取多个终端中每个终端的第一属性信息，可以根据每个终端的终端类型对输入视频流进行重编码，得到重编码后的视频流，并根据每个终端的第二属性信息，将输入视频流或重编码后的视频流发送至多个终端。即使多个终端存在接收的视频流画质较差问题，发送的视频流根据终端的属性信息进行重编码，达到了终端可以接收重编码后的视频流并进行播放的目的，因此，可以解决现有技术由于视频流码流的兼容性问题，导致的终端接收的视频流质量较差的问题，达到了满足新旧终端之间视频码流的兼容性的同时，确保新型终端可接收到延时画质不变的视频流。

附图说明

图1是根据本发明实施例的一种视频流的发送方法的移动终端的硬件结构框图；

图2是根据本发明实施例的视频流的发送方法的流程图；

图3是根据本发明实施例的视频会议系统结构框图；

图4是根据本发明实施例的视频流的发送装置的结构框图。

具体实施方式

视频会议系统包含了MCU（Multipoint Control Unit多点控制单元，即视频会议服务器）及软、硬终端、录播服务器等各类参与设备。终端采集图像声音并经过编码发送给MCU，MCU则根据会议要求将多个终端发送的图像进行融合或不进行融合，声音混音或不混音后发送给各个参与终端，从而实现多方与会人的音视频通话。

但是视频会议系统要兼容各类新旧终端，则成为一个困难的技术问题，特别是视频流码流兼容性问题。即使所有编码参数一致，信令编码能力集协商成功的情况下，不同终端编码器输出的视频码流依旧可能不兼容。某些厂家终端发出的视频流可能无法被所有终端接收并播放。例如品牌X的终端A与品牌Y的终端B视频能力集协商时，声称均支持H264BP、25fps、720p，创建会议设置的会议编码参数也采用该视频编码格式，当A和B转发互看时，由于编码器实现时slice数量、slice大小、参考帧数量等编码细节不同，终端A依旧无法正常接收并解码输出终端B发送的视频流。

现阶段，视频流的播放主要是采用“对称身份”的转码方式进行转码后输入到“视联网服务器”进行分发，这样将会导致视联网服务器上的所有视联网终端只能使用转码后的视频流，使得新型视联网终端看到的目标画面延时加大、画质变差，而且针对编码格式协商一致时的视频码流兼容性问题，依旧无法解决。同时，该方法还需要额外的转码服务器集群进行转码计算，系统复杂度高，可维护性差。

本申请针对新建视频会议系统中的各类新老终端的视频码流不兼容导致相互传输的视频流质量较差的问题，提供一种视频流的发送方法，以期解决上述问题。

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种视频流的发送方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的视频流的发送方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端的视频流的发送方法，图2是根据本发明实施例的视频流的发送方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取多个终端中每个所述终端的属性信息，其中，所述属性信息包括第一属性信息和第二属性信息，所述第一属性信息用于指示所述终端的发送的视频流是否需要重编码，所述第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，所述多个终端参与同一视频会议；

上述属性信息用于对终端的终端类型进行配置，例如，上行视频流需要转码（即重编码）的终端类型可以配置为“终端类型I”，选看“终端类型I”的上行视频流需要下行转码输出视频流的终端类型可以设置为“终端类型II”等，该终端可以是具有视频播放功能的设备，例如手机、平板、电脑、智能电视等。

步骤S204，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流；

其中，上述终端的属性信息是第一属性信息。系统根据每个终端的第一属性信息，对输入的视频流进行相应的重编码，得到重编码后的视频流。

系统添加视频转码模拟终端的接口DB_AddVideoTranscodingDevices实现视频流输入，输入参数包括会议号和转码输入视频流InSSRC等，同时，通过SetVideoTranscodingLayout，根据第一属性信息，实现视频流重编码。

具体地，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，包括：

在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，得到所述重编码视频流；

其中，第一终端可以是多台终端设备中的其中一台终端设备，在第一终端的第一属性信息指示输入的视频流需要重编码的情况下，对所述输入视频流进行重编码。

作为一个可选地实施方式，在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，包括：对所述输入视频流进行非对称的重编码，得到所述重编码视频流。

系统会根据转码输入视频流InSSRC的类型确定为对称转码或是非对称转码，例如，终端主流采用非对称转码，H323级联下行视频流和演示流采用对称转码。在输入视频流是所述多个终端中的第一终端发送的视频流，且第一终端的第一属性信息指示输入的视频流需要重编码的情况下，对转码输入视频流InSSRC进行非对称编码。

可选地，在转码输入视频流InSSRC是参与同一视频流会议中的一台终端设备，且的情况下，系统采用非对称转码的方式，通过调用DB_AddVideoTranscodingDevices添加转码模拟终端，获取第一终端的终端ID，并根据接收视频流终端的多个终端中每个终端的终端ID对转码输入视频流InSSRC进行非对称编码，得到转码输出视频流OutSSRC。

通过采用非对称转码方式，实现了会议公共多画面融合布局的融合流不受终端视频流转码需求影响，避免先转码后融合布局嵌套，导致会议融合流延时加大画质变差，还有软件处理容易死锁等问题。

在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流。

其中，第二终端可以是级联下行视频流或演示流，例如，H323级联下行视频流和演示流，在第二终端的第二属性信息指示第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码。

作为一个可选地实施方式，在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流，包括：对所述输入视频流进行对称的重编码，得到所述重编码视频流。

系统会根据转码输入视频流InSSRC的类型确定为对称转码或是非对称转码，例如，终端主流采用非对称转码，H323级联下行视频流和演示流采用对称转码。在输入视频流是H323级联下行视频流和演示流，且第二终端的第二属性信息指示第二终端接收的视频流为重编码视频流的情况下，对转码输入视频流InSSRC进行对称编码。

可选地，转码输入视频流InSSRC是预先录制好的视频的情况下，即输入视频流为级联下行视频流或演示流的情况下，系统采用对称转码的方式，直接将转码输出视频流OutSSRC替换转码输入视频流InSSRC即可

根据转码输入视频流的类型，针对不同性质的视频流灵活配置使用“对称转码”或者“非对称转码”，满足多种视频流转码需求场景。

步骤S206，根据每个所述终端的属性信息，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端或全部终端。

具体地，在所述多个终端中的部分终端为所述输入视频流的接收端的情况下，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端；

当输入视频流是多个终端中的第一终端发送的视频流时，即多个终端中的部分终端为输入视频流的接收端，则将重编码视频流发送至多个终端中的部分终端或全部终端。

在所述多个终端中的全部终端为所述输入视频流的接收端的情况下，将所述输入视频流或所述重编码视频流发送至所述多个终端中的全部终端。

当输入视频流为级联下行视频流或演示流时，即多个终端中的全部终端为输入视频流的接收端则将重编码视频流发送至多个终端中的部分终端或全部终端。

根据不同终端的属性信息发送对应的转码输出视频流，可以实现灵活配置特定厂家特定型号的终端被选看时触发转码，配置特定厂家特定型号的终端下行转码后的视频流，而其他类型的终端则下行原始视频流，解决了多厂家多型号终端之间在协商能力集通过的情况下视频流码流兼容性问题的，确保新型终端接收的画面依旧是转码前的“低延时高画质”的效果。

可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。

通过上述步骤，由于属性信息中，第一属性信息用于指示终端的发送的视频流是否需要重编码，第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，通过获取多个终端中每个终端的第一属性信息，可以根据每个终端的终端类型对输入视频流进行重编码，得到重编码后的视频流，并根据每个终端的第二属性信息，将输入视频流或重编码后的视频流发送至多个终端。即使多个终端存在接收的视频流画质较差问题，发送的视频流根据终端的属性信息进行重编码，达到了终端可以接收重编码后的视频流并进行播放的目的，因此，可以解决现有技术由于视频流码流的兼容性问题，导致的终端接收的视频流质量较差的问题，达到了在协商能力集通过的情况下视频码流不兼容的终端之间接收的视频低延时高画质的效果。

通过添加转码模拟终端来触发请求待转码视频流，从而触发待转码终端上行对应原始视频流，并把转码输出视频流作为转码模拟终端的上行视频流输入到媒体服务的上行数据处理模块，就好像会议中新增了一个终端，实现会议中视频流的非对称转码模式。由于该机制实现的转码输入输出流唯一标识非对称，媒体服务可实现针对不同类型的终端下行转码前或转码后视频流，同时输入会议公共的多画面融合布局的视频流为转码前视频流。解决了特定类型的利旧终端之间在协商能力集通过的情况下视频流码流兼容性问题的，同时，不影响新型号终端的转发单流和融合流的会议画面效果。

此外，本申请直接利用了视频会议服务器MCU的编解码能力进行转码，无需额外部署转码服务器，系统整体运维复杂度低。

作为一个可选的实施方式，对所述输入视频流进行对称的重编码，得到所述重编码视频流，包括：获取所述输入视频的第一身份标识；对所述输入视频流进行重编码，得到所述重编码视频流；将所述重编码视频流的身份标识设置为所述第一身份标识。

其中，第一身份标识用于表示输入视频流当前的转码状态，包括为未转码，已转码等。

例如，码输入视频流curInSSRC的第一身份标识为InSSRC，获取当前待转码输入视频的第一身份标识并按照当前待转码输入视频类型对当前待转码输入视频流进行重编码，得到重编码视频流curOutSSRC（即第一视频流），并将重编码视频流curOutSSRC的身份标识设置为第一身份标识InSSRC。

作为一个可选的实施方式，对所述输入视频流进行非对称的重编码，得到所述重编码视频流，包括：获取所述输入视频的第一身份标识；对所述输入视频流进行重编码，得到所述重编码视频流；将所述重编码视频流的身份标识设置为第二身份标识，其中，所述第一身份标识与所述第二身份标识不同。

其中，第一身份标识和第二身份标识用于表示输入视频流当前的转码状态，包括为未转码，已转码等，第一身份标识与第二身份标识不同。

例如，当前待转码输入视频流curInSSRC的第一身份标识为InSSRC，获取当前待转码输入视频的第一身份标识并按照当前待转码输入视频流类型对当前待转码输入视频流进行编码，得到当前转码输出视频流curOutSSRC（即重编码视频流），并将当前转码输出视频流curOutSSRC的身份标识设置为第二身份标识OutSSRC。

作为一个可选地实施方式，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，还包括：使用会议系统的多画面融合模块对所述输入视频流进行所述重编码，所述会议系统是所述视频会议的软件系统。

视频会议的软件系统中的多画面融合模块提供视频融合会话的多画面融合布局的配置接口，例如设置接口SetVideoTranscodingLayoutMS，实现转码用途的融合会话的开启、修改、关闭操作。其中，用于多画面融合布局的参数包括：用于转码的单画面融合布局的待转码的转码输入视频流InSSRC、转码输出视频流OutSSRC以及输出视频流分辨率、码率等编码参数。

通过判断本次设置是否包含转码输出视频流OutSSRC编码的参数配置，标记当前视频的转码状态，包括：在不包含转码输出视频流OutSSRC编码的参数配置的情况下，执行关闭融合会话操作，将当前待转码的转码视频流接收套接字引用curTranscodingSocket置空，将当前待转码的转码输入视频流curInSSRC设置为0，将当前转码输出视频流curOutSSRC设置为0，调用视频融合模块关闭融合会话接口，关闭转码用途的融合会话，标记当前视频转码状态为“未转码”；在包含转码输出视频流OutSSRC编码的参数配置的情况下，判定当前视频转码状态，若转码状态为“未转码”，调用视频融合模块打开融合会话接口打开转码用途的融合会话，同时标记当前视频转码状态为“转码中”。

判定新的待转码的转码输入视频流InSSRC是否等于当前待转码的转码输入视频流curInSSRC，并在不相等的情况下，即待转码的转码输入视频流发生了切换，将当前待转码的转码视频流接收套接字引用curTranscodingSocket置空，将当前待转码的转码输入视频流curInSSRC设置为InSSRC，将当前转码输出视频流curOutSSRC设置为OutSSRC。

最终，通过调用视频融合模块的多画面融合布局的配置接口，将最新融合布局和融合编码参数设置到视频融合模块，使其使用最新InSSRC作为输入视频流，输出转码后的OutSSRC视频流，实现会议系统的多画面融合模块对所述输入视频流进行所述重编码。

作为一个可选地实施方式，将所述重编码视频流的身份标识设置为第二身份标识，包括：获取转码模拟终端的身份标识，根据所述转码模拟终端的身份标识确定所述第二身份标识，其中，转码模拟终端是动态生成的虚拟终端。

使用转码模拟终端逻辑实现实体终端视频流的非对称转码，包括：调用DB_AddVideoTranscodingDevices，在SetVideoTranscodingLayout接口中动态添加转码模拟终端，并获取模拟终端的终端ID，其中，转码模拟终端是根据会议内视频流非对称转码需求动态生成的具有全局唯一标识的虚拟终端。根据终端ID生成转码输出视频流OutSSRC，即将转码输出视频流模拟为该转码模拟终端的上行视频流。例如转码模拟终端的终端ID为16000001，重编码的转码输出视频流OutSSRC为160000012。

作为一个可选地实施方式，在所述对所述输入视频流进行所述非对称的重编码之后，所述方法还包括：将未经所述重编码的所述输入视频确定为填充画面；将所述填充画面输入所述视频会议的多画面融合布局，生成多画面融合视频流

在所述对所述输入视频流进行所述非对称的重编码之后，将未经重编码的输入视频作为终端上行视频流，输入到媒体服务的上行数据处理模块, 上行数据处理模块则根据会议布局按需将本次未经重编码的输入视频输入到公共多画面融合布局的融合会话中（即融合布局中填充了该视频流才输入，否则不输入），并将其通过网络IO分发给各个需要该上行视频流的与会方终端。

基于非对称转码，将未经重编码的输入视频流作为填充画面输入到会议的多画面融合布局中生成多画面融合视频流，确保多画面融合视频流延时不增加。

作为一个可选的实施方式，图3是根据本发明实施例的视频会议系统结构框图。如图3所示，视频会议系统提供了视频融合会话的打开接口、视频融合会话的关闭接口、视频融合会话的多画面融合布局的配置接口、视频融合会话的视频流输入接口，主要包括会控服务、信令服务、媒体服务等，实现了输入视频流解码、缩放、按布局填充拼接、编码等视频融合过程，最终提供回调接口输出融合后的视频流。

会控服务逻辑：提供接口实现终端类型配置，上行视频流需要转码的终端类型配置为“终端类型I”，被选看“终端类型I”的上行视频流需要下行转码输出视频流的终端类型设置为“终端类型II”，实现“终端类型I”上行视频流转码开关。

信令服务逻辑：

实现添加视频转码模拟终端的接口DB_AddVideoTranscodingDevices，参数包括会议号和转码输入视频流InSSRC，添加即触发逻辑：步骤311，生成模拟终端的全局唯一的终端号devid；步骤312，指定模拟终端类型为转码模拟终端特定类型，如1602；步骤313，指定模拟终端状态为对应会议已入会；步骤314，以该终端名义发起视频流请求RequestStreams，请求对应待转码终端上行转码输入视频流InSSRC。

实现删除视频转码模拟终端接口DB_DeleteVideoTranscodingDevices：步骤321，以该模拟终端名义发起RequestStreams请求，请求空视频流，以便对应终端停止上行转码输入视频流InSSRC；步骤322，从设备列表中删除该模拟终端；

实现视频转码启动、修改、关闭接口SetVideoTranscodingLayout，参数包括会议号，转码输入视频流InSSRC、是否开启转码：步骤331，根据InSSRC类型确定是否为对称转码或非对称转码，例如：终端主流采用非对称转码，H323级联下行视频流和演示流采用对称转码。若为非对称转码，则调用DB_AddVideoTranscodingDevices添加转码模拟终端，获取终端ID，并根据终端ID生成转码输出视频流OutSSRC；即将转码输出视频流模拟为该转码模拟终端的上行视频流；若为对称转码，则转码输出视频流OutSSRC设置为转码输入视频流InSSRC；即使用转码输出视频流替换转码输入视频流，视频流则身份保持不变；步骤332，判定是否开启转码。若为关闭转码，则调用DB_DeleteVideoTranscodingDevices删除转码模拟终端，设置转码输入视频流InSSRC为空，设置转码输出视频流OutSSRC为空，转码编码参数置空，调用媒体服务的SetVideoTranscodingLayoutMS接口关闭转码；若为开启转码，则使用如上设定的InSSRC、OutSSRC、预设的转码视频编码参数生成转码用途的融合布局，并调用媒体服务的SetVideoTranscodingLayoutMS开启或修改转码。

“视频流选看”等转发会控操作实现逻辑，判定预设终端类型I视频流转码开关已开启，则执行：步骤341，若“视频流选看”选中的视频流是预设终端类型I的上行视频流主流，则针对该视频流调用信令服务的SetVideoTranscodingLayout接口开启转码或修改转码，修改转码实现转码视频流的切换；步骤342，若“视频流选看”选中的视频流为其他类型终端的视频流，则调用信令服务的SetVideoTranscodingLayout接口关闭转码；步骤343，判定终端类型为预设终端类型II，且其“视频流选看”选中的视频流为转码输入视频流InSSRC，且转码输出视频流OutSSRC非空，则该终端选看视频流SSRC替换为当前转码输出视频流OutSSRC；使预设终端类型II的终端请求转码后的视频流，同时其他类型的终端请求的依旧是转码前的视频流InSSRC；实现一个“视频流选看”操作针对不同类型终端输出两种视频流的效果；步骤344，检测到媒体服务重启时，若存在转码用途的融合会话，则要调用SetVideoTranscodingLayout重新触发转码；步骤345，会议编码资源开销计算，若会议转码输入视频流InSSRC非空，则添加转码用途的融合布局编解码开销。

媒体服务逻辑：

实现视频转码用途的融合布局设置接口SetVideoTranscodingLayoutMS，实现转码用途的融合会话的开启、修改、关闭操作，指定参数包括：用于转码的单画面融合布局、待转码输入视频流inSSRC、转码输出视频流outSSRC以及输出视频流分辨率、码率等编码参数：

步骤351，判定本次设置是否包含输出视频流OutSSRC编码参数配置：

若不包含，则执行关闭融合会话操作。将当前待转码视频流接收套接字引用curTranscodingSocket置空；将当前待转码输入视频流curInSSRC设置为0；将当前转码输出视频流curOutSSRC设置为0；调用视频融合模块关闭融合会话接口，关闭转码用途的融合会话；标记当前视频转码状态为“未转码”；本次SetVideoTranscodingLayoutMS设置接口结束。

若包含，则判定当前视频转码状态，若为“未转码”，调用视频融合模块打开融合会话接口打开转码用途的融合会话；标记当前视频转码状态为“转码中”。

步骤352，判定新的待转码视频流InSSRC是否等于当前待转码视频流curInSSRC：

若不相等，表示待转码视频流发生了切换，将当前待转码视频流接收套接字引用curTranscodingSocket置空；将当前待转码输入视频流curInSSRC设置为InSSRC；将当前转码输出视频流curOutSSRC设置为OutSSRC；

步骤353，调用视频融合模块的多画面融合布局的配置接口，将最新融合布局和融合编码参数设置到视频融合模块，使其使用最新InSSRC作为输入视频流，输出转码后的OutSSRC视频流；

接收终端音视频流的网络IO数据回调接口实现逻辑，判定转码状态为“转码中”且本次接收视频流SSRC为当前待转码输入视频流curInSSRC：

步骤361，若是，则调用视频融合模块的视频流输入接口将本次回调视频流数据输入到转码用途的融合会话中；判定当前待转码输入视频流curInSSRC与当前转码输出视频流curOutSSRC是否相等：

若不等，则将本次回调视频流数据输入到媒体服务的上行数据处理模块, 上行数据处理模块则根据会议布局按需将本次回调视频流数据输入到公共多画面融合布局的融合会话中（即融合布局中填充了该视频流ssrc才输入，否则不输入），并将其通过网络IO分发给各个需要该上行视频流的与会方终端；

若相等，则将当前待转码视频流接收套接字引用curTranscodingSocket设置为本次网络IO回调对应的客户端套接字socket；不将本次回调视频流数据输入到媒体服务的上行数据处理模块；

步骤362，若否，则将本次回调数据输入到媒体服务的上行数据处理模块。

转码用途的融合会话的融合数据回调接口中实现逻辑：判定当前待转码输入视频流curInSSRC值：

步骤371，等于0，则忽略并丢弃本次融合会话回调数据；

步骤372，不等于0，判定当前待转码视频流接收套接字引用curTranscodingSocket是否为空：

为空，则将本次融合会话回调视频流输入到媒体服务的融合数据处理模块，使其通过网络IO分发给各个需要该融合视频流的与会方终端；

不为空，则将本次融合会话回调视频流数据作为终端上行视频流，输入到媒体服务的上行数据处理模块, 上行数据处理模块则根据会议布局按需将本次回调视频流数据输入到公共多画面融合布局的融合会话中（即融合布局中填充了该视频流ssrc才输入，否则不输入），并将其通过网络IO分发给各个需要该上行视频流的与会方终端。

本申请由于利用了视频会议服务器MCU的编解码能力进行对视频流进行转码，通过添加转码模拟终端来触发请求待转码视频流，从而触发待转码终端上行对应原始视频流，并把转码输出视频流作为转码模拟终端的上行视频流输入到媒体服务的上行数据处理模块，媒体服务可实现针对不同类型的终端下行转码前或转码后视频流，实现了会议公共多画面融合布局的融合流不受终端视频流转码需求影响，避免了先转码后融合后导致融合布局嵌套，会议融合流延时加大画质变差，软件处理容易死锁等问题。因此，可以解决现有技术中视频码流兼容性的问题，达到了保证多画面融合后视频画面低延时高画质的效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

在本实施例中还提供了一种视频流的发送装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的视频流的发送装置的结构框图，如图4所示，该装置包括：获取模块42，用于获取多个终端中每个所述终端的属性信息，其中，所述属性信息包括第一属性信息和第二属性信息，所述第一属性信息用于指示所述终端的发送的视频流是否需要重编码，所述第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，所述多个终端参与同一视频会议；重编码模块44，用于根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流；发送模块46，用于根据每个所述终端的属性信息，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端或全部终端。

作为一个可选的实施方式，所述装置还用于根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，包括：在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，得到所述重编码视频流；在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流。

作为一个可选的实施方式，所述装置还用于在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，包括：对所述输入视频流进行对称的重编码，得到所述重编码视频流；在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流，包括：对所述输入视频流进行非对称的重编码，得到所述重编码视频流。

作为一个可选的实施方式，所述装置还用于对所述输入视频流进行对称的重编码，得到所述重编码视频流，包括：获取所述输入视频的第一身份标识；对所述输入视频流进行重编码，得到所述重编码视频流；将所述重编码视频流的身份标识设置为所述第一身份标识。

作为一个可选的实施方式，所述装置还用于对所述输入视频流进行非对称的重编码，得到所述重编码视频流，包括：获取所述输入视频的第一身份标识；对所述输入视频流进行重编码，得到所述重编码视频流；将所述重编码视频流的身份标识设置为第二身份标识，其中，所述第一身份标识与所述第二身份标识不同。

作为一个可选的实施方式，所述装置还用于使用会议系统的多画面融合模块对所述输入视频流进行所述重编码，所述会议系统是所述视频会议的软件系统。

作为一个可选的实施方式，所述装置还用于将所述重编码视频流的身份标识设置为第二身份标识，包括：获取转码模拟终端的身份标识，根据所述转码模拟终端的身份标识确定所述第二身份标识，其中，转码模拟终端是动态生成的虚拟终端；

作为一个可选的实施方式，所述装置还用于在所述对所述输入视频流进行所述非对称的重编码之后，将未经所述重编码的所述输入视频确定为填充画面；将所述填充画面输入所述视频会议的多画面融合布局，生成多画面融合视频流。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频流的发送方法，其特征在于，包括：

获取多个终端中每个所述终端的属性信息，其中，所述属性信息包括第一属性信息和第二属性信息，所述第一属性信息用于指示所述终端的发送的视频流是否需要重编码，所述第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，所述多个终端参与同一视频会议；

根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流；

根据每个所述终端的属性信息，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端或全部终端。

2.根据权利要求1所述的方法，其特征在于，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，包括：

在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，得到所述重编码视频流；

在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流。

3.根据权利要求2所述的方法，其特征在于，

在所述输入视频流是所述多个终端中的第一终端发送的视频流，且所述第一终端的所述第一属性信息指示所述第一终端的发送的视频流需要重编码的情况下，对所述输入视频流进行重编码，包括：对所述输入视频流进行非对称的重编码，得到所述重编码视频流；

在所述输入视频流为级联下行视频流或演示流，且所述多个终端中的第二终端的所述第二属性信息指示所述第二终端接收的视频流为重编码视频流的情况下，对所述输入视频流进行重编码，得到所述重编码视频流，包括：对所述输入视频流进行对称的重编码，得到所述重编码视频流。

4.根据权利要求3所述的方法，其特征在于，对所述输入视频流进行对称的重编码，得到所述重编码视频流，包括：

获取所述输入视频的第一身份标识；

对所述输入视频流进行重编码，得到所述重编码视频流；

将所述重编码视频流的身份标识设置为所述第一身份标识。

5.根据权利要求3所述的方法，其特征在于，对所述输入视频流进行非对称的重编码，得到所述重编码视频流，包括：

获取所述输入视频的第一身份标识；

对所述输入视频流进行重编码，得到所述重编码视频流；

将所述重编码视频流的身份标识设置为第二身份标识，其中，所述第一身份标识与所述第二身份标识不同。

6.根据权利要求1所述的方法，其特征在于，根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流，还包括：

使用会议系统的多画面融合模块对所述输入视频流进行所述重编码，所述会议系统是所述视频会议的软件系统。

7.根据权利要求5所述的方法，其特征在于，

将所述重编码视频流的身份标识设置为第二身份标识，包括：获取转码模拟终端的身份标识，根据所述转码模拟终端的身份标识确定所述第二身份标识，其中，转码模拟终端是动态生成的虚拟终端；

在所述对所述输入视频流进行所述非对称的重编码之后，所述方法还包括：将未经所述重编码的所述输入视频确定为填充画面；将所述填充画面输入所述视频会议的多画面融合布局，生成多画面融合视频流。

8.一种视频流的发送装置，其特征在于，包括：

获取模块，用于获取多个终端中每个所述终端的属性信息，其中，所述属性信息包括第一属性信息和第二属性信息，所述第一属性信息用于指示所述终端的发送的视频流是否需要重编码，所述第二属性信息用于指示所述终端接收的视频流是否为重编码视频流，所述多个终端参与同一视频会议；

重编码模块，用于根据每个所述终端的属性信息对输入视频流进行重编码，得到重编码视频流；

发送模块，用于根据每个所述终端的属性信息，将所述输入视频流或所述重编码视频流发送至所述多个终端中的部分终端或全部终端。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。