CN103517137A - 网络视频传输方法和系统、发送/接收端处理方法和装置 - Google Patents

Abstract

本发明提供一种网络视频传输方法和系统、发送/接收端处理方法和装置，所述网络视频传输方法包括：接收端将各个网络视频的播放窗口的分辨率上报；发送端根据所述接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；接收端接收所述视频数据后，将所述视频数据在对应的所述播放窗口中播放。本发明能够允许网络视频通信的接收端自定义播放窗口大小，并且不影响视频质量。

Description

网络视频传输方法和系统、发送/接收端处理方法和装置

技术领域

本发明涉及网络视频的技术领域，特别是涉及一种网络视频传输方法，一种网络视频传输系统，一种网络视频发送端和一种网络视频接收端。

背景技术

随着互联网日新月异的发展，网络视频技术的发展也突飞猛进，并广泛用于各行各业中，例如娱乐视频聊天，商务视频会议，视频监控展览等。

一般的网络视频通信技术，主播端作为视频发送方，首先通过摄像头等视频采集设备按一帧帧图像采集视频，然后进行编码压缩然后传输到网络。而观众作为视频接收方，需要从网络上接收视频数据包进行解码还原成每帧图像并按序列播放。这个过程一般首先要由观众向主播订阅，主播根据订阅的观众将视频流通过服务器转发到相应的观众客户端中。对于多个主播视频场景下，一个观众可能同时要向多个主播同时订阅视频，一个主播也可能要向多个订阅视频的观众发布视频。

而目前一般的网络多人网络视频应用在2人以上的视频通讯中，各个视频播放窗口的大小是固定不变的，并且其接收的网络视频的分辨率也是固定的。即在固定窗口情况下，观众看到的视频的分辨率也固定不变。

然而，这样观众端就无法对网络视频播放窗口进行个性化设置，特别是在很多视频会议的场景下，窗口的大小、位置都无法由用户设定，会很不方便。例如很多主播需要缩小本地的视频，而放大其他视频窗口。

而如果由观众自己去调节网络视频播放窗口的大小，则有可能影响网络视频的播放质量。如果观众端的播放窗口很大，而其对应的视频源过来的码率却很小，在该大窗口中播放分辨率低的视频数据，则视频播放质量必然会受到影响，播放窗口多出来的像素需要用其他颜色填充，画面就变得粗糙了，甚至会引起色阶缺失而造成马赛克的现象。

发明内容

针对上述网络视频通信中视频接收端的播放窗口无法调整的技术问题，本发明提出一种能够允许网络视频通信的接收端自定义播放窗口大小，并且不影响视频质量的网络视频传输方法以及一种网络视频传输系统。

一种网络视频传输方法，包括：

接收端将各个网络视频的播放窗口的分辨率上报；

发送端根据所述接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；

接收端接收所述视频数据后，将所述视频数据在对应的所述播放窗口中播放。

一种网络视频传输系统，包括：接收端处理装置和发送端处理装置，

所述发送端处理装置用于根据接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；

所述接收端处理装置用于将各个网络视频的播放窗口的分辨率上报，接收发送端输出的视频数据后，将所述视频数据在对应的所述播放窗口中播放。

本发明的网络视频传输方法以及网络视频传输系统，接收端将视频数据接收端的播放窗口的分辨率上报，发送端按照接收端的播放窗口的分辨率设置输出视频数据的分辨率；接收端接收所述视频数据后，将其在具有对应分辨率的播放窗口中播放。即使接收端自定义调整了播放窗口的大小，改变了播放窗口的分辨率，也可以通过接收端重新上报接收端的播放窗口的分辨率，发送端按照调整后的播放窗口的分辨率调整发送的视频分辨率，则网络视频的分辨率和播放窗口的分辨率相同，既允许网络视频通信的接收端自定义播放窗口大小，又不影响视频质量。

针对上述网络视频通信中视频接收端的播放窗口无法调整的技术问题，本发明提出一种能够允许网络视频通信的接收端自定义播放窗口大小，并且不影响视频质量的网络视频发送端处理方法以及一种网络视频发送端处理装置。

一种网络视频发送端处理方法，包括：

获取各个接收端的网络视频播放窗口的分辨率；

根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

一种网络视频发送端处理装置，包括：

分辨率获取模块，用于获取各个接收端的网络视频播放窗口的分辨率；

分辨率设置模块，用于根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

本发明的网络视频发送端处理方法以及网络视频发送端处理装置，根据各个视频数据接收端的播放窗口的分辨率，来设置发送端本地的输出视频数据的分辨率。即使接收端自定义调整了播放窗口的大小，改变了播放窗口的分辨率，也可以通过本发明使得发送端按照调整后的播放窗口的分辨率调整发送的视频分辨率，使网络视频的分辨率和播放窗口的分辨率相同，既允许网络视频通信的接收端自定义播放窗口大小，又不影响视频质量。

针对上述网络视频通信中视频接收端的播放窗口无法调整的技术问题，本发明提出一种能够允许网络视频通信的接收端自定义播放窗口大小，并且不影响视频质量的网络视频接收端处理方法以及一种网络视频接收端处理装置。

一种网络视频接收端处理方法，包括：

将接收端的各个网络视频的播放窗口的分辨率上报；

接收发送端根据所述播放窗口的分辨率采集的视频数据；

将所述视频数据在具有对应分辨率的所述播放窗口中播放。

一种网络视频接收端处理装置，包括：

分辨率上传模块，用于将接收端的各个网络视频的播放窗口的分辨率上报；

接收模块，用于接收发送端根据所述播放窗口的分辨率采集的视频数据；

播放模块，用于将所述视频数据在具有对应分辨率的所述播放窗口中播放。

本发明的网络视频接收端处理方法以及网络视频接收端处理装置，将视频数据接收端的播放窗口的分辨率上报，使发送端按照接收端的播放窗口的分辨率设置输出视频数据的分辨率，并接收所述视频数据，将其在具有对应分辨率的播放窗口中播放。即使接收端自定义调整了播放窗口的大小，改变了播放窗口的分辨率，也可以通过本发明重新上报接收端的播放窗口的分辨率，使得发送端按照调整后的播放窗口的分辨率调整发送的视频分辨率，则网络视频的分辨率和播放窗口的分辨率相同，既允许网络视频通信的接收端自定义播放窗口大小，又不影响视频质量。

附图说明

图1是本发明网络视频传输方法的流程示意图；

图2是本发明的网络视频接收端处理方法的流程示意图；

图3是本发明的网络视频发送端处理方法的流程示意图；

图4是本发明网络视频传输系统的结构示意图；

图5是本发明的网络视频接收端处理装置的结构示意图；

图6是本发明的网络视频发送端处理装置的结构示意图。

具体实施方式

请参阅图1，图1是本发明网络视频传输方法的流程示意图。

所述网络视频传输方法，包括以下步骤：

S102，接收端将各个网络视频的播放窗口的分辨率上报；

S104，发送端根据所述接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；

S106，接收端接收所述视频数据后，将所述视频数据在对应的所述播放窗口中播放。

本发明的网络视频传输方法中，接收端将视频数据接收端的播放窗口的分辨率上报，发送端按照接收端的播放窗口的分辨率设置输出视频数据的分辨率；接收端接收所述视频数据后，将其在具有对应分辨率的播放窗口中播放。即使接收端自定义调整了播放窗口的大小，改变了播放窗口的分辨率，也可以通过接收端重新上报接收端的播放窗口的分辨率，发送端按照调整后的播放窗口的分辨率调整发送的视频分辨率，则网络视频的分辨率和播放窗口的分辨率相同，既允许网络视频通信的接收端自定义播放窗口大小，又不影响视频质量。

所述网络视频传输方法可从网络视频发送端的处理方法和网络视频接收端的处理方法两个部分加以分别说明，以下分别说明本发明的网络视频接收端处理方法以及网络视频发送端处理方法。

参阅图2，图2是本发明的网络视频接收端处理方法的流程示意图。

所述网络视频接收端处理方法，包括以下步骤：

S202，将接收端的各个网络视频的播放窗口的分辨率上报；

S204，接收发送端根据所述播放窗口的分辨率采集的视频数据；

S206，将所述视频数据在具有对应分辨率的所述播放窗口中播放。

在网络视频的接收端主要是要实现播放窗口的分辨率上报，使发送端能够根据上报的分辨率设置输出视频数据的分辨率。

其中，在步骤S202，各个网络视频的播放窗口的分辨率的获取可以通过读取所述窗口的属性或者对所述播放窗口进行分辨率检测等方法实现。在一个实施方式中，对所述播放窗口进行分辨率跟踪，当所述播放窗口的分辨率改变时，即时获取所述播放窗口的最新的分辨率进行上报。也可以进一步对所述播放窗口进行位置跟踪，允许对所述播放窗口的位置进行调整，当所述播放窗口的位置改变时，获取最新的位置数据，根据所述新的位置数据在所述播放窗口中播放相应的网络视频。

所述分辨率的上报可以直接上报至相应的网络视频发送端；也可以上报至服务器，网络视频发送端自行从所述服务器中获取。

在一个实施方式中，各个所述网络视频发送端和各个所述网络视频接收端通过用户标记uid来唯一识别，uid可以是一个8字节的唯一的值，通过所述用户标记可以识别网络视屏传输双方的身份。而在视频传输过程中，通过视频标记streamid来标记对应的网络视频发送端发送的视频数据。streamid可以是个16字节的值，其中高8位就是用户的uid，低八位则是一个时间值，因此uid也是该视频会话的唯一性的标识。

在多人视频通信过程中，在进行视频通信的各方首先需要建立一个会话（房间）频道，但是该频道是由参与该会话的用户专用的，频道内的视频源只能由参与的用户才有权限产生。根据所述uid可设置参与会话频道的用户的权限，当用户进入频道，系统如果鉴别该用户的uid不是该频道会话的主播uid之一，则无权限上传视频给其他用户。

视频接收端的视频播放窗口数由其选择的主播数决定，通过本发明，用户可以自定义播放窗口大小和位置。或者，可以由系统根据屏幕总分辨率大小和主播数做一个初始化的自适应播放窗口的大小。例如一个视频播放窗口的实际应用方案中，1920*1080像素的桌面上需要有四个视频播放窗口布局，各窗口可各占640*480像素。

对于按系统自适应播放窗口大小的情况，播放窗口大小按客户端的屏幕分辨率做平均初始化，因此上报的分辨率即为初始化的播放窗口大小。而对于用户自定义窗口大小的情况，上报的分辨率则为定制的各个播放窗口大小。

在步骤S204，接收发送端根据所述播放窗口的分辨率采集的视频数据。

当网络视频发送端获取到网络视频接收端上报的播放窗口分辨率数据之后，即根据该播放窗口的分辨率调整视频数据的输出分辨率。网络视频发送端调整视频数据输出分辨率的方法可以包括：在视频采集过程中，调整视频采集的分辨率；在视频编码过程中，调整视频数据的分辨率等。

对于前者，网络视频的采集一般通过摄像头进行采集，因此，可以通过调整摄像头的采集分辨率，来实现对输出视频分辨率的调整。即，根据接收端要求的分辨率，发送端首先在采集端做采集分辨率的调整。一般来说摄像头出厂时总是设置在最佳状态，摄像头分辨率是硬件指标，改大了也只是差值输出。PC摄像头无驱的一般默认分辨率是640*480，而有驱动的一般默认分辨率是320*240。当然有些高清红外摄像头现在也可在一些视频直播间中设置分辨率更高。因此为了配合接收端的分辨率要求，发送端使摄像头驱动打开设置摄像头有效分辨率范围内的对应值，有效利用摄像头的采集效果。例如接收端上报的分辨率要求为320*240，主播尽量用该分辨率去打开摄像头采集视频，而如果采用默认的640*480则会需要高码率的支撑，造成不必要的资源浪费。

对于后者，在视频编码过程中，通过编码方式的调整，来调整视频数据的分辨率。

对于步骤S206，将所述视频数据在具有对应分辨率的所述播放窗口中播放。

在接收到发送端输出的网络视频数据之后，接收端可根据用户标记或视频标记识别接收的视频数据的来源，从而获得所述视频数据的分辨率，或者直接识别所述视频数据的分辨率，然后将该视频数据在本地打开的具有对应分辨率的所述播放窗口中播放。使具有相应分辨率的视频数据在合适的播放窗口中播放，使播放效果更佳。

例如，对于用户在接收端本地同时自定义了较大的播放窗口A和较小的播放窗口B，播放窗口A的视频数据来源于发送端1，播放窗口B的视频数据来源于发送端2；

通过本发明的网络视频接收端处理方法，分别上报所述播放窗口A、B的分辨率，使发送端1，2分别根据所述播放窗口A、B的分辨率设置输出视频数据的分辨率；接收端接收所述发送端1,2分别输出的视频数据流stream1和stream2，然后将所述视频数据流stream1在所述播放窗口A中播放，将所述视频数据流stream2在所述播放窗口B中播放。使得大窗口的视频播放出高分辨率的效果，而小窗口则不需要那么大的分辨率也足够清晰，因此可以降低分辨率从而减少发送端编码码率，减少没必要的资源浪费，也给其他高码率的视频源让出带宽。

在一个实施方式中，本发明的网络视频接收端处理进一步包括以下步骤：

如果接收的视频数据的峰值信噪比高于预设的信噪比最大值，则降低上报的分辨率；如果接收的视频数据的峰值信噪比低于预设的信噪比最小值，则提高上报的分辨率。

在本实施方式中，接收端作峰值信噪比（psnr）的统计。psnr（峰值信噪比用来评价一幅图像压缩后和原图像相比质量的好坏，单位是dB。通常psnr值越大,就代表失真越少。在一定的码率下，进行分辨率调整后，若psnr太低，则按5%的幅度来降低上报的分辨率，使得网络视频的画质提高；若psnr值较高，甚至在35dB以上，则按5%的幅度提高上报的分辨率，这样在保证一定画质的同时，也提高清晰度。

在一个实施方式中，接收端实际分辨率的改变也要上报服务器。

在接收端还可以做一些其他的统计，如实际视频分辨率，rtt(Round-TripTime，往返时延)和丢包率的统计。上述各项统计结果也可以上报服务器。

对于在发送端的rtt和丢包率的统计，通过上报服务器可以使发送端得知接收端接收视频流的下行情况，如果平均rtt和丢包率比预设较大，那么服务器可通知发送端做降低码率处理；反之则通知发送端可以接受更大的码率，可以做码率提升处理。码率的改变还要参考发送端的上行带宽。

参阅图3，图3是本发明的网络视频发送端处理方法的流程示意图。

所述网络视频发送端处理方法，包括以下步骤：

S302，获取各个接收端的网络视频播放窗口的分辨率；

S304，根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

在网络视频的发送端主要实现根据接收端上报的播放窗口的分辨率，调整本地输出的视频数据的分辨率。

其中，在步骤S302，所述接收端上报的播放窗口的分辨率可以通过接收端直接上报给发送端的方式获取，也可以通过接收端上报服务器，发送端从相应的服务器中获取的方式获得。

在一个实施方式中，各个所述网络视频发送端和各个所述网络视频接收端通过用户标记uid来唯一识别，而网络视频数据则通过视频标记streamid来标记。所述接收端上报的分辨率请求也可通过所述用户标记uid或者视频标记streamid来标识。

S304，根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

当网络视频发送端获取到网络视频接收端上报的播放窗口分辨率数据之后，即根据该播放窗口的分辨率调整视频数据的输出分辨率。网络视频发送端调整视频数据输出分辨率的方法可以包括：在视频采集过程中，调整视频采集的分辨率；在视频编码过程中，调整视频数据的分辨率等。

对于前者，网络视频的采集一般通过摄像头进行采集，因此，可以通过调整摄像头的采集分辨率，来实现对输出视频分辨率的调整。即，根据接收端要求的分辨率，发送端首先在采集端做采集分辨率的调整。

对于后者，在视频编码过程中，通过编码方式的调整，来调整视频数据的分辨率。

另一方面，通常的网络视频通信模式可以包括单个或多个发送端和接收端，因此一个发送端可能需要同时对多个接收端发送视频数据，也可能对一个接收端发送视频数据。在一对一的通信模式中只需要根据一个接收端上报的分辨率来设置本地输出的视频数据即可。而对于同时具有多个接收端的情形，这可能需要根据多个分辨率数据进行设定。本发明提供以下几种方法进行分辨率处理，用户可以根据自己的需要或者带宽情况进行设定：

第一种方式为：

根据各个接收端的播放窗口的分辨率，获取所述分辨率的中间值；

根据所述分辨率的中间值设置输出视频数据的分辨率。

本方式中将多个接收端的的播放窗口的分辨率取中间值，将所述中间值设置为输出视频的分辨率。在输出端只输出一种分辨率的视频数据，使输出端的处理简单。输出分辨率基于所述中间值设置，所以基本上与各个接收端上报的分辨率接近，基本上能满足接收端网络视频分辨率设置的需求。

其中，获取所述分辨率的中间值的方法可以为：

计算各个所述接收端的播放窗口的分辨率的平均值；

在视频采集设备的各个预设分辨率之中，选择与所述平均值最接近的一个作为所述分辨率的中间值。

通常的网络视频都通过摄像头等视频采集设备采集，而摄像头等大部分具有可选的多种预设分辨率，因此可在所述多种预设分辨率选取最接近所述中间值的一个设置所述视频采集设备采集视频数据的分辨率，从而使输出视频的分辨率接近所述播放窗口的分辨率平均值。

另一种方式为：

发送端根据各个接收端的播放窗口的分辨率，分别以各个所述分辨率设置发送给对应接收端的视频数据的分辨率，并分别将各个视频数据输出给对应的接收端。

在本实施方式中，发送端根据各个接收端上报的分辨率，对每个接收端设定特定分辨率的视频数据，因此在发送端可能会产生多个不同分辨率的视频数据，对发送端的上行带宽造成的压力较大，但对接收端的分辨率请求满足较好。能够使各个接收端接收的视频数据的分辨率都与其上报的分辨率一致，真正做到接收端自定义网络视频分辨率。

在一个优选实施方式中，所述网络视频发送端处理方法在根据所述播放窗口的分辨率设置输出视频数据的分辨率之后，进一步执行以下步骤：

获取发送端与接收端之间数据传输的往返时延和丢包率；

如果所述往返时延高于预设的时延最大值和/或所述丢包率提高，则降低输出码率；

如果所述往返时延低于预设的时延最小值和/或所述丢包率降低，则提高输出码率。

编码中有一个重要的概念就是码率，码率就是数据传输时单位时间传送的数据位数，一般我们用的单位是kbps即千位每秒。对于码率通俗的理解就是数据取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件。

码率并不能简单追求高画质而提高，还要考虑到主播上行带宽和观众的下行带宽。网络上行带宽的影响直接决定了主播上传的码率，在一般情况下，在发送端必须保证码率不能大于上行带宽，另外也要兼顾接收端的下行带宽影响。比如4个主播的话，每个发送端都以150kbps码率来编码，那么每个接收端都必须有600kbps的下行带宽才能流畅播放。

因此，对于自适应分辨率之后的码率调整，需要根据分辨率上报的情况进行动态调整。例如在接收端上报的分辨率中，平均分辨率若是640*480，则在4个用户参与的视频通信场景中，用150kbps的初始码率去编码。发送端通过对发送的视频包进行一个rtt(Round-TripTime，往返时延)统计和丢包统计，如果发现延时比较严重或者丢包率开始增加，则降低码率，保持网络顺畅以及合理的延时和丢包率；反之可以提高码率，以提高视频质量。

进一步地，所述网络视频发送端处理方法可进一步包括以下步骤：

如果对视频数据的编码帧率低于预设的帧率最小值，则对所述视频数据进行补帧处理，并降低输出视频数据的分辨率；

如果对视频数据的编码帧率高于预设的帧率最大值，则对所述视频数据进行降帧处理。

帧率是影响视频播放流畅度的一个重要指标。有效地调节采样帧率，可以为同样的画质节省一定的码率，或在相同码率下获得更好的画质。本发明对于帧率采用以下方式的调整：

1)如果发送端采集的帧率非常低，甚至低于10FPS（如主播摄像头比较差，或者机器比较差，cpu被其他程序占用比较多的情况），采取补帧措施，在采集到的帧中间插入前后帧进行帧率补偿，例如可补偿到10FPS。在这种情况下，一般分辨率会比接收端上报的分辨率略低，以保持恒定的码率。

2)如果发送端采集帧率较高，甚至大大高于视频通信所用的帧数。则首先维持恒定的码率情况下，执行降帧操作，这样就给视频分辨率带来提升的空间。当然对于一些分辨率已经很高的情况，例如640*480以上的分辨率，则不再提高分辨率。

进一步地，如果执行补帧处理并且所述输出码率提高，则重新提高输出视频数据的分辨率，以提高视频质量；如果执行补帧处理并且所述输出码率降低，则保持或降低输出视频数据的分辨率，以维持稳定的网络环境；

如果执行降帧处理并且所述输出码率降低，则保持输出视频数据的分辨率不变，因为输出码率降低的同时执行了降帧操作，所以分辨率可以维持不变，以保持视频质量；如果执行降帧处理并且所述输出码率提高，则提高输出视频数据的分辨率，因为降帧并且输出码率提高，所以分辨率的提高空间较大，提高分辨率以提高视频质量，充分利用码率资源。这样尽量使清晰度和画质一起提高，而不影响流畅度。

在一个实施方式中，所述接收端对播放窗口的分辨率上报可以以预订周期反复进行，例如每五分钟上报一次；所述发送端对接收端的分辨率请求同样可以以预订周期进行，例如每五分钟处理一次。

如果所述接收端的播放窗口的分辨率大于当前输出视频数据的分辨率达到触发值，则提高输出视频数据的分辨率；

如果所述接收端的播放窗口的分辨率小于当前输出视频数据的分辨率达到触发值，则保持或降低输出视频数据的分辨率

所述触发值可以根据实际调整要求设定，例如为5%。一般新得到的平均采用分辨率在上次得到的平均分辨率的波动范围5%以内，认为是稳定，不修改分辨率。否则做以下处理：对于上报分辨率比当前采样分辨率大，采样分辨率可以稍微提高以适应接收端播放的分辨率，并通知码率可以做上调操作。如果上报分辨率比当前采样分辨率小，则认为画质不够，若码率有提高的空间则不改变分辨率，不然则不改变码率且降低分辨率。

发送端采样编码和接收端解码播放调整互相制约影响，不断地轮询以达到一个更好的平衡。

请参阅图4，图4是本发明网络视频传输系统的结构示意图。

所述网络视频传输系统，包括接收端处理装置10和发送端处理装置20，

所述发送端处理装置20用于根据接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；

所述接收端处理装置10用于将各个网络视频的播放窗口的分辨率上报，接收发送端输出的视频数据后，将所述视频数据在对应的所述播放窗口中播放。

本发明的网络视频传输系统中，接收端将视频数据接收端的播放窗口的分辨率上报，发送端按照接收端的播放窗口的分辨率设置输出视频数据的分辨率；接收端接收所述视频数据后，将其在具有对应分辨率的播放窗口中播放。即使接收端自定义调整了播放窗口的大小，改变了播放窗口的分辨率，也可以通过接收端重新上报接收端的播放窗口的分辨率，发送端按照调整后的播放窗口的分辨率调整发送的视频分辨率，则网络视频的分辨率和播放窗口的分辨率相同，既允许网络视频通信的接收端自定义播放窗口大小，又不影响视频质量。

参阅图5，图5是本发明的网络视频接收端处理装置的结构示意图。

所述网络视频接收端处理10包括：

分辨率上传模块110，用于将接收端的各个网络视频的播放窗口的分辨率上报；

接收模块120，用于接收发送端根据所述播放窗口的分辨率采集的视频数据；

播放模块130，用于将所述视频数据在具有对应分辨率的所述播放窗口中播放。

在网络视频的接收端处理装置主要是要实现播放窗口的分辨率上报，使发送端能够根据上报的分辨率设置输出视频数据的分辨率。

所述分辨率上传模块110对各个网络视频的播放窗口的分辨率的获取可以通过读取所述窗口的属性或者对所述播放窗口进行分辨率检测等方法实现。在一个实施方式中，对所述播放窗口进行分辨率跟踪，当所述播放窗口的分辨率改变时，即时获取所述播放窗口的最新的分辨率进行上报。也可以进一步对所述播放窗口进行位置跟踪，允许对所述播放窗口的位置进行调整，当所述播放窗口的位置改变时，获取最新的位置数据，根据所述新的位置数据在所述播放窗口中播放相应的网络视频。

所述分辨率上传模块110对所述分辨率的上报可以直接上报至相应的网络视频发送端；也可以上报至服务器，网络视频发送端自行从所述服务器中获取。

在一个实施方式中，各个所述网络视频发送端和各个所述网络视频接收端通过用户标记uid来唯一识别，uid可以是一个8字节的唯一的值，通过所述用户标记可以识别网络视屏传输双方的身份。而在视频传输过程中，通过视频标记streamid来标记对应的网络视频发送端发送的视频数据。streamid可以是个16字节的值，其中高8位就是用户的uid，低八位则是一个时间值，因此uid也是该视频会话的唯一性的标识。

在多人视频通信过程中，在进行视频通信的各方首先需要建立一个会话（房间）频道，但是该频道是由参与该会话的用户专用的，频道内的视频源只能由参与的用户才有权限产生。根据所述uid可设置参与会话频道的用户的权限，当用户进入频道，系统如果鉴别该用户的uid不是该频道会话的主播uid之一，则无权限上传视频给其他用户。

视频接收端的视频播放窗口数由其选择的主播数决定，通过本发明，用户可以自定义播放窗口大小和位置。或者，可以由系统根据屏幕总分辨率大小和主播数做一个初始化的自适应播放窗口的大小。例如一个视频播放窗口的实际应用方案中，1920*1080像素的桌面上需要有四个视频播放窗口布局，各窗口可各占640*480像素。

对于按系统自适应播放窗口大小的情况，播放窗口大小按客户端的屏幕分辨率做平均初始化，因此上报的分辨率即为初始化的播放窗口大小。而对于用户自定义窗口大小的情况，上报的分辨率则为定制的各个播放窗口大小。

所述接收模块120接收发送端根据所述播放窗口的分辨率采集的视频数据。

当网络视频发送端获取到网络视频接收端上报的播放窗口分辨率数据之后，即根据该播放窗口的分辨率调整视频数据的输出分辨率。网络视频发送端调整视频数据输出分辨率的方法可以包括：在视频采集过程中，调整视频采集的分辨率；在视频编码过程中，调整视频数据的分辨率等。

对于前者，网络视频的采集一般通过摄像头进行采集，因此，可以通过调整摄像头的采集分辨率，来实现对输出视频分辨率的调整。即，根据接收端要求的分辨率，发送端首先在采集端做采集分辨率的调整。一般来说摄像头出厂时总是设置在最佳状态，摄像头分辨率是硬件指标，改大了也只是差值输出。PC摄像头无驱的一般默认分辨率是640*480，而有驱动的一般默认分辨率是320*240。当然有些高清红外摄像头现在也可在一些视频直播间中设置分辨率更高。因此为了配合接收端的分辨率要求，发送端使摄像头驱动打开设置摄像头有效分辨率范围内的对应值，有效利用摄像头的采集效果。例如接收端上报的分辨率要求为320*240，主播尽量用该分辨率去打开摄像头采集视频，而如果采用默认的640*480则会需要高码率的支撑，造成不必要的资源浪费。

对于后者，在视频编码过程中，通过编码方式的调整，来调整视频数据的分辨率。

所述播放模块130将所述视频数据在具有对应分辨率的所述播放窗口中播放。

在接收到发送端输出的网络视频数据之后，接收端可根据用户标记或视频标记识别接收的视频数据的来源，从而获得所述视频数据的分辨率，或者直接识别所述视频数据的分辨率，然后将该视频数据在本地打开的具有对应分辨率的所述播放窗口中播放。使具有相应分辨率的视频数据在合适的播放窗口中播放，使播放效果更佳。

例如，对于用户在接收端本地同时自定义了较大的播放窗口A和较小的播放窗口B，播放窗口A的视频数据来源于发送端1，播放窗口B的视频数据来源于发送端2；

通过本发明的网络视频接收端处理方法，分别上报所述播放窗口A、B的分辨率，使发送端1，2分别根据所述播放窗口A、B的分辨率设置输出视频数据的分辨率；接收端接收所述发送端1,2分别输出的视频数据流stream1和stream2，然后将所述视频数据流stream1在所述播放窗口A中播放，将所述视频数据流stream2在所述播放窗口B中播放。使得大窗口的视频播放出高分辨率的效果，而小窗口则不需要那么大的分辨率也足够清晰，因此可以降低分辨率从而减少发送端编码码率，减少没必要的资源浪费，也给其他高码率的视频源让出带宽。

在一个实施方式中，如果接收的视频数据的峰值信噪比高于预设的信噪比最大值，则所述分辨率上传模块110降低上报的分辨率；如果接收的视频数据的峰值信噪比低于预设的信噪比最小值，则所述分辨率上传模块110提高上报的分辨率。

在本实施方式中，接收端作峰值信噪比（psnr）的统计。psnr（峰值信噪比用来评价一幅图像压缩后和原图像相比质量的好坏，单位是dB。通常psnr值越大，就代表失真越少。在一定的码率下，进行分辨率调整后，若psnr太低，则所述分辨率上传模块110按5%的幅度来降低上报的分辨率，使得网络视频的画质提高；若psnr值较高，甚至在35dB以上，则所述分辨率上传模块110按5%的幅度提高上报的分辨率，这样在保证一定画质的同时，也提高清晰度。

在一个实施方式中，所述所述分辨率上传模块110将接收端的实际分辨率的改变也上报服务器。

在网络视频接收端处理装置，还可以包括参数统计模块，用于实际视频分辨率，rtt(Round-TripTime，往返时延)和丢包率的统计。上述各项统计结果也可以上报服务器。

对于在发送端的rtt和丢包率的统计，通过上报服务器可以使发送端得知接收端接收视频流的下行情况，如果平均rtt和丢包率比预设较大，那么服务器可通知发送端做降低码率处理；反之则通知发送端可以接受更大的码率，可以做码率提升处理。码率的改变还要参考发送端的上行带宽。

参阅图6，图6是本发明的网络视频发送端处理装置的结构示意图。

所述网络视频发送端处理装置20，包括：

分辨率获取模块210，用于获取各个接收端的网络视频播放窗口的分辨率；

分辨率设置模块220，用于根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对。

在网络视频的发送端处理装置20主要实现根据接收端上报的播放窗口的分辨率，调整本地输出的视频数据的分辨率。

其中，所述分辨率获取模块210对所述接收端上报的播放窗口的分辨率的获取方式可以通过接收端直接上报给发送端的方式获取，也可以通过接收端上报服务器，发送端从相应的服务器中获取的方式获得。

在一个实施方式中，各个所述网络视频发送端和各个所述网络视频接收端通过用户标记uid来唯一识别，而网络视频数据则通过视频标记streamid来标记。所述接收端上报的分辨率请求也可通过所述用户标记uid或者视频标记streamid来标识。

所述分辨率设置模块220根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

当网络视频发送端获取到网络视频接收端上报的播放窗口分辨率数据之后，即根据该播放窗口的分辨率调整视频数据的输出分辨率。所述分辨率设置模块220调整视频数据输出分辨率的方法可以包括：在视频采集过程中，调整视频采集的分辨率；在视频编码过程中，调整视频数据的分辨率等。

对于前者，网络视频的采集一般通过摄像头进行采集，因此，可以通过调整摄像头的采集分辨率，来实现对输出视频分辨率的调整。即，根据接收端要求的分辨率，发送端首先在采集端做采集分辨率的调整。

对于后者，在视频编码过程中，通过编码方式的调整，来调整视频数据的分辨率。

另一方面，通常的网络视频通信模式可以包括单个或多个发送端和接收端，因此一个发送端可能需要同时对多个接收端发送视频数据，也可能对一个接收端发送视频数据。在一对一的通信模式中只需要根据一个接收端上报的分辨率来设置本地输出的视频数据即可。而对于同时具有多个接收端的情形，这可能需要根据多个分辨率数据进行设定。本发明所述分辨率设置模块220可以通过以下方式进行分辨率处理，用户可以根据自己的需要或者带宽情况进行设定：

第一种方式，所述分辨率设置模块220根据各个接收端的播放窗口的分辨率，获取所述分辨率的中间值，并根据所述分辨率的中间值设置输出视频数据的分辨率。

本方式中将多个接收端的的播放窗口的分辨率取中间值，将所述中间值设置为输出视频的分辨率。在输出端只输出一种分辨率的视频数据，使输出端的处理简单。输出分辨率基于所述中间值设置，所以基本上与各个接收端上报的分辨率接近，基本上能满足接收端网络视频分辨率设置的需求。

其中，所述分辨率设置模块220可以计算各个所述接收端的播放窗口的分辨率的平均值，然后在视频采集设备的各个预设分辨率之中，选择与所述平均值最接近的一个作为所述分辨率的中间值。

通常的网络视频都通过摄像头等视频采集设备采集，而摄像头等大部分具有可选的多种预设分辨率，因此可在所述多种预设分辨率选取最接近所述中间值的一个设置所述视频采集设备采集视频数据的分辨率，从而使输出视频的分辨率接近所述播放窗口的分辨率平均值。

另一种方式，所述分辨率设置模块220根据各个接收端的播放窗口的分辨率，分别以各个所述分辨率设置发送给对应接收端的视频数据的分辨率，并分别将各个视频数据输出给对应的接收端。

在本实施方式中，发送端根据各个接收端上报的分辨率，对每个接收端设定特定分辨率的视频数据，因此在发送端可能会产生多个不同分辨率的视频数据，对发送端的上行带宽造成的压力较大，但对接收端的分辨率请求满足较好。能够使各个接收端接收的视频数据的分辨率都与其上报的分辨率一致，真正做到接收端自定义网络视频分辨率。

在本发明网络视频发送端处理装置20的一个优选实施方式中，所述网络视频发送端处理装置20进一步包括码率调整模块，所述码率调整模块获取发送端与接收端之间数据传输的往返时延和丢包率；如果所述往返时延高于预设的时延最大值和/或所述丢包率提高，则降低输出码率；如果所述往返时延低于预设的时延最小值和/或所述丢包率降低，则提高输出码率。

编码中有一个重要的概念就是码率，码率就是数据传输时单位时间传送的数据位数，一般我们用的单位是kbps即千位每秒。对于码率通俗的理解就是数据取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件。

码率并不能简单追求高画质而提高，还要考虑到主播上行带宽和观众的下行带宽。网络上行带宽的影响直接决定了主播上传的码率，在一般情况下，在发送端必须保证码率不能大于上行带宽，另外也要兼顾接收端的下行带宽影响。比如4个主播的话，每个发送端都以150kbps码率来编码，那么每个接收端都必须有600kbps的下行带宽才能流畅播放。

因此，对于自适应分辨率之后的码率调整，需要根据分辨率上报的情况进行动态调整。例如在接收端上报的分辨率中，平均分辨率若是640*480，则在4个用户参与的视频通信场景中，用150kbps的初始码率去编码。发送端通过对发送的视频包进行一个rtt(Round-TripTime，往返时延)统计和丢包统计，如果发现延时比较严重或者丢包率开始增加，则降低码率，保持网络顺畅以及合理的延时和丢包率；反之可以提高码率，以提高视频质量。

进一步地，所述网络视频发送端处理装置20还可进一步包括帧率调整模块，用于如果对视频数据的编码帧率低于预设的帧率最小值，则对所述视频数据进行补帧处理，并降低输出视频数据的分辨率；如果对视频数据的编码帧率高于预设的帧率最大值，则对所述视频数据进行降帧处理。

帧率是影响视频播放流畅度的一个重要指标。有效地调节采样帧率，可以为同样的画质节省一定的码率，或在相同码率下获得更好的画质。本发明对于帧率采用以下方式的调整：

1)如果发送端采集的帧率非常低，甚至低于10FPS（如主播摄像头比较差，或者机器比较差，cpu被其他程序占用比较多的情况），采取补帧措施，在采集到的帧中间插入前后帧进行帧率补偿，例如可补偿到10FPS。在这种情况下，一般分辨率会比接收端上报的分辨率略低，以保持恒定的码率。

2)如果发送端采集帧率较高，甚至大大高于视频通信所用的帧数。则首先维持恒定的码率情况下，执行降帧操作，这样就给视频分辨率带来提升的空间。当然对于一些分辨率已经很高的情况，例如640*480以上的分辨率，则不再提高分辨率。

进一步地，如果执行补帧处理并且所述输出码率提高，则所述分辨率设置模块220重新提高输出视频数据的分辨率，以提高视频质量；如果执行补帧处理并且所述输出码率降低，则所述分辨率设置模块220保持或降低输出视频数据的分辨率，以维持稳定的网络环境。

如果执行降帧处理并且所述输出码率降低，则保持输出视频数据的分辨率不变，因为输出码率降低的同时执行了降帧操作，所以分辨率可以维持不变，以保持视频质量；如果执行降帧处理并且所述输出码率提高，则提高输出视频数据的分辨率，因为降帧并且输出码率提高，所以分辨率的提高空间较大，提高分辨率以提高视频质量，充分利用码率资源。这样尽量使清晰度和画质一起提高，而不影响流畅度。

在一个实施方式中，所述接收端对播放窗口的分辨率上报可以以预订周期反复进行，例如每五分钟上报一次；所述发送端对接收端的分辨率请求同样可以以预订周期进行，例如每五分钟处理一次。

如果所述接收端的播放窗口的分辨率大于当前输出视频数据的分辨率达到触发值，则提高输出视频数据的分辨率；

如果所述接收端的播放窗口的分辨率小于当前输出视频数据的分辨率达到触发值，则保持或降低输出视频数据的分辨率

所述触发值可以根据实际调整要求设定，例如为5%。一般新得到的平均采用分辨率在上次得到的平均分辨率的波动范围5%以内，认为是稳定，不修改分辨率。否则做以下处理：对于上报分辨率比当前采样分辨率大，采样分辨率可以稍微提高以适应接收端播放的分辨率，并通知码率可以做上调操作。如果上报分辨率比当前采样分辨率小，则认为画质不够，若码率有提高的空间则不改变分辨率，不然则不改变码率且降低分辨率。

发送端采样编码和接收端解码播放调整互相制约影响，不断地轮询以达到一个更好的平衡。

本领域普通技术人员可以理解实现上述实施方式中的全部或部分流程以及对应的系统，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施方式的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种网络视频发送端处理方法，其特征在于，包括以下步骤：

获取各个接收端的网络视频播放窗口的分辨率；

根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

2.如权利要求1所述的网络视频发送端处理方法，其特征在于，根据所述播放窗口的分辨率设置输出视频数据的分辨率的步骤包括：

根据各个接收端的播放窗口的分辨率，获取所述分辨率的中间值；

根据所述分辨率的中间值设置输出视频数据的分辨率。

3.如权利要求2所述的网络视频发送端处理方法，其特征在于，获取所述分辨率的中间值的步骤包括：

计算各个所述接收端的播放窗口的分辨率的平均值；

在视频采集设备的各个预设分辨率之中，选择与所述平均值最接近的一个作为所述分辨率的中间值。

4.如权利要求1所述的网络视频发送端处理方法，其特征在于，根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端的步骤包括：

根据各个接收端的播放窗口的分辨率，分别以各个所述分辨率设置发送给对应接收端的视频数据的分辨率，并分别将各个视频数据输出给对应的接收端。

5.如权利要求1至4任意一项所述的网络视频发送端处理方法，其特征在于，根据所述播放窗口的分辨率设置输出视频数据的分辨率之后，进一步执行以下步骤：

获取发送端与接收端之间数据传输的往返时延和丢包率；

如果所述往返时延高于预设的时延最大值和/或所述丢包率提高，则降低输出码率；

如果所述往返时延低于预设的时延最小值和/或所述丢包率降低，则提高输出码率。

6.如权利要求5所述的网络视频发送端处理方法，其特征在于，进一步包括以下步骤：

如果对视频数据的编码帧率低于预设的帧率最小值，则对所述视频数据进行补帧处理，并降低输出视频数据的分辨率；

如果对视频数据的编码帧率高于预设的帧率最大值，则对所述视频数据进行降帧处理。

7.如权利要求6所述的网络视频发送端处理方法，其特征在于，如果执行补帧处理并且所述输出码率提高，则重新提高输出视频数据的分辨率，如果执行补帧处理并且所述输出码率降低，则保持或降低输出视频数据的分辨率；

如果执行降帧处理并且所述输出码率降低，则保持输出视频数据的分辨率不变；如果执行降帧处理并且所述输出码率提高，则提高输出视频数据的分辨率。

8.一种网络视频发送端处理装置，包括：

分辨率获取模块，用于获取各个接收端的网络视频播放窗口的分辨率；

分辨率设置模块，用于根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端。

9.如权利要求8所述的网络视频发送端处理装置，其特征在于，所述分辨率获取模块根据各个接收端的播放窗口的分辨率，获取所述分辨率的中间值，并根据所述分辨率的中间值设置输出视频数据的分辨率。

10.如权利要求9所述的网络视频发送端处理装置，其特征在于，所述分辨率获取模块计算各个所述接收端的播放窗口的分辨率的平均值，在视频采集设备的各个预设分辨率之中，选择与所述平均值最接近的一个作为所述分辨率的中间值。

11.如权利要求8所述的网络视频发送端处理装置，其特征在于，根据所述播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端的步骤包括：

根据各个接收端的播放窗口的分辨率，分别以各个所述分辨率设置发送给对应接收端的视频数据的分辨率，并分别将各个视频数据输出给对应的接收端。

12.如权利要求8至11任一项所述的网络视频发送端处理装置，其特征在于，所述网络视频发送端处理装置进一步包括码率调整模块，所述码率调整模块获取发送端与接收端之间数据传输的往返时延和丢包率；如果所述往返时延高于预设的时延最大值和/或所述丢包率提高，则降低输出码率；如果所述往返时延低于预设的时延最小值和/或所述丢包率降低，则提高输出码率。

13.如权利要求12所述的网络视频发送端处理装置，其特征在于，所述网络视频发送端处理装置还进一步包括帧率调整模块，用于如果对视频数据的编码帧率低于预设的帧率最小值，则对所述视频数据进行补帧处理，并降低输出视频数据的分辨率；如果对视频数据的编码帧率高于预设的帧率最大值，则对所述视频数据进行降帧处理。

14.如权利要求13所述的网络视频发送端处理装置，其特征在于，如果执行补帧处理并且所述输出码率提高，则所述分辨率设置模块重新提高输出视频数据的分辨率，以提高视频质量；如果执行补帧处理并且所述输出码率降低，则所述分辨率设置模块保持或降低输出视频数据的分辨率，以维持稳定的网络环境。

15.一种网络视频接收端处理方法，其特征在于，包括以下步骤：

将接收端的各个网络视频的播放窗口的分辨率上报；

接收发送端根据所述播放窗口的分辨率采集的视频数据；

将所述视频数据在具有对应分辨率的所述播放窗口中播放。

16.如权利要求15所述的网络视频接收端处理方法，其特征在于，将接收端的各个网络视频的播放窗口的分辨率上报的步骤包括：

如果接收的视频数据的峰值信噪比高于预设的信噪比最大值，则降低上报的分辨率；如果接收的视频数据的峰值信噪比低于预设的信噪比最小值，则提高上报的分辨率。

17.一种网络视频接收端处理装置，其特征在于，包括：

分辨率上传模块，用于将接收端的各个网络视频的播放窗口的分辨率上报；

接收模块，用于接收发送端根据所述播放窗口的分辨率采集的视频数据；

播放模块，用于将所述视频数据在具有对应分辨率的所述播放窗口中播放。

18.如权利要求17所述的网络视频接收端处理装置，其特征在于，所述分辨率上传模块，还用于如果接收的视频数据的峰值信噪比高于预设的信噪比最大值，则降低上报的分辨率；如果接收的视频数据的峰值信噪比低于预设的信噪比最小值，则提高上报的分辨率。

19.一种网络视频数据传输方法，其特征在于，包括：

接收端将各个网络视频的播放窗口的分辨率上报；

发送端根据所述接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；

接收端接收所述视频数据后，将所述视频数据在对应的所述播放窗口中播放。

20.一种网络视频传输系统，其特征在于，包括：接收端处理装置和发送端处理装置；

所述发送端处理装置用于根据接收端的播放窗口的分辨率设置输出视频数据的分辨率，并将所述视频数据输出给对应的接收端；

所述接收端处理装置用于将各个网络视频的播放窗口的分辨率上报，接收发送端输出的视频数据后，将所述视频数据在对应的所述播放窗口中播放。

Images