CN108881972B - 一种码率分配方法、装置、设备和存储介质 - Google Patents
一种码率分配方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN108881972B CN108881972B CN201810861933.8A CN201810861933A CN108881972B CN 108881972 B CN108881972 B CN 108881972B CN 201810861933 A CN201810861933 A CN 201810861933A CN 108881972 B CN108881972 B CN 108881972B
- Authority
- CN
- China
- Prior art keywords
- code rate
- video stream
- allocable
- code
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 17
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种码率分配方法、装置、设备和存储介质，该码率分配方法通过获取视频流的路数；获取每路视频流的活跃度信息；根据总码率以及所述活跃度信息选择可分配码率的视频流；为所述可分配码率的视频流分配码率。上述方案解决了现有技术中单纯依靠分辨率权重比值固定分配码率导致的灵活性低和体验质量差等问题，实现按照体验质量要求选择最需要分配码率的视频流，按等级为视频流阶梯式分配码率，提高用户的体验。
Description
技术领域
本发明实施例涉及通信网络技术领域，尤其涉及一种码率分配方法、装置、设备和存储介质。
背景技术
随着网络相关技术的日益成熟，视频聊天、在线视频直播和网络会议等视频业务已得到十分广泛的运用，这些视频业务中涉及到多路视频传输技术，而多路视频传输的一个关键技术就是码率分配方法。码率分配往往决定视频的体验质量，合理的码率分配方案能够有效地利用带宽，给用户提供最好的服务。
目前的码率分配方案主要是根据视频流的分辨率的大小，为其分配固定的码率，例如，分辨率为720p的视频流固定分配300kb/s的码率，分辨率为360p的视频流固定分配200kb/s的码率；或者根据各视频流分辨率大小关系设定权重值，根据该权重值分配码率，如为分辨率分别为720p、360p和180p的视频流设定权重比值为10:4:1，将总码率按照该权重比值分配到各视频流。然而，这两种码率分配方法灵活性较低，未能满足用户的实际需求，容易出现每路视频流都得到分配，但每路视频流得到的码率都很低，从而出现音视频卡端等技术问题，音视频传输效果很差，大大降低用户的体验质量。
发明内容
本发明提供一种码率分配方法、装置、设备和存储介质，以解决现有码率分配灵活性低、用户体验质量差的技术问题，实现按照体验质量合理分配码率，使得优先级最高的视频流得到最佳的用户体验。
第一方面，本发明实施例提供了一种码率分配方法，包括：
获取视频流的路数；
获取每路视频流的活跃度信息；
根据总码率以及所述活跃度信息选择可分配码率的视频流；
为所述可分配码率的视频流分配码率。
进一步的，所述根据总码率以及所述活跃度信息选择可分配码率的视频流，包括：
根据所述活跃度信息对所述每路视频流进行排序；
确定所述每路视频流的码率分配的优先级，所述优先级由所述活跃度信息的排序结果确定；
根据总码率所处的码率区间确定所述可分配码率的视频流的路数；
选择可分配码率的视频流。
进一步的，所述获取每路视频流的活跃度信息，包括：
检测当前时间段内每路视频流采集到的语音信号的强度或时长。
进一步的，所述为所述可分配码率的视频流分配码率，包括：
获取所述可分配码率的视频流的分辨率信息；
根据所述分辨率信息为所述可分配码率的视频流设置码率级别；
按照设定的分配规则，为所述可分配码率的视频流分配码率。
进一步的，所述码率级别包括下述至少一种级别：
最小码率、目标码率和最大码率。
进一步的，所述按照设定的分配规则，为所述可分配码率的视频流分配码率，具体为：
依次根据第一分配规则、第二分配规则以及第三分配规则为所述可分配码率的视频分配码率，直至所述可分配码率的视频流均满足所述最大码率要求或所述总码率分配完毕；
所述第一分配规则为按照分辨率由低到高为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最小码率要求；
所述第二分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述目标码率要求；
所述第三分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最大码率要求。
第二方面，本发明实施例提供了一种码率分配装置，包括：
视频流路数获取模块，用于获取视频流的路数；
活跃度信息获取模块，用于获取每路视频流的活跃度信息；
视频流选择模块，用于根据总码率以及所述活跃度信息选择可分配码率的视频流；
码率分配模块，用于为所述可分配码率的视频流分配码率。
进一步的，所述视频流选择模块包括：
排序单元，用于根据所述活跃度信息对所述每路视频流进行排序；
优先级确定单元，用于确定所述每路视频流的码率分配的优先级，所述优先级由所述活跃度信息的排序结果确定；
可分配路数确定模块，用于根据总码率所处的码率区间确定所述可分配码率的视频流的路数；
视频流选择单元，用于选择可分配码率的视频流。
进一步的，所述活跃度信息获取模块包括：
检测单元，用于检测当前时间段内所述每路视频流采集到的语音信号强度或语音信号的时长。
进一步的，所述码率分配模块包括：
分辨率获取单元，用于获取所述可分配码率的视频流的分辨率；
码率级别设置单元，用于根据所述分辨率信息为所述可分配码率的视频流设置码率级别；
规则设定与分配单元，用于按照设定的分配规则，为所述可分配码率的视频流分配码率。
进一步的，所述码率级别包括下述至少一种级别：
最小码率、目标码率和最大码率。
进一步的，所述规则设定与分配单元，具体用于依次根据第一分配规则、第二分配规则和第三分配规则为所述可分配码率的视频分配码率，直至所述可分配码率的视频流均满足所述最大码率要求或所述总码率分配完毕；
所述第一分配规则为按照分辨率由低到高为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最小码率要求；
所述第二分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述目标码率要求；
所述第三分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最大码率要求。
第三方面，本发明实施例提供了一种码率分配设备，包括显示屏、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面任一所述的码率分配方法。
第四方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的码率分配方法。
上述提供的码率分配方法、装置、设备和存储介质，通过获取视频流的路数；获取每路视频流的活跃度信息；根据总码率以及所述活跃度信息选择可分配码率的视频流；为所述可分配码率的视频流分配码率，解决了现有技术中单纯依靠分辨率权重比值固定分配码率导致的灵活性低和体验质量差等问题，实现按照体验质量要求选择最需要分配码率的视频流，按等级为视频流阶梯式分配码率，提高用户的体验质量。
附图说明
图1是本发明实施例一提供的一种码率分配方法的流程图；
图2是本发明实施例二提供的一种码率分配方法的流程图；
图3是本发明实施例三提供的一种码率分配装置的结构示意图；
图4是本发明实施例四提供的一种码率分配设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种码率分配方法的流程图。本实施例提供的码率分配方法由码率分配设备执行，该码率分配设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。该码率分配设备可以是电脑、手机、平板、投影仪或智能交互平板等。本实施例中，以智能交互平板为码率分配设备进行示例描述，其中，智能交互平板是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等多种功能。实际应用中，码率分配设备还可以是电脑、平板等其他设备。
在实施例中，智能交互平板安装有会议软件，该会议软件可以理解为用于音视频传输和文本展示软件，例如网络会议视频软件，即该软件可以根据用户对智能交互平板的操作执行音视频传输以及文本展示等功能。进一步的，该会议软件可以预先安装在智能交互平板中，也可以是在智能交互平板启动音视频传输和文本展示等码率分配应用时，从第三方设备或服务器进行下载并安装使用。其中，第三方设备在实施例中不作限定。可以理解的是，在智能交互平板运行该会议软件的场景下，智能交互平板可以执行实施例提供的码率分配方法。
具体的，参考图1，本实施例提供的码率分配方法具体包括以下步骤：
S110、获取视频流的路数。
其中，该视频流的路数为接入到网络视频会议中的全部视频流的总路数。具体的，客户端A创建网络会议，客户端B、C、D、E和F等加入该网络会议，此时，客户端A向服务端请求连接客户端B、C、D、E和F等的视频流。服务端根据客户端所在的视频流，统计出连接到该网络会议的全部视频流的总路数。
S120、获取每路视频流的活跃度信息。
活跃度用于统计当前时间段内用户在视频流中的检测到的语音信号的时长或采集到的语音信号的强度或频次。连接到网络会议中的每路视频流的活跃度信息会根据用户的使用状态不同而不同。在视频会议中，除了需要传输参会者的语音信息外，还往往包括参会者的视频信息，在包含音视频的视频流中，该视频流的码率为音频和视频信息的码率之和。
当用户长时间进行语音交流时，该用户对应的客户端所在的视频流的活跃度越高。当用户长时间沉默或者没有其他操作时，该用户对应的客户端所在的视频流的活跃度越低。当该视频流的活跃度越高，说明当前视频流的体验质量要求越高，视频流的分辨率越高，所要求分配码率的需求越大。反之，当该视频流的活跃度越低，说明当前视频流的体验质量要求越低，视频流的分辨率越低，所要求分配码率的需求越小。
S130、根据总码率以及所述活跃度信息选择可分配码率的视频流。
网络中的总码率应该为每一路视频流的码率之和，可以理解为网络通路中的下行带宽。码率(Data Rate)是指视频文件在单位时间内使用的数据流量，单位为kb/s或Mb/s，是视频编码中画面质量控制中最重要的部分之一。网络通路中的总码率决定了可以满足码率分配的视频流的路数以及视频流中可分配到的码率的大小。由于网络中的总码率是有限的，有时存在着总码率不足以满足所有的视频流的码率需求，因此需要从连接的视频中选择出最需要的视频流以分配码率，而不重要的视频流则少分或不分码率，从而避免每一路视频流都分配到码率但每一路的视频流分配到的码率均很小而导致体验质量差等问题。
实施例中可分配码率的视频流的选择是从请求分配码率的所有视频流中根据所能满足的视频路数以及活跃度的高低来确定。可选的，根据总码率的大小确定可分配码率的视频流的最大路数，并根据各视频流的活跃度进行优先级排序，选择最需要分配码率的视频流，即可分配码率的视频流。当该视频流的活跃度越高，说明当前视频流的体验质量要求越高，视频流的分辨率越高，所要求分配码率的需求越大。
需要说明的是，可分配码率的视频流的路数受到总码率的大小的限制，若当前总码率只能满足一路视频流时，则选择的可分配码率的视频流为活跃度最高的那一路视频流，若同时存在若干路活跃度相同的视频流，也只能根据可满足的路数选择其中一路来进行分配。
S140、为所述可分配码率的视频流分配码率。
其中，为了有效地分配总码率，可以为可分配码率的视频流设定分配规则，按照分配规则来为可分配码率的视频流分配码率，该分配规则是根据实际情况而设定，考虑可分配码率的视频流的数量、分配码率时的顺序以及分配码率的多少等因素。
实施例中，码率分配规则可以是为呈阶梯状的等级分配规则，为每一路可分配码率的视频流划定不同等级的阶梯码率，从低到高逐步满足视频流的码率要求。示例性的，可以划定三个等级的码率，其中第一等级码率<第二等级码率<第三等级码率。其中，第一等级码率可以为满足采用该分辨率所允许的最小码率，若低于该最小码率则无法发送该分辨率的视频；第二等级码率可以为既能保证视频流满足较高的体验质量，也不浪费所分配带宽所需的码率；第三等级码率可以为满足最高体验质量的码率，若高于此码率，则体验质量没有明显的提高反而会导致带宽的浪费。设定阶梯分布的等级分配方法，先使得可分配码率的视频流均满足最基本的码率需求后，再考虑重要的视频流分配更多的码率以提高体验质量。
本实施例提供的技术方案，通过获取视频流的路数；获取每路视频流的活跃度信息；根据总码率以及所述活跃度信息选择可分配码率的视频流；为所述可分配码率的视频流分配码率，解决了现有技术中单纯依靠分辨率权重比值固定分配码率导致的灵活性低和体验质量差等问题，实现按照体验质量要求选择最需要分配码率的视频流，按等级为视频流阶梯式分配码率，提高用户的体验。
实施例二
图2是本发明实施例二提供的一种码率分配方法的流程图。本实施例是在上述实施例一的基础上进行具体化。具体的，参考图2，本实施例提供的码率分配方法具体包括以下步骤：
S201、获取视频流的路数。
S202、检测当前时间段内所述每路视频流采集到的语音信号的强度或时长。
具体的，每路视频流的活跃度可以用当前时间段采集到的语音信号强度或语音信号的时长来表征。若采集到语音信号，说明此时有用户在讲话，此刻该用户所使用的视频流需要更大的码率以保证音视频信息的正常传输。采集到的语音信号强度越大，或者语音信号的时长越长，则说明该语音信号的视频流所需要的码率越大。
S203、根据所述活跃度信息对所述每路视频流进行排序。
当视频流需要分配码率时，向服务端发送分配码率请求。服务端获取全部请求分配码率的视频流，并统计该全部视频流的活跃度，并根据活跃度由高到低进行排序，视频流的排名越靠前，该视频流的活跃度越高。
S204、确定所述每路视频流的码率分配的优先级。
其中，优先级由每路视频流的活跃度信息的排序结果确定。
根据活跃度的排序结果，确定请求分配码率的视频流对体验质量的要求，排名越靠前，对视频流的体验质量的要求越高，视频流的分辨率越高，对码率分配的需求越大，该视频流的码率分配的优先级越高。
S205、根据总码率所处的码率区间确定可分配码率的视频流的路数。
由于总码率有时不能够满足所有的视频流的码率需求，因此划定码率区间来初步判定可满足分配的视频流的路数。根据检测到的当前网络通路中的总码率的大小，判断总码率所处的码率区间，根据请求码率分配的视频流的分辨率，进而判断出当前网络满足可分配的视频流的路数。例如，总码率位于码率区间[0，160kb/s]时，可限定分配1路视频流，该路视频流优选为高分辨率的视频流。码率区间为[160kb/s，420kb/s]可限定分配3路视频流，码率区间为[420kb/s，780kb/s]可限定分配5路视频流，码率区间为[780kb/s，2.4Mb/s]可限定分配7路视频流。可限定分配的视频流的分辨率根据实际情况来确定，可以均为相同分辨率的视频流，也可以是不同分辨率的视频流。需要说明的是，实施例中的码率区间的划分和可限定分配的视频流路数为一个示例说明，可按照实际情况和需求进行重新划分。
为了提高视频体验中的体验质量(Quality of Experience，QoE)，在限定分配的视频流中满足不同分辨率要求的视频流。体验质量是指用户对设备、网络和系统、应用或业务的质量和性能感受。在视频会议场景下，分辨率为180p的视频流需要100kb/s，分辨率为360p的视频流需要300kb/s，分辨率为720p的视频流需要600kb/s才能够保证有较好的体验质量。其中，180p、360p和720p等为视频显示格式，字母p代表逐行扫描，数字180、360和720分别代表在垂直方向上有180、360和720条扫描线，例如，720p的画面分辨率为1280*720，一般亦可称为高清。当然，在其他场景，如医疗、教育和局域网等，则需要根据实际情况重新制定视频流的QoE值。优选的，在多路的视频流中选择一路视频流为高分辨率的视频流，其余路的视频流为较低分辨率的视频流，从而提高体验质量，例如，在码率区间为[160kb/s，420kb/s]可限定分配3路视频流的情形下，可以一路分配较高的码率以满足分辨率为720p的视频流，其余两路分配较低的码率以满足分辨率均为180p的视频流。再如，在码率区间为[420kb/s，780kb/s]可限定分配5路视频流的情形下，可以一路分配最高的码率以满足分辨率为720p的视频流，一路分配较高码率以满足分辨率为360p的视频流，其余三路分配最低的码率以满足分辨率均为180p的视频流。由于分辨率要求越高的视频流，体验质量的要求也越高，从而使得对体验质量要求越高的视频流，这样的码率分配方法可以使得对体验质量要求较高的视频流可以分配到较大的码率，从而提升用户的体验。
S206、选择可分配码率的视频流。
其中，可分配码率的视频流根据每路视频流的码率分配的优先级和分配码率的视频流的路数确定。
具体的，由待分配的总码率所处的码率区间获取到的可分配码率的视频流的路数，按照可分配码率的视频流的路数根据排序结果确定视频流的优先级，确定可分配码率的视频流。示例性的，当可分配码率的视频流的路数为3，则按照活跃度由高到低的排序结果选择前3路视频流作为可分配码率的视频流。
S207、获取所述可分配码率的视频流的分辨率信息。
其中，视频流的分辨率信息可以由视频流所对应的唯一标识符确定。该唯一标识符为定义同步源(Synchronization Source，SSRC)，SSRC是实时传输协议(Real-timeTransport Protocol，RTP)协议中的RTP包流的源，用RTP报头中32位数值的SSRC标识符进行表示。实施例中，该视频流所支持的分辨率信息由SSRC标识符来确定。具体的，客户端A所在的视频流在加入视频会议时，将自己支持的分辨率和对应的SSRC值发送至服务端，服务端保存该分辨率和对应的SSRC值，譬如分辨率为720p的SSRC值为1000，分辨率为180p的SSRC值为2000。当服务端收到客户端A的视频流时，从视频流中解析提取出SSRC值，根据该SSRC值判断当前的视频流的分辨率，譬如解析提取出的SSRC值为2000，则判断当前视频流的分辨率为180p。
需要说明的是，上述步骤还可以是获取所有请求分配码率的视频流，并为其建立索引以区分各路视频流，即每个视频流对应其唯一的索引值。获取该所有视频流的分辨率，统计所有视频流的活跃度确定可分配码率的视频流，可分配码率的视频流所对应的索引值查找该视频流所对应的分辨率。
具体的，每一路请求分配码率的视频流均设置对应的索引值，该索引值用于标记不同的视频流，根据索引值可以寻找相对应的视频流。获取每一路视频流的分辨率，并根据索引值存储在各自的存储位置上。根据统计到的每一路视频流的活跃度，从而确定可分配码率的视频流，根据可分配码率的视频流所对应的索引值查找该可分配码率的视频流所对应的分辨率。
S208、根据所述分辨率信息为所述可分配码率的视频流设置码率级别。
码率级别为按等级阶梯设置，如第一等级码率、第二等级码率和第三等级码率，且第一等级码率<第二等级码率<第三等级码率，其中，该码率级别包括下述至少一种级别：最小码率、目标码率和最大码率，而最小码率、目标码率和最大码率的实际数值的大小根据视频流的体验质量和分辨率确定。
进一步的，实施例中可以定义第一等级码率为最小码率，第二等级码率为目标码率，第三等级码率为最大码率，其中，最小码率可以为满足采用该分辨率所允许的最小码率，若低于该最小码率则无法发送该分辨率的视频；目标码率可以为既能保证视频流满足较高的体验质量，也不浪费所分配带宽所需的码率；最大码率可以为满足最高体验质量的码率，若高于此码率，则体验质量没有明显的提高反而会导致带宽的浪费。
S209、按照设定的分配规则，为所述可分配码率的视频流分配码率。
具体的，依次根据第一分配规则、第二分配规则和第三分配规则为所述可分配码率的视频分配码率，直至所述可分配码率的视频流均满足所述最大码率要求或所述待分配码率分配完毕。其中，所述第一分配规则为按照分辨率由低到高为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最小码率要求；所述第二分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述目标码率要求；所述第三分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最大码率要求。
其中，在同一等级码率下，分辨率越高的视频流的所需要的码率越大，即分辨率高的视频流的最小码率比分辨率小的视频流高，分辨率高的视频流的目标码率比分辨率小的视频流高，分辨率高的视频流的最大码率比分辨率小的视频流高。
由于网络通路中的待分配的总码率可能比较小，不足以满足所有的可分配码率的视频流的码率需求。在根据第一分配规则进行码率分配过程中，为了使得可分配码率的视频流均能分配到码率，在满足最小码率级别的码率分配过程中，优先分配分辨率较低的视频流，从而避免在总码率小于可分配的视频流的最小码率之和时，先分配分辨率高的视频流的最小码率会导致最后分配的分辨率低的视频流没有剩余的码率可供分配的问题。例如，待分配的总码率为300kb/s，可分配码率的视频流有3路，这3路视频流的分辨率分别为180p、180p和720p，其对应的最小码率分别为50kb/s、50kb/s和300kb/s，若此时先分配高分辨率的视频流，再分配低分辨率的视频流，可能会导致总码率全部或绝大部分分配至高分辨率的视频流而使得低分辨率的视频流不能分配到码率，这和上述先根据总码率所处区间判断当前可分配码率的视频流路数相矛盾，因此在分配最小码率级别时，需要按照分辨率由低到高为可分配码率的视频流分配码率，使得所有的可分配码率的视频流均分配到码率，直至待分配码率分配完毕。若此时高分辨率的视频流所得到的码率不能满足其最小码率的需求，则该视频流会根据所得到的码率自动切换分辨率，使其得到的码率与实际分辨率相符合。
在按照第一分配规则进行码率分配结束后，待分配的总码率还没有分配完毕，则再按照第二分配规则进行码率分配。在满足了第一分配规则后，可分配码率的视频流均满足最小码率要求，则可分配码率的视频均能够进行视频的发送和接收，但体验质量不高。由于实施例中的码率分配规则以体验质量为首要考虑因素，而分辨率越高的视频流需要更高的体验质量，因此在按照第二分配规则进行码率分配时，优先给分辨率高的视频流分配码率以使高分辨率的视频流满足目标码率或分配到更多的码率，再依次满足较低分辨率的视频流的目标码率。例如，待分配的总码率为2Mb/s，可分配码率的视频流有3路，其分辨率分别为180p、180p和720p，在分配完最小码率后，还剩下1600kb/s的码率未分配，此时，这三路可分配码率的视频流的目标码率分别为100kb/s、100kb/s和1000kb/s，此时按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足目标码率要求，即先为分辨率为720p的视频流分配1000kb/s的码率，再分别为180p的视频流分配100kb/s的码率，以使得可分配码率的三路视频流均满足目标码率的要求。在按照第二分配规则进行码率分配时，若总码率未能满足全部可分配码率的视频的目标码率的需求，则按照分辨率由高到低为可分配码率的视频流分配目标码率，直至待分配的总码率分配完毕；若总码率在满足全部可分配码率的视频的目标码率的需求后还有剩余，则按照分辨率由高到低为可分配码率的视频流分配目标码率，直至可分配码率的视频流均满足目标码率。
在按照第一分配规则和第二分配规则进行码率分配结束后，待分配的总码率还没有分配完毕，则再按照第三分配规则进行码率分配。第三分配规则和第二分配规则类似。由于实施例中的码率分配规则以体验质量为首要考虑因素，而分辨率越高的视频流需要更高的体验质量，因此在按照第三分配规则进行码率分配时，优先给分辨率高的视频流分配码率以使高分辨率的视频流满足最大码率或分配到更多的码率，再依次满足较低分辨率的视频流的最大码率。例如，待分配的总码率为4Mb/s，可分配码率的视频流有3路，其分辨率分别为180p、180p和720p，在按照第一分配规则和第二分配规则分配完码率后，还剩下2400kb/s的码率未分配，此时，这三路可分配码率的视频流的目标码率分别为200kb/s、200kb/s和1800kb/s，此时按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足目标码率要求，即先为分辨率为720p的视频流分配1800kb/s的码率，再分别为180p的视频流分配200kb/s的码率，以使得可分配码率的三路视频流尽可能均满足目标码率的要求。在按照第二分配规则进行码率分配时，若总码率未能满足全部可分配码率的视频的目标码率的需求，则按照分辨率由高到低为可分配码率的视频流分配目标码率，直至待分配的总码率分配完毕；若总码率在满足全部可分配码率的视频的目标码率的需求后还有剩余，则按照分辨率由高到低为可分配码率的视频流分配目标码率，直至可分配码率的视频流均满足目标码率，剩余的总码率则不再分配。
本实施例提供的技术方案，通过获取视频流的路数，获取每路视频流的活跃度信息，根据所述活跃度信息对所述每路视频流进行排序，确定所述每路视频流的码率分配的优先级，根据总码率所处的码率区间确定可分配码率的视频流的路数，选择可分配码率的视频流，获取所述可分配码率的视频流的分辨率信息，根据所述分辨率信息为所述可分配码率的视频流设置码率级别，按照设定的分配规则，为所述可分配码率的视频流分配码率，解决了现有技术中单纯依靠分辨率权重比值固定分配码率导致的灵活性低和体验质量差等问题，实现按照体验质量要求选择最需要分配码率的视频流，按等级为视频流阶梯式分配码率，先使得可分配码率的视频流均满足最基本的码率需求后，再考虑重要的视频流分配更多的码率以提高用户的体验质量。
实施例三
图3是本发明实施例三提供的一种码率分配装置的结构示意图。本实施例提供的码率分配装置可以集成在码率分配设备中，该码率分配设备可以是两个或多个物理实体构成，也可以是一个物理实体构成，该码率分配设备可以是电脑、手机、平板、投影仪或交互智能平板等。参考图3，本实施例提供的码率分配装置具体包括：视频流路数获取模块310、活跃度信息获取模块320、视频流选择模块330以及码率分配模块340。
其中，视频流路数获取模块310，用于获取视频流的路数；活跃度信息获取模块320，用于获取每路视频流的活跃度信息；视频流选择模块330，用于根据总码率以及所述活跃度信息选择可分配码率的视频流；码率分配模块340，用于为所述可分配码率的视频流分配码率。
本实施例提供的技术方案，通过视频流路数获取模块获取视频流的路数；活跃度信息获取模块获取每路视频流的活跃度信息；视频流选择模块根据总码率以及所述活跃度信息选择可分配码率的视频流；码率分配模块为所述可分配码率的视频流分配码率，解决了现有技术中单纯依靠分辨率权重比值固定分配码率导致的灵活性低和体验质量差等问题，实现按照体验质量要求选择最需要分配码率的视频流，按等级为视频流阶梯式分配码率，提高用户的体验。
在上述实施例的基础上，所述视频流选择模块330包括：排序单元，用于根据所述活跃度信息对所述每路视频流进行排序；优先级确定单元，用于确定所述每路视频流的码率分配的优先级，所述优先级由所述活跃度信息的排序结果确定；可分配路数确定模块，用于根据总码率所处的码率区间确定可分配码率的视频流的路数；视频流选择单元，用于选择可分配码率的视频流。
在上述实施例的基础上，该活跃度信息获取模块320包括：检测单元，用于检测当前时间段内所述每路视频流采集到的语音信号的强度或时长。
在上述实施例的基础上，该码率分配模块340包括：分辨率获取单元，用于获取所述可分配码率的视频流的分辨率；码率级别设置单元，用于根据所述分辨率信息为所述可分配码率的视频流设置码率级别；规则设定与分配单元，用于按照设定的分配规则，为所述可分配码率的视频流分配码率。
在上述实施例的基础上，该码率级别包括下述至少一种级别：最小码率、目标码率和最大码率。
在上述实施例的基础上，该规则设定与分配单元，具体用于依次根据第一分配规则、第二分配规则和第三分配规则为所述可分配码率的视频分配码率，直至所述可分配码率的视频流均满足所述最大码率要求或所述总码率分配完毕；所述第一分配规则为按照分辨率由低到高为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最小码率要求；所述第二分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述目标码率要求；所述第三分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最大码率要求。
实施例四
图4是本发明实施例四提供的一种码率分配设备的结构示意图。如图4所示，该码率分配设备包括：处理器40、存储器41、具有触摸功能的显示屏42、输入装置43、输出装置44以及通信装置45。该码率分配设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该码率分配设备中存储器41的数量可以是一个或者多个，图4中以一个存储器41为例。该码率分配设备的处理器40、存储器41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图4中以通过总线连接为例。实施例中，码率分配设备可以是电脑，手机，平板，投影仪或交互智能平板等。实施例中，以码率分配设备为交互智能平板为例，进行描述。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的码率分配的方法对应的程序指令/模块(例如，视频流路数获取模块310、活跃度信息获取模块320、视频流选择模块330以及码率分配模块340)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的码率分配方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他设备。
通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与码率分配设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
上述提供的码率分配设备可用于执行上述任意实施例提供的码率分配方法，具备相应的功能和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种码率分配的方法，包括：
获取视频流的路数；
获取每路视频流的活跃度信息；
根据总码率以及所述活跃度信息选择可分配码率的视频流；
为所述可分配码率的视频流分配码率。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的码率分配方法操作，还可以执行本发明任意实施例所提供的码率分配方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的码率分配方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种码率分配方法，其特征在于，包括：
获取视频流的路数；
获取每路视频流的活跃度信息；其中，所述活跃度信息用于表示在所述视频流中检测到的语音信号的时长，或在所述视频流中采集到的语音信号的强度或频次；
根据总码率以及所述活跃度信息选择可分配码率的视频流；
为所述可分配码率的视频流分配码率；
其中，所述为所述可分配码率的视频流分配码率，包括：
获取所述可分配码率的视频流的分辨率信息；
根据所述分辨率信息为所述可分配码率的视频流按照等级阶梯设置码率级别；所述码率级别包括下述至少一种级别：最小码率、目标码率和最大码率；
依次根据第一分配规则、第二分配规则以及第三分配规则为所述可分配码率的视频流分配码率，直至所述可分配码率的视频流均满足所述最大码率要求或所述总码率分配完毕；
所述第一分配规则为按照分辨率由低到高为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最小码率要求；
所述第二分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述目标码率要求；
所述第三分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最大码率要求。
2.根据权利要求1所述的码率分配方法，其特征在于，所述根据总码率以及所述活跃度信息选择可分配码率的视频流，包括：
根据所述活跃度信息对所述每路视频流进行排序；
确定所述每路视频流的码率分配的优先级，所述优先级由所述活跃度信息的排序结果确定；
根据总码率所处的码率区间确定所述可分配码率的视频流的路数；
选择可分配码率的视频流。
3.根据权利要求1所述的码率分配方法，其特征在于，所述获取每路视频流的活跃度信息，包括：
检测当前时间段内所述每路视频流采集到的语音信号的强度或时长。
4.一种码率分配装置，其特征在于，包括：
视频流路数获取模块，用于获取视频流的路数；
活跃度信息获取模块，用于获取每路视频流的活跃度信息；
视频流选择模块，用于根据总码率以及所述活跃度信息选择可分配码率的视频流
码率分配模块，用于为所述可分配码率的视频流分配码率；
其中，码率分配模块包括：分辨率获取单元，用于获取所述可分配码率的视频流的分辨率信息；码率级别设置单元，用于根据所述分辨率信息为所述可分配码率的视频流按照等级阶梯设置码率级别；所述码率级别包括下述至少一种级别：最小码率、目标码率和最大码率；规则设定与分配单元，用于依次根据第一分配规则、第二分配规则以及第三分配规则为所述可分配码率的视频流分配码率，直至所述可分配码率的视频流均满足所述最大码率要求或所述总码率分配完毕；
其中，所述第一分配规则为按照分辨率由低到高为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最小码率要求；
所述第二分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述目标码率要求；
所述第三分配规则为按照分辨率由高到低为所述可分配码率的视频流分配码率，以使得所述可分配码率的视频流满足所述最大码率要求。
5.根据权利要求4所述的码率分配装置，其特征在于，所述视频流选择模块包括：
排序单元，用于根据所述活跃度信息对所述每路视频流进行排序；
优先级确定单元，用于确定所述每路视频流的码率分配的优先级，所述优先级由所述活跃度信息的排序结果确定；
可分配路数确定模块，用于根据总码率所处的码率区间确定所述可分配码率的视频流的路数；
视频流选择单元，用于选择可分配码率的视频流。
6.一种码率分配设备，包括显示屏、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的码率分配方法。
7.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-3中任一项所述的码率分配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810861933.8A CN108881972B (zh) | 2018-08-01 | 2018-08-01 | 一种码率分配方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810861933.8A CN108881972B (zh) | 2018-08-01 | 2018-08-01 | 一种码率分配方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108881972A CN108881972A (zh) | 2018-11-23 |
| CN108881972B true CN108881972B (zh) | 2021-06-15 |
Family
ID=64307076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810861933.8A Active CN108881972B (zh) | 2018-08-01 | 2018-08-01 | 一种码率分配方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108881972B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111277857B (zh) * | 2018-12-04 | 2021-04-13 | 清华大学 | 一种流媒体调度方法及装置 |
| CN110769271B (zh) * | 2019-11-11 | 2021-09-14 | 广州酷狗计算机科技有限公司 | 调节多路码流的码率的方法和装置 |
| CN110944213B (zh) * | 2019-11-26 | 2021-09-10 | 浙江大华技术股份有限公司 | 一种码流调节方法、装置及计算机存储介质 |
| CN113068001B (zh) * | 2019-12-16 | 2022-10-04 | 浙江宇视科技有限公司 | 基于级联摄像机的数据处理方法、装置、设备和介质 |
| CN111866527B (zh) * | 2019-12-26 | 2022-02-08 | 无锡利水管业有限公司 | 基于姿态检测的资源分配系统 |
| CN111586350B (zh) * | 2020-04-19 | 2021-11-09 | 国网辽宁省电力有限公司电力科学研究院 | 基于带宽、优先级和无操作时间调节码率的方法 |
| CN111510735B (zh) * | 2020-04-21 | 2022-11-01 | 新石器慧通（北京）科技有限公司 | 弱网环境下多路视频的编码传输方法、装置及无人车辆 |
| CN112631524B (zh) * | 2020-12-29 | 2023-04-07 | 杭州海康汽车软件有限公司 | 一种存储介质分配方法、装置及电子设备 |
| WO2022236758A1 (zh) * | 2021-05-13 | 2022-11-17 | 深圳市大疆创新科技有限公司 | 数据编码方法和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104010232A (zh) * | 2014-05-23 | 2014-08-27 | 惠州Tcl移动通信有限公司 | 一种智能播放在线视频的方法、系统、播放器及移动终端 |
| CN104581169A (zh) * | 2014-12-31 | 2015-04-29 | 乐视网信息技术（北京）股份有限公司 | 分级转码方法及装置 |
| CN104766256A (zh) * | 2015-04-13 | 2015-07-08 | 天脉聚源（北京）教育科技有限公司 | 一种确定活跃度的方法及装置 |
| WO2016040707A1 (en) * | 2014-09-11 | 2016-03-17 | Microsoft Technology Licensing, Llc | Dynamic video streaming based on viewer activity |
| CN105744342A (zh) * | 2016-01-28 | 2016-07-06 | 腾讯科技（深圳）有限公司 | 移动终端的数据传输方法和装置 |
| CN108200470A (zh) * | 2017-12-20 | 2018-06-22 | 中国联合网络通信集团有限公司 | 一种视频码率调整方法及设备 |
-
2018
- 2018-08-01 CN CN201810861933.8A patent/CN108881972B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104010232A (zh) * | 2014-05-23 | 2014-08-27 | 惠州Tcl移动通信有限公司 | 一种智能播放在线视频的方法、系统、播放器及移动终端 |
| WO2016040707A1 (en) * | 2014-09-11 | 2016-03-17 | Microsoft Technology Licensing, Llc | Dynamic video streaming based on viewer activity |
| CN104581169A (zh) * | 2014-12-31 | 2015-04-29 | 乐视网信息技术（北京）股份有限公司 | 分级转码方法及装置 |
| CN104766256A (zh) * | 2015-04-13 | 2015-07-08 | 天脉聚源（北京）教育科技有限公司 | 一种确定活跃度的方法及装置 |
| CN105744342A (zh) * | 2016-01-28 | 2016-07-06 | 腾讯科技（深圳）有限公司 | 移动终端的数据传输方法和装置 |
| CN108200470A (zh) * | 2017-12-20 | 2018-06-22 | 中国联合网络通信集团有限公司 | 一种视频码率调整方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108881972A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108881972B (zh) | 一种码率分配方法、装置、设备和存储介质 | |
| CN108259948B (zh) | 一种直播音视频的播放方法、装置、计算机及存储介质 | |
| WO2020220902A1 (zh) | 视频资源的传输参数分发方法及装置 | |
| US9525847B2 (en) | Media negotiation method, device, and system for multi-stream conference | |
| US10645342B2 (en) | Method and system for new layout experience in video communication | |
| JP6442507B2 (ja) | ネットワークのデバイスにより実行される進行中のトラフィックセッションの中でネットワークの利用可能な帯域幅を割り当てる方法、対応するデバイス | |
| EP2472858A1 (en) | Method, device and system for presenting virtual conference site of video conference | |
| EP3070935B1 (en) | Apparatus, system, and method of controlling output of content data, and carrier means | |
| CN112291502B (zh) | 信息交互方法、装置、系统和电子设备 | |
| CN104918077B (zh) | 一种视频传输方法、装置及系统 | |
| CN108200443A (zh) | 一种直播流的分发方法和装置 | |
| KR101501189B1 (ko) | 고속 채널 변경 방법 및 장치 | |
| US10404606B2 (en) | Method and apparatus for acquiring video bitstream | |
| CN113141352B (zh) | 多媒体数据的传输方法、装置、计算机设备和存储介质 | |
| CN112752058B (zh) | 调整视频流的属性的方法和装置 | |
| CN109819333B (zh) | 视频流码率分配方法、装置及计算机可读存储介质 | |
| CN109660826B (zh) | 一种视频传输方法、装置、设备及存储介质 | |
| US20140347435A1 (en) | Method and system for sharing content in videoconferencing | |
| CN109309805B (zh) | 一种视频会议的多窗口显示方法、装置、设备和系统 | |
| CN115209189B (zh) | 一种视频流传输方法、系统、服务器及存储介质 | |
| CN111885351A (zh) | 一种屏幕显示方法、装置、终端设备和存储介质 | |
| CN116248644A (zh) | 一种基于WebRTC推流技术的优化方法 | |
| CN111263214A (zh) | 多屏互动的实现方法和实现系统 | |
| EP3661194A1 (en) | Video interaction management method and system, and computer-readable storage medium | |
| CN111314738A (zh) | 数据传输方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |