CN106550240A - 一种带宽节省方法和系统 - Google Patents

Abstract

本发明提供一种带宽节省方法和系统，应用于直播视频中。该方法首先将实时视频图像划分成预设数量个宏块，然后检测实时视频图像中的感兴趣区域，并判断预设数量个宏块是否位于感兴趣区域，将位于该感兴趣区域内的宏块标记为第一宏块，将位于该感兴趣区域外的宏块标记为第二宏块，最后，按第一编码速率对第一宏块的图像数据进行编码，生成第一编码数据，按第二编码速率对第二宏块的图像数据进行编码，生成第二编码数据，其中，第一编码速率大于第二编码速率。本发明能够有效降低直播视频数据传输过程中的带宽成本。

Description

一种带宽节省方法和系统

技术领域

本发明涉及直播应用技术领域，具体而言，涉及一种带宽节省方法和系统。

背景技术

在当前的视频直播行业中，带宽成本的投入非常巨大。经发明人研究发现，视频传输的码率、直播带宽以及视频分辨率之间有很大关系，如何根据视频画面中不同区域的重要程度，在保证重要区域视频分辨率的前提下，降低视频直播过程中的带宽成本，成为本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明提供一种带宽节省方法和系统，通过对视频图像中的不同区域按照不同的编码速率进行编码，从而降低直播视频传输过程中的带宽使用成本。

本发明较佳实施例一种带宽节省方法，应用于直播视频中，所述方法包括：

将实时视频图像划分成预设数量个宏块；

检测所述实时视频图像中的感兴趣区域；

判断所述预设数量个宏块是否位于所述感兴趣区域，将所述预设数量个宏块中位于所述感兴趣区域内的宏块标记为第一宏块，将所述预设数量个宏块中位于所述感兴趣区域外的宏块标记为第二宏块；

按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据，按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据，其中，所述第一编码速率大于所述第二编码速率。

进一步地，所述判断所述预设数量个宏块是否位于所述感兴趣区域的具体步骤为：

获取所述感兴趣区域的坐标值以及所述预设数量个宏块的坐标值；

判断所述预设数量个宏块的坐标值是否位于所述感兴趣区域的坐标值范围内，将坐标值位于所述感兴趣区域的坐标值范围内的所述宏块标记为第一宏块，将坐标值位于所述感兴趣区域的坐标值范围外的所述宏块标记为第二宏块。

进一步地，所述检测所述实时视频图像中的感兴趣区域为通过人脸检测算法获取的人脸区域。

进一步地，在按第一码率将所述第一编码数据进行传输，按第二码率将所述第二编码数据进行传输的步骤之后，所述方法还包括：

通过相应的解码算法对接收到的所述第一编码数据和所述第二编码数据进行解码。

本发明另一较佳实施例提供一种带宽节省系统，应用于直播视频中，所述带宽节省系统包括：

宏块划分模块，用于将实时视频图像划分成预设数量个宏块；

检测模块，用于检测所述实时视频图像中的感兴趣区域；

判断模块，用于判断所述预设数量个宏块是否位于所述感兴趣区域，将所述预设数量个宏块中位于所述感兴趣区域内的宏块标记为第一宏块，将所述预设数量个宏块中位于所述感兴趣区域外的宏块标记为第二宏块；

编码模块，用于按第一编码速率对所述第一宏块的图像数据进行编码,生成第一编码数据，按第二编码速率对所述第二宏块的图像数据进行编码,生成第二编码数据，其中，所述第一编码速率大于所述第二编码速率。

进一步地，所述判断模块包括：

获取子模块，用于获取所述感兴趣区域的坐标值以及所述预设数量个宏块的坐标值；

判断子模块，用于判断所述预设数量个宏块的坐标值是否位于所述感兴趣区域的坐标值范围内；

标记子模块，用于将坐标值位于所述感兴趣区域的坐标值范围内的所述宏块标记为第一宏块，将坐标值位于所述感兴趣区域的坐标值范围外的所述宏块标记为第二宏块。

进一步地，所述检测模块为人脸检测模块，所述人脸检测模块用于通过人脸检测算法获取所述人脸图像区域。

进一步地，所述编码模块包括第一编码子模块和第二编码子模块；

所述第一编码子模块，用于按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据；

所述第二编码子模块，用于按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据。

进一步地，所述带宽节省系统还包括发送模块和接收模块；

所述发送模块，用于发送所述第一编码数据和所述第二编码数据；

所述接收模块，用于通过相应的解码算法对接收到的所述第一编码数据和所述第二编码数据进行解码。

本发明实施例提供的带宽节省方法和系统，应用于直播视频中，在不影响用户观看体验的前提下，通过对视频图像中的不同区域按照不同的编码速率进行编码，以降低直播视频传输过程中的带宽成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种应用宽带节省系统的直播终端的方框结构示意图。

图2为本发明实施例提供的一种带宽节省系统的连接框图。

图3为图2所示的判断模块130的子模块连接框图。

图4为图2所示的编码模块140的子模块连接框图。

图5为本发明另一实施例提供的一种带宽节省方法的流程示意图。

图标：10-直播终端；100-带宽节省系统；110-宏块划分模块；120-检测模块；130-判断模块；132-获取子模块；134-判断子模块；136-标记子模块；140-编码模块；142-第一编码子模块；144-第二编码子模块；200-存储器；300-存储控制器；400-处理器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

如图1所示，为本发明实施例提供的一种应用带宽节省系统100的直播终端10的方框结构示意图。所述直播终端10包括带宽节省系统100、存储器200、存储控制器300以及处理器400。

其中，所述存储器200、存储控制器300、处理器400各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件之间通过一条或多条通讯总线或信号线实现电性连接。所述带宽节省系统100包括至少一个可以软件或固件的形式存储于所述存储器200中或固化在所述直播终端10的操作系统中的软件功能模块。所述处理器400在所述存储控制器300的控制下访问所述存储器200，以用于执行所述存储器200中存储的可执行模块，例如所述带宽节省系统100所包括的软件功能模块及计算机程序等。

进一步地，请参阅图2，为本发明实施例提供的一种带宽节省系统100的连接框图，应用于直播视频中。所述带宽节省系统100包括宏块划分模块110、检测模块120、判断模块130和编码模块140。

具体地，所述宏块划分模块110用于将实时视频图像划分成预设数量个宏块。可选地，在视频编码中，一个编码图像通常由若干宏块组成，一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说，亮度块为16*16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，例如，对于YUV420采样图像，色度块是为8*8大小的像素块。同时，每个图象中，若干宏块被排列成片的形式，视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频码流。应理解，所述预设数量是指在将实时视频图像进行划分前，根据视频图像的分辨率宽度和高度而预先设置的宏块数量个数。

进一步地，通过所述宏块划分模块110将所述视频图像划分成所述预设数量个宏块后，所述检测模块120检测该视频图像中的重要区域，即感兴趣区域，其中，所述感兴趣区域可以为矩形区域。

可选地，所述检测模块120可以为人脸检测模块，并根据人脸检测技术识别直播视频图像画面中的人脸位置区域。目前，人脸检测技术已经相对成熟，如Adaboost算法、支持向量机(Support Vector Machine，SVM)、隐马尔可夫模型等基于统计的人脸检测算法，以及卷积神经网络(Convolutional Neural Networks，CNN)等基于深度学习的人脸检测方法都能得到不错的检测效果。

进一步地，所述判断模块130根据所述检测模块120检测到的所述实时视频图像中的感兴趣区域，判断所述宏块划分模块110划分成的预设数量个宏块是否位于所述感兴趣区域内，并将所述预设数量个宏块中位于所述感兴趣区域内的宏块标记为第一宏块，将所述预设数量个宏块中位于所述感兴趣区域外的宏块标记为第二宏块。

具体地，如图3所示，所述判断模块130包括获取子模块132、判断子模块134和标记子模块136。其中，所述获取子模块132用于获取所述感兴趣区域的坐标值以及所述预设数量个宏块的坐标值，其中，所述预设数量个宏块的坐标值是指预设数量个宏块中每个宏块的坐标值。所述判断子模块134用于判断所述预设数量个宏块的坐标值是否位于所述感兴趣区域的坐标值范围内。所述标记子模块136用于将坐标值位于所述感兴趣区域的坐标值范围内的所述宏块标记为第一宏块，将坐标值位于所述感兴趣区域的坐标值范围外的所述宏块标记为第二宏块。

进一步地，所述编码模块140根据所述判断模块130判断并标记的所述第一宏块和所述第二宏块，选择不同的编码速率对所述感兴趣区域和非感兴趣区域的图像进行编码。具体地，在实时视频图像编码过程中，所述编码速率即码率，决定着视频图像的分辨率大小，取决于单位时间内的取样率，即取样率越大，精度就越高。在同样分辨率下，视频文件的码率越大，压缩比就越小，画面质量就越高。也就是说，码率越大，单位时间内取样率越大，数据精度越高，解码后的文件就越接近原始文件。

可选地，如图4所示，所述编码模块140包括第一编码子模块142和第二编码子模块144。其中，所述第一编码子模块142用于按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据。所述第二编码子模块144用于按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据，其中，第一编码速率大于第二编码速率。

具体地，在本发明实施例中，进行图像数据编码时，相对于所述感兴趣区域，非感兴趣区域对画质的要求较低，因此，在进行图像数据编码时，所述感兴趣区域的码率大于非感兴趣区域的码率，以使感兴趣区域保持高码率，而降低非感兴趣区域码率，实现不同图像区域的码率自动适配。例如，在分辨率微1280*720的视频画面中，将所述感兴趣区域码率设置为2Mbps，将非感兴趣区域的码率降低为1.5Mbps或者1Mbps。

进一步地，所述带宽节省系统100还包括图像获取模块、发送模块和接收模块。

其中，所述图像获取模块用于获取直播视频图像中的实时视频图像。并将所述实时视频图像传送给所述宏块划分模块110以进行宏块划分。可选地，所述获取模块可以为单独的摄像头，也可以集成于电脑、手机等电子设备上为作为视频输入设备，以使人们彼此之间可通过摄像头在网络环境中进行有影像、有声音的交谈和沟通。

进一步地，所述发送模块用于对通过所述编码模块140编码完成的所述第一编码数据和所述第二编码数据进行传输。

进一步地，所述接收模块用于通过相应的解码算法对接收到的所述第一编码数据和所述第二编码数据进行解码，以还原所述直播视频中的实时视频图像。其中，所述解码算法与所述编码模块140进行图像数据编码时采用的编码算法相匹配。

基于上述的带宽节省系统100的设计和描述，下面对基于所述带宽节省系统100的带宽节省方法作进一步阐述。具体请参阅图5，为本发明较佳实施例提供的一种带宽节省方法的流程示意图，以下步骤是对图5所示的具体流程进行的详细阐述。

步骤S201：获取实时视频图像。

步骤S202：将实时视频图像划分成预设数量个宏块。

具体地，在本发明实施例中，所述步骤S201由图像获取模块执行，所述步骤S202由所述宏块划分模块110执行。假设视频图像的分辨率宽度为W，高度为H，那么将视频画面划分为M*N个矩形宏块，可得到每个宏块的宽度和高度分别为W/M、H/N。

步骤S203：检测所述实时视频图像中的感兴趣区域。

具体地，在本发明实施例中，所述步骤S203由检测模块120执行。例如，在本发明实施例中，所述检测模块120可以为人脸检测模块，通过人脸检测技术检测人脸所在的矩形区域，同时，也可通过所述人脸检测技术获取该矩形区域左上角坐标A(left，top)和右下角坐标B(right，bottom)。

步骤S204：分别判断所述预设数量个宏块是否位于感兴趣区域，若所述宏块位于所述感兴趣区域内，则执行步骤S2051；反之，执行步骤S2052。

步骤S2051：标记为第一宏块。

步骤S2052：标记为第二宏块。

具体地，在本发明实施例中，所述步骤S204、步骤S2051和步骤S2052由判断模块130执行。例如，在本发明实施例中，首先通过所述获取子模块132获取所述人脸矩形区域的坐标值以及所述M*N个矩形宏块的坐标值，如所述矩形区域左上角坐标A(left，top)和右下角坐标B(right，bottom)。可选地，假设i的取值范围为[0，M-1]，j的取值范围为[0，N-1]，那么第j行第i列的宏块左上角坐标为C(i*W/M，j*H/N)，右下角坐标为D((i+1)*W/M，(j+1)*H/N)。因此，判断标准需满足以下伪代码逻辑。

其中A.x＝left，A.y＝top，B.x＝right，B.y＝bottom，C.x＝i*W/M，C.y＝j*H/N，D.x＝(i+1)*W/M，D.y＝(j+1)*H/N。

进一步地，在判断过程中，通过所述标记子模块136对上述判断结果进行标记。也就是说，将坐标值位于所述人脸区域(感兴趣区域)的坐标值范围内的所述宏块标记为第一宏块，将坐标值位于所述人脸区域(感兴趣区域)的坐标值范围外的所述宏块标记为第二宏块。

步骤S2061：生成第一编码数据。

步骤S2062：生成第二编码数据。

具体地，在本发明实施例中，所述步骤S2061和步骤S2062由所述编码模块140执行。其中，所述第一编码子模块142按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据。所述第二编码子模块144按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据。应注意，在编码过程中，所述第一编码速率大于所述第二编码速率即实现动态码率的分配。具体地，完成编码后的所述人脸区域(感兴趣区域)外的视频数据总量降低，而所述人脸区域(感兴趣区域)的视频数据总量相对较大，进而保证视频图像中的重要区域的画质。应理解，在实际实施时，所述步骤S2061和步骤S2062执行顺序不分先后。

进一步地，由于人脸区域的码率并没有降低，人脸区域的画面质量并不会受到影响，而非人脸区域的码率降低了，那么编码后的视频数据总量也会降低，推送到内容分发网络(Content Delivery Network，CDN)服务器的流量也会相应减少，网络传输的带宽也会降低。

步骤S207：数据传输。

具体地，在本发明实施例中，所述步骤S207由所述发送模块执行。即所述发送模块对所述编码模块140生成的第一编码数据和第二编码数据进行传输。

步骤S208：接收并解码。

具体地，在本发明实施例中，所述步骤S208由所述接收模块执行。所述接收模块用于通过相应的解码算法对接收到的所述第一编码数据和所述第二编码数据进行解码，以还原所述直播视频中的实时视频图像。

综上所述，本发明提供的带宽节省方法和系统，对实时视频画面中的不同区域动态分配不同的编码速率(如感兴趣区域和非感兴趣区域)，以完成直播视频图像的编码、传输。相比于现有技术，本发明能够在不影响用户观看体验的前提下，降低直播视频的数据传输过程中的带宽成本。

在本发明的描述中，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的预设数量个实施例的装置、方法和计算机程序产品可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分。所述模块、程序段或代码的一部分包含一个或预设数量个用于实现规定的逻辑功能。

也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种带宽节省方法，其特征在于，应用于直播视频中，所述方法包括：

将实时视频图像划分成预设数量个宏块；

检测所述实时视频图像中的感兴趣区域；

判断所述预设数量个宏块是否位于所述感兴趣区域，将所述预设数量个宏块中位于所述感兴趣区域内的宏块标记为第一宏块，将所述预设数量个宏块中位于所述感兴趣区域外的宏块标记为第二宏块；

按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据并发送，按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据并发送，其中，所述第一编码速率大于所述第二编码速率。

2.根据权利要求1所述的带宽节省方法，其特征在于，所述判断所述预设数量个宏块是否位于所述感兴趣区域的具体步骤为：

获取所述感兴趣区域的坐标值以及所述预设数量个宏块的坐标值；

判断所述预设数量个宏块的坐标值是否位于所述感兴趣区域的坐标值范围内，将坐标值位于所述感兴趣区域的坐标值范围内的所述宏块标记为第一宏块，将坐标值位于所述感兴趣区域的坐标值范围外的所述宏块标记为第二宏块。

3.根据权利要求1所述的带宽节省方法，其特征在于，所述检测所述实时视频图像中的感兴趣区域为通过人脸检测算法获取的人脸图像区域。

4.根据权利要求1所述的带宽节省方法，其特征在于，在生成第一编码数据和第二编码数据并发送的步骤之后，所述方法还包括：

通过相应的解码算法对接收到的所述第一编码数据和所述第二编码数据进行解码。

5.一种带宽节省系统，应用于直播视频中，其特征在于，所述带宽节省系统包括：

宏块划分模块，用于将实时视频图像划分成预设数量个宏块；

检测模块，用于检测所述实时视频图像中的感兴趣区域；

判断模块，用于判断所述预设数量个宏块是否位于所述感兴趣区域，将所述预设数量个宏块中位于所述感兴趣区域内的宏块标记为第一宏块，将所述预设数量个宏块中位于所述感兴趣区域外的宏块标记为第二宏块；

编码模块，用于按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据，按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据，其中，所述第一编码速率大于所述第二编码速率。

6.根据权利要求5所述的带宽节省系统，其特征在于，所述判断模块包括：

获取子模块，用于获取所述感兴趣区域的坐标值以及所述预设数量个宏块的坐标值；

判断子模块，用于判断所述预设数量个宏块的坐标值是否位于所述感兴趣区域的坐标值范围内；

标记子模块，用于将坐标值位于所述感兴趣区域的坐标值范围内的所述宏块标记为第一宏块，将坐标值位于所述感兴趣区域的坐标值范围外的所述宏块标记为第二宏块。

7.根据权利要求5所述的带宽节省系统，其特征在于，所述检测模块为人脸检测模块，所述人脸检测模块用于通过人脸检测算法获取人脸图像区域。

8.根据权利要求5所述的带宽节省系统，其特征在于，所述编码模块包括第一编码子模块和第二编码子模块；

所述第一编码子模块，用于按第一编码速率对所述第一宏块的图像数据进行编码，生成第一编码数据；

所述第二编码子模块，用于按第二编码速率对所述第二宏块的图像数据进行编码，生成第二编码数据。

9.根据权利要求5所述的带宽节省系统，其特征在于，所述带宽节省系统还包括发送模块和接收模块；

所述发送模块，用于发送所述第一编码数据和所述第二编码数据；

所述接收模块，用于通过相应的解码算法对接收到的所述第一编码数据和所述第二编码数据进行解码。