CN102036074A

CN102036074A - 基于嵌入式设备的码率控制方法及装置

Info

Publication number: CN102036074A
Application number: CN 201010598796
Authority: CN
Inventors: 许世昱; 李俊
Original assignee: Hanwang Technology Co Ltd
Current assignee: Hanwang Technology Co Ltd
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2011-04-27

Abstract

本发明公开一种基于嵌入式设备的码率控制方法及装置，涉及多媒体技术领域，该方法包括：获取当前帧图像的复杂度；根据所述当前帧图像的复杂度确定当前帧图像的量化因子；确定所述当前帧图像中的运动区域和非运动区域；分别采用小于所述当前帧图像的量化因子的第一因子对所述当前帧图像中的运动区域进行量化，采用大于所述当前帧图像的量化因子的第二因子对所述当前帧图像中的非运动区域进行量化，将经过所述第一因子和所述第二因子进行量化后得出的图像作为所述当前帧图像的最终拍摄结果。本发明实施例主要应用于在拍摄视频图像过程中，在保证图像的比特流总和没有增加的前提下，提高嵌入式设备所拍摄的图像中运动区域的清晰度。

Description

基于嵌入式设备的码率控制方法及装置

技术领域

本发明涉及多媒体技术领域，尤其涉及一种基于嵌入式设备的码率控制方法及装置。

背景技术

随着多媒体技术的发展，高清晰视频图像的实时传输也逐渐成为当前消费类手持电子产品领域的主流技术需求。由于网络带宽有限，为了满足高清晰视频图像的实时传输的要求，通常需要在一定程度上以丧失图像清晰度或流畅度为代价来获得更低的码率。

现有技术中实现低码率传输的方法主要有减少图像尺寸，降低帧率，增大传输延时等，这些实现低码率传输的方法一般采用基于帧级别的码率控制算法，并对一帧图像中所有区域进行无差别的量化，采用现有技术编码得出的图像中所有区域的清晰度也是一样的。

发明内容

本发明的实施例提供一种基于嵌入式设备的码率控制方法及装置，在保证图像的比特流总和没有增加的前提下，提高嵌入式设备所拍摄的图像中运动区域的清晰度。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于嵌入式设备的码率控制方法，包括：

获取当前帧图像的复杂度，所述当前帧图像为嵌入式设备在拍摄过程中得到的初始图像；

根据所述当前帧图像的复杂度确定当前帧图像的量化因子；

确定所述当前帧图像中的运动区域和非运动区域；

分别采用小于所述当前帧图像的量化因子的第一因子对所述当前帧图像中的运动区域进行量化，采用大于所述当前帧图像的量化因子的第二因子对所述当前帧图像中的非运动区域进行量化；

将经过所述第一因子和所述第二因子进行量化后得出的图像作为所述当前帧图像的最终拍摄结果。

一种码率控制装置，包括：

获取单元，用于获取当前帧图像的复杂度，所述当前帧图像为拍摄过程中得到的初始图像；

因子确定单元，用于根据所述当前帧图像的复杂度确定当前帧图像的量化因子；

区域确定单元，用于确定所述当前帧图像中的运动区域和非运动区域；

量化单元，用于分别采用小于所述当前帧图像的量化因子的第一因子对所述当前帧图像中的运动区域进行量化，采用大于所述当前帧图像的量化因子的第二因子对所述当前帧图像中的非运动区域进行量化；

处理单元，用于将经过所述第一因子和所述第二因子进行量化后得出的图像作为所述当前帧图像的最终拍摄结果。

由上述技术方案所描述的本发明实施例中，在嵌入式设备拍摄图像的过程中，获得当前帧图像的量化因子后，对所述当前帧图像中的运动区域和非运动区域分别采用不同的因子进行量化，将经过所述第一因子和所述第二因子进行量化后得出的图像作为所述当前帧图像的最终拍摄结果。由于运动区域所使用的第一因子比所述当前帧图像的量化因子小，因而，在对该运动区域进行编码时，为该运动区域分配的比特流会增多，编码得出的该运动区域的图像清晰度也越高。与现有技术中直接使用当前帧图像的量化因子对当前帧图像进行量化相比，本发明实施例通过对一帧图像中不同区域进行有差别量化，提高了嵌入式设备所拍摄的图像中运动区域的清晰度。

同时，由于非运动区域所使用的第二因子比所述当前帧图像的量化因子大，因而，为该非运动区域分配的比特流相对会减少，最终使得采用第一因子和第二因子对当前帧图像进行量化后得出的当前帧图像的比特流的总和，与现有技术中直接采用当前帧图像的量化因子对当前帧图像进行量化后得出的当前帧图像的比特流的总和保持一致，可以看出本发明实施例在保证当前帧图像的比特流的总和没有增加的前提下，提高了嵌入式设备所拍摄的图像中运动区域的清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供一种基于嵌入式设备的码率控制方法的流程图；

图2为本发明实施例1提供另一种基于嵌入式设备的码率控制方法的流程图；

图3为本发明实施例2提供一种码率控制装置的结构图；

图4为本发明实施例2提供另一种码率控制装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本发明实施例提供一种基于嵌入式设备的码率控制方法，该方法应用于嵌入式设备进行图像拍摄的过程中，该方法包括如下步骤：

101、获取当前帧图像的复杂度，所述当前帧图像为嵌入式设备在拍摄过程中得到的初始图像。

具体地，利用当前帧图像之前的连续预设帧数图像的SATD（sum of Absolute Transformed Difference，经过哈德曼变换的预测参差绝对值总和）值获取当前帧图像的复杂度。比如，获取当前帧图像之前的连续三帧图像，则当前帧图像的复杂度可以根据如下公式计算得出：

Figure 2010105987967100002DEST_PATH_IMAGE001

其中，

Figure 2010105987967100002DEST_PATH_IMAGE003

为当前帧图像的复杂度，a为已知的第一帧图像的SATD值, b为已知的第二帧图像的SATD值, c为已知的第三帧图像的SATD值。

102、根据所述当前帧图像的复杂度确定当前帧图像的量化因子。

例如，根据如下公式确定当前帧图像的量化因子：

其中，

为当前帧图像的复杂度；

qpscale为量化尺度；

rate_factor为比例因子，所述rate_factor用来调整qpscale的值。如果之前已编码得出的帧图像的比特率大于实际产生的比特率，那么rate_factor的值越大；

Overflow为溢出参数，用来调整qpscale的值，一般由当前帧图像之前的图像编码信息确定。如果已编码得出的帧图像总比特数比目标比特数越大，Overflow值也越大，则qpscale值越大。上述rate_factor和overflow都是用于对qpscale的修正。

Figure 2010105987967100002DEST_PATH_IMAGE005

为当前帧图像的量化因子。

103、确定所述当前帧图像中的运动区域和非运动区域。

104、分别采用小于所述当前帧图像的量化因子的第一因子对所述当前帧图像中的运动区域进行量化，采用大于所述当前帧图像的量化因子的第二因子对所述当前帧图像中的非运动区域进行量化。

105、将经过所述第一因子和所述第二因子进行量化后得出的图像作为所述当前帧图像的最终拍摄结果。

本发明实施例中，获得当前帧图像的量化因子后，对所述当前帧图像中的运动区域和非运动区域分别采用不同的因子进行量化，由于运动区域所使用的第一因子比所述当前帧图像的量化因子小，因而，在对该运动区域进行编码时，为该运动区域分配的比特流会增多，编码得出的该运动区域的图像清晰度也越高。与现有技术中直接使用当前帧图像的量化因子对当前帧图像进行无差别量化相比，本发明实施例通过对一帧图像中不同区域进行有差别量化，提高了嵌入式设备所拍摄的图像中运动区域的清晰度。

另外，由于非运动区域所使用的第二因子比所述当前帧图像的量化因子大，因而，为该非运动区域分配的比特流相对会减少，本发明实施例采用第一因子和第二因子对当前帧图像进行量化后得出的当前帧图像的比特流的总和，与现有技术中直接采用当前帧图像的量化因子对当前帧图像进行量化后得出的当前帧图像的比特流的总和保持一致，可以看出本发明实施例在保证当前帧图像的比特流的总和不会增加的前提下，提高了嵌入式设备所拍摄的图像中运动区域的清晰度。

进一步地，具体应用时，步骤103可以采用运动矢量确定所述当前帧图像中的运动区域和非运动区域。具体实现过程如下：将所述当前帧图像在进行视频编码过程中对宏块的剖分以及运动估计产生的所有区域的运动矢量进行降序排列；将排列在前的预设个数的运动矢量对应的区域作为运动区域；将所述当前帧图像中除了运动区域之外的区域作为非运动区域。

例如，按照降序排列出所述当前帧图像的所有区域的运动矢量后，取排列在前的1/10区域为运行区域，将剩余的9/10区域作为非运动区域。

本步骤所提供的通过运动矢量检测运动区域的方法，可以降低嵌入式设备上进行区域识别的计算复杂度，增加该方法在嵌入式设备上的可行性。

进一步地，如图2所示，上述步骤104可以采取如下实现方式：

1041、根据所述当前帧图像的量化因子确定所述非运动区域的第二因子。

具体地，将所述当前帧的量化因子增加预设值得出所述非运动区域的第二因子。例如，根据

确定所述非运动区域的第二因子，其中，

Figure 2010105987967100002DEST_PATH_IMAGE007

为所述非运动区域的第二因子，

为所述当前帧的量化因子，所增加的预设值为5，当然，所述增加的预设值还可以在实际工程中实验，确定为其它的一个可以接受的值。

1042、根据所述当前帧图像的量化因子和所述非运动区域的第二因子确定所述运动区域的第一因子。

可选的，本步骤的一种实现方式如下：

首先，根据

获取所述当前帧图像的比特流，其中，

Figure 2010105987967100002DEST_PATH_IMAGE009

为所述当前帧图像的比特流，

为已知的所述当前帧的SATD值，

为所述当前帧的量化因子；

接着，根据

Figure 2010105987967100002DEST_PATH_IMAGE011

获取所述非运动区域的比特流，其中，

为所述非运动区域的比特流，

Figure 2010105987967100002DEST_PATH_IMAGE013

为已知的所述非运动区域的SATD值，

为所述非运动区域的第二因子；

最后，根据

获取所述运动区域的第一因子，其中，

Figure 2010105987967100002DEST_PATH_IMAGE015

为所述运动区域的第一因子，为已知的所述运动区域的SATD值。

从步骤的执行过程可以看出，采用第一因子对运动区域进行量化后得出的比特流和采用第二因子对非运动区域进行量化后得出的比特流的总和，与直接采用当前帧图像的量化因子对当前帧图像进行量化后得出的当前帧图像的比特流的总和保持一致，亦即，本发明实施例得出的当前帧图像的比特流的总和并没有增加。

1043、采用所述第一因子对所述当前帧图像中的运动区域进行量化，采用所述第二因子对所述当前帧图像中的非运动区域进行量化。

为了验证本发明实施例提供的基于嵌入式设备的码率控制方法可以在保证当前帧图像的比特流的总和不会增加的前提下，提高嵌入式设备所拍摄的图像中运动区域的清晰度。下面分别采用现有技术和本发明实施例提供的方法对图像进行了编码试验，试验结果如下：采用现有技术时，在Marvel平台上移植X264编码器后，该编码器的编码能力为：分辨率640x480,帧率22fps，码率800kbps。采用本发明实施例的方法后，该编码器的编码能力为：分辨率640x480,帧率20fps，码率800kbps。可以看出，提高嵌入式设备所拍摄的图像中运动区域的清晰度后，对编码性能影响不大。

本发明实施例所提供的码率控制方法主要应用于嵌入式设备，比如手持摄像机，监控摄像头等。

需要说明的是，本发明实施例提供的方法适用于对P帧和B帧的码率控制。

实施例2：

本发明实施例提供一种码率控制装置，该码率控制装置具体包括采用上述实施例1中提供的码率控制方法的嵌入式设备，或其它对图像的进行码率控制处理的电子产品。利用该码率控制装置可以在进行拍摄的过程中对拍摄到的图像进行压缩编码和码率控制，并直接输出经过压缩编码和码率控制处理后的图像。如图3所示，该装置包括：获取单元11，因子确定单元12，区域确定单元13，量化单元14和处理单元15。

其中，获取单元11用于获取当前帧图像的复杂度，所述当前帧图像为在拍摄过程中得到的初始图像；因子确定单元12用于根据所述当前帧图像的复杂度确定当前帧图像的量化因子；区域确定单元13用于确定所述当前帧图像中的运动区域和非运动区域；量化单元14用于分别采用小于所述当前帧图像的量化因子的第一因子对所述当前帧图像中的运动区域进行量化，采用大于所述当前帧图像的量化因子的第二因子对所述当前帧图像中的非运动区域进行量化；处理单元15，用于将经过所述第一因子和所述第二因子进行量化后得出的图像作为所述当前帧图像的最终拍摄结果。

本发明实施例提供的码率控制装置获得当前帧图像的量化因子后，对所述当前帧图像中的运动区域和非运动区域分别采用不同的因子进行量化，由于运动区域所使用的第一因子比所述当前帧图像的量化因子小，因而，在对该运动区域进行编码时，为该运动区域分配的比特流会增多，编码得出的该运动区域的图像清晰度也越高。与现有技术中直接使用当前帧图像的量化因子对当前帧图像进行量化相比，本发明实施例通过对一帧图像中不同区域进行有差别量化，提高了嵌入式设备所拍摄的图像中运动区域的清晰度。

可选的，（图未示）所述区域确定单元13包括：排序子模块和确定子模块。

排序子模块，用于将所述当前帧图像在进行视频编码过程中对宏块的剖分以及运动估计产生的所有区域的运动矢量进行降序排列；

确定子模块，用于将排列在前的预设个数的运动矢量对应的区域作为运动区域；将所述当前帧图像中除了运动区域之外的区域作为非运动区域。

所述区域确定单元13的功能实现过程可以参考实施例1中对步骤103的相关描述。

进一步地，如图4所示，可以对所述量化单元14进行功能细分，具体包括：第一确定模块141，第二确定模块142和量化模块143。

其中，第一确定模块141用于根据所述当前帧图像的量化因子确定所述非运动区域的第二因子；

第二确定模块142用于根据所述当前帧图像的量化因子和所述非运动区域的第二因子确定所述运动区域的第一因子；

量化模块143用于采用所述第一因子对所述当前帧图像中的运动区域进行量化，采用所述第二因子对所述当前帧图像中的非运动区域进行量化。

需要说明的是，上述第一确定模块141，第二确定模块142和量化模块143各自功能的实现方式可以参考实施例1中图2所示方法中的步骤104。

可选的，所述量化单元14的第一确定模块141具体用于将所述当前帧的量化因子增加预设值得出所述非运动区域的第二因子。

可选的，（图未示）所述量化单元14的第二确定模块142包括：第一获取子模块，第二获取子模块和获取子模块。

其中，第一获取子模块，用于根据获取所述当前帧图像的比特流，其中，为所述当前帧图像的比特流，

为已知的所述当前帧的SATD值，

为所述当前帧的量化因子；

第二获取子模块，用于根据

获取所述非运动区域的比特流，其中，

为所述非运动区域的比特流，

为已知的所述非运动区域的SATD值，

为所述非运动区域的第二因子；

获取子模块，用于根据

获取所述运动区域的第一因子，其中，

本发明实施例所提供的码率控制装置具体可以为嵌入式设备，比如手持摄像机，监控摄像头等。

本发明实施例主要应用于对视频图像进行码率控制的过程中，可以在不增加当前帧图像的比特流的总和的前提下，提高嵌入式设备所拍摄的图像中运动区域的清晰度。特别适用于对运动场景的拍摄，比如拍摄现场的篮球/足球比赛，可以极大提升拍摄画面中带球运动球员的清晰度，提高视觉效果。同样本发明实施例还适用于执法监控领域，可以提高对交通肇事监控图像的清晰度。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台嵌入式设备，比如手持摄像机，监控摄像头等执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。