CN104980740A - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本发明实施例提供一种图像处理方法、装置和电子设备，所述装置包括：码率分配单元，其针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；第一控制单元，其根据所述第一码率，对所述感兴趣区域进行第一码率控制；第二控制单元，其根据所述第二码率，对所述非感兴趣区域进行第二码率控制。通过本发明的实施例，为感兴趣区域和非感兴趣区域预先分配码率，再基于预先分配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对感兴趣区域进行高质量地码率控制。

Description

图像处理方法、装置和电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和电子设备。

背景技术

在视频编码技术中，可以通过对原始的视频码流进行压缩编码来得到较高的压缩比，但是，压缩编码产生的码流的码率（Bitrate）会产生波动。在使用固定带宽信道传输码流时，码流的码率需要保持恒定，因此，可以在视频编码器中设置缓冲器，对码率的波动进行平滑处理，从而将具有恒定码率的码流输入信道。

码率控制的目的就是要使码流的码率保持恒定，从而既不会使缓冲器中的数据产生溢出，也不会由于数据供应不足而使缓冲器中的数据出现间断。现有的码率控制方法一般通过调整量化参数（Quantization Parameter，QP）来实现码率控制。量化参数反映了空间细节的压缩情况，当量化参数较小时，大部分图像细节会被保留，输出的码率会较高。

在不同的应用场景中，视频图像帧的不同区域对于使用者的重要性可能是不同的，如果将视频帧中的所有区域进行相同的码率控制，可能画面中较重要的区域无法被清楚地呈现。因此，在对监控视频等需要区分不同区域重要的视频进行编码时，可以首先将视频图像帧中的区域划分为感兴趣区域（Region Of Interest，ROI）和非感兴趣区域（Non-Region Of Interest，NROI），然后对感兴趣区域和非感兴趣区域进行相应的码率控制，由此，能够在重现画面中清楚地呈现感兴趣区域。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

在现有的基于感兴趣区域的码率控制技术中，感兴趣区域和非感兴趣区域共享同一个缓冲器，由此，对感兴趣区域进行码率控制的过程会受到非感兴趣区域码率控制的结果的影响，降低了对感兴趣区域进行码率控制的质量。

本发明实施例提供一种图像处理方法、装置和电子设备，能够使感兴趣区域使用独立的缓冲器进行码率控制，从而不受到非感兴趣区域码率控制结果的影响，提高了对感兴趣区域进行码率控制的质量。

根据本发明实施例的第一方面，提供一种图像处理装置，所述装置包括：

码率分配单元，其针对所述图像中的每一帧，为所述帧中的感兴趣区域（ROI）分配第一码率，为所述帧中的非感兴趣区域（NROI）分配第二码率；

第一控制单元，其基于所述第一码率，对所述感兴趣区域进行第一码率控制；

第二控制单元，其基于所述第二码率，对所述非感兴趣区域进行第二码率控制。

根据本发明实施例的第二方面，提供一种图像处理方法，所述方法包括：

针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；

基于所述第一码率，对所述感兴趣区域进行第一码率控制；

基于所述第二码率，对所述非感兴趣区域进行第二码率控制。

根据本发明实施例的第三方面，提供一种电子设备，其具有如上述第一方面所述的图像处理装置。

本发明的有益效果在于：为感兴趣区域和非感兴趣区域预先分配码率，再基于预先分配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对感兴趣区域进行高质量地码率控制。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例1的图像处理装置的组成示意图；

图2是连续的三个帧中感兴趣区域和非感兴趣区域的示意图；

图3是本发明实施例1的第一控制单元的组成示意图；

图4是本发明实施例2的第二控制单元的组成示意图；

图5是本发明实施例2的电子设备的系统构成的一示意框图；

图6是本发明实施例3的图像处理方法的一流程图；

图7是本发明实施例3的第一码率控制方法的流程图；

图8是本发明实施例3的第二码率控制方法的流程图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本发明实施例1提供一种图像处理装置，该图像处理装置用于对图像进行码率控制。图1是本发明实施例1的图像处理装置的组成示意图，如图1所示，图像处理装置100包括：码率分配单元101，第一控制单元102和第二控制单元103。

其中，码率分配单元101，针对该图像中的每一帧，为该帧中的感兴趣区域分配第一码率，为该帧中的非感兴趣区域分配第二码率；第一控制单元102，基于该第一码率，对该感兴趣区域进行第一码率控制；第二控制单元103，基于该第二码率，对该非感兴趣区域进行第二码率控制。

在本发明实施例中，为感兴趣区域和非感兴趣区域预先分配码率，再基于预先分配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对感兴趣区域进行高质量地码率控制。

在本发明实施例中，该图像可以是视频图像，该视频图像例如可以是视频监控设备实时拍摄的视频图像，或者是预先存储在存储设备中的视频图像。

该图像可以由多个帧组成，该帧可以被分为三种格式，即，I帧、B帧和P帧，其中，I帧是图像中的关键帧，B帧和P帧是依赖I帧而存在的。该图像可以被划分为若干图像组（Group of Picture，GOP），每个图像组中可以包含若干数量的I帧，以及多个B帧和/或P帧。关于图像组的具体划分方式，可以参考现有技术，本发明实施例不再赘述。

在每个帧中，可以划分出感兴趣区域和非感兴趣区域。图2是连续的三个帧中感兴趣区域和非感兴趣区域的示意图。如图2所示，在该图像的第n帧201、第n+1帧202和第n+2帧203中，感兴趣区域2011、2021和2031位于各自帧的中央，非感兴趣区域2012、2022和2032位于各感兴趣区域的外围。当然，图2所示只是举例，本发明实施例并不限于此，可以按照应用场景或用户的设置，划分出其它形状的感兴趣区域和非感兴趣区域。关于划分感兴趣区域和非感兴趣区域的具体方法，可以参考现有技术，本发明实施例不再赘述。

此外，在每个感兴趣区域和非感兴趣区域中，可以包含有多个基本编码单元。对于H.264视频编码标准和MPEG-2视频编码标准而言，该基本编码单元可以是宏块（Macro Block，MB）；对于其它的编码标准，如H.265视频编码标准而言，该基本编码单元可以是编码树单元（Coding Tree Unit，CTU）。关于宏块和编码树单元的说明，可以参考现有技术，本发明实施例不再赘述。

下面，结合附图，详细说明本发明实施例的技术方案。

在本发明实施例中，码率分配单元101可以根据该帧的码率、感兴趣区域中基本编码单元的数量、非感兴趣区域中基本编码单元的数量，以及分配给该感兴趣区域中每一个基本编码单元的比特数与分配给所述非感兴趣区域中每一个基本编码单元的比特数的比值，确定该第一码率和第二码率。

例如，码率分配单元101可以分别根据下式（1）、（2）和（3）计算该第一码率bitrate_R和该第二码率bitrate_N，

bitrate_R=bitrate*ratio_bitsRtoN   （1）

bitrate_N=bitrate-bitrate*ratio_bitsRtoN   （2）

$\mathrm{ratio}\_\mathrm{bitsRtoN}=\frac{\mathrm{mbnum}\_R*\mathrm{ratio}\_\mathrm{bitsRtoN}\_\mathrm{perMB}}{\mathrm{mbnum}\_R*\mathrm{ratio}\_\mathrm{bitsRtoN}\_\mathrm{perMB}+\mathrm{mbnum}\_N}---\left(3\right)$

其中，bitrate表示该帧的码率，ratio_bitsRtoN表示感兴趣区域的码率在该帧的码率中的比重，mbnum_R表示感兴趣区域中基本编码单元的数量，mbnum_N表示非感兴趣区域中基本编码单元的数量，ratio_bitsRtoN_perMB代表分配给感兴趣区域中每一个基本编码单元的比特数与分配给非感兴趣区域中每一个基本编码单元的比特数的比值。

在该图像中，如果每一帧的画面内容变化不大，那么每一帧的码率、以及感兴趣区域和非感兴趣区域包含的基本编码单元的数量都变化不大，因此，可以认为每一帧的第一码率bitrate_R彼此相同，每一帧的第二码率bitrate_N彼此相同。

在本发明实施例中，第一控制单元102根据第一码率bitrate_R，确定感兴趣区域内每一个基本编码单元对应的量化参数，从而对感兴趣区域进行第一码率控制。由于在第一码率控制的过程中不涉及第二码率bitrate_N，因此，第一控制单元102能够避免第二码率控制结果的干扰，提高第一码率控制的质量。

在本发明实施例中，第一控制单元102可以基于MPEG-2视频编码标准下的TM5算法进行该第一码率控制，本发明的实施例将以TM5算法为例，说明第一控制单元102的结构。需要说明的是，本发明实施例并不限于此，第一控制单元102也可以基于其它的算法进行该第一码率控制，在这种情况下，第一控制单元102的可以具有与其所使用的算法相对应的结构。例如，第一控制单元102可以采用的码率控制算法还可以是MPEG-4视频编码标准下的VM8码率控制算法，或者H.263视频编码标准下的TMN8码率控制算法等。

图3是本发明实施例1中第一控制单元102的组成示意图，如图3所示，第一控制单元包括：第一分配单元301，第二分配单元302和第一计算单元303。

其中，第一分配单元301，基于第一码率bitrate_R，对包含该帧的图像组分配比特数；第二分配单元302，基于对该图像组的比特数分配结果，对该帧分配比特数；第一计算单元303，基于对该帧的比特数分配结果和该第一码率，确定该帧内每一个基本编码单元对应的量化参数。

在本发明实施例中，第一分配单元301，可以根据该第一码率，为该图像中的每一个图像组分配预定的比特数，并且，根据该预定的比特数以及该图像中上一图像组完成第一码率控制后的剩余比特数，为当前图像组分配比特数。

例如，第一分配单元301可以按照如下公式（4）、（5），对包含该帧的第k图像组分配比特数R_k，

R₁=G₁   （4）

R_k=r_k-1+G_k   （5）

其中，k为自然数，且2≤k，R₁是分配给第一个图像组的比特数，G_k是对第k图像组分配的预定的比特数，r_k-1是第k-1图像组中的所有帧完成第一码率控制后的剩余比特数。可以根据下式（6）、（7）来计算G₁、G_k，

G₁=bitrate_R*N₁/picture_rate   （6）

G_k=bitrate_R*Nk/picture_rate   （7）

其中，bitrate_R是第一码率，N₁和N_k分别是第1图像组和第k图像组所包含的帧的数量，picture_rate是该图像的帧率。

在本发明实施例中，第二分配单元302可以根据分配给第k图像组的比特数、该图像组中未进行第一码率控制的帧的数量、该图像组中已完成第一码率控制的帧的复杂度，对该图像组中的该帧分配比特数。

例如，该第二分配单元302可以采用下式（8）、（9），对该图像组中的I帧和P帧分配比特数，

$T_{i,I}=\frac{R_k}{1+\frac{N_P{X}_P}{X_I}}---\left(8\right)$

$T_{p,P}=\frac{R_k}{1+N_P}---\left(9\right)$

其中，T_i,I、T_p,P分别表示分配给该第k图像组中的第i个I帧和第p个P帧的比特数，i为自然数，且i≤i_(max)，i_(max)是该图像组中I帧的数量，p为自然数，且p≤p_(max)，p_(max)是该图像组中P帧的数量；N_p表示在第k图像组中尚未经过第一码率控制的P帧的数量；X_p和X_I分别表示与该第i个I帧最接近的已经过第一码率控制的P帧和I帧的复杂度；对于该第k图像组中的第一个I帧，X_p/X_I可以被设置为3/8或其它的数值；复杂度X_p或X_I例如可以是将该P帧或I帧的平均量化参数与该P帧或I帧所使用的比特数的乘积，当然，还可以采用其它方式计算复杂度X_p和X_I的计算方式，可以参考现有技术，本发明实施例不再赘述。

在本发明实施例中，第一计算单元303可以根据分配给所述帧的比特数计算该基本编码单元的内存使用率，并根据该内存使用率、该图像的帧率和该第一码率计算该基本编码单元的量化参数。

例如，当该帧是I帧时，该第一计算单元303可以根据下式（10）计算该第i个I帧中第j个基本编码单元的内存使用率

$d_j^I=d_0^I+{B^I}_{j-1}-\left(\frac{T_{i,I}*(j-1)}{\mathrm{MB}\_{\mathrm{cnt}}^I}\right)---\left(10\right)$

其中，j为自然数，且j≤MB_cnt^I，MB_cnt^I是该I帧中基本编码单元的数量，代表该I帧的初始内存使用率，B^I _j-1代表在该第j基本编码单元之前，该I帧中基本编码单元所使用的比特数，B^I ₀和可以根据下式（11）和（12）来计算得到，

B^I ₀=0   （11）

$d_0^I=10*(2*\mathrm{bitrate}\_R/\mathrm{picture}\_\mathrm{rate})/51---\left(12\right)$

当该帧是P帧时，该第一计算单元303可以根据下式（13）计算该第p个P帧中第j个基本编码单元的内存使用率

$d_j^P=d_0^P+B_{j-1}-\left(\frac{T_{p,P}*(j-1)}{\mathrm{MB}\_{\mathrm{cnt}}^P}\right)---\left(13\right)$

其中，j为自然数，且j≤MB_cnt^P，MB_cnt^P是该P帧中基本编码单元的数量，代表该P帧的初始内存使用率，B^P _j-1代表在该第j基本编码单元之前，该P帧中基本编码单元所使用的比特数，B^P ₀和可以根据下式（14）和（15）来计算得到，

B^P ₀=0   （14）

$d_0^P=10*(2*\mathrm{bitrate}\_R/\mathrm{picture}\_\mathrm{rate})/51---\left(15\right)$

第一计算单元303可以进一步根据下式（16）和（17）计算该帧中第j基本编码单元的量化参数MB_qp_j，

$\mathrm{MB}\_{\mathrm{qp}}_j=\frac{\log (\frac{d_j*51}{g}*1.6)}{\log \left(1.125\right)}---\left(16\right)$

$g=2*\frac{\mathrm{bitrate}\_R}{\mathrm{picture}\_\mathrm{rate}}---\left(17\right)$

其中，d_j表示第j基本编码单元的内存使用率，当该帧为I帧时，d_j为上式（10）中的当该帧为P帧时，d_j为上式（13）中的picture_rate表示该图像的帧率；bitrate_R是该第一码率。

在本发明实施例中，第一控制单元102基于该第一码率，确定每一帧的感兴趣区域内每一个基本编码单元对应的量化参数。由于量化参数反映了空间细节的压缩情况，因而，第一控制单元102通过确定量化参数，实现了对该帧的第一码率控制。

需要说明的是，上述举例中示例了针对图像组中的I帧和P帧进行第一码率控制，但是本发明实施例并不限于此，还可以采用类似方式对图像组中的B帧进行第一码率控制。

在本发明实施例中，第二控制单元103可以根据该第二码率，确定每一帧的非感兴趣区域内每一个基本编码单元对应的量化参数，从而对该帧进行第二码率控制。

图4是本发明实施例的第二控制单元103的组成示意图，如图4所示，第二控制单元103包括：第三分配单元401，第四分配单元402和第二计算单元403。

其中，第三分配单元401，基于第二码率bitrate_N，对包含该帧的图像组分配比特数；第四分配单元402，基于对该图像组的比特数分配结果，对该帧分配比特数；第二计算单元403，基于对该帧的比特数分配结果和该第二码率，计算该帧内每一个基本编码单元对应的量化参数。

第二控制单元103可以采用与第一控制单元102相似的方式来进行第二码率控制，也就是说，在第二控制单元103中，将第一控制单元102所使用的与感兴趣区域相关的参数替换为与非感兴区域相关的参数。

在本发明实施例中，第三分配单元401，可以根据该第二码率，为该图像中的每一个图像组分配预定的比特数，并且，根据该预定的比特数以及该图像中上一图像组完成第一码率控制后的剩余比特数，为当前图像组分配比特数。例如，该第三分配单元401可以根据上述（4）-（7），为当前图像组分配比特数。

在本发明实施例中，第四分配单元402可以根据分配给第k图像组的比特数、该图像组中未进行第二码率控制的帧的数量、该图像组中已完成第二码率控制的帧的复杂度，对该图像组中的该帧分配比特数。例如，该第三分配单元402可以根据上式（8）-（9），为该帧分配比特数。

在本发明实施例中，第二计算单元403可以根据分配给该帧的比特数计算该基本编码单元的内存使用率，并根据该内存使用率、该图像的帧率和该第二码率计算该基本编码单元的量化参数。例如，可以根据上式（10）-（17），计算每个基本编码单元的量化参数。

在本发明实施例中，为感兴趣区域和非感兴趣区域预先分配码率，再根据预先分配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对感兴趣区域进行高质量地码率控制。

实施例2

本发明实施例2提供一种电子设备，该电子设备包括如实施例1所述的图像处理装置。

图5是本发明实施例2的电子设备500的系统构成的一示意框图。如图5所示，该电子设备500可以包括中央处理器501和存储器502；存储器502耦合到中央处理器501。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在一个实施方式中，图像处理装置的功能可以被集成到中央处理器501中。其中，中央处理器501可以被配置为：

针对该图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；基于所述第一码率，对所述感兴趣区域进行第一码率控制；基于所述第二码率，对所述非感兴趣区域进行第二码率控制；

根据所述帧的码率、所述感兴趣区域中基本编码单元的数量、所述非感兴趣区域中基本编码单元的数量，以及分配给所述感兴趣区域中每一个基本编码单元的比特数与分配给所述非感兴趣区域中每一个基本编码单元的比特数的比值，确定所述第一码率和第二码率；

根据所述第一码率，确定所述感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第一码率控制；

根据所述第二码率，确定所述非感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第二码率控制；

基于所述第一码率，对包含所述帧的图像组分配比特数；基于对所述图像组的比特数分配结果，对所述帧分配比特数；基于对所述帧的比特数分配结果和所述第一码率，计算所述帧内每一个基本编码单元对应的量化参数；

根据该第一码率，为该图像组分配预定的比特数，并且，根据该预定的比特数以及该图像中该图像组的上一图像组完成第一码率控制后的剩余比特数，为该图像组分配比特数；

根据分配给所述图像组的比特数、所述图像组中未进行第一码率控制的帧的数量、该图像组中已完成第一码率控制的帧的复杂度，对所述帧分配比特数；

根据分配给所述帧的比特数，计算所述基本编码单元的内存使用率，并根据所述内存使用率、所述图像的帧率和所述第一码率，计算所述基本编码单元对应的量化参数；

根据所述第二码率，对包含所述帧的图像组分配比特数；根据分配给所述图像组的比特数，对所述帧分配比特数；根据分配给所述帧的比特数和所述第二码率，确定所述帧内每一个基本编码单元对应的量化参数。

在另一个实施方式中，图像处理装置可以与中央处理器501分开配置，例如可以将图像处理装置配置为与中央处理器501连接的芯片，通过中央处理器的控制来实现图像处理装置的功能。

如图5所示，该电子设备500还可以包括：摄像单元503，其用于对外界环境进行拍摄，以获取视频图像；通信模块504，其用于发送经处理过的图像和/或者接收来自其它摄像单元的图像；输入单元505，接收用户输入的指令；显示单元506，其用于显示经图像处理装置处理过的图像；电源507，其用于为该电子设备500提供电力。值得注意的是，电子设备500也并不是必须要包括图5中所示的所有部件；此外，电子设备500还可以包括图5中没有示出的部件，可以参考现有技术。

如图5所示，中央处理器501有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器501接收输入并控制电子设备500的各个部件的操作。

其中，存储器502，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可存储预先拍摄的视频图像，还可存储执行有关信息的程序。并且中央处理器501可执行该存储器502存储的该程序，以实现信息存储或处理等。其他部件的功能与现有类似，此处不再赘述。电子设备501的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。

实施例3

本发明实施例3提供一种图像处理方法，对应实施例1的图像处理装置。

图6是本发明实施例3的图像处理方法的一流程图，如图6所示，该方法包括：

步骤601，针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；

步骤602，基于所述第一码率，对所述感兴趣区域进行第一码率控制；

步骤603，基于所述第二码率，对所述非感兴趣区域进行第二码率控制。

图7是本发明实施例3的第一码率控制方法的流程图，如图7所示，该方法包括：

步骤701，基于所述第一码率，对包含所述帧的图像组分配比特数；

步骤702，基于对所述图像组的比特数分配结果，对所述帧分配比特数；

步骤703，基于对所述帧的比特数分配结果和所述第一码率，计算所述帧内每一个基本编码单元对应的量化参数。

图8是本发明实施例3的第二码率控制方法的流程图，如图8所示，该方法包括：

步骤801，基于所述第二码率，对包含所述帧的图像组分配比特数；

步骤802，基于对所述图像组的比特数分配结果，对所述帧分配比特数；

步骤803，基于对所述帧的比特数分配结果和所述第二码率，计算所述帧内每一个基本编码单元对应的量化参数。

关于上述步骤的详细说明，请参照实施例1中对相应的单元的说明，本发明实施例不再赘述。

在本发明实施例中，为感兴趣区域和非感兴趣区域预先分配码率，再根据预先分配的码率，分别对感兴趣区域和非感兴趣区域进行各自独立的码率控制，由此，能够对感兴趣区域进行高质量地码率控制。

本发明实施例还提供一种计算机可读程序，其中当在信息处理装置或用户设备中执行所述程序时，所述程序使得计算机在所述信息处理装置或用户设备中执行实施例4所述的图像处理方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在信息处理装置或用户设备中执行实施例4所述的图像处理方法。

本发明实施例还提供一种计算机可读程序，其中当在信息处理装置或基站中执行所述程序时，所述程序使得计算机在所述信息处理装置或基站中执行实施例4所述的图像处理方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在信息处理装置或基站中执行实施例4所述的图像处理方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1、一种图像处理装置，所述装置包括：

码率分配单元，其针对所述图像的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；

第一控制单元，其根据所述第一码率，对所述感兴趣区域进行第一码率控制；

第二控制单元，其根据所述第二码率，对所述非感兴趣区域进行第二码率控制。

附记2、根据附记1所述的图像处理装置，其中，所述码率分配单元根据所述帧的码率、所述感兴趣区域中基本编码单元的数量、所述非感兴趣区域中基本编码单元的数量，以及分配给所述感兴趣区域中每一个基本编码单元的比特数与分配给所述非感兴趣区域中每一个基本编码单元的比特数的比值，确定所述第一码率和第二码率。

附记3、根据附记1所述的图像处理装置，其中，

所述第一控制单元根据所述第一码率，确定所述感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第一码率控制；

所述第二控制单元根据所述第二码率，确定所述非感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第二码率控制。

附记4、根据附记3所述的图像处理装置，其中，所述第一控制单元包括：

第一分配单元，其基于所述第一码率，对包含所述帧的图像组分配比特数；

第二分配单元，其基于对所述图像组的比特数分配结果，对所述帧分配比特数；

第一计算单元，其基于对所述帧的比特数分配结果和所述第一码率，计算所述帧内每一个基本编码单元对应的量化参数。

附记5、根据附记4所述的图像处理装置，其中，所述第一分配单元根据所述第一码率，为所述图像组分配预定的比特数，并且，根据所述预定的比特数以及所述图像中所述图像组的上一图像组完成第一码率控制后的剩余比特数，为所述图像组分配比特数。

附记6、根据附记4所述的图像处理装置，其中，所述第二分配单元根据分配给所述图像组的比特数、所述图像组中未进行第一码率控制的帧的数量、所述图像组中已完成第一码率控制的帧的复杂度，对所述帧分配比特数。

附记7、根据附记4所述的图像处理装置，其中，所述第一计算单元根据分配给所述帧的比特数，计算所述基本编码单元的内存使用率，并根据所述内存使用率、所述图像的帧率和所述第一码率，计算所述基本编码单元对应的量化参数。

附记8、根据附记3所述的图像处理装置，其中，所述第二控制单元包括：

第三分配单元，其基于所述第二码率，对包含所述帧的图像组分配比特数；

第四分配单元，其基于对所述图像组的比特数分配结果，对所述帧分配比特数；

第二计算单元，其基于对所述帧的比特数分配结果和所述第二码率，计算所述帧内每一个基本编码单元对应的量化参数。

附记9、一种电子设备，其具有根据附记1-8中任一项所述的图像处理装置。

附记10、一种图像处理方法，所述方法包括：

针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；

根据所述第一码率，对所述感兴趣区域进行第一码率控制；

根据所述第二码率，对所述非感兴趣区域进行第二码率控制。

附记11、根据附记10所述的图像处理方法，其中，根据所述帧的码率、所述感兴趣区域中基本编码单元的数量、所述非感兴趣区域中基本编码单元的数量，以及分配给所述感兴趣区域中每一个基本编码单元的比特数与分配给所述非感兴趣区域中每一个基本编码单元的比特数的比值，确定所述第一码率和第二码率。

附记12、根据附记10所述的图像处理方法，其中，

根据所述第一码率，对所述感兴趣区域进行第一码率控制包括：根据所述第一码率，确定所述感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第一码率控制；

根据所述第二码率，对所述非感兴趣区域进行第二码率控制包括：根据所述第二码率，确定所述非感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第二码率控制。

附记13、根据附记12所述的图像处理装置，其中，进行所述第一码率控制包括：

基于所述第一码率，对包含所述帧的图像组分配比特数；

基于对所述图像组的比特数分配结果，对所述帧分配比特数；

基于对所述帧的比特数分配结果和所述第一码率，计算所述帧内每一个基本编码单元对应的量化参数。

附记14、根据附记13所述的图像处理方法，其中，对包含所述帧的图像组分配比特数包括：

根据所述第一码率，为所述图像组分配预定的比特数，并且，根据所述预定的比特数以及所述图像中所述图像组的上一图像组完成第一码率控制后的剩余比特数，为所述图像组分配比特数。

附记15、根据附记13所述的图像处理方法，其中，对所述帧分配比特数包括：

根据分配给所述图像组的比特数、所述图像组中未进行第一码率控制的帧的数量、所述图像组中已完成第一码率控制的帧的复杂度，对所述帧分配比特数。

附记16、根据附记14所述的图像处理方法，其中，计算所述帧内每一个基本编码单元对应的量化参数包括：

根据分配给所述帧的比特数，计算所述基本编码单元的内存使用率，并根据所述内存使用率、所述图像的帧率和所述第一码率，计算所述基本编码单元对应的量化参数。

附记17、根据附记12所述的图像处理方法，其中，进行所述第二码率控制包括：

基于所述第二码率，对包含所述帧的图像组分配比特数；

基于对所述图像组的比特数分配结果，对所述帧分配比特数；

基于对所述帧的比特数分配结果和所述第二码率，计算所述帧内每一个基本编码单元对应的量化参数。

Claims (10)

1.一种图像处理装置，所述装置包括：

码率分配单元，其针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；

第一控制单元，其基于所述第一码率，对所述感兴趣区域进行第一码率控制；

第二控制单元，其基于所述第二码率，对所述非感兴趣区域进行第二码率控制。

2.根据权利要求1所述的图像处理装置，其中，所述码率分配单元根据所述帧的码率、所述感兴趣区域中基本编码单元的数量、所述非感兴趣区域中基本编码单元的数量，以及分配给所述感兴趣区域中每一个基本编码单元的比特数与分配给所述非感兴趣区域中每一个基本编码单元的比特数的比值，确定所述第一码率和所述第二码率。

3.根据权利要求1所述的图像处理装置，其中，

所述第一控制单元根据所述第一码率，确定所述感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第一码率控制；

所述第二控制单元根据所述第二码率，确定所述非感兴趣区域内每一个基本编码单元对应的量化参数，从而进行所述第二码率控制。

4.根据权利要求3所述的图像处理装置，其中，所述第一控制单元包括：

第一分配单元，其基于所述第一码率，对包含所述帧的图像组分配比特数；

第二分配单元，其基于对所述图像组的比特数分配结果，对所述帧分配比特数；

第一计算单元，其基于对所述帧的比特数分配结果和所述第一码率，计算所述帧内每一个基本编码单元对应的量化参数。

5.根据权利要求4所述的图像处理装置，其中，所述第一分配单元根据所述第一码率，为所述图像组分配预定的比特数，并且，根据所述预定的比特数以及所述图像中所述图像组的上一图像组完成第一码率控制后的剩余比特数，为所述图像组分配比特数。

6.根据权利要求4所述的图像处理装置，其中，所述第二分配单元根据分配给所述图像组的比特数、所述图像组中未进行第一码率控制的帧的数量、所述图像组中已完成第一码率控制的帧的复杂度，对所述帧分配比特数。

7.根据权利要求4所述的图像处理装置，其中，所述第一计算单元根据分配给所述帧的比特数，计算所述基本编码单元的内存使用率，并根据所述内存使用率、所述图像的帧率和所述第一码率，计算所述基本编码单元对应的量化参数。

8.根据权利要求3所述的图像处理装置，其中，所述第二控制单元包括：

第三分配单元，其基于所述第二码率，对包含所述帧的图像组分配比特数；

第四分配单元，其基于对所述图像组的比特数分配结果，对所述帧分配比特数；

第二计算单元，其基于对所述帧的比特数分配结果和所述第二码率，计算所述帧内每一个基本编码单元对应的量化参数。

9.一种电子设备，其具有根据权利要求1-8中任一项所述的图像处理装置。

10.一种图像处理方法，所述方法包括：

针对所述图像中的每一帧，为所述帧中的感兴趣区域分配第一码率，为所述帧中的非感兴趣区域分配第二码率；

基于所述第一码率，对所述感兴趣区域进行第一码率控制；

基于所述第二码率，对所述非感兴趣区域进行第二码率控制。