CN101534444A - 一种图像处理方法、系统和装置 - Google Patents

Abstract

本发明公开了一种图像处理方法、系统和装置，其中，该方法包括：A.轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；B.确定当前宏块的级别；C.用与确定出的级别对应的编码参数和码率对所述当前宏块进行编码。采用本发明，对不同级别的宏块，编码的权重也不同。并非现有技术中使整帧视频图像中各个宏块的编码权重相同，如此，可提高视频图像整体分辨率；通常，级别高的宏块，其包含的信息也相应地比较重要，采用本发明实施例，也可大大提高重要信息的清晰度。

Description

一种图像处理方法、系统和装置

技术领域

本发明涉及图像处理技术，特别涉及一种图像处理方法、系统和装置。

背景技术

目前，视频监控技术由于具有真实、有效等特点而得到广泛应用。其中，视频监控具体是将监控到的视频图像进行编码，之后，将编码后的视频图像传输给网络。参见图1，图1为传统的视频图像编码系统图。如图1所示，该系统包括视频采集器101、编码器102、码率控制器103和熵编码器104。其中，视频采集器101用于以帧为单位采集视频图像；码率控制器103用于在单一的码率下控制编码器102编码；编码器102用于在码率控制器103单一的码率控制下对视频采集器101采集到的视频图像进行统一编码，之后，将编码后的视频图像发送给熵编码器104；熵编码器104用于对接收的来自编码器102发送的视频图像进行熵编码，将经过熵编码后的视频图像打包输出给网络。

实际应用中，用户并非对视频采集器101采集的整帧视频图像感兴趣，其通常对视频采集器101采集的一帧视频图像中的部分区域感兴趣，其中，这些部分区域可称为视觉感兴趣区域(ROI：Region-of-interest)，通常包含一些重要信息。例如一副人像照片，通常用户比较感兴趣的是该人像照片中的面部区域信息，而其他区域中的信息往往不是用户感兴趣的。而现有的视频编码系统，不区分感兴趣区域和非感兴趣区域，使整帧视频图像中各个区域的编码权重相同，如此，降低了视频图像整体分辨率，也影响了一些重要信息的清晰度。

发明内容

有鉴于此，本发明提供了一种图像处理方法、系统和装置，以便提高视频图像中重要信息的清晰度。

一种图像处理方法，包括：

A，轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；

B，确定当前宏块的级别；

C，用与确定出的级别对应的编码参数和码率对所述当前宏块进行编码。

一种图像处理系统，包括：宏块识别设备、宏块分级设备和编码设备；其中，

所述宏块识别设备用于轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；

所述宏块分级设备用于确定所述宏块识别设备轮询到的当前宏块的级别；

所述编码设备用与所述宏块分级设备确定出的级别对应的编码参数和码率对所述当前宏块进行编码。

一种宏块分级设备，包括：确定单元和输出单元，其中，

所述确定单元用于确定当前宏块的级别；

所述输出单元用于将所述确定单元确定出的级别输出给编码设备。

由此可见，本发明实施例提供的图像处理方法、系统和宏块分级设备，通过轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；确定当前宏块的级别；用与确定出的级别对应的编码参数和码率对所述当前宏块进行编码。这里，宏块的级别对应的编码参数和码率与该宏块所属的区域，比如感兴趣区域或者非感兴趣区域以及该宏块在其所属的区域中的级别有关。由此可以看出，本发明并非现有技术中使整帧视频图像中各个宏块的编码权重相同，而是实现对不同级别的宏块，采用不同的编码参数和码率进行编码，即不同级别的宏块，编码的权重也不同。通常，级别高的宏块，其包含的信息也相应地比较重要，采用本发明实施例，可大大提高重要信息的清晰度，进而提高视频图像整体分辨率。

附图说明

图1为传统的视频图像编码系统图；

图2为本发明实施例提供的图像处理的基本流程图；

图3为本发明实施例提供的图像处理的详细流程图；

图4a为本发明实施例提供的确定感兴趣区域中的宏块级别的流程图；

图4b为本发明实施例提供的确定非感兴趣区域中的宏块级别的流程图；

图5为本发明实施例提供的图像处理的系统结构图；

图6为本发明实施例提供的宏块分类设备的结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

参见图2，图2为本发明实施例提供的图像处理的基本流程图。如图2所示，该流程可包括以下步骤：

步骤201，轮询当前图像帧中的宏块。

这里，当前图像帧通常包含多个宏块，其中，该宏块的大小本发明实施例并不具体限定。

步骤202，确定当前宏块的级别。

这里，当前宏块具体为步骤201中当前轮询到的宏块，优选地，至于如何确定当前宏块的级别可按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块的级别，具体下述。

本实施例中，级别高的宏块，其包含的当前图像帧的信息也相应地比较重要。

步骤203，用与步骤202确定的级别对应的编码参数和码率对当前宏块进行编码。

如此，即可实现本实施例提供的图像处理流程。可见，本实施例中，并非现有技术中使整帧视频图像中各个宏块的编码权重相同，而是确定宏块的级别，用与确定出的级别对应的编码参数和码率对所述当前宏块进行编码，即不同级别的宏块，编码的权重相应不同，如此，可提高视频图像整体分辨率；由于级别高的宏块，其包含的信息也相应地比较重要，如此，采用本发明实施例，可大大提高重要信息的清晰度。

上述只是简单描述了本发明实施例提供的图像处理方法，下面结合具体附图，对本发明实施例提供的图像处理流程进行详述。

参见图3，图3为本发明实施例提供的图像处理的详细流程图。如图3所示，该流程可包括以下步骤：

步骤301，采集当前图像帧。

这里，步骤301具体可利用摄像头或其他视频采集设备采集当前图像帧。需要说明的是，本实施例中，考虑到实际应用中，用户并非对采集的整帧视频图像感兴趣，其通常对采集的整帧视频图像中的一部分区域感兴趣，因此，本实施例可执行步骤302。

步骤302，将步骤301采集的当前图像帧划分为感兴趣区域和非感兴趣区域。

这里，步骤302将当前图像帧划分为感兴趣区域和非感兴趣区域的方式有多种。比如，预先设定某一固定区域(比如对角坐标分别为A*A和B*B的长方形)为感兴趣区域，如此，直接将当前图像帧中对角坐标分别为A*A和B*B的长方形区域确定为感兴趣区域，相应地，该对角坐标分别为A*A和B*B的长方形区域包含的数据信息为用户感兴趣的信息；而将其他区域确定为非感兴趣区域，相应地，除该对角坐标分别为A*A和B*B的长方形区域之外的其他区域包含的数据信息为用户不感兴趣的信息。或者根据已存储的图像自动将当前图像帧划分为感兴趣区域和非感兴趣区域，具体是，相比于已存储的图像中，判断当前图像帧是否存在变化超过预设门限的数据信息，如果是，将该数据信息所在的区域划分为感兴趣区域；相应地，将当前图像帧中的其他数据信息所在的区域划分为非感兴趣区域。本发明实施例针对将当前图像帧划分为感兴趣区域和非感兴趣区域的方式并不具体限定。需要说明的是，感兴趣区域和非感兴趣区域可以为连续的一段区域，也可以为离散的几段区域的组合，本发明实施例并不具体限定。如此，通过上述步骤，可将当前图像帧划分为感兴趣区域和非感兴趣区域。

步骤303，分别为感兴趣区域和非感兴趣区域分配码率。

通常，由于感兴趣区域包含了用户比较关注的信息，而非感兴趣区域包含了用户忽略或者不易觉察的信息。因此，优选地，在保证为感兴趣区域和非感兴趣区域分配的码率之和小于等于系统设定的总码率的条件下，优先为感兴趣区域分配足够多的码率。

本发明实施例中，在对当前图像帧进行编码时，通常以宏块为单位进行编码，其中，宏块的大小可为16行和16列，即16*16，或者为其他大小，本实施例并不具体限定。如此，步骤303可进一步包括：确定出上述感兴趣区域和非感兴趣区域所包含的宏块；根据感兴趣区域所包含的宏块个数，确定实际应当分配给感兴趣区域的码率；以及根据非感兴趣区域所包含的宏块个数，确定实际应当分配给非感兴趣区域的码率。其中，实际应当分配给感兴趣区域的码率不超过步骤303已分配给感兴趣区域的码率；同样，实际应当分配给非感兴趣区域的码率不超过步骤303已分配给非感兴趣区域的码率。

步骤304，以宏块为单位轮询当前图像帧，将该轮询到的宏块确定为当前宏块。

这里，由于本实施例以宏块为单位对当前图像帧进行编码，如此，本步骤以宏块为单位轮询当前图像帧

步骤305，判断当前宏块是否为感兴趣区域中的宏块，如果是，执行步骤306；否则，在当前宏块为非感兴趣区域中的宏块时，则执行步骤309。

步骤306，判断当前宏块是否为感兴趣区域中的第一个宏块，如果是，执行步骤307，否则，执行步骤308。

步骤307，根据第一预设的运动矢量信息计算运动幅度，并根据计算的运动幅度确定当前宏块在感兴趣区域中的级别。

这里，第一预设的运动矢量信息，具体可根据实际情况或者经验进行设置，本发明实施例并不具体限定。其中，由于当前宏块还未编码，因此步骤307计算出的运动幅度并非为当前宏块的运动幅度，而是用于确定当前宏块在感兴趣区域中的级别的一个参数。至于如何确定级别，可参见图4a所示，这里不再赘述。

需要说明的是，步骤307可按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别的原则确定当前宏块在感兴趣区域中的级别。至于确定级别的举例可参见图4a所示的操作，这里不再赘述。

步骤308，根据感兴趣区域中该当前宏块的相邻宏块的运动矢量信息计算运动幅度；并根据计算出的运动幅度确定当前宏块的级别。

这里，当前宏块的相邻宏块具体是指感兴趣区域中当前宏块的已被编码的临近宏块。比如，如表1所示，若当前图像帧可划分成表1所示的宏块，步骤304轮询当前图像帧中的宏块时按照由上至下、由左至右的顺序进行轮询，当步骤304轮询到的宏块为表1所示的编号为22的宏块，即表1中编号为22的宏块为当前宏块，如此，若编号为11、12、13、14和21、22、23、24的宏块都为感兴趣区域中的宏块，则该当前宏块的相邻宏块分别为表1所示的编号为11、12、13和21的宏块。表1：

这里，根据感兴趣区域中该当前宏块的相邻宏块的运动矢量信息计算运动幅度具体可为：对当前宏块的相邻宏块的运动矢量信息进行中值运算或者平均值运算等操作，得到计算后的运动矢量信息；根据计算后的运动矢量信息计算运动幅度。其中，由于当前宏块还未编码，因此步骤308计算出的运动幅度并非为当前宏块的运动幅度，而是用于确定当前宏块在感兴趣区域中的级别的一个参数。至于如何确定级别，可参见图4a所示，这里不再赘述。

需要说明的是，步骤308根据计算的运动幅度确定当前宏块的级别主要是按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在感兴趣区域中的级别。

步骤309，判断当前宏块是否为非感兴趣区域中的第一个宏块，如果是，执行步骤310，否则，执行步骤311。

需要说明的是，在步骤306确定出当前宏块为非感兴趣区域中的宏块时，也可直接确定当前宏块的级别为低级别，即标识对该当前宏块进行简单编码即可，而不执行后续的步骤309至步骤311。因此，图3所示的操作只是一种举例，并非用于限定本发明实施例。

步骤310，根据第二预设的运动矢量信息计算运动幅度，根据计算出的运动幅度确定当前宏块在非感兴趣区域中的级别。

这里，第二预设的运动矢量信息，具体可根据实际情况或者经验进行设置的，本发明实施例并不具体限定。其与第一预设的运动矢量信息无关。

需要说明的是，步骤310也可按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别来确定当前宏块在非感兴趣区域中的级别，至于确定级别的举例可参见图4b所示，这里不再赘述。

步骤311，根据非感兴趣区域中当前宏块的相邻宏块的运动矢量信息计算运动幅度；根据计算出的运动幅度确定当前宏块在非感兴趣区域中的级别。

这里，当前宏块的相邻宏块具体是指非感兴趣区域中当前宏块的已被编码的临近宏块。如表1所示，若当前图像帧可划分成表1所示的宏块，步骤304轮询当前图像帧中的宏块时按照由上至下、由左至右的顺序进行轮询，则当步骤304轮询到的宏块为表1所示的编号为25的宏块，即表1中编号为25的宏块为当前宏块，其中，该编号为25的宏块为当前图像帧中非感兴趣区域中的宏块，如此，若编号为11、12、13、14和21、22、23、24的宏块都为感兴趣区域中的宏块，编号为15、16、17、18和25、26、27、28的宏块为非感兴趣区域中的宏块，则该当前宏块的相邻宏块分别为表1所示的编号为15、16的宏块。

这里，根据非感兴趣区域中该当前宏块的相邻宏块的运动矢量信息计算运动幅度具体可为：对当前宏块的相邻宏块的运动矢量信息进行中值运算或平均值运算等操作，得到计算后的运动矢量信息；根据计算后的运动矢量信息计算运动幅度。其中，由于当前宏块还未编码，因此步骤311计算出的运动幅度并非为当前宏块的运动幅度，而是用于确定当前宏块在非感兴趣区域中的级别的一个参数。至于如何确定，具体参见图4b所示，这里不再赘述。

需要说明的是，步骤311也可按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在非感兴趣区域中的级别。

步骤312，根据确定的级别确定当前宏块对应的码率和编码参数。

这里，宏块的级别越高，该宏块对应的码率也就越大，因此，本实施例可以根据宏块的级别调整对应当前宏块级别的码率。

通常，感兴趣区域中包含了当前图像帧中的重要信息，如此，针对感兴趣区域中级别高(级别大于等于第一预设值)的宏块，则需要对该宏块进行精细编码，所对应的编码参数比较复杂；反之，对感兴趣区域中级别低(级别小于第一预设值)的宏块，则相对级别高的宏块而言，可对该宏块进行比较简单的编码，所对应的编码参数较简单，以便降低编码复杂度。而非感兴趣区域中包含了当前图像帧中的非重要信息，如此，可对非感兴趣区域中各个级别的宏块进行简单编码，所对应的编码参数也很简单，这可降低对非感兴趣区域编码的复杂度。

需要说明的是，本实施例可预先设置感兴趣区域和非感兴趣区域中宏块的级别与编码参数和码率之间的对应关系，这样，步骤312在确定当前宏块对应的编码参数时，可直接在上述对应关系中选择上述确定的当前宏块的级别对应的编码参数和码率。

步骤313，根据确定的编码参数和码率对当前宏块进行编码。

步骤314，判断当前宏块是否为当前图像帧的最后一个宏块，如果是，结束流程；否则，在轮询到当前宏块的下一宏块时，将该下一宏块确定为当前宏块，返回执行步骤305。

参见图4a，图4a为本发明实施例提供的确定感兴趣区域中宏块的级别的流程图。该实施例中，若当前宏块不是感兴趣区域中的第一个宏块；如图4a所示，以感兴趣区域中宏块的级别最低为0，最高级别为8为例，则该流程可包括以下步骤：

步骤401a，根据计算的运动幅度，判断当前宏块的状态是否为静止，如果是，执行步骤402a；否则，判断出所述当前宏块的状态为运动时，执行步骤406a。

这里，若当前宏块不是感兴趣区域中的第一个宏块，则由于当前图像帧中感兴趣区域的相邻宏块之间具有相关性，因此本实施例可根据当前宏块的已编码的相邻宏块的运动矢量信息计算出的运动幅度来预测或确定当前宏块的状态。当然，如果当前宏块为感兴趣区域中第一个宏块，由于第一预设的运动矢量信息是根据实际情况设置的，如此，根据该第一预设的运动矢量信息计算出的运动幅度也能预测或确定当前宏块的状态。

其中，步骤401a中根据计算的运动幅度，判断该当前宏块是否处于静止状态具体可为：判断该计算的运动幅度是否小于预设幅度N，如果是，则确定该当前宏块处于静止状态；否则，当计算的运动幅度是否大于等于预设幅度N时，确定该当前宏块处于运动状态。其中，预设幅度N具体可为0，或者为其他值，本实施例并不具体限定。

步骤402a，按照第一预设算法对当前宏块的相邻宏块的DCT系数进行运算，得到计算后的DCT系数。

这里，当前宏块的相邻宏块也是指感兴趣区域中当前宏块的已被编码的临近宏块。其中，按照第一预设算法对当前宏块的相邻宏块的DCT系数进行运算具体可为：对当前宏块的相邻宏块的DCT系数进行中值计算或者进行平均值计算等，本发明实施例并不具体限定。

需要说明的是，由于当前宏块还未编码，因此步骤402a得到的计算后的DCT系数并非为当前宏块的DCT系数，而是用于确定当前宏块级别的一个参数。其中，DCT系数为用于表示宏块纹理的一个参数，由于感兴趣区域中临近宏块之间具有相关性，因此，根据当前宏块的相邻宏块的DCT系数可以方便确定当前宏块的级别。

步骤403a，判断计算后的DCT系数是否大于等于预设值G，如果是，执行步骤404a；否则，执行步骤405a。

这里，预设值G具体可根据实际情况进行设置，本实施例并不具体限定。

当然，如果当前宏块为感兴趣区域中的第一个宏块，则可省略步骤402a，在步骤401a判断出当前宏块的状态为静止时，直接执行判断第一预设的DCT系数是否大于等于预设值G的操作，在判断结果为是时，执行步骤404a，在判断结果为否是，执行步骤405a。

步骤404a，确定当前宏块在感兴趣区域中的级别为0。

步骤405a，确定当前宏块在感兴趣区域中的级别为1。

若本实施例中最低级别为0，通过上述步骤看出静止宏块的级别最低。

步骤406a，判断所述运动幅度是否大于等于第一感兴趣预设幅度值，如果是，执行步骤407a；否则，执行步骤411a。

这里，步骤406a中的判断运动幅度是否大于等于第一预设感兴趣幅度值是为了判断当前宏块的运动是否为大幅度运动。其中，第一预设感兴趣幅度值可根据实际情况进行设置，本实施例并不具体限定。

当然，如果当前宏块为感兴趣区域中的第一个宏块，则在步骤406a判断出运动幅度大于等于第一感兴趣预设幅度值时，直接执行判断第一预设的DCT系数是否大于等于预设值G的操作，在判断结果为是时，执行步骤409a，在判断结果为否是，执行步骤410a。

步骤407a与步骤402a相同，这里不再赘述。

步骤408a，判断计算后的DCT系数是否大于等于预设值G，如果是，执行步骤409a；否则，执行步骤410a。

步骤409a，确定该当前宏块在感兴趣区域中的级别为8。

步骤410a，确定该当前宏块在感兴趣区域中的级别为7。

若本实施例最高级别为8，通过步骤409a和步骤410a可以看出运动幅度大的宏块的级别也相应高。

步骤411a，判断所述运动幅度是否大于第二预设感兴趣幅度值，如果是，执行步骤412a，否则，执行步骤416a。

这里，当步骤406a中判断出运动幅度小于第一预设感兴趣幅度值时，如果继续判断出运动幅度还大于第二预设感兴趣幅度值，则可确定当前宏块的运动为中幅度运动。其中，第二预设感兴趣幅度值可根据实际情况进行设置，本实施例并不具体限定。

当然，如果当前宏块为感兴趣区域中的第一个宏块，则在步骤411a判断出运动幅度大于第二感兴趣预设幅度值时，直接执行判断第一预设的DCT系数是否大于等于预设值G的操作，在判断结果为是时，执行步骤414a，在判断结果为否是，执行步骤415a。

步骤412a与步骤402a相同，这里不再赘述。

步骤413a，判断计算后的DCT系数是否大于等于预设值G，如果是，执行步骤414a；否则，执行步骤415a。

步骤414a，确定该当前宏块在感兴趣区域中的级别为6。

步骤415a，确定该当前宏块在感兴趣区域中的级别为5。

步骤416a，判断运动幅度是否大于第三预设感兴趣幅度值，如果是，执行步骤417a，否则，执行步骤421a。

这里，当步骤411a中判断出运动幅度小于第二预设感兴趣幅度值时，如果继续判断出运动幅度还大于第三预设感兴趣幅度值，则可确定当前宏块的运动为小幅度运动。其中，第三预设感兴趣幅度值可根据实际情况进行设置，本实施例并不具体限定。

当然，如果当前宏块为感兴趣区域中的第一个宏块，则在步骤416a判断出运动幅度大于第三感兴趣预设幅度值时，直接执行判断第一预设的DCT系数是否大于等于预设值G的操作，在判断结果为是时，执行步骤419a，在判断结果为否是，执行步骤420a。

步骤417a与步骤402a相同，这里不再赘述。

步骤418a，判断计算后的DCT系数是否大于等于预设值G，如果是，执行步骤419a；否则，执行步骤420a。

步骤419a，确定当前宏块在感兴趣区域中的级别为4。

步骤420a，确定当前宏块在感兴趣区域中的级别为3。

步骤421a，确定当前宏块在感兴趣区域中的级别为2。

需要说明的是，步骤406a至步骤421a为本实施例提供的根据纹理参数比如DCT系数和计算出的运动幅度确定出运动状态中当前宏块的级别的操作。本实施例中以最低级别为0，最高级别为8为例，即将当前图像帧中感兴趣区域中的宏块级别具体分了0至8共9个级别。优选地，本实施例中，也可根据实际情况将感兴趣区域中宏块的级别进行细分。因此，图4a所示的操作可为一种举例，本实施例也可根据实际情况确定级别，具体不再限定。

如此，实现了本实施例中确定当前宏块在感兴趣区域中的级别的操作。

参见图4b，图4b为本发明实施例提供的确定非感兴趣区域中宏块的级别的流程图。如图4b所示，该流程可包括以下步骤：

步骤401b与步骤401a类似，这里不再赘述。

步骤402b，按照第二预设算法对当前宏块的相邻宏块的DCT系数进行运算，得到计算后的DCT系数。

这里，第二预设算法可与步骤402a中的第一预设算法相同，或不同，本实施例并不具体限定。

步骤403b，判断计算后的DCT系数是否大于等于预设值F，如果是，执行步骤404b；否则，执行步骤406b。

这里，步骤404b中的预设值F可与步骤404a中的预设值G不同。

步骤404b，确定当前宏块在非感兴趣区域中的级别为0。

步骤405b，确定当前宏块在非感兴趣区域中的级别为1。

步骤406b，判断所述运动幅度是否大于等于第一非感兴趣预设幅度值，如果是，执行步骤407b；否则，执行步骤411b。

这里，第一预设非感兴趣幅度值可根据实际情况进行设置，其可与步骤406a中的第一预设感兴趣幅度值相同，或不同，本实施例并不具体限定。

步骤407b与步骤402b相同。

步骤408b，判断计算后的DCT系数是否大于等于预设值F，如果是，执行步骤409b；否则，执行步骤410b。

步骤409b，确定该当前宏块在非感兴趣区域中的级别为8。

步骤410b，确定该当前宏块在非感兴趣区域中的级别为7。

步骤411b，判断所述运动幅度是否大于第二预设非感兴趣幅度值，如果是，执行步骤412b，否则，执行步骤416b。

这里，第二非感兴趣预设幅度值与步骤406a中的第二预设感兴趣幅度值可相同或者不同，本实施例并不具体限定。

步骤412b与步骤402b相同。

步骤413b，判断计算后的DCT系数是否大于等于预设值F，如果是，执行步骤414b；否则，执行步骤415b.

步骤414b，确定该当前宏块在非感兴趣区域中的级别为6。

步骤415b，确定该当前宏块在非感兴趣区域中的级别为5。

步骤416b，判断运动幅度是否大于第三预设非感兴趣幅度值，如果是，执行步骤417b，否则，执行步骤421b。

这里，第三预设非感兴趣幅度值与步骤416a中的第三预设感兴趣幅度值可相同，或者不同，本实施例并不具体限定。

步骤417b与步骤402b相同。

步骤418b，判断计算后的DCT系数是否大于等于预设值F，如果是，执行步骤419b；否则，执行步骤420b。

步骤419b，确定当前宏块在非感兴趣区域中的级别为4。

步骤420b，确定当前宏块在非感兴趣区域中的级别为3。

步骤421b，确定当前宏块在非感兴趣区域中的级别为2。

如此，实现了本实施例中确定当前宏块在非感兴趣区域中的级别的操作。需要说明的是，上述确定出的感兴趣区域中的宏块和非感兴趣区域中的宏块的级别值虽然相同，但其对应的编码参数和码率却大不相同。

需要说明的是，图4a所示的步骤401a至步骤405a，和图4b所示的步骤401b至步骤405b为本实施例提供的根据纹理参数确定出静止状态中当前宏块的级别的操作，优选地，该纹理参数具体可为DCT系数。其中，该操作具体可概括为：若当前宏块是其所属区域中的第一个宏块，则判断所述预设的DCT系数是否大于等于预设值，如果是，确定处于静止状态中的当前宏块在其所属区域中的级别为第一静止级别；如果否，则确定处于静止状态中当前宏块在其所属区域中的级别为高于所述第一静止级别的第二静止级别；若当前宏块不是其所属区域中的第一个宏块，则按照第一预设算法对当前宏块的相邻宏块的DCT系数进行计算，得到计算后的DCT系数；判断所述计算后的DCT系数是否大于等于预设值，如果是，则确定处于静止状态中的当前宏块在其所属区域中的级别为第一静止级别；如果否，则确定处于静止状态中当前宏块在其所属区域中的级别为高于所述第一静止级别的第二静止级别。

图4a所示的步骤406a至步骤421a，或者图4b所示的步骤406b至步骤421b为本实施例提供的根据纹理参数比如DCT系数和计算出的运动幅度大小确定出运动状态中当前宏块的级别的操作，其中，该操作可概括为：若当前宏块是其所属区域中的第一个宏块，判断计算出的运动幅度是否大于等于第一预设幅度，如果是，则判断预设的DCT系数是否大于等于预设值，如果大于等于，则确定该当前宏块在其所属区域中的级别为运动状态中的第一级别；如果小于，则确定该当前宏块在其所属区域中的级别为低于所述第一级别的第二级别；当计算出的运动幅度小于第一预设幅度时，将低于所述第一预设幅度的第二预设幅度替换第一预设幅度，继续执行所述判断计算出的运动幅度是否大于等于第一预设幅度的操作，直至确定出预设的级别；若当前宏块不是其所属区域中的第一个宏块，判断计算出的运动幅度是否大于等于第一预设幅度，如果是，则按照第一预设算法对当前宏块在其所属区域中的相邻宏块的DCT系数进行计算，得到计算后的DCT系数；判断所述计算后的DCT系数是否大于等于预设值，如果大于等于，则确定该当前宏块在其所属区域中的级别为运动状态中的第一级别；如果小于，则确定当前宏块在其所属区域中的级别为低于所述第一级别的第二级别；当计算出的运动幅度小于第一预设幅度时，将低于所述第一预设幅度的第二预设幅度作为第一预设幅度，继续执行所述判断计算出的运动幅度是否大于等于第一预设幅度的操作，直至确定出预设的级别。

上述对本发明实施例提供的图像处理方法进行了详细描述，下面对本发明实施例提供的系统进行描述。

参见图5，图5为本发明实施例提供的图像处理系统结构图。如图5所示，该系统包括：宏块识别设备501、宏块分级设备502和编码设备503。

其中，宏块识别设备501用于轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；

宏块分级设备502用于确定宏块识别设备501轮询到的当前宏块的级别；

编码设备503用与宏块分级设备502确定出的级别对应的编码参数和码率对所述当前宏块进行编码。

优选地，如图5所示，该系统还包括：检测设备504。

其中，检测设备504用于将当前图像帧划分为感兴趣区域和非感兴趣区域。

宏块识别设备501用于判断所述当前宏块是否为所述检测设备划分出的感兴趣区域中的宏块。

宏块分级设备502用于在接收到宏块识别设备501的判断结果为是时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在感兴趣区域中的级别；在接收到宏块识别设备501的判断结果为否时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在非感兴趣区域中的级别。

如图5所示，编码设备503可包括：码率分配设备5031、编码选项控制设备5032和编码子设备5033。

其中，码率分配设备5031用于根据预设的感兴趣区域中和非感兴趣区域中宏块的级别与编码参数和码率之间的对应关系为宏块分级设备502确定的当前宏块的级别分配对应的码率。

编码选项控制设备5032用于根据宏块分级设备502确定的级别，确定当前宏块对应的编码参数。

编码子设备5033用于根据码率分配设备5031分配的码率和编码选项控制设备5032确定的编码参数对当前宏块进行编码。

参见图6，图6为本发明实施例提供的宏块分级设备的结构图。如图6所示，该宏块分级设备包括：确定单元601和输出单元602。

其中，确定单元601用于确定当前宏块的级别；

输出单元602用于将确定单元601确定出的级别输出给编码设备。

优选地，确定单元601按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块的级别。

如图6所示，宏块分级设备还包括：宏块识别单元603。

其中，宏块识别单元603用于识别所述当前宏块是否为感兴趣区域中的宏块；

确定单元602用于在接收到宏块识别单元603的识别结果为是时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定该当前宏块在感兴趣区域中的级别；在接收到宏块识别单元603的识别结果为否时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定该当前宏块在非感兴趣区域中的级别。

确定单元601可包括：运动检测器6011、纹理分析器6012和宏块分类器6013。

其中，运动检测器6011用于确定当前宏块的状态；具体地，运动检测器6011在当前宏块是感兴趣区域中的第一个宏块时，根据第一预设的运动矢量信息计算运动幅度；并根据所述运动幅度，确定所述当前宏块的状态；在当前宏块不是感兴趣区域中的第一个宏块时，根据感兴趣区域中该当前宏块的相邻宏块的运动矢量信息计算运动幅度；根据计算出的运动幅度确定当前宏块的状态；以及在当前宏块是非感兴趣区域中的第一个宏块时，根据第二预设的运动矢量信息计算运动幅度；并根据所述运动幅度，确定所述当前宏块的状态；在当前宏块不是非感兴趣区域中的第一个宏块时，根据非感兴趣区域中该当前宏块的相邻宏块的运动矢量信息计算运动幅度；根据计算出的运动幅度确定当前宏块的状态。

纹理分析器6012用于对所述当前宏块的相邻宏块的纹理进行分析。

宏块分类器6013用于根据运动检测器6011确定的状态和纹理分析器6012分析出的纹理，确定所述当前宏块的级别。

纹理分析器6012在当前宏块是其所属区域中的第一个宏块时，判断预设的DCT系数是否大于等于预设值；在当前宏块不是其所属区域中的第一个宏块时，按照第一预设算法对当前宏块在其所属区域中的相邻宏块的DCT系数进行运算，得到计算后的DCT系数，判断所述计算后的DCT系数是否大于等于预设值；其中，所属区域为感兴趣区域或者为非感兴趣区域；

若所述运动检测器确定出当前宏块的状态为静止，宏块分类器6013在得到纹理分析器6012的判断结果为是时，确定处于静止状态中的当前宏块在其所属区域中的级别为第一静止级别；在判断结果为否时，则确定处于静止状态中当前宏块在其所属区域中的级别为高于所述第一静止级别的第二静止级别。

若运动检测器6011确定出当前宏块的状态为运动，则运动检测器6011还用于判断计算出的运动幅度是否大于等于第一预设幅度；如果否，将低于所述第一预设幅度的第二预设幅度替换第一预设幅度，继续执行所述判断操作，直至所述宏块分类器确定出预设的级别；

宏块分类器6013在接收到运动检测器6011的判断结果为是时，若纹理分析器6012的判断结果为是，确定该当前宏块在其所属区域中的级别为运动状态中的第一级别；若纹理分析器6012的判断结果为否，则确定该当前宏块在其所属区域中的级别为低于所述第一级别的第二级别。

综上所述，本发明实施例提供的图像处理方法、系统和宏块分类设备中，通过上述操作，不仅需要将当前图像帧划分为感兴趣区域和非感兴趣区域；并且，还对感兴趣区域和非感兴趣区域中的宏块进行了进一步地分级，具体是根据宏块的级别为该宏块选择相应的编码参数和码率，进而根据该编码参数和码率对宏块进行编码，即不同级别的宏块，编码的权重也不同。并非现有技术中使整帧视频图像中各个宏块的编码权重相同，如此，可提高视频图像整体分辨率；通常，级别高的宏块，其包含的信息也相应地比较重要，采用本发明实施例，可大大提高重要信息的清晰度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1、一种图像处理方法，其特征在于，该方法包括：

A，轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；

B，确定当前宏块的级别；

C，用与确定出的级别对应的编码参数和码率对所述当前宏块进行编码。

2、根据权利要求1所述的方法，其特征在于，所述步骤B是按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别来确定当前宏块的级别。

3、根据权利要求2所述的方法，其特征在于，所述步骤A之前进一步包括：A11，将当前图像帧划分为感兴趣区域和非感兴趣区域；

所述按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块的级别包括：

步骤B11，判断所述当前宏块是否为感兴趣区域中的宏块，如果是，执行步骤B12；

步骤B12，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在感兴趣区域中的级别。

4、根据权利要求3所述的方法，其特征在于，所述步骤B12包括：

判断当前宏块是否为感兴趣区域中的第一个宏块，如果是，根据第一预设的运动矢量信息计算运动幅度；根据计算出的运动幅度，以及运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在感兴趣区域中的级别；否则，根据感兴趣区域中该当前宏块的相邻宏块的运动矢量信息计算运动幅度；根据计算出的运动幅度，以及运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在感兴趣区域中的级别。

5、根据权利要求3所述的方法，其特征在于，若步骤B11中判断出所述当前宏块为非感兴趣区域中的宏块，则执行步骤B13，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块在非感兴趣区域中的级别。

6、根据权利要求5所述的方法，其特征在于，所述步骤B13包括：

判断当前宏块是否为非感兴趣区域中的第一个宏块，如果是，根据第二预设的运动矢量信息计算运动幅度，根据计算出的运动幅度，以及运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定该当前宏块在非感兴趣区域中的级别；否则，根据非感兴趣区域中当前宏块的相邻宏块的运动矢量信息计算运动幅度；根据计算出的运动幅度，以及运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定该当前宏块在非感兴趣区域中的级别。

7、根据权利要求4或6所述的方法，其特征在于，根据计算出的运动幅度，以及运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块的级别包括：

根据计算出的运动幅度判断当前宏块的状态是静止还是运动，如果是静止，若当前宏块是其所属区域中的第一个宏块，则根据预设的纹理参数确定出静止状态中当前宏块在其所属区域中的级别；若当前宏块不是其所属区域中的第一个宏块，则根据当前宏块的相邻宏块的纹理参数确定出静止状态中当前宏块在其所属区域中的级别；其中，所属区域为感兴趣区域或者非感兴趣区域；

如果是运动，若当前宏块是其所属区域中的第一个宏块，则根据预设的纹理参数和计算出的运动幅度确定出运动状态中当前宏块在其所属区域中的级别；若当前宏块不是其所属区域中的第一个宏块，则根据当前宏块在其所属区域中的相邻宏块的纹理参数和计算出的运动幅度确定出运动状态中当前宏块在其所属区域中的级别。

8、根据权利要求7所述的方法，其特征在于，所述纹理参数包括：离散余弦变换DCT系数；

根据纹理参数确定出静止状态中当前宏块在其所属区域中的级别包括：

若当前宏块是其所属区域中的第一个宏块，则判断所述预设的DCT系数是否大于等于预设值，如果是，确定处于静止状态中的当前宏块在其所属区域中的级别为第一静止级别；如果否，则确定处于静止状态中当前宏块在其所属区域中的级别为高于所述第一静止级别的第二静止级别；

若当前宏块不是其所属区域中的第一个宏块，则按照第一预设算法对当前宏块的相邻宏块的DCT系数进行计算，得到计算后的DCT系数；判断所述计算后的DCT系数是否大于等于预设值，如果是，则确定处于静止状态中的当前宏块在其所属区域中的级别为第一静止级别；如果否，则确定处于静止状态中当前宏块在其所属区域中的级别为高于所述第一静止级别的第二静止级别。

9、根据权利要求7所述的方法，其特征在于，所述纹理参数包括：离散余弦变换DCT系数；

根据纹理参数和计算出的运动幅度确定出运动状态中当前宏块在其所属区域中的级别包括：

若当前宏块是其所属区域中的第一个宏块，判断计算出的运动幅度是否大于等于第一预设幅度，如果是，则判断预设的DCT系数是否大于等于预设值，如果大于等于，则确定该当前宏块在其所属区域中的级别为运动状态中的第一级别；如果小于，则确定该当前宏块在其所属区域中的级别为低于所述第一级别的第二级别；当计算出的运动幅度小于第一预设幅度时，将低于所述第一预设幅度的第二预设幅度替换第一预设幅度，继续执行所述判断计算出的运动幅度是否大于等于第一预设幅度的操作，直至确定出预设的级别；

若当前宏块不是其所属区域中的第一个宏块，判断计算出的运动幅度是否大于等于第一预设幅度，如果是，则按照第一预设算法对当前宏块在其所属区域中的相邻宏块的DCT系数进行计算，得到计算后的DCT系数；判断所述计算后的DCT系数是否大于等于预设值，如果大于等于，则确定该当前宏块在其所属区域中的级别为运动状态中的第一级别；如果小于，则确定当前宏块在其所属区域中的级别为低于所述第一级别的第二级别；当计算出的运动幅度小于第一预设幅度时，将低于所述第一预设幅度的第二预设幅度作为第一预设幅度，继续执行所述判断计算出的运动幅度是否大于等于第一预设幅度的操作，直至确定出预设的级别。

10、根据权利要求8或9所述的方法，其特征在于，所述感兴趣区域中和非感兴趣区域中具有相同级别的宏块所对应的编码参数和码率不同；

所述步骤C包括：

步骤C11，预设感兴趣区域中和非感兴趣区域中宏块的级别与编码参数和码率之间的对应关系；

步骤C12，在所述预设的对应关系中获取所述确定出的级别对应的编码参数和码率；

步骤C13，根据步骤C12中获取的编码参数和码率对所述当前宏块进行编码。

11、一种图像处理系统，其特征在于，该系统包括：宏块识别设备、宏块分级设备和编码设备；其中，

所述宏块识别设备用于轮询当前图像帧中的宏块，将当前轮询到的宏块确定为当前宏块；

所述宏块分级设备用于确定所述宏块识别设备轮询到的当前宏块的级别；

所述编码设备用与所述宏块分级设备确定出的级别对应的编码参数和码率对所述当前宏块进行编码。

12、根据权利要求11所述的系统，其特征在于，该系统还包括：检测设备；

所述检测设备用于将当前图像帧划分为感兴趣区域和非感兴趣区域；

所述宏块识别设备用于判断所述当前宏块是否为所述检测设备划分出的感兴趣区域中的宏块；

所述宏块分级设备用于在接收到所述宏块识别设备的判断结果为是时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别来确定当前宏块在感兴趣区域中的级别；在接收到所述宏块识别设备的判断结果为否时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别来确定当前宏块在非感兴趣区域中的级别。

13、根据权利要求11或12所述的系统，其特征在于，所述编码设备包括：码率分配设备、编码选项控制设备和编码子设备；其中，

所述码率分配设备用于根据预设的感兴趣区域中和非感兴趣区域中宏块的级别与编码参数和码率之间的对应关系为当前宏块的级别分配对应的码率；

所述编码选项控制设备用于根据所述宏块分级设备确定的级别，确定当前宏块对应的编码参数；

所述编码子设备用于根据所述码率分配设备分配的码率和所述编码选项控制设备确定的编码参数对当前宏块进行编码。

14、一种宏块分级设备，其特征在于，该宏块分级设备包括：确定单元和输出单元，其中，

所述确定单元用于确定当前宏块的级别；

所述输出单元用于将所述确定单元确定出的级别输出给编码设备。

15、根据权利要求14所述的宏块分级设备，其特征在于，所述确定单元按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定当前宏块的级别。

16、根据权利要求15所述的宏块分级设备，其特征在于，所述宏块分级设备还包括：宏块识别单元；其中，

所述宏块识别单元用于识别所述当前宏块是否为感兴趣区域中的宏块；

所述确定单元用于在接收到所述宏块识别单元的识别结果为是时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定该当前宏块在感兴趣区域中的级别；在接收到所述宏块识别单元的识别结果为否时，按照运动宏块的级别大于静止宏块的级别、运动宏块中运动幅度大的级别大于运动宏块中运动幅度低的级别确定该当前宏块在非感兴趣区域中的级别。

17、根据权利要求16所述的宏块分级设备，其特征在于，所述确定单元包括：运动检测器、纹理分析器和宏块分类器；其中，

所述运动检测器用于确定当前宏块的状态；

所述纹理分析器用于对所述当前宏块的相邻宏块的纹理进行分析；

所述宏块分类器用于根据所述运动检测器确定的状态和所述纹理分析器分析出的纹理，确定所述当前宏块的级别。

18、根据权利要求17所述的宏块分级设备，其特征在于，所述纹理分析器在当前宏块是其所属区域中的第一个宏块时，判断预设的DCT系数是否大于等于预设值；在当前宏块不是其所属区域中的第一个宏块时，按照第一预设算法对当前宏块在其所属区域中的相邻宏块的DCT系数进行运算，得到计算后的DCT系数，判断所述计算后的DCT系数是否大于等于预设值；其中，所属区域为感兴趣区域或者为非感兴趣区域；

若所述运动检测器确定出当前宏块的状态为静止，所述宏块分类器在得到所述纹理分析器的判断结果为是时，确定处于静止状态中的当前宏块在其所属区域中的级别为第一静止级别；在判断结果为否时，则确定处于静止状态中当前宏块在其所属区域中的级别为高于所述第一静止级别的第二静止级别。

19、根据权利要求18所述的宏块分级设备，其特征在于，若所述运动检测器确定出当前宏块的状态为运动，则所述运动检测器还用于判断计算出的运动幅度是否大于等于第一预设幅度；如果否，将低于所述第一预设幅度的第二预设幅度替换第一预设幅度，继续执行所述判断操作，直至所述宏块分类器确定出预设的级别；

所述宏块分类器在接收到所述运动检测器的判断结果为是时，若所述纹理分析器的判断结果为是，确定该当前宏块在其所属区域中的级别为运动状态中的第一级别；若所述纹理分析器的判断结果为否，则确定该当前宏块在其所属区域中的级别为低于所述第一级别的第二级别。

Images