CN101316366A - 图像编/解码方法和图像编/解码装置 - Google Patents

Abstract

本发明公开了一种图像编码方法和图像解码方法。其中，图像编码方法包括：在当前图像中进行人脸检测，得到人脸对应区域的图像和去掉所述人脸对应区域的图像后的背景图像；分别对所述人脸对应区域的图像和所述背景图像进行单独编码，得到所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流；将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前图像的压缩码流。此外，本发明还公开了一种图像编码装置、图像解码装置和图像编解码装置。本发明所公开的技术方案，能够提高存在人脸的图像的编解码质量。

Description

图像编/解码方法和图像编/解码装置

技术领域

本发明涉及图像编解码技术，尤其涉及图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编解码装置。

背景技术

图像编码是指将图片或视频等图像信息进行压缩，以便实现更有效地被传送和存储；图像解码则是对已编码图像信息进行解析重建，得到重建的图片或视频等图像。

目前的图像编码标准中通常采用基于块的编码架构。其中，视频编码基于块进行帧内预测、帧间预测、变换、量化和熵编码等过程，熵编码后的数据与解码所需的边信息，一起组成压缩码流。相应地，对压缩码流进行视频解码时，也是基于块进行熵解码、反量化、反变换以及预测补偿等一系列解码重建过程。图片编码及图片解码与上述过程类似，只是编码时无需进行帧间预测，解码时无需进行帧间的预测补偿。

众所周知，图像编码压缩了图像的容量，方便了图像的传输和存储，但同时也造成了原始图像中一些图像信息的损失，尤其编码过程中的量化过程，量化系数越大，图像容量越小，但信息损失越多；量化系数越小，图像容量越大，但信息损失越小。目前的量化过程通常对整幅图像采用同一个量化系数。这样的话，当图像中存在人脸时，由于人脸区域细节较多，因此希望获得一个较清晰的重建图像，此时若整个画面的背景不是很复杂，则对整幅图像采用同一个量化系数时，可能不会对图像的编解码质量造成影响；但若整个画面的背景比较复杂，则很可能会因为复杂的背景高频分量比较多，而导致分配一个比较大的量化系数，此时人脸区域的图像也按这个比较大的量化系数来压缩的话，会导致人脸区域细节损失过多，人脸区域的解码重建图像质量无法保证。或者，如果为了保证人脸区域重建图像的质量而分配一个较小的量化系数，则图像容量会较大，致使图像的编码质量无法保证。可见，现有技术中难以保证存在人脸的图像的编解码质量。

发明内容

有鉴于此，本发明中一方面提供一种图像编码方法和图像解码方法，另一方面提供一种图像编码装置、图像解码装置和图像编解码装置，以便提高存在人脸的图像的编解码质量。

本发明所提供的图像编码方法，包括：

在当前图像中进行人脸检测，得到人脸对应区域的图像和去掉所述人脸对应区域的图像后的背景图像；

对所述人脸对应区域的图像采用第一量化系数进行编码，对所述背景图像采用第二量化系数进行编码，分别得到所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流；

将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前图像的压缩码流，所述当前图像的压缩码流中包括所述人脸对应区域的位置和大小的边信息。

较佳地，所述第一量化系数小于所述第二量化系数。

较佳地，所述第一量化系数与所述第二量化系数相等。

较佳地，所述人脸对应区域为1个或1个以上。

较佳地，所述人脸对应区域为矩形区域；所述对人脸对应区域的图像进行单独编码之前，进一步包括：将所述矩形区域的边界按照预设的编码块对应边长的倍数对齐。

本发明所提供的图像解码方法，包括：

从当前图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流；

对所述人脸对应区域的图像的压缩码流采用第一量化系数进行解码，对所述背景图像的压缩码流采用第二量化系数进行解码，分别得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像；

根据所述当前图像的压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前图像的重建图像。

较佳地，所述第一量化系数小于所述第二量化系数；

或者，所述第一量化系数与所述第二量化系数相等。

较佳地，所述人脸对应区域为1个或1个以上。

本发明所提供的图像编码装置，包括：

人脸图像获取模块，用于在当前图像中进行人脸检测，得到人脸对应区域的图像；

背景图像获取模块，用于从当前图像中去掉所述人脸对应区域的图像，得到背景图像；

编码模块，用于对所述人脸对应区域的图像采用第一量化系数进行编码，得到所述人脸对应区域的图像的压缩码流，对所述背景图像采用第二量化系数进行编码，得到所述背景图像的压缩码流；

码流合并模块，用于将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前图像的压缩码流，所述当前图像的压缩码流中包括所述人脸对应区域的位置和大小的边信息。

较佳地，所述人脸对应区域为矩形区域；所述人脸图像获取模块在检测到人脸时，将所述人脸对应的矩形区域的边界按照编码块对应边长的倍数对齐。

本发明所提供的图像解码装置，包括：

码流获取模块，用于从当前图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流；

解码模块，用于对所述人脸对应区域的图像的压缩码流采用第一量化系数进行解码，对所述背景图像的压缩码流采用第二量化系数进行解码，分别得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像；

图像合成模块，用于根据所述当前图像的压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前图像的重建图像。

本发明所提供的图像编解码装置，包括：

人脸图像获取模块，用于在当前编码图像中进行人脸检测，得到人脸对应区域的图像；

背景图像获取模块，用于从当前编码图像中去掉所述人脸对应区域的图像，得到背景图像；

编码模块，用于对所述人脸对应区域的图像采用第一量化系数进行编码，得到所述人脸对应区域的图像的压缩码流，对所述背景图像采用第二量化系数进行编码，得到所述背景图像的压缩码流；

码流合并模块，用于将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前编码图像的压缩码流，所述当前编码图像的压缩码流中包括所述人脸对应区域的位置和大小的边信息；

码流获取模块，用于从当前解码图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流；

解码模块，用于对所述人脸对应区域的图像的压缩码流采用第一量化系数进行解码，对所述背景图像的压缩码流采用第二量化系数进行解码，分别得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像；

图像合成模块，用于根据所述当前解码图像的压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前解码图像的重建图像。

从上述方案可以看出，本发明中通过在当前图像中进行人脸检测，得到人脸对应区域的图像和去掉所述人脸对应区域的图像后的背景图像，并分别对人脸对应区域的图像和背景图像根据实际情况进行单独编码，此时，二者可以采用相同的量化系数也可采用不同的量化系数，之后再将人脸对应区域的图像编码后的压缩码流和背景图像编码后的压缩码流进行合并，得到当前图像的压缩码流，使得人脸对应区域的图像和背景图像可分别根据各自的特点进行编码，从而提高了存在人脸的图像的编解码质量。

附图说明

图1为本发明实施例中图像编码方法的示例性流程图；

图2a为本发明实施例中一幅存在人脸的图像；

图2b为从图2a所示图像中检测到的人脸对应区域的图像；

图2c为从图2a所示图像中去掉图2b所示人脸对应区域的图像之后的背景图像；

图3为本发明实施例中图像解码方法的示例性流程图；

图4为本发明实施例中图像编码装置的示例性结构图；

图5为本发明实施例中图像解码装置的示例性结构图。

具体实施方式

本发明实施例中，为了提高存在人脸区域的图像的编解码质量，可将当前图像中的人脸对应区域的图像和背景图像分离出来，并分别对各部分根据实际情况选用合适的量化系数进行编码，之后再将两部分编码后的压缩码流进行合并，得到当前图像的压缩码流。其中，对人脸对应区域的图像进行编码时，边信息中应该包括人脸对应区域在当前图像中的位置和大小的信息，以便解码时，从压缩码流中分别对人脸对应区域的图像的压缩码流和背景图像的压缩码流解码后，根据该边信息，将人脸对应区域的图像的重建图像合成在背景图像的重建图像中，从而得到当前图像的重建图像。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

图1为本发明实施例中图像编码方法的示例性流程图。如图1所示，该流程包括如下步骤：

步骤101，在当前图像中进行人脸检测，得到人脸对应区域的图像及所述人脸对应区域的位置和大小信息。

其中，人脸对应区域可以为矩形区域，也可以为除矩形之外的其它形状的区域，如圆形区域或围绕人体头部形状的区域等。通常情况下，为了编码方便，人脸对应区域取矩形区域。

如图2a和图2b所示，图2a示出了本发明实施例中一幅存在人脸的图像，在该图像中进行人脸检测时，可得到如图2b所示的矩形的人脸对应区域的图像，并相应的得到人脸对应区域在图像中的位置及大小信息。如果图2b所示图像中有多个人脸，则可对每个人脸采用同样的方法进行处理，得到各人脸对应的区域及各人脸对应区域在图像中的位置及大小信息。

由于编码过程通常是基于块进行的，例如基于16×16、16×8、8×16、8×8、8×4、4×8或4×4大小的宏块或子宏块等编码块进行，因此为了便于编码时对人脸对应区域的图像和背景图像划分宏块或子宏块等编码块，可对人脸对应的矩形区域的边界按照编码块对应边长的倍数对齐。例如，对于8×8大小的编码块，可将人脸对应的矩形区域的各边界均按照8的倍数对齐，假设人脸对应的矩形区域的左上角坐标为(203，158)，则按照8的倍数对齐后，矩形区域的左上角坐标变为(200，160)。又如，对于8×4大小的编码块，可将人脸对应的矩形区域的水平边界按照8的倍数对齐，垂直边界按照4的倍数对齐，又假设人脸对应的矩形区域的左上角坐标为(203，165)，则水平方向按照8的倍数对齐、垂直方向按照4的倍数对齐后，矩形区域的左上角坐标变为(200，164)。

步骤102，对人脸对应区域的图像进行压缩，并将人脸对应区域的位置和大小的信息记入边信息，得到人脸对应区域的图像的压缩码流。

本步骤中，对人脸对应区域的图像进行压缩的过程中，可根据人脸对应区域的图像的实际情况选取合适的量化系数进行量化，为方便描述，本文中将该量化系数称为第一量化系数。之后，对量化后的图像信息进行熵编码，同时将人脸对应区域的位置和大小的信息记入边信息，得到人脸对应区域的图像的压缩码流。

步骤103，从当前图像中去掉人脸对应区域的图像，得到背景图像。

本步骤中，从当前图像中去掉所述人脸对应区域的图像时，可将人脸对应区域的图像的像素全设置为0，之后得到抹去人脸对应区域的图像的背景图像。图2c示出了从图2a中去掉图2b所示人脸对应区域的图像后的背景图像。

步骤104，对上述背景图像进行压缩，并记录边信息，得到背景图像的压缩码流。

本步骤中，对背景图像进行压缩的过程中，可根据背景图像的实际情况选取合适的量化系数进行量化，为方便描述，本文中将该量化系数称为第二量化系数。之后，对量化后的图像信息进行熵编码，同时记录解码所需的边信息，得到背景图像的压缩码流。

其中，第一量化系数可以和第二量化系数相等，也可以和第二量化系数不相等。通常情况下，基于人脸优先原则，实际应用中，通常第一量化系数较小，以保证人脸图像的细节信息不过度损失；第二量化系数较大，以通过牺牲一些背景图像的细节信息来节省码流占用的空间。即通常情况下，第一量化系数小于第二量化系数。

步骤105，将人脸对应区域图像的压缩码流和背景图像的压缩码流进行合并，得到当前图像的压缩码流。该当前图像的压缩码流中包括人脸对应区域的位置和大小的边信息。

上述过程中，也可以在步骤105中再将解码人脸对应区域的图像的边信息和解码背景图像的边信息加入压缩码流中，此时步骤102和步骤104的压缩码流中可不包括各自的边信息。

与图1所示图像编码方法相对应，图3为本发明实施例中图像解码方法的示例性流程图。如图3所示，该流程包括如下步骤：

步骤301，从当前图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流。

步骤302，分别对人脸对应区域的图像的压缩码流和背景图像的压缩码流进行解码，得到人脸对应区域的图像的重建图像和背景图像的重建图像。

与图1所示图像编码方法相对应，本步骤中，对人脸对应区域的图像的压缩码流进行解码的过程中，采用第一量化系数进行反量化，对背景图像的压缩码流进行解码的过程中，采用第二量化系数进行反量化。最后，解码得到各自的重建图像。对应图2a所示图像的压缩码流，本步骤中，解码后可分别得到图2b所示人脸对应区域的图像和图2c所示背景图像的重建图像。

步骤303，根据所述压缩码流中的人脸对应区域的位置和大小的边信息，将人脸对应区域的图像的重建图像合成到背景图像的重建图像中，得到当前图像的重建图像。

对应图2a所示图像的压缩码流，本步骤中，根据人脸对应区域的位置和大小的边信息，将图2b所示人脸对应区域的图像的重建图像合成到图2c所示背景图像的重建图像中，可得到图2a所示图像的重建图像。

实际应用中，图1所示图像编码方法和图3所示图像解码方法也可结合应用，得到本发明实施例中的图像编解码方法。例如，在编码侧，对当前编码图像按照图1所示图像编码方法进行编码后存储或传输，在解码侧，对当前解码图像按照图3所示图像解码方法进行解码后输出重建图像。

以上对本发明实施例中的图像编码方法、图像解码方法和图像编解码方法进行了详细描述，下面再对本发明实施例中的图像编码装置、图像解码装置和图像编解码装置进行详细描述。

图4为本发明实施例中图像编码装置的示例性结构图。如图4所示，该装置包括：人脸图像获取模块、背景图像获取模块、编码模块和码流合并模块。

其中，人脸图像获取模块用于在当前图像中进行人脸检测，得到人脸对应区域的图像。具体实现时，人脸对应区域可以为矩形区域，也可以为除矩形之外的其它形状的区域，如圆形区域或围绕人体头部形状的区域等。通常情况下，为了编码方便，人脸对应区域取矩形区域。此外，由于编码过程通常是基于块进行的，因此为了便于编码时对人脸对应区域的图像和背景图像划分宏块或子宏块等编码块，人脸图像获取模块可对人脸对应的矩形区域的边界按照编码块对应边长的倍数对齐。其中，若当前图像中包括一个以上的人脸，则获得的人脸对应区域为一个以上。

背景图像获取模块用于从当前图像中去掉所述人脸对应区域的图像，得到背景图像。其中，从当前图像中去掉所述人脸对应区域的图像时，可将人脸对应区域的图像的像素全设置为0。

编码模块用于对所述人脸对应区域的图像进行编码，得到所述人脸对应区域的图像的压缩码流；对所述背景图像进行编码，得到所述背景图像的压缩码流。具体实现时，编码模块对所述人脸对应区域的图像采用第一量化系数进行量化编码，对所述背景图像采用第二量化系数进行量化编码。其中，第一量化系数可以和第二量化系数相等，也可以和第二量化系数不相等。通常情况下，基于人脸优先原则，实际应用中，通常第一量化系数较小，以保证人脸图像的细节信息不过度损失；第二量化系数较大，以通过牺牲一些背景图像的细节信息来节省码流占用的空间。即通常情况下，第一量化系数小于第二量化系数。

码流合并模块用于将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前图像的压缩码流。

其中，压缩码流中包括所述人脸对应区域的位置和大小的边信息，该边信息可以在编码模块中加入压缩码流中，也可以在码流合并模块中加入压缩码流中。

图5为本发明实施例中图像解码装置的示例性结构图。如图5所示，该装置包括：码流获取模块、解码模块和图像合成模块。

其中，码流获取模块用于从当前图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流。

解码模块用于分别对所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行解码，得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像。与编码过程相对应，解码模块可对人脸对应区域的图像的压缩码流进行解码的过程中，可采用第一量化系数进行反量化，对背景图像的压缩码流进行解码的过程中，可采用第二量化系数进行反量化。最后，解码得到各自的重建图像。

图像合成模块用于根据所述压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前图像的重建图像。

实际应用中，图4所示图像编码装置和图5所示图像解码装置可位于同一个装置中，共同构成本实施例中的图像编解码装置。即本实施例中的图像编解码装置可包括：人脸图像获取模块、背景图像获取模块、编码模块、码流合并模块、码流获取模块、解码模块和图像合成模块。

其中，人脸图像获取模块用于在当前编码图像中进行人脸检测，得到人脸对应区域的图像。

背景图像获取模块用于从当前编码图像中去掉所述人脸对应区域的图像，得到背景图像。

编码模块用于对所述人脸对应区域的图像进行编码，得到所述人脸对应区域的图像的压缩码流，对所述背景图像进行编码，得到所述背景图像的压缩码流。

码流合并模块用于将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前编码图像的压缩码流，所述压缩码流中包括所述人脸对应区域的位置和大小的边信息。

码流获取模块用于从当前解码图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流。

解码模块用于分别对所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行解码，得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像。

图像合成模块用于根据所述压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前解码图像的重建图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1、一种图像编码方法，其特征在于，该方法包括：

在当前图像中进行人脸检测，得到人脸对应区域的图像和去掉所述人脸对应区域的图像后的背景图像；

对所述人脸对应区域的图像采用第一量化系数进行编码，对所述背景图像采用第二量化系数进行编码，分别得到所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流；

将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前图像的压缩码流，所述当前图像的压缩码流中包括所述人脸对应区域的位置和大小的边信息。

2、如权利要求1所述的方法，其特征在于，所述第一量化系数小于所述第二量化系数。

3、如权利要求1所述的方法，其特征在于，所述第一量化系数与所述第二量化系数相等。

4、如权利要求1至3中任一项所述的方法，其特征在于，所述人脸对应区域为1个或1个以上。

5、如权利要求1至3中任一项所述的方法，其特征在于，所述人脸对应区域为矩形区域；所述对人脸对应区域的图像进行单独编码之前，进一步包括：将所述矩形区域的边界按照预设的编码块对应边长的倍数对齐。

6、一种图像解码方法，其特征在于，该方法包括：

从当前图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流；

对所述人脸对应区域的图像的压缩码流采用第一量化系数进行解码，对所述背景图像的压缩码流采用第二量化系数进行解码，分别得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像；

根据所述当前图像的压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前图像的重建图像。

7、如权利要求6所述的方法，其特征在于，所述第一量化系数小于所述第二量化系数；

或者，所述第一量化系数与所述第二量化系数相等。

8、如权利要求6或7所述的方法，其特征在于，所述人脸对应区域为1个或1个以上。

9、一种图像编码装置，其特征在于，该装置包括：

人脸图像获取模块，用于在当前图像中进行人脸检测，得到人脸对应区域的图像；

背景图像获取模块，用于从当前图像中去掉所述人脸对应区域的图像，得到背景图像；

编码模块，用于对所述人脸对应区域的图像采用第一量化系数进行编码，得到所述人脸对应区域的图像的压缩码流，对所述背景图像采用第二量化系数进行编码，得到所述背景图像的压缩码流；

码流合并模块，用于将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前图像的压缩码流，所述当前图像的压缩码流中包括所述人脸对应区域的位置和大小的边信息。

10、如权利要求9所述的装置，其特征在于，所述人脸对应区域为矩形区域；所述人脸图像获取模块在检测到人脸时，将所述人脸对应的矩形区域的边界按照编码块对应边长的倍数对齐。

11、一种图像解码装置，其特征在于，该装置包括：

码流获取模块，用于从当前图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流；

解码模块，用于对所述人脸对应区域的图像的压缩码流采用第一量化系数进行解码，对所述背景图像的压缩码流采用第二量化系数进行解码，分别得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像；

图像合成模块，用于根据所述当前图像的压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前图像的重建图像。

12、一种图像编解码装置，其特征在于，该装置包括：

人脸图像获取模块，用于在当前编码图像中进行人脸检测，得到人脸对应区域的图像；

背景图像获取模块，用于从当前编码图像中去掉所述人脸对应区域的图像，得到背景图像；

编码模块，用于对所述人脸对应区域的图像采用第一量化系数进行编码，得到所述人脸对应区域的图像的压缩码流，对所述背景图像采用第二量化系数进行编码，得到所述背景图像的压缩码流；

码流合并模块，用于将所述人脸对应区域的图像的压缩码流和所述背景图像的压缩码流进行合并，得到当前编码图像的压缩码流，所述当前编码图像的压缩码流中包括所述人脸对应区域的位置和大小的边信息；

码流获取模块，用于从当前解码图像的压缩码流中获取人脸对应区域的图像的压缩码流和背景图像的压缩码流；

解码模块，用于对所述人脸对应区域的图像的压缩码流采用第一量化系数进行解码，对所述背景图像的压缩码流采用第二量化系数进行解码，分别得到所述人脸对应区域的图像的重建图像和所述背景图像的重建图像；

图像合成模块，用于根据所述当前解码图像的压缩码流中的人脸对应区域的位置和大小的边信息，将所述人脸对应区域的图像的重建图像合成到所述背景图像的重建图像中，得到当前解码图像的重建图像。

Images