CN105678714B

CN105678714B - 一种图像处理方法和装置

Info

Publication number: CN105678714B
Application number: CN201610082508.XA
Authority: CN
Inventors: 张琦; 张中海
Original assignee: Netease Media Technology Beijing Co Ltd
Current assignee: Netease Media Technology Beijing Co Ltd
Priority date: 2016-02-05
Filing date: 2016-02-05
Publication date: 2020-12-29
Anticipated expiration: 2036-02-05
Also published as: CN105678714A

Abstract

本发明的实施方式提供了一种图像处理方法和装置。该图像处理方法包括：识别待处理图像包含的目标对象在所述待处理图像中的目标区域；利用低分辨率的像素或者预设的模板重构所述目标区域。通过识别待处理图像中包含的目标对象所在的区域，并利用低分辨率的像素或者预设的模板重构识别出的区域，而不是在原有图像的基础上增加一层马赛克遮挡原有图像，由于识别出的目标区域能够呈现目标对象的形态，使得处理后的图像尽可能保留了原图像更多的细节特征，从而处理后的图像看起来更真实并兼具美感，为用户带来了更好的体验。此外，本发明的实施方式提供了一种图像处理装置。

Description

一种图像处理方法和装置

技术领域

本发明的实施方式涉及数字图像处理技术领域，更具体地，本发明的实施方式涉及一种图像处理方法和装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着智能终端技术的发展，基于智能终端可以为用户提供越来越丰富的应用。而利用图像处理程序为用户提供图像处理服务便是其中的热门应用之一。

图像处理程序可以为用户提供各种各样的图像处理功能，例如，其可以自动识别照片中人物的脸部和五官等，并对其进行美白，降噪，瘦脸，美化眼睛等以使用户拍摄的照片更具美感。另外，用户还可以利用图像处理程序提供的功能对图像进行模糊化处理，使图像达到不清楚的效果。常见的模糊化处理方式是对图像中需要模糊化处理的部分进行马赛克处理。图像马赛克处理的原理是在原图像的基础上增加一层马赛克，即其在原图像的基础上增加了一个图层，使图像浏览者无法识别出原图像呈现的内容。

发明内容

但是马赛克处理方法没有考虑原图像的细节处理，使得处理后的图像在视觉效果上并不真实，降低了图像的美感，影响了用户体验。

为此，非常需要一种改进的图像处理方法，以在对图像进行模糊化时尽量保留原图像的细节特征，使处理后的图像更真实并兼具美感，提高用户体验。

在本上下文中，本发明的实施方式期望提供一种图像处理方法和装置。

在本发明实施方式的第一方面中，提供了一种图像处理方法，包括：

识别待处理图像包含的目标对象在所述待处理图像中的目标区域；

利用低分辨率的像素或者预设的模板重构所述目标区域。

在本发明实施方式的第二方面中，提供了一种图像处理装置，包括：

识别单元，用于识别待处理图像包含的目标对象在所述待处理图像中的目标区域；

图像处理单元，用于利用低分辨率的像素或者预设的模板重构所述目标区域。

在本发明实施方式的第三方面中，提供了一种图像处理装置，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：识别待处理图像包含的目标对象在所述待处理图像中的目标区域；利用低分辨率的像素或者预设的模板重构所述目标区域。

在本发明实施方式的第四方面中，提供了一种程序产品，其包括程序代码，当执行所述程序代码时，用于执行以下过程：识别待处理图像包含的目标对象在所述待处理图像中的目标区域；利用低分辨率的像素或者预设的模板重构所述目标区域。

根据本发明实施方式的图像处理方法和装置，可以通过识别待处理图像中包含的目标对象所在的区域，并利用低分辨率的像素或者预设的模板重构识别出的区域，而不是在原有图像的基础上增加一层马赛克遮挡原有图像，由于目标图像所在区域能够呈现目标对象的形态等细节特征，从而使得处理后的图像尽可能保留了原图像更多的细节特征，从而使处理后的图像看起来更真实并兼具美感，为用户带来了更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1a示意性地示出了二值图像的像素结构示意图；

图1b示意性地示出了灰度图像的像素结构示意图；

图2示意性地示出了根据本发明实施方式的图像处理方法实施流程示意图；

图3a示意性地示出了根据本发明实施方式的待处理图像示意图；

图3b示意性地示出了根据本发明实施方式的识别出的目标对象所在目标区域的示意图；

图4a示意性地示出了根据本发明实施方式的识别出的人像特征部位在待处理图像中的像素位置示意图；

图4b示意性地示出了根据本发明实施方式的人脸中特征部位在待处理图像中的像素位置示意图；

图5a示意性地示出了根据本发明实施方式的确定出的目标区域示意图；

图5b示意性地示出了根据本发明实施方式的重构后的目标区域的示意图；

图6示意性地示出了根据本发明另一实施例的图像处理装置的结构示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种图像处理方法和装置。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，现有技术中对图像进行模糊化处理时，通过在原有图像基础上增加一层马赛克以遮挡原有图像，这种处理方式相对简单粗糙，使得处理后的图像看起来并不真实。

为了解决上述问题，本发明实施例中，通过对待处理图像进行识别，区分出图像中的背景和目标对象，将其中的目标对象所在区域使用低分辨率的像素或者预设的模板进行重构，以保留原图像更多的细节特征，使得重构后的目标图像与背景看起来更和谐，增加处理后的图像的真实感，使得处理后的图像更具美感。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

数字图像是指由被称作像素的小块区域组成的二维矩阵，将物理图像行列划分后，每个小块区域称为像素。每个像素包括两个属性：位置和色彩。对于单色即灰度图像而言，每个像素的亮度用一个数值来表示，通常数值范围在0～255之间，即可用一个字节来表示，0表示黑，255表示白，而其他表示灰度级别。对于彩色图像而言，其可以用红(R)、绿(G)、蓝(B)三元组的二维矩阵来表示。通常，三元组的每个数值也在0到255之间，0表示相应的基色在该像素中没有，而255则表示相应的基色在该像素中取得最大值，这种情况下，每个像素可用三个字节来表示，如红色可以表示为(255,0,0)。

首先参考图1a所示，其为二值图像的像素结构示意图，二值图像的每个像素只能是黑色或者白色，白色像素对应的像素值为1，黑色像素对应的像素值为0。图1a所示的图像可以用如下的二维矩阵表示：

灰度图像的每个像素的像素值可以为0～255，其中，像素值为0时，像素为黑色，像素值为255时，像素为白色，图1b示意性地示出了灰度图像的像素结构示意图。图1b所示的图像可以用如下的二维矩阵表示：

而在彩色图像中，每个像素由R、G、B分量构成，其中，R、G、B是由不同的灰度级来描述，例如，某3*3彩色图像可以采用以下的二维矩阵表示：

将R、G、B分量对应的灰度级叠加，则可以确定相应位置上像素的颜色，例如，根据第一行第一列像素对应的R、G、B分量的灰度级(R分量为255， G分量和B分量均为0)，可以确定该彩色图像第一行第一列位置上的像素颜色为红色。

需要说明的是，图1a和图1b中所示的图像仅用于示例，为了便于描述，其均以图像包含3*3个像素为例，实际应用中，数字图像包含的像素要远远多于此，例如，高清图像包含的像素可以达到百万级。

示例性方法

下面结合图1a和图1b的应用场景，参考图2-图5b来描述根据本发明示例性实施方式的图像处理方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

如图2所示，其为本发明实施例提供的图像处理方法的实施流程示意图，可以包括以下步骤：

S21、识别待处理图像包含的目标对象在所述待处理图像中的目标区域。

具体实施时，步骤S21有如下两种实施方式：

第一种实施方式、利用图像识别算法识别出图像中包含的目标对象在待处理图像中的边缘位置，根据识别出的目标对象在待处理图像中的边缘位置，可以得到目标对象的轮廓，位于该轮廓内的区域可以确定为目标对象所在的目标区域。较佳的，具体实施时，可以利用滤波算法识别目标对象在待处理图像中的边缘。

如图3a所示，为待处理图像示意图，如图3b所示，其为利用图像识别算法识别出的目标对象所在目标区域的示意图。

第二种实施方式、可以通过识别目标对象的特征部位在待处理图像中的像素位置，根据识别出的特征部位的像素位置，确定目标对象在待处理图像中的轮廓，将确定出的轮廓内的区域作为目标对象所在的目标区域。

以待处理图像中包含的目标对象为人像为例，如图4a所示，为识别出的人像特征部位在待处理图像中的像素位置示意图，其中，人像的特征部位可以包括头部、肩部、肘部、手部、躯干、膝关节、踝关节、脚部等，由于这样识别出的关节部位所在像素位置可能是一些像素点，因此，具体实施时，需要将相邻的特征部位所在像素连接，并进行扩充后可以得到人像在待处理图像中的轮廓。由于人像的轮廓能够体现人物的肢体动作或者姿势等，因此，确定出的目标区域能够保留原图像呈现的目标对象的细节特征。

而具体实施时，如果是人脸，特征部位可以包括眉毛、眼睛、鼻子、嘴巴、耳朵等，这种情况下，首先通过图像识别算法识别出上述特征部位的边缘，能够得到各个特征部位的轮廓，进一步的，再根据特征部位的像素位置，利用图像识别算法识别出人脸在待处理图像中的边缘位置，由此可以得到人脸在待处理图像中的整体轮廓，如图4b所示。

S22、利用低分辨率的像素或者预设的模板重构所述目标区域。

根据上述应用场景部分描述可知，图像由像素组成，因此，确定出的目标区域同样由像素组成，基于此，本发明实施例中，在确定出目标对象在图像中的区域之后，可以利用低分辨率的像素(即尺寸大小大于待处理图像中像素尺寸大小，例如，低分辨率的像素大小可以为待处理图像中像素大小的n倍，n为大于等于2的自然数)重构目标区域包含的像素，也可以利用预设的模板重构目标区域包含的图像，以下详细介绍之。

第一种实施方式、利用低分辨率的像素重构目标区域。

为了便于描述，以下以步骤S21中确定出的目标区域为图5a所示的正方形为例，假设目标区域包含的像素数量为16*16，每个像素大小为1*1(单位大小)。则在步骤S22中，可以利用16/n个n*n(单位大小)的像素来替换图5a中包含的像素，假设以8个2*2(单位大小)的像素进行替换，则处理后的目标区域如图5b所示。

第二种实施方式、利用预设的模板重构目标区域。

具体实施时，可以在特征部位模板库中预设模板，例如，脸型模板，眉毛模板，发型模板，眼睛模板，耳朵模板，嘴巴模板等等，当然，每个特征部位的模板可以由多个，这样，在步骤S21中确定出特征部位的轮廓之后，可以利用每一特征部位的轮廓，从预置的特征部位模板库中查找与其匹配的特征部位模板，具体的，可以将识别得到的轮廓与模板库中的模板进行比较，确定与其最接近的模板即可。例如，可以计算包含识别出的特征部位轮廓的图像与特征部位模板库中特征部位模板图像的差值，将差值最小的一幅模板图像作为最接近的模板。

这样，针对每一特征部位能够匹配到与其最接近的模板，利用匹配到的模板替换目标区域中相应的特征部位即可得到重构后的目标区域。

较佳的，具体实施时，还可以在应用过程中，针对不同的用户，在获取了该用户的图像后，从中识别出用户的五官轮廓等特征部位的轮廓，并将其作为特征部位模板添加至特征部位模板库中，这样，后续该用户再次利用模板库进行匹配时，可以匹配到其自身的特征部位，从而使得处理后的图像更接近用户自身的图像，提高了用户体验。

具体实施时，由于不同的嘴巴以及眼睛轮廓能够体现人物的表情，因此，根据本发明实施例中重构的目标对象可以保留待处理图像中目标对象的表情等细节特征。

具体实施时，在步骤S22中对确定出的目标区域进行重构时，可以使用相同颜色的低分辨率的像素重构目标区域。而为了使待处理后的图像更具层次感，本发明实施例中，还可以进一步识别目标对象所在区域包含的各像素的颜色，根据识别出的像素颜色对目标区域进行重构。

具体的，在执行步骤S22之前，可以获取目标区域包含像素的颜色信息和位置信息，以前述的3*3彩色图像：

为例，且以I_ij表示像素在图像中的位置，其中，i为二维矩阵行标识，j为二维矩阵的列标识，例如，I₁₂表示第一行第二列的像素，则该图像中每一像素对应的位置信息和颜色信息如下：(I₁₁，(255,0,0))， (I₁₂，(240,160,80))，(I₁₃，(240,80,160))，(I₂₁，(255,255,0))，(I₂₂，(0,252,0))，(I₂₃， (80,160,240))，(I₃₁，(255,0,255))，(I₃₂，(0,255,255))，(I₃₃，(0,0,255))。

在获得了目标区域包含的各像素的位置信息和颜色信息之后，可以在目标区域的相应位置上使用相应颜色的低分辨率像素进行重构。以图5a和图5b为例，图5b中第一行第一列的像素替换的是图5a中的4个像素，具体实施时，如果图5a中4个像素的颜色信息如果相同，则确定该4个像素的颜色信息为图5b中第一行第一列的像素的颜色信息；而如果图5a中4个像素的颜色信息不同，则可以根据以下任一方式确定图5b中第一行第一列像素的颜色信息：1、使用图5a中4个像素中任一像素颜色信息作为图5b中第一行第一列像素的颜色信息；2、将图5a中4个像素的R、G、B分量的相应灰度级平均值作为图5b中第一行第一列像素的颜色信息，类似的，可以确定出图5b中其它各个像素的颜色信息。

在添加了颜色信息之后，根据本发明实施例提供的图像处理方法得到的处理后的图像更具有层次感和美感。

为了使图像背景与处理过的目标图像在视觉效果上更和谐，本发明实施例中，还可以对背景图像采用上述方法进行处理。具体的，可以将除目标区域以外的图像区域作为背景区域，利用低分辨率的像素(可以与重构目标区域所使用的像素大小相同或不同)重构背景区域。当然，也可以进一步识别背景区域包含的各个像素的位置和颜色，利用相同的颜色在相应的位置上进行重构，其具体实施方式与目标区域的重构类似，这里不再赘述。

本发明实施例提供的图像处理方法，在对图像进行处理时，通过识别待处理图像中的目标对象所在的目标区域，并利用低分辨率的像素或者预设的模板重构目标区域，而不是在原有的图层上叠加一层马赛克，由于目标对象所在的目标区域能够呈现原图像的形态，因此，识别出的目标区域能够体现目标对象的细节特征，例如人体的肢体动作或者面部表情等，因此，处理后的图像保留了原始图像更多细节，从而使得处理后的图像更真实，也更具美感。进一步的，本发明实施例提供的图像处理方法，还可以识别目标区域包含的各个像素的位置和颜色，在相应的位置上使用与原始图像相同的颜色进行重构，使得处理后的图像更具层次感，提高了用户体验。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图6对本发明示例性实施方式的图像处理装置进行说明

如图6所示，其为本发明实施例提供的图像处理装置的结构示意图，可以包括：

识别单元61，用于识别待处理图像包含的目标对象在所述待处理图像中的目标区域；

图像处理单元62，用于利用低分辨率的像素或者预设的模板重构所述目标区域。

其中，识别单元61，可以包括：

识别子单元611，用于识别所述目标对象的特征部位在所述待处理图像中的像素位置；

第一确定子单元612，用于根据所述特征部位的像素位置，确定所述目标对象在所述待处理图像中的轮廓；

第二确定子单元613，用于确定位于所述轮廓内的区域为所述目标对象在所述待处理图像中的目标区域。

可选的，本发明实施例提供的图像处理装置，还可以包括获取单元63，其中：

所述获取单元63，用于在所述图像处理单元62利用低分辨率的像素重构所述目标区域之前，获取所述目标区域包含像素的颜色信息和位置信息；

所述图像处理单元62，还用于根据所述获取单元63获取的颜色信息和位置信息，在所述目标区域的相应位置上使用相应颜色的低分辨率像素进行重构。

可选的，本发明实施例提供的图像处理装置还可以包括确定单元64，其中：

所述确定单元64，用于在所述图像处理单元62利用预设的模板重构所述目标区域之前，根据所述特征部位的像素位置，确定所述特征部位的轮廓；

所述图像处理单元62，具体用于根据每一特征部位的轮廓，从预置的特征部位模板库中查找匹配的特征部位模板；利用查找的特征部位模板替换所述目标区域中相应的特征部位。

可选的，本发明实施例提供的图像处理装置还可以包括：

模板更新单元65，用于针对不同的用户，将确定出的、该用户的特征部位的轮廓作为特征部位模板添加至所述特征部位模板库中。

在一些可能的实施方式中，根据本发明的图像处理装置可以包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的图像处理方法中的各种步骤。例如，所述处理单元可以执行如图2中所示的步骤S21，识别待处理图像包含的目标对象在所述待处理图像中的目标区域，步骤S22，利用低分辨率的像素或者预设的模板重构所述目标区域。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims

1.一种图像处理方法，包括：

利用图像识别算法识别待处理图像包含的目标对象在所述待处理图像中的目标区域，具体包括：识别所述目标对象的特征部位在所述待处理图像中的像素位置；根据所述特征部位的像素位置，将相邻的特征部位所在像素连接，对连接后的像素进行扩充，确定所述目标对象在所述待处理图像中的轮廓；确定位于所述轮廓内的区域为所述目标对象在所述待处理图像中的目标区域；

根据所述特征部位的像素位置，确定所述特征部位的轮廓；

根据每一特征部位的轮廓，从预置的特征部位模板库中查找匹配的特征部位模板；

利用查找的特征部位模板替换所述目标区域中相应的特征部位；

获取背景区域包含像素的颜色信息和位置信息，所述背景区域为所述待处理图像中除所述目标区域以外的图像区域；

根据所述背景区域包含像素的颜色信息和位置信息，在所述背景区域的相应位置上使用相应颜色的低分辨率像素进行重构，具体包括：将所述背景区域划分成多个区块，每个区块包含相邻的N*N个像素；针对所述多个区块中的每一区块，将所述每一区块中任一像素的颜色信息作为所述每一区块的颜色信息。

2.根据权利要求1所述的方法，还包括：

针对不同的用户，将确定出的、该用户的特征部位的轮廓作为特征部位模板添加至所述特征部位模板库中。

3.一种图像处理装置，包括：

识别单元，用于利用图像识别算法识别待处理图像包含的目标对象在所述待处理图像中的目标区域，所述识别单元包括：识别子单元，用于识别所述目标对象的特征部位在所述待处理图像中的像素位置；第一确定子单元，用于根据所述特征部位的像素位置，将相邻的特征部位所在像素连接，对连接后的像素进行扩充，确定所述目标对象在所述待处理图像中的轮廓；第二确定子单元，用于确定位于所述轮廓内的区域为所述目标对象在所述待处理图像中的目标区域；

确定单元，用于在所述图像处理单元利用预设的模板重构所述目标区域之前，根据所述特征部位的像素位置，确定所述特征部位的轮廓；

图像处理单元，用于根据每一特征部位的轮廓，从预置的特征部位模板库中查找匹配的特征部位模板；利用查找的特征部位模板替换所述目标区域中相应的特征部位；获取背景区域包含像素的颜色信息和位置信息，所述背景区域为所述待处理图像中除所述目标区域以外的图像区域；根据所述背景区域包含像素的颜色信息和位置信息，在所述背景区域的相应位置上使用相应颜色的低分辨率像素进行重构，具体包括：将所述背景区域划分成多个区块，每个区块包含相邻的N*N个像素；针对所述多个区块中的每一区块，将所述每一区块中任一像素的颜色信息作为所述每一区块的颜色信息。

4.根据权利要求3所述的装置，还包括：

模板更新单元，用于针对不同的用户，将确定出的、该用户的特征部位的轮廓作为特征部位模板添加至所述特征部位模板库中。