CN111476735B - 人脸图像处理方法、装置、计算机设备及可读存储介质 - Google Patents

Abstract

本申请提供一种人脸图像处理方法、装置、计算机设备及可读存储介质，涉及图像处理领域。本申请通过确定待处理人脸图像中与指定头发稀疏区域对应的多个稀疏小块及与指定头发浓密区域对应的头发浓密区域图像，接着针对每个稀疏小块，基于该稀疏小块的轮廓特征在头发浓密区域图像中确定匹配的目标浓密小块，并采用匹配的目标浓密小块对该稀疏小块进行颜色补偿及纹理填补，从而在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的完成自动化修补头发稀疏区域操作的目标人脸图像，使指定头发浓密区域与修补后的指定头发稀疏区域在头发颜色及头发纹理方面的视觉效果保持一致，提高整体的图像美化效果。

Description

人脸图像处理方法、装置、计算机设备及可读存储介质

技术领域

本申请涉及图像处理领域，具体而言，涉及一种人脸图像处理方法、装置、计算机设备及可读存储介质。

背景技术

随着互联网技术的不断发展，拍照设备(例如，智能手机、照相机等)为用户提供了极大的便利，可使用户通过拍照设备对目标人物进行拍照。而通常情况下会对拍照得到的人脸图像进行美化处理，以提高用户的满意度。在此过程中，针对人脸图像中的头发稀疏问题的处理一向是图像美处理方面的痛点，现有的针对头发稀疏问题的解决方案通常是由设计师人工地调用相关图像处理软件来进行修补，消耗了大量人力，并通常会因设计师从业经验不足，导致修补后的人脸图像的各部分头发区域在头发颜色及头发纹理方面的视觉效果存在极大差异，整体的图像美化效果不佳。

发明内容

有鉴于此，本申请的目的在于提供一种人脸图像处理方法、装置、计算机设备及可读存储介质，其能够对人脸图像中的指定头发稀疏区域进行自动化修补，使人脸图像中的指定头发浓密区域与修补后的指定头发稀疏区域在头发颜色及头发纹理方面的视觉效果保持一致，提高整体的图像美化效果。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种人脸图像处理方法，所述方法包括：

对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块；

对待处理人脸图像中指定头发浓密区域进行图像提取，得到对应的头发浓密区域图像；

对每个稀疏小块进行轮廓提取，得到每个稀疏小块的轮廓特征；

针对每个稀疏小块，基于该稀疏小块的轮廓特征在所述头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块；

针对每个稀疏小块，采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，并基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补；

在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的目标人脸图像。

在可选的实施方式中，所述针对每个稀疏小块，基于该稀疏小块的轮廓特征在所述头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块，包括：

针对每个稀疏小块，构建与该稀疏小块的轮廓特征匹配的目标卷积核；

以该目标卷积核对所述头发浓密区域图像所对应的灰度图像进行图像卷积，得到对应的目标卷积灰度图；

确定该目标卷积灰度图中灰度值最大的目标像素点，并确定该目标像素点在所述头发浓密区域图像对应的目标映射位置；

在所述头发浓密区域图像中以所述目标映射位置为图像中心并以该稀疏小块的轮廓范围为图像边界进行图像提取，得到与该稀疏小块匹配的目标浓密小块。

在可选的实施方式中，所述轮廓特征包括对应稀疏小块的每个轮廓像素点的灰度值及每个轮廓像素点的像素位置，所述构建与该稀疏小块的轮廓特征匹配的目标卷积核，包括：

构建尺寸大小为该稀疏小块的外接矩形的空白卷积核；

将该稀疏小块所对应的所有轮廓像素点的灰度值按照各自对应的像素位置填充到在该空白卷积核内，并将该空白卷积核的剩余填充位置处的卷积元素设置为0，得到与该稀疏小块的轮廓特征匹配的目标卷积核。

在可选的实施方式中，所述采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，包括：

将相互匹配的目标浓密小块及稀疏小块进行YUV空间转换，并对目标浓密小块所对应的U通道数据及V通道数据进行二维直方图统计；

从统计得到的二维直方图中提取出出现频次大于0的多个UV组合，其中每个UV组合包括配对的一个U通道数据及一个V通道数据；

针对该稀疏小块中的每个像素点，计算该像素点所对应的目标UV值组合与每个UV组合之间的欧式距离，其中所述目标UV值组合包括对应像素点的原始U通道数值及原始V通道数值；

确定与所述目标UV值组合对应的欧式距离最小的参照UV组合，并以该参照UV组合对该目标UV值组合进行参数替换；

将该像素点的原始Y通道数值及参数替换后的目标UV值组合进行RGB空间转换，并以转换得到的目标RGB值组合替换该像素点的原始RGB值组合，其中所述目标RGB值组合包括经RGB空间转换得到的R通道数值、G通道数值及B通道数值，所述原始RGB值组合包括对应像素点的原始R通道数据、原始G通道数据及原始B通道数据。

在可选的实施方式中，所述以该参照UV组合对该目标UV值组合进行参数替换，包括：

将该参照UV组合中的U通道数据与该目标UV值组合中的U通道数值进行比较，并在不同时，以该参照UV组合中的U通道数据替换该目标UV值组合中的U通道数值；

将该参照UV组合中的V通道数据与该目标UV值组合中的V通道数值进行比较，并在不同时，以该参照UV组合中的V通道数据替换该目标UV值组合中的V通道数值。

在可选的实施方式中，所述基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补，包括：

针对每个补偿后的稀疏小块，计算匹配的目标浓密小块中各像素点在R通道、G通道及B通道上的均值，得到第一RGB组合，并计算所述补偿后的稀疏小块中各像素点在R通道、G通道及B通道上的均值，得到第二RGB组合，其中所述第一RGB组合包括对应目标浓密小块的R通道数据均值、G通道数据均值及B通道数据均值，第二RGB组合包括对应补偿后的稀疏小块的R通道数值均值、G通道数值均值及B通道数值均值；

将所述目标浓密小块中各像素点与所述第一RGB组合在RGB三色通道上进行数值相减，得到第一反差小块，并将所述补偿后的稀疏小块中各像素点与所述第二RGB组合在RGB三色通道上进行数值相减，得到第二反差小块；

将所述第一反差小块与所述第二反差小块进行融合，得到对应的目标融合小块；

将目标融合小块中各像素点与所述第二RGB组合在RGB三色通道上进行数值相加，得到对应的目标显示小块；

以所述目标显示小块对所述补偿后的稀疏小块进行像素替换。

在可选的实施方式中，所述将所述第一反差小块与所述第二反差小块进行融合，得到对应的目标融合小块，包括：

针对第一反差小块中的每个第一像素点及第二反差小块中的每个第二像素点，将像素位置匹配的第一像素点及第二像素点各自的灰度值的绝对值进行比较；

若像素位置匹配的第二像素点的灰度值的绝对值大于对应第一像素点的灰度值的绝对值，则将该第二像素点作为目标融合小块中与该像素位置对应的像素点，否则将该第一像素点作为目标融合小块中与该像素位置对应的像素点。

第二方面，本申请实施例提供一种人脸图像处理装置，所述装置包括：

像素聚类模块，用于对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块；

图像提取模块，用于对待处理人脸图像中指定头发浓密区域进行图像提取，得到对应的头发浓密区域图像；

轮廓提取模块，用于对每个稀疏小块进行轮廓提取，得到每个稀疏小块的轮廓特征；

图像匹配模块，用于针对每个稀疏小块，基于该稀疏小块的轮廓特征在所述头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块；

补偿填补模块，用于针对每个稀疏小块，采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，并基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补；

图像输出模块，用于在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的目标人脸图像。

第三方面，本申请实施例提供一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令，以实现前述实施方式所述的人脸图像处理方法。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式所述的人脸图像处理方法。

本申请具有以下有益效果：

本申请通过对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块，并从该待处理人脸图像中提取出与指定头发浓密区域对应的头发浓密区域图像，而后提取出每个稀疏小块的轮廓特征，接着针对每个稀疏小块，基于该稀疏小块的轮廓特征在头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块，并采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，以及基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补，从而在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的完成自动化修补头发稀疏区域操作的目标人脸图像，使指定头发浓密区域与修补后的指定头发稀疏区域在头发颜色及头发纹理方面的视觉效果保持一致，提高整体的图像美化效果。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的计算机设备的结构组成示意图；

图2为本申请实施例提供的人脸图像处理方法的流程示意图；

图3为图2中的步骤S240包括的子步骤的流程示意图；

图4为图2中的步骤S250包括的子步骤的流程示意图之一；

图5为图2中的步骤S250包括的子步骤的流程示意图之二；

图6为本申请实施例提供的人脸图像处理装置的功能模块示意图。

图标：10-计算机设备；11-存储器；12-处理器；13-通信单元；100-人脸图像处理装置；110-像素聚类模块；120-图像提取模块；130-轮廓提取模块；140-图像匹配模块；150-补偿填补模块；160-图像输出模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1是本申请实施例提供的计算机设备10的系统组成示意图。在本申请实施例中，所述计算机设备10可用于对待处理人脸图像中的指定头发稀疏区域进行自动化修补，使修补后的指定头发稀疏区域与该待处理人脸图像中的指定头发浓密区域在头发颜色及头发纹理方面的视觉效果保持一致，确保修补后的指定头发稀疏区域的视觉效果更为自然，从而提高整体的图像美化效果。其中，所述计算机设备10可通过提供一显示界面，使用户得以通过该显示界面确定出同一待处理人脸图像中的指定头发浓密区域及指定头发稀疏区域，所述指定头发稀疏区域为由所述计算机设备10的用户根据对所述待处理人脸图像的头发修补需求指出的存在头发稀疏问题的图像区域，所述指定头发浓密区域为上述用户在所述待处理人脸图像中指出的头发浓密的图像区域。此外，所述计算机设备10可以是拍摄所述待处理人脸图像的拍摄设备，其中所述拍摄设备可以是，但不限于，智能手机、平板电脑、智能照相机；所述计算机设备10也可以是与拍摄所述待处理人脸图像的拍摄设备通信连接的电子设备，其中所述电子设备可以是，但不限于，智能手机、平板电脑、个人计算机。

在本实施例中，所述计算机设备10包括人脸图像处理装置100、存储器11、处理器12及通信单元13。所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

在本实施例中，所述存储器11可用于存储程序，所述处理器12在接收到执行指令后，可相应地执行所述程序。其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。

在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)及网络处理器(Network Processor，NP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

在本实施例中，所述通信单元13用于通过网络建立所述计算机设备10与其他电子设备之间的通信连接，并通过网络进行数据交互。

在本实施例中，所述人脸图像处理装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述计算机设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述人脸图像处理装置100所包括软件功能模块及计算机程序等。所述计算机设备10通过所述人脸图像处理装置100实现对待处理人脸图像中指定头发稀疏区域的自动化修补操作，使修补后的指定头发稀疏区域与该待处理人脸图像中的指定头发浓密区域在头发颜色及头发纹理方面的视觉效果保持一致，增强整体的图像美化效果。

可以理解的是，图1所示的方框示意图仅为计算机设备10的一种结构组成示意图，所述计算机设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

在本申请中，为确保上述计算机设备10具有上述的头发稀疏区域的自动化修补功能，本申请通过提供应用于上述计算机设备10的人脸图像处理方法实现上述功能。下面对本申请提供的人脸图像处理方法进行详细描述。

请参照图2，图2是本申请实施例提供的人脸图像处理方法的流程示意图。在本申请实施例中，图2所示的人脸图像处理方法如下所示。

步骤S210，对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块。

在本实施例中，所述计算机设备10在获得待处理人脸图像，并由用户指出该待处理人脸图像中需要修补的指定头发稀疏区域后，可通过采用K-mean算法的方式对指定头发稀疏区域进行超像素分割，并针对分割出的所有像素点进行特征聚类，得到多个包括同一聚类结果下的所有像素点的图像区域(即稀疏小块)。在本实施例的一种实施方式中，所述计算机设备10将基于指定头发稀疏区域内的每个像素点在RGB(Red-Green-Blue，红色-绿色-蓝色)空间中对应的原始R通道数据、原始G通道数据和原始B通道数据以及每个像素点在该指定头发稀疏区域内的像素位置进行特征聚类。

步骤S220，对待处理人脸图像中指定头发浓密区域进行图像提取，得到对应的头发浓密区域图像。

在本实施例中，所述头发浓密区域图像为所述待处理人脸图像在剔除掉除所述指定头发浓密区域之外的所有图像区域的图像。

步骤S230，对每个稀疏小块进行轮廓提取，得到每个稀疏小块的轮廓特征。

在本实施例中，当所述计算机设备10确定出指定头发稀疏区域内的所有稀疏小块后，可基于轮廓提取算法针对每个稀疏小块确定出该稀疏小块中位于轮廓边缘位置的所有轮廓像素点，并以同一稀疏小块的所有轮廓像素点的灰度值的集合及所有轮廓像素点在该稀疏小块中的像素位置的集合，作为该稀疏小块的轮廓特征。例如，当某个稀疏小块的外接矩形可采用5×5网格进行表达，则与该稀疏小块对应的轮廓特征中的所有轮廓像素点的灰度值集合可以表达为[3，5，2，3，1，6，3，3，2，4，1]，而所述所有轮廓像素点的像素位置集合在该5×5网格中可以表达为{(1,2)，(2,3)，(2,4)，(3,5)，(4,5)，(4,5)，(5,3)，(5,2)，(4,1)，(3,1)，(2,1)}，其中两个集合中排列顺序相同的元素对应同一轮廓像素点，比如(1,2)在该5×5网格中的位置为第一行第二列。在本实施例中，一个像素点的灰度值可采用式子“Gray＝R*0.299+G*0.587+B*0.114”计算得到，其中Gray表示对应像素点的灰度值，R表示对应像素点的R通道数据，G表示对应像素点的G通道数据，B表示对应像素点的B通道数据。

步骤S240，针对每个稀疏小块，基于该稀疏小块的轮廓特征在头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块。

在本实施例中，所述计算机设备10在确定出每个稀疏小块的轮廓特征后，会针对每个稀疏小块，在头发浓密区域图像中确定出与该稀疏小块的轮廓特征匹配的具有浓密头发颜色及浓密头发纹理的图像区域即目标浓密小块。其中，每个稀疏小块对应一个目标浓密小块。

可选地，请参照图3，图3是图2中的步骤S240包括的子步骤的流程示意图。在本实施例中，所述步骤S240可以包括子步骤S241～子步骤S244。

子步骤S241，针对每个稀疏小块，构建与该稀疏小块的轮廓特征匹配的目标卷积核。

在本实施例中，所述计算机设备10在确定出每个稀疏小块的轮廓特征后，会根据每个稀疏小块的轮廓大小确定出外接于该稀疏小块且体现有该小块的轮廓特征的目标卷积核。其中，针对每个稀疏小块，构建与该稀疏小块的轮廓特征匹配的目标卷积核的步骤包括：

针对每个稀疏小块，构建尺寸大小为该稀疏小块的外接矩形的空白卷积核；

将该稀疏小块所对应的所有轮廓像素点的灰度值按照各自对应的像素位置填充到在该空白卷积核内，并将该空白卷积核的剩余填充位置处的卷积元素设置为0，得到与该稀疏小块的轮廓特征匹配的目标卷积核。

例如，当某个稀疏小块的外接矩形可采用5×5网格进行表达，则与该稀疏小块对应的轮廓特征中的所有轮廓像素点的灰度值集合可以表达为[3，5，2，3，1，6，3，3，2，4，1]，且所述所有轮廓像素点的像素位置集合在该5×5网格中可以表达为{(1,2)，(2,3)，(2,4)，(3,5)，(4,5)，(4,5)，(5,3)，(5,2)，(4,1)，(3,1)，(2,1)}时，该稀疏小块所对应的目标卷积核也将被设置为5×5卷积核，且所述目标卷积核中的非0卷积元素会被所述计算机设备10按照{(1,2)，(2,3)，(2,4)，(3,5)，(4,5)，(4,5)，(5,3)，(5,2)，(4,1)，(3,1)，(2,1)}中各元素的位置及顺序对[3，5，2，3，1，6，3，3，2，4，1]中对应元素进行填充，比如该目标卷积核中处于(1,2)位置处的卷积元素为3。

子步骤S242，以该目标卷积核对头发浓密区域图像所对应的灰度图像进行图像卷积，得到对应的目标卷积灰度图。

子步骤S243，确定该目标卷积灰度图中灰度值最大的目标像素点，并确定该目标像素点在头发浓密区域图像对应的目标映射位置。

子步骤S244，在头发浓密区域图像中以目标映射位置为图像中心并以该稀疏小块的轮廓范围为图像边界进行图像提取，得到与该稀疏小块匹配的目标浓密小块。

在本实施例中，相互匹配的目标浓密小块及稀疏小块的形状尺寸相同。

请再次参照图2，步骤S250，针对每个稀疏小块，采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，并基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补。

在本实施例中，当所述计算机设备10确定出每个稀疏小块所对应的目标浓密小块后，会采用匹配的目标浓密小块对对应的稀疏小块进行颜色补偿，并在补偿后的稀疏小块的基础上基于匹配的目标浓密小块进行纹理填补，以确保该稀疏小块在完成相应的纹理填补操作后能够与指定头发浓密区域在头发颜色及头发纹理方面的视觉效果上保持一致，使修补后的稀疏小块的视觉效果更为自然。

可选地，请参照图4，图4为图2中的步骤S250包括的子步骤的流程示意图之一。在本实施例中，所述步骤S250中的采用匹配的目标浓密小块对该稀疏小块进行颜色补偿的步骤可以包括子步骤S251～子步骤S255。

子步骤S251，将相互匹配的目标浓密小块及稀疏小块进行YUV空间转换，并对目标浓密小块所对应的U通道数据及V通道数据进行二维直方图统计。

在本实施例中，所述计算机设备10在确定出某个稀疏小块及其匹配的目标浓密小块后，会针对该稀疏小块进行YUV空间转换，得到该稀疏小块中的每个像素点的原始Y通道数值、原始U通道数值及原始V通道数值，同时针对该目标浓密小块进行YUV空间转换，得到该目标浓密小块中每个像素点的Y通道数据、U通道数据及V通道数据。而后，由所述计算机设备10针对目标浓密小块中出现的U通道数据及V通道数据进行一一配对，并统计配对的U通道数据及V通道数据的出现次数进行统计，得到对应的与目标浓密小块的UV通道数据匹配的二维直方图。其中，所述计算机设备10可采用式子“Y＝0.299*R+0.587*G+0.114*B”计算每个像素点对应的Y通道分量大小，采用式子“U＝-0.1687*R-0.3313*G+0.5*B+128”计算每个像素点对应的U通道分量大小，并采用式子“V＝0.5*R-0.4187*G-0.0813*B+128”计算每个像素点对应的V通道分量大小。其中Y表示对应像素点的Y通道分量大小，U表示对应像素点的U通道分量大小，V表示对应像素点的V通道分量大小，R表示对应像素点的R通道数据，G表示对应像素点的G通道数据，B表示对应像素点的B通道数据。

子步骤S252，从统计得到的二维直方图中提取出出现频次大于0的多个UV组合。

在本实施例中，每个UV组合包括在对应目标浓密小块下的配对的一个U通道数据及一个V通道数据。

子步骤S253，针对该稀疏小块中的每个像素点，计算该像素点所对应的目标UV值组合与每个UV组合之间的欧式距离。

在本实施例中，该稀疏小块中每个像素点所对应的目标UV值组合包括该像素点在待处理图像中的原始U通道数值及原始V通道数值。

子步骤S254，确定与目标UV值组合对应的欧式距离最小的参照UV组合，并以该参照UV组合对该目标UV值组合进行参数替换。

在本实施例中，所述计算机设备10在确定出某个稀疏小块下的某个像素点的目标UV值组合与对应目标浓密小块下的所有UV组合之间的欧式距离后，会选取该目标浓密小块下的所有UV组合中对应欧式距离最小的UV组合，作为与该稀疏小块下的所述像素点匹配的参照UV组合，并以该参照UV组合对所述像素点的目标UV值组合进行参数替换。其中，所述以该参照UV组合对该目标UV值组合进行参数替换的步骤，包括：

将该参照UV组合中的U通道数据与该目标UV值组合中的U通道数值进行比较，并在不同时，以该参照UV组合中的U通道数据替换该目标UV值组合中的U通道数值；

将该参照UV组合中的V通道数据与该目标UV值组合中的V通道数值进行比较，并在不同时，以该参照UV组合中的V通道数据替换该目标UV值组合中的V通道数值。

子步骤S255，将该像素点的原始Y通道数值及参数替换后的目标UV值组合进行RGB空间转换，并以转换得到的目标RGB值组合替换该像素点的原始RGB值组合。

在本实施例中，所述目标RGB值组合包括经RGB空间转换得到的R通道数值、G通道数值及B通道数值，所述原始RGB值组合包括对应像素点的原始R通道数据、原始G通道数据及原始B通道数据。所述计算机设备10可采用式子“R＝Y+1.402*(V-128)”计算每个像素点对应的R通道分量大小，采用式子“G＝Y-0.34414*(U-128)-0.71414*(V-128)”计算每个像素点对应的G通道分量大小，并采用式子“B＝Y+1.772*(U-128)”计算每个像素点对应的B通道分量大小。其中R表示对应像素点的R通道分量大小，G表示对应像素点的G通道分量大小，B表示对应像素点的B通道分量大小，Y表示对应像素点的Y通道数据，U表示对应像素点的U通道数据，V表示对应像素点的V通道数据。

在本实施例中，所述计算机设备10可通过执行子步骤S251～子步骤S255，确保颜色补偿后的稀疏小块与匹配的目标浓密小块在头发颜色方面上的视觉效果基本一致。

可选地，请参照图5，图5为图2中的步骤S250包括的子步骤的流程示意图之二。在本实施例中，所述步骤S250中的基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补的步骤可以包括子步骤S256～子步骤S2510。

子步骤S256，针对每个补偿后的稀疏小块，计算匹配的目标浓密小块中各像素点在R通道、G通道及B通道上的均值，得到第一RGB组合，并计算补偿后的稀疏小块中各像素点在R通道、G通道及B通道上的均值，得到第二RGB组合。

在本实施例中，所述计算机设备10在完成一个稀疏小块的颜色补偿操作后，会针对补偿后的该稀疏小块进行RGB分量均值计算操作，通过对所述补偿后的该稀疏小块的所有像素点的R通道数值进行均值计算，对所述补偿后的该稀疏小块的所有像素点的G通道数值进行均值计算，并对所述补偿后的该稀疏小块的所有像素点的B通道数值进行均值计算，得到与所述补偿后的该稀疏小块对应的包括该稀疏小块的R通道数值均值、G通道数值均值及B通道数值均值的第二RGB组合。

同时，所述计算机设备10也会针对与所述补偿后的该稀疏小块匹配的目标浓密小块进行RGB分量均值计算操作，通过对所述目标浓密小块的所有像素点的R通道数据进行均值计算，对所述目标浓密小块的所有像素点的G通道数据进行均值计算，并所述目标浓密小块的所有像素点的B通道数据进行均值计算，得到与所述目标浓密小块对应的包括该目标浓密小块的R通道数据均值、G通道数据均值及B通道数据均值的第一RGB组合。

子步骤S257，将目标浓密小块中各像素点与第一RGB组合在RGB三色通道上进行数值相减，得到第一反差小块，并将补偿后的稀疏小块中各像素点与第二RGB组合在RGB三色通道上进行数值相减，得到第二反差小块。

在本实施例中，所述计算机设备10在确定出某个目标浓密小块所对应的第一RGB组合后，会针对该目标浓密小块中的每个像素点，将该像素点的R通道数据与该第一RGB组合中的R通道数据均值进行数值相减，将该像素点的G通道数据与该第一RGB组合中的G通道数据均值进行数值相减，并将该像素点的B通道数据与该第一RGB组合中的B通道数据均值进行数值相减，从而得到对应的与该目标浓密小块对应的第一反差小块。

所述计算机设备10在确定出上述目标浓密小块匹配的完成颜色补偿操作的稀疏小块所对应的第二RGB组合后，会针对完成颜色补偿操作的该稀疏小块中的每个像素点，将该像素点的R通道数值与该第二RGB组合中的R通道数值均值进行数值相减，将该像素点的G通道数值与该第二RGB组合中的G通道数值均值进行数值相减，并将该像素点的B通道数值与该第二RGB组合中的B通道数值均值进行数值相减，从而得到对应的与完成颜色补偿操作的该稀疏小块对应的第二反差小块。

子步骤S258，将第一反差小块与第二反差小块进行融合，得到对应的目标融合小块。

在本实施例中，所述计算机设备10将相互对应的第一反差小块与第二反差小块进行融合，得到对应的目标融合小块的步骤，包括：

针对第一反差小块中的每个第一像素点及第二反差小块中的每个第二像素点，将像素位置匹配的第一像素点及第二像素点各自的灰度值的绝对值进行比较；

若像素位置匹配的第二像素点的灰度值的绝对值大于对应第一像素点的灰度值的绝对值，则将该第二像素点作为目标融合小块中与该像素位置对应的像素点，否则将该第一像素点作为目标融合小块中与该像素位置对应的像素点。

子步骤S259，将目标融合小块中各像素点与第二RGB组合在RGB三色通道上进行数值相加，得到对应的目标显示小块。

在本实施例中，当所述计算机设备10确定出与某个完成颜色补偿操作的稀疏小块对应的目标融合小块及第二RGB组合后，会针对该目标融合小块中的各像素点，将该像素点的R通道数值与对应的第二RGB组合中的R通道数值均值进行数值相加，将该像素点的G通道数值与该第二RGB组合中的G通道数值均值进行数值相加，并将该像素点的B通道数值与该第二RGB组合中的B通道数值均值进行数值相加，从而得到对应的需要替换所述完成颜色补偿操作的稀疏小块的目标显示小块。

子步骤S2510，以目标显示小块对补偿后的稀疏小块进行像素替换。

在本实施例中，当所述计算机设备10确定出与某个完成颜色补偿操作的稀疏小块对应的目标显示小块后，会在所述待处理人脸图像中针对所述完成颜色补偿操作的稀疏小块，根据所述目标显示小块与所述完成颜色补偿操作的稀疏小块的像素映射关系，以所述目标显示小块中各像素点替换所述完成颜色补偿操作的稀疏小块中位置匹配的像素点。

在本实施例中，所述计算机设备10可通过执行子步骤S256～子步骤S2510，在完成颜色补偿操作的稀疏小块的基础上进行纹理填补操作，使完成纹理填补操作后的稀疏小块与匹配的目标浓密小块在头发颜色及头发纹理方面上的视觉效果均能保持一致。

请再次参照图2，步骤S260，在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的目标人脸图像。

在本实施例中，当所述计算机设备10在所述待处理人脸图像针对所有稀疏小块完成了颜色补偿操作及纹理填补操作后，此时处理后的人脸图像即为与所述待处理人脸图像对应的完成了头发稀疏区域自动化修补处理的目标人脸图像，此时的目标人脸图像中的头发区域将对应呈现出浓密头发效果，各部分头发区域在头发颜色及头发纹理方面的视觉效果更为自然，实现了从整体上增强图像美化效果的目的。

在本申请实施例中，所述计算机设备10通过执行上述人脸图像处理方法，实现对待处理人脸图像中指定头发稀疏区域的自动化修补操作，使修补后的指定头发稀疏区域与该待处理人脸图像中的指定头发浓密区域在头发颜色及头发纹理方面的视觉效果保持一致，增强整体的图像美化效果。

在本申请中，为确保所述计算机设备10所包括的人脸图像处理装置100能够正常实施，本申请通过对所述人脸图像处理装置100进行功能模块划分的方式实现其功能。下面对本申请提供的人脸图像处理装置100的具体组成进行相应描述。

请参照图6，图6是本申请实施例提供的人脸图像处理装置100的功能模块示意图。在本申请实施例中，所述人脸图像处理装置100包括像素聚类模块110、图像提取模块120、轮廓提取模块130、图像匹配模块140、补偿填补模块150及图像输出模块160。

像素聚类模块110，用于对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块。

图像提取模块120，用于对待处理人脸图像中指定头发浓密区域进行图像提取，得到对应的头发浓密区域图像。

轮廓提取模块130，用于对每个稀疏小块进行轮廓提取，得到每个稀疏小块的轮廓特征。

图像匹配模块140，用于针对每个稀疏小块，基于该稀疏小块的轮廓特征在头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块。

补偿填补模块150，用于针对每个稀疏小块，采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，并基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补。

图像输出模块160，用于在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的目标人脸图像。

需要说明的是，本申请实施例所提供的人脸图像处理装置100，其基本原理及产生的技术效果与前述应用于计算机设备10的人脸图像处理方法相同，为简要描述，本实施例部分未提及之处，可参考上述的针对人脸图像处理方法的描述内容。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机产品(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，在本申请实施例提供的一种人脸图像处理方法、装置、计算机设备及可读存储介质中，本申请通过对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块，并从该待处理人脸图像中提取出与指定头发浓密区域对应的头发浓密区域图像，而后提取出每个稀疏小块的轮廓特征，接着针对每个稀疏小块，基于该稀疏小块的轮廓特征在头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块，并采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，以及基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补，从而在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的完成自动化修补头发稀疏区域操作的目标人脸图像，使指定头发浓密区域与修补后的指定头发稀疏区域在头发颜色及头发纹理方面的视觉效果保持一致，提高整体的图像美化效果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种人脸图像处理方法，其特征在于，所述方法包括：

对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块；

对待处理人脸图像中指定头发浓密区域进行图像提取，得到对应的头发浓密区域图像；

对每个稀疏小块进行轮廓提取，得到每个稀疏小块的轮廓特征；

针对每个稀疏小块，基于该稀疏小块的轮廓特征在所述头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块；

针对每个稀疏小块，采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，并基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补；

在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的目标人脸图像；

其中，所述针对每个稀疏小块，基于该稀疏小块的轮廓特征在所述头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块，包括：

针对每个稀疏小块，构建与该稀疏小块的轮廓特征匹配的目标卷积核，其中所述轮廓特征包括对应稀疏小块的每个轮廓像素点的灰度值及每个轮廓像素点的像素位置；

以该目标卷积核对所述头发浓密区域图像所对应的灰度图像进行图像卷积，得到对应的目标卷积灰度图；

确定该目标卷积灰度图中灰度值最大的目标像素点，并确定该目标像素点在所述头发浓密区域图像对应的目标映射位置；

在所述头发浓密区域图像中以所述目标映射位置为图像中心并以该稀疏小块的轮廓范围为图像边界进行图像提取，得到与该稀疏小块匹配的目标浓密小块；

其中，所述构建与该稀疏小块的轮廓特征匹配的目标卷积核，包括：

构建尺寸大小为该稀疏小块的外接矩形的空白卷积核；

将该稀疏小块所对应的所有轮廓像素点的灰度值按照各自对应的像素位置填充到在该空白卷积核内，并将该空白卷积核的剩余填充位置处的卷积元素设置为0，得到与该稀疏小块的轮廓特征匹配的目标卷积核。

2.根据权利要求1所述的方法，其特征在于，所述采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，包括：

将相互匹配的目标浓密小块及稀疏小块进行YUV空间转换，并对目标浓密小块所对应的U通道数据及V通道数据进行二维直方图统计；

从统计得到的二维直方图中提取出出现频次大于0的多个UV组合，其中每个UV组合包括配对的一个U通道数据及一个V通道数据；

针对该稀疏小块中的每个像素点，计算该像素点所对应的目标UV值组合与每个UV组合之间的欧式距离，其中所述目标UV值组合包括对应像素点的原始U通道数值及原始V通道数值；

确定与所述目标UV值组合对应的欧式距离最小的参照UV组合，并以该参照UV组合对该目标UV值组合进行参数替换；

将该像素点的原始Y通道数值及参数替换后的目标UV值组合进行RGB空间转换，并以转换得到的目标RGB值组合替换该像素点的原始RGB值组合，其中所述目标RGB值组合包括经RGB空间转换得到的R通道数值、G通道数值及B通道数值，所述原始RGB值组合包括对应像素点的原始R通道数据、原始G通道数据及原始B通道数据。

3.根据权利要求2所述的方法，其特征在于，所述以该参照UV组合对该目标UV值组合进行参数替换，包括：

将该参照UV组合中的U通道数据与该目标UV值组合中的U通道数值进行比较，并在不同时，以该参照UV组合中的U通道数据替换该目标UV值组合中的U通道数值；

将该参照UV组合中的V通道数据与该目标UV值组合中的V通道数值进行比较，并在不同时，以该参照UV组合中的V通道数据替换该目标UV值组合中的V通道数值。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补，包括：

针对每个补偿后的稀疏小块，计算匹配的目标浓密小块中各像素点在R通道、G通道及B通道上的均值，得到第一RGB组合，并计算所述补偿后的稀疏小块中各像素点在R通道、G通道及B通道上的均值，得到第二RGB组合，其中所述第一RGB组合包括对应目标浓密小块的R通道数据均值、G通道数据均值及B通道数据均值，第二RGB组合包括对应补偿后的稀疏小块的R通道数值均值、G通道数值均值及B通道数值均值；

将所述目标浓密小块中各像素点与所述第一RGB组合在RGB三色通道上进行数值相减，得到第一反差小块，并将所述补偿后的稀疏小块中各像素点与所述第二RGB组合在RGB三色通道上进行数值相减，得到第二反差小块；

将所述第一反差小块与所述第二反差小块进行融合，得到对应的目标融合小块；

将目标融合小块中各像素点与所述第二RGB组合在RGB三色通道上进行数值相加，得到对应的目标显示小块；

以所述目标显示小块对所述补偿后的稀疏小块进行像素替换。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一反差小块与所述第二反差小块进行融合，得到对应的目标融合小块，包括：

针对第一反差小块中的每个第一像素点及第二反差小块中的每个第二像素点，将像素位置匹配的第一像素点及第二像素点各自的灰度值的绝对值进行比较；

若像素位置匹配的第二像素点的灰度值的绝对值大于对应第一像素点的灰度值的绝对值，则将该第二像素点作为目标融合小块中与该像素位置对应的像素点，否则将该第一像素点作为目标融合小块中与该像素位置对应的像素点。

6.一种人脸图像处理装置，其特征在于，所述装置包括：

像素聚类模块，用于对待处理人脸图像中指定头发稀疏区域进行像素聚类，得到对应的多个稀疏小块；

图像提取模块，用于对待处理人脸图像中指定头发浓密区域进行图像提取，得到对应的头发浓密区域图像；

轮廓提取模块，用于对每个稀疏小块进行轮廓提取，得到每个稀疏小块的轮廓特征；

图像匹配模块，用于针对每个稀疏小块，基于该稀疏小块的轮廓特征在所述头发浓密区域图像中确定与该稀疏小块匹配的目标浓密小块；

补偿填补模块，用于针对每个稀疏小块，采用匹配的目标浓密小块对该稀疏小块进行颜色补偿，并基于匹配的目标浓密小块对补偿后的该稀疏小块进行纹理填补；

图像输出模块，用于在完成对所有稀疏小块的纹理填补操作后，输出与待处理人脸图像对应的目标人脸图像；

其中，所述图像匹配模块具体用于：

针对每个稀疏小块，构建与该稀疏小块的轮廓特征匹配的目标卷积核，其中所述轮廓特征包括对应稀疏小块的每个轮廓像素点的灰度值及每个轮廓像素点的像素位置；

以该目标卷积核对所述头发浓密区域图像所对应的灰度图像进行图像卷积，得到对应的目标卷积灰度图；

确定该目标卷积灰度图中灰度值最大的目标像素点，并确定该目标像素点在所述头发浓密区域图像对应的目标映射位置；

在所述头发浓密区域图像中以所述目标映射位置为图像中心并以该稀疏小块的轮廓范围为图像边界进行图像提取，得到与该稀疏小块匹配的目标浓密小块；

其中，所述图像匹配模块构建与该稀疏小块的轮廓特征匹配的目标卷积核的方式，包括：

构建尺寸大小为该稀疏小块的外接矩形的空白卷积核；

将该稀疏小块所对应的所有轮廓像素点的灰度值按照各自对应的像素位置填充到在该空白卷积核内，并将该空白卷积核的剩余填充位置处的卷积元素设置为0，得到与该稀疏小块的轮廓特征匹配的目标卷积核。

7.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令，以实现权利要求1-5中任意一项所述的人脸图像处理方法。

8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-5中任意一项所述的人脸图像处理方法。

Images