CN114820340A - 基于图像处理的唇纹去除方法、系统、设备及存储介质 - Google Patents
基于图像处理的唇纹去除方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114820340A CN114820340A CN202210237993.9A CN202210237993A CN114820340A CN 114820340 A CN114820340 A CN 114820340A CN 202210237993 A CN202210237993 A CN 202210237993A CN 114820340 A CN114820340 A CN 114820340A
- Authority
- CN
- China
- Prior art keywords
- lip
- image
- gradient
- wrinkle
- highlight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000037303 wrinkles Effects 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 230000008439 repair process Effects 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 5
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 210000003462 vein Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及基于图像处理的唇纹去除方法、系统、设备及存储介质。该方法包括：获取待修图的原始图像，基于唇部关键点的外包围盒裁剪得到唇部图像；对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；将所述唇部图像划分为若干相同尺寸的梯度块，并进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图，并对所述结果图进行局部高光恢复，得到高光恢复后的最终图像。本发明实现了在去除唇纹的同时保持唇彩的质感。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于图像处理的唇纹去除方法、系统、设备及存储介质。
背景技术
在摄影编辑行业中，人工修图在处理皱纹时，多采用高低频和中性灰的修图方式，需要手动对纹路进行一一涂抹。不同于其他脸部皱纹，唇纹由于嘴巴区域小，纹路细，操作十分复杂繁琐。同时，许多场景下唇部涂有不同材质的口红(例如：哑光、水光)，想要在去除唇纹的同时保持唇彩的质感也非常困难。
目前越来越多的端到端智能修图方案正在替代传统的人工修图方式，在修图处理时通过采用皱纹祛除方法，该方法多针对皮肤区域的皱纹，没有对唇纹进行处理，导致市场上缺乏可以自动检测并去除唇纹的修图解决方案。
发明内容
为解决目前的修图方式存在无法去除唇纹的同时保持唇彩的质感的弊端问题，本发明提供了一种基于图像处理的唇纹去除方法、系统、设备及存储介质，对检测的唇纹区域处理以将唇纹去除，并且能够保留唇部的颜色、纹理质感、光影特征，去除效果自然。
本发明采用以下技术方案实现：
一种基于图像处理的唇纹去除方法，包括以下步骤：
获取待修图的原始图像，基于唇部关键点的外包围盒裁剪得到唇部图像；
对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；
计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；
对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图，并对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
作为本发明的进一步方案，所述基于唇部关键点的外包围盒裁剪得到唇部图像之前，还包括计算唇部关键点的外包围盒，所述计算唇部关键点的外包围盒的方法为：
根据人脸检测得到原始图像中的人脸关键点；
遍历所述人脸关键点，通过索引查找唇部的关键点集；
将唇部的关键点集中顶点组成矩形框即为唇部关键点的外包围盒。
其中，所述顶点包括所述唇部的关键点集的x坐标和y坐标上的最大、最小值，包括：点(xmin，ymin)、点(xmax，ymin)、点(xmin，ymax)、点(xmax，ymax)。
作为本发明的进一步方案，划分的每个梯度块的尺寸为所述唇部图像的尺寸等比例划分，在计算所述唇部图像梯度时，梯度用来衡量相邻像素的像素值变化量，像素点(x,y)处的梯度值G(x,y)的大小为：
G(x,y)＝sqrt(Gx(x,y)2+Gy(x,y)2)
其中，Gx和Gy分别表示像素点(x,y)在x方向和y方向的梯度值。
作为本发明的进一步方案，根据所述唇纹蒙版对划分的梯度块进行唇纹标记的方法，包括：
获取划分的若干相同尺寸的梯度块，每个梯度块对应唇部图像以及唇纹蒙板图中相同位置的像素块；
逐一判断每个梯度块，若梯度块对应唇纹蒙板图的像素块中若存在像素值大于0，即存在唇纹，该梯度块标记为修复区域；
若梯度块中不存在被检测为唇纹的像素点，则该梯度块为无皱纹区域。
作为本发明的进一步方案，采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块时，采用在未标记的且满足筛选条件的无唇纹区域梯度块中随机选择的方式进行替换。这样在一定程度上可以确保同一未标记梯度块不被频繁使用，避免修复后出现重复纹理，造成视觉上的不真实的问题。
作为本发明的进一步方案，所有待修复区域的梯度块替换完毕后，对唇部图像进行泊松重建，得到唇纹去除图像；
对所述唇纹去除图像和唇部图像分别进行一次相同半径的中值滤波，得到滤波后的所述唇纹去除图像和唇部图像的低频特征图，并计算得到所述唇纹去除图像和唇部图像的高频特征图；
将所述唇纹去除图像和唇部图像的低频特征图与高频特征图融合得到保留原图的颜色特征信息的结果图。
作为本发明的进一步方案，对所述结果图进行局部高光恢复的方法，包括：
对所述唇部图像进行高斯滤波将滤波后图像比唇部图像暗的像素值置为255，其他区域的像素值置为0，得到高光区域蒙版图像；
对高光区域蒙版图像进行连通域检测并分类，依据长宽比将连通域标记为唇纹区域和高光区域，在高光区域内基于所述唇部图像计算高光特征混合图；
将高光特征混合图以柔光混合模式与保留原图的颜色特征信息的结果图混合，得到高光恢复后的图像，作为最终图像。
本发明还包括一种基于图像处理的唇纹去除系统，所述基于图像处理的唇纹去除系统采用前述基于图像处理的唇纹去除方法对唇纹去除并保持唇彩的质感，所述基于图像处理的唇纹去除系统包括唇纹检测模块、唇纹去除模块、原图特征保留模块和局部高光恢复模块。
唇纹检测模块，用于对获取的待修图的原始图像裁剪得到唇部图像，对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；
唇纹去除模块，用于计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；
原图特征保留模块，用于对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图；以及
局部高光恢复模块，用于对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
本发明还包括一种唇纹去除设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于图像处理的唇纹去除方法的步骤。
本发明还包括一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现基于图像处理的唇纹去除方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明的基于图像处理的唇纹去除方法、系统、设备及存储介质，利用随机选择的满足筛选条件且未标记的梯度块替换修复区域对应的梯度块，泊松重建后得到唇纹去除图像，在通过中值滤波处理后既去除了唇纹，又保留了原图的颜色特征信息，而且，为了更好地维持原图唇部的材质，还进行局部高光恢复，去除分布在唇纹周围的细长的高光，保留唇彩质地和环境光照产生的高光，得到高光恢复后的图像，实现了在去除唇纹的同时保持唇彩的质感，相对于传统的人工修图方式，极大地提升了图像处理的工作效率和唇纹精修的质量。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例的一种基于图像处理的唇纹去除方法的流程图。
图2为本发明实施例的一种基于图像处理的唇纹去除方法中原图与最终结果图的效果对比示意图。
图3为本发明实施例的一种基于图像处理的唇纹去除方法中进行局部高光恢复的流程图。
图4为本发明实施例的一种基于图像处理的唇纹去除方法中原图与局部高光恢复后的效果示意图。
图5为本发明实施例的一种基于图像处理的唇纹去除系统的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于图像处理的唇纹去除方法、系统、设备及存储介质，利用创新的唇纹处理方法对图像处理，在去除唇纹的同时保持唇彩的质感，相对于传统的人工修图方式，极大地提升了图像处理的工作效率和唇纹精修的质量。
以下将结合具体实施例加以说明。
如图1所示，本发明的一个实施例提供一种基于图像处理的唇纹去除方法，该方法对唇纹去除并保持唇彩的质感，该方法主要包括唇纹去除、原图特诊保留和局部高光恢复三部分，具体包括如下步骤：
S1、获取待修图的原始图像，基于唇部关键点的外包围盒裁剪得到唇部图像。
在本实施例中，所述基于唇部关键点的外包围盒裁剪得到唇部图像之前，还包括计算唇部关键点的外包围盒，所述计算唇部关键点的外包围盒的方法为：
根据人脸检测得到原始图像中的人脸关键点；
遍历所述人脸关键点，通过索引查找唇部的关键点集；
将唇部的关键点集中顶点组成矩形框即为唇部关键点的外包围盒。
其中，在处理唇纹区域时，为优化算法处理耗时，首先根据人脸点关键点，计算唇部关键点的外包围盒，基于外包围盒裁剪得到唇部图像Io。
其中，外包围盒为遍历人脸关键点，分别取其x坐标和y坐标上的最大、最小值：xmax、xmin、ymax、ymin；即：所述顶点包括所述唇部的关键点集的x坐标和y坐标上的最大、最小值。
由点(xmin，ymin)、点(xmax，ymin)、点(xmin，ymax)、点(xmax，ymax)组成的矩形框即为唇部关键点的外包围盒。
S2、对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版。
在本实施例中，唇部分割采用基于深度学习的图像分割方案，在此不再赘述，所述单通道的唇纹蒙版中单通道用于标记是否是唇纹，对于单个像素来说，该单通道图像像素值在0～255之间，大于0则表示其为唇纹，且值越大唇纹深度越深。
S3、计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像。
在本实施例中，计算唇部图像Io梯度，并将其划分为若干个相同尺寸梯度块。为更好地表征纹理信息，每个梯度块的尺寸需要根据图像尺寸计算得到。在本实施例中，采用块尺寸＝min(图像宽,图像高)/15.0进行计算。
具体的，划分的每个梯度块的尺寸为所述唇部图像的尺寸等比例划分，在计算所述唇部图像梯度时，梯度用来衡量相邻像素的像素值变化量，像素点(x,y)处的梯度值G(x,y)的大小为：
G(x,y)＝sqrt(Gx(x,y)2+Gy(x,y)2)
其中，Gx和Gy分别表示像素点(x,y)在x方向和y方向的梯度值。
对于离散的二维图像，用差分来近似梯度：
Gx(x,y)＝I(x+1,y)-(x-1,y)
Gy(x,y)＝I(x,y+1)-I(x,y-1)
其中I(x,y)为图像在(x,y)坐标的像素值。
在本实施例中，对于标记为修复区域对应的梯度块，在其他未标记的梯度块中搜索替换修复区域的梯度块。即用唇部无皱纹区域的梯度，替换修复区域的梯度块。所有待修复区域的梯度块替换完毕后，对图像进行泊松重建，得到唇纹去除图像Ir1。
在本实施例中，根据所述唇纹蒙版对划分的梯度块进行唇纹标记的方法，包括：
获取划分的若干相同尺寸的梯度块，每个梯度块对应唇部图像以及唇纹蒙板图中相同位置的像素块；
逐一判断每个梯度块，若梯度块对应唇纹蒙板图的像素块中若存在像素值大于0，即存在唇纹，该梯度块标记为修复区域；
若梯度块中不存在被检测为唇纹的像素点，则该梯度块为无皱纹区域。
在进行唇纹标记时，得到唇纹蒙板和完成梯度块的划分后，开始对梯度块进行标记。若唇部图像Io宽高为w，h，梯度块尺寸为s*s，m＝w/s，n＝h/s，梯度图像被划分为m*n个s*s的块。每个s*s的块对应唇部图像Io以及唇纹蒙板图中相同位置的像素块。梯度块对应唇纹蒙板图的像素块中若存在像素值大于0，即存在唇纹，则将该梯度块标记为修复区域。对应地，若梯度块中不存在被检测为唇纹的像素点，则该梯度块为无皱纹区域。、
在本实施例中，采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块时，采用在未标记的且满足筛选条件的无唇纹区域梯度块中随机选择的方式进行替换。这样在一定程度上可以确保同一未标记梯度块不被频繁使用，避免修复后出现重复纹理，造成视觉上的不真实的问题。
在本实施例中，泊松重建作为一种图像融合/图像修复的常见方法，目的是将源图像区域g，插入目标图像S中的ROI区域。要做到这一点，其实就是需要在ROI区域内，目标图像的梯度和源图像一致，而在区域边缘，目标图像则维持其原本的梯度不变，求解泊松方程后得到的图像，在视觉上，源图像和目标图像就可以自然、无缝地融合到一起。本发明中，待修复区域的梯度被替换为无皱纹区域的梯度。进行泊松重建后，能够得到唇纹去除图像Ir1。
S4、对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图，并对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
在本实施例中，进行泊松重建后的唇纹去除图像Ir1，唇纹得到了去除，但此时唇部颜色和光影特征往往与原图有很大差异。因此，本申请引入中值滤波处理，可以较好地分离图像的低频信息和高频信息。
所有待修复区域的梯度块替换完毕后，对唇部图像进行泊松重建，得到唇纹去除图像；
对所述唇纹去除图像和唇部图像分别进行一次相同半径的中值滤波，得到滤波后的所述唇纹去除图像和唇部图像的低频特征图，并计算得到所述唇纹去除图像和唇部图像的高频特征图；
将所述唇纹去除图像和唇部图像的低频特征图与高频特征图融合得到保留原图的颜色特征信息的结果图。
在本实施例中，对唇部图像Io和唇纹去除图像Ir1分别进行一次相同半径的中值滤波，滤波后的结果为唇部图像Io的低频特征图Io_low和唇纹去除图像Ir1的低频特征图Ir1_low，计算得到唇部图像Io和唇纹去除图像Ir1的高频特征图：Io_high＝Io-Io_low,Ir1_high＝Ir-Ir1_low。然后用唇部图像Io的低频特征图加上唇纹去除图像Ir1的高频特征图，得到的结果图Ir2＝Io_low+Ir1_high既去除了唇纹，又保留了原图的颜色特征信息。
为了更好地维持原图唇部的材质，对结果图Ir2进行局部高光恢复。在本实施例中，唇部高光一般分为两类：一种是唇纹导致的局部光影变化，这类高光形态一般为细长的，分布在唇纹周围，是需要进行去除的；另一种是由于唇彩质地和环境光照产生的高光，这类高光形态上多为块状，需要保留，如图2所示，原图与局部高光恢复后的最终图像结果对比，局部高光恢复后最终图像在去除唇纹的同时保持唇彩的质感。
如图3所示，对所述结果图进行局部高光恢复的方法，包括：
S401、对所述唇部图像进行高斯滤波将滤波后图像比唇部图像暗的像素值置为255，其他区域的像素值置为0，得到高光区域蒙版图像；
S402、对高光区域蒙版图像进行连通域检测并分类，依据长宽比将连通域标记为唇纹区域和高光区域，在高光区域内基于所述唇部图像计算高光特征混合图；
S403、将高光特征混合图以柔光混合模式与保留原图的颜色特征信息的结果图混合，得到高光恢复后的图像，作为最终图像。
在本实施例中，高光恢复流程如下：
A.首先对原图进行高斯滤波，将滤波后图像比唇部图像Io暗的像素值置为255，其他区域的像素值置为0，得到高光区域蒙版图像Hmask。
B.然后对蒙版区域图像进行连通域检测，对连通域进行分类，长宽比较大的区域标记为唇纹，长宽比接近或小于1:1的连通域标记为高光区域。在高光区域内，基于唇部图像Io计算高光特征混合图。
C.将高光特征混合图以柔光混合模式与保留原图的颜色特征信息的结果图Ir2混合，得到高光恢复后的图像Ir3，即为唇纹去除的最终结果图。
参见图4所示，原图与局部高光恢复后的最终图像结果对比，局部高光恢复后最终图像在去除唇纹的同时保持唇彩的质感。
其中，局部高光恢复主要通过形态与面积来判断：唇纹导致的局部光影变化一般比较细长，而且面积较小：长宽比大于一定值或面积小于一定值，即判定为由唇纹导致的高光。
连通域检测时，首先对图像进行二值化，将大于0的像素置为255，等于0的像素不变。然后将值相同且相邻的像素点标记为一个连通域。其中，相邻的定义：一般分为4领域和8领域，4领域为像素点上、下、左、右的点；8领域为像素上、下、左、右、左上、右上、左下、右下的点。本发明中将像素8领域的点定义为相邻点。
在本实施例中，高光特征混合图H：对于位于(x,y)处的像素点，若有Hmask(x,y)>0，则根据以下公式计算：
若Hmask(x,y)<＝0,H(x,y)＝127.5。
本发明可以自动、快速地去除唇纹，且能够保留唇部的颜色、纹理质感、光影特征，去除效果自然。可以利用随机选择的满足筛选条件且未标记的梯度块替换修复区域对应的梯度块，泊松重建后得到唇纹去除图像，在通过中值滤波处理后既去除了唇纹，又保留了原图的颜色特征信息，而且，为了更好地维持原图唇部的材质，还进行局部高光恢复，去除分布在唇纹周围的细长的高光，保留唇彩质地和环境光照产生的高光，得到高光恢复后的图像，实现了在去除唇纹的同时保持唇彩的质感，相对于传统的人工修图方式，极大地提升了图像处理的工作效率和唇纹精修的质量。
如图5所示，在本发明的又一实施例提供了一种基于图像处理的唇纹去除系统，对唇纹去除并保持唇彩的质感，该系统包括唇纹检测模块100、唇纹去除模块200、原图特征保留模块300和局部高光恢复模块400。
所述唇纹检测模块100，用于对获取的待修图的原始图像裁剪得到唇部图像，对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版。
在本实施例中，所述唇纹检测模块100在处理唇纹区域时，为优化算法处理耗时，首先根据人脸点关键点，计算唇部关键点的外包围盒，基于外包围盒裁剪得到唇部图像Io。
其中，外包围盒为遍历人脸关键点，分别取其x坐标和y坐标上的最大、最小值：xmax、xmin、ymax、ymin，由点(xmin，ymin)、点(xmax，ymin)、点(xmin，ymax)、点(xmax，ymax)组成的矩形框即为唇部关键点的外包围盒。
所述唇纹去除模块200，用于计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像。
在本实施例中，所述唇纹去除模块200在计算唇部图像Io梯度，并将其划分为若干个相同尺寸梯度块时。每个梯度块的尺寸需要根据图像尺寸计算得到。在本实施例中，采用块尺寸＝min(图像宽,图像高)/15.0进行计算。
对于标记为修复区域对应的梯度块，在其他未标记的梯度块中搜索替换修复区域的梯度块。即用唇部无皱纹区域的梯度，替换修复区域的梯度块。所有待修复区域的梯度块替换完毕后，对图像进行泊松重建，得到唇纹去除图像Ir1。
在本实施例中，所述唇纹去除模块200在根据所述唇纹蒙版对划分的梯度块进行唇纹标记时，获取划分的若干相同尺寸的梯度块，每个梯度块对应唇部图像以及唇纹蒙板图中相同位置的像素块；逐一判断每个梯度块，若梯度块对应唇纹蒙板图的像素块中若存在像素值大于0，即存在唇纹，该梯度块标记为修复区域；若梯度块中不存在被检测为唇纹的像素点，则该梯度块为无皱纹区域。
在本实施例中，采用在未标记的且满足筛选条件的无唇纹区域梯度块中随机选择的方式进行替换。这样在一定程度上可以确保同一未标记梯度块不被频繁使用，避免修复后出现重复纹理，造成视觉上的不真实的问题。
所述原图特征保留模块300，用于对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图。
对唇部图像Io和唇纹去除图像Ir1分别进行一次相同半径的中值滤波，滤波后的结果为唇部图像Io的低频特征图Io_low和唇纹去除图像Ir1的低频特征图Ir1_low，计算得到唇部图像Io和唇纹去除图像Ir1的高频特征图：Io_high＝Io-Io_low,Ir1_high＝Ir-Ir1_low。然后用唇部图像Io的低频特征图加上唇纹去除图像Ir1的高频特征图，得到的结果图Ir2＝Io_low+Ir1_high既去除了唇纹，又保留了原图的颜色特征信息。
所述局部高光恢复模块400，用于对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
在本实施例中，所述局部高光恢复模块400对所述结果图进行局部高光恢复的方法为：
对所述唇部图像进行高斯滤波将滤波后图像比唇部图像暗的像素值置为255，其他区域的像素值置为0，得到高光区域蒙版图像；
对高光区域蒙版图像进行连通域检测并分类，依据长宽比将连通域标记为唇纹区域和高光区域，在高光区域内基于所述唇部图像计算高光特征混合图；
将高光特征混合图以柔光混合模式与保留原图的颜色特征信息的结果图混合，得到高光恢复后的图像，作为最终图像。
其中，基于图像处理的唇纹去除系统在执行时采用如前述实施例的一种基于图像处理的唇纹去除方法的步骤，因此，本实施例中对基于图像处理的唇纹去除系统的运行过程不再详细介绍。
在本发明的一个实施例中提供了一种唇纹去除设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤：
获取待修图的原始图像，基于唇部关键点的外包围盒裁剪得到唇部图像；
对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；
计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；
对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图，并对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
在本发明的又一实施例中提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤：
获取待修图的原始图像，基于唇部关键点的外包围盒裁剪得到唇部图像；
对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；
计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；
对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图，并对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明的基于图像处理的唇纹去除方法、系统、设备及存储介质，利用随机选择的满足筛选条件且未标记的梯度块替换修复区域对应的梯度块，泊松重建后得到唇纹去除图像，在通过中值滤波处理后既去除了唇纹，又保留了原图的颜色特征信息，而且，为了更好地维持原图唇部的材质，还进行局部高光恢复，去除分布在唇纹周围的细长的高光，保留唇彩质地和环境光照产生的高光，得到高光恢复后的图像，实现了在去除唇纹的同时保持唇彩的质感，相对于传统的人工修图方式，极大地提升了图像处理的工作效率和唇纹精修的质量。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像处理的唇纹去除方法，其特征在于，包括以下步骤：
获取待修图的原始图像，基于唇部关键点的外包围盒裁剪得到唇部图像；
对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；
计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；
对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图，并对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
2.如权利要求1所述的基于图像处理的唇纹去除方法，其特征在于：所述基于唇部关键点的外包围盒裁剪得到唇部图像之前，还包括计算唇部关键点的外包围盒，所述计算唇部关键点的外包围盒的方法为：
根据人脸检测得到原始图像中的人脸关键点；
遍历所述人脸关键点，通过索引查找唇部的关键点集；
将唇部的关键点集中顶点组成矩形框即为唇部关键点的外包围盒。
3.如权利要求2所述的基于图像处理的唇纹去除方法，其特征在于：划分的每个梯度块的尺寸为所述唇部图像的尺寸等比例划分，在计算所述唇部图像梯度时，梯度用来衡量相邻像素的像素值变化量，像素点(x,y)处的梯度值G(x,y)的大小为：
G(x,y)＝sqrt(Gx(x,y)2+Gy(x,y)2)
其中，Gx和Gy分别表示像素点(x,y)在x方向和y方向的梯度值。
4.如权利要求3所述的基于图像处理的唇纹去除方法，其特征在于：根据所述唇纹蒙版对划分的梯度块进行唇纹标记的方法，包括：
获取划分的若干相同尺寸的梯度块，每个梯度块对应唇部图像以及唇纹蒙板图中相同位置的像素块；
逐一判断每个梯度块，若梯度块对应唇纹蒙板图的像素块中若存在像素值大于0，即存在唇纹，该梯度块标记为修复区域；
若梯度块中不存在被检测为唇纹的像素点，则该梯度块为无皱纹区域。
5.如权利要求4所述的基于图像处理的唇纹去除方法，其特征在于：采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块时，采用在未标记的且满足筛选条件的无唇纹区域梯度块中随机选择的方式进行替换。
6.如权利要求5所述的基于图像处理的唇纹去除方法，其特征在于：所有待修复区域的梯度块替换完毕后，对唇部图像进行泊松重建，得到唇纹去除图像；
对所述唇纹去除图像和唇部图像分别进行一次相同半径的中值滤波，得到滤波后的所述唇纹去除图像和唇部图像的低频特征图，并计算得到所述唇纹去除图像和唇部图像的高频特征图；
将所述唇纹去除图像和唇部图像的低频特征图与高频特征图融合得到保留原图的颜色特征信息的结果图。
7.如权利要求6所述的基于图像处理的唇纹去除方法，其特征在于：对所述结果图进行局部高光恢复的方法，包括：
对所述唇部图像进行高斯滤波将滤波后图像比唇部图像暗的像素值置为255，其他区域的像素值置为0，得到高光区域蒙版图像；
对高光区域蒙版图像进行连通域检测并分类，依据长宽比将连通域标记为唇纹区域和高光区域，在高光区域内基于所述唇部图像计算高光特征混合图；
将高光特征混合图以柔光混合模式与保留原图的颜色特征信息的结果图混合，得到高光恢复后的图像，作为最终图像。
8.一种基于图像处理的唇纹去除系统，其特征在于：所述基于图像处理的唇纹去除系统采用权利要求1-7中任意一项所述基于图像处理的唇纹去除方法对唇纹去除并保持唇彩的质感；所述基于图像处理的唇纹去除系统包括：
唇纹检测模块，用于对获取的待修图的原始图像裁剪得到唇部图像，对获取的原始图像进行唇部分割，得到标记唇部区域的蒙版图像，在蒙版图像范围内进行唇纹检测，得到单通道的唇纹蒙版；
唇纹去除模块，用于计算所述唇部图像梯度，将所述唇部图像划分为若干相同尺寸的梯度块，并根据所述唇纹蒙版对划分的梯度块进行唇纹标记；采用无唇纹区域梯度块替换标记有唇纹的修复区域的梯度块，泊松重建后得到唇纹去除图像；
原图特征保留模块，用于对所述唇部图像和唇纹去除图像进行中值滤波，得到保留原图的颜色特征信息的结果图；
局部高光恢复模块，用于对所述结果图进行局部高光恢复，去除唇纹导致的局部光影变化，保留高光区域，得到高光恢复后的最终图像。
9.一种唇纹去除设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210237993.9A CN114820340A (zh) | 2022-03-10 | 2022-03-10 | 基于图像处理的唇纹去除方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210237993.9A CN114820340A (zh) | 2022-03-10 | 2022-03-10 | 基于图像处理的唇纹去除方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820340A true CN114820340A (zh) | 2022-07-29 |
Family
ID=82528228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210237993.9A Pending CN114820340A (zh) | 2022-03-10 | 2022-03-10 | 基于图像处理的唇纹去除方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820340A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245754A (zh) * | 2022-12-29 | 2023-06-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| WO2024156287A1 (zh) * | 2023-01-29 | 2024-08-02 | 厦门美图之家科技有限公司 | 一种人像视频皱纹祛除方法、装置以及设备 |
-
2022
- 2022-03-10 CN CN202210237993.9A patent/CN114820340A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245754A (zh) * | 2022-12-29 | 2023-06-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN116245754B (zh) * | 2022-12-29 | 2024-01-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| WO2024156287A1 (zh) * | 2023-01-29 | 2024-08-02 | 厦门美图之家科技有限公司 | 一种人像视频皱纹祛除方法、装置以及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114820340A (zh) | 基于图像处理的唇纹去除方法、系统、设备及存储介质 | |
| US7305127B2 (en) | Detection and manipulation of shadows in an image or series of images | |
| US6160923A (en) | User directed dust and compact anomaly remover from digital images | |
| JP6448065B2 (ja) | 画像処理システム、画像処理方法及び画像処理プログラム | |
| CN105825494A (zh) | 一种图像处理方法及移动终端 | |
| Xiao et al. | Multi-focus image fusion based on depth extraction with inhomogeneous diffusion equation | |
| CN104899844A (zh) | 一种图像去雾方法及装置 | |
| Xu et al. | Structure-aware window optimization for texture filtering | |
| CN116342589B (zh) | 一种跨视场划痕缺陷连续性检测方法和系统 | |
| CN110473295B (zh) | 一种基于三维人脸模型进行美颜处理的方法和设备 | |
| JP2003256834A (ja) | 顔領域抽出及び顔構成要素位置判定装置 | |
| CN116363097A (zh) | 一种光伏板的缺陷检测方法及系统 | |
| CN114596213A (zh) | 一种图像处理方法及装置 | |
| CN116228569A (zh) | 一种用于保留结构及平衡亮度的低质量焊接图像增强方法 | |
| Bangham et al. | The Art of Scale-Space. | |
| WO2021135676A1 (zh) | 一种拍照背景虚化方法、移动终端及存储介质 | |
| CN111738934B (zh) | 基于mtcnn的红眼自动修复方法 | |
| Kurihara et al. | Low-light image enhancement via adaptive shape and texture prior | |
| Guo et al. | Fast Defogging and Restoration Assessment Approach to Road Scene Images*. | |
| JP2005141523A (ja) | 画像処理方法 | |
| Qu et al. | LEUGAN: low-light image enhancement by unsupervised generative attentional networks | |
| Kuo et al. | An improved exemplar-based image repairing algorithm | |
| Xu et al. | A dehazing algorithm based on local adaptive template for transmission estimation and refinement | |
| CN117474921B (zh) | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 | |
| CN109949245A (zh) | 十字激光检测定位方法、装置、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |