CN112150387B - 对照片中的人像增强五官立体感的方法及装置 - Google Patents
对照片中的人像增强五官立体感的方法及装置 Download PDFInfo
- Publication number
- CN112150387B CN112150387B CN202011061334.1A CN202011061334A CN112150387B CN 112150387 B CN112150387 B CN 112150387B CN 202011061334 A CN202011061334 A CN 202011061334A CN 112150387 B CN112150387 B CN 112150387B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- characteristic
- original image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000697 sensory organ Anatomy 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 21
- 239000000463 material Substances 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 30
- 230000001815 facial effect Effects 0.000 claims description 65
- 238000010586 diagram Methods 0.000 claims description 27
- 239000012634 fragment Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 210000000056 organ Anatomy 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims 1
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明涉及一种对照片中的人像增强五官立体感的方法及装置，包括构建人脸检测模型；人脸检测模型用于接收输入的图像，并输出图像中的人脸信息；将人脸检测模型载入到移动客户端，利用移动客户端获取原始图像，并根据人脸信息，确定待处理信息；采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。本发明通过对图片中人像的五官进行识别，配合高光和阴影材质、自然贴合的算法，对图片中的人像自然增加光影对比，突出五官的立体感，以达到自然加强脸部五官立体感的美化调整，无需对图像中人脸五官进行改变。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种对照片中的人像增强五官立体感的方法及装置。
背景技术
随着移动终端应用的普及，用户获取人像的方式也日益迅捷，推动了用户对于人像图片的美化编辑需求日益高涨，对美化效果也愈发精细，需要对图片中的人像进行脸部优化、自然修饰，以此提升图片的美感、达到五官立体的效果。
相关技术中，用户可以通过对人像图像进行脸部优化处理，提升图片的美感、达到脸部五官更立体的效果。但是该类图片编辑类应用中，一方面都只能通过瘦脸、高鼻、大眼等直接调整重塑五官使其形变的方式来达到美化脸部、提升立体感的效果。这种方法效果生硬，痕迹明显，无法自然提升脸部的立体感，造成一种整容脸、僵硬假脸的效果感觉，非常的生硬和不自然。另一方面，用户无法通过改变脸部的光影结构来自然加强脸部的五官立体感。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种对照片中的人像增强五官立体感的方法及装置，以解决现有技术中对人像图像处理的效果生硬，痕迹明显，无法自然提升脸部的立体感的问题。
为实现以上目的，本发明采用如下技术方案：一种对照片中的人像增强五官立体感的方法，包括：
构建人脸检测模型；所述人脸检测模型用于接收输入的原始图像，并输出所述图像中的人脸信息；
将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；
采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；
根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
进一步的，所述人脸信息为人脸关键点坐标集；
所述人脸关键点坐标集包括：五官、脸部轮廓在图像中的二维坐标。
进一步的，所述根据所述原始图像，确定待处理信息，包括：
根据移动客户端中预设的特征脸谱素材图设定所述原始图像中的特征区域；
根据所述特征区域确定所述特征区域对应的特征脸谱纹理坐标集；其中，所述特征脸谱纹理坐标集中的二维坐标点个数与所述人脸关键点坐标集中的关键点个数一致且两两之间唯一对应。
所述特征脸谱纹理坐标集为待处理信息。
进一步的，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像，包括：
采用德洛内三角剖分算法计算所述原始图像中人脸关键点坐标集中点与点的连接关系，通过点与点的连接将人脸区域剖分成多个三角形区域；
将所述特征脸谱纹理坐标集作为纹理坐标组，将所述人脸关键点坐标集作为顶点坐标组，将三角剖分算法得到的点与点的连接关系作为顶点绘制顺序数据输入到顶点着色器，将所述特征脸谱素材图作为待采样的纹理图像输入到片段着色器；
对所述顶点着色器和片段着色器进行渲染，得到贴合原始图像中人脸区域的特征脸谱素材图即为第一图像。
进一步的，所述根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像，包括：
遍历所述原始图像中的每一个像素，确定所述第一图像中相同位置的像素所属特征区域；
根据所属特征区域采用预设的特征区域颜色校正查找表素材图对所述原始图像中的像素进行颜色校正；
对所述原始图像中的每个像素进行颜色校正后，输出具有五官立体效果的第二图像。
进一步的，所述对所述原始图像中的像素进行颜色校正，包括：
根据特征脸谱素材图中的像素的Alpha通道取值，确定颜色校正程度；其中，Alpha通道取值的取值范围为0-1，Alpha通道取值为1时，颜色校正程度取最大，Alpha通道取值为0时，颜色校正程度取最小。
进一步的，所述确定所述第一图像中相同位置的像素所属特征区域，包括：
将所述第一图像中相同位置的像素的RGB通道的取值与特征区域的预设的RGB通道的取值进行颜色相似性对比；
如果颜色相似性超过预设阈值，则确定所述第一图像中相同位置的像素属于对比的特征区域，否则不属于。
本申请实施例提供一种对照片中的人像增强五官立体感分析装置，包括：
所述贴合原始图像中的特征区域的个数与所述特征区域颜色校正查找表素材图的个数相同。
进一步的，采用颜色查找映射算法对原始图像中的像素进行颜色校正。
一种对照片中的人像增强五官立体感的装置，包括：
人脸检测模块，用于构建人脸检测模型；所述人脸检测模型用于接收输入的图像，并输出所述图像中的人脸信息；
获取模块，用于将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；
处理模块，用于将所述待处理的图像输入所述人脸检测模型中，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；
颜色校正模块，用于根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种对照片中的人像增强五官立体感的方法及装置，包括构建人脸检测模型；人脸检测模型用于接收输入的图像，并输出图像中的人脸信息；将人脸检测模型载入到移动客户端，利用移动客户端获取原始图像，并根据人脸信息，确定待处理信息；采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。本发明通过对图片中人像的五官进行识别，配合高光和阴影材质、自然贴合的算法，对图片中的人像自然增加光影对比，突出五官的立体感，以达到自然加强脸部五官立体感的美化调整。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明对照片中的人像增强五官立体感的方法的步骤示意图；
图2为本发明对照片中的人像增强五官立体感的方法的流程示意图；
图3为本发明提供的特征脸谱素材图；
图4为本发明提供的特征脸谱素材中脸部的眉毛示意图；
图5为本发明照片的特征脸谱素材中脸部的脸颊示意图；
图6为本发明照片的特征脸谱素材中脸部的额头示意图；
图7为本发明照片的特征脸谱素材中脸部的下巴示意图；
图8为本发明照片的特征脸谱素材中脸部的嘴巴示意图；
图9为本发明照片的特征脸谱素材中脸部的鼻子示意图；
图10为本发明对照片中的人像增强五官立体感分析装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的对照片中的人像增强五官立体感的方法及装置。
如图1所示，本申请实施例中提供的对照片中的人像增强五官立体感的方法包括：
S101，构建人脸检测模型；所述人脸检测模型用于接收输入的原始图像，并输出所述图像中的人脸信息；
人脸检测模型能够对输入的图像进行检测定位，当且仅当人脸检测模型检测定位到图像中的人脸关键点数据时，将人脸关键点数据进行特征脸谱贴合处理。所述人脸检测模型可接收输入的原始图像，输出原始图像中的人脸信息。
S102，将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；
将人脸检测模型载入到移动客户端，用户通过移动客户端拍摄图片，或者从移动客户端存储的图片库中获取图片作为原始图像，原始图像为通过移动客户端上的拍照类软件或图像类产品获得的人脸或人像二维图像。人脸检测模型接收输入的原始图像并输出原始图像中的人脸信息，根据人脸信息确定待处理信息。
其中，移动客户端为设有摄像头的终端，例如：移动客户端可以是手机、平板电脑等。
S103，将所述待处理信息输入所述人脸检测模型中，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像。
再次将待处理信息输入到人脸检测模型中，人脸检测模型对待处理信息利用预设的特征脸谱素材图进行处理，从而得到第一图像。
S104，根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
第一图像即是贴合原始图像中人脸区域的特征脸谱素材图，查找原始图像中的像素A对应的第一图像中相同位置的像素B所属的特征区域，从而找到该特征区域的特征区域颜色校正查找表素材图，根据特征区域颜色校正查找表素材图对原始图像中的像素进行颜色校正处理，从而实现对图片中的人像自然增加光影对比，突出五官的立体感，以达到自然加强脸部五官立体感的美化调整，从而输出具有五官立体效果的第二图像。
对照片中的人像增强五官立体感的方法的工作原理为：如图2所示，首先构建人脸检测模型，然后将人脸检测模型载入到移动客户端，用户可以通过移动客户端获取原始图像，原始图像为照片，人脸检测模型识别原始图像中的人脸信息，根据人脸信息确定待处理信息，并对待处理信息进行处理，得到贴合原始图像中人脸区域的特征脸谱素材图，根据贴合原始图像中人脸区域的特征脸谱素材图对原始图像进行颜色校正，得到具有五官立体效果的第二图像。
一些实施例中，所述人脸信息为人脸关键点坐标集；
所述人脸关键点坐标集包括：五官、脸部轮廓在图像中的二维坐标。
具体的，所述人脸信息为人脸关键点坐标集，人脸关键点坐标集包含五官，脸部轮廓等在图像中的二维坐标，关键点越稠密，后续特征脸谱贴合效果越精细，具体的人脸检测模型实现方式可根据需要采用合适的实现方案，关键点数量亦可根据需要灵活进行设定。
一些实施例中，所述根据所述原始图像，确定待处理信息，包括：
根据移动客户端中预设的特征脸谱素材图设定所述原始图像中的特征区域；
根据所述特征区域确定所述特征区域对应的特征脸谱纹理坐标集；其中，所述特征脸谱纹理坐标集中的二维坐标点个数与所述人脸关键点坐标集中的关键点个数一致且两两之间唯一对应。
所述特征脸谱纹理坐标集为待处理信息。
具体的，通过移动客户端拍照类软件或图像类产品获得的人脸或人像二维图像，如图3所示，移动客户端中预设有特征脸谱素材图，特征脸谱素材图可根据需要呈现效果不同而设定特征区域的数量，形状和位置。为了后续颜色校正效果更加自然，可以为特征区域设置渐变的透明度。如为了进行快速的全脸整体调整，则可以使用如图3的特征脸谱素材图。如希望达到五官精细化调整，则可以分别使用如图4至图9所示的特征脸谱素材图，分别对脸部的眉毛，脸颊，额头，下巴，嘴巴，鼻子进行调整。结合后续的流程，经过六次调整后，能达到相比全脸整体调整更精细的全脸效果。特征脸谱素材图对应有特征脸谱纹理坐标集，特征脸谱纹理坐标集中二维坐标点个数与人脸关键点坐标集中的关键点个数一致且两两之间唯一对应，即某一个纹理坐标唯一对应某一个关键点坐标。
一些实施例中，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像，包括：
采用德洛内三角剖分算法计算所述原始图像中人脸关键点坐标集中点与点的连接关系，通过点与点的连接将人脸区域剖分成多个三角形区域；
将所述特征脸谱纹理坐标集作为纹理坐标组，将所述人脸关键点坐标集作为顶点坐标组，将三角剖分算法得到的点与点的连接关系作为顶点绘制顺序数据输入到顶点着色器，将所述特征脸谱素材图作为待采样的纹理图像输入到片段着色器；
对所述顶点着色器和片段着色器进行渲染，得到贴合原始图像中人脸区域的特征脸谱素材图即为第一图像。
具体的，载入人脸检测模型输入的人脸关键点坐标集，使用三角剖分算法，计算出原始图像中人脸关键点坐标集中点与点的连接关系，通过有限的点与点的连接，把人脸区域部分剖分成若干个三角形区域。优选地，所述三角剖分算法采用德洛内三角剖分算法。把特征脸谱纹理坐标集作为纹理坐标组，人脸关键点坐标集作为顶点坐标组，把三角剖分算法得到的点与点的连接关系作为顶点绘制顺序数据输入到顶点着色器，把特征脸谱素材图作为待采样的纹理图像输入到片段着色器，待顶点着色器和片段着色器渲染完毕，即得到贴合原始图像中人脸区域的特征脸谱素材图，把贴合原始图像中人脸区域的特征脸谱素材图输出作为第一图像。
一些实施例中，所述根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像，包括：
遍历所述原始图像中的每一个像素，确定所述第一图像中相同位置的像素所属特征区域；
根据所属特征区域采用预设的特征区域颜色校正查找表素材图对所述原始图像中的像素进行颜色校正；
对所述原始图像中的每个像素进行颜色校正后，输出具有五官立体效果的第二图像。
优选的，所述确定所述第一图像中相同位置的像素所属特征区域，包括：
将所述第一图像中相同位置的像素的RGB通道的取值与特征区域的预设的RGB通道的取值进行颜色相似性对比；
如果颜色相似性超过预设阈值，则确定所述第一图像中相同位置的像素属于对比的特征区域，否则不属于。
具体的，移动客户端中预设有若干张特征区域颜色校正查找表素材图，贴合原始图像中人脸区域的特征脸谱素材图中有多少个特征区域就有多少张特征区域颜色校正查找表素材图。遍历原始图像中每一个像素A，判断位于贴合原始图像中人脸区域的特征脸谱素材图中相同位置的像素B所属特征区域，若像素B不属于任何特征区域则跳过不处理，如图3所示，人脸中的纯白区域则为非特征区域，否则，结合像素B所属特征区域对应的特征区域颜色校正查找表素材图，采用颜色查找映射算法对原始图像中对应的像素A进行颜色校正。例如：如图3中假设M区域为红色区域，N区域为绿色区域，红色区域对应的特征区域颜色校正查找表素材图与绿色区域对应的特征区域颜色校正查找表素材图不同。先判断像素B属于红色区域还是绿色区域，然后根据红色区域、绿色区域对应的特征区域颜色校正查找表素材图采用颜色查找映射算法分别对应原始图像中对应的像素A进行颜色校正。待原始图像中每一个像素遍历处理完毕，即得到具有五官立体效果的图像。
如假设贴合原始图像中人脸区域的特征脸谱素材图中分为三个特征区域，分别是特征区域RA，特征区域RB，特征区域RC。特征区域RA所对应的特征区域颜色校正查找表素材图为IMG_LUT_RA，特征区域RB所对应的特征区域颜色校正查找表素材图为IMG_LUT_RB，特征区域RC所对应的特征区域颜色校正查找表素材图为IMG_LUT_RC。若像素B均不属于RA、RB、RC特征区域内，则跳过不处理，否则，若像素B属于RA特征区域，则结合对应的特征区域颜色校正查找表素材图为IMG_LUT_RA，采用颜色查找映射算法对原始图像中对应的像素A进行颜色校正。若像素B属于RB特征区域，则结合对应的特征区域颜色校正查找表素材图为IMG_LUT_RB，采用颜色查找映射算法对原始图像中对应的像素A进行颜色校正。若像素B属于RC特征区域，则结合对应的特征区域颜色校正查找表素材图为IMG_LUT_RC，采用颜色查找映射算法对原始图像中对应的像素A进行颜色校正。
优选的，不同的特征区域间没有交集部分。
像素B是否属于某个特征区域，可以通过像素B的RGB通道的取值与制作特征脸谱素材图时为某个特征区域所预设的RGB通道的取值进行颜色相似性判断，若相似性超过预设阈值则认为像素B属于该特征区域。
优选的，所述对所述原始图像中的像素进行颜色校正，包括：
根据特征脸谱素材图中的像素的Alpha通道取值，确定颜色校正程度；其中，Alpha通道取值的取值范围为0-1，Alpha通道取值为1时，颜色校正程度取最大，Alpha通道取值为0时，颜色校正程度取最小。
根据像素B的透明度，即像素B的Alpha通道取值，取值范围为0-1，决定颜色校正程度P的大小，Alpha通道取值为1时，颜色校正程度P取最大，Alpha通道取值为0时，颜色校正程度取P最小，即P＝Alpha
优选地，可以额外增设一个校正程度缩放因子ratio，来进一步控制校正程度的取值范围。如ratio＝0.5，则P＝Alpha*ratio,此时P的取值范围为0-0.5。
优选的，所述贴合原始图像中的特征区域的个数与所述特征区域颜色校正查找表素材图的个数相同。
优选的，采用颜色查找映射算法对原始图像中的像素进行颜色校正。
本申请还提供一种对照片中的人像增强五官立体感的装置，如图10所示，包括：
人脸检测模块1001，用于构建人脸检测模型；所述人脸检测模型用于接收输入的图像，并输出所述图像中的人脸信息；
获取模块1002，用于将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；
处理模块1003，用于将所述待处理的图像输入所述人脸检测模型中，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；
颜色校正模块1004，用于根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
一种对照片中的人像增强五官立体感的装置的工作原理是，人脸检测模块1001构建人脸检测模型；所述人脸检测模型用于接收输入的图像，并输出所述图像中的人脸信息；获取模块1002将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；处理模块1003将所述待处理的图像输入所述人脸检测模型中，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；颜色校正模块1004根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的对照片中的人像增强五官立体感的方法；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种对照片中的人像增强五官立体感的方法及装置，通过使用人脸检测模型对原图中的人脸关键点坐标集进行检测，使用人脸关键点坐标集对预设的可高度自定义的特征脸谱素材图进行人脸贴合。然后对人脸中不同特征区域分别使用不同的颜色查找表素材图进行颜色校正，从而改变人脸脸部呈现的光影结构，无需对脸部的五官进行修改即可达到加强脸部的五官立体感的效果。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种对照片中的人像增强五官立体感的方法，其特征在于，包括：
构建人脸检测模型；所述人脸检测模型用于接收输入的原始图像，并输出所述图像中的人脸信息；其中，所述人脸信息为人脸关键点坐标集；所述人脸关键点坐标集包括：五官、脸部轮廓在图像中的二维坐标；
将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；其中，所述根据所述原始图像，确定待处理信息，包括：根据移动客户端中预设的特征脸谱素材图设定所述原始图像中的特征区域；根据所述特征区域确定所述特征区域对应的特征脸谱纹理坐标集；其中，所述特征脸谱纹理坐标集中的二维坐标点个数与所述人脸关键点坐标集中的关键点个数一致且两两之间唯一对应；所述特征脸谱纹理坐标集为待处理信息；
采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；
根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
2.根据权利要求1所述的方法，其特征在于，采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像，包括：
采用德洛内三角剖分算法计算所述原始图像中人脸关键点坐标集中点与点的连接关系，通过点与点的连接将人脸区域剖分成多个三角形区域；
将所述特征脸谱纹理坐标集作为纹理坐标组，将所述人脸关键点坐标集作为顶点坐标组，将三角剖分算法得到的点与点的连接关系作为顶点绘制顺序数据输入到顶点着色器，将所述特征脸谱素材图作为待采样的纹理图像输入到片段着色器；
对所述顶点着色器和片段着色器进行渲染，得到贴合原始图像中人脸区域的特征脸谱素材图即为第一图像。
3.根据权利要求2所述的方法，其特征在于，所述根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像，包括：
遍历所述原始图像中的每一个像素，确定所述第一图像中相同位置的像素所属特征区域；
根据所属特征区域采用预设的特征区域颜色校正查找表素材图对所述原始图像中的像素进行颜色校正；
对所述原始图像中的每个像素进行颜色校正后，输出具有五官立体效果的第二图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述原始图像中的像素进行颜色校正，包括：
根据特征脸谱素材图中的像素的Alpha通道取值，确定颜色校正程度；其中，Alpha通道取值的取值范围为0-1，Alpha通道取值为1时，颜色校正程度取最大，Alpha通道取值为0时，颜色校正程度取最小。
5.根据权利要求3所述的方法，其特征在于，所述确定所述第一图像中相同位置的像素所属特征区域，包括：
将所述第一图像中相同位置的像素的RGB通道的取值与特征区域的预设的RGB通道的取值进行颜色相似性对比；
如果颜色相似性超过预设阈值，则确定所述第一图像中相同位置的像素属于对比的特征区域，否则不属于。
6.根据权利要求3所述的方法，其特征在于，
贴合原始图像中的特征区域的个数与所述特征区域颜色校正查找表素材图的个数相同。
7.根据权利要求3所述的方法，其特征在于，
采用颜色查找映射算法对原始图像中的像素进行颜色校正。
8.一种对照片中的人像增强五官立体感的装置，其特征在于，包括：
人脸检测模块，用于构建人脸检测模型；所述人脸检测模型用于接收输入的图像，并输出所述图像中的人脸信息；其中，所述人脸信息为人脸关键点坐标集；所述人脸关键点坐标集包括：五官、脸部轮廓在图像中的二维坐标；
获取模块，用于将所述人脸检测模型载入到移动客户端，利用所述移动客户端获取原始图像，并根据所述人脸信息，确定待处理信息；具体用于根据移动客户端中预设的特征脸谱素材图设定所述原始图像中的特征区域；根据所述特征区域确定所述特征区域对应的特征脸谱纹理坐标集；其中，所述特征脸谱纹理坐标集中的二维坐标点个数与所述人脸关键点坐标集中的关键点个数一致且两两之间唯一对应；所述特征脸谱纹理坐标集为待处理信息；
处理模块，用于采用三角剖分算法对所述待处理信息进行计算处理，输出第一图像；
颜色校正模块，用于根据第一图像对原始图像进行颜色校正处理，输出具有五官立体效果的第二图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011061334.1A CN112150387B (zh) | 2020-09-30 | 2020-09-30 | 对照片中的人像增强五官立体感的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011061334.1A CN112150387B (zh) | 2020-09-30 | 2020-09-30 | 对照片中的人像增强五官立体感的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112150387A CN112150387A (zh) | 2020-12-29 |
| CN112150387B true CN112150387B (zh) | 2024-04-26 |
Family
ID=73951627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011061334.1A Active CN112150387B (zh) | 2020-09-30 | 2020-09-30 | 对照片中的人像增强五官立体感的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150387B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177878B (zh) * | 2021-04-28 | 2023-09-22 | 广州光锥元信息科技有限公司 | 基于图像变换实现美式漫画风格滤镜效果的方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102270308A (zh) * | 2011-07-21 | 2011-12-07 | 武汉大学 | 一种基于五官相关aam模型的面部特征定位方法 |
| CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
| CN103218775A (zh) * | 2013-05-13 | 2013-07-24 | 苏州华漫信息服务有限公司 | 一种人像照片变脸的方法 |
| CN103236066A (zh) * | 2013-05-10 | 2013-08-07 | 苏州华漫信息服务有限公司 | 一种基于人脸特征分析的虚拟试妆方法 |
| CN106296572A (zh) * | 2016-08-01 | 2017-01-04 | 南京信息工程大学 | 一种基于部件的人脸编辑与美化方法 |
| CN106952221A (zh) * | 2017-03-15 | 2017-07-14 | 中山大学 | 一种三维京剧脸谱自动化妆方法 |
| CN107833178A (zh) * | 2017-11-24 | 2018-03-23 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN108257084A (zh) * | 2018-02-12 | 2018-07-06 | 北京中视广信科技有限公司 | 一种基于移动端的轻量级人脸自动化妆方法 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| WO2020001014A1 (zh) * | 2018-06-28 | 2020-01-02 | 北京微播视界科技有限公司 | 图像美化方法、装置及电子设备 |
| CN111489311A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
| CN111563855A (zh) * | 2020-04-29 | 2020-08-21 | 百度在线网络技术（北京）有限公司 | 图像处理的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10911732B2 (en) * | 2019-01-14 | 2021-02-02 | Fyusion, Inc. | Free-viewpoint photorealistic view synthesis from casually captured video |
-
2020
- 2020-09-30 CN CN202011061334.1A patent/CN112150387B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102270308A (zh) * | 2011-07-21 | 2011-12-07 | 武汉大学 | 一种基于五官相关aam模型的面部特征定位方法 |
| CN102999929A (zh) * | 2012-11-08 | 2013-03-27 | 大连理工大学 | 一种基于三角网格化的人物图像瘦脸处理方法 |
| CN103236066A (zh) * | 2013-05-10 | 2013-08-07 | 苏州华漫信息服务有限公司 | 一种基于人脸特征分析的虚拟试妆方法 |
| CN103218775A (zh) * | 2013-05-13 | 2013-07-24 | 苏州华漫信息服务有限公司 | 一种人像照片变脸的方法 |
| CN106296572A (zh) * | 2016-08-01 | 2017-01-04 | 南京信息工程大学 | 一种基于部件的人脸编辑与美化方法 |
| CN106952221A (zh) * | 2017-03-15 | 2017-07-14 | 中山大学 | 一种三维京剧脸谱自动化妆方法 |
| CN107833178A (zh) * | 2017-11-24 | 2018-03-23 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN108257084A (zh) * | 2018-02-12 | 2018-07-06 | 北京中视广信科技有限公司 | 一种基于移动端的轻量级人脸自动化妆方法 |
| WO2020001014A1 (zh) * | 2018-06-28 | 2020-01-02 | 北京微播视界科技有限公司 | 图像美化方法、装置及电子设备 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN111489311A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
| CN111563855A (zh) * | 2020-04-29 | 2020-08-21 | 百度在线网络技术（北京）有限公司 | 图像处理的方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Computer analysis of face beauty: A survey;Aldo Laurentini 等;《Computer Vision and Image Understanding》;20140430;184-199 * |
| Semi-supervised Eye Makeup Transfer by Swapping Learned Representation;Feida Zhu 等;《ICCVW 2019》;20200305;1-10 * |
| 基于 SDM 及加权均值滤波的人脸美化系统;秦枫 等;《上海电力大学学报》;20200815;第36卷(第4期);374-378 * |
| 基于部件的人脸编辑与美化算法;蔡珍妮 等;《数据采集与处理》;20171115;第32卷(第6期);1125-1133 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112150387A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859098B (zh) | 人脸图像融合方法、装置、计算机设备及可读存储介质 | |
| CN109584151B (zh) | 人脸美化方法、装置、终端及存储介质 | |
| CN109829930B (zh) | 人脸图像处理方法、装置、计算机设备及可读存储介质 | |
| US9639914B2 (en) | Portrait deformation method and apparatus | |
| US20200058153A1 (en) | Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media | |
| CN108805090B (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
| US20170116771A1 (en) | 3d model rendering method and apparatus and terminal device | |
| CN111127591B (zh) | 图像染发处理方法、装置、终端和存储介质 | |
| CN112288665B (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| CN106570909B (zh) | 一种肤色检测方法、装置及终端 | |
| CN110503599B (zh) | 图像处理方法和装置 | |
| EP3992919A1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US20200058171A1 (en) | Methods and Devices for Replacing Expression, and Computer Readable Storage Media | |
| KR20130020684A (ko) | 화상 변형 장치, 전자 기기, 화상 변형 방법, 화상 변형 프로그램, 및 그 프로그램을 기록한 기록 매체 | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN109859299B (zh) | 人像图片处理方法、装置、计算机可读存储介质和计算机设备 | |
| KR20200107957A (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
| CN111861868B (zh) | 用于视频中人像美化的图像处理方法及装置 | |
| WO2018082388A1 (zh) | 一种肤色检测方法、装置及终端 | |
| CN111489322A (zh) | 给静态图片加天空滤镜的方法及装置 | |
| CN113327316A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN112150387B (zh) | 对照片中的人像增强五官立体感的方法及装置 | |
| CN111462205A (zh) | 图像数据的变形、直播方法、装置、电子设备和存储介质 | |
| CN111652795A (zh) | 脸型的调整、直播方法、装置、电子设备和存储介质 | |
| CN110730303B (zh) | 图像染发处理方法、装置、终端和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |