CN111861868A - 用于视频中人像美化的图像处理方法及装置 - Google Patents

用于视频中人像美化的图像处理方法及装置 Download PDF

Info

Publication number
CN111861868A
CN111861868A CN202010681774.0A CN202010681774A CN111861868A CN 111861868 A CN111861868 A CN 111861868A CN 202010681774 A CN202010681774 A CN 202010681774A CN 111861868 A CN111861868 A CN 111861868A
Authority
CN
China
Prior art keywords
video
image
face
dimensional coordinate
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010681774.0A
Other languages
English (en)
Other versions
CN111861868B (zh
Inventor
林青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangzhuiyuan Information Technology Co ltd
Original Assignee
Guangzhou Guangzhuiyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Guangzhuiyuan Information Technology Co ltd filed Critical Guangzhou Guangzhuiyuan Information Technology Co ltd
Priority to CN202010681774.0A priority Critical patent/CN111861868B/zh
Publication of CN111861868A publication Critical patent/CN111861868A/zh
Application granted granted Critical
Publication of CN111861868B publication Critical patent/CN111861868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于视频中人像美化的图像处理方法及装置，包括获取视频并对视频进行解码处理，得到视频每一帧的帧图像；通过移动客户端中预设的第一神经网络模型和第二神经网络模型对帧图像进行检测定位并输出定位信息；根据定位信息进行脸部处理和/或身材处理，得到处理后的图像；利用视频编码器和视频合成器对处理后的图像进行处理，输出优化后的视频。本发明通过对视频进行解码得到视频帧图像数据，结合第一神经网络模型和第二神经网络模型检测定位到视频帧图像中的人脸和人体关键点信息，通过人脸和人体关键点信息进行人脸和身体的优化处理，达到对视频中人像进行美化的效果，并最终导出经过人像脸部和身材优化的视频。

Description

用于视频中人像美化的图像处理方法及装置
技术领域
本发明属于图像处理技术领域，具体涉及一种用于视频中人像美化的图像处理方法及装置。
背景技术
由于移动终端应用的日益广泛，用户获取人像视频的方式也愈加便捷，用户对于人像视频的编辑要求越来越高，除了视频裁剪和剪辑、添加滤镜和特效进行画面的美化外，用户还需要对视频中的人像进行脸部优化、身材优化处理，以此提升视频美感。
相关技术中，在现有的这类视频拍摄、编辑和美化应用中，如果想对脸部进行美化，只能在实时拍摄中，通过实时识别脸部，来进行瘦脸、大眼等调整，达到美化脸部的效果，但无法针对身材进行实时的修改。另一方面，通过录像设备或者手机拍摄的视频，这类应用无法进行后期人脸和身材的编辑，达不到后期对视频中的人像进行美化的效果。因此，现有技术中无法达到针对视频中人像进行美化的效果。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种用于视频中人像美化的图像处理方法及装置，以解决现有技术中无法针对视频中人像进行美化的问题。
为实现以上目的，本发明采用如下技术方案：一种用于视频中人像美化的图像处理方法，包括：
获取视频并对视频进行解码处理，得到所述视频每一帧的帧图像；
通过所述移动客户端中预设的第一神经网络模型和第二神经网络模型对所述帧图像进行检测定位并输出定位信息；其中，所述第一神经网络模型用于接收输入图像，并输出所述输入图像中的人脸信息，所述第二神经网络模型用于接收输入图像，并输出所述输入图像中的人体信息；
根据所述定位信息进行脸部处理和/或身材处理，得到处理后的图像；
利用视频编码器和视频合成器对所述处理后的图像进行处理，输出优化后的视频。
进一步的，所述定位信息包括：人脸信息和人体信息；
所述人脸信息包括：人脸关键点数据，所述人脸关键点数据包括五官、脸部轮廓在图像中的二维坐标；
所述人体信息包括：人体关键点数据，所述人体关键点数据包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝在图像中的二维坐标。
进一步的，所述脸部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人脸关键点数据，获取待操作的二维坐标点p；其中，所述待操作的二维坐标点包括多个；
在片段着色器中预设形变操作：p1＝F(p，o，t，r，w)；
当接收到形变操作指令时，计算左瞳孔和右瞳孔的欧氏距离、参考点；
根据所述左瞳孔和右瞳孔的欧氏距离和参考点在所述片段着色器中对待操作的二维坐标点进行形变操作处理，得到处理后的二维坐标点p2＝F(p，LKx，E1，L，w)，将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点；
输出处理后的帧图像；
其中，p1为操作后二维坐标点；o为形变操作的原点；t为形变操作的目标点；r为形变半径；w为形变程度；p2为处理后的二维坐标点；LKx为脸部轮廓点，其中，LKx的x为变量；L为左瞳孔和右瞳孔的欧氏距离；E1为参考点。
进一步的，所述身材处理，包括：
腰部处理和腿部处理。
进一步的，所述腰部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人体关键点数据，获取待操作的二维坐标点p；其中，所述待操作的二维坐标点包括多个；
在片段着色器中预设形变操作：p1＝F(p，o，t，r，w)；
当接收到形变操作指令时，计算肩部和的髋部欧氏距离、左肩和右肩的水平距离、腰部参考线纵坐标、左腰参考点和右腰参考点；
在片段着色器中，根据肩部和的髋部欧氏距离、左肩和右肩的水平距离、腰部参考线纵坐标、左腰参考点和右腰参考点对待操作的二维坐标点进行形变操作处理，得到处理后的二维坐标点：
P3＝F(p，E3，(E3+E4)*0.5，LSS*0.5，w)；
P4＝F(p3，E4，(E3+E4)*0.5，LSS*0.5，w)；
将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点；
输出处理后的帧图像；
其中，p4为处理后的二维坐标点，LSS为左肩和右肩的水平距离，E3为左腰参考点，E4为右腰参考点。
进一步的，所述腿部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人体关键点数据，获取待操作的二维坐标点p；其中，所述待操作的二维坐标点包括多个；
在片段着色器中预设拉伸操作：
当接收到拉伸操作指令时，计算上腹部参考线纵坐标、髋部优化后的参考线纵坐标、左膝到视频帧图像底部的距离；
在片段着色器中，根据所述计算上腹部参考线纵坐标、髋部优化后的参考线纵坐标、左膝到视频帧图像底部的距离对待操作的二维坐标点进行拉伸操作处理，得到处理后的二维坐标点：
将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点；
输出处理后的帧图像。
进一步的，所述利用视频编码器和视频合成器对所述处理后的图像进行处理，输出优化后的视频，包括：
创建一个视频文件、一个视频编码器、一个视频合成器；
通过所述视频编码器对处理后的图像的纹理数据进行编码，得到视频编码数据；
利用所述视频合成器将所述视频编码数据合成到所述视频文件中并导出，得到优化后的视频。
进一步的，所述视频为通过移动客户端摄像头拍摄的视频或所述移动客户端中存储的视频。
本申请实施例提供一种用于视频中人像美化的图像处理装置，包括：
获取模块，用于获取视频并对视频进行解码处理，得到所述视频每一帧的帧图像；
检测定位模块，用于通过所述移动客户端中预设的第一神经网络模型和第二神经网络模型对所述帧图像进行检测定位并输出定位信息；其中，所述第一神经网络模型用于接收输入图像，并输出所述输入图像中的人脸信息，所述第二神经网络模型用于接收输入图像，并输出所述输入图像中的人体信息；
处理模块，用于根据所述定位信息进行脸部处理和/或身材处理，得到处理后的图像；
输出模块，用于利用视频编码器和视频合成器对所述处理后的图像进行处理，输出优化后的视频。
进一步的，所述定位信息包括：人脸信息和人体信息；
所述人脸信息包括：人脸关键点数据，所述人脸关键点数据包括五官、脸部轮廓在图像中的二维坐标；
所述人体信息包括：人体关键点数据，所述人体关键点数据包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝在图像中的二维坐标。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种用于视频中人像美化的图像处理方法，通过对视频进行解码得到视频帧图像数据，结合第一神经网络模型和第二神经网络模型检测定位到视频帧图像中的人脸和人体关键点信息，通过人脸和人体关键点信息进行人脸和身体的优化处理，达到对视频中人像进行美化的效果，并最终导出经过人像脸部和身材优化的视频。本申请通过对视频中脸部、人体进行识别，配合瘦身、长腿和瘦脸的算法，以达到对视频中的人像进行脸部和身体的美化调整。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明用于视频中人像美化的图像处理方法的步骤示意图；
图2为本发明用于视频中人像美化的图像处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的用于视频中人像美化的图像处理方法。
如图1所示，本申请实施例中提供的用于视频中人像美化的图像处理方法包括：
S101，获取视频并对视频进行解码处理，得到视频每一帧的帧图像；；
移动客户端通过摄像头拍摄视频，或者移动客户端中存储的视频，移动客户端首先获取视频，然后对视频进行解码处理，得到连续的帧图像。
S102，通过移动客户端中预设的第一神经网络模型和第二神经网络模型对帧图像进行检测定位并输出定位信息；其中，第一神经网络模型用于接收输入图像，并输出输入图像中的人脸信息，第二神经网络模型用于接收输入图像，并输出输入图像中的人体信息；
本申请中，首先在移动客户端中预设第一神经网络模型和第二神经网络模型，然后对第一神经网络模型进行训练，获取多张含有完整人脸的图像作为训练图像对移动客户端中预设的第一神经网络模型进行训练。第一神经网络模型可接收输入图像，输出图像中的人脸信息。对第一神经网络模型进行训练，获取多张含有完整人体的图像作为训练图像对移动客户端中预设的第二神经网络模型进行训练。第二神经网络模型可接收输入图像，输出图像中的人体信息。
第一神经网络模型对视频每一帧的图像数据，使用第一神经网络模型进行检测定位，当且仅当第一神经网络模型检测定位到图像中的人脸关键点数据时，将人脸关键点数据进行脸部优化处理。
第二神经网络模型对视频每一帧的图像数据，使用第二神经网络模型进行检测定位，当且仅当第二神经网络模型检测定位到图像中的人体关键点数据时，将人体关键点数据进行身材优化处理。
S103，对定位信息进行脸部处理和/或身材处理，得到处理后的图像；
本申请可根据定位信息进行相应处理，如果检测定位到脸部信息，则对脸部信息进行脸部处理，如果检测定位到身材信息，则对身材信息进行身材处理。本申请可进行脸部处理、身材处理中的一种或多种。
S104，利用视频编码器和视频合成器对处理后的图像进行处理，输出优化后的视频。
将优化处理后得到的帧图像，进行合成为视频，输出优化后的视频。
用于视频中人像美化的图像处理方法的工作原理为：本发明通过对视频进行解码得到视频帧图像数据，结合第一神经网络模型和第二神经网络模型检测定位到视频帧图像中的人脸和人体关键点信息，通过人脸和人体关键点信息进行人脸和身体的优化处理，达到对视频中人像进行美化的效果，并最终导出经过人像脸部和身材优化的视频。
本申请通过对视频中脸部、人体进行识别，配合瘦身、长腿和瘦脸的算法，以达到对视频中的人像进行脸部和身体的美化调整。
一些实施例中，定位信息包括：人脸信息和人体信息；
人脸信息包括：人脸关键点数据，人脸关键点数据包括五官、脸部轮廓在图像中的二维坐标；
人体信息包括：人体关键点数据，人体关键点数据包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝在图像中的二维坐标。
需要说明的是，本申请中的人脸关键点数据和人体关键点数据不仅包括上述数据，还可以包括其他关键点数据，具体可根据用户需要进行设定。
一些实施例中，脸部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人脸关键点数据，获取待操作的二维坐标点p；其中，待操作的二维坐标点包括多个；
在片段着色器中预设形变操作：p1＝F(p，o，t，r，w)；
当接收到形变操作指令时，计算左瞳孔和右瞳孔的欧氏距离、参考点；
根据左瞳孔和右瞳孔的欧氏距离和参考点在片段着色器中对待操作的二维坐标点进行形变操作处理，得到处理后的二维坐标点p2＝F(p，LKx，E1，L，w)，将处理后的二维坐标点作为从帧图像中采样的二维坐标点；
输出处理后的帧图像；
其中，p1为操作后二维坐标点；o为形变操作的原点；t为形变操作的目标点；r为形变半径；w为形变程度；p2为处理后的二维坐标点；LKx为脸部轮廓点，其中，LKx的x为变量；L为左瞳孔和右瞳孔的欧氏距离；E1为参考点。
具体的，本申请中对脸部处理的具体步骤如下：
在片段着色器中定义一个形变操作p1＝F(p，o，t，r，w)，p为视频帧图像上待操作的二维坐标点，o为形变操作的原点，t为形变操作的目标点，r为形变半径，w为形变程度，程度越大形变效果越明显，则有形变操作公式：
p1＝F(p，o，t，r，w)
＝p-(t-o)*w*clamp(1.0-sqrt((p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y))/r，0.0，1.0)；
其中clamp为将第一个输入参数值限定在第二个输入参数值和第三个输入参数值之间的操作，sqrt为开平方计算操作。
当且仅当存在人脸关键点数据输入时，为着色器程序设置顶点坐标组，纹理坐标组，当前视频帧图像，当前人脸关键点数据，否则，跳过脸部优化处理步骤，进入身材优化处理步骤。
计算左瞳孔和右瞳孔的欧氏距离，
L＝sqrt((A1.x-B1.x)*(A1.x-B1.x)+(A1.y-B1.y)*(A1.y-B1.y))
其中，A1.x为检测定位到的左瞳孔关键点的横坐标值；A1.y为检测定位到的左瞳孔关键点的纵坐标值；B1.x为检测定位到的右瞳孔关键点的横坐标值；B1.y为检测定位到的右瞳孔关键点的纵坐标值；sqrt为开平方计算操作。
计算参考点E1，E1＝(A2+B2)*0.5，
其中，A2为检测定位到的鼻子关键点二维坐标，B2为检测定位到的下颚关键点二维坐标。
在片段着色器中，遍历每一个二维坐标点点坐标p，进行以下形变操作：
对于N个脸部轮廓点LKx＝LK0，LK1，LK2....LKN，均采用p2＝F(p，LKx，E1，L，w)，LKx的x是一个变量的概念，假如脸部轮廓点有5个，则脸部轮廓点分别是LK0，LK1，LK2，LK3，LK4；
对于p，则有5次操作：
pa＝F(p，LK0，E1，L，w)；
pb＝F(pa，LK1，E1，L，w)；
pc＝F(pb，LK2，E1，L，w)；
pd＝F(pc，LK3，E1，L，w)；
pe＝F(pd，LK4，E1，L，w)；
最后得到，p＝pe；也就是说，p经过5次形变操作后得到。其中所述的F的运算公式为F(p，o，t，r，w)
＝p-(t-o)*w*clamp(1.0-sqrt((p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y))/r，0.0，1.0)；
形变操作完毕后将p作为该二维坐标点实际从视频帧图像中采样的二维坐标点；
则gl_FragColor＝texture2D(uTexture，p)；
其中uTexture为视频帧图像纹理，gl_FragColor和texture2D均为OpenGL着色器语言中定义的操作和概念。
当所有二维坐标点遍历完成后，则得到脸部优化后的视频帧图像。
一些实施例中，身材处理，包括：
腰部处理和腿部处理。
具体的，身材优化处理分为腰部优化处理和腿部优化处理，处理流程中，先将视频帧图像和人体信息输入腰部优化处理，得到腰部优化后的视频帧图像，再将腰部优化后的视频帧图像和人体信息输入腿部优化处理，最终得到身材优化后的视频帧图像。
一些实施例中，腰部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人体关键点数据，获取待操作的二维坐标点p；其中，待操作的二维坐标点包括多个；
在片段着色器中预设形变操作：p1＝F(p，o，t，r，w)；
当接收到形变操作指令时，计算肩部和的髋部欧氏距离、左肩和右肩的水平距离、腰部参考线纵坐标、左腰参考点和右腰参考点；
在片段着色器中，根据肩部和的髋部欧氏距离、左肩和右肩的水平距离、腰部参考线纵坐标、左腰参考点和右腰参考点对待操作的二维坐标点进行形变操作处理，得到处理后的二维坐标点：
P3＝F(p，E3，(E3+E4)*0.5，LSS*0.5，w)；
P4＝F(p3，E4，(E3+E4)*0.5，LSS*0.5，w)；
将处理后的二维坐标点作为从帧图像中采样的二维坐标点；输出处理后的帧图像；
其中，p4为处理后的二维坐标点，LSS为左肩和右肩的水平距离，E3为左腰参考点，E4为右腰参考点。
具体的，腰部处理的具体步骤为：
在片段着色器中定义一个形变操作p1＝F(p，o，t，r，w)，p为视频帧图像上待操作的二维坐标点，o为形变操作的原点，t为形变操作的目标点，r为形变半径，w为形变程度，程度越大形变效果越明显，则有形变公式：
p1＝F(p，o，t，r，w)
＝p-(t-o)*w*clamp(1.0-sqrt((p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y))/r，0.0，1.0)；
其中，clamp为将第一个输入参数值限定在第二个输入参数值和第三个输入参数值之间的操作，sqrt为开平方计算操作。
当且仅当存在人体关键点数据输入时，为着色器程序设置顶点坐标组，纹理坐标组，当前视频帧图像，当前人体关键点数据，否则，跳过腰部处理步骤，进入视频编码步骤。
计算肩部和的髋部欧氏距离；
LSH＝sqrt((A3.x-B3.x)*(A3.x-B3.x)+(A3.y-B3.y)*(A3.y-B3.y))
其中，A3.x为检测定位到的左肩关键点的横坐标值，A3.y为检测定位到的左肩关键点的纵坐标值，B3.x为检测定位到的左髋关键点的横坐标值，B3.y为检测定位到的左髋关键点的纵坐标值，sqrt为开平方计算操作。
计算左肩和右肩的水平距离，LSS＝A4.x-A3.x；
其中，A3.x为检测定位到的左肩关键点的横坐标值，A4.x为检测定位到的右肩关键点的横坐标值。
计算腰部参考线纵坐标，E2＝0.5*(B3.y+B4.y)+LSS*0.4；
其中，B3.y为检测定位到的左髋关键点的纵坐标值，B4.y为检测定位到的右髋关键点的纵坐标值。
计算左腰参考点E3和右腰参考点E4，E3＝(B3.x，E2)；E4＝(B4.x，E2)
其中，B3.x为检测定位到的左髋关键点的横坐标值，B4.x为检测定位到的右髋关键点的横坐标值。
在片段着色器中，遍历每一个二维坐标点点坐标p，进行以下形变操作：
P3＝F(p，E3，(E3+E4)*0.5，LSS*0.5，w)，
P4＝F(p3，E4，(E3+E4)*0.5，LSS*0.5，w)，
p＝P4；
也就是说此处对于p经过形变操作后得到p3，然后p3再次进行形变操作得到p4，最后将p更新为p4。其中所述F的表达式为F(p，o，t，r，w)
＝p-(t-o)*w*clamp(1.0-sqrt((p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y))/r，0.0，1.0)；
形变操作完毕后将p作为该二维坐标点实际从视频帧图像中采样的二维坐标点，则gl_FragColor＝texture2D(uTexture，p)；
其中uTexture为视频帧图像纹理，gl_FragColor和texture2D均为OpenGL着色器语言中定义的操作和概念。
当所有二维坐标点遍历完成后，则得到腰部优化后的视频帧图像。
一些实施例中，腿部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人体关键点数据，获取待操作的二维坐标点p；其中，待操作的二维坐标点包括多个；
在片段着色器中预设拉伸操作：
当接收到拉伸操作指令时，计算上腹部参考线纵坐标、髋部优化后的参考线纵坐标、左膝到视频帧图像底部的距离；
在片段着色器中，根据计算上腹部参考线纵坐标、髋部优化后的参考线纵坐标、左膝到视频帧图像底部的距离对待操作的二维坐标点进行拉伸操作处理，得到处理后的二维坐标点：
将处理后的二维坐标点作为从帧图像中采样的二维坐标点；
输出处理后的帧图像。
具体的，腿部处理的具体流程为；
在片段着色器中定义一个拉伸操作remap(x，a，b，c，d)＝mix(c，d，(x-a)/(b-a))，其中mix为OpenGL着色器语言中定义的线性混合计算，x为待处理的数值，x>＝a且x<＝b且b>a，通过remap可得到一个新的值x1，x1>＝c且x1<＝d且d>c，运算方式为x1＝mix(c，d，(x-a)/(b-a))。
当且仅当存在人体关键点数据输入时，为着色器程序设置顶点坐标组，纹理坐标组，当前视频帧图像，当前人体关键点数据，否则，跳过腿部优化单元，进入视频编码模块。
计算上腹部参考线纵坐标YE1，YE1＝B3.y-LSH*0.4；
计算髋部优化后的参考线纵坐标YE2；YE2＝B3.y-LSH*w，其中需保证YE2<YE1；
计算左膝到视频帧图像底部的距离YE3，YE3＝height-C1.y
其中，height为视频帧图像的高度，C1.y为检测定位到的左膝关键点的纵坐标值。
在片段着色器中，遍历每一个像素点坐标p，进行以下拉伸操作：
当YE1小于等于0或YE2小于等于0或YE3小于等于height/20，则不进行拉伸操作，p.y维持不变；
当p.y小于等于YE1时，
p.y＝remap(p.y，0.0，YE1，0.0，YE1/height)；
当p.y大于YE1小于等于YE2时，
p.y＝remap(p.y，YE1，YE2，YE1/height，YE2/height)；
当p.y大于YE2小于等于左膝关键点纵坐标C1.y时，
p.y＝remap(p.y，YE2，C1.y，YE2/height，C1.y/height)；
当p.y大于左膝关键点纵坐标C1.y时，
p.y＝remap(p.y，C1.y，height，C1.y/height，max(1.0-(YE3*0.15/height)*w，C1.y/height))
其中p.y为像素点坐标p的纵坐标，w为拉伸程度，程度越大，拉伸效果越明显。
拉伸操作完毕后将p作为该像素坐标点实际从视频帧图像中采样的像素坐标点，则gl_FragColor＝texture2D(uTexture，p)；
其中uTexture为视频帧图像纹理，gl_FragColor和texture2D均为OpenGL着色器语言中定义的操作和概念。
当所有像素遍历完成后，则得到腿部优化后的视频帧图像。
一些实施例中，利用视频编码器和视频合成器对处理后的图像进行处理，输出优化后的视频，包括：
创建一个视频文件、一个视频编码器、一个视频合成器；
通过视频编码器对处理后的图像的纹理数据进行编码，得到视频编码数据；
利用视频合成器将视频编码数据合成到视频文件中并导出，得到优化后的视频。
具体的，创建一个视频文件、一个视频编码器和一个视频合成器；
在身材优化处理每次渲染完毕后，通过视频编码器对纹理数据进行编码，得到视频编码数据；
利用视频合成器将视频编码数据合成到视频文件中并导出，得到脸部和身材优化效果视频。
优选的，视频为通过移动客户端摄像头拍摄的视频或移动客户端中存储的视频。
一些实施例中，如图2所示，本申请提供一种用于视频中人像美化的图像处理装置，包括：
获取模块201，用于获取视频并对视频进行解码处理，得到视频每一帧的帧图像；
检测定位模块202，用于通过移动客户端中预设的第一神经网络模型和第二神经网络模型对帧图像进行检测定位并输出定位信息；其中，第一神经网络模型用于接收输入图像，并输出输入图像中的人脸信息，第二神经网络模型用于接收输入图像，并输出输入图像中的人体信息；
处理模块203，用于对定位信息进行脸部处理和/或身材处理，得到处理后的图像；
输出模块204，用于利用视频编码器和视频合成器对处理后的图像进行处理，输出优化后的视频。
本申请提供的用于视频中人像美化的图像处理装置的工作原理为，获取模块201获取视频并对视频进行解码处理，得到视频每一帧的帧图像；检测定位模块202通过移动客户端中预设的第一神经网络模型和第二神经网络模型对帧图像进行检测定位并输出定位信息；其中，第一神经网络模型用于接收输入图像，并输出输入图像中的人脸信息，第二神经网络模型用于接收输入图像，并输出输入图像中的人体信息；处理模块203对定位信息进行脸部处理和/或身材处理，得到处理后的图像；输出模块204利用视频编码器和视频合成器对处理后的图像进行处理，输出优化后的视频。
优选的，定位信息包括：人脸信息和人体信息；
人脸信息包括：人脸关键点数据，人脸关键点数据包括五官、脸部轮廓在图像中的二维坐标；
人体信息包括：人体关键点数据，人体关键点数据包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝在图像中的二维坐标。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的用于视频中人像美化的图像处理方法；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种用于视频中人像美化的图像处理方法及装置，包括获取视频并对视频进行解码处理，得到视频每一帧的帧图像；通过移动客户端中预设的第一神经网络模型和第二神经网络模型对帧图像进行检测定位并输出定位信息；对定位信息进行脸部处理和/或身材处理，得到处理后的图像；利用视频编码器和视频合成器对处理后的图像进行处理，输出优化后的视频。本发明通过对视频进行解码得到视频帧图像数据，结合第一神经网络模型和第二神经网络模型检测定位到视频帧图像中的人脸和人体关键点信息，通过人脸和人体关键点信息进行人脸和身体的优化处理，达到对视频中人像进行美化的效果，并最终导出经过人像脸部和身材优化的视频。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种用于视频中人像美化的图像处理方法，其特征在于，包括：
获取视频并对视频进行解码处理，得到所述视频每一帧的帧图像；
通过所述移动客户端中预设的第一神经网络模型和第二神经网络模型对所述帧图像进行检测定位并输出定位信息；其中，所述第一神经网络模型用于接收输入图像，并输出所述输入图像中的人脸信息，所述第二神经网络模型用于接收输入图像，并输出所述输入图像中的人体信息；
根据所述定位信息进行脸部处理和/或身材处理，得到处理后的图像；
利用视频编码器和视频合成器对所述处理后的图像进行处理，输出优化后的视频。
2.根据权利要求1所述的方法，其特征在于，所述定位信息包括：人脸信息和人体信息；
所述人脸信息包括：人脸关键点数据，所述人脸关键点数据包括五官、脸部轮廓在图像中的二维坐标；
所述人体信息包括：人体关键点数据，所述人体关键点数据包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝在图像中的二维坐标。
3.根据权利要求2所述的方法，其特征在于，所述脸部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人脸关键点数据，获取待操作的二维坐标点p；其中，所述待操作的二维坐标点包括多个；
在片段着色器中预设形变操作：p1＝F(p，o，t，r，w)；
当接收到形变操作指令时，计算左瞳孔和右瞳孔的欧氏距离、参考点；
根据所述左瞳孔和右瞳孔的欧氏距离和参考点在所述片段着色器中对待操作的二维坐标点进行形变操作处理，得到处理后的二维坐标点p2＝F(p，LKx，E1，L，w)，将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点；
输出处理后的帧图像；
其中，p1为操作后二维坐标点；o为形变操作的原点；t为形变操作的目标点；r为形变半径；w为形变程度；p2为处理后的二维坐标点；LKx为脸部轮廓点，其中，LKx的x为变量；L为左瞳孔和右瞳孔的欧氏距离；E1为参考点。
4.根据权利要求2所述的方法，其特征在于，所述身材处理，包括：
腰部处理和腿部处理。
5.根据权利要求4所述的方法，其特征在于，所述腰部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人体关键点数据，获取待操作的二维坐标点p；其中，所述待操作的二维坐标点包括多个；
在片段着色器中预设形变操作：p1＝F(p，o，t，r，w)；
当接收到形变操作指令时，计算肩部和的髋部欧氏距离、左肩和右肩的水平距离、腰部参考线纵坐标、左腰参考点和右腰参考点；
在片段着色器中，根据肩部和的髋部欧氏距离、左肩和右肩的水平距离、腰部参考线纵坐标、左腰参考点和右腰参考点对待操作的二维坐标点进行形变操作处理，得到处理后的二维坐标点：
P3＝F(p，E3，(E3+E4)*0.5，LSS*0.5，w)；
P4＝F(p3，E4，(E3+E4)*0.5，LSS*0.5，w)；
将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点；
输出处理后的帧图像；
其中，p4为处理后的二维坐标点，LSS为左肩和右肩的水平距离，E3为左腰参考点，E4为右腰参考点。
6.根据权利要求4所述的方法，其特征在于，所述腿部处理，包括：
在片段着色器设置顶点坐标组，纹理坐标组，当前视频帧图像，人体关键点数据，获取待操作的二维坐标点p；其中，所述待操作的二维坐标点包括多个；
在片段着色器中预设拉伸操作：
当接收到拉伸操作指令时，计算上腹部参考线纵坐标、髋部优化后的参考线纵坐标、左膝到视频帧图像底部的距离；
在片段着色器中，根据所述计算上腹部参考线纵坐标、髋部优化后的参考线纵坐标、左膝到视频帧图像底部的距离对待操作的二维坐标点进行拉伸操作处理，得到处理后的二维坐标点：
将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点；
输出处理后的帧图像。
7.根据权利要求1所述的方法，其特征在于，所述利用视频编码器和视频合成器对所述处理后的图像进行处理，输出优化后的视频，包括：
创建一个视频文件、一个视频编码器、一个视频合成器；
通过所述视频编码器对处理后的图像的纹理数据进行编码，得到视频编码数据；
利用所述视频合成器将所述视频编码数据合成到所述视频文件中并导出，得到优化后的视频。
8.根据权利要求1所述的方法，其特征在于，
所述视频为通过移动客户端摄像头拍摄的视频或所述移动客户端中存储的视频。
9.一种用于视频中人像美化的图像处理装置，其特征在于，包括：
获取模块，用于获取视频并对视频进行解码处理，得到所述视频每一帧的帧图像；
检测定位模块，用于通过所述移动客户端中预设的第一神经网络模型和第二神经网络模型对所述帧图像进行检测定位并输出定位信息；其中，所述第一神经网络模型用于接收输入图像，并输出所述输入图像中的人脸信息，所述第二神经网络模型用于接收输入图像，并输出所述输入图像中的人体信息；
处理模块，用于根据所述定位信息进行脸部处理和/或身材处理，得到处理后的图像；
输出模块，用于利用视频编码器和视频合成器对所述处理后的图像进行处理，输出优化后的视频。
10.根据权利要求9所述的装置，其特征在于，
所述定位信息包括：人脸信息和人体信息；
所述人脸信息包括：人脸关键点数据，所述人脸关键点数据包括五官、脸部轮廓在图像中的二维坐标；
所述人体信息包括：人体关键点数据，所述人体关键点数据包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝在图像中的二维坐标。
CN202010681774.0A 2020-07-15 2020-07-15 用于视频中人像美化的图像处理方法及装置 Active CN111861868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010681774.0A CN111861868B (zh) 2020-07-15 2020-07-15 用于视频中人像美化的图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010681774.0A CN111861868B (zh) 2020-07-15 2020-07-15 用于视频中人像美化的图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN111861868A true CN111861868A (zh) 2020-10-30
CN111861868B CN111861868B (zh) 2023-10-27

Family

ID=72984322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010681774.0A Active CN111861868B (zh) 2020-07-15 2020-07-15 用于视频中人像美化的图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN111861868B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767240A (zh) * 2021-01-22 2021-05-07 广州光锥元信息科技有限公司 提高人像视频美化处理效率的方法、装置及移动端
CN112991366A (zh) * 2021-02-18 2021-06-18 广州光锥元信息科技有限公司 对图像进行实时色度抠图的方法、装置及移动端
CN113286097A (zh) * 2021-05-19 2021-08-20 广州光锥元信息科技有限公司 实现人像视频动态丰胸美胯天鹅颈效果的方法及装置
CN113327207A (zh) * 2021-06-03 2021-08-31 广州光锥元信息科技有限公司 应用于图像人脸优化的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020736A1 (en) * 2001-07-27 2003-01-30 Hitachi, Ltd. Video display device and color temperature correction method for the same
CN106921840A (zh) * 2015-12-25 2017-07-04 掌赢信息科技（上海）有限公司 一种即时视频中的人脸美化方法、设备及系统
CN107945188A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的人物装扮方法及装置、计算设备
CN108389155A (zh) * 2018-03-20 2018-08-10 北京奇虎科技有限公司 图像处理方法、装置及电子设备
CN110047053A (zh) * 2019-04-26 2019-07-23 腾讯科技（深圳）有限公司 人像图片生成方法、装置和计算机设备
WO2020134891A1 (zh) * 2018-12-26 2020-07-02 华为技术有限公司 电子设备的拍照预览方法、图形用户界面及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020736A1 (en) * 2001-07-27 2003-01-30 Hitachi, Ltd. Video display device and color temperature correction method for the same
CN106921840A (zh) * 2015-12-25 2017-07-04 掌赢信息科技（上海）有限公司 一种即时视频中的人脸美化方法、设备及系统
CN107945188A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的人物装扮方法及装置、计算设备
CN108389155A (zh) * 2018-03-20 2018-08-10 北京奇虎科技有限公司 图像处理方法、装置及电子设备
WO2020134891A1 (zh) * 2018-12-26 2020-07-02 华为技术有限公司 电子设备的拍照预览方法、图形用户界面及电子设备
CN110047053A (zh) * 2019-04-26 2019-07-23 腾讯科技（深圳）有限公司 人像图片生成方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S LIU ET AL: "An automatic facial beautification method for video post-processing", 《THIRD INTERNTIONAL WORKSHOP ON PATTERN RECOGNITION》, pages 1 - 8 *
张香晴: "移动学习环境下微课资源的设计与开发 ——以《人像摄影》为例", 《中国优秀硕士学位论文全文数据库 社会科学II辑》, no. 8, pages 1 - 81 *
郑南宁, 付昀, 张婷, 卓峰: "人脸的表情与年龄变换和非完整信息的重构技术(上)", 电子学报, no. 1, pages 1955 - 1962 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767240A (zh) * 2021-01-22 2021-05-07 广州光锥元信息科技有限公司 提高人像视频美化处理效率的方法、装置及移动端
CN112767240B (zh) * 2021-01-22 2023-10-20 广州光锥元信息科技有限公司 提高人像视频美化处理效率的方法、装置及移动端
CN112991366A (zh) * 2021-02-18 2021-06-18 广州光锥元信息科技有限公司 对图像进行实时色度抠图的方法、装置及移动端
CN112991366B (zh) * 2021-02-18 2024-05-03 广州光锥元信息科技有限公司 对图像进行实时色度抠图的方法、装置及移动端
CN113286097A (zh) * 2021-05-19 2021-08-20 广州光锥元信息科技有限公司 实现人像视频动态丰胸美胯天鹅颈效果的方法及装置
CN113327207A (zh) * 2021-06-03 2021-08-31 广州光锥元信息科技有限公司 应用于图像人脸优化的方法及装置
CN113327207B (zh) * 2021-06-03 2023-12-08 广州光锥元信息科技有限公司 应用于图像人脸优化的方法及装置

Also Published As

Publication number Publication date
CN111861868B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN111861868B (zh) 用于视频中人像美化的图像处理方法及装置
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
CN110096156B (zh) 基于2d图像的虚拟换装方法
CN110992454B (zh) 基于深度学习的实时动作捕捉和三维动画生成方法与装置
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN110349081A (zh) 图像的生成方法、装置、存储介质和电子设备
CN104424624B (zh) 一种图像合成的优化方法及装置
CN112084967A (zh) 基于人工智能的肢体康复训练检测方法、系统及控制设备
HK1069242A1 (en) Method and system for enhancing portrait images that are processed in a batch mode
CN112419487A (zh) 毛发三维重建方法、装置、电子设备及存储介质
CN111861872A (zh) 图像换脸方法、视频换脸方法、装置、设备和存储介质
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
CN111861869B (zh) 用于人像美化及防止背景扭曲的图像处理方法及装置
CN115496650A (zh) 一种基于生成对抗网络的妆容迁移方法
CN114783001A (zh) 游泳姿态评估方法、系统、装置及计算机可读存储介质
CN111028318A (zh) 一种虚拟人脸合成方法、系统、装置和存储介质
CN112929743B (zh) 对视频中指定对象添加视频特效的方法、装置及移动端
CN112767240B (zh) 提高人像视频美化处理效率的方法、装置及移动端
CN113255429B (zh) 一种视频中人体姿态估计与跟踪方法及系统
CN111932442B (zh) 一种基于人脸识别技术的视频美颜方法、装置、设备及计算机可读存储介质
CN112381749A (zh) 一种图像处理方法、图像处理装置和电子设备
CN114882562A (zh) 防止头部扭曲变形的图像处理方法及装置
CN116309990A (zh) 人脸视频生成方法、装置、设备及存储介质
CN114187340A (zh) 应用于图像视频人脸皮肤纹理质感增强的方法及装置
WO2014132816A1 (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant