CN114882562A - 防止头部扭曲变形的图像处理方法及装置 - Google Patents
防止头部扭曲变形的图像处理方法及装置 Download PDFInfo
- Publication number
- CN114882562A CN114882562A CN202210505326.4A CN202210505326A CN114882562A CN 114882562 A CN114882562 A CN 114882562A CN 202210505326 A CN202210505326 A CN 202210505326A CN 114882562 A CN114882562 A CN 114882562A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- key point
- head
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 230000007704 transition Effects 0.000 claims abstract description 14
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种防止头部扭曲变形的图像处理方法及装置，所述方法包括将待处理图像输入预构建的人脸识别模型中，得到人脸信息；人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在待处理图像中的二维坐标；确定待处理图像的局部区域作为形变区域，根据预设比例对形变区域进行调节，得到人像优化图像；根据人脸关键点数据对人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。本发明不仅能够进行一键美体，还专门引入对头部、脸部的算法保护措施，确保真实美观的效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种防止头部扭曲变形的图像处理方法及装置。
背景技术
如今已经进入数码时代，人们依赖借助修图软件对图片中的人像进行修饰，以创造出一个颜值和身材都令人满意的形象。
相关技术中，现在的P图软件中，由于人脸关键点识别技术应用广泛，已经有很多针对人脸进行一键自动美化的功能了，但针对身材修饰，如美肩、丰胸、美腰、长腿等，依然需要用户手动编辑，缺乏与“一键美颜”相对的“一键美体”功能。或者，即便有对人像身材能够进行一键式美化的功能，虽然对人像身材进行一键式美化功能能够方便用户使用，但它存在无法精细化修图的问题，尤其对于元素精细、感知敏感的脸部，全身一键美化过程对图片进行拉伸扭曲处理，往往会造成脸部和头部不自然扭曲的问题，不仅影响脸部美观，也容易被人看出修图痕迹
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种防止头部扭曲变形的图像处理方法及装置，以解决现有技术中软件中一键美体的功能会造成脸部和头部不自然扭曲的问题。
为实现以上目的，本发明采用如下技术方案：一种防止头部扭曲变形的图像处理方法，包括：
将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；
确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；
根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
进一步的，所述确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像，包括：
对所述待处理图像进行解码，得到解码后的图像数据，对所述图像数据进行处理，得到适用于OpenGL渲染的纹理P，记录所述图像纹理的宽和高；
确定形变区域的横向归一化坐标，利用所述归一化坐标表示形变区域；
根据预设的拉伸强度值对所述形变区域进行拉伸处理，得到形变后的目标图像宽度；其中，待处理图像的高度保持不变；
确定所述目标图像宽度的横向归一化坐标；
构建用于OpenGL渲染的顶点坐标和纹理坐标，以及顶点坐标和纹理坐标的映射关系；其中，顶点坐标赋值给OpenGL顶点着色器预设参数时需映射到[-1，1]范围；
根据所述顶点坐标和纹理坐标的映射关系构建OpenGL三角形图元；
根据所述OpenGL三角形图元对纹理P进行渲染，得到形变后的纹理T1。
进一步的，所述根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，包括：
根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行反向拉伸；
其中所述脸部轮廓是所述人脸关键点数据包裹的头部区域。
进一步的，所述调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡，包括：
对所有人脸关键点kps求均值，得到头部中心点center；
构建外层保护点ops，外层保护点ops的数量和人脸关键点kps一致，且一一对应，对于外层保护点ops中每个点op和人脸关键点kps对应的点kp都存在以下关系：
op＝center+(kp-center)*k；
其中，k为缩放因子，取值范围须大于1，外层保护点ops和人脸关键点关键点kps构成的环状区域为头部与形变区域的平滑过渡区；
计算得到所述人像优化图像的所有点坐标，包括形变后的人脸关键点tkps，形变后的外层保护点tops，形变后的头部中心点tcenter；
对于每个形变后的点tp和待处理图像的对应点p都存在以下关系；
tp.x＝(p.x-left)/(right-left)*(tright-tleft)+tleft；
tp.y＝p.y；
构建用于OpenGL渲染的纹理坐标[tcenter，tkps，tops]；
构建用于OpenGL渲染的顶点坐标[vcenter，vkps，vops]；
其中，vcenter＝tcenter；
顶点坐标vkps点的数量和形变后的人脸关键点tkps一致，且一一对应，对于vkps中每个点vkp和tkps对应的点tkp都存在以下关系：
vkp.x＝tcenter.x+(tkp.x-tcenter.x)*(1.0/scale)；vkp.y＝tkp.y；
其中，scale为身材美化模块中的拉伸强度值；
vops＝tops；
另外，顶点坐标赋值给OpenGL顶点着色器预设参数gl_Position时需映射到[-1，1]范围；
构建OpenGL三角形图元，tcenter和tkps每两个相邻点组成一个三角形图元，tkps和vops每两个对应的相邻点组成两个三角形图元；
输入纹理T1，经过OpenGL渲染后得到纹理T2。
进一步的，还包括：
所述人脸识别模型对所述待处理图像进行识别；
如果所述待处理图像中存在人脸时，输出人脸关键点数据；否则，结束流程。
进一步的，当所述输入图像中存在多个头部时，按顺序对每个头部进行防扭曲处理，直至最后一个头部。
进一步的，所述拉伸强度值的取值范围为0.9～1.1，所述拉伸强度值表示形变区域宽度的缩放倍率，大于1则宽度扩大，小于1则宽度缩小。
本申请实施例提供一种防止头部扭曲变形的图像处理装置，包括：
人脸识别模块，用于将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；
人像优化模块，用于确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；
头部防扭曲模块，用于根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
进一步的，还包括：
检测定位模块，用于通过人脸识别模型对所述待处理图像进行识别；
如果所述待处理图像中存在人脸时，输出人脸关键点数据；否则，结束流程。
本申请实施例提供一种移动端，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项生成方法的步骤或任一项查询方法的步骤。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种防止头部扭曲变形的图像处理方法及装置，本申请提供的技术方案，结合人脸关键点识别、身体关键点识别、人像区域判别、扭曲与防扭曲，将照片身材矫正发明出一键式的自动化美化功能，能够自动定位身材关键区域，通过图像扭曲拉伸等算法，做到颈部、肩部、胸部、腰部等区域形态的优化。同时，虽然对人像身材进行一键式美化功能能够方便用户使用，同时还专门引入对头部、脸部的进行防止头部扭曲变形保护措施，确保真实美观的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明防止头部扭曲变形的图像处理方法的步骤示意图；
图2为本发明OpenGL三角形图元的结构示意图；
图3为本发明形变后的纹理示意图；
图4为本发明形变后的头部示例图；
图5为本发明防止头部扭曲变形操作后的头部示例图；
图6为本发明防止头部扭曲变形的图像处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的防止头部扭曲变形的图像处理方法及装置。
如图1所示，本申请实施例中提供的防止头部扭曲变形的图像处理方法，包括：
S101，将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；
本申请中首先获取多张含有完整人脸的图像作为训练图像对移动客户端中预设的第一神经网络模型进行训练。所述第一神经网络模型可接收输入图像，输出图像中的人脸信息。优选地，所述人脸信息为人脸关键点数据，人脸关键点数据包含五官，脸部轮廓等在图像中的二维坐标，关键点越稠密，后续脸部优化效果越精细，具体的关键点数量可根据需要灵活进行设定。
其中，所述人脸识别模型对所述待处理图像进行识别；
如果所述待处理图像中存在人脸时，输出人脸关键点数据；否则，结束流程。
具体的，本申请中对图像数据使用第一神经网络模型进行检测定位，当且仅当第一神经网络模型检测定位到图像中的人脸关键点数据时，输出人脸关键点数据。
S102，确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；
一些实施例中，所述根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，包括：
根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行反向拉伸；
其中所述脸部轮廓是所述人脸关键点数据包裹的头部区域。
一些实施例中，改变图像的宽高比，可以使图像发生变形。以横向拉伸为例，改变人像图像的宽度，使宽度缩小，宽高比变小，则图像中的人像会变得更修长，反之使宽度扩大，宽高比变大，则图像中的人像会变得更矮胖。进一步的，可以指定人像所在的局部区域为形变区域，仅对形变区域进行横向拉伸，以达到人像发生形变的同时，尽可能不影响周围物体的形变。基于此原理，可以对图像人像身材进行美化处理。支持图像形变的图像处理框架有很多，下面以OpenGL为基础进一步细化算法步骤。
1，输入原图像进行解码得到图像数据，并加载成适用于OpenGL渲染的纹理P，记录图像宽高为w*h；
2，输入形变区域的横向归一化坐标left和right，表示[left，right]为形变区域；
3，输入拉伸强度值scale，取值参考范围是[0.9～1.1]，该值表示形变区域宽度的缩放倍率，大于1则宽度扩大，小于1则宽度缩小；
4，计算得到形变后的目标图像宽度tw＝w-w*(right-left)*(1.0-scale)，图像高度保持不变；
5，计算得到形变后的形变区域横向归一化坐标；
tleft＝left*w/tw；
tright＝1.0-(1.0-right)*w/tw；
6，构建用于OpenGL渲染的顶点坐标和纹理坐标，映射关系如下
其中，顶点坐标赋值给OpenGL顶点着色器预设参数gl_Position时需映射到[-1，1]范围，假定顶点坐标为position，则gl_Position＝vec4(position.xy*2.0-1.0，0.0，1.0)；
7，构建OpenGL三角形图元，划分如下，共6个三角形图元，具体如图2所示；
8，经过OpenGL渲染后得到形变后的纹理T1，假定scale为0.9，对图2进行渲染后，得到纹理T1，纹理T1如图3所示。
S103，根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
具体的，待处理图像经过人像身材美化拉伸变形后，人体形态得以优化，但同时也会造成脸部和头部发生扭曲。通过人脸检测模型检测到头部轮廓关键点kps，对关键点包裹的头部区域进行反向拉伸，使得头部比例保持跟原图一致，同时调整关键点外圈周围的像素，使头部与形变区域平滑过渡。下面以OpenGL为基础进一步细化算法步骤。具体包括：
1，输入原图像，经过第一检测定位模块检测到头部轮廓关键点kps，关键点呈逆时针方向排列；
2，对所有关键点kps求均值得到头部中心点center；
3，构建外层保护点ops，ops点的数量和kps一致，且一一对应，对于ops中每个点op和kps对应的点kp都存在op＝center+(kp-center)*k，其中k为缩放因子，取值范围须大于1，在本发明中k取值为1.3。其中外层保护点ops和头部轮廓关键点kps构成的环状区域为头部与形变区域的平滑过渡区；
4，计算得到经过人像身材美化模块形变后的所有点坐标，包括形变后的人脸关键点tkps，形变后的外层保护点tops，形变后的头部中心点tcenter；
对于每个形变后的点tp和原图的对应点p都存在
tp.x＝(p.x-left)/(right-left)*(tright-tleft)+tleft；
tp.y＝p.y；
5，构建用于OpenGL渲染的纹理坐标[tcenter，tkps，tops]；
6，构建用于OpenGL渲染的顶点坐标[vcenter，vkps，vops]，其中
vcenter＝tcenter；
vkps点的数量和tkps一致，且一一对应，对于vkps中每个点vkp和tkps对应的点tkp都存在vkp.x＝tcenter.x+(tkp.x-tcenter.x)*(1.0/scale)；vkp.y＝tkp.y；其中scale为身材美化模块中的拉伸强度值，需要说明的是，tkps指的是人脸关键点所对应的纹理坐标，决定了纹理采样的位置，vkps指的是人脸关键点所对应的顶点坐标，决定了视口绘制的位置，利用纹理坐标和顶点坐标的差值可以实现形变效果。
vops＝tops；
另外，顶点坐标赋值给OpenGL顶点着色器预设参数gl_Position时需映射到[-1，1]范围，假定顶点坐标为position，则gl_Position＝vec4(position.xy*2.0-1.0，0.0，1.0)；
7，构建OpenGL三角形图元，tcenter和tkps每两个相邻点组成一个三角形图元，tkps和vops每两个对应的相邻点组成两个三角形图元，头部示例图如如图4所示；
8，输入纹理T1，经过OpenGL渲染后得到纹理T2，假定scale为0.9，得到T2图的头部示例图，如图5所示。
需要说明的是，单个图像存在多个人体，多个头部需要防扭曲的情况。对于多个头部分为两种情况处理，①多个头部区域间距离较大，区域不相交，或相交程度较小的情况，可以对形变纹理T1依次经过模块四进行处理，可得到多个头部防扭曲的结果；②多个头部区域间距离较小，区域相交程度较大的情况，对相交程度达到预设值的多个头部区域进行合并，构成一组包含多个头部的轮廓关键点，键点呈逆时针方向排列，然后对形变纹理T1依次经过模块四进行处理，可得到多个头部防扭曲的结果。
如图6所示，本申请实施例提供一种防止头部扭曲变形的图像处理装置，包括：
人脸识别模块201，用于将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；
人像优化模块202，用于确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；
头部防扭曲模块203，用于根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
本申请实施例提供的防止头部扭曲变形的图像处理装置的工作原理为，人脸识别模块201将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；人像优化模块202确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；头部防扭曲模块203根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
一些实施例中，还包括：
检测定位模块，用于通过人脸识别模型对所述待处理图像进行识别；
如果所述待处理图像中存在人脸时，输出人脸关键点数据；否则，结束流程。
综上所述，本发明提供一种防止头部扭曲变形的图像处理方法及装置，本申请提供的技术方案，结合人脸关键点识别、身体关键点识别、人像区域判别、扭曲与防扭曲，将照片身材矫正发明出一键式的自动化美化功能，能够自动定位身材关键区域，通过图像扭曲拉伸等算法，做到颈部、肩部、胸部、腰部等区域形态的优化。同时，虽然对人像身材进行一键式美化功能能够方便用户使用，同时还专门引入对头部、脸部的进行防止头部扭曲变形保护措施，确保真实美观的效果。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种防止头部扭曲变形的图像处理方法，其特征在于，包括：
将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；
确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；
根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像，包括：
对所述待处理图像进行解码，得到解码后的图像数据，对所述图像数据进行处理，得到适用于OpenGL渲染的纹理P，记录所述图像纹理的宽和高；
确定形变区域的横向归一化坐标，利用所述归一化坐标表示形变区域；
根据预设的拉伸强度值对所述形变区域进行拉伸处理，得到形变后的目标图像宽度；其中，待处理图像的高度保持不变；
确定所述目标图像宽度的横向归一化坐标；
构建用于OpenGL渲染的顶点坐标和纹理坐标，以及顶点坐标和纹理坐标的映射关系；其中，顶点坐标赋值给OpenGL顶点着色器预设参数时需映射到[-1，1]范围；
根据所述顶点坐标和纹理坐标的映射关系构建OpenGL三角形图元；
根据所述OpenGL三角形图元对纹理P进行渲染，得到形变后的纹理T1。
3.根据权利要求1所述的方法，其特征在于，所述根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，包括：
根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行反向拉伸；
其中所述脸部轮廓是所述人脸关键点数据包裹的头部区域。
4.根据权利要求3所述的方法，其特征在于，所述调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡，包括：
对所有人脸关键点kps求均值，得到头部中心点center；
构建外层保护点ops，外层保护点ops的数量和人脸关键点kps一致，且一一对应，对于外层保护点ops中每个点op和人脸关键点kps对应的点kp都存在以下关系：
op＝center+(kp-center)*k；
其中，k为缩放因子，取值范围须大于1，外层保护点ops和人脸关键点关键点kps构成的环状区域为头部与形变区域的平滑过渡区；
计算得到所述人像优化图像的所有点坐标，包括形变后的人脸关键点tkps，形变后的外层保护点tops，形变后的头部中心点tcenter；
对于每个形变后的点tp和待处理图像的对应点p都存在以下关系；
tp.x＝(p.x-left)/(right-left)*(tright-tleft)+tleft；
tp.y＝p.y；
构建用于OpenGL渲染的纹理坐标[tcenter，tkps，tops]；
构建用于OpenGL渲染的顶点坐标[vcenter，vkps，vops]；
其中，vcenter＝tcenter；
顶点坐标vkps的数量和形变后的人脸关键点tkps一致，且一一对应，对于vkps中每个点vkp和tkps对应的点tkp都存在以下关系：
vkp.x＝tcenter.x+(tkp.x-tcenter.x)*(1.0/scale)；vkp.y＝tkp.y；
其中，scale为身材美化模块中的拉伸强度值；
vops＝tops；
另外，顶点坐标赋值给OpenGL顶点着色器预设参数gl_Position时需映射到[-1，1]范围；
构建OpenGL三角形图元，tcenter和tkps每两个相邻点组成一个三角形图元，tkps和vops每两个对应的相邻点组成两个三角形图元；
输入纹理T1，经过OpenGL渲染后得到纹理T2。
5.根据权利要求1所述的方法，其特征在于，还包括：
所述人脸识别模型对所述待处理图像进行识别；
如果所述待处理图像中存在人脸时，输出人脸关键点数据；否则，结束流程。
6.根据权利要求1所述的方法，其特征在于，
当所述输入图像中存在多个头部时，按顺序对每个头部进行防扭曲处理，直至最后一个头部。
7.根据权利要求2所述的方法，其特征在于，
所述拉伸强度值的取值范围为0.9～1.1，所述拉伸强度值表示形变区域宽度的缩放倍率，大于1则宽度扩大，小于1则宽度缩小。
8.一种防止头部扭曲变形的图像处理装置，其特征在于，包括：
人脸识别模块，用于将待处理图像输入预构建的人脸识别模型中，得到人脸信息；所述人脸信息包括人脸关键点数据；人脸关键点数据包括五官、脸部轮廓在所述待处理图像中的二维坐标；
人像优化模块，用于确定所述待处理图像的局部区域作为形变区域，根据预设比例对所述形变区域进行调节，得到人像优化图像；
头部防扭曲模块，用于根据所述人脸关键点数据对所述人像优化图像的脸部轮廓进行原比例还原，并调整还原比例后的人脸关键点数据周围的像素值，使得头部与形变区域呈平滑过渡。
9.根据权利要求8所述的装置，其特征在于，还包括：
检测定位模块，用于通过人脸识别模型对所述待处理图像进行识别；
如果所述待处理图像中存在人脸时，输出人脸关键点数据；否则，结束流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505326.4A CN114882562A (zh) | 2022-05-10 | 2022-05-10 | 防止头部扭曲变形的图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505326.4A CN114882562A (zh) | 2022-05-10 | 2022-05-10 | 防止头部扭曲变形的图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882562A true CN114882562A (zh) | 2022-08-09 |
Family
ID=82676536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210505326.4A Pending CN114882562A (zh) | 2022-05-10 | 2022-05-10 | 防止头部扭曲变形的图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882562A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024120223A1 (zh) * | 2022-12-09 | 2024-06-13 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
-
2022
- 2022-05-10 CN CN202210505326.4A patent/CN114882562A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024120223A1 (zh) * | 2022-12-09 | 2024-06-13 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Geometry-aware face completion and editing | |
| CN108805090B (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
| JP7526412B2 (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| CN105184735B (zh) | 一种人像变形方法及装置 | |
| CN107507216B (zh) | 图像中局部区域的替换方法、装置及存储介质 | |
| CN105354876B (zh) | 一种基于移动终端的实时立体试衣方法 | |
| CN106846241B (zh) | 一种图像融合的方法、装置和设备 | |
| US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
| CN107730449B (zh) | 一种人脸五官美化处理的方法及系统 | |
| CN108510500B (zh) | 一种基于人脸肤色检测的虚拟人物形象的头发图层处理方法及系统 | |
| CN104123749A (zh) | 一种图像处理方法及系统 | |
| CN110197462A (zh) | 一种人脸图像实时美化与纹理合成方法 | |
| CN114565508B (zh) | 虚拟换装方法及装置 | |
| CN107610202A (zh) | 基于人脸图像替换的营销方法、设备及存储介质 | |
| CN107564080A (zh) | 一种人脸图像的替换系统 | |
| CN111861868B (zh) | 用于视频中人像美化的图像处理方法及装置 | |
| CN113516755B (zh) | 图像处理方法、图像处理装置、电子设备和存储介质 | |
| CN113870404B (zh) | 一种3d模型的皮肤渲染方法及显示设备 | |
| CN110910308B (zh) | 图像处理方法、装置、设备和介质 | |
| CN111127309A (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
| CN111832517A (zh) | 基于门控卷积的低清人脸关键点检测方法 | |
| CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN114882562A (zh) | 防止头部扭曲变形的图像处理方法及装置 | |
| CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |