CN112800970A - 一种人脸图像处理方法、装置、设备及存储介质 - Google Patents
一种人脸图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112800970A CN112800970A CN202110126751.8A CN202110126751A CN112800970A CN 112800970 A CN112800970 A CN 112800970A CN 202110126751 A CN202110126751 A CN 202110126751A CN 112800970 A CN112800970 A CN 112800970A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- face image
- identifier
- current frame
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000003738 black carbon Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 240000001592 Amaranthus caudatus Species 0.000 description 2
- 235000009328 Amaranthus caudatus Nutrition 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种人脸图像处理方法、装置、设备及存储介质，所述方法包括：首先，确定当前帧人脸图像的人脸区域中的第一像素点的标识，然后，确定与该第一像素点的标识具有对应关系的预设操作，最终，在当前帧人脸图像上针对第一像素点执行该预设操作。本公开实施例基于用于反映第一像素点是否曾被遮挡的标识，实现针对第一像素点的预设操作的执行，丰富了交互类应用程序的功能玩法，提升了用户的使用体验。
Description
技术领域
本公开涉及数据处理领域，尤其涉及一种人脸图像处理方法、装置、设备及存储介质。
背景技术
在交互类应用程序中，为了吸引用户以增加用户量，通常会采用丰富交互类应用程序玩法的手段。例如，短视频类应用程序，为用户提供了在拍摄短视频的过程中添加特效的功能，例如在拍摄人物短视频时添加动物耳朵特效、狐狸尾巴特效等。
但是，由于交互类应用程序中玩法更新迭代较快，如何实现能够吸引到用户的功能玩法，从而提升用户对交互类应用程序的使用体验，已经成为程序开发者们亟待解决的技术问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种人脸图像处理方法、装置、设备及存储介质，能够丰富交互类应用程序的功能玩法，提升用户的使用体验。
第一方面，本公开提供了一种人脸图像处理方法，所述方法包括：
确定当前帧人脸图像的人脸区域中的第一像素点的标识；其中，所述第一像素点的标识用于标识所述第一像素点在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态；
确定与所述第一像素点的标识具有对应关系的预设操作；
在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
一种可选的实施方式中，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识之前，还包括：
获取当前帧人脸图像的上一帧人脸图像的人脸区域中的第二像素点的标识；其中，所述第二像素点与所述当前帧人脸图像的人脸区域中的第一像素点具有位置对应关系，所述第二像素点的标识用于标识所述第二像素点在所述当前帧人脸图像的上一帧人脸图像上或在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上是否处于被遮挡状态；
相应的，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识，包括：
基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识。
一种可选的实施方式中，所述基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识，包括：
如果所述第二像素点的标识为预设第一标识，则将所述预设第一标识的值确定为所述第一像素点的标识；其中，所述预设第一标识用于标识所述第二像素点在所述上一帧人脸图像或所述上一帧人脸图像的前m帧中的至少一帧人脸图像上处于被遮挡状态；
或者，
如果所述第二像素点的标识为预设第二标识，则基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识；其中，所述预设第二标识用于标识所述第二像素点在所述上一帧人脸图像及所述上一帧人脸图像的前m帧人脸图像上均未处于所述被遮挡状态。
一种可选的实施方式中，所述基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识，包括：
将所述当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域；
确定所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述人脸遮挡区域；
如果确定所述第一像素点处于所述人脸遮挡区域，则将所述预设第一标识的值确定为所述第一像素点的标识，否则，将所述预设第二标识的值确定为所述第一像素点的标识。
一种可选的实施方式中，所述在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作，包括；
如果所述第一像素点的标识为所述预设第一标识，则针对所述第一像素点执行第一预设操作；或者，
如果所述第一像素点的标识为所述预设第二标识，则针对所述第一像素点执行第二预设操作。
一种可选的实施方式中，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识，包括：
将所述当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域；
将所述当前帧人脸图像的人脸遮挡区域形变至标准人脸，得到形变后的人脸遮挡区域；
基于所述标准人脸上与所述当前帧人脸图像上的第一像素点具有位置对应关系的第三像素点是否处于所述形变后的人脸遮挡区域以及所述第三像素点的标识，确定所述第一像素点的标识；其中，所述第三像素点的标识为基于所述当前帧人脸图像的前一帧人脸图像上与所述第三像素点具有位置对应关系的第二像素点的标识更新得到。
一种可选的实施方式中，所述确定所述第一像素点的标识之后，还包括：
基于所述第一像素点的标识，更新所述标准人脸上的所述第三像素点的标识。
一种可选的实施方式中，所述确定与所述第一像素点的标识具有对应关系的预设操作，包括：
确定与所述第三像素点的标识具有对应关系的预设操作。
一种可选的实施方式中，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识，包括：
基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识。
第二方面，本公开提供了一种人脸图像处理装置，所述装置包括：
第一确定模块，用于确定当前帧人脸图像的人脸区域中的第一像素点的标识；其中，所述第一像素点的标识用于标识所述第一像素点在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态；
第二确定模块，用于确定与所述第一像素点的标识具有对应关系的预设操作；
执行模块，用于在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供了一种人脸图像处理方法，首先确定当前帧人脸图像的人脸区域中的第一像素点的标识，然后确定与该第一像素点的标识具有对应关系的预设操作，最终，在当前帧人脸图像上针对第一像素点执行该预设操作。本公开实施例基于用于反映第一像素点是否曾被遮挡过的标识，实现针对第一像素点的预设操作的执行，丰富了交互类应用程序的功能玩法，提升了用户的使用体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种人脸图像处理方法的流程图；
图2为本公开实施例提供的一种当前帧人脸图像的示意图；
图3为本公开实施例提供的另一种人脸图像处理方法的流程图；
图4为本公开实施例提供的另一种人脸图像处理方法的流程图；
图5为本公开实施例提供的一种人脸图像处理装置的结构示意图；
图6为本公开实施例提供的一种人脸图像处理设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
交互类应用程序通常采用丰富玩法的手段吸引用户，以增加应用程序的用户量，因此，如何增加交互类应用程序的玩法，已经成为应用程序开发者们持续探索的问题。
例如，对于短视频类应用程序而言，目前已经为用户提供了在拍摄短视频的过程中添加特效的功能，例如在拍摄人物短视频时添加动物耳朵特效、狐狸尾巴特效等。如何进一步增加特效玩法的丰富度，提升用户的使用体验，是目前亟需解决的技术问题。
为此，本公开提供了一种人脸图像处理方法，首先，确定当前帧人脸图像的人脸区域中的第一像素点的标识，然后，确定与该第一像素点的标识具有对应关系的预设操作，最终，在当前帧人脸图像上针对第一像素点展示该预设操作。本公开实施例基于用于反映第一像素点是否曾被遮挡过的标识，实现针对第一像素点的预设操作的执行，丰富了交互类应用程序的功能玩法，提升了用户的使用体验。
基于此，本公开实施例提供了一种人脸图像处理方法，参考图1，为本公开实施例提供的一种人脸图像处理方法的流程图，该方法包括：
S101：确定当前帧人脸图像的人脸区域中的第一像素点的标识。
其中，所述第一像素点的标识用于标识所述第一像素点在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态。其中，前n帧中的至少一帧可以为上一帧。
本公开实施例中，当前帧人脸图像可以为视频流中当前正在展示的人脸图像。例如，用户在打开摄像头拍摄的过程中，当前帧人脸图像可以为摄像头当前拍摄到的图像中包含有人脸的图像区域。又例如，用户在打开前置摄像头自拍的过程中，当前帧人脸图像为摄像头当前拍摄到的当前用户图像中包含人脸的预设大小的图像区域，如为256*256大小的包含有人脸的图像区域。
如图2所述，为本公开实施例提供的一种当前帧人脸图像的示意图，其中，矩形框中的图像区域为本公开实施例中的当前帧人脸图像。
实际应用中，在获取到当前帧人脸图像之后，进一步确定该当前帧人脸图像上的人脸区域。
一种可选的实施方式中，可以利用人脸检测网络对当前帧人脸图像进行处理，得到当前帧人脸图像的人脸关键点，然后，基于人脸关键点确定当前帧人脸图像上的人脸区域。具体的，预先利用大量的标记有人脸关键点的人脸图像样本对人脸检测网络进行训练，得到经过训练的人脸检测网络，然后将当前帧人脸图像输入至该人脸检测网络中，经过处理后输出当前帧人脸图像上的人脸关键点。
如图2所示，黑色点示例性地表示出了部分人脸关键点，将该些人脸关键点依次连线后构成的闭合区域为人脸区域。
本公开实施例中，针对当前帧人脸图像的人脸区域中的各个像素点进行预设操作的执行处理。其中，第一像素点可以为当前帧人脸图像的人脸区域中的任意一个像素点。
另外，本公开实施例中，第一像素点的标识用于表征该第一像素点是否曾被遮挡过的状态，具体的用于标识该第一像素点在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态。
一种可选的实施方式中，可以结合在当前帧人脸图像上该第一像素点是否处于被遮挡状态，以及在当前帧人脸图像的前n帧中的至少一帧人脸图像上与该第一像素点具有位置对应关系的第二像素点的标识，确定该第一像素点的标识。也就是说，第一像素点的标识不仅可以反映出在当前帧人脸图像上第一像素点是否处于被遮挡状态，还能够反映出在当前帧人脸图像的前n帧中的至少一帧人脸图像上与该第一像素点具有位置对应关系的像素点是否处于被遮挡状态，具体的实现方式在后续实施例进行介绍。
另一种可选的实施方式中，可以仅基于在当前帧人脸图像上该第一像素点是否处于被遮挡状态，确定第一像素点的标识。具体的，基于当前帧人脸图像的人脸区域中的第一像素点是否处于当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识。示例性地，在对第一帧图像进行处理时，可以基于第一帧人脸图像的人脸区域中的第一像素点是否处于当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识。
实际应用中，可以利用人脸遮挡检测网络对当前帧人脸图像进行处理，得到当前帧人脸图像上的人脸遮挡区域，其中，人脸遮挡区域是指在人脸图像上被其他物体，例如手部，遮挡住的区域。具体的，预先利用大量的标记有人脸遮挡区域的人脸图像样本对人脸遮挡检测网络进行训练，得到经过训练的人脸遮挡检测网络，然后，将当前帧人脸图像输入至该人脸遮挡检测网络中，经过处理后输出当前帧人脸图像上的人脸遮挡区域。如图2所示，人脸图像上手部遮挡的区域即为人脸遮挡区域。
在确定当前帧人脸图像上的人脸遮挡区域后，进一步的确定第一像素点是否处于该人脸遮挡区域中，进而基于确定结果进一步确定该第一像素点的标识。具体的，如果确定第一像素点处于该人脸遮挡区域中，则可以确定第一像素点的标识为预设第一标识，用于表示第一像素点在当前帧人脸图像上处于被遮挡状态；如果确定第一像素点未处于该人脸遮挡区域中，则可以确定第一像素点的标识为预设第二标识，用于表示第一像素点在当前帧人脸图像上未处于被遮挡状态。
S102：确定与所述第一像素点的标识具有对应关系的预设操作。
本公开实施例中，预先建立标识与预设操作之间的对应关系，在确定第一像素点的标识之后，从标识与预设操作之间的对应关系中，确定与该标识具有对应关系的预设操作。
示例性地，所述预设操作可以为预设特效。假设标识包括预设第一标识和预设第二标识，而预设第一标识与“黑炭脸”特效具有对应关系，预设第二标识与“美脸”特效具有对应关系。假设第一像素点的标识为预设第一标识，则确定与预设第一标识具有对应关系的“黑炭脸”特效；假设第一像素点的标识为预设第二标识，则确定与预设第二标识具有对应关系的“美脸”特效。
本公开实施例对于标识与预设操作之间的对应关系的设置不做限制，可以基于人脸处理需求确定。
S103：在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
本公开实施例中，在确定第一像素点的标识对应的预设操作之后，针对该第一像素点执行该预设操作。
例如，预设操作为预设特效，则确定第一像素点的标识对应的特效为“黑炭脸”特效之后，在当前帧人脸图像上针对该第一像素点展示“黑炭脸”特效。
本公开实施例提供的人脸图像处理方法中，首先确定当前帧人脸图像的人脸区域中的第一像素点的标识，然后确定与该第一像素点的标识具有对应关系的预设操作，最终，在当前帧人脸图像上针对第一像素点执行该预设操作。本公开实施例基于用于反映第一像素点是否曾被遮挡过的标识，实现针对第一像素点的预设操作的执行，丰富了交互类应用程序的功能玩法，提升了用户的使用体验。
在上述实施例的基础上，本公开还提供了一种人脸图像处理方法，参考图3，为本公开实施例提供的另一种人脸图像处理方法的流程图，所述方法包括：
S301：获取当前帧人脸图像的上一帧人脸图像的人脸区域中的第二像素点的标识。
其中，所述第二像素点与所述当前帧人脸图像的人脸区域中的第一像素点具有位置对应关系，所述第二像素点的标识用于标识所述第二像素点在所述当前帧人脸图像的上一帧人脸图像上或在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上是否处于被遮挡状态。
一种可选的实施方式中，将当前帧人脸图像的上一帧人脸图像的人脸遮挡区域形变至标准人脸中，其中，所述标准人脸上的第三像素点与当前帧人脸图像上的第一像素点具有位置对应关系。然后，确定所述上一帧人脸图像上与所述标准人脸上的第三像素点具有位置对应关系的第二像素点，并基于标准人脸上的第三像素点的标识以及该第三像素点是否处于上一帧人脸图像上的人脸遮挡区域，确定第二像素点的标识。其中，标准人脸是预先设置的具有标准大小的无遮挡的人脸图像。具体的，可以基于人脸关键点，将当前帧人脸图像的上一帧人脸遮挡区域形变至标准人脸，具体实现方式本公开实施例不做限制。
实际应用中，在对当前帧人脸图像进行处理时，获取已确定的上一帧人脸图像上与当前帧人脸图像上的第一像素点具有位置对应关系的第二像素点的标识即可。
S302：基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识。
本公开实施例中，在获取到当前帧人脸图像的上一帧人脸图像的人脸区域中与第一像素点具有位置对应关系的第二像素点的标识之后。基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识。其中，第二像素点的标识可以标识该第二像素点是否曾处于被遮挡状态，具体的，第二像素点的标识用于标识所述第二像素点在所述当前帧人脸图像的上一帧人脸图像上或在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上是否处于被遮挡状态。其中，m≤10。
本公开实施例中，在确定第二像素点的标识表示该第二像素点处于被遮挡状态时，可以确定当前帧人脸图像的人脸区域中的与该第二像素点具有位置对应关系的第一像素点的标识也设置为用于标识处于被遮挡状态的标识。
另外，在确定第二像素点的标识表示该第二像素点未处于被遮挡状态时，可以基于在当前帧人脸图像的人脸区域中与该第二像素点具有位置对应关系的第一像素点是否处于被遮挡状态，设置该第一像素点的标识。具体的，如果在当前帧人脸图像的人脸区域中的第一像素点处于被遮挡状态，则将该第一像素点的标识设置为用于标识该第一像素点处于被遮挡状态的标识，否则，将该第一像素点的标识设置为用于标识该第一像素点未处于被遮挡状态的标识。
一种可选的实施方式中，预设第一标识用于标识所述第二像素点在当前帧人脸图像的上一帧人脸图像上或在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上处于被遮挡状态。如果确定第二像素点的标识为预设第一标识，则将所述预设第一标识的值确定为当前帧人脸图像上与该第二像素点具有位置对应关系的第一像素点的标识。
预设第二标识用于标识所述第二像素点在当前帧人脸图像的上一帧人脸图像上及在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上均未处于被遮挡状态。如果确定所述第二像素点的标识为预设第二标识，则基于所述当前帧人脸图像的人脸区域中与第二像素点具有位置对应关系的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识。
具体的，如果确定所述第一像素点处于所述当前帧人脸图像上的人脸遮挡区域，则将所述预设第一标识的值确定为所述第一像素点的标识，否则，将所述预设第二标识的值确定为所述第一像素点的标识。
S303：确定与所述第一像素点的标识具有对应关系的预设操作。
S304：在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
本公开实施例中的S303和S304可参照上述实施例中的S102和S103进行理解，在此不再赘述。
本公开实施例提供的人脸图像处理方法中，结合当前帧人脸图像上该第一像素点是否处于被遮挡状态，以及当前帧人脸图像的前n帧中的至少一帧人脸图像上与该第一像素点具有位置对应关系的第二像素点是否处于被遮挡状态，确定该第一像素点的标识，实现针对第一像素点的预设操作的执行，丰富了交互类应用程序的功能玩法，提升了用户的使用体验。
基于上述实施例，本公开提供了一种人脸图像处理方法的可选实施方式。具体的，首先，将当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域，然后，将所述当前帧人脸图像的人脸遮挡区域形变至标准人脸，得到形变后的人脸遮挡区域。再次，基于所述标准人脸上与所述当前帧人脸图像上的第一像素点具有位置对应关系的第三像素点是否处于所述形变后的人脸遮挡区域以及所述第三像素点的标识，确定所述第一像素点的标识；其中，所述第三像素点的标识为基于所述当前帧人脸图像的前一帧人脸图像上与所述第三像素点具有位置对应关系的第二像素点的标识更新得到。
本公开实施例中，在确定第一像素点的标识之后，基于所述第一像素点的标识，更新所述标准人脸上的所述第三像素点的标识。然后，确定与所述第三像素点的标识具有对应关系的预设操作，并在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
基于上述内容，可以以将本公开提供的人脸图像处理方法应用于短视频类应用程序为例，对上述可选的实施方式进行更具体的介绍。具体的，在拍摄短视频的过程中，通过对每帧人脸图像的处理，可以实现特效展示的效果。
参考图4，图4为本公开实施例提供的另一种人脸图像处理方法的流程图，其中，该方法包括：
S401：预先初始化标准人脸的面具模型mask的大小为256*256，且标准人脸的mask上各个像素点的标识均为1。
其中，标准人脸的mask上各个像素点的标识均为1，是指标准人脸上的各个像素点均未被遮挡。本公开实施例利用mask_0表示初始化的标准人脸的mask。
S402：在接收到第一帧人脸图像时，确定第一帧人脸图像上的人脸遮挡区域，并将该人脸遮挡区域形变至标准人脸中，得到形变后的人脸遮挡区域。
S403：基于形变后的人脸遮挡区域，更新mask_0中各个像素点的标识，得到mask_1。
其中，将mask_0中处于形变后的人脸遮挡区域中的像素点的标识更新为0，表示这些像素点已被遮挡，从而得到mask_1。
S404：基于mask_1中各个像素点的标识，在第一帧人脸图像上展示特效。
S405：在接收到第二帧人脸图像时，确定第二帧人脸图像上的人脸遮挡区域，并将该人脸遮挡区域形变至标准人脸中，得到形变后的人脸遮挡区域。
S406：基于形变后的人脸遮挡区域，更新mask_1中各个像素点的标识，得到mask_2。
其中，针对mask_1中处于形变后的人脸遮挡区域中的像素点，首先确定mask_1中该像素点的标识是否为0，如果是，说明在上一帧人脸图像中该像素点已被遮挡，则在mask_2中直接将该像素点的标识设置为0，不需要考虑当前帧人脸图像中该像素点的被遮挡状态。而如果确定该像素点的标识为1，则说明在上一帧人脸图像中该像素点未被遮挡，则基于当前帧人脸图像中该像素点的被遮挡状态设置标识。具体的，如果该像素点处于形变后的人脸遮挡区域中，则将mask_2中的该像素点的标识设置为0，否则设置为1。
S407：基于mask_2中各个像素点的标识，在第二帧人脸图像上展示特效。
S408：基于上述方式依次在每帧人脸图像上展示特效。
本公开实施例提供的人脸图像处理方法中，通过对短视频类应用程序中用户正在拍摄的每帧人脸图像进行处理，实现特效的展示功能，丰富了短视频类应用程序的功能玩法，提升了用户的使用体验。
与上述方法实施例属于同一发明构思，本公开实施例还提供了一种人脸图像处理装置，参考图5，为本公开实施例提供的一种人脸图像处理装置的结构示意图，所述装置包括：
第一确定模块501，用于确定当前帧人脸图像的人脸区域中的第一像素点的标识；其中，所述第一像素点的标识用于标识在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态；
第二确定模块502，用于确定与所述第一像素点的标识具有对应关系的预设操作；
展示模块503，用于在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
一种可选的实施方式中，所述装置还包括：
第三确定模块，用于获取当前帧人脸图像的上一帧人脸图像的人脸区域中的第二像素点的标识；其中，所述第二像素点与所述当前帧人脸图像的人脸区域中的第一像素点具有位置对应关系，所述第二像素点的标识用于标识所述第二像素点在所述当前帧人脸图像的上一帧人脸图像上或在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上是否处于被遮挡状态；
相应的，所述第一确定模块，具体用于：
基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识。
一种可选的实施方式中，所述第一确定模块，包括：
第一确定子模块，用于在所述第二像素点的标识为预设第一标识时，将所述预设第一标识的值确定为所述第一像素点的标识；其中，所述预设第一标识用于标识所述第二像素点在所述上一帧人脸图像或所述上一帧人脸图像的前m帧中的至少一帧人脸图像上处于被遮挡状态；或者，
第二确定子模块，用于在所述第二像素点的标识为预设第二标识时，基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识；其中，所述预设第二标识用于标识在所述上一帧人脸图像及所述上一帧人脸图像的前m帧人脸图像上均未处于所述被遮挡状态。
一种可选的实施方式中，所述第二确定子模块，包括：
第一遮挡检测子模块，用于将所述当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域；
第三确定子模块，用于确定所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述人脸遮挡区域；
第四确定子模块，用于在确定所述第一像素点处于所述人脸遮挡区域时，将所述预设第一标识的值确定为所述第一像素点的标识，否则，将所述预设第二标识的值确定为所述第一像素点的标识。
一种可选的实施方式中，所述执行模块，包括；
第一执行子模块，用于在所述第一像素点的标识为所述预设第一标识时，针对所述第一像素点执行第一预设操作；或者，
第二执行子模块，用于在所述第一像素点的标识为所述预设第二标识时，针对所述第一像素点执行第二预设操作。
一种可选的实施方式中，所述第一确定模块，包括：
第二遮挡检测子模块，用于将所述当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域；
形变子模块，用于将所述当前帧人脸图像的人脸遮挡区域形变至标准人脸，得到形变后的人脸遮挡区域；
第五确定子模块，用于基于所述标准人脸上与所述当前帧人脸图像上的第一像素点具有位置对应关系的第三像素点是否处于所述形变后的人脸遮挡区域以及所述第三像素点的标识，确定所述第一像素点的标识；其中，所述第三像素点的标识为基于所述当前帧人脸图像的前一帧人脸图像上与所述第三像素点具有位置对应关系的第二像素点的标识更新得到。
一种可选的实施方式中，所述装置还包括：
更新模块，用于基于所述第一像素点的标识，更新所述标准人脸上的所述第三像素点的标识。
一种可选的实施方式中，所述第二确定模块，具体用于：
确定与所述第三像素点的标识具有对应关系的预设操作。
一种可选的实施方式中，所述第一确定模块，具体用于：
基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识。
本公开实施例提供的人脸图像处理装置，首先确定当前帧人脸图像的人脸区域中的第一像素点的标识，然后确定与该第一像素点的标识具有对应关系的预设操作，最终，在当前帧人脸图像上针对第一像素点执行该预设操作。本公开实施例基于用于反映第一像素点是否曾被遮挡过的标识，实现针对第一像素点的预设操作的执行，丰富了交互类应用程序的功能玩法，提升了用户的使用体验。
除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现本公开实施例所述的人脸图像处理方法。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开实施例所述的人脸图像处理方法。
另外，本公开实施例还提供了一种人脸图像处理设备，参见图6所示，可以包括：
处理器601、存储器602、输入装置603和输出装置604。人脸图像处理处理设备中的处理器601的数量可以一个或多个，图6中以一个处理器为例。在本公开的一些实施例中，处理器601、存储器602、输入装置603和输出装置604可通过总线或其它方式连接，其中，图6中以通过总线连接为例。
存储器602可用于存储软件程序以及模块，处理器501通过运行存储在存储器602的软件程序以及模块，从而执行人脸图像处理处理设备的各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置603可用于接收输入的数字或字符信息，以及产生与人脸图像处理处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现上述人脸图像处理设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种人脸图像处理方法，其特征在于，所述方法包括：
确定当前帧人脸图像的人脸区域中的第一像素点的标识；其中，所述第一像素点的标识用于标识所述第一像素点在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态；
确定与所述第一像素点的标识具有对应关系的预设操作；
在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
2.根据权利要求1所述的方法，其特征在于，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识之前，还包括：
获取当前帧人脸图像的上一帧人脸图像的人脸区域中的第二像素点的标识；其中，所述第二像素点与所述当前帧人脸图像的人脸区域中的第一像素点具有位置对应关系，所述第二像素点的标识用于标识所述第二像素点在所述当前帧人脸图像的上一帧人脸图像上或在所述上一帧人脸图像的前m帧中的至少一帧人脸图像上是否处于被遮挡状态；
相应的，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识，包括：
基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第二像素点的标识，确定所述当前帧人脸图像的人脸区域中的所述第一像素点的标识，包括：
如果所述第二像素点的标识为预设第一标识，则将所述预设第一标识的值确定为所述第一像素点的标识；其中，所述预设第一标识用于标识所述第二像素点在所述上一帧人脸图像或所述上一帧人脸图像的前m帧中的至少一帧人脸图像上处于被遮挡状态；
或者，
如果所述第二像素点的标识为预设第二标识，则基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识；其中，所述预设第二标识用于标识所述第二像素点在所述上一帧人脸图像及所述上一帧人脸图像的前m帧人脸图像上均未处于所述被遮挡状态。
4.根据权利要求3所述的方法，其特征在于，所述基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识，包括：
将所述当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域；
确定所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述人脸遮挡区域；
如果确定所述第一像素点处于所述人脸遮挡区域，则将所述预设第一标识的值确定为所述第一像素点的标识，否则，将所述预设第二标识的值确定为所述第一像素点的标识。
5.根据权利要求3所述的方法，其特征在于，所述在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作，包括；
如果所述第一像素点的标识为所述预设第一标识，则针对所述第一像素点执行第一预设操作；或者，
如果所述第一像素点的标识为所述预设第二标识，则针对所述第一像素点执行第二预设操作。
6.根据权利要求1所述的方法，其特征在于，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识，包括：
将所述当前帧人脸图像输入至人脸遮挡检测模型中，经过所述人脸遮挡检测模型的处理后，输出所述当前帧人脸图像上的人脸遮挡区域；
将所述当前帧人脸图像的人脸遮挡区域形变至标准人脸，得到形变后的人脸遮挡区域；
基于所述标准人脸上与所述当前帧人脸图像上的第一像素点具有位置对应关系的第三像素点是否处于所述形变后的人脸遮挡区域以及所述第三像素点的标识，确定所述第一像素点的标识；其中，所述第三像素点的标识为基于所述当前帧人脸图像的前一帧人脸图像上与所述第三像素点具有位置对应关系的第二像素点的标识更新得到。
7.根据权利要求6所述的方法，其特征在于，所述确定所述第一像素点的标识之后，还包括：
基于所述第一像素点的标识，更新所述标准人脸上的所述第三像素点的标识。
8.根据权利要求7所述的方法，其特征在于，所述确定与所述第一像素点的标识具有对应关系的预设操作，包括：
确定与所述第三像素点的标识具有对应关系的预设操作。
9.根据权利要求1所述的方法，其特征在于，所述确定当前帧人脸图像的人脸区域中的第一像素点的标识，包括：
基于所述当前帧人脸图像的人脸区域中的第一像素点是否处于所述当前帧人脸图像上的人脸遮挡区域，确定所述第一像素点的标识。
10.一种人脸图像处理装置，其特征在于，所述装置包括：
第一确定模块，用于确定当前帧人脸图像的人脸区域中的第一像素点的标识；其中，所述第一像素点的标识用于标识所述第一像素点在所述当前帧人脸图像或所述当前帧人脸图像的前n帧中的至少一帧人脸图像上是否处于被遮挡状态；
第二确定模块，用于确定与所述第一像素点的标识具有对应关系的预设操作；
执行模块，用于在所述当前帧人脸图像上针对所述第一像素点执行所述预设操作。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-9任一项所述的方法。
12.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-9任一项所述的方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110126751.8A CN112800970A (zh) | 2021-01-29 | 2021-01-29 | 一种人脸图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110126751.8A CN112800970A (zh) | 2021-01-29 | 2021-01-29 | 一种人脸图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112800970A true CN112800970A (zh) | 2021-05-14 |
Family
ID=75812857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110126751.8A Pending CN112800970A (zh) | 2021-01-29 | 2021-01-29 | 一种人脸图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800970A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197149A (zh) * | 2019-05-23 | 2019-09-03 | 北京达佳互联信息技术有限公司 | 耳部关键点检测方法、装置、存储介质及电子设备 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111652080A (zh) * | 2020-05-12 | 2020-09-11 | 合肥的卢深视科技有限公司 | 基于rgb-d图像的目标跟踪方法和装置 |
| JP2020194227A (ja) * | 2019-05-24 | 2020-12-03 | 日本電産モビリティ株式会社 | 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム |
| CN112135041A (zh) * | 2020-09-18 | 2020-12-25 | 北京达佳互联信息技术有限公司 | 一种人脸特效的处理方法及装置、存储介质 |
-
2021
- 2021-01-29 CN CN202110126751.8A patent/CN112800970A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197149A (zh) * | 2019-05-23 | 2019-09-03 | 北京达佳互联信息技术有限公司 | 耳部关键点检测方法、装置、存储介质及电子设备 |
| JP2020194227A (ja) * | 2019-05-24 | 2020-12-03 | 日本電産モビリティ株式会社 | 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111652080A (zh) * | 2020-05-12 | 2020-09-11 | 合肥的卢深视科技有限公司 | 基于rgb-d图像的目标跟踪方法和装置 |
| CN112135041A (zh) * | 2020-09-18 | 2020-12-25 | 北京达佳互联信息技术有限公司 | 一种人脸特效的处理方法及装置、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111698553B (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| US11778263B2 (en) | Live streaming video interaction method and apparatus, and computer device | |
| CN110072047B (zh) | 图像形变的控制方法、装置和硬件装置 | |
| CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN111667420B (zh) | 图像处理方法及装置 | |
| CN111277910A (zh) | 弹幕显示方法、装置、电子设备及存储介质 | |
| CN111447239B (zh) | 视频流播放控制方法、设备及存储介质 | |
| CN112330533A (zh) | 混血人脸图像生成方法、模型训练方法、装置和设备 | |
| CN107172501A (zh) | 一种直播房间推荐展示方法及系统 | |
| WO2022100690A1 (zh) | 动物脸风格图像生成方法、模型训练方法、装置和设备 | |
| CN115396705B (zh) | 投屏操作验证方法、平台及系统 | |
| CN111428570A (zh) | 非活体人脸的检测方法、装置、计算机设备及存储介质 | |
| CN109045694A (zh) | 虚拟场景显示方法、装置、终端及存储介质 | |
| CN112991151B (zh) | 图像处理方法、图像生成方法、装置、设备和介质 | |
| CN110930325A (zh) | 基于人工智能的图像处理方法、装置及存储介质 | |
| CN112800970A (zh) | 一种人脸图像处理方法、装置、设备及存储介质 | |
| CN117459662A (zh) | 一种视频播放方法、识别方法、装置、设备及存储介质 | |
| CN112257729A (zh) | 图像识别方法、装置、设备及存储介质 | |
| CN114363688B (zh) | 视频的处理方法、装置和非易失性计算机可读存储介质 | |
| CN112766214A (zh) | 一种人脸图像处理方法、装置、设备及存储介质 | |
| CN112860941A (zh) | 一种封面推荐方法、装置、设备及介质 | |
| CN111292276B (zh) | 图像处理方法和装置 | |
| CN112948630A (zh) | 列表更新方法、电子设备、存储介质及装置 | |
| CN111353929A (zh) | 图像处理方法、装置和电子设备 | |
| CN113489901B (zh) | 拍摄方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |