CN112069863A - 一种面部特征的有效性判定方法及电子设备 - Google Patents

一种面部特征的有效性判定方法及电子设备 Download PDF

Info

Publication number
CN112069863A
CN112069863A CN201910502644.3A CN201910502644A CN112069863A CN 112069863 A CN112069863 A CN 112069863A CN 201910502644 A CN201910502644 A CN 201910502644A CN 112069863 A CN112069863 A CN 112069863A
Authority
CN
China
Prior art keywords
feature
video image
image
reference point
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502644.3A
Other languages
English (en)
Other versions
CN112069863B (zh
Inventor
陈天珞
秦磊
周恒�
丁欣
姜永涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910502644.3A priority Critical patent/CN112069863B/zh
Priority to US17/617,893 priority patent/US20220309780A1/en
Priority to EP20822459.2A priority patent/EP3975047B1/en
Priority to PCT/CN2020/095012 priority patent/WO2020248950A1/zh
Publication of CN112069863A publication Critical patent/CN112069863A/zh
Application granted granted Critical
Publication of CN112069863B publication Critical patent/CN112069863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Quality & Reliability (AREA)

Abstract

一种面部特征的有效性判定方法及电子设备，用以解决基于机器学习的方法判定复杂度高的问题。通过第一视频图像的面部特征确定姿态信息和/或面部变化信息；其中，姿态信息用于表征所述第一视频图像中面部特征所指示的人物头部的偏转度，所述面部变化信息用于表征所述人物头部在所述第一视频图像与第二视频图像中的位置变化情况，所述第二视频图像为所述第一视频图像所属的视频流中所述第一视频图像的前一帧图像；然后根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征，进而再确定是否对第一视频图像的人物面部进行三维重建处理，无需预先训练模型，复杂度较低，处理时间较短。

Description

一种面部特征的有效性判定方法及电子设备
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种面部特征的有效性判定方法及电子设备。
背景技术
目前有些笔记本电脑上的摄像头为隐藏式设计，其位于屏幕下方。用户通过笔记本上的摄像头采集图像时，画面中的人脸存在向上仰角，用户体验较差。因此需要对人脸角度进行校正。现一般三维重建技术对单帧的人脸图像进行三维重建，比如，采用三维可变形模型(3d morphable model，3DMM)技术，进而实现对摄像头画面中的面部校正，以增强用户体验。三维重建技术一般基于识别到的面部特征，对面部进行重构、调整。因此三维重建技术的面部效果依赖于面部特征中特征点识别的准确性。
现有一般通过机器学习的方法来判断面部特征的有效性，但是机器学习依据预先训练的模型，而模型的可信度依赖于训练样本，因此判定的可信度无法确定，并且机器学习的判定方式复杂度高。
发明内容
本申请实施例提供一种面部特征的有效性判定方法及电子设备，用以解决基于机器学习的方法判定复杂度高的问题。
第一方面，本申请实施例提供一种面部特征的有效性判定方法，该方法可以由任何电子设备执行，也可以由电子设备中的芯片或处理器执行，包括获取第一视频图像的面部特征；根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息；其中，姿态信息用于表征所述第一视频图像中面部特征所指示的人物头部的偏转度，所述面部变化信息用于表征所述人物头部在所述第一视频图像与第二视频图像中的位置变化情况，所述第二视频图像为在所述第一视频图像所属的视频流中，位于所述第一视频图像前面的一帧图像，第二视频图像与所述第一视频图像间隔的视频图像数量位于预设数量范围内；根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征。
通过上述方案，通过面部特征确定姿态信息和/或面部变化信息，从而确定面部特征是否为无效特征，无需依赖训练模型，复杂度较低。
在一种可能的设计中，根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息，包括：在所述面部特征中不包括位于所述第一视频图像的边缘区域内的特征点时，再进而根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息。
由于面部特征中包括位于边缘区域的特征点时，三维重建后的图像边缘可能会留下空白，效果较差，示例性地，在某一特征点过度靠近图像边缘时，可以判定面部特征为无效特征，无需再执行根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息，以及后续操作。提高的三维重建的准确度，并且可以减少判定时间。
在一种可能的设计中，所述姿态信息可以包括用于表征所述人物头部左右转动的水平偏转度、用于表征所述人物头部抬头或者低头的垂直偏转度和用于表征所述人物头部歪斜程度的倾斜度中的至少一项，所述面部变化信息可以包括所述人物头部在所述第一视频图像的位置相比第二视频图像中的人物头部的位置之间的位移、所述第一视频图像的面部图像与所述第二视频图像的面部图像之间的图像相似度中的至少一项。
在一种可能的设计中，根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征，可以在确定满足如下至少一个条件时，确定所述第一视频图像中的面部特征为无效特征；
上述提及的位移大于第一阈值；
上述提及的图像相似度大于第二阈值；
上述提及的所述水平偏转度大于第三阈值；
上述提及的所述垂直偏转度大于第四阈值；或者，
上述提及的所述倾斜度大于第五阈值。
上述设计，通过所述姿态信息和/或所述面部变化信息与阈值的比较结果来判定面部特征是否为无效特征，复杂度较低，并且处理时间较少。
在一种可能的设计中，所述面部特征可以包括N组特征点，所述N为大于或者等于1的正整数，不同组特征点所属的面部器官不同；根据所述第一视频图像的面部特征确定所述面部变化信息中的所述位移，包括：确定第一视频图像的第i组特征点的参考点与第二视频图像中第i组特征点的参考点之间的距离，得到N组距离，i取遍小于或者等于N的正整数；将所述N组距离的平均值确定为所述位移，或者将归一化处理后的所述N组距离的平均值确定为所述位移。
上述设计，提供一种简单且有效的确定位移的方法，通过位移来确定特征点跟踪是否准确，复杂度较低。
在一种可能的设计中，所述面部特征可以包括M组特征点，所述M为大于或者等于1的正整数，不同组特征点所属的面部器官不同；根据所述第一视频图像的面部特征确定所述面部变化信息中的所述图像相似度，包括：确定所述第一视频图像中的第j个局部特征图像与所述第二视频图像中的第j个局部特征图像之间的相似度，得到M个相似度，j取遍小于或者等于M的正整数；其中，所述第一视频图像中的第j个局部特征图像是基于所述第一视频图像的第j组特征点所包围的范围确定的，所述第二视频图像中的第j个局部特征图像是基于所述第二视频图像的第j组特征点所包围的范围确定的；将所述M个相似度的平均值确定为所述图像相似度。
上述设计，提供一种简单且有效的确定图像相似度的方法，通过图像相似度来确定相邻两帧图像的纹理变化情况，通过纹理变化情况确定特征点跟踪是否准确，进而确定面部特征是否有效，复杂度较低。
在一种可能的设计中，所述面部特征可以包括左脸颊特征、右脸颊特征、和鼻子特征；根据所述第一视频图像的面部特征确定所述水平偏转度，包括：确定左脸颊特征的参考点与鼻子特征的参考点之间的第一距离，以及右脸颊特征的参考点与鼻子特征的参考点之间的第二距离；将所述第一距离与所述第二距离的比值确定为所述水平偏转度，或者将所述第二距离与所述第一距离的比值确定为所述水平偏转度；其中，所述左脸颊特征的参考点为所述左脸颊特征中的预设特征点，鼻子特征的参考点为所述鼻子特征中的预设特征点，右脸颊特征的参考点为所述右脸颊特征中的预设特征点；或者，所述左脸颊特征的参考点为所述左脸颊特征包括的特征点坐标的平均值对应的像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点坐标的平均值对应的像素点，所述右脸颊特征的参考点为所述右脸颊特征包括的特征点坐标的平均值对应的像素点。
上述设计，提供一种简单且有效的确定水平偏转度的方法，通过水平偏转度来人物头部是否有过度左右转头的姿态，进而确定面部特征是否有效，复杂度较低。
在一种可能的设计中，所述面部特征可以包括眼睛特征、下巴特征、和鼻子特征；根据所述第一视频图像的面部特征确定所述垂直偏转度，包括：确定眼睛特征的参考点与鼻子特征的参考点之间的第三距离，以及下巴特征的参考点与鼻子特征的参考点之间的第四距离；将所述第三距离与所述第四距离的比值确定为所述水平偏转度，或者将所述第四距离与所述第三距离的比值确定为所述垂直偏转度；其中，所述眼睛特征的参考点为所述眼睛特征中的预设特征点，鼻子特征的参考点为所述鼻子特征中的预设特征点，下巴特征的参考点为所述下巴特征中的预设特征点；或者，所述眼睛特征的参考点为所述眼睛特征包括的特征点坐标的平均值对应的像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点坐标的平均值对应的像素点，所述下巴特征的参考点为所述下巴特征包括的特征点坐标的平均值对应的像素点。
上述设计，提供一种简单且有效的确定垂直偏转度的方法，通过垂直偏转度来人物头部是否有过度抬头低头的姿态，进而确定面部特征是否有效，复杂度较低。
在一种可能的设计中，所述面部特征可以包括左眼特征和右眼特征；根据所述第一视频图像的面部特征确定所述倾斜度，包括：将所述左眼特征的参考点与所述右眼特征的参考点之间的连线的偏移水平方向的角度确定为所述倾斜度；所述左眼特征的参考点为所述左眼特征包括的特征点坐标的平均值对应的像素点，所述右眼特征的参考点为所述右眼特征包括的特征点坐标的平均值对应的像素点；或者所述左眼特征的参考点为所述左眼特征中的左眼瞳孔特征点，所述右眼特征的参考点为所述右眼特征中的右眼瞳孔特征点。
上述设计，提供一种简单且有效的确定倾斜度的方法，通过倾斜度来人物头部是否有过度外头的姿态，进而确定面部特征是否有效，复杂度较低。
第二方面，本申请实施例还提供了一种面部特征的有效性确定装置，包括分别用于执行第一方面或第一方面的任一设计所述的方法的单元。
第三方面，本申请实施例还提供了一种电子设备，包括处理器、存储器；其中处理器与存储器相耦合；其中，存储器用于存储程序指令；处理器用于读取存储器中存储的程序指令，以实现第一方面及其任一可能的设计的方法。
第四方面，本申请实施例还提供的一种计算机存储介质，该计算机存储介质存储有程序指令，当程序指令在电子设备上运行时，使得电子设备执行第一方面及其任一可能的设计的方法。
第五方面，本申请实施例还提供的一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行第一方面及其任一可能的设计的方法。
第六方面，本申请实施例还提供的一种芯片，所述芯片与电子设备中的存储器耦合，执行第一方面及其任一可能的设计的方法。
另外，第二方面至第六方面所带来的技术效果可参见上述第一方面的描述，此处不再赘述。
需要说明的是，本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。
附图说明
图1为本申请实施例中三维重建结果示意图；
图2为本申请实施例中由于面部特征失效导致三维重建的面部变形示意图；
图3为本申请实施例中一种电子设备结构示意图；
图4为本申请实施例中另一种电子设备结构示意图；
图5为本申请实施例中一种面部特征的有效性确定方法流程示意图；
图6A为本申请实施例中三维重建后的面部产生不良结果示意图；
图6B为本申请实施例中边缘区域示意图；
图6C为本申请实施例中图像边缘示意图；
图7为本申请实施例中面部特征包括的特征点示意图；
图8为本申请实施例中面部特征的局部特征图示意图；
图9为本申请实施例中另一种面部特征的有效性确定方法流程示意图；
图10为本申请实施例中装置10结构示意图；
图11为本申请实施例中电子设备11结构示意图。
具体实施方式
本申请实施例可以应用于电子设备拍摄场景、或者电子设备监控场景、或者电子设备之间的视频通话或视频会议场景、当然也可以应用在电子设备对拍摄的图像中的人物头部进行三维重建的场景中等。比如，电子设备之间在进行视频通话时，本端电子设备会把本端用户的人脸图像传输到对端电子设备上显示，达到视频通信的目的。
在上述介绍的任何一种场景中，都会涉及到电子设备采集人脸图像并对人脸图像进行处理的过程，比如，参见图1所示，当电子设备上的摄像头设置于屏幕下方或者上方时，用户通过电子设备上的摄像头采集图像时，画面中的人脸可能会存在向上仰角或者俯角的情况，具体如图1中(a)所示，在该情况下，电子设备可以采用三维重建技术对图像中的人脸角度进行校正。再比如，在视频监控中，需要对监控画面中的人脸角度进行校正，以提高识别人脸的准确性，在该情况下，电子设备也可以采用三维重建技术对图像中的人脸角度进行校正。三维重建技术一般基于识别到的面部特征进行，比如对图1中(b)显示的面部进行重构、调整操作，调整后的人脸图像可以如图1中(c)所示。由此可见，在上述任意一种场景中，为了提高视频通话质量或者提高电子设备处理图形的效果，以得到更准确的人脸特征等，都会涉及到对人脸图像的三维重建技术，而三维重建技术得到的面部效果主要依赖于对面部特征中的特征点进行准确识别。
在对人脸图像进行三维重建过程中，如果头部姿态角度过大，比如人脸向上仰角过大或者俯角过大，或者采集的人脸图像中的特征点靠近人脸图像边缘，或者对人脸图像采集时人脸运动过快都会导致对面部特征中的特征点实时追踪失败等情况下，这样就会导致对面部特征中的特征点识别不准确，导致后续对人脸角度校正效果较差的问题，比如参见图2所示。
基于此，本申请实施例提出的技术方案可以较好解决上述任意场景中，电子设备对摄取的人脸图像进行三维重建处理时，对面部特征中的特征点识别不太准确，导致后续对人脸角度校正效果较差的问题。其主要思想是通过识别到的视频图像中面部特征来确定用于表征当前头部姿态角度的姿态信息和/或用于表征跟踪到的人物头部的位置变化情况的面部变化信息，来确定识别的面部特征是否为无效特征。其中，无效特征指识别到的不准确的特征点。
上述提及的电子设备可以是具有图像拍摄功能的电子设备，比如笔记本电脑、手机、数码相机、ipad等，还可以是台式计算机、穿戴式设备等，本申请实施例不作限定。电子设备还可以是仅具有图像处理功能的服务器等设备。具体的，电子设备具有信号源，信号源可以是电子设备的处理内容来源，可能是图片或者是视频帧。图像来源可以是网络、移动存储介质，摄像头、摄像设备等。其中，信号源用于将待处理视频图像输入电子设备，电子设备用于对待处理视频图像进行处理，比如采用本申请实施例提供的面部特征的有效性判定方法对面部特征的有效性进行判定，再比如，在判定面部特征有效时，可以基于三维重建方法对人脸角度进行校正。在一种可选的情况中，电子设备可具备显示功能，则本申请实施例提供的电子设备还可将经过处理的视频图像进行显示，此时无须将经过处理的视频图像输出至显示设备，比如电子设备可以是具有显示功能的摄像机、智能终端设备，比如笔记本电脑，平板电脑等等。在另一种可选的情况中，电子设备不具备显示功能，而是电子设备将处理后的视频图像输出至显示设备，这里的显示设备可以是具备显示功能的设备，例如显示器，也可以是显示屏，显示设备用于接收电子设备传输的图像信号以及对接收的图像信号进行显示。
示例性的，信号源可以由电子设备内部产生，比如电子设备包括摄像头，用于采集图像信号。信号源可以由外部设备产生，比如独立于电子设备的其他摄像设备摄取人脸图像，并将摄取的图像发送给电子设备。如下以信号源由电子设备内部产生为例进行说明。
下面首先简单介绍一种本发明实施例可以应用到的电子设备框架，具体如图3所示，电子设备可以包括处理器110，存储器120，摄像头130。电子设备中还可以包括显示屏140。处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免重复存取，减少处理器110的等待时间，因而提高了系统的效率。
需要说明的是，处理器110可以运行本申请实施例提供的面部特征的有效性判定方法的软件代码，执行下文中的面部特征的有效性判定流程，具体的面部特征的有效性判定流程，将在后文介绍。
存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在存储器120的指令，从而执行电子设备的各种功能应用以及数据处理。存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、应用程序(比如相机应用，微信应用、QQ应用、视频聊天应用等)的软件代码。存储数据区可存储电子设备使用过程中所创建的个人数据(比如面部特征的有效性判定之前接收到图像、经过三维重建后的图像等)。
需要说明的是，存储器120还可以存储本申请实施例提供的面部特征的有效性判定方法的软件代码。当处理器110运行该代码时，执行下文中的面部特征的有效性判定流程，实现面部特征的有效性判定功能。存储器120还可以存储其它内容，比如，存储器120中存储有面部特征。应理解，存储器120中还可以存储下文中提到的其它内容，比如第一阈值-第五阈值等等。
其中，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
显示屏140用于显示图像，视频等，比如用于显示由摄像头130获取的未经过三维重建的静态图像或者视频，或者用于显示经过三维重建后的静态图像或者视频。显示屏140包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏140，N为大于1的正整数。显示屏140用于显示主界面，或者显示某个应用的显示界面，比如视频通话应用的显示界面。显示屏140还可以视频图像，比如视频通话过程中经过三维重建后的视频图像。
具体地，在本申请实施例中，摄像头130可以用于获取三维重建前的静态图像或视频。示例性地，以电子设备为笔记本电脑为例，也可以称为个人计算机(person computer，PC)，如图4所示，摄像头130可以设置于显示屏140下方。摄像头130可以包括感光元件，比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的图像。
电子设备中还可以包括触摸传感器150，也称“触控面板”，如图4所示。触摸传感器150用于检测作用于其上或附近的触摸操作。触摸传感器150可以将检测到的触摸操作传递给处理器110，以确定触摸事件类型，可以通过显示屏140提供与触摸操作相关的视觉输出。电子设备还可以包括其他输入设备，比如物理键盘、鼠标等。
触摸传感器150可以检测用户在触摸屏上的触摸操作，并将该触摸操作发送给处理器110，处理器110基于该触摸操作，可以确定该触摸操作对应的图标，即确定出用户要点击的应用。触摸传感器150可以检测用户在触摸屏上的触摸操作，并将该触摸操作发送给处理器110，处理器110基于该触摸操作，可以确定该触摸操作对应的图标，即确定出用户要点击的应用。假设处理器110基于触摸操作确定用户点击视频聊天应用，处理器110启动相机应用，显示取景界面，并启动摄像头130，摄像头130捕捉视频图像，取景界面中显示视频图像。当然，取景界面中还包括视频拍摄控件，触摸传感器150检测到用于触发拍摄控件的操作时，摄像头130采集视频图像。
类似的，电子设备还可以通过物理键盘接收输入操作，并将输入操作发送给处理器110，处理器110确定输入操作对应的图标，比如视频聊天应用。或者，电子设备还可以通过鼠标接收输入操作，并将输入操作发送给处理器110，处理器110确定输入操作对应的图标。
如图3所示，电子设备还可以包括音频模块160、扬声器160A、受话器160B、麦克风160C、耳机接口160D，来实现音频功能，例如音乐播放、录音等。
音频模块160用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块160还可以用于对音频信号编码和解码。在一些实施例中，音频模块160可以设置于处理器110中，或将音频模块160的部分功能模块设置于处理器110中。
扬声器160A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备可以通过扬声器160A收听音乐、或收听免提通话。
受话器160B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时，可以通过将受话器160B靠近人耳接听语音。
麦克风160C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风160C发声，将声音信号输入到麦克风160C。电子设备100可以设置至少一个麦克风160C。在另一些实施例中，电子设备可以设置两个麦克风160C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备还可以设置三个、四个或更多麦克风160C，实现声音信号采集、降噪、还可以识别声音来源，实现定向录音功能等。
耳机接口160D用于连接有线耳机。耳机接口160D可以是USB接口170，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口、美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口等。
充电管理模块180用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块180可以通过USB接口接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块180可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块180为电池182充电的同时，还可以通过电源管理模块181为电子设备供电。
电源管理模块181用于连接电池182，充电管理模块180与处理器110。电源管理模块181接收电池182和/或充电管理模块180的输入，为处理器110、显示屏140、摄像头130等供电。电源管理模块181还可以用于监测电池容量，电池循环次数，电池健康状态(漏电、阻抗)等参数。在其他一些实施例中，电源管理模块181也可以设置于处理器110中。在另一些实施例中，电源管理模块181和充电管理模块180也可以设置于同一个器件中。
尽管图3未示出，电子设备还可以包括压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、环境光传感器、指纹传感器、温度传感器等；还可以包括指示器比如指示灯，用于指示充电状态，电量变化，也可以用于指示消息，通知等。
下面结合图3所示的电子设备架构图，并以电子设备进行视频聊天场景为例，介绍电子设备摄取视频图像，并对摄取的视频图像中的人物面部进行三维重建处理的过程中获取的特征有效性的确定方法进行详细介绍。其中本申请涉及的术语“至少一个”，是指一个，或一个以上，即包括一个、两个、三个及以上；“多个”，是指两个，或两个以上，即包括两个、三个及以上。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
下面结合图5，介绍本申请实施例提供的面部特征的有效性判定方法，该方法可以由电子设备执行，具体可以由电子设备的处理器110执行。示例性地，电子设备中的处理器110接收到用户触发的视频聊天的输入指令时，处理器110启动摄像头采集视频图像，并从视频图像中提取的面部特征的有效性进行判定，并根据判定结果来执行人物面部的三维重建，并将三维重建后的视频图像在显示屏140中显示。示例性的，处理器110可以调用摄像头采集视频图像，并指示显示屏140显示在视频聊天界面显示三维重建后的视频图像，处理器110针对摄像头采集的视频图像执行如下面部特征的有效性判定方法流程。
S501，处理器110获取第一视频图像的面部特征。
本申请实施例中，为了描述方便，将当前摄像头130采集的待处理的视频图像称为第一视频图像，将第一视频图像所属的视频流中位于所述第一视频图像前面的一帧图像称为第二视频图像，且第二视频图像与所述第一视频图像间隔的视频图像数量位于预设数量范围内。比如，预设数量范围为0-8。预设数量范围为0时，第二视频图像为第一视频图像的前一帧图像。预设数量范围为1时，第二视频图像为第一视频图像前面，与第一视频图像间隔一帧的视频图像。
在获取面部特征时，处理器110可以采用视频流中面部跟踪方式获取，或者采用特征提取的方式获取，本申请对此不作限定。
S502，处理器110根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息。
其中，姿态信息用于表征所述第一视频图像中面部特征所指示的人物头部的偏转度，所述面部变化信息用于表征所述人物头部在所述第一视频图像与第二视频图像中的位置变化情况。示例性地，所述姿态信息可以包括用于表征所述人物头部左右转动的水平偏转度、用于表征所述人物头部抬头或者低头的垂直偏转度和用于表征所述人物头部歪斜程度的倾斜度中的至少一项。面部变化信息可以包括所述人物头部在所述第一视频图像的位置相比第二视频图像中的人物头部的位置之间的位移、所述第一视频图像的面部图像与所述第二视频图像的面部图像之间的图像相似度中的至少一项。
S503，处理器110根据所述姿态信息和/或所述面部变化信息，确定所述第一视频图像的所述面部特征是否为无效特征。
一种示例中，处理器110在根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征时，可以通过如下方式实现：
处理器110在确定满足如下条件1-条件5中的至少一个条件时，确定所述第一视频图像中的面部特征为无效特征。
条件1，所述面部变化信息中包括的所述人物头部在所述第一视频图像的位置相比第二视频图像中的人物头部的位置之间的位移大于第一阈值。
条件2，所述面部变化信息中包括的所述第一视频图像的面部图像与所述第二视频图像的面部图像之间的所述图像相似度大于第二阈值。
条件3，所述姿态信息中包括的用于表征所述人物头部左右转动的所述水平偏转度大于第三阈值。
条件4，所述姿态信息中包括的用于表征所述人物头部抬头或者低头的所述垂直偏转度大于第四阈值。
条件5，所述姿态信息中包括的用于表征所述人物头部歪斜程度的所述倾斜度大于第五阈值。
示例性地，上述第一阈值、第二阈值、第三阈值、第四阈值以及第五阈值可以为预配置值，例如预先将上述第一阈值、第二阈值、第三阈值、第四阈值以及第五阈值存储在存储器120中。比如，第一阈值和第二阈值可以基于三维重建模型对面部短时间的运动幅度的要求来确定的，例如，运动幅度较大，运动较快时，经过三维重建模型对面部角度矫正时，会导致人脸变形。比如，第三阈值可以基于三维重建模型对面部左右转头的角度的要求来确定，例如，左右转头角度较大时，经过三维重建模型对面部角度矫正时，会导致人脸变形。比如，第四阈值可以是三维重建模型对面部抬头和低头的角度的要求来确定，例如，低头或者抬头角度较大时，经过三维重建模型对面部角度矫正时，会导致人脸变形。比如，第五阈值可以基于三维重建模型对面部歪头角度的要求来确定，比如歪头角度较大时，经过三维重建模型对面部角度矫正时，会导致人脸变形。
例如，以确定视频流中的视频图像的面部特征是否为无效特征为例，即第一视频图像为视频流中的一幅图像，在确定时可以参考面部变化信息，则可以采用面部变化信息，或者姿态信息和面部变化信息来确定，比如，在确定满足条件1-条件5中任一项时，则确定视频流中的该视频图像中的面部特征为无效特征。当确定不满足条件1-条件5时，确定视频流中的该视频图像中的面部特征为有效特征。再例如，以确定单独一幅视频图像(该视频图像并非视频流的一幅，而是单独拍摄的一幅图像)的面部特征是否为无效特征为例，即第一视频图像为单独拍摄的一幅图像，在确定该第一视频图像的面部特征是否为无效特征时，不参考面部变化信息，则可以仅采用姿态信息来确定。比如，在确定满足条件3-条件5中的任一项时，确定该第一视频图像的面部特征为无效特征，在确定不满足条件3-条件5时，确定该第一视频图像的面部特征为有效特征。
应理解的是，在确定满足如下至少一个条件时，可以不配置条件的先后判定顺序，当然也可以配置条件的先后判定顺序，本申请实施例对此不作限定。在配置条件的先后判定顺序时，比如配置按照条件1->条件2->条件3->条件4->条件5的顺序进行判定，先判定条件1、在判定条件1满足时，则确定第一视频图像的面部特征为无效特征，则可以不再判定条件2-条件5。在判定条件1不满足时，再判定条件2是否满足，以此类推。
另外，在配置条件的先后判定顺序时，可以按照判定条件的先后顺序，确定判定条件所需要的参数，再根据参数来确定是否满足该条件，如果不满足，再确定下一个判定条件所需要的参数，在判定是否满足该下一个判定条件，以此类推。以配置按照条件1->条件2->条件3->条件4->条件5的顺序进行判定为例，根据所述第一视频图像的面部特征确定所述位移，在判定所述位移不满足条件1时，再根据所述第一视频图像的面部特征确定所述图像相似度，在判定所述图像相似度不满足条件2时，再根据所述第一视频图像的面部特征确定所述水平偏转度。当然，如果确定位移满足条件1，则确定第一视频图像的面部特征为无效特征，不再执行根据所述第一视频图像的面部特征确定所述图像相似度，以及判定是否满足条件2，依次类推。
在采集视频图像时，可能由于人物突然起身等动作导致，视频图像中仅采集到人物头部的一部分，因此采集到的面部特征包括的特征点数量，可能不符合后续人脸角度校正的要求。在该情况下，可以确定获取的面部特征为无效特征。一种示例中，处理器110在获取所述第一视频图像的面部特征后，执行S502之前，可以先确定所述面部特征包括的特征点数量位于预设数量范围内时，再执行S502，即根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息。当处理器110确定第一视频图像的面部特征的数量位于预设数量范围外时，可以直接确定获取到的第一视频图像的面部特征为无效特征。另外一种示例中，在获取所述第一视频图像的面部特征后，执行S502之前，可以先确定所述面部特征包括的特征点数量为预设数量阈值时，再执行S502，即根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息。当确定第一视频图像的面部特征的数量不为预设数量阈值时，可以确定获取到的第一视频图像的面部特征为无效特征。比如，在执行人物头部的三维重建时，需要68个特征点，如果获取的面部特征中特征点数量不为68时，则确定获取的面部特征为无效特征。
示例性地，预设数量范围或者预设数量阈值根据三维重建模型对特征点数量的要求来确定。
作为一种示例，处理器110在采用面部跟踪方式获取第一视频图像的面部特征时，可能由于面部动作过快等情况导致跟踪到的特征点超出了图像范围，基于此，处理器110在S501获取到第一视频图像的面部特征时，若第一视频图像的面部特征中包括超出图像范围的特征点，则确定第一视频图像的面部特征为无效特征，不再执行S502。
在一种可能的实施方式中，在后续对人脸角度进行校正时，可能需要缩小或者放大人脸在视频图像中比例，在该情况下，处理器110在执行S502时，具体可以通过如下方式实现：
在所述面部特征中不包括位于所述第一视频图像的边缘区域内的特征点时，再根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息。示例性地，处理器110在第一视频图像的面部特征中包括位于所述第一视频图像的边缘区域内的特征点时，则直接确定第一视频图像的面部特征为无效的特征点。比如，参见图6A所示，眉毛特征包括的部分特征点位于视频图像的边缘区域，从而通过三维重建技术对人脸角度校正后，存在黑空区域。
具体地，处理器110在确定第一视频图像的面部特征中是否包括位于所述第一视频图像的边缘区域外的特征点时，可以通过如下方式实现：
方式1，缩小或者放大人脸在视频图像中的比例可以通过缩放系数来指示，从而处理器110可以根据缩放系数确定边缘区域的大小，根据边缘区域的大小，确定第一视频图像的面部特征中是否包括位于所述第一视频图像的边缘区域外的特征点。比如参见图6B所示的边缘区域。
方式2，处理器110可以根据缩放系数确定距离阈值，当面部特征中包括与第一视频图像的边缘的距离小于距离阈值的特征点时，确定第一视频图像的面部特征中包括位于所述第一视频图像的边缘区域外的特征点。当面部特征中不包括与第一视频图像的边缘的距离小于距离阈值的特征点时，确定第一视频图像的面部特征中不包括位于所述第一视频图像的边缘区域外的特征点。
需要说明的是，图像的边缘是指，位于图像最外层的一圈像素点，比如参见图6C所示的图像的边缘。
以下示例性地描述，处理器110根据所述第一视频图像的面部特征确定姿态信息和/或者面部变化信息的过程。如前所述，所述姿态信息可以包括水平偏转度、垂直偏转度和倾斜度中的至少一项。面部变化信息可以包括位移、图像相似度中的至少一项。
示例1，针对根据所述第一视频图像的面部特征确定所述面部变化信息中的所述位移的方式进行描述。
处理器110获取到的第一视频图像的面部特征可以包括N组特征点。其中，N组特征点可以根据特征点所属的面部器官来划分，N为大于或者等于1的正整数，即不同组特征点所属的面部器官不同，同组特征点所属的面部器官相同。
例如，参见图7所示，面部特征包括眉毛特征、眼睛特征、脸颊特征、鼻子特征、嘴部特征以及下巴特征。一种示例的方式，在分组时，可以将属于眉毛特征的特征点划为一组，将属于眼睛特征的特征点划为一组，属于嘴部特征的特征点划为一组，属于鼻子特征的特征点划为一组，将属于下巴特征的特征点划为一组，将属于脸颊特征的特征点划为一组。另一种示例的方式，眉毛又可以分为左眉和右眉，眼睛可以分为左眼和右眼，脸颊可以分为左脸颊和右脸颊，在分组时，将属于眉毛特征的特征点划为两组，分别为属于左眉毛特征的特征点划为一组，属于右眉毛特征的特征点划为另一组；将属于眼睛特征的特征点划为两组，分别为属于左眼特征的特征点划为一组，属于右眼特征的特征点划为另一组；将属于脸颊特征的特征点划为两组，分别为属于左脸颊特征的特征点划为一组，属于右脸颊特征的特征点划为另一组；属于嘴部特征的特征点划为一组，属于鼻子特征的特征点划为一组，属于下巴特征的特征点划为一组。
处理器110在根据所述第一视频图像的面部特征确定所述面部变化信息中的所述位移时，可以通过如下方式实现：
确定第一视频图像的第i组特征点的参考点与第二视频图像中第i组特征点的参考点之间的距离，i取遍小于或者等于N的正整数，从而得到N组距离。
一种方式，可以将所述N组距离的平均值确定为所述位移，另一种方式可以将归一化处理后的所述N组距离的平均值确定为所述位移。
示例性地，第i组特征点的参考点可以是第i组特征点中的一个预设特征点，或者，第i组特征点的参考点可以是第i组特征点的坐标平均值对应的像素点。比如，以图7中下巴特征为例，下巴特征包括的特征点分别为51-57号特征点，下巴特征所属组的参考点可以是51-57号特征点中的一个，比如为54号特征点。也可以分别求取51-57号特征点的水平方向坐标和垂直方向坐标的平均值，得到的坐标对应到第一视频图像(或者第二视频图像)的像素点为参考点。
示例性地，处理器110在对所述N组距离进行归一化处理时，可以根据第一视频图像中的双眼的距离为基准进行。双眼的距离，可以是识别到的左眼瞳孔和右眼瞳孔之间的距离。也可以是第一视频图像中左眼特征的参考点与右眼特征的参考点之间的距离。左眼特征的参考点可以是左眼特征包括的特征点坐标的平均值对应的像素点，右眼特征的参考点可以是右眼特征包括的特征点坐标的平均值对应的像素点。
示例2，针对处理器110根据所述第一视频图像的面部特征确定所述面部变化信息中的所述图像相似度的方式进行描述。
获取到的第一视频图像的面部特征可以包括M组特征点。其中，M组特征点可以根据特征点所属的面部器官来划分，M为大于或者等于1的正整数，即不同组特征点所属的面部器官不同，同组特征点所属的面部器官相同。示例性地，示例2中的面部特征的分组方式可以与示例1中的面部特征的分组方式相同，也可以不同。
处理器110在对面部特征分组后，可以根据各组特征点所包含的范围，获取该组的局域特征图像，例如，如图8所示。
在根据所述第一视频图像的面部特征确定所述面部变化信息中的所述图像相似度时，可以通过如下方式实现：
确定所述第一视频图像中的第j个局部特征图像与所述第二视频图像中的第j个局部特征图像之间的相似度，j取遍小于或者等于N的正整数，得到M个相似度。将所述N个相似度的平均值确定为所述图像相似度。
其中，所述第一视频图像中的第j个局部特征图像是基于所述第一视频图像的第j组特征点所包围的范围确定的，所述第二视频图像中的第j个局部特征图像是基于所述第二视频图像的第j组特征点所包围的范围确定的。
示例性地，第一视频图像中的第j个局部特征图像与第二视频图像中的第j个局部特征图像的尺寸大小相同。当第一视频图像中的第j个局部特征图像与第二视频图像中的第j个局部特征图像的尺寸大小不同时，可以对第一视频图像中的第j个局部特征图像或者第二视频图像中的第j个局部特征图像的尺寸进行调整，使得第一视频图像中的第j个局部特征图像与第二视频图像中的第j个局部特征图像的尺寸大小相同。
作为一种示例，在基于所述第一视频图像的第j组特征点所包围的范围确定所述第一视频图像中的第j个局部特征图像时，可以确定所述第一视频图像的第j组特征点所包围的范围构成的第j个图像，将该第一视频图像的第j个图像的各个像素点的像素值与所述第一视频图像的第j个图像的像素点的平均值作差，从而得到所述第一视频图像的第j个局部特征图像。同样，在基于所述第二视频图像的第j组特征点所包围的范围确定所述第二视频图像中的第j个局部特征图像时，可以确定由所述第二视频图像的第j组特征点所包围的范围内的像素点构成的第j个图像，将该第二视频图像的第j个图像的各个像素点的像素值与所述第二视频图像的第j个图像的像素点的平均值作差，从而得到所述第二视频图像的第j个局部特征图像。
例如，待确定的视频图像(第一视频图像或者第二视频图像)的第j组特征点所包围的范围构成的第j个图像，第j个图像的像素点包括L个，待确定的视频图像的第j个局部特征图像可以通过如下公式确定：
Figure BDA0002090743360000121
其中，
Figure BDA0002090743360000131
表示所述待确定的视频图像的第j个局部特征图像的第k个像素点的像素值，
Figure BDA0002090743360000132
表示所述待确定的视频图像的第j个图像的第k个像素点的像素值。
示例性地，相似度可以是均方误差、或者是结构相似性(structural similarity，SSIM)、或者信噪比(signal to noise ratio，SNR)、或者是峰值信噪比(peak signal tonoise ratio，PSNR)等。
示例3，针对处理器110根据所述第一视频图像的面部特征确定所述姿态信息中的所述水平偏转度的方式进行描述。具体可以采用如下任意一种方式：
方式1：面部特征包括左脸颊特征、右脸颊特征、和鼻子特征。
确定左脸颊特征的参考点与鼻子特征的参考点之间的第一距离，以及右脸颊特征的参考点与鼻子特征的参考点之间的第二距离；
将所述第一距离与所述第二距离的比值确定为所述水平偏转度，或者将所述第二距离与所述第一距离的比值确定为所述水平偏转度；
其中，所述左脸颊特征的参考点为所述左脸颊特征中的预设特征点，鼻子特征的参考点为所述鼻子特征中的预设特征点，右脸颊特征的参考点为所述右脸颊特征中的预设特征点；或者，
所述左脸颊特征的参考点为所述左脸颊特征的坐标的平均值对应的像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点坐标的平均值对应的像素点，所述右脸颊特征的参考点为所述右脸颊特征包括的特征点坐标的平均值对应的像素点；或者，
所述左脸颊特征的参考点为所述左脸颊特征包括的特征点所包围的范围构成的左脸颊特征图像的中心像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点所包围的范围构成的鼻子特征图像的中心像素点，所述右脸颊特征的参考点为所述右脸颊特征包括的特征点所包围的范围构成的右脸颊特征图像的中心像素点。
方式2：面部特征中包括鼻尖点和鼻鞍点。
获取面部特征中的鼻尖点和鼻鞍点的三维坐标。具体可以通过图像坐标系与相机坐标系之间的转换关系确定面部特征的鼻尖点和鼻鞍点的三维坐标。
根据鼻尖点和鼻鞍点的三维坐标确定水平偏转度。比如，鼻尖点的三维坐标为(xn，yn，zn)，鼻鞍点的三维坐标为(xs，ys，zs)，具体可以通过如下公式确定水平偏转度，Xw表示水平偏转度：
Figure BDA0002090743360000133
示例4，针对根据所述第一视频图像的面部特征确定所述姿态信息中的所述垂直偏转度的方式进行描述。具体可以采用如下任意一种方式：
方式1:所述面部特征包括眼睛特征、下巴特征、和鼻子特征。
确定眼睛特征的参考点与鼻子特征的参考点之间的第三距离，以及下巴特征的参考点与鼻子特征的参考点之间的第四距离；
将所述第三距离与所述第四距离的比值确定为所述水平偏转度，或者将所述第四距离与所述第三距离的比值确定为所述垂直偏转度；
其中，所述眼睛特征的参考点为所述眼睛特征中的预设特征点，鼻子特征的参考点为所述鼻子特征中的预设特征点，下巴特征的参考点为所述下巴特征中的预设特征点；或者，
所述眼睛特征的参考点为所述眼睛特征包括的特征点坐标的平均值对应的像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点坐标的平均值对应的像素点，所述下巴特征的参考点为所述下巴特征包括的特征点坐标的平均值对应的像素点；
所述眼睛特征的参考点为所述眼睛特征包括的特征点所包围的范围构成的左脸颊特征图像的中心像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点所包围的范围构成的鼻子特征图像的中心像素点，所述下巴特征的参考点为所述下巴特征包括的特征点所包围的范围构成的右脸颊特征图像的中心像素点。
方式2：面部特征中包括鼻尖点和鼻鞍点。
获取面部特征中的鼻尖点和鼻鞍点的三维坐标。具体可以通过图像坐标系与相机坐标系之间的转换关系确定面部特征的鼻尖点和鼻鞍点的三维坐标。
根据鼻尖点和鼻鞍点的三维坐标确定水平偏转度。比如，鼻尖点的三维坐标为(xn，yn，zn)，鼻鞍点的三维坐标为(xs，ys，zs)，具体可以通过如下公式确定垂直偏转度，Yw表示垂直偏转度：
Figure BDA0002090743360000141
示例5：针对根据所述第一视频图像的面部特征确定所述姿态信息中的所述倾斜度的方式进行描述。
所述面部特征包括左眼特征和右眼特征，具体可以采用如下方式确定所述倾斜度：
将所述左眼特征的参考点与所述右眼特征的参考点之间的连线偏移水平方向的角度确定为所述倾斜度；
所述左眼特征的参考点为所述左眼特征包括的特征点坐标的平均值对应的像素点，所述右眼特征的参考点为所述右眼特征包括的特征点坐标的平均值对应的像素点；或者，
所述左眼特征的参考点为所述左眼特征中的左眼瞳孔特征点，所述右眼特征的参考点为所述右眼特征中的右眼瞳孔特征点；或者，
所述左眼特征的参考点为所述左眼特征包括的特征点所包围的范围构成的左眼特征图像的中心像素点，所述右眼特征的参考点为所述右眼特征包括的特征点所包围的范围构成的右眼特征图像的中心像素点。
示例性地，左眼特征的参考点坐标为(x1，y1)，右眼特征的参考点为(x2，y2)，则可以通过如下公式确定倾斜度Zw：
Figure BDA0002090743360000142
下面结合具体应用场景对本申请实施例提供的方案进行详细说明。
以应用到视频拍摄场景为例，以对摄像头130拍摄的视频图像中的人脸角度进行校准为例，来具体说明本申请在采用三维重建技术，比如3DMM模型，进行人脸角度矫正前的面部特征有效性判断的实施过程。由于3DMM技术对人脸三维重建的效果基于面部特征的有效性，因此首先需要对面部特征的有效性进行判断。比如，当特征点失效时，可以针对该帧视频图像不执行三维重建，以防止造成不良重建结果(比如图2所示)，进而增强用户体验。
参见图9所示，为一种面部特征的有效性判定方法流程示意图。该方法可以由电子设备执行，或者由电子设备中的处理器110执行。比如，由摄像头130采集到视频流中的各帧视频图像，然后将各帧视频图像输入给处理器110，然后由处理器110执行面部特征的有效性判定。为了描述方便，本实施例中待处理的视频图像也称为第一视频图像，将视频流中第一视频图像的前一帧图像称为第二视频图像。另外，图9中以配置多个条件的执行顺序为例进行示例性说明，以条件1->条件2->条件3->条件4->条件5的顺序为例，仅是一种示例，并不对条件1-条件5的具体执行顺序进行具体限定。方法可以包括：
S901，获取第一视频图像，并获取第一视频图像的面部特征。以面部特征包括左脸颊特征、右脸颊特征、鼻子特征、嘴部特征、左眼特征、右眼特征、以及左眉毛特征、右眉毛特征为例。
S902，确定所述面部特征包括的特征点数量是否为预设数量阈值，若是，执行S909，若否执行S903。S902仅是一种示例，或者可以根据预设数量范围来确定面部特征包括的特征点数量是否符合三维重建的要求。图9以预设数量阈值为例。
S903，确定面部特征包括的特征点中是否存在位于图像边缘区域或超出图像范围的特征点，若是，执行S909，若否，执行S904。
S904，对所述面部特征包括的特征点按照所属的器官进行分组，得到m组。比如参见图8所示，包括左脸颊特征组、右脸颊特征组、鼻子特征组、嘴部特征组、左眼特征组、右眼特征组、以及左眉毛特征组、右眉毛特征组，即m为8组。
在分组完成后，获得各组特征点的参考点。图9所示的实施例中以一组特征点的参考点为该组包括特征点的坐标的平均值对应像素点，比如参见图10所示。
S905，确定所述人物头部在所述第一视频图像的位置相比第二视频图像中的人物头部的位置之间的位移是否大于第一阈值，若是，执行S909，若否执行S906。
示例性地，确定第一视频帧的第i组特征点的参考点与第二视频图像中第i组特征点的参考点之间的距离，i取遍小于或者等于m的正整数，从而得到m组距离，为了排除人物头部距离屏幕远近造成的图像大小的影响，可以对m组距离进行归一化处理，比如以第一视频帧图像中左眼的参考点与右眼的参考点之间的距离为基准进行归一化处理，得到归一化处理后的m组距离，确定归一化处理后的m组距离的平均值，即为确定的所述人物头部在所述第一视频图像的位置相比第二视频图像中的人物头部的位置之间的位移。
S906，根据每组特征点所包围的范围获取各组的局部特征图像。
例如，将第一视频图像与第二视频图像的每组特征点所包围的范围构成的图像逐一对应，并转变为同样大小尺寸。分别将尺寸转换后的各个图像中的各个像素点的像素值减去该图像的平均像素值，从而能够排除光强影响，得到各组的局部特征图像。
S907，根据第一视频图像与第二视频图像中的各组的局部特征图像确定第一视频图像与第二视频图像的面部特征的图像相似度是否大于第二阈值。若是，执行S909，若否执行S908。
示例性地，以相似度通过均方误差来确定为例，获得第一视频图像与第二视频图像的相同器官组的局部特征图像的均方误差。若全部局部特征图像的均方误差的平均值大于第二阈值，则可判定相同部位的局部区域图像所示的部位变化过大，特征点追踪不准确，面部特征失效。
S908，确定人物头部的偏转度是否过大，若否，流程结束，若是，执行S909。
示例性地，人物头部的偏转度可以包括水平偏转度、垂直偏转度以及倾斜度。具体计算方式如前所述，此处不再赘述。
例如，确定人物头部的偏转度是否过大，具体确定满足如下任一条件时，确定人物头部的偏转度过大：
条件3，所述水平偏转度大于第三阈值；
条件4，所述垂直偏转度大于第四阈值；
条件5，所述倾斜度大于第五阈值。
S909，确定所述面部特征为无效特征。
示例性地，处理器110在确定第一视频图像为无效特征时，可以不对第一视频图像进行三维重建处理，而是将第一视频图像通过显示屏140显示给用户。处理器110在确定第一视频图像为有效特征是，可以对第一视频图像进行三维重建处理，将三维重建处理后的第一视频图像通过显示屏140显示给用户。
基于与上述方法同样的构思，本申请实施例还提供了一种装置10，参见图10所示，该装置1100具体可以是电子设备中的处理器，或者芯片或者芯片系统，或者是电子设备中一个模块等。示意性的，该装置可以包括获取单元1001，第一确定单元1002以及第二确定单元1003。获取单元1001，第一确定单元1002以及第二确定单元1003执行图5、图9对应的实施例所示的方法步骤。比如获取单元1001可以用于获取第一视频图像的面部特征，第一确定单元1002，用于根据面部特征确定姿态信息和/或面部变化信息，第二确定单元1003用于根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征。
本申请实施例还提供一种电子设备，如图11所示，电子设备11中可以包括处理器1110。可选的，电子设备11中还可以包括存储器1120。其中，存储器1120可以设置于电子设备11内部，还可以设置于电子设备11外部。上述图10中所示的获取单元1001，第一确定单元1002以及第二确定单元1003均可以由处理器1110实现。可选的，装置11中还可以包括显示屏1130和摄像头1140。其中，处理器1110与存储器1120、显示屏1130和摄像头1140耦合，本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。需要说明的是，本申请实施例中显示屏和摄像头可以位于电子设备上，也可以不位于电子设备上。例如，显示屏和/或摄像头可以作为外接设备与电子设备连接。
具体的，存储器1120用于存储程序指令。显示屏1130用于显示拍照预览界面，拍照预览界面包括摄像头1140采集的图像。处理器1110用于调用存储器1120中存储的程序指令，使得电子设备1100执行图5、图9所示的面部特征的有效性确定方法中由电子设备所执行的步骤。
应理解，该电子设备1100可以用于实现本申请实施例的如图5、图9所示的面部特征的有效性确定方法的方法，相关特征可以参照上文，此处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种面部特征的有效性判定方法，其特征在于，包括：
电子设备获取第一视频图像的面部特征；
所述电子设备根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息；所述姿态信息用于表征所述第一视频图像中面部特征所指示的人物头部的偏转度，所述面部变化信息用于表征所述人物头部在所述第一视频图像与第二视频图像中的位置变化情况，所述第二视频图像为在所述第一视频图像所属的视频流中，位于所述第一视频图像前面的一帧图像，第二视频图像与所述第一视频图像间隔的视频图像数量位于预设数量范围内；
所述电子设备根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征。
2.如权利要求1所述的方法，其特征在于，所述电子设备根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息，包括：
所述电子设备在所述面部特征中不包括位于所述第一视频图像的边缘区域内的特征点时，根据所述第一视频图像的面部特征确定姿态信息和/或面部变化信息。
3.如权利要求1或2所述的方法，其特征在于，所述姿态信息包括用于表征所述人物头部左右转动的水平偏转度、用于表征所述人物头部抬头或者低头的垂直偏转度和用于表征所述人物头部歪斜程度的倾斜度中的至少一项，或者，
所述面部变化信息包括所述人物头部在所述第一视频图像的位置相比第二视频图像中的人物头部的位置之间的位移、所述第一视频图像的面部图像与所述第二视频图像的面部图像之间的图像相似度中的至少一项。
4.如权利要求3所述的方法，其特征在于，所述电子设备根据所述姿态信息和/或所述面部变化信息，确定所述面部特征是否为无效特征，包括：
所述电子设备确定满足如下至少一个条件时，确定所述第一视频图像中的面部特征为无效特征；
所述位移大于第一阈值；
所述图像相似度大于第二阈值；
所述水平偏转度大于第三阈值；
所述垂直偏转度大于第四阈值；
所述倾斜度大于第五阈值。
5.如权利要求3或4所述的方法，其特征在于，所述面部特征包括N组特征点，所述N为大于或者等于1的正整数，不同组特征点所属的面部器官不同；
所述电子设备根据所述第一视频图像的面部特征确定所述面部变化信息中的所述位移，包括：
所述电子设备确定第一视频图像的第i组特征点的参考点与第二视频图像中第i组特征点的参考点之间的距离，得到N组距离，i取遍小于或者等于N的正整数；
所述电子设备将所述N组距离的平均值确定为所述位移，或者将归一化处理后的所述N组距离的平均值确定为所述位移。
6.如权利要求5所述的方法，其特征在于，所述面部特征包括M组特征点，所述M为大于或者等于1的正整数，不同组特征点所属的面部器官不同；
所述电子设备根据所述第一视频图像的面部特征确定所述面部变化信息中的所述图像相似度，包括：
所述电子设备确定所述第一视频图像中的第j个局部特征图像与所述第二视频图像中的第j个局部特征图像之间的相似度，得到M个相似度，j取遍小于或者等于M的正整数；
其中，所述第一视频图像中的第j个局部特征图像是基于所述第一视频图像的第j组特征点所包围的范围确定的，所述第二视频图像中的第j个局部特征图像是基于所述第二视频图像的第j组特征点所包围的范围确定的；
所述电子设备将所述M个相似度的平均值确定为所述图像相似度。
7.如权利要求3-6任一项所述的方法，其特征在于，所述面部特征包括左脸颊特征、右脸颊特征、和鼻子特征；
所述电子设备根据所述第一视频图像的面部特征确定所述水平偏转度，包括：
所述电子设备确定左脸颊特征的参考点与鼻子特征的参考点之间的第一距离，以及右脸颊特征的参考点与鼻子特征的参考点之间的第二距离；
所述电子设备将所述第一距离与所述第二距离的比值确定为所述水平偏转度，或者将所述第二距离与所述第一距离的比值确定为所述水平偏转度；
其中，所述左脸颊特征的参考点为所述左脸颊特征中的预设特征点，鼻子特征的参考点为所述鼻子特征中的预设特征点，右脸颊特征的参考点为所述右脸颊特征中的预设特征点；或者，
所述左脸颊特征的参考点为所述左脸颊特征包括的特征点坐标的平均值对应的像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点坐标的平均值对应的像素点，所述右脸颊特征的参考点为所述右脸颊特征包括的特征点坐标的平均值对应的像素点。
8.如权利要求3-7任一项所述的方法，其特征在于，所述面部特征包括眼睛特征、下巴特征、和鼻子特征；
所述电子设备根据所述第一视频图像的面部特征确定所述垂直偏转度，包括：
所述电子设备确定眼睛特征的参考点与鼻子特征的参考点之间的第三距离，以及下巴特征的参考点与鼻子特征的参考点之间的第四距离；
所述电子设备将所述第三距离与所述第四距离的比值确定为所述水平偏转度，或者将所述第四距离与所述第三距离的比值确定为所述垂直偏转度；
其中，所述眼睛特征的参考点为所述眼睛特征中的预设特征点，鼻子特征的参考点为所述鼻子特征中的预设特征点，下巴特征的参考点为所述下巴特征中的预设特征点；或者，
所述眼睛特征的参考点为所述眼睛特征包括的特征点坐标的平均值对应的像素点，所述鼻子特征的参考点为所述鼻子特征包括的特征点坐标的平均值对应的像素点，所述下巴特征的参考点为所述下巴特征包括的特征点坐标的平均值对应的像素点。
9.如权利要求3-8任一项所述的方法，其特征在于，所述面部特征包括左眼特征和右眼特征；
所述电子设备根据所述第一视频图像的面部特征确定所述倾斜度，包括：
所述电子设备将所述左眼特征的参考点与所述右眼特征的参考点之间的连线的偏移水平方向的角度确定为所述倾斜度；
所述左眼特征的参考点为所述左眼特征包括的特征点坐标的平均值对应的像素点，所述右眼特征的参考点为所述右眼特征包括的特征点坐标的平均值对应的像素点；或者，所述左眼特征的参考点为所述左眼特征中的左眼瞳孔特征点，所述右眼特征的参考点为所述右眼特征中的右眼瞳孔特征点。
10.一种电子设备，其特征在于，包括至少一个处理器和至少一个存储器；
所述存储器，用于存储程序指令；
所述处理器，用于读取所述存储器中存储的所述程序指令，以实现如权利要求1至9任一所述的方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序指令，当所述程序指令在电子设备上运行时，使得所述电子设备执行权利要求1至9任一所述的方法。
12.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行权利要求1至9任一所述的方法。
13.一种芯片，其特征在于，所述芯片与电子设备中的存储器耦合，所述芯片在读取并执行所述存储器中存储的计算机指令时，执行如权利要求1至9任一所述的方法。
CN201910502644.3A 2019-06-11 2019-06-11 一种面部特征的有效性判定方法及电子设备 Active CN112069863B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910502644.3A CN112069863B (zh) 2019-06-11 2019-06-11 一种面部特征的有效性判定方法及电子设备
US17/617,893 US20220309780A1 (en) 2019-06-11 2020-06-09 Method For Determining Validity Of Facial Feature, And Electronic Device
EP20822459.2A EP3975047B1 (en) 2019-06-11 2020-06-09 Method for determining validness of facial feature, and electronic device
PCT/CN2020/095012 WO2020248950A1 (zh) 2019-06-11 2020-06-09 一种面部特征的有效性判定方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502644.3A CN112069863B (zh) 2019-06-11 2019-06-11 一种面部特征的有效性判定方法及电子设备

Publications (2)

Publication Number Publication Date
CN112069863A true CN112069863A (zh) 2020-12-11
CN112069863B CN112069863B (zh) 2022-08-19

Family

ID=73657851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502644.3A Active CN112069863B (zh) 2019-06-11 2019-06-11 一种面部特征的有效性判定方法及电子设备

Country Status (4)

Country Link
US (1) US20220309780A1 (zh)
EP (1) EP3975047B1 (zh)
CN (1) CN112069863B (zh)
WO (1) WO2020248950A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488058A (zh) * 2020-12-17 2021-03-12 北京比特大陆科技有限公司 面部跟踪方法、装置、设备和存储介质
CN113453034A (zh) * 2021-06-29 2021-09-28 上海商汤智能科技有限公司 数据展示方法、装置、电子设备以及计算机可读存储介质
CN117745597A (zh) * 2024-02-21 2024-03-22 荣耀终端有限公司 图像处理方法及相关装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067352A (zh) * 2021-10-11 2022-02-18 辽宁科技大学 一种有效区域提取基础上特征点的手背静脉图像方法
CN117253013B (zh) * 2023-11-07 2024-02-23 中国科学院空天信息创新研究院 基于协同感知的分布式三维重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统
CN107784263A (zh) * 2017-04-28 2018-03-09 新疆大学 基于改进加速鲁棒特征的平面旋转人脸检测的方法
CN107944424A (zh) * 2017-12-08 2018-04-20 广东金杭科技有限公司 分布前端人像采集及多角度人像比对方法
CN109598196A (zh) * 2018-10-29 2019-04-09 华中科技大学 一种多形变多姿态人脸序列的特征点定位方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060148323A1 (en) * 2004-12-03 2006-07-06 Ulrich Canzler Facial feature analysis system
EP2281667B1 (en) * 2005-09-30 2013-04-17 iRobot Corporation Companion robot for personal interaction
CN101763636B (zh) * 2009-09-23 2012-07-04 中国科学院自动化研究所 视频序列中的三维人脸位置和姿态跟踪的方法
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20140309878A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Providing gesture control of associated vehicle functions across vehicle zones
CN103426024B (zh) * 2013-07-12 2016-04-20 上海理工大学 一种人体头部转动检测的装置和方法
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
GB201512283D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
JP7113013B2 (ja) * 2016-12-14 2022-08-04 コーニンクレッカ フィリップス エヌ ヴェ 被験者の頭部の追跡
CN107066983B (zh) * 2017-04-20 2022-08-09 腾讯科技（上海）有限公司 一种身份验证方法及装置
CN109151540B (zh) * 2017-06-28 2021-11-09 武汉斗鱼网络科技有限公司 视频图像的交互处理方法及装置
CN107909061B (zh) * 2017-12-07 2021-03-30 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN108197534A (zh) * 2017-12-19 2018-06-22 迈巨（深圳）科技有限公司 一种人头部姿态检测方法、电子设备及存储介质
CN109002757A (zh) * 2018-06-04 2018-12-14 上海商汤智能科技有限公司 驾驶管理方法和系统、车载智能系统、电子设备、介质
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
CN109117765A (zh) * 2018-07-27 2019-01-01 长春阿德泰科电子设备有限公司 视频侦查装置和方法
CN114603559A (zh) * 2019-01-04 2022-06-10 上海阿科伯特机器人有限公司 移动机器人的控制方法、装置、移动机器人及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650688A (zh) * 2016-12-30 2017-05-10 公安海警学院 基于卷积神经网络的眼部特征检测方法，装置及识别系统
CN107784263A (zh) * 2017-04-28 2018-03-09 新疆大学 基于改进加速鲁棒特征的平面旋转人脸检测的方法
CN107944424A (zh) * 2017-12-08 2018-04-20 广东金杭科技有限公司 分布前端人像采集及多角度人像比对方法
CN109598196A (zh) * 2018-10-29 2019-04-09 华中科技大学 一种多形变多姿态人脸序列的特征点定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488058A (zh) * 2020-12-17 2021-03-12 北京比特大陆科技有限公司 面部跟踪方法、装置、设备和存储介质
CN113453034A (zh) * 2021-06-29 2021-09-28 上海商汤智能科技有限公司 数据展示方法、装置、电子设备以及计算机可读存储介质
CN113453034B (zh) * 2021-06-29 2023-07-25 上海商汤智能科技有限公司 数据展示方法、装置、电子设备以及计算机可读存储介质
CN117745597A (zh) * 2024-02-21 2024-03-22 荣耀终端有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
EP3975047A4 (en) 2022-08-03
EP3975047B1 (en) 2024-04-10
EP3975047A1 (en) 2022-03-30
CN112069863B (zh) 2022-08-19
US20220309780A1 (en) 2022-09-29
WO2020248950A1 (zh) 2020-12-17

Similar Documents

Publication Publication Date Title
CN112069863B (zh) 一种面部特征的有效性判定方法及电子设备
CN103310186B (zh) 校正图像中用户的注视方向的方法和便携式终端
CN110139028B (zh) 一种图像处理的方法及头戴式显示设备
US11398044B2 (en) Method for face modeling and related products
CN111985268B (zh) 一种人脸驱动动画的方法和装置
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN108076290B (zh) 一种图像处理方法及移动终端
WO2020237611A1 (zh) 图像处理方法、装置、控制终端及可移动设备
CN108712603B (zh) 一种图像处理方法及移动终端
CN111353336B (zh) 图像处理方法、装置及设备
CN113325948B (zh) 隔空手势的调节方法及终端
CN109978996B (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN112541400A (zh) 基于视线估计的行为识别方法及装置、电子设备、存储介质
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110314344B (zh) 运动提醒方法、装置及系统
CN112528760B (zh) 图像处理方法、装置、计算机设备及介质
CN113342157B (zh) 眼球追踪处理方法及相关装置
CN117152807A (zh) 人体头部定位方法、装置和存储介质
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN114973347B (zh) 一种活体检测方法、装置及设备
RU2807472C2 (ru) Способ определения допустимости признака лица и электронное устройство
CN107872619B (zh) 一种拍照处理方法、装置及设备
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
CN113643392B (zh) 面部生成模型训练方法、面部图像生成方法及装置
WO2024144805A1 (en) Methods and systems for image processing with eye gaze redirection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210429

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Applicant after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant