CN112446254A - 人脸追踪的方法及相关装置 - Google Patents

人脸追踪的方法及相关装置 Download PDF

Info

Publication number
CN112446254A
CN112446254A CN201910818123.9A CN201910818123A CN112446254A CN 112446254 A CN112446254 A CN 112446254A CN 201910818123 A CN201910818123 A CN 201910818123A CN 112446254 A CN112446254 A CN 112446254A
Authority
CN
China
Prior art keywords
face
image
images
target
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910818123.9A
Other languages
English (en)
Inventor
李建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201910818123.9A priority Critical patent/CN112446254A/zh
Publication of CN112446254A publication Critical patent/CN112446254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种人脸追踪的方法及相关装置，应用于电子设备，所述方法包括：检测到目标用户在移动时，获取所述目标用户的运动参数；根据所述运动参数，确定运动轨迹；在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。本申请有利于提高人脸追踪的准确度。

Description

人脸追踪的方法及相关装置
技术领域
本申请涉及图像处理技术领域，具体涉及人脸追踪的方法及相关装置。
背景技术
随着人脸识别技术的成熟，人脸识别技术被广泛用于各种场景，例如身份认证、拍摄的场景中。通过人脸识别可以精确定位并追踪面部区域位置，随着人物脸部位置的变化能够快速定位人脸位置，并且适用于不同表情、性别、年龄、姿态、光照等条件，但是在拍摄场景中，伴随着用户的移动速度，人脸识别不能准确的抓拍，造成了成像模糊的情况。
发明内容
本申请实施例提供了人脸追踪方法及相关装置，有利于提高人脸追踪控制中的准确度。
第一方面，本申请实施例提供一种人脸追踪的方法，应用于电子设备，所述方法包括：
检测到目标用户在移动时，获取所述目标用户的运动参数；
根据所述运动参数，确定运动轨迹；
在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；
根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
第二方面，本申请实施例提供一种人脸追踪的装置，应用于电子设备，所述人脸追踪的装置包括检测单元、确定单元、获取单元，其中，
所述检测单元，用于检测到目标用户在移动时，获取所述目标用户的运动参数；
所述确定单元，用于根据所述运动参数，确定运动轨迹；
所述获取单元，用于在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；
所述确定单元，还用于根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤，上述计算机包括电子设备。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
可以看出，本申请实施例中，电子设备首先检测到目标用户在移动时，获取所述目标用户的运动参数，其次，根据所述运动参数，确定运动轨迹，然后，在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息，最后，根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。可见，电子设备可根据运动参数，进一步的确定运动轨迹，并根据运动轨迹采集多个图像，确保了多个图像是在轨迹上的，而不是偏离运动轨迹外的图像，避免增大后续进行人脸图像处理时的图像误差性，进而得到了准确的图像，进一步的进行人脸图像处理，有效的解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题，有利于提高人脸追踪的准确性。
附图说明
下面将对本申请实施例所涉及到的附图作简单地介绍。
图1是一种人脸追踪的控制设备的结构示意图；
图2A是本申请实施例提供的一种人脸追踪的方法的流程示意图；
图2B是本申请实施例提供的一种人脸追踪的图像示意图；
图3是本申请实施例公开的一种人脸追踪的方法的流程示意图；
图4是本申请实施例公开的一种人脸追踪的方法的流程示意图；
图5是本申请实施例公开的一种电子设备的结构示意图；
图6是本申请实施例公开的一种电子设备的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。本发明实施例所涉及到的操作系统是对硬件资源进行统一管理，并向用户提供业务接口的软件系统。
如图1所示，图1是本申请实施例提供的一种人脸追踪的控制设备结构示意图，该人脸追踪的控制设备100包括：控制芯片101、深度摄像头102、距离传感器103、3D人脸识别装置104，所述控制芯片101连接并控制所述深度摄像头102、所述距离传感器103和所述3D人脸识别装置104。
其中，控制芯片101是人脸追踪的控制设备100的控制中枢，用于接收信息，并通过信息对深度摄像头102、距离传感器103、3D人脸识别装置104下达运行指令。
其中，深度摄像头102是一种新型立体视觉传感器和三维深度感知模组，可实时获取高分辨率、高精度、低时延的深度Depth和RGB视频流，实时生成3D图像，用于三维图像的实时目标识别、动作捕捉或场景感知。
其中，3D人脸识别装置104是一种可移动的装置，可以上下移动和调整拍摄角度，并在其内部安有摄像头。
下面对本申请实施例进行详细介绍。
请参阅图2A，图2A是本申请实施例提供了一种人脸追踪的方法的流程示意图，应用于电子设备，如图2A所示，本人脸追踪的方法包括：
S201，电子设备检测到目标用户在移动时，获取所述目标用户的运动参数。
其中，所述运动参数可以包括但不限于初速度、加速度、速度方向、时间等，此处不做唯一限定。
可选的，所述电子设备启动摄像头或是加速度传感器获取所述目标用户的运动参数。
S202，所述电子设备根据所述运动参数，确定运动轨迹。
其中，所述运动轨迹可以为由初速度、加速度和时间通过预设公式，模拟得到的运动轨迹或是根据实时采集用户的图像，通过解析多张图片得到。
其中，所述预设公式可以为带中间点的轨迹三次多项式、带抛物线混合段的线性函数得到，此处不做唯一限定。
S203，所述电子设备在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息。
其中，每张图像对应不同的位置信息，且部分图像可部分重复，但不可完全重复，通过设定预设时间间隔，在固定的预设时间间隔内，采集多张图像。
S204，所述电子设备根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
其中，所述目标人脸图像为清晰的人脸。
可以看出，本申请实施例中，电子设备首先检测到目标用户在移动时，获取所述目标用户的运动参数，其次，根据所述运动参数，确定运动轨迹，然后，在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息，最后，根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。可见，电子设备可根据运动参数，进一步的确定运动轨迹，并根据运动轨迹采集多个图像，确保了多个图像是在轨迹上的，而不是偏离运动轨迹外的图像，避免增大后续进行人脸图像处理时的图像误差性，进而得到了准确的图像，进一步的进行人脸图像处理，有效的解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题，有利于提高人脸追踪的准确性。
在一个可能的示例中，所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像，包括：确定所述多张图像中每张图像的人脸区域，得到至少一个人脸图像；将所述至少一个人脸图像输入预设深度神经网络模型，得到所述至少一个人脸图像的人脸特征信息；获取所述人脸特征信息的清晰度；筛选出超过预设清晰度的每个人脸部位的区域图像；将所述每个人脸部位的区域图像进行组合，得到目标人脸图像。
其中，所述人脸区域可对人脸进行框选得到，即可识别人脸轮廓，得到人脸区域。如图2B所述，图中为用户A，在跳跃的拍摄中，根据运动轨迹，采集用户A的多张图像，其中，对用户A的每个位置人脸的进行框选，如图所示，若是存在部分人脸图像重复的部分，则可以一起框选两个重复的人脸图像。
其中，人脸特征点的提取可根据人脸结构的视觉先验知识，对关键人脸特征点定位时加入经过训练的先验比例尺关系，即从额头到眼睛、眼睛到鼻孔、鼻孔到嘴巴和嘴巴到下颌的Y坐标比例关系，可以排除明显的单个关键点的错误定位，得到准确的人脸特征点。
其中，预设清晰度可以为出厂时厂商设定或是根据上述人脸图像的图像画质分析得到，此处不做唯一限定。
举例来说，获取到A、B、C三个图像的人脸特征信息的清晰度，其中，A图像中眼部区域最清晰；B图像中的鼻子区域最清晰；C图像中的嘴部区域最最清晰；则根据预设的人脸比例，将A图像的眼部区域、B图像中的鼻子区域及C图像中的嘴部区域组合起来，得到目标人脸图像，其中，所述预设人脸比例可以为1/3:1/3:1/3。
可见，本示例中，电子设备通过提取人脸图像框的人脸特征信息，进一步得到每张图中人脸每个部位的清晰度，进而筛选出清晰度较高的部分进行组合，得到较为清晰的人脸图像，避免得到部分清晰或是模糊的人脸图像，从而有利于提高人脸追踪的准确性。
在一个可能的示例中，所述将所述每个人脸部位的区域图像进行组合，得到目标人脸图像，包括：根据所述每张图像的位置信息确定每张图像中的人脸边缘区域；计算所述每张图像中的人脸边缘区域的均值，得到目标人脸边缘区域；根据所述目标人脸边缘区域确定人脸面积，并获取所述每个人脸部位的区域图像的面积；计算所述至少一个人脸图像中的人脸比例，所述人脸比例为人脸部位与人脸面积的百分比；按照所述人脸比例组合所述每个人脸部位的区域图像，得到目标人脸图像。
可选的，获取每张图像中心点，以中心点为原点，建立直角坐标系，即根据所述每张图像的位置信息，得到每张图像中的人脸边缘区域的至少一个边缘坐标及每个人脸部位的坐标。
其中，根据至少一个边缘坐标通过计算可确定人脸面积及每个人脸部位的区域图像的面积。
其中，所述计算所述至少一个人脸图像中的人脸比例，所述人脸比例可以为：眼部区域占全脸面积的比例：鼻子区域占全脸面积的比例：嘴部区域占全脸面积的比例。
可见，本示例中，电子设备通过多张人脸的边缘区域确定出目标的人脸边缘区域，即先限定了目标人脸图像的图像面积，进而在将之前筛选出的超过预设清晰度的每个人脸部位的区域图像，依照限定后的目标人脸图像的图像面积进行等比例的缩小或放大，避免出现在进行面部组合时，因人脸比例不协调而导致图像失真的情况出现，提高了人脸追踪的准确性。
可选的，获取到多个人脸比例，除去最高比例值和最低比例值，计算剩余比例值的均值，所述均值为目标人脸比例，按照所述目标人脸比例组合所述每个人脸部位的区域图像，得到目标人脸图像。
在一个可能的示例中，所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像，包括：检测所述多张图像的清晰度；筛选出超过预设清晰度的至少一张图像；分别获取所述至少一张图像的位置信息；筛选出在预设位置信息内的目标图像；提取所述目标图像的人脸特征点，得到目标人脸图像。
其中，预设清晰度可以为出厂时厂商设定或是根据上述人脸图像的图像画质分析得到，此处不做唯一限定。
其中，预设位置信息为在上述运动轨迹上的位置。
其中，所述预设人脸特征点为提前录入至少一个用户的人脸图像，提取并存储该人脸图像中的人脸特征点。
可见，本示例中，本申请第一次筛选出清晰度较好的至少一张图像，并在至少一张图像上进行第二次筛选，去除掉不在运动轨迹内的图像，进一步的提高了人脸追踪的准确性。
在一个可能的示例中，所述在所述运动轨迹中获取所述目标用户的多张图像，包括：根据所述运动轨迹，确定所述目标用户至少一个运动位置；根据所述至少一个运动位置，采集所述至少一个运行位置中每一位置的多张图像；筛选所述每一位置的多张图像，得到所述每一位置的目标图像；通过所述每一位置的目标图像组成多张图像。
可选的，所述筛选所述每一位置的多张图像，得到所述每一位置的目标图像，包括：将每个位置的多张图像进行人脸定位；根据所述人脸定位，进一步的对图像进行预处理，对比多张图像的灰度值及对比度，筛选出超过预设阈值的图像，该图像为每一位置的目标图像。
可见，本示例中，电子设备通过筛选根据每个位置的多张图像，进一步的得到每个位置上图像质量最高的目标图像，进而将多个目标图像进行后续的图像组合步骤，提高了人脸追踪的智能性和准确性。
在一个可能的示例中，在所述运动轨迹中获取所述目标用户的多张图像之前，所述方法还包括：获取所述运动轨迹中的初始图像；将所述初始图像带入预设运动轨迹算法，得到参考运动轨迹中每一位置的参考图像。
其中，所述参考图像是根据初始图像，模拟得到的，即在采集后续图像之前，参考运动轨迹中有每个位置的参考图像。
可选的，在所述运动轨迹中获取所述目标用户的多张图像之后，所述方法还包括：将所述多张图像与所述每一位置的参考图像做匹配，得到每一位置的图像匹配率；筛选出大于预设匹配率的每一位置的目标图像；将所述每一位置的目标图像组成多个图像，所述多个图像用于人脸图像处理。
其中，预设匹配率可以为出厂时厂商设定或是用户自行设定，此处不做唯一限定。
可见，本示例中，电子设备将采集到的图像与参考图像做匹配，可得到更为准确的图像，有利于提高人脸追踪的安全性。
与上述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种人脸追踪的方法的流程示意图，应用于电子设备，如图所示，本人脸追踪的方法包括：
S301，电子设备检测到目标用户在移动时，获取所述目标用户的运动参数。
S302，所述电子设备根据所述运动参数，确定运动轨迹。
S303，所述电子设备在所述运动轨迹中获取所述目标用户的多张图像。
S304，所述电子设备确定所述多张图像中每张图像的人脸区域，得到至少一个人脸图像。
S305，所述电子设备将所述至少一个人脸图像输入预设深度神经网络模型，得到所述至少一个人脸图像的人脸特征信息。
S306，所述电子设备获取所述人脸特征信息的清晰度。
S307，所述电子设备筛选出超过预设清晰度的每个人脸部位的区域图像。
S308，所述电子设备将所述每个人脸部位的区域图像进行组合，得到目标人脸图像。
可以看出，本申请实施例中，电子设备首先检测到目标用户在移动时，获取所述目标用户的运动参数，其次，根据所述运动参数，确定运动轨迹，然后，在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息，最后，根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。可见，电子设备可根据运动参数，进一步的确定运动轨迹，并根据运动轨迹采集多个图像，确保了多个图像是在轨迹上的，而不是偏离运动轨迹外的图像，避免增大后续进行人脸图像处理时的图像误差性，进而得到了准确的图像，进一步的进行人脸图像处理，有效的解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题，有利于提高人脸追踪的准确性。
此外，电子设备通过提取人脸图像框的人脸特征信息，进一步得到每张图中人脸每个部位的清晰度，进而筛选出清晰度较高的部分进行组合，得到较为清晰的人脸图像，避免得到部分清晰或是模糊的人脸图像，从而有利于提高人脸追踪的准确性。
与上述图2A所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种人脸追踪的方法的流程示意图，应用于电子设备。如图所示，本人脸追踪的方法包括：
S401，电子设备检测到目标用户在移动时，获取所述目标用户的运动参数。
S402，所述电子设备根据所述运动参数，确定运动轨迹。
S403，所述电子设备在所述运动轨迹中获取所述目标用户的多张图像。
S404，所述电子设备确定所述多张图像中每张图像的人脸区域，得到至少一个人脸图像。
S405，所述电子设备将所述至少一个人脸图像输入预设深度神经网络模型，得到所述至少一个人脸图像的人脸特征信息。
S406，所述电子设备获取所述人脸特征信息的清晰度。
S407，所述电子设备筛选出超过预设清晰度的每个人脸部位的区域图像。
S408，所述电子设备根据所述每张图像的位置信息确定每张图像中的人脸边缘区域。
S409，所述电子设备计算所述每张图像中的人脸边缘区域的均值，得到目标人脸边缘区域。
S410，所述电子设备根据所述目标人脸边缘区域确定人脸面积，并获取所述每个人脸部位的区域图像的面积。
S411，所述电子设备计算所述至少一个人脸图像中的人脸比例，所述人脸比例为人脸部位与人脸面积的百分比。
S412，所述电子设备按照所述人脸比例组合所述每个人脸部位的区域图像，得到目标人脸图像。
可以看出，本申请实施例中，电子设备首先检测到目标用户在移动时，获取所述目标用户的运动参数，其次，根据所述运动参数，确定运动轨迹，然后，在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息，最后，根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。可见，电子设备可根据运动参数，进一步的确定运动轨迹，并根据运动轨迹采集多个图像，确保了多个图像是在轨迹上的，而不是偏离运动轨迹外的图像，避免增大后续进行人脸图像处理时的图像误差性，进而得到了准确的图像，进一步的进行人脸图像处理，有效的解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题，有利于提高人脸追踪的准确性。
此外，电子设备通过提取人脸图像框的人脸特征信息，进一步得到每张图中人脸每个部位的清晰度，进而筛选出清晰度较高的部分进行组合，得到较为清晰的人脸图像，避免得到部分清晰或是模糊的人脸图像，从而有利于提高人脸追踪的准确性。
此外，电子设备通过多张人脸的边缘区域确定出目标的人脸边缘区域，即先限定了目标人脸图像的图像面积，进而在将之前筛选出的超过预设清晰度的每个人脸部位的区域图像，依照限定后的目标人脸图像的图像面积进行等比例的缩小或放大，避免出现在进行面部组合时，因人脸比例不协调而导致图像失真的情况出现，提高了人脸追踪的准确性。
与上述图2A、图3、图4所示的实施例一致的，图5是本申请实施例提供的一种电子设备500的结构示意图，如图所示，所述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521，其中，所述一个或多个程序521被存储在上述存储器520中，并且被配置由上述应用处理器510执行，所述一个或多个程序521包括用于执行以下步骤的指令；
检测到目标用户在移动时，获取所述目标用户的运动参数；
根据所述运动参数，确定运动轨迹；
在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；
根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
可以看出，本申请实施例中，电子设备首先检测到目标用户在移动时，获取所述目标用户的运动参数，其次，根据所述运动参数，确定运动轨迹，然后，在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息，最后，根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。可见，电子设备可根据运动参数，进一步的确定运动轨迹，并根据运动轨迹采集多个图像，确保了多个图像是在轨迹上的，而不是偏离运动轨迹外的图像，避免增大后续进行人脸图像处理时的图像误差性，进而得到了准确的图像，进一步的进行人脸图像处理，有效的解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题，有利于提高人脸追踪的准确性。
在一个可能的示例中，在所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像方面，所述程序中的指令具体用于执行以下操作：确定所述多张图像中每张图像的人脸区域，得到至少一个人脸图像；将所述至少一个人脸图像输入预设深度神经网络模型，得到所述至少一个人脸图像的人脸特征信息；获取所述人脸特征信息的清晰度；筛选出超过预设清晰度的每个人脸部位的区域图像；将所述每个人脸部位的区域图像进行组合，得到目标人脸图像。
在一个可能的示例中，在所述将所述每个人脸部位的区域图像进行组合，得到目标人脸图像方面，所述程序中的指令具体用于执行以下操作：根据所述每张图像的位置信息确定每张图像中的人脸边缘区域；计算所述每张图像中的人脸边缘区域的均值，得到目标人脸边缘区域；根据所述目标人脸边缘区域确定人脸面积，并获取所述每个人脸部位的区域图像的面积；计算所述至少一个人脸图像中的人脸比例，所述人脸比例为人脸部位与人脸面积的百分比；按照所述人脸比例组合所述每个人脸部位的区域图像，得到目标人脸图像。
在一个可能的示例中，在所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像方面，所述程序中的指令具体用于执行以下操作：检测所述多张图像的清晰度；筛选出超过预设清晰度的至少一张图像；分别获取所述至少一张图像的位置信息；筛选出在预设位置信息内的目标图像；提取所述目标图像的人脸特征点，得到目标人脸图像。
在一个可能的示例中，在所述在所述运动轨迹中获取所述目标用户的多张图像方面，所述程序中的指令具体用于执行以下操作：根据所述运动轨迹，确定所述目标用户至少一个运动位置；根据所述至少一个运动位置，采集所述至少一个运行位置中每一位置的多张图像；筛选所述每一位置的多张图像，得到所述每一位置的目标图像；通过所述每一位置的目标图像组成多张图像。
在一个可能的示例中，在所述运动轨迹中获取所述目标用户的多张图像之前，所述程序中的指令还具体用于执行以下操作：获取所述运动轨迹中的初始图像；将所述初始图像带入预设运动轨迹算法，得到参考运动轨迹中每一位置的参考图像。
在一个可能的示例中，在所述运动轨迹中获取所述目标用户的多张图像之后，所述程序中的指令还具体用于执行以下操作：将所述多张图像与所述每一位置的参考图像做匹配，得到每一位置的图像匹配率；筛选出大于预设匹配率的每一位置的目标图像；将所述每一位置的目标图像组成多个图像，所述多个图像用于人脸图像处理。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面为本发明装置实施例，本发明装置实施例用于执行本发明方法实施例所实现的方法。如图6所示的人脸追踪的装置600，应用于电子设备，所述人脸追踪的装置600包括检测单元601、确定单元602、获取单元603，其中，
所述检测单元601，用于检测到目标用户在移动时，获取所述目标用户的运动参数；
所述确定单元602，用于根据所述运动参数，确定运动轨迹；
所述获取单元603，用于在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；
所述确定单元602，还用于根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
其中，所述人脸追踪的装置还可以包括存储单元604，用于存储电子设备的程序代码和数据。存储单元604可以是存储器。
可以看出，本申请实施例中，电子设备首先检测到目标用户在移动时，获取所述目标用户的运动参数，其次，根据所述运动参数，确定运动轨迹，然后，在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息，最后，根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。可见，电子设备可根据运动参数，进一步的确定运动轨迹，并根据运动轨迹采集多个图像，确保了多个图像是在轨迹上的，而不是偏离运动轨迹外的图像，避免增大后续进行人脸图像处理时的图像误差性，进而得到了准确的图像，进一步的进行人脸图像处理，有效的解决了现有技术中的人脸定位追踪方法在应对复杂人脸移动时，人脸识别的准确度较差的技术问题，有利于提高人脸追踪的准确性。
在一个可能的示例中，在所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像方面，所述确定单元602具体用于：确定所述多张图像中每张图像的人脸区域，得到至少一个人脸图像；将所述至少一个人脸图像输入预设深度神经网络模型，得到所述至少一个人脸图像的人脸特征信息；获取所述人脸特征信息的清晰度；筛选出超过预设清晰度的每个人脸部位的区域图像；将所述每个人脸部位的区域图像进行组合，得到目标人脸图像。
在一个可能的示例中，在所述将所述每个人脸部位的区域图像进行组合，得到目标人脸图像方面，所述确定单元602具体用于：根据所述每张图像的位置信息确定每张图像中的人脸边缘区域；计算所述每张图像中的人脸边缘区域的均值，得到目标人脸边缘区域；根据所述目标人脸边缘区域确定人脸面积，并获取所述每个人脸部位的区域图像的面积；计算所述至少一个人脸图像中的人脸比例，所述人脸比例为人脸部位与人脸面积的百分比；按照所述人脸比例组合所述每个人脸部位的区域图像，得到目标人脸图像。
在一个可能的示例中，在所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像方面，所述确定单元602具体用于：检测所述多张图像的清晰度；筛选出超过预设清晰度的至少一张图像；分别获取所述至少一张图像的位置信息；筛选出在预设位置信息内的目标图像；提取所述目标图像的人脸特征点，得到目标人脸图像。
在一个可能的示例中，在所述在所述运动轨迹中获取所述目标用户的多张图像方面，所述获取单元603具体用于：根据所述运动轨迹，确定所述目标用户至少一个运动位置；根据所述至少一个运动位置，采集所述至少一个运行位置中每一位置的多张图像；筛选所述每一位置的多张图像，得到所述每一位置的目标图像；通过所述每一位置的目标图像组成多张图像。
在一个可能的示例中，在所述运动轨迹中获取所述目标用户的多张图像之前，所述获取单元603具体用于：获取所述运动轨迹中的初始图像；将所述初始图像带入预设运动轨迹算法，得到参考运动轨迹中每一位置的参考图像。
在一个可能的示例中，在在所述运动轨迹中获取所述目标用户的多张图像之后，所述获取单元603还具体用于：将所述多张图像与所述每一位置的参考图像做匹配，得到每一位置的图像匹配率；筛选出大于预设匹配率的每一位置的目标图像；将所述每一位置的目标图像组成多个图像，所述多个图像用于人脸图像处理。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种人脸追踪的方法，其特征在于，应用于电子设备，所述方法包括：
检测到目标用户在移动时，获取所述目标用户的运动参数；
根据所述运动参数，确定运动轨迹；
在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；
根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像，包括：
确定所述多张图像中每张图像的人脸区域，得到至少一个人脸区域图像；
将所述至少一个目标人脸图像输入预设深度神经网络模型，得到所述至少一个人脸图像的人脸特征信息；
获取所述人脸特征信息的清晰度；
筛选出超过预设清晰度的每个人脸部位的区域图像；
将所述每个人脸部位的区域图像进行组合，得到目标人脸图像。
3.根据权利要求2所述的方法，所述将所述每个人脸部位的区域图像进行组合，得到目标人脸图像，包括：
根据所述每张图像的位置信息确定每张图像中的人脸边缘区域；
计算所述每张图像中的人脸边缘区域的均值，得到目标人脸边缘区域；
根据所述目标人脸边缘区域确定人脸面积，并获取所述每个人脸部位的区域图像的面积；
计算所述至少一个人脸图像中的人脸比例，所述人脸比例为人脸部位与人脸面积的百分比；
按照所述人脸比例组合所述每个人脸部位的区域图像，得到目标人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多张图像和所述每张图像的位置信息确定目标人脸图像，包括：
检测所述多张图像的清晰度；
筛选出超过预设清晰度的至少一张图像；
分别获取所述至少一张图像的位置信息；
筛选出在预设位置信息内的目标图像；
提取所述目标图像的人脸特征点，得到目标人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述在所述运动轨迹中获取所述目标用户的多张图像，包括：
根据所述运动轨迹，确定所述目标用户至少一个运动位置；
根据所述至少一个运动位置，采集所述至少一个运行位置中每一位置的多张图像；
筛选所述每一位置的多张图像，得到所述每一位置的目标图像；
通过所述每一位置的目标图像组成多张图像。
6.根据权利要求1所述的方法，其特征在于，在所述运动轨迹中获取所述目标用户的多张图像之前，所述方法还包括：
获取所述运动轨迹中的初始图像；
将所述初始图像带入预设运动轨迹算法，得到参考运动轨迹中每一位置的参考图像。
7.根据权利要求6所述的方法，其特征在于，在所述运动轨迹中获取所述目标用户的多张图像之后，所述方法还包括：
将所述多张图像与所述每一位置的参考图像做匹配，得到每一位置的图像匹配率；
筛选出大于预设匹配率的每一位置的目标图像；
将所述每一位置的目标图像组成多个图像，所述多个图像用于人脸图像处理。
8.一种人脸追踪的装置，其特征在于，应用于电子设备，所述人脸追踪的装置包括检测单元、确定单元、获取单元，其中，
所述检测单元，用于检测到目标用户在移动时，获取所述目标用户的运动参数；
所述确定单元，用于根据所述运动参数，确定运动轨迹；
所述获取单元，用于在所述运动轨迹中获取所述目标用户的多张图像，所述多张图像中的每张图像分别对应一个位置信息；
所述确定单元，还用于根据所述多张图像和所述每张图像的位置信息确定目标人脸图像。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方。
CN201910818123.9A 2019-08-30 2019-08-30 人脸追踪的方法及相关装置 Pending CN112446254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818123.9A CN112446254A (zh) 2019-08-30 2019-08-30 人脸追踪的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818123.9A CN112446254A (zh) 2019-08-30 2019-08-30 人脸追踪的方法及相关装置

Publications (1)

Publication Number Publication Date
CN112446254A true CN112446254A (zh) 2021-03-05

Family

ID=74735292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818123.9A Pending CN112446254A (zh) 2019-08-30 2019-08-30 人脸追踪的方法及相关装置

Country Status (1)

Country Link
CN (1) CN112446254A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095447A (zh) * 2021-06-10 2021-07-09 深圳联合安防科技有限公司 一种基于图像识别的检测方法及系统
CN113158953A (zh) * 2021-04-30 2021-07-23 青岛海信智慧生活科技股份有限公司 一种人员查找方法、装置、设备及介质
WO2023036084A1 (zh) * 2021-09-07 2023-03-16 华为技术有限公司 一种图像处理方法及相关装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158953A (zh) * 2021-04-30 2021-07-23 青岛海信智慧生活科技股份有限公司 一种人员查找方法、装置、设备及介质
CN113158953B (zh) * 2021-04-30 2022-11-25 青岛海信智慧生活科技股份有限公司 一种人员查找方法、装置、设备及介质
CN113095447A (zh) * 2021-06-10 2021-07-09 深圳联合安防科技有限公司 一种基于图像识别的检测方法及系统
WO2023036084A1 (zh) * 2021-09-07 2023-03-16 华为技术有限公司 一种图像处理方法及相关装置

Similar Documents

Publication Publication Date Title
US11010967B2 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
US20180075593A1 (en) Automatic scene calibration method for video analytics
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
CN109325933A (zh) 一种翻拍图像识别方法及装置
US11398044B2 (en) Method for face modeling and related products
CN112446254A (zh) 人脸追踪的方法及相关装置
CN110276308B (zh) 图像处理方法及装置
US20150227806A1 (en) Object information extraction apparatus, object information extraction program, and object information extraction method
CN111967319B (zh) 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN112800825A (zh) 基于关键点的关联方法、系统及介质
CN112017210A (zh) 目标物体跟踪方法及装置
CN110909617B (zh) 基于双目视觉的活体人脸检测方法及装置
KR20180123302A (ko) 볼의 궤적을 시각화하는 방법 및 장치
CN110738607A (zh) 基于人工智能拍摄驾驶证的方法、装置、设备及存储介质
JP7264308B2 (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法
CN111091089B (zh) 一种人脸图像处理方法、装置、电子设备及存储介质
CN111292234B (zh) 一种全景图像生成方法及装置
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
CN113052815B (zh) 图像清晰度确定方法及装置、存储介质和电子设备
CN113553928B (zh) 一种人脸活体检测方法、系统和计算机设备
CN113706439A (zh) 一种图像检测方法、装置、存储介质及计算机设备
WO2019188111A1 (en) Method and system for identifying an individual in a crowd
CN110849317B (zh) 显示屏幕间夹角的确定方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination