CN111476060A - 人脸清晰度分析方法、装置、计算机设备及存储介质 - Google Patents

人脸清晰度分析方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111476060A
CN111476060A CN201910064449.7A CN201910064449A CN111476060A CN 111476060 A CN111476060 A CN 111476060A CN 201910064449 A CN201910064449 A CN 201910064449A CN 111476060 A CN111476060 A CN 111476060A
Authority
CN
China
Prior art keywords
face
target image
motion vector
preset
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910064449.7A
Other languages
English (en)
Inventor
肖胜涛
刘洛麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201910064449.7A priority Critical patent/CN111476060A/zh
Publication of CN111476060A publication Critical patent/CN111476060A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸清晰度分析方法、装置、计算机设备及存储介质，包括下述步骤：获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。通过人脸特征点重建人脸模型得到三维信息,分析人脸前后帧三维信息的变化作为运动矢量，再根据运动矢量计算出模糊度数值用于确定图像的清晰度，可以从视频中筛选一个动态幅度可控的比较清晰的人脸图像。

Description

人脸清晰度分析方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像分析技术领域，特别是涉及一种人脸清晰度分析方法、装置、计算机设备及存储介质。
背景技术
在基于视频流的人脸识别过程中，需要人脸识别算法捕获视频流中的特定帧进行人脸识别，捕获图像中人脸的清晰度对最终的识别精度有直接的影响。由于视频流是连续的图像，同一个人根据其出现时间的长短可以产生几千至几万幅图像，如果将其全部记录是一种对空间的浪费，也为后期的查找工作带来很大的麻烦，所以选择其中清晰度高的一张图像进行识别是一种直观的可行办法，由于运动、转动等因素，视频中检测到的人脸并不总是清晰的，很可能是模糊的，从视频流中自动的选取一张清晰人脸成为了一个难题。
发明内容
本发明实施例能够提供一种有效判断图像中人脸清晰度的人脸清晰度分析方法、装置、计算机设备及存储介质。
为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种人脸清晰度分析方法，包括以下步骤：
获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；
根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；
判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。
可选地，所述获取目标图像中人脸的运动矢量的步骤之前，包括以下步骤：
获取所述目标图像中人脸的三维信息；
根据所述三维信息和预设的三维数据生成所述运动矢量，其中，所述三维数据为上一个采集节点采集到的图像中人脸的三维信息。
可选地，所述获取所述目标图像中人脸的三维信息的步骤之前，包括以下步骤：
获取所述目标图像中的特征点信息；
根据所述特征点信息生成对应的人脸三维模型；
根据所述人脸三维模型确定所述三维信息。
可选地，所述根据所述三维信息和预设的三维数据生成所述运动矢量的步骤，包括以下步骤：
定义所述三维信息中的目标特征的数据信息作为第一特征数据；
获取第二特征数据，其中，所述第二特征数据为所述三维数据中所述目标特征的数据信息；
根据所述第一特征数据和所述第二特征数据生成所述运动矢量。
可选地，所述根据所述三维信息和预设的三维数据生成所述运动矢量的步骤，包括下述步骤：
根据所述三维信息生成所述目标人脸的第一表情特征向量；
将所述第一表情特征向量与预设的第二表情特征向量求差，得到表情向量，其中，所述第二表情特征向量为根据所述预设的三维数据生成的表情特征向量；
定义所述表情向量为所述运动矢量。
可选地，所述获取所述目标图像中的特征点信息的步骤之前，包括下述步骤：
获取视频画面；
从所述视频画面中抽取帧画面，判断所述帧画面中是否存在人脸图像；
当所述帧画面中存在人脸图像时，定义所述帧画面为所述目标图像。
可选地，所述判断所述目标图像的是否符合预设的清晰度条件的步骤之后，包括下述步骤：
当所述目标图像符合所述清晰度条件时，定义所述目标图像为清晰图像；
当所述目标图像不符合所述清晰度条件时，选择预设的候选图像进行清晰度判断。
为解决上述技术问题，本发明实施例还提供一种人脸清晰度分析装置，包括：
获取模块，用于获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；
处理模块，用于根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；
执行模块，用于判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。
可选地，所述人脸清晰度分析装置，还包括：
第一获取子模块，用于获取所述目标图像中人脸的三维信息；
第一处理子模块，用于根据所述三维信息和预设的三维数据生成所述运动矢量，其中，所述三维数据为上一个采集节点采集到的图像中人脸的三维信息。
可选地，所述人脸清晰度分析装置，还包括：
第二获取子模块，用于获取所述目标图像中的特征点信息；
第一重建子模块，用于根据所述特征点信息生成对应的人脸三维模型；
第二处理子模块，用于根据所述人脸三维模型确定所述三维信息。
可选地，所述人脸清晰度分析装置，还包括：
第一执行子模块，用于定义所述三维信息中的目标特征的数据信息作为第一特征数据；
第三获取子模块，用于获取第二特征数据，其中，所述第二特征数据为所述三维数据中所述目标特征的数据信息；
第三处理子模块，用于根据所述第一特征数据和所述第二特征数据生成所述运动矢量。
可选地，所述人脸清晰度分析装置，还包括：
第四处理子模块，用于根据所述三维信息生成所述目标人脸的第一表情特征向量；
第一计算子模块，用于将所述第一表情特征向量与预设的第二表情特征向量求差，得到表情向量，其中，所述第二表情特征向量为根据所述预设的三维数据生成的表情特征向量；
第二执行子模块，用于定义所述表情向量为所述运动矢量。
可选地，所述人脸清晰度分析装置，还包括：
第四获取子模块，用于获取视频画面；
第五处理子模块，用于从所述视频画面中抽取帧画面，判断所述帧画面中是否存在人脸图像；
第三执行子模块，用于当所述帧画面中存在人脸图像时，定义所述帧画面为所述目标图像。
可选地，所述人脸清晰度分析装置，还包括：
第四执行子模块，用于当所述目标图像符合所述清晰度条件时，定义所述目标图像为清晰图像；
第五执行子模块，用于当所述目标图像不符合所述清晰度条件时，选择预设的候选图像进行清晰度判断。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述人脸清晰度分析方法的步骤。
为解决上述技术问题，本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述人脸清晰度分析方法的步骤。
本发明实施例的有益效果是：通过分析图像中人脸的特征点的三维信息得到运动矢量，用于体现图像中人脸的运动幅度，确定运动矢量之后对运动矢量的模进行加权平均，得到目标图像的模糊度数值，进行加权平均时各项数据的权重值可以根据实际情况进行调整，使得到的模糊度数值更加贴合实际的应用场景，将得到的模糊度数值与预设的阈值进行对比，最终判断目标图像的清晰度。通过计算得到的模糊度数值可以直观地反映出目标图像的模糊度，同时，根据实际的需求设定判断阈值，可以有效地从视频流中筛选出一张符合标准的清晰图像。
获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目要标人脸特征点的三维信息生成的向量；根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。通过人脸特征点重建人脸模型得到三维信息,分析人脸前后帧三维信息的变化作为运动矢量，再根据运动矢量计算出模糊度数值用于确定图像的清晰度，可以从视频中筛选一个动态幅度可控的比较清晰的人脸图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例人脸清晰度分析方法的基本流程示意图；
图2为本发明实施例根据三维信息生成运动矢量的流程示意图；
图3为本发明实施例获取三维信息的流程示意图；
图4为本发明实施例根据特征数据生成运动矢量的流程示意图；
图5为本发明实施例根据表情特征生成运动矢量的流程示意图；
图6为本发明实施例确定目标图像的流程示意图；
图7为本发明实施例根据图像清晰度确定后续步骤的流程示意图；
图8为本发明实施例人脸清晰度分析装置的基本结构框图；
图9为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
具体地请参阅图1，图1为本实施例人脸清晰度分析方法的基本流程示意图。
如图1所示，一种人脸清晰度分析方法，包括以下步骤：
S1100、获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；
通过获取到有脸特征点对人脸进行重建，得到对应的人脸三维模型，根据三维模型获取到对应的人脸三维信息，三维信息包括姿态信息、移动信息和特征点位置等，其中，姿态信息即人脸的姿态角(欧拉角)数据，包括pitch值(俯仰角)、yaw值(偏航角)和roll值(滚转角)；移动信息为人脸的位置数据，以空间直角坐标系为例，包括X值(前后)，Y值(左右)和Z值(高度)；特征点位置为预设的一个或多个特征点的位置坐标。
在获取到三维信息之后，和预设的三维数据进行对比，得到对应的向量，作为运动矢量，预设的三维数据为上一个采集节点采集到的人脸的三维信息，运动矢量中包括姿态矢量、平移矢量和表情矢量。姿态矢量为前后两组三维信息中对应的姿态角数据的差值向量，平移矢量为前后两组三维信息中对应的位置数据的差值向量，表情矢量为前后两组三维信息中表情特征向量的差值。
S1200、根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；
在获取到运动矢量之后，取运动矢量的模进行加权平均，得到目标图像的模糊度数值，模糊度数值的计算方式描述为：
S＝a*(|pitch|+|yaw|+|roll|)+b*(|tx|+|ty|+|tz|)+c*|E|
其中，S表示模糊度数值，a表示姿态矢量的权重，b表示平移矢量的权重，c表示表情向量的权重，pitch、yaw、roll分别表示姿态矢量中对应的俯仰角、偏航角和滚转角的矢量，tx、ty、tz分别表示平移矢量中前后、左右和高度的变化矢量，E表示表情向量。
a、b和c三个权重值可以根据实际的应用场景进行调整，例如当表情变化对需求的清晰度影响不大时，可以提高a和b的值，降低c的值。权重值的调整包括但不限于上述方式。
S1300、判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值；
在计算得到目标图像的模糊度数值之后，将模糊度数值与预设的阈值进行对比，判断模糊度数值是否大于预设的阈值，当模糊度数值小于预设的阈值时，确定目标图像符合清晰度条件，当模糊度数值大于或等于预设的阈值时，确定目标图像不符合清晰度条件。阈值的取值可以根据实际的应用场景进行调整，例如对图像清晰度要求较高时，可以降低阈值的取值，当图像清晰度要求较低时，可以提高阈值的取值。
如图2所示，步骤S1100之前还包括以下步骤：
S1010、获取所述目标图像中人脸的三维信息；
通过获取到有脸特征点对人脸进行重建，得到对应的人脸三维模型，根据三维模型获取到对应的人脸三维信息，三维信息包括姿态信息、移动信息和特征点位置等，其中，姿态信息即人脸的姿态角(欧拉角)数据，包括pitch值(俯仰角)、yaw值(偏航角)和roll值(滚转角)；移动信息为人脸的位置数据，以空间直角坐标系为例，包括X值(前后)，Y值(左右)和Z值(高度)；特征点位置为预设的一个或多个特征点的位置坐标。
S1020、根据所述三维信息和预设的三维数据生成所述运动矢量，其中，所述三维数据为上一个采集节点采集到的图像中人脸的三维信息；
在获取到三维信息之后，与预设的三维数据进行对比，得到对应的向量，作为运动矢量，预设的三维数据为上一个采集节点采集到的人脸的三维信息，运动矢量中包括姿态矢量、平移矢量和表情矢量。
具体地，先提取两组三维信息中的特征点位置，生成对应的表情特征向量，在一些实施方式中，可以将人脸中特定目标点(例如左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点等，但不限于此)的信息输入到预设的表情向量生成模型中，根据表情向量生成模型的输出结果确定对应的表情特征向量，其中，表情向量生成模型为已训练至收敛的用于根据输入的信息输出特征向量的神经网络模型。
姿态矢量为前后两组三维信息中对应的姿态角数据的差值向量，平移矢量为前后两组三维信息中对应的位置数据的差值向量，表情矢量为前后两组三维信息中表情特征向量的差值。
通过对前后图像三维信息的对比，利用运动矢量的方式可以准确并有效地确定图像中人脸的运动幅度，根据摄像设备的图像采集原理，运动幅度可以从侧面反映出对应图像的模糊程度，提高了图像模糊度判断的效率和准确性。
如图3所示，步骤S1010之前还包括以下步骤：
S1004、获取所述目标图像中的特征点信息；
对目标图像进行识别，确定目标图像中特征点的信息，特征点的信息为特征点所对应的坐标信息，用于确定人脸中一个或多个部位的位置。特征点包括但不限于左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点等。根据实际应用场景的不同，特征点的数量可以进行调整，例如当构建的三维模型需要更加精确时，增加特征点的数量；当需要节省三维模型构建时的运算性能时，减少特征点的数量。
具体地，在确定目标图像之后，首先对图像进行分类识别，确定其中各个特征点部位，然后确定各个特征点的相对位置。在一些实施方式中，特征点的识别可以通过现有的已训练至收敛的用于对人脸部位进行识别的神经网络模型进行，特征点相对位置的确定可以通过Shape-from-Shading(SFS)等方式，得到对应的位置坐标作为特征点信息。
S1005、根据所述特征点信息生成对应的人脸三维模型；
在获取到特征点信息之后，根据特征点的信息重建对应的人脸三维模型。在一些实施方式中，首先选定一个初始的三维形状(即人脸平均形状)，根据特征点信息使用回归计算不断地调整三维模型的形状，直至三维模型在二维上的投影的特征点数据与获取到的特征点相信相符，确定调整后的三维模型为对应的人脸三维模型。
S1006、根据所述人脸三维模型确定所述三维信息；
在建立了人脸三维模型之后，获取三维模型的三维信息。在一些实施方式中，在三维模型的重建空间中设定一个参考模型，用于确定三维模型的相对位置和方向，三维信息包括姿态信息、移动信息和特征点位置等，其中，姿态信息即人脸的姿态角(欧拉角)数据，包括pitch值(俯仰角)、yaw值(偏航角)和roll值(滚转角)；移动信息为人脸的位置数据，以空间直角坐标系为例，包括X值(前后)，Y值(左右)和Z值(高度)；特征点位置为获取到的特征点信息中对应特征点的位置坐标。
利用特征点信息进行三维重建得到人脸的三维模型，再根据三维模型确定得到三维信息，可以在获取到图像之后快速根据图像得到对应的三维信息，用于后续的运动矢量计算。
如图4所示，步骤S1020具体包括以下步骤：
S1021、定义所述三维信息中的目标特征的数据信息作为第一特征数据；
三维信息中包括姿态信息、移动信息和特征点位置等，姿态信息用于确定目标图像中人脸的角度，包括pitch值(俯仰角)、yaw值(偏航角)和roll值(滚转角)等；移动信息用于确定目标图像中人脸的位置，特征点位置用于确定目标特征点的位置，包括X值(前后)，Y值(左右)和Z值(高度)等。在获取到三维信息之后，确定姿态向量或移动信息所包含的其中一个特征作为目标特征，例如，目标特征为移动信息中的前后方向，定义目标特征的数据信息(对应为X值)为第一特征数据。
S1022、获取第二特征数据，其中，所述第二特征数据为所述三维数据中所述目标特征的数据信息；
确定第一特征数据之后，在三维数据中确定目标特征对应数据信息作为第二特征数据，例如，第一特征数据对应的目标特征为移动信息中的前后方向，即提取三维数据中移动信息的前后反向所对应的数据信息(即X值)作为第二特征数据。
S1023、根据所述第一特征数据和所述第二特征数据生成所述运动矢量；
获取到第一特征数据和第二特征数据后，计算第一特征数据和第二特征数据的差值向量，作为运动矢量，当目标特征为姿态信息中的特征时，对应的差值向量反映的是前后两组三维信息中人脸对应的角度偏移，即pitch向量、yaw向量或roll向量，可以理解为将获取到的两个角度值向量化，再求差得到的向量；当目标特征为移动信息中的特征时，对应的差值向量反映的是前后两组三维信息中人脸的平移，此时第一特征数据和第二特征数据均为对应的坐标信息，可以理解为差值向量是第一特征数据指向第二特征数据的向量。
根据上述方式分别获取到姿态信息和移动信息中对应的各个特征的向量，定义获取到的所有向量为运动矢量。
如图5所示，步骤S1020具体包括下述步骤：
S1024、根据所述三维信息生成所述目标人脸的第一表情特征向量；
获取到三维信息之后，提取其中的特征点位置，生成对应的特征向量作为第一表情特征向量。具体地，可以将人脸中目标特征点(例如左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点等，但不限于此)的位置信息输入到预设的表情向量生成模型中，根据表情向量生成模型的输出结果确定表情特征向量，其中，表情向量生成模型为已训练至收敛的用于根据输入的信息输出特征向量的神经网络模型。
S1025、将所述第一表情特征向量与预设的第二表情特征向量求差，得到表情向量，其中，所述第二表情特征向量为根据所述预设的三维数据生成的表情特征向量；
在确定第一表情特征向量之后，获取三维数据中的特征点位置，根据上述方法得到对应的第二表情特征向量，将得到的第一表情特征向量与第二表情特征向量进行求差，得到对应的差值向量作为表情向量，用于反映前后两组三维数据中人脸表情的变化。
S1026、定义所述表情向量为所述运动矢量；
在计算得到表情向量之后，定义表情向量为目标图像的运动矢量。
通过特征点位置确定目标图像中人脸的表情，再进行前后两组三维信息对应的人脸表情对比，得到的表情向量可以有效的反映出前后两组三维信息所对应的人脸表情的变化，将表情向量定义为运动矢量，作为图像模糊度数值计算中的一个参数，可以更加准确地得到进行图像清晰度的判断。
如图6所示，步骤S1004之前还包括下述步骤：
S1001、获取视频画面；
获取到待检测的视频画面，视频画面可以是由采集设置采集到的实时画面，也可以是服务器中预存或者管理人员上传的视频文件，在此不作限定。
S1002、从所述视频画面中抽取帧画面，判断所述帧画面中是否存在人脸图像；
通过视频处理软件(例如OpenCV，但不限于此)对视频画面进行处理，将视频画面拆分为若干张帧画面。通过定时抽取的方式(例如每0.5s抽取一张图片的方式)，在若干张帧画面中依次抽取多张帧画面，然后将帧画面输入到预设的人脸识别模型中，判断帧画面中是否存在人脸图像。在一些实施方式中，人脸识别模型可以是现有技术中已训练至收敛用于判断图像中是否存在人脸的CNN卷积神经网络模型或者VGG卷积神经网络模型。
S1003、当所述帧画面中存在人脸图像时，定义所述帧画面为所述目标图像；
获取到人脸识别模型的输出的分类结果，根据分类结果确定输入的帧图像中是否存在人脸，当判断帧图像中存在人脸图像时，定义对应的帧图像为目标图像。
通过这种方法可以快速并准确地获取到带有人脸的目标图像，避免因获取到的目标图像中不存在人脸导致人脸清晰度判断出现错误或不准确的问题。
如图7所示，步骤S1300之后还包括下述步骤：
S1310、当所述目标图像符合所述清晰度条件时，定义所述目标图像为清晰图像；
在计算得到目标图像的模糊度数值之后，将模糊度数值与预设的阈值进行对比，判断模糊度数值是否大于预设的阈值，当模糊度数值小于预设的阈值时，确定目标图像符合清晰度条件。阈值的取值可以根据实际的应用场景进行调整，例如对图像清晰度要求较高时，可以降低阈值的取值，当图像清晰度要求较低时，可以提高阈值的取值。
当目标图像符合清晰度条件时，说明图像中人脸的运动幅度处于一个可控的范围内，此时的图像可以较清晰地展示其中的人脸，定义该目标图像为清晰图像。
S1320、当所述目标图像不符合所述清晰度条件时，选择预设的候选图像进行清晰度判断；
当模糊度数值大于或等于预设的阈值时，确定目标图像不符合清晰度条件，说明此时图像中人脸的运动幅度超出了可控范围，图片较为模糊，不能清晰地展示其中的人脸。获取候选图像根据上述的清晰度判断步骤对候选图像进行清晰度判断，通过重复进行更改目标图像和清晰度判断的过程，直至得到一张符合清晰度条件的图像。在一些实施方式中，候选图像可以是目标图像之后的一个节点采集到的图像文件，例如目标图像之后经过一定的时间间隔(例如1秒)后采集到的图像。在另一些实施方式中，候选图像可以是预先从视频流中采集到的多张图像。
为解决上述技术问题，本发明实施例还提供一种人脸清晰度分析装置。具体请参阅图8，图8为本实施人脸清晰度分析装置的基本结构框图。
如图8所示，人脸清晰度分析装置，包括：获取模块2100、处理模块2200和执行模块2300。其中，获取模块用于获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；处理模块用于根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；执行模块用于判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。
通过分析图像中人脸的特征点的三维信息得到运动矢量，用于体现图像中人脸的运动幅度，确定运动矢量之后对运动矢量的模进行加权平均，得到目标图像的模糊度数值，进行加权平均时各项数据的权重值可以根据实际情况进行调整，使得到的模糊度数值更加贴合实际的应用场景，将得到的模糊度数值与预设的阈值进行对比，最终判断目标图像的清晰度。通过计算得到的模糊度数值可以直观地反映出目标图像的模糊度，同时，根据实际的需求设定判断阈值，可以有效地从视频流中筛选出一张符合标准的清晰图像。
在一些实施方式中，人脸清晰度分析装置还包括：第一获取子模块、第一处理子模块。其中第一获取子模块用于获取所述目标图像中人脸的三维信息；第一处理子模块用于根据所述三维信息和预设的三维数据生成所述运动矢量，其中，所述三维数据为上一个采集节点采集到的图像中人脸的三维信息。
在一些实施方式中，人脸清晰度分析装置还包括：第二获取子模块、第一重建子模块、第二处理子模块。其中，第二获取子模块用于获取所述目标图像中的特征点信息；第一重建子模块用于根据所述特征点信息生成对应的人脸三维模型；第二处理子模块用于根据所述人脸三维模型确定所述三维信息。
在一些实施方式中，人脸清晰度分析装置还包括：第一执行子模块、第三获取子模块、第三处理子模块。其中，第一执行子模块用于定义所述三维信息中的目标特征的数据信息作为第一特征数据；第三获取子模块用于获取第二特征数据，其中，所述第二特征数据为所述三维数据中所述目标特征的数据信息；第三处理子模块用于根据所述第一特征数据和所述第二特征数据生成所述运动矢量。
在一些实施方式中，人脸清晰度分析装置还包括：第四处理子模块、第一计算子模块、第二执行子模块。其中，第四处理子模块用于根据所述三维信息生成所述目标人脸的第一表情特征向量；第一计算子模块用于将所述第一表情特征向量与预设的第二表情特征向量求差，得到表情向量，其中，所述第二表情特征向量为根据所述预设的三维数据生成的表情特征向量；第二执行子模块用于定义所述表情向量为所述运动矢量。
在一些实施方式中，人脸清晰度分析装置还包括：第四获取子模块、第五处理子模块、第三执行子模块。其中，第四获取子模块用于获取视频画面；第五处理子模块用于从所述视频画面中抽取帧画面，判断所述帧画面中是否存在人脸图像；第三执行子模块用于当所述帧画面中存在人脸图像时，定义所述帧画面为所述目标图像。
在一些实施方式中，人脸清晰度分析装置还包括：第四执行子模块、第五执行子模块。其中，第四执行子模块用于当所述目标图像符合所述清晰度条件时，定义所述目标图像为清晰图像；第五执行子模块用于当所述目标图像不符合所述清晰度条件时，选择预设的候选图像进行清晰度判断。
为解决上述技术问题，本发明实施例还提供一种计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
如图9所示，计算机设备的内部结构示意图。如图9所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种人脸清晰度分析方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种人脸清晰度分析方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图8中获取模块2100、处理模块2200和执行模块2300的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有人脸清晰度分析装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述人脸清晰度分析方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccessMemory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸清晰度分析方法，其特征在于，包括以下步骤：
获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；
根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；
判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。
2.如权利要求1所述的人脸清晰度分析方法，其特征在于，所述获取目标图像中人脸的运动矢量的步骤之前，包括以下步骤：
获取所述目标图像中人脸的三维信息；
根据所述三维信息和预设的三维数据生成所述运动矢量，其中，所述三维数据为上一个采集节点采集到的图像中人脸的三维信息。
3.如权利要求2所述的人脸清晰度分析方法，其特征在于，所述获取所述目标图像中人脸的三维信息的步骤之前，包括以下步骤：
获取所述目标图像中的特征点信息；
根据所述特征点信息生成对应的人脸三维模型；
根据所述人脸三维模型确定所述三维信息。
4.如权利要求2所述的人脸清晰度分析方法，其特征在于，所述根据所述三维信息和预设的三维数据生成所述运动矢量的步骤，包括以下步骤：
定义所述三维信息中的目标特征的数据信息作为第一特征数据；
获取第二特征数据，其中，所述第二特征数据为所述三维数据中所述目标特征的数据信息；
根据所述第一特征数据和所述第二特征数据生成所述运动矢量。
5.如权利要求2所述的人脸清晰度分析方法，其特征在于，所述根据所述三维信息和预设的三维数据生成所述运动矢量的步骤，包括下述步骤：
根据所述三维信息生成所述目标人脸的第一表情特征向量；
将所述第一表情特征向量与预设的第二表情特征向量求差，得到表情向量，其中，所述第二表情特征向量为根据所述预设的三维数据生成的表情特征向量；
定义所述表情向量为所述运动矢量。
6.如权利要求3所述的人脸清晰度分析方法，其特征在于，所述获取所述目标图像中的特征点信息的步骤之前，包括下述步骤：
获取视频画面；
从所述视频画面中抽取帧画面，判断所述帧画面中是否存在人脸图像；
当所述帧画面中存在人脸图像时，定义所述帧画面为所述目标图像。
7.如权利要求1-6任一项所述的人脸清晰度分析方法，其特征在于，所述判断所述目标图像的是否符合预设的清晰度条件的步骤之后，包括下述步骤：
当所述目标图像符合所述清晰度条件时，定义所述目标图像为清晰图像；
当所述目标图像不符合所述清晰度条件时，选择预设的候选图像进行清晰度判断。
8.一种人脸清晰度分析装置，其特征在于，包括：
获取模块，用于获取目标图像中人脸的运动矢量，其中，所述运动矢量为根据所述目标图像中人脸特征点的三维信息生成的向量；
处理模块，用于根据所述运动矢量和预设的计算规则计算所述目标图像的模糊度数值，其中，所述计算规则为对运动矢量进行加权平均得到模糊度数值的数据处理规则；
执行模块，用于判断所述目标图像的是否符合预设的清晰度条件，其中，所述清晰度条件为所述模糊度数值小于预设的阈值。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1-7任意一项所述的人脸清晰度分析方法。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种人脸清晰度分析方法，所述方法包括上述权利要求1-7任意一项所述的人脸清晰度分析方法。
CN201910064449.7A 2019-01-23 2019-01-23 人脸清晰度分析方法、装置、计算机设备及存储介质 Pending CN111476060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910064449.7A CN111476060A (zh) 2019-01-23 2019-01-23 人脸清晰度分析方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910064449.7A CN111476060A (zh) 2019-01-23 2019-01-23 人脸清晰度分析方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111476060A true CN111476060A (zh) 2020-07-31

Family

ID=71743374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910064449.7A Pending CN111476060A (zh) 2019-01-23 2019-01-23 人脸清晰度分析方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111476060A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN115170441A (zh) * 2022-08-30 2022-10-11 荣耀终端有限公司 一种图像处理方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN115170441A (zh) * 2022-08-30 2022-10-11 荣耀终端有限公司 一种图像处理方法及电子设备

Similar Documents

Publication Publication Date Title
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
CN108921782B (zh) 一种图像处理方法、装置及存储介质
Xiong et al. Learning to generate time-lapse videos using multi-stage dynamic generative adversarial networks
US11195283B2 (en) Video background substraction using depth
US20230196837A1 (en) Action recognition method and apparatus, and device and storage medium
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
US9773192B2 (en) Fast template-based tracking
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
US20180268207A1 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
KR20200145827A (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
CN110929569A (zh) 人脸识别方法、装置、设备及存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN109063626B (zh) 动态人脸识别方法和装置
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN110858316A (zh) 对时间序列图像数据进行分类
JP2004282535A (ja) 画角調整装置
CN112597824A (zh) 行为识别方法、装置、电子设备和存储介质
US10089721B2 (en) Image processing system and method for object boundary smoothening for image segmentation
CN113689440A (zh) 一种视频处理方法、装置、计算机设备以及存储介质
CN111476060A (zh) 人脸清晰度分析方法、装置、计算机设备及存储介质
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN111950419A (zh) 图像信息预测方法、装置、计算机设备和存储介质
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
CN116993577A (zh) 图像处理方法、装置、终端设备以及存储介质
CN108596068B (zh) 一种动作识别的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination