CN107633209B - 电子装置、动态视频人脸识别的方法及存储介质 - Google Patents
电子装置、动态视频人脸识别的方法及存储介质 Download PDFInfo
- Publication number
- CN107633209B CN107633209B CN201710709125.5A CN201710709125A CN107633209B CN 107633209 B CN107633209 B CN 107633209B CN 201710709125 A CN201710709125 A CN 201710709125A CN 107633209 B CN107633209 B CN 107633209B
- Authority
- CN
- China
- Prior art keywords
- facial image
- image
- face
- characteristic point
- rectangular area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种电子装置、动态视频人脸识别的方法及存储介质，该动态视频人脸识别的方法包括：图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。本发明能够提高人脸识别的精度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种电子装置、动态视频人脸识别的方法及存储介质。
背景技术
目前，在视频动态人脸识别中，一般产品的做法是对检测到的人脸的第一帧进行识别，但是由于动态视频中人脸的姿态、画质等的变化，有可能用于识别的那一帧人脸质量较差，会造成识别精度降低。
发明内容
本发明的目的在于提供一种电子装置、动态视频人脸识别的方法及存储介质，旨在提高人脸识别的精度。
为实现上述目的，本发明提供一种电子装置，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被所述处理器执行时实现如下步骤：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该序列中的每张人脸图像的质量进行评分；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
优选地，所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度。
优选地，所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。
优选地，所述平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
为实现上述目的，本发明还提供一种动态视频人脸识别的方法，所述动态视频人脸识别的方法包括：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该序列中的每张人脸图像的质量进行评分；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
优选地，所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度。
优选地，所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。
优选地，所述平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被处理器执行时实现上述的动态视频人脸识别的方法的步骤。
本发明的有益效果是：本发明对进入识别范围的人脸进行追踪，对追踪序列中的每一个人脸进行质量评分并按评分进行排序，挑选分数最靠前的若干帧作为候选人脸，对每一个候选人脸进行1:N人脸识别，最后对各个识别结果进行投票，票数超过阈值者作为识别结果，本发明使用基于人脸质量评估的多帧联合判别算法，在不需要被识别者配合的情况下，选出人脸质量评分高的人脸图像进行识别，从而提高人脸识别的精度。
附图说明
图1为本发明各个实施例一可选的应用环境示意图；
图2为本发明动态视频人脸识别的方法一实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明动态视频人脸识别的方法的较佳实施例的应用环境示意图。该应用环境示意图包括电子装置1及摄像装置2。电子装置1可以通过网络、近场通信技术等适合的技术与摄像装置2进行数据交互。
所述摄像装置2可以是包含TUBE真空管式传感器、CCD(Charge Coupled Device)电荷藕合组件传感器或者CMOS金属氧化物半导体传感器的摄像头等，此处不做过多限定。摄像装置2包括一个或者多个，安装于特定场所(例如办公场所、监控区域)，对进入该特定场所的目标实时拍摄得到视频，通过网络将拍摄得到的视频实时传输至电子装置1。
所述电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的多帧联合动态识别人脸的系统。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储器11还可以包括内存及至少一种类型的可读存储介质，内存为电子装置1的运行提供缓存。其可读存储介质还可用于存储电子装置1接收到的实时拍摄的视频及人脸图像样本库。可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该可读存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11还可用于存储安装于电子装置1的操作系统和各类应用软件，例如本发明一实施例中的多帧联合动态识别人脸的系统的程序代码等。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与所述摄像装置2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行多帧联合动态识别人脸的系统等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。本实施例中，网络接口13主要用于将电子装置1与一个或多个摄像装置2相连，以建立数据传输通道和通信连接。
所述多帧联合动态识别人脸的系统存储在存储器11中，包括至少一个存储在存储器11中的计算机可读指令，该至少一个计算机可读指令可被处理器器12执行，以实现本申请各实施例的方法；以及，该至少一个计算机可读指令依据其各部分所实现的功能不同，可被划为不同的逻辑模块。
在一实施例中，上述多帧联合动态识别人脸的系统被所述处理器12执行时实现如下步骤：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该序列中的每张人脸图像的质量进行评分；
其中，对于在实时拍摄的动态视频的每一帧图像中，基于人脸的特征尝试框定出人脸图像，框定出来的人脸图像作为一序列的人脸图像。
其中，特征点包括眼部特征点、鼻部特征点及嘴部特征点，特征点的梯度值为平均梯度(meangradient)，平均梯度指人脸图像的特征点的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度，反映了特征点微小细节反差变化的速率，即特征点多维方向上密度变化的速率，表征人脸图像的相对清晰程度。特征点的坐标值至少包括眼部特征点及鼻部特征点的x横坐标。
在对该序列中的每张人脸图像的质量进行评分的过程中，拍摄得到的人脸图像中，双眼之间距离越大、双眼中心点与鼻尖的x横坐标越接近，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
本实施例中，为了方便选出正脸的人脸图像，将评分结果降序排列，即人脸图像为正脸图像的排列在前，从排列的序列中选取评分靠前的预设数量的人脸图像，例如选取7张人脸图像。
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
本实施例中，人脸图像样本库中存储有大量的人脸图像。对于选取的预设数量的人脸图像，将每一人脸图像与人脸图像样本库中的人脸图像进行匹配，匹配的方法可以有一种或者多种，在一实施例中，可以通过平移、旋转、缩放等来校正两幅待匹配的人脸图像，使其在空间上对齐配准，图像的特征点一一映射，然后计算配准区域间的相似度，若两人脸图像的相似度尽可能大，则两人脸图像为同一人的可能性越大，反之就比较小。本实施例可以采用基于灰度的匹配法、基于特征的匹配法或者基于其他原理的匹配法等，此处不再一一列举。
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
本实施例中，当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，例如，阈值＝3，依据评分结果的降序排列，从该序列的人脸图像中选取7张人脸图像，在人脸样本库中查找将该7张人脸图像中的每一张图像相匹配的样本图像。若该7张人脸图像中有4张与同一个样本图像A相匹配，其余3张与其他的样本图像匹配，则判定该序列的实时人脸图像中的人物为样本图像A中的人物。
与现有技术相比，本实施例对进入识别范围的人脸进行追踪，对追踪序列中的每一个人脸进行质量评分并按评分进行排序，挑选分数最靠前的若干帧作为候选人脸，对每一个候选人脸进行1:N人脸识别，最后对各个识别结果进行投票，票数超过阈值者作为识别结果，本实施例使用基于人脸质量评估的多帧联合判别算法，在不需要被识别者配合的情况下，选出人脸质量评分高的人脸图像进行识别，从而提高人脸识别的精度。
在一优选的实施例中，在上述图1的实施例的基础上，上述的图像质量评分步骤包括如下计算公式：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。从公式可以看出，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
依据上述的对每张人脸图像的质量进行评分的方式，能够选出人脸图像中为正脸的人脸图像或者为接近正脸的人脸图像。
优选地，平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域，其中，第一矩形区域的长为人脸图像中左眼的左眼角到右眼的右眼角的距离，第一矩形区域的宽能够包括上下眼睑即可，不做过多限定；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域，第二矩形区域大小适当即可；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
如图2所示，图2为本发明动态视频人脸识别的方法一实施例的流程示意图，该动态视频人脸识别的方法包括以下步骤：
S1，图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该序列中的每张人脸图像的质量进行评分；
其中，对于在实时拍摄的动态视频的每一帧图像中，基于人脸的特征尝试框定出人脸图像，框定出来的人脸图像作为一序列的人脸图像。
其中，特征点包括眼部特征点、鼻部特征点及嘴部特征点，特征点的梯度值为特征点的平均梯度(meangradient)，平均梯度指人脸图像的特征点的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度，反映了特征点微小细节反差变化的速率，即特征点多维方向上密度变化的速率，表征人脸图像的相对清晰程度。特征点的坐标值至少包括眼部特征点及鼻部特征点的x横坐标。
在对该序列中的每张人脸图像的质量进行评分的过程中，拍摄得到的人脸图像中，双眼之间距离越大、双眼中心点与鼻尖的x横坐标越接近，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
S2，排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
本实施例中，为了方便选出正脸的人脸图像，将评分结果降序排列，即人脸图像为正脸图像的排列在前，从排列的序列中选取评分靠前的预设数量的人脸图像，例如选取7张人脸图像。
S3，查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
本实施例中，人脸图像样本库中存储有大量的人脸图像。对于选取的预设数量的人脸图像，将每一人脸图像与人脸图像样本库中的人脸图像进行匹配，匹配的方法可以有一种或者多种，在一实施例中，可以通过平移、旋转、缩放等来校正两幅待匹配的人脸图像，使其在空间上对齐配准，图像的特征点一一映射，然后计算配准区域间的相似度，若两人脸图像的相似度尽可能大，则两人脸图像为同一人的可能性越大，反之就比较小。本实施例可以采用基于灰度的匹配法、基于特征的匹配法或者基于其他原理的匹配法等，此处不再一一列举。
S4，识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
本实施例中，当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，例如，阈值＝3，依据评分结果的降序排列，从该序列的人脸图像中选取7张人脸图像，在人脸样本库中查找将该7张人脸图像中的每一张图像相匹配的样本图像。若该7张人脸图像中有4张与同一个样本图像A相匹配，其余3张与其他的样本图像匹配，则判定该序列的实时人脸图像中的人物为样本图像A中的人物。
与现有技术相比，本实施例对进入识别范围的人脸进行追踪，对追踪序列中的每一个人脸进行质量评分并按评分进行排序，挑选分数最靠前的若干帧作为候选人脸，对每一个候选人脸进行1:N人脸识别，最后对各个识别结果进行投票，票数超过阈值者作为识别结果，本实施例使用基于人脸质量评估的多帧联合判别算法，在不需要被识别者配合的情况下，选出人脸质量评分高的人脸图像进行识别，从而提高人脸识别的精度。
在一优选的实施例中，在上述图2的实施例的基础上，上述的图像质量评分步骤包括如下计算公式：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。从公式可以看出，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
依据上述的对每张人脸图像的质量进行评分的方式，能够选出人脸图像中为正脸的人脸图像或者为接近正脸的人脸图像。
优选地，平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域，其中，第一矩形区域的长为人脸图像中左眼的左眼角到右眼的右眼角的距离，第一矩形区域的宽能够包括上下眼睑即可，不做过多限定；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域，第二矩形区域大小适当即可；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被处理器执行时实现上述的动态视频人脸识别的方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种电子装置，其特征在于，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被所述处理器执行时实现如下步骤：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该序列中的每张人脸图像的质量进行评分；
所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度；
所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
2.根据权利要求1所述的电子装置，其特征在于，所述平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
3.一种动态视频人脸识别的方法，其特征在于，所述动态视频人脸识别的方法包括：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该序列中的每张人脸图像的质量进行评分；
所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度；
所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
4.根据权利要求3所述的动态视频人脸识别的方法，其特征在于，所述平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被处理器执行时实现如权利要求3至4中任一项所述的动态视频人脸识别的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710709125.5A CN107633209B (zh) | 2017-08-17 | 2017-08-17 | 电子装置、动态视频人脸识别的方法及存储介质 |
| PCT/CN2017/108759 WO2019033574A1 (zh) | 2017-08-17 | 2017-10-31 | 电子装置、动态视频人脸识别的方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710709125.5A CN107633209B (zh) | 2017-08-17 | 2017-08-17 | 电子装置、动态视频人脸识别的方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107633209A CN107633209A (zh) | 2018-01-26 |
| CN107633209B true CN107633209B (zh) | 2018-12-18 |
Family
ID=61100213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710709125.5A Active CN107633209B (zh) | 2017-08-17 | 2017-08-17 | 电子装置、动态视频人脸识别的方法及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107633209B (zh) |
| WO (1) | WO2019033574A1 (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839257B2 (en) | 2017-08-30 | 2020-11-17 | Qualcomm Incorporated | Prioritizing objects for object recognition |
| CN110348272A (zh) * | 2018-04-03 | 2019-10-18 | 北京京东尚科信息技术有限公司 | 动态人脸识别的方法、装置、系统和介质 |
| CN109447006A (zh) * | 2018-11-01 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110020581B (zh) | 2018-12-03 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 一种基于多帧脸部图像的比对方法、装置和电子设备 |
| CN112001203A (zh) * | 2019-05-27 | 2020-11-27 | 北京君正集成电路股份有限公司 | 一种人脸识别库中提取正面人脸的方法 |
| CN112000621A (zh) * | 2019-05-27 | 2020-11-27 | 北京君正集成电路股份有限公司 | 一种不同人脸识别的样本库的合并方法 |
| CN110399812B (zh) * | 2019-07-08 | 2023-05-30 | 中国平安财产保险股份有限公司 | 人脸特征智能提取方法、装置及计算机可读存储介质 |
| CN111091128B (zh) * | 2019-12-18 | 2023-09-22 | 北京数衍科技有限公司 | 字符图片分类方法、装置和电子设备 |
| CN111340045B (zh) * | 2020-02-12 | 2023-09-01 | 浙江大华技术股份有限公司 | 车牌号码的识别方法、装置及存储介质 |
| CN111339889A (zh) * | 2020-02-20 | 2020-06-26 | 浙江大华技术股份有限公司 | 人脸优选方法、装置及存储介质 |
| CN111369531B (zh) * | 2020-03-04 | 2023-09-01 | 浙江大华技术股份有限公司 | 图像清晰度的评分方法、设备及存储装置 |
| CN111429638B (zh) * | 2020-04-13 | 2021-10-26 | 重庆匠技智能科技有限公司 | 一种基于语音识别和人脸识别的门禁控制方法 |
| CN111652048A (zh) * | 2020-04-17 | 2020-09-11 | 北京品恩科技股份有限公司 | 一种基于深度学习的1：n人脸比对方法 |
| CN112036277B (zh) * | 2020-08-20 | 2023-09-29 | 浙江大华技术股份有限公司 | 一种人脸识别方法、电子设备以及计算机可读存储介质 |
| CN112016896A (zh) * | 2020-08-28 | 2020-12-01 | 平安国际智慧城市科技股份有限公司 | 操作状态监控方法、装置及存储介质 |
| CN112347849B (zh) * | 2020-09-29 | 2024-03-26 | 咪咕视讯科技有限公司 | 视频会议处理方法、电子设备及存储介质 |
| CN112381147B (zh) * | 2020-11-16 | 2024-04-26 | 虎博网络技术(上海)有限公司 | 动态图片相似度模型建立、相似度计算方法和装置 |
| TWI764425B (zh) * | 2020-12-10 | 2022-05-11 | 鴻海精密工業股份有限公司 | 基於人臉識別的即時行人統計方法以及裝置 |
| CN112911385B (zh) * | 2021-01-12 | 2021-12-07 | 平安科技（深圳）有限公司 | 待识别图片的提取方法、装置、设备以及存储介质 |
| CN112861659B (zh) * | 2021-01-22 | 2023-07-14 | 平安科技（深圳）有限公司 | 一种图像模型训练方法、装置及电子设备、存储介质 |
| CN113283305B (zh) * | 2021-04-29 | 2024-03-26 | 百度在线网络技术（北京）有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN113297971A (zh) * | 2021-05-25 | 2021-08-24 | 云南电网有限责任公司玉溪供电局 | 融合视频分析技术变电站无人许可现场作业智慧管理方法 |
| CN113435400B (zh) * | 2021-07-14 | 2022-08-30 | 世邦通信股份有限公司 | 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2007102021A (ru) * | 2007-01-19 | 2008-07-27 | Корпораци "Самсунг Электроникс Ко., Лтд." (KR) | Способ и система распознавания личности |
| CN102360421B (zh) * | 2011-10-19 | 2014-05-28 | 苏州大学 | 一种基于视频流的人脸识别方法及系统 |
| KR20140055819A (ko) * | 2012-11-01 | 2014-05-09 | 삼성전자주식회사 | 얼굴인식장치 및 그 제어방법 |
| CN103914676B (zh) * | 2012-12-30 | 2017-08-25 | 杭州朗和科技有限公司 | 一种在人脸识别中使用的方法和装置 |
| CN103942525A (zh) * | 2013-12-27 | 2014-07-23 | 高新兴科技集团股份有限公司 | 一种基于视频序列的实时人脸优选方法 |
| CN103927520B (zh) * | 2014-04-14 | 2018-04-27 | 中国华戎控股有限公司 | 一种逆光环境下人脸检测方法 |
| CN104463117B (zh) * | 2014-12-02 | 2018-07-03 | 苏州科达科技股份有限公司 | 一种基于视频方式的人脸识别样本采集方法及系统 |
| CN104778446A (zh) * | 2015-03-19 | 2015-07-15 | 南京邮电大学 | 一种图像质量评价与人脸识别效率关系模型的构建方法 |
| CN105740758A (zh) * | 2015-12-31 | 2016-07-06 | 上海极链网络科技有限公司 | 基于深度学习的互联网视频人脸识别方法 |
-
2017
- 2017-08-17 CN CN201710709125.5A patent/CN107633209B/zh active Active
- 2017-10-31 WO PCT/CN2017/108759 patent/WO2019033574A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN107633209A (zh) | 2018-01-26 |
| WO2019033574A1 (zh) | 2019-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633209B (zh) | 电子装置、动态视频人脸识别的方法及存储介质 | |
| US10783354B2 (en) | Facial image processing method and apparatus, and storage medium | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN107633208B (zh) | 电子装置、人脸追踪的方法及存储介质 | |
| TWI686774B (zh) | 人臉活體檢測方法和裝置 | |
| JP2020517027A (ja) | 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体 | |
| CN111209845A (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN104182974B (zh) | 一种基于特征点进行图像匹配的加速方法 | |
| CN111325798B (zh) | 相机模型纠正方法、装置、ar实现设备及可读存储介质 | |
| CN112991180B (zh) | 图像拼接方法、装置、设备以及存储介质 | |
| CN107527370B (zh) | 一种基于camshift的目标跟踪方法 | |
| CN110619656B (zh) | 基于双目摄像头的人脸检测跟踪方法、装置及电子设备 | |
| CN111626163A (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
| CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| CN111339884A (zh) | 图像识别方法以及相关设备、装置 | |
| CN110992426B (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
| CN112446845A (zh) | 地图构建方法、装置、slam系统以及存储介质 | |
| CN113228105A (zh) | 一种图像处理方法、装置和电子设备 | |
| CN115840550A (zh) | 一种自适应角度的显示屏显示方法、装置及介质 | |
| US20150117757A1 (en) | Method for processing at least one disparity map, corresponding electronic device and computer program product | |
| CN113723380B (zh) | 基于雷达技术的人脸识别方法、装置、设备和存储介质 | |
| CN108121963B (zh) | 视频数据的处理方法、装置及计算设备 | |
| CN113553905B (zh) | 图像识别方法、装置及系统 | |
| CN116206049A (zh) | 三维场景重建方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1246910 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |