CN110309815B - 一种人脸识别数据的处理方法及系统 - Google Patents

一种人脸识别数据的处理方法及系统 Download PDF

Info

Publication number
CN110309815B
CN110309815B CN201910624778.2A CN201910624778A CN110309815B CN 110309815 B CN110309815 B CN 110309815B CN 201910624778 A CN201910624778 A CN 201910624778A CN 110309815 B CN110309815 B CN 110309815B
Authority
CN
China
Prior art keywords
face
analyzed
picture
frame
standard deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910624778.2A
Other languages
English (en)
Other versions
CN110309815A (zh
Inventor
王云
李心雨
童当当
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN201910624778.2A priority Critical patent/CN110309815B/zh
Publication of CN110309815A publication Critical patent/CN110309815A/zh
Application granted granted Critical
Publication of CN110309815B publication Critical patent/CN110309815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸识别数据的处理方法及系统,该方法为:依次获取待分析视频的每一帧待分析画面中第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个关键点距离;确定每帧待分析画面中N个关键点距离的平均值和标准差;获取每帧待分析画面中的人脸坐标值;基于每帧待分析画面的平均值、标准差和人脸坐标值,构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。本方案中,利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。

Description

一种人脸识别数据的处理方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种人脸识别数据的处理方法及系统。
背景技术
随着科学技术的发展,人脸识别技术逐渐应用于各行各业中。在应用人脸识别技术时,通常使用人脸识别开发包(Software Development Kit,SDK)实现人脸识别。在进行人脸识别的过程中,人脸识别SDK输出多个人脸关键点的坐标,例如输出106个人脸关键点的坐标,用于描述人脸、眼睛、鼻子和嘴巴等脸部特征。
在选择人脸识别SDK或者研发新的SDK的过程中,需要对不同人脸识别SDK的人脸识别效果进行比对。目前常用的方式是通过人工观察和比对两套人脸识别SDK输出的人脸识别效果。一方面,人工比对受到评测人员的主观影响,准确性较低。另一方面,如果需要提高准确性,则需要比对大量的图像,这样耗时较长,导致比对效率低。
由此可知,目前现有的人脸识别效果的比对方式存在准确性低和效率低等问题。
发明内容
有鉴于此,本发明实施例提供一种人脸识别数据的处理方法及系统,以解决目前现有的人脸识别效果的比对效率低等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开一种人脸识别数据的处理方法,所述方法包括:
将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中;
获取待识别视频;
利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个所述第二人脸关键点;
针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N;
确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差;
获取每一帧所述待分析画面中的人脸坐标值;
基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间。
优选的,所述获取每一帧所述待分析画面中的人脸坐标值,包括:
在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形;
在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
优选的,所述基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,包括:
将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至数据表格中;
基于预设的宏,将所述数据表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
优选的,所述确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差之后,还包括:
针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
本发明实施例第二方面公开一种人脸识别数据的处理系统,所述系统包括:
集成单元,用于将第一人脸识别开发包SDK和第二人脸识别SDK集成于测试系统中;
第一获取单元,用于获取待识别视频;
识别单元,用于利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个所述第二人脸关键点;
第二获取单元,用于针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N;
计算单元,用于确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差;
第三获取单元,用于获取每一帧所述待分析画面中的人脸坐标值;
构建单元,用于基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间。
优选的,所述第三获取单元,包括:
构建模块,用于在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形;
获取模块,用于在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
优选的,所述构建单元包括:
存储模块,用于将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至数据表格中;
转换模块,用于基于预设的宏,将所述数据表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
优选的,所述系统还包括:
保存单元,用于针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
本发明实施例第三方面公开一种电子设备,所述电子设备用于运行程序,其中,所述程序运行时执行如本发明实施例第一方面公开的一种人脸识别数据的处理方法。
本发明实施例第四方面公开一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面公开的一种人脸识别数据的处理方法。
基于上述本发明实施例提供的一种人脸识别数据的处理方法及系统,该方法为:将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中;获取待识别视频,利用第一人脸识别SDK和第二人脸识别SDK对待识别视频同时进行人脸识别,得到待分析视频;依次获取待分析视频的每一帧待分析画面中第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个关键点距离;确定每帧待分析画面中N个关键点距离的平均值和标准差;获取每帧待分析画面中的人脸坐标值;基于每帧待分析画面的平均值、标准差和人脸坐标值,构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。本方案中,计算两套人脸识别SDK输出的第一人脸关键点和第二人脸关键点之间的距离平均值和标准差,以及获取每帧画面的人脸坐标值。构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种人脸识别数据的处理方法流程图;
图2a为本发明实施例提供的人脸移动曲线图;
图2b为本发明实施例提供的识别效果比对曲线图;
图3为本发明实施例提供的一种人脸识别数据的处理系统的结构框图;
图4为本发明实施例提供的另一种人脸识别数据的处理系统的结构框图;
图5为本发明实施例提供的又一种人脸识别数据的处理系统的结构框图;
图6为本发明实施例提供的再一种人脸识别数据的处理系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,目前的人脸识别效果的比对过程为:通过人工观察和比对两套人脸识别SDK输出的人脸识别效果。一方面,人工比对受到评测人员的主观影响,准确性较低。另一方面,如果需要提高准确性,则需要比对大量的图像,这样耗时较长,导致比对效率低。
因此,本发明实施例提供一种人脸识别数据的处理方法及系统,计算两套人脸识别SDK输出的第一人脸关键点和第二人脸关键点之间的距离平均值和标准差,以及获取每帧画面的人脸坐标值。构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,以提高比对准确性和比对效率。
参考图1,示出了本发明实施例提供的一种人脸识别数据的处理方法流程图,所述方法包括以下步骤:
步骤S101:将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中。
在具体实现步骤S101的过程中,预先将第一人脸识别SDK和第二人脸识别SDK集成于测试系统,在该测试系统中比较第一人脸识别SDK和第二人脸识别SDK的人脸识别结果。
步骤S102:获取待识别视频。
在具体实现步骤S103的过程中,从预先存储的直播视频或者其它类型的录像中获取所述待识别视频。具体获取待识别视频的途径在本发明实施例中不做具体限定。
步骤S103:利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频。
需要说明的是,所述待分析视频由多帧待分析画面构成,具体待分析画面的数量由所述待分析视频的帧速率确定。例如:所述待分析视频的帧速率为24帧/秒,指示每秒视频包含24帧画面,即每秒所述待分析视频包含24帧待分析画面。其中,每一帧待分析画面都包含自身在所述待分析视频中的进度时间。
进一步的,需要说明的是,人脸识别SDK在进行人脸识别的过程中,每一帧画面中都输出N个人脸关键点,每个人脸关键点为所述画面中的像素坐标点,例如:输出106个人脸关键点,每个人脸关键点在该帧画面中都存在对应的坐标点,横坐标为画面宽度,纵坐标为画面高度。
在具体实现步骤S103的过程中,使用第一人脸识别SDK和第二人脸识别SDK同时对所述待识别视频进行人脸识别,所述第一人脸识别SDK输出N个第一人脸关键点,所述第二人脸识别SDK输出N个第二人脸关键点。将所述一人脸识别SDK和第二人脸识别SDK同时对所述待识别视频的人脸识别结果作为所述待分析视频,即在所述待分析视频中同时包含所述一人脸识别SDK和第二人脸识别SDK对同一视频的人脸识别结果。
步骤S104:针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离。
在具体实现步骤S104的过程中,由前述内容可知,人脸识别SDK在每一帧画面中都会输出相应的N个人脸关键点。在每一帧所述待分析画面中,依次计算第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,例如:计算第1个第一人脸关键点和第1个第二人脸关键点之间的关键点距离,计算第2个第二人脸关键点和第2个第二人脸关键点之间的关键点距离。最终得到N个所述关键点距离。对所述待分析视频中的每一帧待分析画面都执行上述操作,得到每帧待分析画面的N个关键点距离,其中,m大于等于1小于等于N。
步骤S105:确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差。
在具体实现步骤S105的过程中,针对每一帧所述待分析画面,计算N个所述关键距离的平均值和标准差,得到所述待分析视频中每帧所述待分析画面的所述平均值和标准差。
需要说明的是,所述平均值和标准差为:两套不同人脸识别SDK输出的人脸关键点之间的距离平均值和标准差。在每帧待分析画面中,所述平均值和标准差越小,说明两套不同人脸识别SDK对该帧待分析画面的识别效果越接近,所述平均值和标准差越大,说明两套不同人脸识别SDK对该帧待分析画面的识别效果相差越大。因此,通过所述平均值和标准差的大小,可更加准确的判断不同人脸识别SDK的识别效果之间的差异。
优选的,在执行所述步骤S105之后,针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
进一步的,需要说明的是,当所述平均值和标准差大于阈值时,说明所述第一人脸识别SDK和第二人脸识别SDK的识别效果之间的差异较大。因此,保存所述待分析画面,并使用不同颜色表示N个所述第一人脸关键点和N个所述第二人脸关键点,例如:第一人脸关键点用红色表示,第二人脸关键点用绿色表示。使技术人员进一步确定所述第一人脸识别SDK和第二人脸识别SDK的识别效果之间的差异。
步骤S106:获取每一帧所述待分析画面中的人脸坐标值。
需要说明的是,通过每一帧待分析画面中的人脸坐标值的变化,可反映人脸的移动情况。通过人脸坐标值中的x值的变化,可反映人脸是否在左右移动,通过人脸坐标值中的y值的变化,可反映人脸是否在上下移动。当x值和y值都不变的情况下,指示人脸未发生移动。
在具体实现步骤S106的过程中,在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形。在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。例如:所述最小矩形的中心点的坐标作为所述人脸坐标值。
需要说明的是,若在所述待分析视频的每一帧待分析画面中,所述最小矩形中预设位置为同一位置。例如:在所述待分析视频的第1帧待分析画面中,将所述最小矩形的中心点坐标作为所述人脸坐标值,后续在所述待分析视频的其它待分析画面中,都需将所述最小矩形的中心点坐标作为所述人脸坐标值。
进一步的,需要说明的是,上述步骤S104至步骤S106的执行顺序包括但不仅限于先执行步骤S104和步骤S105,再执行步骤S106。也可先执行步骤S106,在再执行步骤S104和步骤S105。在本发明实施例中不做具体限定。
优选的,将上述步骤S105和S106中计算得到的每帧待分析画面的平均值、标准差和人脸坐标值存储至逗号分隔值文件格式(Comma-Separated Values,CSV)的文件中,每一行数据存储每一帧待分析画面的平均值、标准差、人脸坐标值的x值,人脸坐标值的y值。
进一步的,需要说明的是,所述待分析视频中的人脸在张嘴和闭嘴的过程中,人脸保持静止,即人脸坐标值变化幅度很小。技术人员可通过确定张嘴和闭嘴动作在所述待分析视频中的进度时间,从而确定在张嘴和闭嘴时所述平均值和标准差的变化情况,进一步的确定在张嘴和闭嘴时不同人脸识别SDK的识别效果之间的差异。
步骤S107:基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图。
在具体实现步骤S107的过程中,由前述内容可知,预先将每一帧所述待分析画面的平均值、标准差和人脸坐标值存储至CSV格式的文件中,将该文件导入图表软件中,例如Excel软件。将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至数据表格中,例如将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至Excel表格中。利用在图表软件中预设的宏,将所述数据表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
需要说明的是,由步骤S105中示出的内容可知,通过所述平均值和标准差的大小,可更加准确的判断不同人脸识别SDK的识别效果之间的差异。因此,结合所述识别效果比对曲线图和人脸移动曲线图,可获取人脸在不同的移动幅度下,所述平均值和标准差的变化情况,从而确定人脸在不同的移动幅度下不同人脸识别SDK的识别效果之间的差异。
在本发明实施例中,计算两套人脸识别SDK输出的第一人脸关键点和第二人脸关键点之间的距离平均值和标准差,以及获取每帧画面的人脸坐标值。构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。
为更好解释说明上述图1中各个步骤示出的内容,结合图2a示出的人脸移动曲线图和图2b示出的识别效果比对曲线图进行举例说明。
预先使用两套不同的人脸识别SDK对同一视频进行人脸识别,并分别计算每一帧所述待分析画面中N个所述关键点距离的平均值和标准差,以及获取每一帧所述待分析画面中的人脸坐标值。
在所述图2a中,纵坐标为人脸坐标值的数值,横坐标为所述待分析视频的进度时间。在所述图2b中,纵坐标为所述平均值和标准差的数值,横坐标为所述待分析视频的进度时间。A、B和C分别表示进度时间段。
由所述图2a中的内容可知,在进度时间段A内,人脸坐标值的x坐标和y坐标未发生变化,即指示人脸未发生移动。在图2b中,在进度时间段A内,所述平均值和标准差的数值分别趋近于2和趋近于1,指示在人脸静止的情况下,两套人脸识别SDK的识别效果较为相近。
需要说明的是,本发明实施例中涉及的x坐标和y坐标未发生变化指的是:x坐标和y坐标的变化值在预设范围内相当于未发生变化。
由所述图2a中的内容可知,在进度时间段B内,人脸坐标值的x坐标发生剧烈变化,y坐标未发生剧烈变化,指示人脸在左右移动。在所述图2b中,在进度时间段B内,所述平均值和标准差都增大,指示在人脸左右移动的情况下,两套人脸识别SDK的识别效果之间的差异较大。
由所述图2a中的内容可知,在进度时间段C内,人脸坐标值的x坐标和y坐标未发生变化,即指示人脸未发生移动。在图2b中,在进度时间段C内,所述平均值和标准差的数值分别趋近于2和趋近于1,指示在人脸静止的情况下,两套人脸识别SDK的识别效果较为相近。
需要说明的是,利用图2a和图2b中示出的人脸移动曲线图和识别效果比对曲线图,可将两套人脸识别SDK的识别结果数据化并进行比对,使比对的效率更高和使比对结果更加准确。
进一步的,需要说明的是,上述图2a和图2b中示出的曲线图仅适用于举例说明。
在本发明实施例中,利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。
与上述本发明实施例提供的一种人脸识别数据的处理方法相对应,参考图3,本发明实施例还提供了一种人脸识别数据的处理系统的结构框图,所述系统包括:集成单元301、第一获取单元302、识别单元303、第二获取单元304、计算单元305、第三获取单元306和构建单元307;
集成单元301,用于将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中。
第一获取单元302,用于获取待识别视频。
识别单元303,用于利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个所述第二人脸关键点。获得所述待分析视频的过程参见上述本发明实施例图1步骤S103中相对应的内容。
第二获取单元304,用于针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N。获取关键点距离的过程参见上述本发明实施例图1步骤S104中相对应的内容。
计算单元305,用于确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差。计算所述平均值和标准差的过程参见上述本发明实施例图1步骤S105中相对应的内容。
第三获取单元306,用于获取每一帧所述待分析画面中的人脸坐标值。获取所述人脸坐标值的过程参见上述本发明实施例图1步骤S106中相对应的内容。
构建单元307,用于基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间。构建所述识别效果比对曲线图和人脸移动曲线图的过程,参见上述本发明实施例图1步骤S107中相对应的内容。
在本发明实施例中,计算两套人脸识别SDK输出的第一人脸关键点和第二人脸关键点之间的距离平均值和标准差,以及获取每帧画面的人脸坐标值。构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。
优选的,结合图3,参考图4,示出了本发明实施例提供的一种人脸识别数据的处理系统的结构框图,所述第三获取单元306包括:
构建模块3061,用于在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形。
获取模块3062,用于在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
优选的,结合图3,参考图5,示出了本发明实施例提供的一种人脸识别数据的处理系统的结构框图,所述构建单元307包括:
存储模块3071,用于将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至数据表格中。
转换模块3072,用于基于预设的宏,将所述数据表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
在本发明实施例中,将每一帧待分析画面的进度时间、平均值、标准差和人脸坐标值存储至数据表格中,并利用表格软件中预设的宏将该数据表格转换为对应的识别效果比对曲线图和人脸移动曲线图。利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。
优选的,结合图3,参考图6,示出了本发明实施例提供的一种人脸识别数据的处理系统的结构框图,所述系统还包括:
保存单元308,用于针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
在本发明实施例中,保存平均值和标准差大于阈值的待分析画面,并使用不同颜色表示第一人脸关键点和第二人脸关键点。技术人员根据保存的待分析画面进一步确定不同人脸识别SDK的识别效果,提高比对准确性和比对效率。
基于上述本发明实施例公开的一种人脸识别数据的处理系统,上述各个模块可以通过一种由处理器和存储器构成的电子设备实现。具体为:上述各个模块作为程序单元存储于存储器中,由处理器执行存储在存储器中的上述程序单元来实现人脸识别数据的处理。
其中,处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现人脸识别数据的处理。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
进一步的,本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行人脸识别数据的处理方法。
进一步的,本发明实施例提供了一种电子设备,所述电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中;获取待识别视频;利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个所述第二人脸关键点;针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N;确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差;获取每一帧所述待分析画面中的人脸坐标值;基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间。
其中,所述获取每一帧所述待分析画面中的人脸坐标值,包括:
在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形;在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
其中,所述基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,包括:将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至Excel表格中;基于预设的宏,将所述Excel表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
进一步,所述确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差之后,还包括:针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
本发明实施例中公开的设备可以是PC、PAD、手机等。
进一步的,本发明实施例还提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现人脸识别数据的处理。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中;获取待识别视频;利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个所述第二人脸关键点;针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N;确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差;获取每一帧所述待分析画面中的人脸坐标值;基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间。
其中,所述获取每一帧所述待分析画面中的人脸坐标值,包括:
在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形;在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
其中,所述基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,包括:将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至Excel表格中;基于预设的宏,将所述Excel表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
进一步,所述确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差之后,还包括:针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
综上所述,本发明实施例提供一种人脸识别数据的处理方法及系统,该方法为:将第一人脸识别SDK和第二人脸识别SDK集成于测试系统中;获取待识别视频,利用第一人脸识别SDK和第二人脸识别SDK对待识别视频同时进行人脸识别,得到待分析视频;依次获取待分析视频的每一帧待分析画面中第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个关键点距离;确定每帧待分析画面中N个关键点距离的平均值和标准差;获取每帧待分析画面中的人脸坐标值;基于每帧待分析画面的平均值、标准差和人脸坐标值,构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。本方案中,计算两套人脸识别SDK输出的第一人脸关键点和第二人脸关键点之间的距离平均值和标准差,以及获取每帧画面的人脸坐标值。构建包含进度时间、平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和人脸坐标值的人脸移动曲线图。利用构建的识别效果比对曲线图和人脸移动曲线图,在人脸处于不同的移动幅度下,比对两套人脸识别SDK对同一视频中的人脸识别效果,提高比对准确性和比对效率。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种人脸识别数据的处理方法,其特征在于,所述方法包括:
将第一人脸识别开发包SDK和第二人脸识别SDK集成于测试系统中;
获取待识别视频;
利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,其中,所述待分析视频由多帧待分析画面构成,所述待分析画面的数量由所述待分析视频的帧速率确定,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个第二人脸关键点,每个人脸关键点为待分析画面中的像素坐标点;
针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N;
确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差;
针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,则保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色;
获取每一帧所述待分析画面中的人脸坐标值;
基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间。
2.根据权利要求1所述的方法,其特征在于,所述获取每一帧所述待分析画面中的人脸坐标值,包括:
在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形;
在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
3.根据权利要求1所述的方法,其特征在于,所述基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,包括:
将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至数据表格中;
基于预设的宏,将所述数据表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
4.一种人脸识别数据的处理系统,其特征在于,所述系统包括:
集成单元,用于将第一人脸识别开发包SDK和第二人脸识别SDK集成于测试系统中;
第一获取单元,用于获取待识别视频;
识别单元,用于利用所述第一人脸识别SDK和第二人脸识别SDK对所述待识别视频同时进行人脸识别,得到待分析视频,其中,所述待分析视频由多帧待分析画面构成,所述待分析画面的数量由所述待分析视频的帧速率确定,所述待分析视频的每一帧待分析画面都包含:所述第一人脸识别SDK输出的N个第一人脸关键点和第二人脸识别SDK输出的N个第二人脸关键点,每个人脸关键点为待分析画面中的像素坐标点;
第二获取单元,用于针对所述待分析视频的每一帧待分析画面,依次获取第m个第一人脸关键点和第m个第二人脸关键点之间的关键点距离,得到N个所述关键点距离,其中,m大于等于1小于等于N;
计算单元,用于确定每一帧所述待分析画面中N个所述关键点距离的平均值和标准差;
第三获取单元,用于获取每一帧所述待分析画面中的人脸坐标值;
构建单元,用于基于每一帧所述待分析画面的所述平均值、标准差和人脸坐标值,构建包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及构建包含进度时间和所述人脸坐标值的人脸移动曲线图,其中,所述进度时间为所述待分析画面在所述待分析视频中的进度时间;
保存单元,用于针对每一帧所述待分析画面,若所述平均值和标准差大于阈值,保存所述待分析画面,并将N个所述第一人脸关键点和N个所述第二人脸关键点设置为不同颜色。
5.根据权利要求4所述的系统,其特征在于,所述第三获取单元,包括:
构建模块,用于在每一帧所述待分析画面中,构建包围N个所述第一人脸关键点和/或N个所述第二人脸关键点的最小矩形;
获取模块,用于在每一帧所述待分析画面中,获取所述最小矩形中预设位置的坐标,得到人脸坐标值。
6.根据权利要求4所述的系统,其特征在于,所述构建单元包括:
存储模块,用于将每一帧所述待分析画面的进度时间、所述平均值、标准差和人脸坐标值存储至数据表格中;
转换模块,用于基于预设的宏,将所述数据表格转换成包含进度时间、所述平均值和标准差的识别效果比对曲线图,以及转换成包含进度时间和所述人脸坐标值的人脸移动曲线图。
7.一种电子设备,其特征在于,所述电子设备用于运行程序,其中,所述程序运行时执行如权利要求1-3中任一所述的一种人脸识别数据的处理方法。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1-3中任一所述的一种人脸识别数据的处理方法。
CN201910624778.2A 2019-07-11 2019-07-11 一种人脸识别数据的处理方法及系统 Active CN110309815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910624778.2A CN110309815B (zh) 2019-07-11 2019-07-11 一种人脸识别数据的处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910624778.2A CN110309815B (zh) 2019-07-11 2019-07-11 一种人脸识别数据的处理方法及系统

Publications (2)

Publication Number Publication Date
CN110309815A CN110309815A (zh) 2019-10-08
CN110309815B true CN110309815B (zh) 2021-05-11

Family

ID=68081031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910624778.2A Active CN110309815B (zh) 2019-07-11 2019-07-11 一种人脸识别数据的处理方法及系统

Country Status (1)

Country Link
CN (1) CN110309815B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826421B (zh) * 2019-10-18 2023-09-05 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN111667403B (zh) * 2020-07-02 2023-04-18 北京爱笔科技有限公司 一种有遮挡的人脸图像的生成方法及装置
CN115802101A (zh) * 2022-11-25 2023-03-14 深圳创维-Rgb电子有限公司 一种短视频生成方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN103403739A (zh) * 2011-01-25 2013-11-20 意大利电信股份公司 用于比较图像的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN103403739A (zh) * 2011-01-25 2013-11-20 意大利电信股份公司 用于比较图像的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Android端的基于OpenCV和Dlib的图片、视频人脸检测和人脸识别;dengly;《https://github.com/dengly/FaceDlibOpencv》;20180518;第1-3页 *

Also Published As

Publication number Publication date
CN110309815A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309815B (zh) 一种人脸识别数据的处理方法及系统
CN111950638B (zh) 基于模型蒸馏的图像分类方法、装置和电子设备
CN106469302B (zh) 一种基于人工神经网络的人脸肤质检测方法
CN109325430B (zh) 实时行为识别方法及系统
CN110059750A (zh) 户型形状识别方法、装置和设备
CN110781976B (zh) 训练图像的扩充方法、训练方法及相关装置
CN110705530B (zh) 双目活体识别同一人脸框的方法、装置、设备及存储介质
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
CN110019838A (zh) 智能问答系统及智能终端
CN109543011A (zh) 问答数据处理方法、装置、计算机设备和存储介质
CN110310247A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN113269149A (zh) 活体人脸图像的检测方法、装置、计算机设备及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN113221695B (zh) 训练肤色识别模型的方法、识别肤色的方法及相关装置
CN106713901A (zh) 一种视频质量评价方法及装置
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
ITTO20060556A1 (it) Metodo di rilevazione eventi e sistema di video sorveglianza utilizzante il metodo
CN111507135A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111291754B (zh) 一种文本级联检测方法、装置及存储介质
CN109033995A (zh) 识别用户行为的方法、装置及智能可穿戴设备
CN108596094A (zh) 人物风格检测系统、方法、终端及介质
CN111754589B (zh) 配色方法、装置、计算机设备及存储介质
WO2023142396A1 (zh) 重定位模块的测试方法及装置、设备、系统、介质、计算机程序、计算机程序产品
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN116152609A (zh) 分布式模型训练方法、系统、装置以及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210114

Address after: 510000 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 28th floor, block B1, Wanda Plaza, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191008

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000052

Denomination of invention: A face recognition data processing method and system

License type: Common License

Record date: 20210222

GR01 Patent grant
GR01 Patent grant