CN112084992B - 一种人脸关键点检测模块中人脸框选取方法 - Google Patents

一种人脸关键点检测模块中人脸框选取方法 Download PDF

Info

Publication number
CN112084992B
CN112084992B CN202010987766.9A CN202010987766A CN112084992B CN 112084992 B CN112084992 B CN 112084992B CN 202010987766 A CN202010987766 A CN 202010987766A CN 112084992 B CN112084992 B CN 112084992B
Authority
CN
China
Prior art keywords
face frame
coordinate
face
pictures
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010987766.9A
Other languages
English (en)
Other versions
CN112084992A (zh
Inventor
李晋军
瞿洪桂
孙家乐
高云丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinonet Science and Technology Co Ltd
Original Assignee
Beijing Sinonet Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinonet Science and Technology Co Ltd filed Critical Beijing Sinonet Science and Technology Co Ltd
Priority to CN202010987766.9A priority Critical patent/CN112084992B/zh
Publication of CN112084992A publication Critical patent/CN112084992A/zh
Application granted granted Critical
Publication of CN112084992B publication Critical patent/CN112084992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明涉及人脸关键点检测领域，公开了一种人脸关键点检测模块中人脸框选取方法，包括获取人脸检测模型以及关键点模型；根据人脸检测模型获得的N张图片的人脸框坐标和N张图片的真实人脸框坐标获得人脸框坐标伸缩比例；利用人脸框坐标伸缩比例对已训练好的人脸检测模型输出的测试数据集中每张图片的人脸框坐标进行优化，获得测试数据集中每张图片优化后的人脸框坐标；将优化后的人脸框坐标进行坐标转换，获得新的人脸框坐标，根据新的人脸框坐标从原图片裁剪出人脸框，将裁剪的人脸框输入已训练好的关键点模型，获得关键点坐标。本发明能够有效解决人脸检测和关键点检测模块中因人脸框选取标准不一致而产生的关键点精度下降的问题。

Description

一种人脸关键点检测模块中人脸框选取方法
技术领域
本发明涉及人脸关键点检测领域，具体地涉及一种人脸关键点检测模块中人脸框选取方法。
背景技术
人脸关键点检测是人脸识别和分析领域中的关键一步，是自动人脸识别、表情分析、三维人脸重建及三维动画以及其它人脸相关问题的前提和突破口。而在人脸识别系统中，人脸检测和人脸关键点检测属于级联系统，即人脸关键点检测需要使用人脸检测模块输出的人脸框。在人脸检测模块使用的人脸框一般只包含人脸即可，大部分情况下不能保证人脸脸颊关键点在人脸框中，而在关键点模块中需要保证人脸关键点全部包含在在人脸框内，这样才能够保证关键点检测的准确性。两种人脸框选取策略存在差异，从而造成因人脸框选取标准不一致而产生的关键点精度下降的问题。在现有人脸识别系统中，较少关注由于人脸检测器提供的人脸框和人脸关键点所需人脸框不一致所造成的精度损失，但是其精度会直接影响后续特征提取，表情识别等人脸识别技术的准确性。
发明内容
本发明提供一种人脸关键点检测模块中人脸框选取方法，从而解决现有技术的上述问题。
一种人脸关键点检测模块中人脸框选取方法，包括以下步骤：
S1)获取已训练好的人脸检测模型以及已训练好的关键点模型；
S2)获取人脸关键点训练数据集,所述人脸关键点训练数据集包括训练集和测试数据集，所述训练集包括N张图片，利用已训练好的人脸检测模型获得训练集中N张图片的人脸框坐标，获取训练集中N张图片的真实人脸框坐标，根据所述N张图片的人脸框坐标和所述N张图片的真实人脸框坐标获得人脸框坐标伸缩比例；
S3)将所述测试数据集输入已训练好的人脸检测模型，所述测试数据集包括M张图片，利用人脸框坐标伸缩比例对已训练好的人脸检测模型输出的测试数据集中每张图片的人脸框坐标进行优化，获得测试数据集中每张图片优化后的人脸框坐标；
S4)将测试数据集中第i张图片优化后的人脸框坐标进行坐标转换，获得测试数据集中第i张图片的新的人脸框坐标，根据第i张图片的新的人脸框坐标从第i张图片中裁剪出人脸框，将裁剪的人脸框输入已训练好的关键点模型，获得关键点坐标，i＝1、2、…、M。
进一步的，步骤S2)中，利用已训练好的人脸检测模型获得训练集中N张图片的人脸框坐标，获取训练集中N张图片的真实人脸框坐标，根据所述N张图片的人脸框坐标和所述N张图片的真实人脸框坐标获得人脸框坐标伸缩比例，包括以下步骤：
S21)将N张图片分别输入至所述已训练好的人脸检测模型,所述已训练好的人脸检测模型输出训练集中N张图片的人脸框坐标，第j张图片的人脸框坐标为[det_x1j，det_y1j，det_x2j，det_y2j]，j＝1、2、…、N；
S22)获取训练集中N张图片的真实人脸框坐标，第j张图片的真实人脸框坐标为[gt_x1j，gt_y1j，gt_x2j，gt_y2j]；gt_x1j和gt_x2j分别取第j张图片的关键点坐标中的最小x坐标值和最大x坐标值，gt_y1j和gt_y2j分别取第j张图片的关键点坐标中的最小y坐标值和最大y坐标值；
S23)根据步骤S21)中N张图片的人脸框坐标分别计算N张图片的宽和高，第j张图片的宽wj＝det_x2j-det_x1j，第j张图片的高hj＝det_y2j-det_y1j；
S24)将步骤S23)中N张图片的宽进行求和后除以训练集的总样本数N，获得N张图片的平均宽度
Figure GDA0002954715670000031
将步骤S23)中N张图片的高进行求和后除以训练集的总样本数N，获得N张图片的平均高度
Figure GDA0002954715670000032
S25)根据训练集中N张图片的人脸框坐标和真实人脸框坐标获得N张图片的坐标差值，N张图片的坐标差值包括N张图片的第一x坐标差值、N张图片的第一y坐标差值、N张图片的第二x坐标差值、N张图片的第二y坐标差值；第j张图片的第一x坐标差值Δx1j＝gt_x1j-det_x1j,第j张图片的第一y坐标差值Δy1j＝gt_y1j-det_y1j，第j张图片的第二x坐标差值Δx2j＝gt_x2j-det_x2j,第j张图片的第二y坐标差值Δy2j＝gt_y2j-det_y2j；
S26)将N张图片的坐标差值分别求和后除以训练集的总样本数N，获得N张图片的平均坐标差值，N张图片的平均坐标差值包括第一x坐标平均差值
Figure GDA0002954715670000033
N张图片的第一y坐标平均差值
Figure GDA0002954715670000034
N张图片的第二x坐标平均差值
Figure GDA0002954715670000035
N张图片的第二y坐标平均差值
Figure GDA0002954715670000036
S27)将步骤S26)中N张图片的平均坐标差值分别除以步骤S24)中N张图片的平均宽度meanw和N张图片的平均高度meanh，获得人脸框坐标伸缩比例[px1，py1，px2，py2],第一x坐标伸缩比例
Figure GDA0002954715670000037
第一y坐标伸缩比例
Figure GDA0002954715670000038
第二x坐标伸缩比例
Figure GDA0002954715670000039
第二y坐标伸缩比例
Figure GDA00029547156700000310
进一步的，步骤S3)中，将所述测试数据集输入已训练好的人脸检测模型，利用人脸框坐标伸缩比例对已训练好的人脸检测模型输出的测试数据集中每张图片的人脸框坐标进行优化，获得测试数据集中每张图片优化后的人脸框坐标，包括以下步骤：
S31)将所述测试数据集输入已训练好的人脸检测模型，已训练好的人脸检测模型输出测试数据集中每张图片的人脸框坐标，第i张图片的人脸框坐标为[x1i,y1i,x2i,y2i]；
S32)将测试数据集中每张图片的人脸框坐标[x1i,y1i,x2i,y2i]与人脸框坐标伸缩比例[px1，py1，px2，py2]对应相乘，获得测试数据集中每张图片优化后的人脸框坐标,测试数据集中第i张图片优化后的人脸框坐标为[new_x1i,new_y1i,new_x2i,new_y2i]，优化后的人脸框第一x坐标值new_x1i＝x1i*(1+px1),优化后的人脸框第一y坐标值new_y1i＝y1i*(1+py1),优化后的人脸框第二x坐标值new_x2i＝x2i*(1+px2)，优化后的人脸框第二y坐标值new_y2i＝y2i*(1+py2)。
进一步的，步骤S4)中，将测试数据集中第i张图片优化后的人脸框坐标进行坐标转换，获得测试数据集中第i张图片的新的人脸框坐标，包括以下步骤：
S41)根据测试数据集中第i张图片优化后的人脸框坐标获得第i张图片优化后的人脸框的矩形区域宽Wi和矩形区域高Hi，Wi＝new_x2i-new_x1i，Hi＝new_y2i-new_y1i；
S42)获得第i张图片优化后的人脸框的矩形区域宽Wi和矩形区域高Hi中的最大值boxsizei＝max(Wi,Hi),将最大值boxsizei扩大k倍，获得第i张图片扩大k倍后的人脸框大小face_boxsizei＝boxsizei*k；
S43)获得第i张图片的新的人脸框坐标[fx1，fy1，fx2，fy2],第i张图片的新的人脸框第一x坐标值
Figure GDA0002954715670000051
第i张图片的新的人脸框第一y坐标值
Figure GDA0002954715670000052
第i张图片的新的人脸框第二x坐标值
Figure GDA0002954715670000053
第i张图片的新的人脸框第二y坐标值
Figure GDA0002954715670000054
进一步的，步骤S42)中，将最大值boxsizei扩大k倍，k＝1.2。
本发明的有益效果是：本发明在人脸关键点训练数据集上计算人脸检测模型输出的人脸框和符合关键点检测标准的人脸框(即真实人脸框)之间的差异，从而计算出人脸框坐标伸缩比例，并根据人脸框坐标伸缩比例计算获得优化后的人脸框坐标，再将优化后的人脸框坐标进行坐标转换后获得合适的新的人脸框坐标，本发明能够有效解决人脸检测和关键点检测模块中因人脸框选取标准不一致而产生的关键点精度下降的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例一提供的人脸关键点检测模块中人脸框选取方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例一，一种人脸关键点检测模块中人脸框选取方法，如图1所示，包括以下步骤：
S1)获取已训练好的人脸检测模型以及已训练好的关键点模型；
步骤S1)之前还包括分别采集人脸检测图像训练集和关键点训练集，建立人脸检测模型和关键点模型，利用人脸检测图像训练集对人脸检测模型进行训练，获得已训练好的人脸检测模型。利用关键点训练集对关键点模型进行训练，获得已训练好的关键点模型。本实施例中，采用MobilenetV2作为主干网络，损失函数采用Wingloss，评测指标为ION，利用关键点训练集对关键点模型进行训练，关键点模型的输出为人脸的关键点。
S2)获取人脸关键点训练数据集,人脸关键点训练数据集采用人脸关键点数据集300WLP和人脸关键点数据集WFLW，人脸关键点训练数据集包括训练集和测试数据集，训练集包括N张图片，利用已训练好的人脸检测模型获得训练集中N张图片的人脸框坐标，获取训练集中N张图片的真实人脸框坐标，根据N张图片的人脸框坐标和N张图片的真实人脸框坐标获得人脸框坐标伸缩比例，包括以下步骤：
S21)将N张图片分别输入至已训练好的人脸检测模型,已训练好的人脸检测模型输出训练集中N张图片的人脸框坐标，第j张图片的人脸框坐标为[det_x1j，det_y1j，det_x2j，det_y2j]，j＝1、2、…、N；
S22)根据训练集标注信息获取训练集中N张图片的真实人脸框坐标，第j张图片的真实人脸框坐标为[gt_x1j，gt_y1j，gt_x2j，gt_y2j]；gt_x1j和gt_x2j分别取第j张图片的关键点坐标中的最小x坐标值和最大x坐标值，gt_y1j和gt_y2j分别取第j张图片的关键点坐标中的最小y坐标值和最大y坐标值；
S23)根据步骤S21)中N张图片的人脸框坐标分别计算N张图片的宽和高，第j张图片的宽wj＝det_x2j-det_x1j，第j张图片的高hj＝det_y2j-det_y1j；
S24)将步骤S23)中N张图片的宽进行求和后除以训练集的总样本数N，获得N张图片的平均宽度
Figure GDA0002954715670000071
将步骤S23)中N张图片的高进行求和后除以训练集的总样本数N，获得N张图片的平均高度
Figure GDA0002954715670000072
S25)根据训练集中N张图片的人脸框坐标和真实人脸框坐标获得N张图片的坐标差值，N张图片的坐标差值包括N张图片的第一x坐标差值、N张图片的第一y坐标差值、N张图片的第二x坐标差值、N张图片的第二y坐标差值；第j张图片的第一x坐标差值Δx1j＝gt_x1j-det_x1j,第j张图片的第一y坐标差值Δy1j＝gt_y1j-det_y1j，第j张图片的第二x坐标差值Δx2j＝gt_x2j-det_x2j,第j张图片的第二y坐标差值Δy2j＝gt_y2j-det_y2j；
S26)将N张图片的坐标差值分别求和后除以训练集的总样本数N，获得N张图片的平均坐标差值，N张图片的平均坐标差值包括第一x坐标平均差值
Figure GDA0002954715670000073
N张图片的第一y坐标平均差值
Figure GDA0002954715670000074
N张图片的第二x坐标平均差值
Figure GDA0002954715670000075
N张图片的第二y坐标平均差值
Figure GDA0002954715670000076
S27)将步骤S26)中N张图片的平均坐标差值分别除以步骤S24)中N张图片的平均宽度meanw和N张图片的平均高度meanh，获得人脸框坐标伸缩比例[px1，py1，px2，py2],第一x坐标伸缩比例
Figure GDA0002954715670000077
第一y坐标伸缩比例
Figure GDA0002954715670000081
第二x坐标伸缩比例
Figure GDA0002954715670000082
第二y坐标伸缩比例
Figure GDA0002954715670000083
S3)将测试数据集输入已训练好的人脸检测模型，测试数据集包括M张图片，利用人脸框坐标伸缩比例对已训练好的人脸检测模型输出的测试数据集中每张图片的人脸框坐标进行优化，获得测试数据集中每张图片优化后的人脸框坐标，包括以下步骤：
S31)将所述测试数据集输入已训练好的人脸检测模型，已训练好的人脸检测模型输出测试数据集中每张图片的人脸框坐标，第i张图片的人脸框坐标为[x1i,y1i,x2i,y2i]；
S32)将测试数据集中每张图片的人脸框坐标[x1i,y1i,x2i,y2i]与人脸框坐标伸缩比例[px1，py1，px2，py2]对应相乘，获得测试数据集中每张图片优化后的人脸框坐标,测试数据集中第i张图片优化后的人脸框坐标为[new_x1i,new_y1i,new_x2i,new_y2i]，优化后的人脸框第一x坐标值new_x1i＝x1i*(1+px1),优化后的人脸框第一y坐标值new_y1i＝y1i*(1+py1),优化后的人脸框第二x坐标值new_x2i＝x2i*(1+px2)，优化后的人脸框第二y坐标值new_y2i＝y2i*(1+py2)。
S4)将测试数据集中第i张图片优化后的人脸框坐标进行坐标转换，获得测试数据集中第i张图片的新的人脸框坐标，根据第i张图片的新的人脸框坐标从第i张图片中裁剪出人脸框，将裁剪的人脸框输入已训练好的关键点模型，获得关键点坐标，i＝1、2、…、M。
步骤S4)中，将测试数据集中第i张图片优化后的人脸框坐标进行坐标转换，获得测试数据集中第i张图片的新的人脸框坐标，包括以下步骤：
S41)根据测试数据集中第i张图片优化后的人脸框坐标获得第i张图片优化后的人脸框的矩形区域宽Wi和矩形区域高Hi，Wi＝new_x2i-new_x1i，Hi＝new_y2i-new_y1i；
S42)获得第i张图片优化后的人脸框的矩形区域宽Wi和矩形区域高Hi中的最大值boxsizei＝max(Wi,Hi),将最大值boxsizei扩大k倍，k＝1.2，获得第i张图片扩大k倍后的人脸框大小face_boxsizei＝boxsizei*k；
S43)获得第i张图片的新的人脸框坐标[fx1，fy1，fx2，fy2],第i张图片的新的人脸框第一x坐标值
Figure GDA0002954715670000091
第i张图片的新的人脸框第一y坐标值
Figure GDA0002954715670000092
第i张图片的新的人脸框第二x坐标值
Figure GDA0002954715670000093
第i张图片的新的人脸框第二y坐标值
Figure GDA0002954715670000094
本实施例中，以人脸关键点数据集WFLW为例，使用人脸关键点数据集WFLW中的2500张图片作为测试数据集,使用关键点常用精度计算方式ION(Intersection OverUnion)作为评价指标，表一提供了在不同人脸框选取策略下的关键点精度对比效果，不同人脸框选取策略包括使用关键点最大最小值策略作为人脸框、直接使用WFLW标注人脸框、使用本发明计算人脸框。ION是关键点检测中常用的精度计算公式，ION主要描述关键点预测值与实际值之间的距离，ION值越小代表关键点模型精度越高，定位更准确。
表一不同人脸框选取策略下的关键点精度对比效果
Figure GDA0002954715670000095
Figure GDA0002954715670000101
表一
人脸框为正方形区域，人脸框的坐标为正方形区域左上角坐标(x1,y1)和右下角坐标(x2,y2)组成。
本实施例中，表一的序号1为关键点最大最小值选取策略：关键点坐标为(x,y)格式，选取x中最小值作为人脸框左上角x1值，y中最小值作为人脸框左上角y1值，x中最大值作为人脸框右下角x2值，y中最大值作为人脸框右下角y2值。则该矩形区域宽为w＝x2-x1，高为h＝y2-y1，取w和h中较大值boxsize＝max(w，h)，将较大值boxsize扩大1.2倍作为人脸框输入至关键点模型，序号1中采用关键点最大最小值选取策略获得的人脸框大小为boxsize*1.2，利用关键点最大最小值选取策略获得的关键点精度为5.589％。
序号2为直接使用人脸关键点数据集WFLW标注人脸框选取策略：人脸关键点数据集WFLW为人脸关键点检测所使用的主要数据集，人脸关键点数据集WFLW提供了人脸框标注信息,即gt_x1、gt_y1、gt_x2、gt_y2。人脸关键点数据集WFLW提供的人脸框标注信息相对于人脸检测器模型输出的人脸框更为准确。计算该矩形区域宽为w1＝gt_x2-gt_x1,高为h1＝gt_y2-gt_y1，取w1和h1中较大值gt_boxsize＝max(w1,h1)，将较大值gt_boxsize作为人脸框输入至关键点模型。序号2中直接使用人脸关键点数据集WFLW标注人脸框选取策略的人脸框大小为gt_boxsize，获得的关键点精度为7.26％。
序号3为本发明提出的人脸框选取策略，通过本发明获得的人脸框大小为boxsize*1.2，获得的关键点精度为6.54％。通过三种不同人脸框选取策略对比能够得出，在人脸检测器和人脸关键点级联系统中和关键点模型确定的情况下(序号1),如果不对人脸框的选取策略做调整(序号2)，关键点的精度将会有至少1.671％(7.26％-5.589％)的损失，因为人脸检测器输出的人脸框肯定不如标注数据准确。而使用本发明提出的方法(序号3)，能够有效解决人脸检测和关键点检测模块中因人脸框选取标准不一致而产生的关键点精度下降的问题，最终精度损失为6.54％-5.589％＝0.951％,相对于1.671％有了0.721％的提升。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明在人脸关键点训练数据集上计算人脸检测模型输出的人脸框和符合关键点检测标准的人脸框(即真实人脸框)之间的差异，从而计算出人脸框坐标伸缩比例，并根据人脸框坐标伸缩比例计算获得优化后的人脸框坐标，再将优化后的人脸框坐标进行坐标转换后获得合适的新的人脸框坐标，本发明能够有效解决人脸检测和关键点检测模块中因人脸框选取标准不一致而产生的关键点精度下降的问题。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种人脸关键点检测模块中人脸框选取方法，其特征在于，包括以下步骤：
S1)获取已训练好的人脸检测模型以及已训练好的关键点模型；
S2)获取人脸关键点训练数据集，所述人脸关键点训练数据集包括训练集和测试数据集，所述训练集包括N张图片，利用已训练好的人脸检测模型获得训练集中N张图片的人脸框坐标，获取训练集中N张图片的真实人脸框坐标，根据所述N张图片的人脸框坐标和所述N张图片的真实人脸框坐标获得人脸框坐标伸缩比例，包括以下步骤：
S21)将N张图片分别输入至所述已训练好的人脸检测模型，所述已训练好的人脸检测模型输出训练集中N张图片的人脸框坐标，第j张图片的人脸框坐标为[det_x1j，det_y1j，det_x2j，det_y2j]，j＝1、2、...、N；
S22)获取训练集中N张图片的真实人脸框坐标，第j张图片的真实人脸框坐标为[gt_x1j，gt_y1j，gt_x2j，gt_y2j]；gt_x1j和gt_x2j分别取第j张图片的关键点坐标中的最小x坐标值和最大x坐标值，gt_y1j和gt_y2j分别取第j张图片的关键点坐标中的最小y坐标值和最大y坐标值；
S23)根据步骤S21)中N张图片的人脸框坐标分别计算N张图片的宽和高，第j张图片的宽wj＝det_x2j-det_x1j，第j张图片的高hj＝det_y2j-det_y1j；
S24)将步骤S23)中N张图片的宽进行求和后除以训练集的总样本数N，获得N张图片的平均宽度
Figure FDA0002954715660000011
将步骤S23)中N张图片的高进行求和后除以训练集的总样本数N，获得N张图片的平均高度
Figure FDA0002954715660000012
S25)根据训练集中N张图片的人脸框坐标和真实人脸框坐标获得N张图片的坐标差值，N张图片的坐标差值包括N张图片的第一x坐标差值、N张图片的第一y坐标差值、N张图片的第二x坐标差值、N张图片的第二y坐标差值；第j张图片的第一x坐标差值Δx1j＝gt_x1j-det_x1j，第j张图片的第一y坐标差值Δy1j＝gt_y1j-det_y1j，第j张图片的第二x坐标差值Δx2j＝gt_x2j-det_x2j，第j张图片的第二y坐标差值Δy2j＝gt_y2j-det_y2j；
S26)将N张图片的坐标差值分别求和后除以训练集的总样本数N，获得N张图片的平均坐标差值，N张图片的平均坐标差值包括第一x坐标平均差值
Figure FDA0002954715660000021
N张图片的第一y坐标平均差值
Figure FDA0002954715660000022
N张图片的第二x坐标平均差值
Figure FDA0002954715660000023
N张图片的第二y坐标平均差值
Figure FDA0002954715660000024
S27)将步骤S26)中N张图片的平均坐标差值分别除以步骤S24)中N张图片的平均宽度meanw和N张图片的平均高度meanh，获得人脸框坐标伸缩比例[px1，py1，px2，py2]，第一x坐标伸缩比例
Figure FDA0002954715660000025
第一y坐标伸缩比例
Figure FDA0002954715660000026
第二x坐标伸缩比例
Figure FDA0002954715660000027
第二y坐标伸缩比例
Figure FDA0002954715660000028
S3)将所述测试数据集输入已训练好的人脸检测模型，所述测试数据集包括M张图片，利用人脸框坐标伸缩比例对已训练好的人脸检测模型输出的测试数据集中每张图片的人脸框坐标进行优化，获得测试数据集中每张图片优化后的人脸框坐标；
S4)将测试数据集中第i张图片优化后的人脸框坐标进行坐标转换，获得测试数据集中第i张图片的新的人脸框坐标，根据第i张图片的新的人脸框坐标从第i张图片中裁剪出人脸框，将裁剪的人脸框输入已训练好的关键点模型，获得关键点坐标，i＝1、2、...、M。
2.根据权利要求1所述的人脸关键点检测模块中人脸框选取方法，其特征在于，步骤S3)中，将所述测试数据集输入已训练好的人脸检测模型，利用人脸框坐标伸缩比例对已训练好的人脸检测模型输出的测试数据集中每张图片的人脸框坐标进行优化，获得测试数据集中每张图片优化后的人脸框坐标，包括以下步骤：
S31)将所述测试数据集输入已训练好的人脸检测模型，已训练好的人脸检测模型输出测试数据集中每张图片的人脸框坐标，第i张图片的人脸框坐标为[x1i，y1i，x2i，y2i]；
S32)将测试数据集中每张图片的人脸框坐标[x1i，y1i，x2i，y2i]与人脸框坐标伸缩比例[px1，py1，px2，py2]对应相乘，获得测试数据集中每张图片优化后的人脸框坐标，测试数据集中第i张图片优化后的人脸框坐标为[new_x1i，new_y1i，new_x2i，new_y2i]，优化后的人脸框第一x坐标值new_x1i＝x1i*(1+px1)，优化后的人脸框第一y坐标值new_y1i＝y1i*(1+py1)，优化后的人脸框第二x坐标值new_x2i＝x2i*(1+px2)，优化后的人脸框第二y坐标值new_y2i＝y2i*(1+py2)。
3.根据权利要求2所述的人脸关键点检测模块中人脸框选取方法，其特征在于，步骤S4)中，将测试数据集中第i张图片优化后的人脸框坐标进行坐标转换，获得测试数据集中第i张图片的新的人脸框坐标，包括以下步骤：
S41)根据测试数据集中第i张图片优化后的人脸框坐标获得第i张图片优化后的人脸框的矩形区域宽Wi和矩形区域高Hi，Wi＝new_x2i-new_x1i，Hi＝new_y2i-new_y1i；
S42)获得第i张图片优化后的人脸框的矩形区域宽Wi和矩形区域高Hi中的最大值boxsizei＝max(Wi，Hi)，将最大值boxsizei扩大k倍，获得第i张图片扩大k倍后的人脸框大小face_boxsizei＝boxsizei*k；
S43)获得第i张图片的新的人脸框坐标[fx1，fy1，fx2，fy2]，第i张图片的新的人脸框第一x坐标值
Figure FDA0002954715660000041
第i张图片的新的人脸框第一y坐标值
Figure FDA0002954715660000042
第i张图片的新的人脸框第二x坐标值
Figure FDA0002954715660000043
第i张图片的新的人脸框第二y坐标值
Figure FDA0002954715660000044
4.根据权利要求3所述的人脸关键点检测模块中人脸框选取方法，其特征在于，步骤S42)中，将最大值boxsizei扩大k倍，k＝1.2。
CN202010987766.9A 2020-09-18 2020-09-18 一种人脸关键点检测模块中人脸框选取方法 Active CN112084992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010987766.9A CN112084992B (zh) 2020-09-18 2020-09-18 一种人脸关键点检测模块中人脸框选取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010987766.9A CN112084992B (zh) 2020-09-18 2020-09-18 一种人脸关键点检测模块中人脸框选取方法

Publications (2)

Publication Number Publication Date
CN112084992A CN112084992A (zh) 2020-12-15
CN112084992B true CN112084992B (zh) 2021-04-13

Family

ID=73738949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010987766.9A Active CN112084992B (zh) 2020-09-18 2020-09-18 一种人脸关键点检测模块中人脸框选取方法

Country Status (1)

Country Link
CN (1) CN112084992B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121409A1 (en) * 2011-09-09 2013-05-16 Lubomir D. Bourdev Methods and Apparatus for Face Fitting and Editing Applications
CN106485230A (zh) * 2016-10-18 2017-03-08 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及系统
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN109308469A (zh) * 2018-09-21 2019-02-05 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109376693A (zh) * 2018-11-22 2019-02-22 四川长虹电器股份有限公司 人脸检测方法及系统
CN109934115A (zh) * 2019-02-18 2019-06-25 苏州市科远软件技术开发有限公司 人脸识别模型的构建方法、人脸识别方法及电子设备
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110647865A (zh) * 2019-09-30 2020-01-03 腾讯科技（深圳）有限公司 人脸姿态的识别方法、装置、设备及存储介质
CN111444775A (zh) * 2020-03-03 2020-07-24 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111652082A (zh) * 2020-05-13 2020-09-11 北京的卢深视科技有限公司 人脸活体检测方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100589114C (zh) * 2007-12-29 2010-02-10 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
CN106127170B (zh) * 2016-07-01 2019-05-21 重庆中科云从科技有限公司 一种融合关键特征点的训练方法、识别方法及系统
CN106960203B (zh) * 2017-04-28 2021-04-20 北京搜狐新媒体信息技术有限公司 一种面部特征点跟踪方法及系统
CN108447021B (zh) * 2018-03-19 2021-06-08 河北工业大学 基于分块和逐帧优化的视频缩放方法
CN110427905B (zh) * 2019-08-08 2023-06-20 北京百度网讯科技有限公司 行人跟踪方法、装置以及终端
CN111160269A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种人脸关键点检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121409A1 (en) * 2011-09-09 2013-05-16 Lubomir D. Bourdev Methods and Apparatus for Face Fitting and Editing Applications
CN106485230A (zh) * 2016-10-18 2017-03-08 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及系统
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN109308469A (zh) * 2018-09-21 2019-02-05 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109376693A (zh) * 2018-11-22 2019-02-22 四川长虹电器股份有限公司 人脸检测方法及系统
CN109934115A (zh) * 2019-02-18 2019-06-25 苏州市科远软件技术开发有限公司 人脸识别模型的构建方法、人脸识别方法及电子设备
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110647865A (zh) * 2019-09-30 2020-01-03 腾讯科技（深圳）有限公司 人脸姿态的识别方法、装置、设备及存储介质
CN111444775A (zh) * 2020-03-03 2020-07-24 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111652082A (zh) * 2020-05-13 2020-09-11 北京的卢深视科技有限公司 人脸活体检测方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Disguised Face Identification (DFI) with Facial KeyPoints Using Spatial Fusion Convolutional Network;Amarjot Singh等;《2017 IEEE International Conference on Computer Vision Workshops (ICCVW)》;20180123;第1648-1655页 *
人脸检测算法的优化;龚格格 等;《计算机技术与发展》;20190630;第29卷(第6期);第47-51页 *
基于卷积神经网络的人脸关键点检测算法设计;石高辉 等;《信息技术及图像处理》;20191231;第42卷(第24期);第125-130页 *

Also Published As

Publication number Publication date
CN112084992A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN108256431B (zh) 一种手部位置标识方法及装置
CN101159064B (zh) 画像生成系统以及按照图像生成画像的方法
CN102317978B (zh) 动作解析装置以及动作解析方法
US9064318B2 (en) Image matting and alpha value techniques
EP3239931A1 (en) Image processing apparatus and image processing method
JP7389787B2 (ja) マルチ－レベル転移領域に基づくドメイン適応型オブジェクト検出装置及び方法
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN113723328A (zh) 一种图表文档面板分析理解方法
CN109583341B (zh) 对包含人像的图像的多人骨骼关键点检测方法及装置
CN102262733B (zh) 激光点检测方法及装置
CN112084992B (zh) 一种人脸关键点检测模块中人脸框选取方法
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
JP5500245B2 (ja) トレーニング方法及び装置並びに画像における対象の姿勢視角を推定する方法及び装置
CN102831621A (zh) 一种基于频谱分析的视频显著性处理方法
CN112926582A (zh) 一种基于自适应特征选择和尺度损失函数的文本检测方法
US20060159368A1 (en) Image processing device, method, and program
CN115471773A (zh) 一种面向智慧教室的学生跟踪方法及系统
CN115272846A (zh) 一种基于改进Orientedrcnn的旋转目标检测方法
US20240104902A1 (en) Learning device, learning method, and recording medium
CN113269207B (zh) 一种用于网格结构光视觉测量中的图像特征点提取方法
CN113610909B (zh) 一种基于距离搜索的点云剖面生成系统及方法
JP4369221B2 (ja) 画像計測方法及び装置
JP4718370B2 (ja) パターンマッチング装置、パターンマッチング方法およびプログラム
CN117275026A (zh) 基于卷积神经网络的对投资金额类表格识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant