CN108985168A - 一种基于最小归一化距离学习的视频人脸识别方法 - Google Patents

一种基于最小归一化距离学习的视频人脸识别方法 Download PDF

Info

Publication number
CN108985168A
CN108985168A CN201810617583.0A CN201810617583A CN108985168A CN 108985168 A CN108985168 A CN 108985168A CN 201810617583 A CN201810617583 A CN 201810617583A CN 108985168 A CN108985168 A CN 108985168A
Authority
CN
China
Prior art keywords
video
image
face
minimum
minimum normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810617583.0A
Other languages
English (en)
Other versions
CN108985168B (zh
Inventor
陈莹
余拓
化春键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201810617583.0A priority Critical patent/CN108985168B/zh
Publication of CN108985168A publication Critical patent/CN108985168A/zh
Application granted granted Critical
Publication of CN108985168B publication Critical patent/CN108985168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于最小归一化距离学习的视频人脸识别方法，属于视频人脸识别技术领域。本发明通过构建损失函数并求取梯度，使用随机梯度下降法对损失函数进行优化，得到最小归一化距离度量矩阵M，在进行人脸识别过程中，利用度量矩阵M计算每一个目标图像与查询视频序列之间的最小归一化距离，并最终得到识别结果，使得仅需待识别目标的单幅图像作为目标图像，更符合真实场景，且训练后得到的距离模型计算量小，能够满足现实使用中对实时性的要求。

Description

一种基于最小归一化距离学习的视频人脸识别方法
技术领域
本发明涉及一种基于最小归一化距离学习的视频人脸识别方法，属于视频人脸识别技术领域。
背景技术
在视频人脸识别中，尤其在视频监控场景中，待识别人物图像与实际场景中拍摄到的查询图像序列往往存在较大的差异，传统的基于图片的人脸识别方法不能有效处理这些差异，且无法有效运用视频信息，因此效果不佳；
目前流行的方法是使用点到集的距离度量学习方法，学习度量目标图像和查询图像序列之间的特征距离，但这类方法往往需要累积获得一定数量的视频帧，并对这些视频帧进行处理，才能度量静态目标图像到视频序列之间的特征距离，所述在测试阶段耗时过长，且识别效果容易受到查询图像序列中低质量图片的干扰，所以无法应用在实时性要求高或识别精度要求较高的应用场景中。因此本发明致力于设计并优化一个距离度量方法，以高效而准确地度量单幅目标图像和查询图像序列之间的特征距离，提高人脸识别的准确率。
发明内容
本发明所要解决的技术问题是提供一种基于最小归一化距离学习的视频人脸识别方法，本发明仅需待识别目标的单幅图像作为目标图像，更符合真实场景，且训练后得到的距离模型计算量小，能够满足现实使用中对实时性的要求。
为解决上述技术问题，本发明所采用的技术方案是：
S01、读入训练数据并提取人脸特征：读入N名个体的单幅静态图像和包含Ni幅视频图像的视频Vi，对每幅静态图像提取人脸特征，将静态图像的人脸特征记为其标签记为同样对所述视频Vi中的每幅视频图像提取人脸特征，将所述视频Vi的人脸特征记为其中其标签记为
其中，指视频Vi中的第p幅图像的人脸特征，p＝1、2、…Ni；
S02、训练距离模型：构建损失函数并求取梯度，使用随机梯度下降法对损失函数进行优化，得到最小归一化距离度量矩阵M；
S03、进行人脸识别：在识别过程中，对于组成目标集的N′幅静态图像提取人脸特征，记为其标签记为记包含L幅视频图像且标签未知的视频为Vb，对其中包含的L幅视频图像提取人脸特征，并将所述标签未知的视频Vb的人脸特征记为其中，指所述标签未知的视频中的第m幅图像的人脸特征；利用训练得到的度量矩阵M，计算每一个目标图像的人脸特征与所述标签未知的视频Vb的人脸特征之间的最小归一化距离并最终得到识别结果gc，其中所述识别结果gc表明目标图像对应的人脸和所述标签未知的视频对应的标签相同，即身份相同。
可选的，所述步骤S02包括：
(1)定义最小归一化距离其中为最小归一化约束，是马氏距离，M是度量矩阵，是和之间差值的外积，K＝N÷20；其中，是视频Vi中的第p幅图像的人脸特征，1≤q≤Ni；表示与其特征距离最小的K个静态图像的人脸特征之间的特征距离之和；
(2)初始化参数，令迭代次数t＝0，度量矩阵M初值为单位矩阵M0＝I，损失函数初值为f(M)0＝0，步进λ0＝1×10-3；
(3)对于每段视频Vi，找到其最小的类内最小归一化距离和最小的类间最小归一化距离其中i、j和k满足yj＝zi且yk≠zi，1≤u≤Ni，1≤v≤Ni，1≤k≤N；
其中，是视频Vi中的第u帧图像的人脸特征；
(4)使用和对应的人脸特征的索引构建触发集，
当时将(i,j,k,u,v)加入触发集其中，0≤t≤500；
(5)计算损失函数
α是权衡损失函数中两项的系数，0≤α≤1，这里取α＝0.2；
(6)计算梯度
(7)更新度量矩阵Mt+1＝Mt-λtGt，并更新步进，当f(M)t+1>f(M)t时，令λt+1＝λt-1×10-3，否则令λt+1＝λt+2×10-3；
(8)通过在特征分解后取出负特征值的方法来保持Mt+1为半正定矩阵；
(9)如果t≥500或|f(M)t+1-f(M)t|<0.1，则算法中止，得到优化后的度量矩阵M＝Mt，否则返回(3)。
可选的，所述步骤S03包括：
a、计算目标集中的静态图像的人脸特征与所述标签未知的视频Vb的人脸特征之间的最小归一化距离其中
b、得到查询视频的识别结果gc，其中
本发明的有益效果：
通过构建损失函数并求取梯度，使用随机梯度下降法对损失函数进行优化，得到最小归一化距离度量矩阵M，在进行人脸识别过程中，利用度量矩阵M计算每一个目标图像与查询视频序列之间的最小归一化距离，并最终得到识别结果，使得仅需待识别目标的单幅图像作为目标图像，更符合真实场景，且训练后得到的距离模型计算量小，能够满足现实使用中对实时性的要求。
附图说明
图1为本发明所提供的一种基于最小归一化距离学习的视频人脸识别方法流程图。
具体实施方案
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
传统的基于图片的人脸识别方法不能有效处理视频人脸识别中图像之间的差异，且无法有效运用视频信息；目前流行的方法是使用点到集的距离度量学习方法，在测试阶段耗时过长，且识别效果容易受到查询图像序列中低质量图片的干扰。针对这些问题，本发明提出了基于最小归一化距离学习的视频人脸识别方法，下面结合附图进行详细说明：
如图1所示,为本发明所提供的一种基于最小归一化距离学习的视频人脸识别方法具体实施方式中的流程示意图。在本实施方式中，一种基于最小归一化距离学习的视频人脸识别方法，其包括以下部分：
S01、读入训练数据并提取人脸特征：读入N名个体的单幅静态图像和包含Ni幅视频图像的视频Vi，对每幅静态图像提取人脸特征，将静态图像的人脸特征记为其标签记为同样对所述视频Vi中的每幅视频图像提取人脸特征，将所述视频Vi的人脸特征记为其中其标签记为
其中，指视频Vi中的第p幅图像的人脸特征，p＝1、2、…Ni。
S02、训练距离模型：构建损失函数并求取梯度，使用随机梯度下降法对损失函数进行优化，得到最小归一化距离度量矩阵M；
所述步骤S02具体为：
(1)定义最小归一化距离其中为最小归一化约束，是马氏距离，M是度量矩阵，是和之间差值的外积，K＝N÷20；其中，是视频Vi中的第p幅图像的人脸特征，1≤q≤Ni；表示与其特征距离最小的K个静态图像的人脸特征之间的特征距离之和；
(2)初始化参数，令迭代次数t＝0，度量矩阵M初值为单位矩阵M0＝I，损失函数初值为f(M)0＝0，步进λ0＝1×10-3；
(3)对于每段视频Vi，找到其最小的类内最小归一化距离和最小的类间最小归一化距离其中i、j和k满足yj＝zi且yk≠zi，1≤u≤Ni，1≤v≤Ni，1≤k≤N；
其中，是视频Vi中的第u帧图像的人脸特征；
(4)使用和对应的人脸特征的索引构建触发集，
当时，将(i,j,k,u,v)加入触发集其中，0≤t≤500；
(5)计算损失函数
α是权衡损失函数中两项的系数，0≤α≤1，这里取α＝0.2；
(6)计算梯度
(7)更新度量矩阵Mt+1＝Mt-λtGt，并更新步进，当f(M)t+1>f(M)t时，令λt+1＝λt-1×10-3，否则令λt+1＝λt+2×10-3；
(8)通过在特征分解后取出负特征值的方法来保持Mt+1为半正定矩阵；
(9)如果t≥500或|f(M)t+1-f(M)t|<0.1，则算法中止，得到优化后的度量矩阵M＝Mt，否则返回(3)。
S03、进行人脸识别：在识别过程中，对于组成目标集的N′幅静态图像提取人脸特征，记为其标签记为记包含L幅视频图像且标签未知的视频为Vb，对其中包含的L幅视频图像提取人脸特征，并将所述标签未知的视频Vb的人脸特征记为其中，指所述标签未知的视频中的第m幅图像的人脸特征；利用训练得到的度量矩阵M，计算每一个目标图像的人脸特征与所述标签未知的视频Vb的人脸特征之间的最小归一化距离并最终得到识别结果gc，其中
所述步骤S03包括：
a、计算目标集中的静态图像的人脸特征与所述标签未知的视频Vb的人脸特征之间的最小归一化距离其中
b、得到查询视频的识别结果gc，其中所述识别结果gc表明目标图像对应的人脸和所述标签未知的视频对应的标签相同，即身份相同。
本发明通过构建损失函数并求取梯度，使用随机梯度下降法对损失函数进行优化，得到最小归一化距离度量矩阵M，在进行人脸识别过程中，利用度量矩阵M计算每一个目标图像与查询视频序列之间的最小归一化距离，并最终得到识别结果，使得仅需待识别目标的单幅图像作为目标图像，更符合真实场景，且训练后得到的距离模型计算量小，能够满足现实使用中对实时性的要求。
虽然本发明已以较佳实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可做各种的改动与修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (3)

1.一种基于最小归一化距离学习的视频人脸识别方法，其特征在于，包括以下步骤：
S01、读入训练数据并提取人脸特征：读入N名个体的单幅静态图像和包含Ni幅视频图像的视频Vi，对每幅静态图像提取人脸特征，将静态图像的人脸特征记为其标签记为同样对所述视频Vi中的每幅视频图像提取人脸特征，将所述视频Vi的人脸特征记为其中其标签记为
其中，指视频Vi中的第p幅图像的人脸特征，p＝1、2、…Ni；
S02、训练距离模型：构建损失函数并求取梯度，使用随机梯度下降法对损失函数进行优化，得到最小归一化距离度量矩阵M；
S03、进行人脸识别：在识别过程中，对于组成目标集的N′幅静态图像提取人脸特征，记为其标签记为记包含L幅视频图像且标签未知的视频为Vb，对其中包含的L幅视频图像提取人脸特征，并将所述标签未知的视频Vb的人脸特征记为其中，指所述标签未知的视频中的第m幅图像的人脸特征；利用训练得到的度量矩阵M，计算每一个目标图像的人脸特征与所述标签未知的视频Vb的人脸特征之间的最小归一化距离并最终得到识别结果gc，其中
2.根据权利要求1所述的一种基于最小归一化距离学习的视频人脸识别方法，其特征在于，所述步骤S02包括：
(1)定义最小归一化距离其中为最小归一化约束，是马氏距离，M是度量矩阵，是和之间差值的外积，K＝N÷20；其中，是视频Vi中的第p幅图像的人脸特征，1≤q≤Ni；表示与其特征距离最小的K个静态图像的人脸特征之间的特征距离之和；
(2)初始化参数，令迭代次数t＝0，度量矩阵M初值为单位矩阵M0＝I，损失函数初值为f(M)0＝0，步进λ0＝1×10-3；
(3)对于每段视频Vi，找到其最小的类内最小归一化距离和最小的类间最小归一化距离其中i、j和k满足yj＝zi且yk≠zi，1≤u≤Ni，1≤v≤Ni，1≤k≤N；
其中，是视频Vi中的第u帧图像的人脸特征；
(4)使用和对应的人脸特征的索引构建触发集，
当时，将(i,j,k,u,v)加入触发集
其中，0≤t≤500；
(5)计算损失函数α是权衡损失函数中两项的系数，0≤α≤1；
(6)计算梯度
(7)更新度量矩阵Mt+1＝Mt-λtGt，并更新步进，当f(M)t+1>f(M)t时，令λt+1＝λt-1×10-3，否则令λt+1＝λt+2×10-3；
(8)通过在特征分解后取出负特征值的方法来保持Mt+1为半正定矩阵；
(9)如果t≥500或|f(M)t+1-f(M)t|<0.1，则算法中止，得到优化后的度量矩阵M＝Mt，否则返回(3)。
3.根据权利要求1所述的一种基于最小归一化距离学习的视频人脸识别方法，其特征在于，所述步骤S03包括：
a、计算目标集中的静态图像的人脸特征与所述标签未知的视频Vb的人脸特征之间的最小归一化距离其中
b、得到查询视频的识别结果gc，其中
CN201810617583.0A 2018-06-15 2018-06-15 一种基于最小归一化距离学习的视频人脸识别方法 Active CN108985168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810617583.0A CN108985168B (zh) 2018-06-15 2018-06-15 一种基于最小归一化距离学习的视频人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810617583.0A CN108985168B (zh) 2018-06-15 2018-06-15 一种基于最小归一化距离学习的视频人脸识别方法

Publications (2)

Publication Number Publication Date
CN108985168A true CN108985168A (zh) 2018-12-11
CN108985168B CN108985168B (zh) 2022-05-24

Family

ID=64541279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810617583.0A Active CN108985168B (zh) 2018-06-15 2018-06-15 一种基于最小归一化距离学习的视频人脸识别方法

Country Status (1)

Country Link
CN (1) CN108985168B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539263A (zh) * 2020-04-02 2020-08-14 江南大学 一种基于聚合对抗网络的视频人脸识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法
CN107145827A (zh) * 2017-04-01 2017-09-08 浙江大学 基于自适应距离度量学习的跨摄像机行人再识别方法
US20180060649A1 (en) * 2016-08-30 2018-03-01 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
CN107944399A (zh) * 2017-11-28 2018-04-20 广州大学 一种基于卷积神经网络目标中心模型的行人重识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060649A1 (en) * 2016-08-30 2018-03-01 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法
CN107145827A (zh) * 2017-04-01 2017-09-08 浙江大学 基于自适应距离度量学习的跨摄像机行人再识别方法
CN107944399A (zh) * 2017-11-28 2018-04-20 广州大学 一种基于卷积神经网络目标中心模型的行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN WANG 等: "Adaptive Appearance Modeling With Point-to-Set Metric Learning for Visual Tracking", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
赵锡英 等: "基于维度加权马氏距离的视频人脸识别", 《自动化与仪器仪表》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539263A (zh) * 2020-04-02 2020-08-14 江南大学 一种基于聚合对抗网络的视频人脸识别方法
CN111539263B (zh) * 2020-04-02 2023-08-11 江南大学 一种基于聚合对抗网络的视频人脸识别方法

Also Published As

Publication number Publication date
CN108985168B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN107229757B (zh) 基于深度学习和哈希编码的视频检索方法
Su et al. Order-preserving wasserstein distance for sequence matching
CN110209859B (zh) 地点识别及其模型训练的方法和装置以及电子设备
CN104680119B (zh) 图像身份识别方法和相关装置及身份识别系统
CN106803055B (zh) 人脸识别方法和装置
CN105678253B (zh) 半监督人脸年龄估计装置及半监督人脸年龄估计方法
CN114930352A (zh) 训练图像分类模型的方法
CN107679447A (zh) 面部特征点检测方法、装置及存储介质
CN105608471A (zh) 一种鲁棒直推式标签估计及数据分类方法和系统
CN109359214A (zh) 基于神经网络的视频描述生成方法、存储介质及终端设备
CN105160312A (zh) 基于人脸相似度匹配的明星脸装扮推荐方法
Yang et al. Cross-domain visual representations via unsupervised graph alignment
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
Zhou et al. Improved cross-label suppression dictionary learning for face recognition
CN108921140A (zh) 行人再识别方法
CN112926379A (zh) 一种构建人脸识别模型的方法及装置
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN113033665A (zh) 样本扩展方法、训练方法和系统、及样本学习系统
CN114170558B (zh) 用于视频处理的方法、系统、设备、介质和产品
Wang et al. A novel multiface recognition method with short training time and lightweight based on ABASNet and H-softmax
CN107220597B (zh) 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法
CN106250818B (zh) 一种全序保持投影的人脸年龄估计方法
CN108985168B (zh) 一种基于最小归一化距离学习的视频人脸识别方法
CN114255381A (zh) 图像识别模型的训练方法、图像识别方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant