CN109190489A - 一种基于修复自动编码器残差的异常人脸检测方法 - Google Patents

一种基于修复自动编码器残差的异常人脸检测方法 Download PDF

Info

Publication number
CN109190489A
CN109190489A CN201810895802.1A CN201810895802A CN109190489A CN 109190489 A CN109190489 A CN 109190489A CN 201810895802 A CN201810895802 A CN 201810895802A CN 109190489 A CN109190489 A CN 109190489A
Authority
CN
China
Prior art keywords
image
abnormal
autocoder
residual error
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810895802.1A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810895802.1A priority Critical patent/CN109190489A/zh
Publication of CN109190489A publication Critical patent/CN109190489A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Abstract

本发明中提出的一种基于修复自动编码器残差的异常人脸检测方法，其主要内容包括：自动编码器残差、图像修复、无监督训练、异常面部检测，其过程为，首先构造面部图像的特征结构，其中包含大量的异常面部图像，特征结构从图像中去除矩形补丁；接着使用经过特殊训练的自动编码器，预测图像剩余部分补丁的内容；然后将预测结果与原图像比较，得到自动编码器残差；最后基于特征，用无监督方法对图像进行评分，残差评分越高，检测图像为异常图像的概率越大。本发明修复自动编码器残差，能够有效检测异常人脸，克服了过度概括的压缩损失，避免了常规自动编码器检测异常人脸的“窥视”情况。

Description

一种基于修复自动编码器残差的异常人脸检测方法
技术领域
本发明涉及图像检测处理领域，尤其是涉及了一种基于修复自动编码器残差的异常人脸检测方法。
背景技术
检测异常人脸具有重要的应用价值，检测和监视系统可以通过观察面部并触发某种形式的干预来识别异常，并快速应对处理，应用程序是苛刻的，需要在运行时能够精确检测罕见的异常。随着信息技术和成像传感器方面的进步，以及计算机性能上提升，越来越多的人脸图像或者人脸视频出现在人们生活中，例如基于人脸识别的门禁系统、基于人脸视频跟踪的监控系统等。就目前而言，异常检测系统倾向于在异常与典型人脸间有很大的不同，忽略了大多情况下异常人脸与典型面孔是非常相似的，过度概括造成压缩损失，基于当前情况，在广泛数据集中检测异常人脸具有较大的难度。
本发明中提出的一种基于修复自动编码器残差的异常人脸检测方法，其主要内容包括：自动编码器残差、图像修复、无监督训练、异常面部检测，其过程为，首先构造面部图像的特征结构，其中包含大量的异常面部图像，特征结构从图像中去除矩形补丁；接着使用经过特殊训练的自动编码器，预测图像剩余部分补丁的内容；然后将预测结果与原图像比较，得到自动编码器残差；最后基于特征，用无监督方法对图像进行评分，残差评分越高，检测图像为异常图像的概率越大。本发明修复自动编码器残差，能够有效检测异常人脸，修复自动编码器残差克服了过度概括的压缩损失，也避免了常规自动编码器检测异常人脸的“窥视”情况。
发明内容
针对检测不能有效检测异常人脸的问题，本发明的目的在于提供一种基于修复自动编码器残差的异常人脸检测方法，其主要内容包括：自动编码器残差、图像修复、无监督训练、异常面部检测，其过程为，首先构造面部图像的特征结构，其中包含大量的异常面部图像，特征结构从图像中去除矩形补丁；接着使用经过特殊训练的自动编码器，预测图像剩余部分补丁的内容；然后将预测结果与原图像比较，得到自动编码器残差；最后基于特征，用无监督方法对图像进行评分，残差评分越高，检测图像为异常图像的概率越大。
为解决上述问题，本发明提供一种基于修复自动编码器残差的异常人脸检测方法，其主要内容包括：
(一)自动编码器残差；
(二)图像修复；
(三)无监督训练；
(四)异常面部检测。
其中，所述的异常人脸检测方法，首先构造面部图像的特征结构，其中包含大量的异常面部图像，特征结构从图像中去除矩形补丁；接着使用经过特殊训练的自动编码器有条件的预测图像剩余部分补丁的内容，然后将预测结果与原图像比较，得到自动编码器残差；最后基于特征，用无监督方法对图像进行评分，残差评分越高，检测图像为异常图像的概率越大。
进一步地，所述的面部图像，面部图像是高维的，典型人脸和异常人脸图像有未知的关键差异性，异常人脸图像是罕见的并具有高度可变外观；用Q表示测试图像，M(Q；θ)表示学习模型，在模型中隐藏Q部分，并将其外推，然后将外推区域与Q图像作比较以产生异常信号。
其中，所述的自动编码残差，自动编码器从高维信号中构建低维潜在变量模型，通过对多种图像使用压缩策略以减少训练损失，将自动编码器残差作为异常信号，残差记为其中编码器为ε，解码器为编码器评估给定输入Q的潜在变量，结果记为(code；z)，解码器恢复编码器的信号，信号恢复判断标准为同时训练编码器和解码器。
进一步地，所述的编码器和解码器，都是采用带有全连接层的标准卷积架构，平均池化层用于下采样，双线性差值用于上采样，使用比编码器容量更高的网络以实现高频信息的重构；在每个卷积层后，使用elu激励函数非线性化和批标准化，并且在解码器的输出中进行tanh双曲函数的非线性化。
其中，所述的图像修复，利用图像修复避免“窥视”，为一个操作符标记盒子∏b，该操作符包含图像，对b盒子重写，盒子即为补丁，为另外的操作符标记重写除了b盒子外所有的信息；自动编码器被训练成随机选择的盒子，通过对各种随机选择的盒子构建建立异常特征结构，其中作为训练损失。
其中，所述的无监督训练，无监督训练时输入大量典型人脸图像，训练基于Celeb-A数据集，是包含数以千计标记的面部集合，将标记的面部图像作为异常图像，无标记的作为无监督训练的训练集，随机盒子∏b作为无标记样本的图像修复自动编码器，训练期间，使用相同模型构造自动编码器残差及图像修复特征；对于修复特征，在规则的网格中使用32×32盒子，排除位于图像边缘的盒子，对于残差特征，使用受过训练的残差网络，删除最终的softmax层，将生成的网络作为特征构造函数。
其中，异常面部检测，异常检测方法使用来自异常集的图像，而不是典型集的图像；使用经过训练的自动编码器残差识别异常，主要包括检测评估和精度控制，使用无监督方法基于特征对图像评分，以检测异常图像；然而Celeb-A数据集图像存在的特殊特征可能会产生强烈的结果，因此需重复异常实验，并用典型面部图像代替上述异常面图像，以便控制检测精度。
进一步地，所述的检测评估，从异常集合中选择图像，通过特征向量和评估方法对异常面的检测完整度进行评估；无监督评分方法包括三个部分：L∞分类器标准、马氏距离和局部错误发现率；L∞标准能够从图像块集中找到违规残差；马氏距离用于评估集合的均值和协方差，然后测量平均值与协方差的距离；局部错误发现率用于评估目标来无效分布的概率，公式如下所示：
其中，f0(z)表示空分布率，f1(z)表示非空分布率，π0表示来自空分布的前一项；对于局部错误发现率的p(pull|z)概率值，小概率表明项目是异常的，另外，f0(z)和f1(z)是未知的，因此假设π0很大，f0(z)是接近标准正态分布循环的准确评估。
进一步地，所述的马氏距离，在马氏距离中引入召回矩阵等变变换，以便在图像中以无监督的方式应用；对于自动编码器残差特征，首先计算对角协方差，消除每个特征的最大值和最小值，接着再计算均值和协方差。
附图说明
图1是本发明一种基于修复自动编码器残差的异常人脸检测方法的系统流程图。
图2是本发明一种基于修复自动编码器残差的异常人脸检测方法的面部图像数据集。
图3是本发明一种基于修复自动编码器残差的异常人脸检测方法的召回率性能对比图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于修复自动编码器残差的异常人脸检测方法的系统流程图。主要包括自动编码器残差，图像修复，无监督训练，异常面部检测。
异常人脸检测方法，首先构造面部图像的特征结构，其中包含大量的异常面部图像，特征结构从图像中去除矩形补丁；接着使用经过特殊训练的自动编码器有条件的预测图像剩余部分补丁的内容，然后将预测结果与原图像比较，得到自动编码器残差；最后基于特征，用无监督方法对图像进行评分，残差评分越高，检测图像为异常图像的概率越大。
其中，面部图像，面部图像是高维的，包括典型人脸图像和异常人脸图像，典型人脸和异常人脸图像有未知的关键差异性，异常人脸图像是罕见的并具有高度可变外观；用Q表示测试图像，M(Q；θ)表示学习模型，在模型中隐藏Q部分，并将其外推，然后将外推区域与Q图像作比较以产生异常信号。
自动编码残差，自动编码器从高维信号中构建低维潜在变量模型，通过对多种图像使用压缩策略以减少训练损失，将自动编码器残差作为异常信号，残差记为其中编码器为ε，解码器为编码器评估给定输入Q的潜在变量，结果记为(code；z)，解码器恢复编码器的信号，信号恢复判断标准为同时训练编码器和解码器。
其中，编码器和解码器，都是采用带有全连接层的标准卷积架构，平均池化层用于下采样，双线性差值用于上采样，使用比编码器容量更高的网络以实现高频信息的重构；在每个卷积层后，使用elu激励函数非线性化和批标准化，并且在解码器的输出中进行tanh双曲函数的非线性化。
图像修复，利用图像修复避免“窥视”，为一个操作符标记盒子∏b，该操作符包含图像，对b盒子重写，盒子即为补丁，为另一个操作符标记重写除了b盒子之外所有的信息；自动编码器被训练成随机选择的盒子，通过对各种随机选择的盒子构建 建立异常特征结构，其中作为训练损失。
图2是本发明一种基于修复自动编码器残差的异常人脸检测方法的面部图像数据集。本图显示；(a)Celeb-A数据集、(b)典型集合以及(c)异常集合，Celeb-A数据集合供测试和训练时使用；典型集合celeb A创建后收集的新图像，确保与Celeb-A图像没有重叠；异常集合，是由奇怪或怪异的面孔组成的，包括极端装扮、夸张表情、面具以及照片等。
无监督训练，无监督训练时输入大量典型人脸图像，训练基于Celeb-A数据集，是包含数以千计标记的面部集合，将标记的面部图像作为异常图像，无标记的作为无监督训练的训练集，随机盒子∏b作为无标记样本的图像修复自动编码器，训练期间，使用相同模型构造自动编码器残差及图像修复特征；对于修复特征，在规则的网格中使用32×32盒子，排除位于图像边缘的盒子，对于残差特征，使用受过训练的残差网络，删除最终的softmax层，将生成的网络作为特征构造函数。
图3是本发明一种基于修复自动编码器残差的异常人脸检测方法的召回率性能对比图。本图显示了集合尺寸和召回率的关系，(a)表示在异常面部集合中，增加了L∞和等变变换，将RESNET50和自动编码器的局部错误发现率和马氏距离作为基准线；(b)显示了控制实验的结果，其中作为异常图像使用的是典型的面部图像。
异常面部检测，异常检测方法使用来自异常集的图像，而不是典型集的图像；使用经过训练的自动编码器残差识别异常，主要包括检测评估和精度控制，使用无监督方法基于特征对图像评分，以检测异常图像；Celeb-A数据库图像存在的特殊特征可能会产生强烈的结果，因此需重复异常实验，并用典型面部图像代替异常面部图像，以便控制检测精度。
其中，检测评估，从异常集合中选择图像，通过特征向量和评估方法对异常面的检测完整度进行评估，使残差特征变成异常分数；无监督评分方法包括三个部分：L∞分类器标准、马氏距离和局部错误发现率；L∞标准能够从图像块集中找到违规残差；马氏距离用于评估集合的均值和协方差，然后测量平均值与协方差的距离；局部错误发现率用于评估目标来无效分布的概率，公式如下所示：
其中，f0(z)表示空分布率，f1(z)表示非空分布率，π0表示来自空分布的前一项；对于局部错误发现率的p(pull|z)概率值，小概率表明项目是异常的，另外，f0(z)和f1(z)是未知的，因此假设π0很大，f0(z)是接近标准正态分布循环的准确评估。
进一步地，在马氏距离中引入召回矩阵等变变换，以便更好的在图像中以无监督方式使用；对于自动编码器残差特征，首先计算对角协方差，消除每个特征的最大值和最小值，接着再计算均值和协方差。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于修复自动编码器残差的异常人脸检测方法，其特征在于，主要包括自动编码器残差(一)，图像修复(二)，无监督训练(三)，异常面部检测(四)。
2.基于权利要求书1所述的异常人脸检测方法，其特征在于，首先构造面部图像的特征结构，其中包含大量的异常面部图像，特征结构从图像中去除矩形补丁；接着使用经过特殊训练的自动编码器有条件的预测图像剩余部分补丁的内容，然后将预测结果与原图像比较，得到自动编码器残差；最后基于特征，用无监督方法对图像进行评分，残差评分越高，检测图像为异常图像的概率越大。
3.基于权利要求书2所述的面部图像，其特征在于，面部图像是高维的，典型人脸和异常人脸图像有未知的关键差异性，异常人脸图像是罕见的并具有高度可变外观；用Q表示测试图像，M(Q；θ)表示学习模型，在模型中隐藏Q部分，并将其外推，然后将外推区域与Q图像作比较以产生异常信号。
4.基于权利要求书1所述的自动编码残差(一)，其特征在于，自动编码器从高维信号中构建低维潜在变量模型，通过对多种图像使用压缩策略以减少训练损失，将自动编码器残差作为异常信号，残差记为其中编码器为ε，解码器为编码器评估给定输入Q的潜在变量，记为(code；z)，解码器恢复编码器的信号，信号恢复判断标准为同时训练编码器和解码器。
5.基于权利要求书4所述的编码器和解码器，其特征在于，都是采用带有全连接层的标准卷积架构，平均池化层用于下采样，双线性差值用于上采样，使用比编码器容量更高的网络以实现高频信息的重构；在每个卷积层后，使用elu激励函数非线性化和批标准化，并且在解码器的输出中进行tanh双曲函数的非线性化。
6.基于权利要求书1所述的图像修复(二)，其特征在于，利用图像修复避免“窥视”，为一个操作符标记盒子∏b，该操作符包含图像，对b盒子重写信息，盒子即为补丁，为另一个操作符标记重写除了b盒子之外所有的信息；自动编码器被训练成随机选择的盒子，通过对各种随机选择的盒子构建建立异常特征结构，其中作为训练损失。
7.基于权利要求书1所述的无监督训练(三)，其特征在于，无监督训练时输入大量典型人脸图像，训练基于Celeb-A数据集，是包含数以千计标记的面部集合，将标记的面部图像作为异常图像，无标记的作为无监督训练的训练集，随机盒子∏b作为无标记样本的图像修复自动编码器，训练期间，使用相同模型构造自动编码器残差及图像修复特征；对于修复特征，在规则的网格中使用32×32盒子，排除位于图像边缘的盒子，对于残差特征，使用受过训练的残差网络，删除最终的softmax层，将生成的网络作为特征构造函数。
8.基于权利要求1所述的异常面部检测(四)，其特征在于，异常检测方法使用来自异常集的图像，而不是典型集的图像；使用经过训练的自动编码器残差识别异常，主要包括检测评估和精度控制，使用无监督方法基于特征对图像评分，以检测异常图像；Celeb-A数据库图像存在的特殊特征可能会产生强烈的结果，因此需重复异常实验，并用典型面部图像代替异常面部图像，以便控制检测精度。
9.基于权利要求8所述的检测评估，其特征在于，从异常集合中选择图像，通过特征向量和评估方法对异常面的检测完整度进行评估；无监督评分方法包括三个部分：L∞分类器标准、马氏距离和局部错误发现率；L∞标准能够从图像块集中找到违规残差；马氏距离用于评估集合的均值和协方差，然后测量平均值与协方差的距离；局部错误发现率用于评估目标来无效分布的概率，公式如下所示：
其中，f0(z)表示空分布率，f1(z)表示非空分布率，π0表示来自空分布的前一项；对于局部错误发现率的p(pull|z)概率值，小概率表明项目是异常的，另外，f0(z)和f1(z)是未知的，因此假设π0很大，f0(z)是接近标准正态分布循环的准确评估。
10.基于权利要求书9所述的马氏距离，其特征在于，在马氏距离中引入召回矩阵等变变换，以便在图像中以无监督的方式应用；对于自动编码器残差特征，首先计算对角协方差，消除每个特征的最大值和最小值，接着再计算均值和协方差。
CN201810895802.1A 2018-08-08 2018-08-08 一种基于修复自动编码器残差的异常人脸检测方法 Withdrawn CN109190489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810895802.1A CN109190489A (zh) 2018-08-08 2018-08-08 一种基于修复自动编码器残差的异常人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810895802.1A CN109190489A (zh) 2018-08-08 2018-08-08 一种基于修复自动编码器残差的异常人脸检测方法

Publications (1)

Publication Number Publication Date
CN109190489A true CN109190489A (zh) 2019-01-11

Family

ID=64920471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810895802.1A Withdrawn CN109190489A (zh) 2018-08-08 2018-08-08 一种基于修复自动编码器残差的异常人脸检测方法

Country Status (1)

Country Link
CN (1) CN109190489A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931707A (zh) * 2020-09-16 2020-11-13 平安国际智慧城市科技股份有限公司 基于对抗补丁的人脸图像预测方法、装置、设备和介质
CN117557872A (zh) * 2024-01-12 2024-02-13 苏州大学 一种优化存储模式的无监督异常检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761516A (zh) * 2014-02-14 2014-04-30 重庆科技学院 基于视频监控的atm机异常人脸检测方法
CN105827979A (zh) * 2016-04-29 2016-08-03 维沃移动通信有限公司 一种拍摄提示的方法和移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761516A (zh) * 2014-02-14 2014-04-30 重庆科技学院 基于视频监控的atm机异常人脸检测方法
CN105827979A (zh) * 2016-04-29 2016-08-03 维沃移动通信有限公司 一种拍摄提示的方法和移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931707A (zh) * 2020-09-16 2020-11-13 平安国际智慧城市科技股份有限公司 基于对抗补丁的人脸图像预测方法、装置、设备和介质
CN117557872A (zh) * 2024-01-12 2024-02-13 苏州大学 一种优化存储模式的无监督异常检测方法及装置
CN117557872B (zh) * 2024-01-12 2024-03-22 苏州大学 一种优化存储模式的无监督异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
Dibeklioglu et al. 3D facial landmarking under expression, pose, and occlusion variations
CN110569837A (zh) 优化损伤检测结果的方法及装置
WO2020238256A1 (zh) 基于弱分割的损伤检测方法及装置
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN103530590A (zh) Dpm二维码识别系统
CN110648322A (zh) 一种子宫颈异常细胞检测方法及系统
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN110188694B (zh) 一种基于压力特征的穿鞋足迹序列识别方法
CN112613454A (zh) 一种电力基建施工现场违章识别方法及系统
CN114758249B (zh) 基于野外夜间环境的目标物监测方法、装置、设备及介质
CN106372624A (zh) 人脸识别方法及系统
CN109711441B (zh) 图像分类方法、装置、存储介质及电子设备
CN108875727A (zh) 图文标识的检测方法及装置、存储介质、处理器
CN114445879A (zh) 一种高精度人脸识别方法及人脸识别设备
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN109190489A (zh) 一种基于修复自动编码器残差的异常人脸检测方法
CN113793332B (zh) 一种实验仪器缺陷识别分类方法及系统
CN112686872B (zh) 基于深度学习的木材计数方法
CN116071348B (zh) 基于视觉检测的工件表面检测方法及相关装置
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN116524356A (zh) 一种矿石图像小样本目标检测方法及系统
CN115798004A (zh) 基于局部区域的人脸打卡方法、装置、电子设备及介质
CN111753723B (zh) 一种基于密度校准的指纹识别方法及装置
CN114549513A (zh) 零件识别方法、装置、质检方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190111