CN112215201B - 评估人脸识别模型、针对图像的分类模型的方法及装置 - Google Patents

评估人脸识别模型、针对图像的分类模型的方法及装置 Download PDF

Info

Publication number
CN112215201B
CN112215201B CN202011176713.5A CN202011176713A CN112215201B CN 112215201 B CN112215201 B CN 112215201B CN 202011176713 A CN202011176713 A CN 202011176713A CN 112215201 B CN112215201 B CN 112215201B
Authority
CN
China
Prior art keywords
image
face
comparison result
classification
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011176713.5A
Other languages
English (en)
Other versions
CN112215201A (zh
Inventor
宗志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011176713.5A priority Critical patent/CN112215201B/zh
Publication of CN112215201A publication Critical patent/CN112215201A/zh
Application granted granted Critical
Publication of CN112215201B publication Critical patent/CN112215201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种评估人脸识别模型、针对图像的分类模型的方法及装置，在评估人脸识别模型的方法中，获取样本集。将样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果。针对两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于第一比对结果以及第一人脸图像，生成人脸热力图。根据人脸热力图，在第一人脸图像中确定扰动区域。采用扰动方法，对扰动区域进行扰动，得到扰动后的第一人脸图像。将扰动后的第一人脸图像以及另一幅人脸图像，输入人脸识别模型，以预测第二比对结果。根据样本集中各样本的第一比对结果和第二比对结果，确定人脸识别模型的鲁棒性评估结果。

Description

评估人脸识别模型、针对图像的分类模型的方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种评估人脸识别模型、针对图像的分类模型的方法及装置。
背景技术
对于待发布上线的机器学习模型(如，人脸识别模型或者针对图像的分类模型)，为了确保其具有较高的容错能力，通常需要对模型的鲁棒性进行评估。
传统技术中，通常依赖人工经验，构建各种各样的评估场景，并在人工构建的场景下对模型的鲁棒性进行评估。
因此，需要提供一种更准确、效率更高的模型鲁棒性评估方法。
发明内容
本说明书一个或多个实施例描述了一种评估人脸识别模型、针对图像的分类模型的方法及装置，可以提高模型鲁棒性评估的准确性和效率。
第一方面，提供了一种评估人脸识别模型的方法，包括：
获取样本集；所述样本集的每个样本包括两幅人脸图像；
将所述样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果；其中，所述第一比对结果指示所述两幅人脸图像相一致的概率；
针对所述两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于所述第一比对结果以及所述第一人脸图像，生成人脸热力图；其中，所述人脸热力图示出所述第一人脸图像中各个区域对于所述第一比对结果的敏感度；
根据所述人脸热力图，在所述第一人脸图像中确定扰动区域；
采用扰动方法，对所述扰动区域进行扰动，得到扰动后的第一人脸图像；
将所述扰动后的第一人脸图像以及另一幅人脸图像，输入所述人脸识别模型，以预测第二比对结果；其中，所述第二比对结果指示所述扰动后的第一人脸图像与所述另一幅人脸图像相一致的概率；
根据所述样本集中各样本的第一比对结果和第二比对结果，确定所述人脸识别模型的鲁棒性评估结果。
第二方面，提供了一种评估针对图像的分类模型的方法，包括：
获取样本集；所述样本集的每个样本包括一幅图像；
将所述样本集中任意的第一样本中的图像，输入预先训练的分类模型，以预测第一分类结果；所述第一分类结果指示所述图像属于目标分类的概率；
采用热力图生成方法，基于所述第一分类结果以及所述图像，生成所述图像的热力图；其中，所述热力图示出所述图像中各个区域对于所述第一分类结果的敏感度；
根据所述热力图，在所述图像中确定扰动区域；
采用扰动方法，对所述扰动区域进行扰动，得到扰动后的图像；
将所述扰动后的图像输入所述分类模型，以预测第二分类结果；所述第二分类结果指示所述扰动后的图像属于目标分类的概率；
根据所述样本集中各样本的第一分类结果和第二分类结果，确定所述分类模型的鲁棒性评估结果。
第三方面，提供了一种评估人脸识别模型的装置，包括：
获取单元，用于获取样本集；所述样本集的每个样本包括两幅人脸图像；
输入单元，用于将所述样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果；其中，所述第一比对结果指示所述两幅人脸图像相一致的概率；
生成单元，用于针对所述两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于所述第一比对结果以及所述第一人脸图像，生成人脸热力图；其中，所述人脸热力图示出所述第一人脸图像中各个区域对于所述第一比对结果的敏感度；
确定单元，用于根据所述人脸热力图，在所述第一人脸图像中确定扰动区域；
扰动单元，用于采用扰动方法，对所述扰动区域进行扰动，得到扰动后的第一人脸图像；
所述输入单元，还用于将所述扰动后的第一人脸图像以及另一幅人脸图像，输入所述人脸识别模型，以预测第二比对结果；其中，所述第二比对结果指示所述扰动后的第一人脸图像与所述另一幅人脸图像相一致的概率；
所述确定单元，还用于根据所述样本集中各样本的第一比对结果和第二比对结果，确定所述人脸识别模型的鲁棒性评估结果。
第四方面，提供了一种评估针对图像的分类模型的装置，包括：
获取单元，用于获取样本集；所述样本集的每个样本包括一幅图像；
输入单元，用于将所述样本集中任意的第一样本中的图像，输入预先训练的分类模型，以预测第一分类结果；所述第一分类结果指示所述图像属于目标分类的概率；
生成单元，用于采用热力图生成方法，基于所述第一分类结果以及所述图像，生成所述图像的热力图；其中，所述热力图示出所述图像中各个区域对于所述第一分类结果的敏感度；
确定单元，用于根据所述热力图，在所述图像中确定扰动区域；
扰动单元，用于采用扰动方法，对所述扰动区域进行扰动，得到扰动后的图像；
所述输入单元，还用于将所述扰动后的图像输入所述分类模型，以预测第二分类结果；所述第二分类结果指示所述扰动后的图像属于目标分类的概率；
所述确定单元，还用于根据所述样本集中各样本的第一分类结果和第二分类结果，确定所述分类模型的鲁棒性评估结果。
第五方面，提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法或第二方面的方法。
第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法或第二方面的方法。
本说明书一个或多个实施例提供的评估人脸识别模型、针对图像的分类模型的方法及装置，在针对人脸识别模型进行评估时，对于样本集中的每个样本，先将该样本中的两幅人脸图像输入人脸识别模型，以预测第一比对结果。之后对两幅人脸图像中的一幅人脸图像进行扰动，并将扰动后的该一幅人脸图像以及另一幅人脸图像输入人脸识别模型，以预测第二比对结果。最后，根据样本集中各样本的第一比对结果和第二比对结果，确定人脸识别模型的鲁棒性评估结果。由此可见，通过本说明书提供的方案，可以实现人脸识别模型的鲁棒性的自动评估，由此可以提高模型鲁棒性评估的准确性和效率。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的一个实施例的实施场景示意图；
图2为本说明书一个实施例提供的评估人脸识别模型的方法流程图；
图3为本说明书提供的人脸识别模型示意图；
图4a为本说明书提供的人脸图像示意图；
图4b为本说明书提供的人脸热力图示意图之一；
图4c为本说明书提供的人脸热力图示意图之二；
图5为本说明书一个实施例提供的评估针对图像的分类模型的方法流程图；
图6为本说明书提供的热力图的生成过程示意图；
图7为本说明书一个实施例提供的评估人脸识别模型的装置示意图；
图8为本说明书一个实施例提供的评估针对图像的分类模型的装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述
图1为本说明书提供的一个实施例的实施场景示意图。图1中，假设样本集中有n个样本，其中，每个样本包括两幅人脸图像。在对人脸识别模型进行评估时，对于任意的第一样本，假设其包括图像1和图像2，可以将该第一样本中的图像1和图像2输入预先训练的人脸识别模型，以得到第一比对结果。对于其中的任意一幅图像，假设为图像1，可以采用热力图生成方法，生成对应的人脸热力图。具体生成方法后续说明。之后，可以根据人脸热力图，在图像1中确定扰动区域，并采用扰动方法进行扰动。最后，将扰动后的图像1以及原始的图像2再次输入人脸识别模型，得到第二比对结果。应理解，在获取到样本集中各样本的第一比对结果和第二比对结果之后，可以确定出人脸识别模型的鲁棒性评估结果。
需要说明的是，在实际应用中，可以从多种不同扰动方法，以及每种扰动方法的不同设置条件等多方面，对人脸识别模型进行评估，由此可以极大地提升模型评估的准确性和全面性。此外，由于本方案采用自动化的方法，对人脸识别模型进行评估，由此可以提升模型评估的效率。
图2为本说明书一个实施例提供的评估人脸识别模型的方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置。如图2所示，所述方法具体可以包括：
步骤202，获取样本集。
这里获取的样本集也可以称为测试样本集。需要说明的是，测试样本集通常用于对模型的性能进行测试(或评估)，其与训练样本集不同。
在本说明书中，上述样本集的每个样本可以包括两幅人脸图像。
步骤204，将样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果。
在一个示例中，上述人脸识别模型可以如图3所示。图3中，人脸识别模型可以包括具有相同网络结构和参数的两个卷积神经网络(Convolutional Neural Networks，CNN)，分别表示为：CNN1和CNN2。该两个CNN均可以包括若干卷积层。应理解，在将同一样本的两幅图像分别对应输入该两个CNN之后，就可以获取到该两个CNN各自的各卷积层的输出结果。最后，基于两个CNN各自的最后一层卷积层的输出结果，可以计算得到输入的两幅人脸图像之间的距离。
需要说明的是，在计算得到两幅人脸图像之间的距离之后，可以直接将该距离作为第一比对结果，也可以与其它得分相融合，得到上述第一比对结果。该第一比对结果可以指示两幅人脸图像相一致的概率。这里的其它得分可以包括但不限于对比损失得分(通过对比损失函数(Contrastive loss)计算得到)以及中心损失得分(通过中心损失函数(Center loss)计算得到)等。
应理解，在实际应用中，上述CNN也可以替换为其它深度学习模型，本说明书对此不作限定。
以下对CNN的卷积层进行简单说明。
CNN的卷积层用于对图像进行卷积处理。卷积处理是对图像进行分析常采用的一种处理操作。具体地，卷积处理是使用卷积核，对图像中的每个像素进行一系列操作。卷积核(算子)是用来做图像处理时的矩阵,是与原图像素做运算的参数。卷积核通常是一个四方形的网格结构(例如3*3的矩阵或像素区域)，每个网格都有一个权重值。使用卷积核对图像进行卷积计算时，将卷积核在图像的像素矩阵上滑动，每滑动一个步长，对卷积核中每个元素和其覆盖的图像像素值进行乘积并求和，如此得到的新的像素值矩阵构成特征图，即featuremap。这里的特征图可以用于反映图像中某个区域的线条特征或者颜色分布等特征。
应理解，当使用多个卷积核对图像进行卷积处理时，就可以得到多个特征图。从而，图3中的每个CNN的每一层卷积层的处理结果可以包括多个特征图。
步骤206，针对两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于第一比对结果以及第一人脸图像，生成人脸热力图。
这里的热力图生成方法可以包括但不限于类激活映射(class activation map，CAM)方法、加权梯度类激活映射(Grad-CAM)方法以及Grad-CAM++方法等。
在热力图生成方法为Grad-CAM方法时，上述生成人脸热力图可以包括：获取第一人脸图像对应的CNN的最后一层卷积层的输出结果。该输出结果包括m个特征图，每个特征图包括若干像素。m为正整数。对于m个特征图中任意的第一特征图，基于第一比对结果，计算第一特征图中各像素的梯度，并基于计算的各像素的梯度，确定第一特征图的总梯度。该总梯度用于反映第一特征图的敏感度，或者说，用于反映第一特征图所对应区域的敏感度。将对应于各特征图的总梯度作为其权重，对各特征图进行加权求和，得到若干热力值。将若干热力值各自映射为对应的颜色值，并基于映射得到的颜色值，绘制映射图。将映射图调整到与第一人脸图像相同大小后，叠加到第一人脸图像中，得到人脸热力图。该人脸热力图示出第一人脸图像中各个区域对于第一比对结果的敏感度，或者说，各个区域对于产生第一比对结果的影响程度。
当然，在实际应用中，也可以获取其它各层卷积层的输出结果，并绘制对应于其它各层卷积层的映射图，以及将其它各层卷积层的映射图叠加到第一人脸图像中，得到人脸热力图，本说明书对此不作限定。
在一个具体例子中，可以基于如下公式计算对应于任意一层卷积层的输出结果的若干热力值：
Figure BDA0002748886960000081
其中，
Figure BDA0002748886960000082
为第k个特征图的总梯度，1≤k≤m，m为特征图个数。C为比对一致的类别，yc是比对一致的概率(也称比对结果)，i和j分别为第k个特征图的宽和高，Z为第k个特征图的像素个数，
Figure BDA0002748886960000083
为第k个特征图中的像素，
Figure BDA0002748886960000084
为第k个特征图中像素的梯度，Ak为第k个特征图，L为热力值，ReLU()为激活函数。
在计算得到若干热力值之后，可以基于预定义的热力值与颜色值之间的对应关系，来确定对应的颜色值。具体地，在该对应关系中，可以按照热力值的高低来设定对应的颜色值(0-255)。比如，热力值越高，对应的颜色值越高；热力值越低，对应的颜色值越低，以便最后可以在人脸热力图中以特殊高亮的形式展示敏感度较高的区域。
在再一个例子中，在第一人脸图像如图4a所示时，所生成的人脸热力图可以如图4b或者图4c所示。图4b与图4c之所以不相同，是因为人脸识别模型训练过程中所使用的损失函数不同。比如，在基于Sphereface损失函数训练人脸识别模型时，所生成的人脸热力图可以如图4b所示。而在基于CosFace损失函数训练人脸识别模型时，所生成的热力图可以如图4c所示。从图4b和图4c可以看出，该人脸热力图示出第一人脸图像中各个区域的敏感度。具体地，区域的颜色越亮代表该区域越敏感。
步骤208，根据人脸热力图，在第一人脸图像中确定扰动区域。
具体地，可以采用特征点检测算法，在第一人脸图像中检测若干关键特征点。从若干关键特征点中，选取落入敏感度大于预定阈值的目标区域的各目标特征点。基于各目标特征点，确定第一人脸图像的扰动区域。
这里的特征点检测算法可以包括但不限于尺度不变特征变换匹配(ScaleInvariant Feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Feature，SURF)算法、ORB算法以及加速分割测试获得特征(Features from Accelerated SegmentTest，FAST)算法、OpenCV以及Dlib算法等。
其中，在采用OpenCV算法或者Dlib算法时，上述扰动区域的确定过程可以为：从第一人脸图像中检测出68个关键特征点。该68个关键特征点覆盖人脸的左右眼、嘴角和鼻子等部位。对于该68个关键特征点，其中至少部分关键特征点会落入敏感度大于预定阈值的目标区域。由于人脸热力图与第一人脸图像的大小是相同的。所以，在第一人脸图像中同样可以确定出对应的目标区域。在本说明书中，可以将落入目标区域的各目标特征点称为敏感特征点或者热度较高的特征点。基于各目标特征点，就可以确定出第一人脸图像的扰动区域。比如，该扰动区域可以为眼睛区域或者鼻子区域等。
步骤210，采用扰动方法，对扰动区域进行扰动，得到扰动后的第一人脸图像。
这里的扰动方法可以包括但不限于光照扰动、颜色扰动、噪声扰动以及运动模糊等。其中，光照扰动可以包括但设备像素比(devicePixelRatio，DPR)扰动、图像光线增强(EnlightenGAN)扰动、高斯点光源扰动等。颜色扰动方法可以包括但不限于RGB颜色通道互换扰动、RGB/HSV/YCrCb颜色空间扰动、灰度图扰动等。噪声扰动可以包括但不限于高斯噪声扰动、泊松噪声扰动以及椒盐噪声扰动等。
其中，在RGB颜色通道互换扰动方法中，读取的原始数据通道顺序是BGR。扰动的具体方式是将B、G和R三个通道顺序打乱。比如，可以将第一人脸图像的B、G和R三个通道的数据顺序打乱。但依然将第一人脸图像作为BRG图像进行测评。这种扰动方式会使得图像的颜色发生很大变化，如，偏红的部分变成偏蓝或者偏绿。
HSV颜色空间扰动与RGB颜色通道互换扰动类似，只不过是将图像转换到HSV三通道图像之后，在色调H通道和饱和度S通道中加扰动。YCrCb颜色空间扰动与RGB颜色通道互换扰动也类似。在YCrCb的图像中，Cr通道代表RGB图像中红色部分与RGB信号亮度值之间的差异，Cb代表蓝色部分与亮度之间的差异。
步骤212，将扰动后的第一人脸图像以及另一幅人脸图像，输入人脸识别模型，以预测第二比对结果。
这里的第一比对结果与第二比对结果的获取方式相似，在此不复赘述。需要说明的是，第二比对结果指示扰动后的第一人脸图像与另一幅人脸图像相一致的概率。
步骤214，根据样本集中各样本的第一比对结果和第二比对结果，确定人脸识别模型的鲁棒性评估结果。
具体地，可以统计样本集中第一比对结果与第二比对结果不相匹配的目标样本的第一数目。根据第一数目与样本集中各样本的总数目之比，确定人脸识别模型的鲁棒性评估结果。
在一个例子中，上述不相匹配可以是指第一比对结果与第二比对结果之间的差值或者比值大于预定阈值。
在另一个例子中，假设样本集中样本的总数目为100，其中第一数目为20，那么人脸识别模型的鲁棒性评估结果可以为：20％。应理解，上述第一数目与总数目之比越小，则人脸识别模型的鲁棒性越高。
需要说明的是，在实际应用中，可以采用多种不同的扰动方法，对各样本中的人脸图像进行扰动，由此可以获取到对应于每种扰动方法的子评估结果。之后，可以对各子评估结果进行融合，得到总评估结果。
此外，在采用每种不同的扰动方法，对人脸识别模型进行评估时，还可以基于当前评估结果，调整扰动方法的设置条件。比如，在采用噪声扰动方法，对人脸识别模型进行评估时，如果向各样本的人脸图像中添加第一数量的噪声数据时，超过预定数目的样本的两个比对结果均相匹配，也即当前扰动并没有影响到模型的预测结果，那么可以加大添加的噪声数据，之后再次对人脸识别模型进行评估。
总而言之，本说明书实施例提供的方法，可以从多种不同扰动方法，以及每种扰动方法的不同设置条件等多方面，对人脸识别模型进行评估，由此可以极大地提升模型评估的准确性和全面性。此外，由于本方案采用自动化的方法，对人脸识别模型进行评估，由此可以提升模型评估的效率。
再者，本说明书实施例提供的方法，可以结合人脸热力图，确定人脸图像的扰动区域，并进行有针对性性的扰动，为模型鲁棒性评估提供了可解释性和可复用性，更便于放大模型的鲁棒性问题。
最后，本说明书实施例提供的方法也适用于对图像的敏感信息去隐私化的场景。具体地，通过对图像的敏感区域进行扰动，如，添加噪声等，可以实现人脸识别模型不可检测的目的，由此可以实现敏感数据的隐私保护。
图5为本说明书一个实施例提供的评估针对图像的分类模型的方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置。如图5所示，所述方法具体可以包括：
步骤502，获取样本集。
这里获取的样本集也可以称为测试样本集。需要说明的是，测试样本集通常用于对模型的性能进行测试(或评估)，其与训练样本集不同。
在本说明书中，上述样本集的每个样本可以包括一幅图像。
步骤504，将样本集中任意的第一样本中的图像，输入预先训练的分类模型，以预测第一分类结果。
这里的分类模型可以是指CNN，也可以是指其它深度学习模型。此外，上述第一分类结果可以指示图像属于目标分类的概率。
以分类模型为CNN为例来说，其可以包括若干卷积层。应理解，在将样本中的图像输入CNN之后，就可以获取到该CNN的各卷积层的输出结果。
步骤506，采用热力图生成方法，基于第一分类结果以及图像，生成图像的热力图。
这里的热力图生成方法可以包括但不限于类激活映射(class activation map，CAM)方法、加权梯度类激活映射(Grad-CAM)方法以及Grad-CAM++方法等。
以热力图生成方法为Grad-CAM方法为例来说，图像的热力图的生成过程可以如图6所示，图6中，对于样本中的图像，可以将其输入到CNN中，以得到最后一层卷积层的处理结果，即m张特征图。将该m张特征图输入全连接层，就可以得到当前图像对应于目标分类(如，猫类)的概率。之后，基于上述公式1中的前一公式可以计算得到各特征图各自的总梯度。在将各特征图的总梯度作为其权重，对各特征图进行加权平均，并将所得到的若干热力值映射为对应的颜色值之后，就可以绘制得到映射图。最后，通过将映射图调整到与图像的大小相同，并叠加到图像之后，就可以得到热力图。从图6可以看出，所生成的热力图可以示出图像中各个区域对于目标分类的敏感度。
当然，在实际应用中，也可以获取其它各层卷积层的输出结果，并绘制对应于其它各层卷积层的映射图，以及将其它各层卷积层的映射图叠加到图像中，得到最终的热力图，本说明书对此不作限定。
步骤508，根据生成的热力图，在图像中确定扰动区域。
具体地，可以采用特征点检测算法，在图像中检测若干关键特征点。从若干关键特征点中，选取落入敏感度大于预定阈值的目标区域的各目标特征点。基于各目标特征点，确定图像的扰动区域。
这里的特征点检测算法可以包括但不限于尺度不变特征变换匹配(ScaleInvariant Feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Feature，SURF)算法、ORB算法以及加速分割测试获得特征(Features from Accelerated SegmentTest，FAST)算法、OpenCV以及Dlib算法等。
步骤510，采用扰动方法，对扰动区域进行扰动，得到扰动后的图像。
这里的扰动方法可以包括但不限于光照扰动、颜色扰动、噪声扰动以及运动模糊等。其中，光照扰动可以包括但设备像素比(device Pixel Ratio，DPR)扰动、图像光线增强(Enlighten GAN)扰动、高斯点光源扰动等。颜色扰动方法可以包括但不限于RGB颜色通道互换扰动、RGB/HSV/YCrCb颜色空间扰动、灰度图扰动等。噪声扰动可以包括但不限于高斯噪声扰动、泊松噪声扰动以及椒盐噪声扰动等。
步骤512，将扰动后的图像输入分类模型，以预测第二分类结果。
这里的第一分类结果与第二分类结果的获取方式相似，在此不复赘述。需要说明的是，第二分类结果指示扰动后的图像属于目标分类的概率。
步骤514，根据样本集中各样本的第一分类结果和第二分类结果，确定分类模型的鲁棒性评估结果。
具体地，可以统计样本集中第一分类结果与第二分类结果不相匹配的目标样本的第一数目。根据第一数目与样本集中各样本的总数目之比，确定分类模型的鲁棒性评估结果。
在一个例子中，上述不相匹配可以是指第一分类结果与第二分类结果之间的差值或者比值大于预定阈值。
需要说明的是，在实际应用中，可以采用多种不同的扰动方法，对各样本中的图像进行扰动，由此可以获取到对应于每种扰动方法的子评估结果。之后，可以对各子评估结果进行融合，得到总评估结果。
此外，在采用每种不同的扰动方法，对分类模型进行评估时，还可以基于当前评估结果，调整扰动方法的设置条件。比如，在采用噪声扰动方法，对分类模型进行评估时，如果向各样本的图像中添加第一数量的噪声数据时，超过预定数目的样本的两个分类结果均相匹配，也即当前扰动并没有影响到模型的预测结果，那么可以加大添加的噪声数据，之后再次对分类模型进行评估。
总而言之，本说明书实施例提供的方法，可以从多种不同扰动方法，以及每种扰动方法的不同设置条件等多方面，对分类模型进行评估，由此可以极大地提升模型评估的准确性和全面性。此外，由于本方案采用自动化的方法，对分类模型进行评估，由此可以提升模型评估的效率。
再者，本说明书实施例提供的方法，可以结合热力图，确定图像的扰动区域，并进行有针对性性的扰动，为模型鲁棒性评估提供了可解释性和可复用性，更便于放大模型的鲁棒性问题。
最后，本说明书实施例提供的方法也适用于对图像的敏感信息去隐私化的场景。具体地，通过对图像的敏感区域进行扰动，如，添加噪声等，可以实现分类模型不可检测的目的，由此可以实现敏感数据的隐私保护。
与上述评估人脸识别模型的方法对应地，本说明书一个实施例还提供的一种评估人脸识别模型的装置，如图7所示，该装置可以包括：
获取单元702，用于获取样本集。该样本集的每个样本包括两幅人脸图像。
输入单元704，用于将样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果。其中，第一比对结果指示两幅人脸图像相一致的概率。
这里的人脸识别模型包括具有相同网络结构和参数的两个卷积神经网络CNN。该CNN至少包括卷积层。
输入单元704具体用于：
将两幅人脸图像分别作为两个CNN的输入，得到两个CNN各自的卷积层的输出结果。
基于两个CNN各自的卷积层的输出结果，计算两幅人脸图像之间的距离。
基于计算的距离，确定第一比对结果。
生成单元706，用于针对两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于第一比对结果以及第一人脸图像，生成人脸热力图。其中，人脸热力图示出第一人脸图像中各个区域对于第一比对结果的敏感度。
确定单元708，用于根据人脸热力图，在第一人脸图像中确定扰动区域。
确定单元708具体用于：
采用特征点检测算法，在第一人脸图像中检测若干关键特征点。
从若干关键特征点中，选取落入敏感度大于预定阈值的目标区域的各目标特征点。
基于各目标特征点，确定第一人脸图像的扰动区域。
上述特征点检测算法包括以下任一种：尺度不变特征变换匹配SIFT算法、加速稳健特征SURF算法、ORB算法以及加速分割测试获得特征FAST算法、openVC算法以及Dlib算法。
扰动单元710，用于采用扰动方法，对扰动区域进行扰动，得到扰动后的第一人脸图像。
这里的扰动方法可以包括以下任一种：光照扰动、颜色扰动、噪声扰动以及运动模糊。
输入单元704，还用于将扰动后的第一人脸图像以及另一幅人脸图像，输入人脸识别模型，以预测第二比对结果。其中，第二比对结果指示扰动后的第一人脸图像与另一幅人脸图像相一致的概率。
确定单元708，还用于根据样本集中各样本的第一比对结果和第二比对结果，确定人脸识别模型的鲁棒性评估结果。
确定单元708具体用于：
统计样本集中第一比对结果与第二比对结果不相匹配的目标样本的第一数目。
根据第一数目与样本集中各样本的总数目之比，确定人脸识别模型的鲁棒性评估结果。
上述生成单元706可以包括：
获取模块7061，用于获取第一人脸图像对应的CNN的卷积层的输出结果。该输出结果包括m个特征图，其中，每个特征图包含若干像素。m为正整数。
计算模块7062，用于对于m个特征图中任意的第一特征图，基于第一比对结果，计算第一特征图中各像素的梯度，并基于计算的各像素的梯度，确定第一特征图的总梯度。该总梯度用于反映第一特征图所对应区域的敏感度。
加权求和模块7063，用于将对应于所述m个特征图中各特征图的总梯度作为其权重，对各特征图进行加权求和，得到若干热力值。
绘制模块7064，用于将若干热力值各自映射为对应的颜色值，并基于映射得到的颜色值，绘制映射图。
叠加模块7065，用于将映射图调整到与第一人脸图像大小相同后，叠加到第一人脸图像中，得到人脸热力图。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的评估人脸识别模型的装置，可以实现人脸识别模型的鲁棒性的自动评估，由此可以提高模型鲁棒性评估的准确性和效率。
与上述评估针对图像的分类模型的方法对应地，本说明书一个实施例还提供的一种评估针对图像的分类模型的装置，如图8所示，该装置可以包括：
获取单元802，用于获取样本集。该样本集的每个样本包括一幅图像。
输入单元804，用于将样本集中任意的第一样本中的图像，输入预先训练的分类模型，以预测第一分类结果。该第一分类结果指示图像属于目标分类的概率。
生成单元806，用于采用热力图生成方法，基于第一分类结果以及图像，生成图像的热力图。其中，热力图示出图像中各个区域对于第一分类结果的敏感度。
确定单元808，用于根据热力图，在图像中确定扰动区域。
扰动单元810，用于采用扰动方法，对扰动区域进行扰动，得到扰动后的图像。
输入单元804，还用于将扰动后的图像输入分类模型，以预测第二分类结果。该第二分类结果指示扰动后的图像属于目标分类的概率。
确定单元808，还用于根据样本集中各样本的第一分类结果和第二分类结果，确定分类模型的鲁棒性评估结果。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的评估针对图像的分类模型的装置，可以实现针对图像的分类模型的鲁棒性的自动评估，由此可以提高模型鲁棒性评估的准确性和效率。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图5所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图5所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (18)

1.一种评估人脸识别模型的方法，包括：
获取样本集；所述样本集的每个样本包括两幅人脸图像；
将所述样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果；其中，所述第一比对结果指示所述两幅人脸图像相一致的概率；
针对所述两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于所述第一比对结果以及所述第一人脸图像，生成人脸热力图；其中，所述人脸热力图示出所述第一人脸图像中各个区域对于所述第一比对结果的敏感度；
根据所述人脸热力图，在所述第一人脸图像中确定扰动区域；
采用扰动方法，对所述扰动区域进行扰动，得到扰动后的第一人脸图像；
将所述扰动后的第一人脸图像以及另一幅人脸图像，输入所述人脸识别模型，以预测第二比对结果；其中，所述第二比对结果指示所述扰动后的第一人脸图像与所述另一幅人脸图像相一致的概率；
根据所述样本集中各样本的第一比对结果和第二比对结果，确定所述人脸识别模型的鲁棒性评估结果。
2.根据权利要求1所述的方法，所述人脸识别模型包括具有相同网络结构和参数的两个卷积神经网络CNN；所述CNN至少包括卷积层；
所述将所述样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果，包括：
将所述两幅人脸图像分别作为所述两个CNN的输入，得到所述两个CNN各自的卷积层的输出结果；
基于所述两个CNN各自的卷积层的输出结果，计算所述两幅人脸图像之间的距离；
基于所述距离，确定所述第一比对结果。
3.根据权利要求2所述的方法，所述采用热力图生成方法，基于所述第一比对结果以及所述第一人脸图像，生成人脸热力图，包括：
获取所述第一人脸图像对应的CNN的卷积层的输出结果；所述输出结果包括m个特征图；其中，每个特征图包含若干像素；m为正整数；
对于所述m个特征图中任意的第一特征图，基于所述第一比对结果，计算所述第一特征图中各像素的梯度，并基于计算的各像素的梯度，确定所述第一特征图的总梯度；所述总梯度用于反映所述第一特征图所对应区域的敏感度；
将对应于所述m个特征图中各特征图的总梯度作为其权重，对所述各特征图进行加权求和，得到若干热力值；
将所述若干热力值各自映射为对应的颜色值，并基于映射得到的颜色值，绘制映射图；
将所述映射图调整到与所述第一人脸图像大小相同后，叠加到所述第一人脸图像中，得到所述人脸热力图。
4.根据权利要求1所述的方法，所述根据所述人脸热力图，在所述第一人脸图像中确定扰动区域，包括：
采用特征点检测算法，在所述第一人脸图像中检测若干关键特征点；
从所述若干关键特征点中，选取落入敏感度大于预定阈值的目标区域的各目标特征点；
基于所述各目标特征点，确定所述第一人脸图像的扰动区域。
5.根据权利要求4所述的方法，所述特征点检测算法包括以下任一种：尺度不变特征变换匹配SIFT算法、加速稳健特征SURF算法、ORB算法以及加速分割测试获得特征FAST算法、openVC算法以及Dlib算法。
6.根据权利要求1所述的方法，所述扰动方法包括以下任一种：光照扰动、颜色扰动、噪声扰动以及运动模糊。
7.根据权利要求1所述的方法，所述根据所述样本集中各样本的第一比对结果和第二比对结果，确定所述人脸识别模型的鲁棒性评估结果，包括：
统计所述样本集中第一比对结果与第二比对结果不相匹配的目标样本的第一数目；
根据所述第一数目与所述样本集中各样本的总数目之比，确定所述人脸识别模型的鲁棒性评估结果。
8.一种评估针对图像的分类模型的方法，包括：
获取样本集；所述样本集的每个样本包括一幅图像；
将所述样本集中任意的第一样本中的图像，输入预先训练的分类模型，以预测第一分类结果；所述第一分类结果指示所述图像属于目标分类的概率；
采用热力图生成方法，基于所述第一分类结果以及所述图像，生成所述图像的热力图；其中，所述热力图示出所述图像中各个区域对于所述第一分类结果的敏感度；
根据所述热力图，在所述图像中确定扰动区域；
采用扰动方法，对所述扰动区域进行扰动，得到扰动后的图像；
将所述扰动后的图像输入所述分类模型，以预测第二分类结果；所述第二分类结果指示所述扰动后的图像属于目标分类的概率；
根据所述样本集中各样本的第一分类结果和第二分类结果，确定所述分类模型的鲁棒性评估结果。
9.一种评估人脸识别模型的装置，包括：
获取单元，用于获取样本集；所述样本集的每个样本包括两幅人脸图像；
输入单元，用于将所述样本集中任意的第一样本中的两幅人脸图像，输入预先训练的人脸识别模型，以预测第一比对结果；其中，所述第一比对结果指示所述两幅人脸图像相一致的概率；
生成单元，用于针对所述两幅人脸图像中任意的第一人脸图像，采用热力图生成方法，基于所述第一比对结果以及所述第一人脸图像，生成人脸热力图；其中，所述人脸热力图示出所述第一人脸图像中各个区域对于所述第一比对结果的敏感度；
确定单元，用于根据所述人脸热力图，在所述第一人脸图像中确定扰动区域；
扰动单元，用于采用扰动方法，对所述扰动区域进行扰动，得到扰动后的第一人脸图像；
所述输入单元，还用于将所述扰动后的第一人脸图像以及另一幅人脸图像，输入所述人脸识别模型，以预测第二比对结果；其中，所述第二比对结果指示所述扰动后的第一人脸图像与所述另一幅人脸图像相一致的概率；
所述确定单元，还用于根据所述样本集中各样本的第一比对结果和第二比对结果，确定所述人脸识别模型的鲁棒性评估结果。
10.根据权利要求9所述的装置，所述人脸识别模型包括具有相同网络结构和参数的两个卷积神经网络CNN；所述CNN至少包括卷积层；
所述输入单元具体用于：
将所述两幅人脸图像分别作为所述两个CNN的输入，得到所述两个CNN各自的卷积层的输出结果；
基于所述两个CNN各自的卷积层的输出结果，计算所述两幅人脸图像之间的距离；
基于所述距离，确定所述第一比对结果。
11.根据权利要求10所述的装置，所述生成单元包括：
获取模块，用于获取所述第一人脸图像对应的CNN的卷积层的输出结果；所述输出结果包括m个特征图；其中，每个特征图包含若干像素；m为正整数；
计算模块，用于对于所述m个特征图中任意的第一特征图，基于所述第一比对结果，计算所述第一特征图中各像素的梯度，并基于计算的各像素的梯度，确定所述第一特征图的总梯度；所述总梯度用于反映所述第一特征图所对应区域的敏感度；
加权求和模块，用于将对应于所述m个特征图中各特征图的总梯度作为其权重，对所述各特征图进行加权求和，得到若干热力值；
绘制模块，用于将所述若干热力值各自映射为对应的颜色值，并基于映射得到的颜色值，绘制映射图；
叠加模块，用于将所述映射图调整到与所述第一人脸图像大小相同后，叠加到所述第一人脸图像中，得到所述人脸热力图。
12.根据权利要求9所述的装置，所述确定单元具体用于：
采用特征点检测算法，在所述第一人脸图像中检测若干关键特征点；
从所述若干关键特征点中，选取落入敏感度大于预定阈值的目标区域的各目标特征点；
基于所述各目标特征点，确定所述第一人脸图像的扰动区域。
13.根据权利要求12所述的装置，所述特征点检测算法包括以下任一种：尺度不变特征变换匹配SIFT算法、加速稳健特征SURF算法、ORB算法以及加速分割测试获得特征FAST算法、openVC算法以及Dlib算法。
14.根据权利要求9所述的装置，所述扰动方法包括以下任一种：光照扰动、颜色扰动、噪声扰动以及运动模糊。
15.根据权利要求9所述的装置，所述确定单元具体用于：
统计所述样本集中第一比对结果与第二比对结果不相匹配的目标样本的第一数目；
根据所述第一数目与所述样本集中各样本的总数目之比，确定所述人脸识别模型的鲁棒性评估结果。
16.一种评估针对图像的分类模型的装置，包括：
获取单元，用于获取样本集；所述样本集的每个样本包括一幅图像；
输入单元，用于将所述样本集中任意的第一样本中的图像，输入预先训练的分类模型，以预测第一分类结果；所述第一分类结果指示所述图像属于目标分类的概率；
生成单元，用于采用热力图生成方法，基于所述第一分类结果以及所述图像，生成所述图像的热力图；其中，所述热力图示出所述图像中各个区域对于所述第一分类结果的敏感度；
确定单元，用于根据所述热力图，在所述图像中确定扰动区域；
扰动单元，用于采用扰动方法，对所述扰动区域进行扰动，得到扰动后的图像；
所述输入单元，还用于将所述扰动后的图像输入所述分类模型，以预测第二分类结果；所述第二分类结果指示所述扰动后的图像属于目标分类的概率；
所述确定单元，还用于根据所述样本集中各样本的第一分类结果和第二分类结果，确定所述分类模型的鲁棒性评估结果。
17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项所述的方法。
18.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
CN202011176713.5A 2020-10-28 2020-10-28 评估人脸识别模型、针对图像的分类模型的方法及装置 Active CN112215201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011176713.5A CN112215201B (zh) 2020-10-28 2020-10-28 评估人脸识别模型、针对图像的分类模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011176713.5A CN112215201B (zh) 2020-10-28 2020-10-28 评估人脸识别模型、针对图像的分类模型的方法及装置

Publications (2)

Publication Number Publication Date
CN112215201A CN112215201A (zh) 2021-01-12
CN112215201B true CN112215201B (zh) 2022-05-17

Family

ID=74057436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011176713.5A Active CN112215201B (zh) 2020-10-28 2020-10-28 评估人脸识别模型、针对图像的分类模型的方法及装置

Country Status (1)

Country Link
CN (1) CN112215201B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177497B (zh) * 2021-05-10 2024-04-12 百度在线网络技术（北京）有限公司 视觉模型的训练方法、车辆识别方法及装置
CN113379001B (zh) * 2021-07-16 2022-06-28 支付宝(杭州)信息技术有限公司 针对图像识别模型的处理方法及装置
CN114239685B (zh) * 2021-11-18 2023-05-12 北京墨云科技有限公司 评估神经网络图像分类模型鲁棒性的方法及装置
CN114257454B (zh) * 2021-12-27 2022-10-14 电子科技大学 适用于工控系统中基于特征热力图的恶意流量识别方法
CN114387680B (zh) * 2022-03-24 2022-05-27 广东红橙云大数据有限公司 评估信息的生成方法、装置、电子设备及介质
CN114817933A (zh) * 2022-04-29 2022-07-29 支付宝(杭州)信息技术有限公司 评估业务预测模型鲁棒性的方法、装置及计算设备
CN115292722B (zh) * 2022-10-09 2022-12-27 浙江君同智能科技有限责任公司 基于不同色彩空间的模型安全检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858368A (zh) * 2018-12-29 2019-06-07 浙江工业大学 一种基于Rosenbrock-PSO的人脸识别攻击防御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017211B1 (en) * 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858368A (zh) * 2018-12-29 2019-06-07 浙江工业大学 一种基于Rosenbrock-PSO的人脸识别攻击防御方法

Also Published As

Publication number Publication date
CN112215201A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215201B (zh) 评估人脸识别模型、针对图像的分类模型的方法及装置
KR102442844B1 (ko) 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법(Method for Distinguishing a Real Three-Dimensional Object from a Two-Dimensional Spoof of the Real Object)
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
CN109191424B (zh) 一种乳腺肿块检测与分类系统、计算机可读存储介质
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
US11392800B2 (en) Computer vision systems and methods for blind localization of image forgery
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN110879982A (zh) 一种人群计数系统及方法
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
Wadhwa et al. Hyperrealistic image inpainting with hypergraphs
Trivedi et al. Automatic segmentation of plant leaves disease using min-max hue histogram and k-mean clustering
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115205547A (zh) 一种目标图像的检测方法、装置、电子设备及存储介质
US11809519B2 (en) Semantic input sampling for explanation (SISE) of convolutional neural networks
CN114821823A (zh) 图像处理、人脸防伪模型的训练及活体检测方法和装置
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
Chen et al. Learning to rank retargeted images
CN112818774A (zh) 一种活体检测方法及装置
Souza et al. Maximal max-tree simplification
CN116994049A (zh) 全自动针织横机及其方法
US20220414827A1 (en) Training apparatus, training method, and medium
Celona et al. CNN-based image quality assessment of consumer photographs
CN113487506A (zh) 基于注意力去噪的对抗样本防御方法、装置和系统
Xiang et al. Blockwise based detection of local defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044727

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant