CN112115834A - 一种基于小样本匹配网络的标准证件照检测方法 - Google Patents

一种基于小样本匹配网络的标准证件照检测方法 Download PDF

Info

Publication number
CN112115834A
CN112115834A CN202010952759.5A CN202010952759A CN112115834A CN 112115834 A CN112115834 A CN 112115834A CN 202010952759 A CN202010952759 A CN 202010952759A CN 112115834 A CN112115834 A CN 112115834A
Authority
CN
China
Prior art keywords
certificate photo
matching network
certificate
small sample
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010952759.5A
Other languages
English (en)
Inventor
王蒙
文涛
杨飞燕
宁宏维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010952759.5A priority Critical patent/CN112115834A/zh
Publication of CN112115834A publication Critical patent/CN112115834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于小样本匹配网络证件照检测方法。本发明提出了小样本匹配网络，该网络由双向GRU网络，带有注意力机制的GRU网络和注意力块组成。用双向GRU网络和带有注意力机制的GRU网络分别对支持集S和测试批B中的样本进行编码，其中S是两个网络共同的输入，并且两个网络的GRU部分是参数共享的。注意力块用于计算映射到新空间的S中各样本与B中样本间的余弦距离，借助注意力机制得到一个标签的线性组合，通过softmax函数映射为概率，将概率值最大的类别作为预测标签输出，从而解决在异常样本稀缺情况下的检测模型训练困难问题。本发明能准确地识别出证件照的异常，根据预测标签判断证件照是否标准，根据标签含义得知异常的部位。

Description

一种基于小样本匹配网络的标准证件照检测方法
技术领域
本发明涉及图像分类和迁移学习的技术领域，具体涉及一种基于小样本匹配网络的方法。
背景技术
证件是当今社会不可或缺的身份核实方式，而证件照是验证身份最直接也最重要的环节，及时验证证件照是否符合标准往往决定着证件的审核周期。由于不同人照片质量差别较大，通常需要专门的审核人员进行人力验证，这样既耗时出错率又高，有时由于没有说清问题原因，同一个人同样的问题往往还会重复出现；除此之外，一些偏远地区可能还会出现审核人员不足的问题，这些都极大的限制了证件照的审核速度，所以开发出一种计算机自动识别异常的技术是十分重要的。
好的模型通常需要依靠大量的样本及其详尽的标注来提升模型性能，并且正负样本数量也要均衡，但有时异常样本难以采集导致数量过少，这将极大影响模型的性能。例如基于多标签深度卷积网络的证件照分类方法(基于caffe框架)中使用了56382个样本，分为7类，负样本数量每个样本要标注7个标签，整个过程既费时又费力。除此之外，现有的模型往往还有结构复杂，识别度不高，鲁棒性不强等问题。
发明内容
本发明主要是针对上述现有技术的缺陷提供的一种新的解决方案，一方面能准确而快速的检测出证件照是否存在异常，节省了大量的人力，工作效率显著提高。另一方面克服了异常样本过少的难题，只需要收集少量异常样本并打上标签即可对模型进行训练，而不是收集大量的正常和异常数据训练模型，这样在保持高预测率的前提下大大减少了训练周期和成本。
本发明采用的技术方案为：
(1)收集标准证件照和异常证件照并进行标注形成证件照数据集；所述异常证件照的异常情况包括眼睛异常，鼻子异常，耳朵异常，嘴巴异常和浓妆，标注时将对应异常的标签标注出来，标准证件照则标注“标准照”的标签。
(2)构建已经预训练的小样本匹配网络；
使用证件照训练集先对小样本匹配网络进行预训练，初始化参数，便于后续训练，该网络包括attGRU块和BiGRU块，Attention Kernel块。
attGRU块和BiGRU块共享一个GRU网络。它们分别对支持集样本xi和测试批样本
Figure BDA0002677578100000021
进行编码，将其映射到一个新的特征空间，使得后续余弦距离的计算更合理和准确。
GRU的具体细节如下：
图3是对GRU内部更详细的描述，其中h′i是当前记忆内容。GRU的函数表示为hi＝GRU(xi,hi-1)，其中xi是当前步的输入，hi-1是上一步的输出，hi是当前步的输出。GRU通过更新门和重置门控制信息。
更新门：输入hi-1和xi分别经过线性变换，得到的结果合计为X，X经过sigmoid层后输出的结果zi即为更新门，zi用来决定保留多少信息；
重置门：输入hi-1和xi分别经过线性变换，得到的结果合计为Y，Y经过sigmoid层后输出的结果ei即为重置门，ei用来决定hi-1中遗忘多少信息。
所述的attGRU块是带有注意力机制的GRU，用于对测试批B编码，B中当前参与训练的样本记为
Figure BDA0002677578100000022
编码记为
Figure BDA0002677578100000023
把S作为f的参数使得
Figure BDA0002677578100000024
在不同的S中有不同的编码，即
Figure BDA0002677578100000025
的编码与S的选择相关，是对测试批B卷积后的结果，g(S)是支持集S的编码，K是GRU的步数。
Figure BDA0002677578100000026
编码的处理公式为：
Figure BDA0002677578100000027
其中a(hk-1,g(xi))是GRU的注意力核，rk-1是借助注意力机制计算出S中各样本的重要程度(也是S中各标签的重要程度)。因为xi是支持集S中的样本，所以借助注意力机制就可以达到让S参与
Figure BDA0002677578100000028
编码的目的。
BiGRU块是双向的GRU，与前面讲的GRU不同之处是GRU只考虑任务受先前信息影响，而双向的GRU可以让任务之后的信息也能返回来影响任务。BiGRU块用于对支持集S编码，记为
Figure BDA0002677578100000031
把S作为g的参数使得xi的编码与S中的其他样本有关，在不同的S中亦有不同的编码。g′(xi)是对支持集S卷积后的结果，其中
Figure BDA0002677578100000032
把S加入到编码过程的目的是将f和g两个特征空间通过S联系起来。这样做一方面使得
Figure BDA0002677578100000033
与g(xi,S)余弦距离的计算更加合理而准确，达到匹配的目的。另一方面
Figure BDA0002677578100000034
的分类结果可能随S的改变而变化，增加模型的适应性。
Attention Kernel块是本方案小样本学习的关键，实现了网络的匹配功能。通过计算
Figure BDA0002677578100000035
与g(xi,S)的余弦距离，将与支持集S中相似度最高的xi的标签yj标注给测试批B中的
Figure BDA0002677578100000036
如图2所示。
Attention Kernel块是与度量学习相关的。
Figure BDA0002677578100000037
的细节描述如下：
Figure BDA0002677578100000038
Figure BDA0002677578100000039
其中
Figure BDA00026775781000000310
是注意力机制(Attation)，用于输出
Figure BDA00026775781000000311
对于S中不同样本xi的注意力值；
Figure BDA00026775781000000312
用于计算
Figure BDA00026775781000000313
与g(xi,S)的余弦距离；k是支持集S的大小；
Figure BDA00026775781000000314
是对于新样本的输出，即S上的类Attation线性组合，也就是对于离
Figure BDA00026775781000000315
最远的xi，其在cosine度量下的Attation是0，那么其值就是和
Figure BDA00026775781000000316
相似的xi所对应标签的权重融合。这组权重经过softmax层，输出的最大概率值，表示注意力最高，也就是我们最终的预测标签y。
Figure BDA00026775781000000317
可以计算输入
Figure BDA00026775781000000318
对于S中不同xi的注意力值，将S中注意力最高的样本xi的标签yj与
Figure BDA0002677578100000041
匹配，这个yj就是预测标签(即y)，这样就做到了关注S中最重要的样本。值得注意的是，S是一个小规模数据集，这样就可以巧妙的避开用大量数据集训练网络的缺点，达到我们小样本学习的目的。
经过这一块后，测试批B的图像
Figure BDA0002677578100000042
打上了预测的标签y，根据预测标签就可以知道证件照是否标准，若不标准还可以根据标签含义得知异常的部位。
小样本匹配网络训练的目标函数为：
Figure BDA0002677578100000043
其中θ是小样本匹配网络的参数；x是需要预测标签的图片；L是支持集的类别集合(眼睛异常，鼻子异常等)；
Figure BDA0002677578100000044
(3)采用步骤(1)中的证件照数据集对小样本匹配网络进行训练，得到证件照检测模型；
将证件照数据集划分为训练集和测试集，对于训练集中的标准证件照和异常证件照共计六种类别的图像均随机采样样本作为支持集S，随机采样其中一个类别及其样本作为测试批B；这样划分的目的是让预测值与真实值间有对比参照，这样就可以计算误差修正模型。
将训练集采样得到的支持集S和训练批B直接输入到小样本匹配网络中进行训练，训练策略为：以支持集S为条件训练测试批B，使得在B上的误差最小化，换句话说是利用在S中学习的结果预测B的标签，最小化B的预测值与真实值之间的误差。
将测试集输入到模型中进行测试，最终得到证件照检测模型。
(4)将待测证件照的图像输入到证件照检测模型，并识别证件照是否标准，若不标准，模型则自动标注对应的异常标签。
本发明的有益效果：
(1)本发明可以快速而准确的识别出证件照是否符合标准，若不标准还可根据预测标签的含义得知异常的部位，帮助人们改善拍照的照片质量，同时可以根据不同人群的需要，整个过程不需要人力进行逐张筛选，节省了大量的人力和财力，提高工作效率。
(2)本发明解决了训练模型时异常样本过少的问题，凭借自身强大的泛化能力可以很好的进行训练，训练集只需要少量的异常证件照并打上标签，输入到模型中即可训练出较为理想的模型。
附图说明
图1是本发明的工作流程图；
图2是本发明的小样本匹配网络图；
图3是本发明的GRU结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作出进一步说明。
实施例1：如图1所示，本发明提供一种基于小样本匹配网络的方法，包括：
(1)收集标准证件照和异常证件照并进行标注形成证件照数据集；
在网上自动爬取并人工收集多种具有证件照特征的图像，包括不限于戴眼镜，戴口罩，浓妆等。
(2.2)：对采集的所有图像进行人工筛选，删除不符合证件照特征的图像。
(2.3)：从步骤(2.2)中删除重复的图像
(2.4)：对收集到的15320张图像人工标注标签，其中异常图像有3210张。图像可分为标准照，眼睛异常，鼻子异常，耳朵异常，嘴巴异常，浓妆共6类，即步骤(2.3)得到的图像具有上述某种异常，则人工标注对应异常的标签，否则标注“标准照”的标签。具体来说，每个样本xi即证件照对应着一种标签yj，即每个样本即证件照只对应一种异常，若样本xi有对应的标签yj，则yj＝1，否则yj＝0。接着将15320张证件照都人工标注标签，这15320张证件照合在一起即为我们的证件照数据集。
(2)构建已经预训练的小样本匹配网络；
(3)采用步骤(1)中的证件照数据集对小样本匹配网络进行训练，得到证件照检测模型；
(3.1)将15320张证件照集D按7比3划分为训练集和测试集:
Dtrain＝{(xi,yj)|1≤i≤10724,1≤j≤6}
Dtest＝{(xi,yj)|1≤i≤4596,1≤j≤6}
对于训练集中的6种图像分类，每个类别随机采样15个样本作为支持集S∈D，随机采样其中一个类别及其15个样本作为测试批B∈D。这样划分的目的是让预测值与真实值间有对比参照，这样就可以计算误差修正模型。
(3.2)具体训练过程如下：
如图1所示，将支持集S输入到BiGRU块，先对S进行卷积得到g′(xi)，将g′(xi)输入到双向GRU中得到对S的编码g(S)；接着将g(S)输入到attGRU块得到GRU的注意力核a(hk-1,g(xi))，将注意力核作用的结果rk-1和对测试批B进行卷积得到的
Figure BDA0002677578100000061
输入到GRU中得到对B的编码
Figure BDA0002677578100000062
将
Figure BDA0002677578100000063
和g(S)输入Attention Kernel块计算得到小样本匹配网络的注意力
Figure BDA0002677578100000064
接下来输出概率值最大的标签即为可为
Figure BDA0002677578100000065
标注预测标签y；最后根据目标函数进行优化得到模型。根据预测标签就可以知道证件照是否标准，若不标准还可以根据标签含义得知异常的部位。
(3.3)将测试集Dtest输入模型中进行测试，最终得到证件照检测模型。
(4)将待测证件照的图像进输入到证件照检测模型内，并识别证件照是否标准，若不标准，模型则自动标注对应的异常标签。经过统计，待测证件照检测的正确率达到了98％，但是异常样本只占了总量的约五分之一，这已经完全可以满足我们的需求。
本发明的保护范围包括但不限于上述实施方式，本发明的保护范围以权利要求说明书为准，本领域的普通技术人员在本发明的启示下还可以做出很多形式的具体转换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于小样本匹配网络的标准证件照检测方法，其特征在于，包括如下步骤：
(1)收集标准证件照和异常证件照并进行标注形成证件照数据集；
(2)构建已经预训练的小样本匹配网络；
(3)采用步骤(1)中的证件照数据集对小样本匹配网络进行训练，得到证件照检测模型；
(4)将待测证件照的图像输入到证件照检测模型，并识别证件照是否标准，若不标准，模型则自动标注对应的异常标签。
2.根据权利要求1所述的基于小样本匹配网络的标准证件照检测方法，其特征在于：
所述异常证件照的异常情况包括眼睛异常，鼻子异常，耳朵异常，嘴巴异常和浓妆，且每张异常证件照只包含一种异常情况，标注时将对应异常的标签标注出来，标准证件照则标注“标准照”的标签。
3.根据权利要求1所述的基于小样本匹配网络的标准证件照检测方法，其特征在于，所述步骤(2)中小样本匹配网络包括attGRU模块，BiGRU模块和Attention Kernel模块；
所述的attGRU块用于对测试批B编码，记为
Figure FDA0002677578090000011
BiGRU用于对支持集S编码，记为g(xi,S)；
Attention Kernel通过注意力机制
Figure FDA0002677578090000012
计算
Figure FDA0002677578090000013
与g(xi,S)的相似度，在面对新样本
Figure FDA0002677578090000015
时关注S中最重要的xi，从而为
Figure FDA0002677578090000014
标注该xi的标签，记为预测标签y，根据预测标签确定证件照是否标准，若不标准则根据标签含义得知异常的部位。
4.根据权利要求1所述的基于小样本匹配网络的标准证件照检测方法，其特征在于，步骤(3)的具体过程为：
将证件照数据集划分为训练集Dtrain和测试集Dtest，对于训练集中的标准证件照和异常证件照共计六种类别的图像均随机采样样本作为支持集S，随机采样其中一个类别及其样本作为测试批B；
将训练集采样得到的支持集S和训练批B输入到小样本匹配网络进行训练，训练策略为：以支持集S为条件训练测试批B，利用在S中学习的结果预测B的标签，最小化B的预测值与真实值之间的误差；
将测试集输入到模型中进行测试，得到最终的证件照检测模型。
CN202010952759.5A 2020-09-11 2020-09-11 一种基于小样本匹配网络的标准证件照检测方法 Pending CN112115834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010952759.5A CN112115834A (zh) 2020-09-11 2020-09-11 一种基于小样本匹配网络的标准证件照检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010952759.5A CN112115834A (zh) 2020-09-11 2020-09-11 一种基于小样本匹配网络的标准证件照检测方法

Publications (1)

Publication Number Publication Date
CN112115834A true CN112115834A (zh) 2020-12-22

Family

ID=73801837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010952759.5A Pending CN112115834A (zh) 2020-09-11 2020-09-11 一种基于小样本匹配网络的标准证件照检测方法

Country Status (1)

Country Link
CN (1) CN112115834A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743257A (zh) * 2022-01-23 2022-07-12 中国电子科技集团公司第十研究所 图像目标行为的检测识别方法
CN115564577A (zh) * 2022-12-02 2023-01-03 成都新希望金融信息有限公司 一种异常用户识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165674A (zh) * 2018-07-19 2019-01-08 南京富士通南大软件技术有限公司 一种基于多标签深度卷积网络的证件照分类方法
CN110163299A (zh) * 2019-05-31 2019-08-23 合肥工业大学 一种基于自底向上注意力机制和记忆网络的视觉问答方法
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
CN110414498A (zh) * 2019-06-14 2019-11-05 华南理工大学 一种基于交叉注意力机制的自然场景文本识别方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165674A (zh) * 2018-07-19 2019-01-08 南京富士通南大软件技术有限公司 一种基于多标签深度卷积网络的证件照分类方法
CN110163299A (zh) * 2019-05-31 2019-08-23 合肥工业大学 一种基于自底向上注意力机制和记忆网络的视觉问答方法
CN110414498A (zh) * 2019-06-14 2019-11-05 华南理工大学 一种基于交叉注意力机制的自然场景文本识别方法
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
冯晓毅等: "基于空时注意力网络的面部表情识别", 《西北大学学报(自然科学版)》 *
刘建伟等: "深度记忆网络研究进展", 《计算机学报》 *
徐凯等: "基于结合多头注意力机制BiGRU网络的生物医学命名实体识别", 《计算机应用与软件》 *
陈琳等: "基于加权矢量场的轨迹层次聚类", 《传感器与微系统》 *
饶竹一等: "基于BiGRU和注意力机制的多标签文本分类模型", 《现代计算机》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743257A (zh) * 2022-01-23 2022-07-12 中国电子科技集团公司第十研究所 图像目标行为的检测识别方法
CN115564577A (zh) * 2022-12-02 2023-01-03 成都新希望金融信息有限公司 一种异常用户识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN110458216B (zh) 基于条件生成对抗网络的图像风格迁移方法
US10311322B2 (en) Character information recognition method based on image processing
CN110263666B (zh) 一种基于非对称多流的动作检测方法
CN110070521A (zh) 一种基于视觉神经学习的3d打印模型瑕疵预判系统及方法
Xu et al. Open-ended visual question answering by multi-modal domain adaptation
WO2021139249A1 (zh) 数据异常检测方法、装置、设备及存储介质
CN112115834A (zh) 一种基于小样本匹配网络的标准证件照检测方法
CN111582337A (zh) 基于小样本细粒度图像分析的草莓畸形状态检测方法
CN110415815A (zh) 深度学习和人脸生物特征信息的遗传病辅助诊断系统
CN110163378A (zh) 特征处理方法、装置、计算机可读存储介质和计算机设备
CN116468935A (zh) 一种基于多核卷积网络的交通标志阶梯式分类识别方法
CN115422518A (zh) 基于无数据知识蒸馏的文本验证码识别方法
CN117408698A (zh) 一种基于Transformer的对比多视图下庞氏骗局检测方法
CN111881880A (zh) 一种基于新型网络的票据文本识别方法
CN111507850A (zh) 核保方法及相关装置、设备
CN109145749B (zh) 一种跨数据集的面部表情识别模型构建及识别方法
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN114299485A (zh) 基于人工智能的定额发票识别准确度评价方法及系统
CN118097197B (zh) 一种图像识别神经网络模型的匹配方法
CN116452878B (zh) 一种基于深度学习算法与双目视觉的考勤方法及系统
CN114743249B (zh) 识别模型训练方法、微表情识别方法、装置、设备及介质
CN117975466B (zh) 一种基于版面分析的通用场景卡证识别系统
CN118313796B (zh) 一种技术标评审的自动化匿名混合交叉评估方法
CN118429623B (zh) 城市设施异常识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination