CN112084956A - 一种基于小样本学习原型网络的特殊面容人群筛查系统 - Google Patents

一种基于小样本学习原型网络的特殊面容人群筛查系统 Download PDF

Info

Publication number
CN112084956A
CN112084956A CN202010952636.1A CN202010952636A CN112084956A CN 112084956 A CN112084956 A CN 112084956A CN 202010952636 A CN202010952636 A CN 202010952636A CN 112084956 A CN112084956 A CN 112084956A
Authority
CN
China
Prior art keywords
face
prototype
image
special
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010952636.1A
Other languages
English (en)
Inventor
马天雪
院旺
马利庄
刘淑宝
唐俊姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Information Technology Research Institute Shanghai Jiaotong University
Original Assignee
Yantai Information Technology Research Institute Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Information Technology Research Institute Shanghai Jiaotong University filed Critical Yantai Information Technology Research Institute Shanghai Jiaotong University
Priority to CN202010952636.1A priority Critical patent/CN112084956A/zh
Publication of CN112084956A publication Critical patent/CN112084956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于小样本学习原型网络的特殊面容人群筛查系统，该系统包括：图像获取模块：获取用户图像；人脸检测模块：检测用户图像中是否包含人脸；人脸裁剪模块：对包含人脸的用户图像进行裁剪获得人脸图像；筛查模块：该模块存储预先经过小样本学习得到的原型网络，所述的原型网络包括嵌入函数，嵌入函数输入为人脸图像，输出为人脸图像的特征向量，所述的原型网络还利用特征向量与各类特殊面容人群原型的距离确定输入的人脸图像属于对应的特殊面容人群的概率值。与现有技术相比，本发明筛查系统具有高效、便捷、可靠、低成本等优点。

Description

一种基于小样本学习原型网络的特殊面容人群筛查系统
技术领域
本发明涉及小样本学习技术领域，尤其是涉及一种基于小样本学习原型网络的特殊面容人群筛查系统。
背景技术
特殊面容人群筛查是一项复杂的工作，需要多学科的密切配合。目前特殊面容人群的遗传学筛查主要依靠医生对特殊面容人群的判断能力及经验，可靠性不稳定，并受地域的限制。另外其他筛查方法复杂繁琐，对医疗技术水平要求较高，具有一定的难度并且检测的成本较高。
由于现存特殊面容人群的遗传学筛查方法存在上述暂未解决的问题，所以需要更加高效、便捷、可靠、低成本的特殊面容人群筛查系统。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于小样本学习原型网络的特殊面容人群筛查系统。
本发明的目的可以通过以下技术方案来实现：
一种基于小样本学习原型网络的特殊面容人群筛查系统，该系统包括：
图像获取模块：获取用户图像；
人脸检测模块：检测用户图像中是否包含人脸；
人脸裁剪模块：对包含人脸的用户图像进行裁剪获得人脸图像；
筛查模块：该模块存储预先经过小样本学习得到的原型网络，所述的原型网络包括嵌入函数，嵌入函数输入为人脸图像，输出为人脸图像的特征向量，所述的原型网络还利用特征向量与各类特殊面容人群原型的距离确定输入的人脸图像属于对应的特殊面容人群的概率值。
优选地，所述的图像获取模块通过用户上传照片或者用户现场拍照的方式获取用户图像。
优选地，所述的人脸检测模块包括Dlib检测器。
优选地，所述的人脸裁剪模块基于Dlib检测器检测到的人脸外接矩形的坐标，利用OpenCv将人脸外接矩形区域内的图像裁剪保存形成人脸图像。
优选地，所述的筛查模块中的原型网络训练方式为：
构建特殊面容人群数据集，将数据集分为训练集，验证集及测试集，其中特殊面容人群数据集包括特殊面容人群的人脸照片及其对应的特殊面容人群类别；
对所述训练集数据执行数据增强操作；
确定嵌入函数训练过程中超参数的具体数值；
基于episode策略进行原型网络的训练，从所述训练集中选择N个类别，并从这N个类别中分别选取S+Q个样本，其中S个样本作为训练的支持集，Q个样本作为训练的查询集，将所述支持集与查询集输入嵌入函数得到特征向量，利用所述查询集的特征向量求得类原型，利用所述支持集的特征向量求与类原型的距离；
利用所述距离以及损失函数求得损失函数值；
基于上述得到的损失函数值和已设置好的超参数进行原型网络的训练。
优选地，所述的数据增强操作包括图像翻转、图像旋转、灰度处理中的一种或多种。
优选地，所述的超参数包括学习率、迭代次数，所述嵌入函数为典型的VGG16网络。
优选地，将所述支持集与查询集输入嵌入函数得到特征向量，利用所述查询集的特征向量求得类原型，每个类的原型由此类支持集样本特征向量的平均值决定，如下：
Figure BDA0002677533110000021
其中，ck代表类k的原型，Sk表示类k的样本集合，|Sk|表示类k中样本的数量，xi为样本，yi标签，fφ为嵌入空间，fφ表示将输入样本映射到特征向量中。
优选地，使用欧式距离作为查询集样本特征向量与类原型距离的度量方法。
优选地，利用所述距离以及损失函数求得损失函数值具体为：
首先求一个已知属于类k的样本属于类k的概率，如下：
Figure BDA0002677533110000031
其中，x为输入样本，y为样本x的预测标签，k为样本x的真实标签，k′为可能的类别标签，fφ(x)为嵌入空间，ck为类k的原型，ck′为类k′的原型，pφ(y＝k|x)代表样本x的预测标签为k的概率，d(,)表示求欧式距离；
进而，损失函数为J(φ)：
J(φ)＝-log(pφ(y＝k|x))。
与现有技术相比，本发明具有如下优点：
(1)本发明设计的特殊面容人群筛查系统基于计算机实现，可利用系统实现特殊面容人群自查，提高筛查准确性的同时又降低了筛查费用，具有通用性，不受地域医疗水平限制，可以同时缓解医疗资源的紧张和不平衡问题；
(2)本发明系统基于小样本学习原型网络，通过机器学习的方法提高了结果的准确性。
附图说明
图1为本发明基于小样本学习原型网络的特殊面容人群筛查系统的结构框图；
图2为本发明嵌入函数训练的流程框图。
图中，1为图像获取模块，2为人脸检测模块，3为人脸裁剪模块，4为筛查模块。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图1所示，一种基于小样本学习原型网络的特殊面容人群筛查系统，该系统包括前端和后端，前端包括图像获取模块1，后端包括人脸检测模块2、人脸裁剪模3块和筛查模块4，具体为：
图像获取模块1：获取用户图像；
人脸检测模块2：检测用户图像中是否包含人脸；
人脸裁剪模3块：对包含人脸的用户图像进行裁剪获得人脸图像；
筛查模块4：该模块存储预先经过小样本学习得到的原型网络，所述的原型网络包括嵌入函数，嵌入函数输入为人脸图像，输出为人脸图像的特征向量，所述的原型网络还利用特征向量与各类特殊面容人群原型的距离确定输入的人脸图像属于对应的特殊面容人群的概率值，其中，嵌入函数为典型的VGG16网络。
图像获取模块1通过用户上传照片或者用户现场拍照的方式获取用户图像。
人脸检测模块2包括Dlib检测器。
人脸裁剪模3块基于Dlib检测器检测到的人脸外接矩形的坐标，利用OpenCv将人脸外接矩形区域内的图像裁剪保存形成人脸图像。
如图2所示，筛查模块4中的原型网络训练方式为：
步骤101、构建特殊面容人群数据集并分为训练集、验证集及测试集，特殊面容人群数据集包括属于不同特殊面容人群的人脸图像及其对应的特殊面容人群类别名称。特殊面容人群数据集中包括特殊面容人群的面部照片和正常人群的面部照片，按照类别将面部照片以8：1：1的比例划分为训练集，验证集和测试集。
步骤102、对训练集进行数据增强操作，数据增强操作包括图像翻转、图像旋转、灰度处理中的一种或多种。
步骤103、确定嵌入函数训练过程中超参数大小，超参数包括学习率、迭代次数，其中，本实施例中学习率的设置方法为：初始值设置为0.001，此后每经过十次迭代后将其变为原来的0.1，迭代次数设置为600。
在步骤104中，从训练集中每次选择5个特殊面容人群类别，并从此5个类别中选择20个样本，其中5个样本作为支持集，15个样本作为查询集。
在步骤105中，将20个样本输入VGG16网络中得到128维的特征向量。
在步骤106中，利用支持集样本的特征向量求得5个特殊面容人群的类原型，通过求当前类中5个支持集样本特征向量的平均值得到类原型。利用所述查询集的特征向量求得类原型，每个类的原型由此类支持集样本特征向量的平均值决定，如下：
Figure BDA0002677533110000041
其中，ck代表类k的原型，Sk表示类k的样本集合，|Sk|表示类k中样本的数量，xi为样本，yi标签，fφ为嵌入空间，fφ表示将输入样本映射到特征向量中。
在步骤107中，计算5×15个查询集样本与5个类原型的欧式距离。
在步骤108中，利用步骤107求得的距离，在步骤108中，利用步骤107求得的距离，首先求一个已知属于类k的样本属于类k的概率，如下：
Figure BDA0002677533110000051
其中，x为输入样本，y为样本x的预测标签，k为样本x的真实标签，k′为可能的类别标签，fφ(x)为嵌入空间，ck为类k的原型，ck′为类k′的原型，pφ(y＝k|x)代表样本x的预测标签为k的概率，d(,)表示求欧式距离；
进而，损失函数为J(φ)：
J(φ)＝-log(pφ(y＝k|x))。
在步骤109中，所述基于所述得到的损失函数值和已设置好的超参数进行嵌入函数的训练，使用的训练方法为随机梯度下降法。通过反向传播的方式，不断更新所述嵌入函数的参数。
下面将对本实施例涉及的前端和后端交互过程进行叙述：
使用Nginx+uWSGI+Django部署服务器，首先客户端通过微信小程序访问服务器资源；nginx作为对外服务的端口，nginx接收到客户端https请求后会解包分析，如果是静态文件就去配置的静态文件中查找资源并返回给客户端，如果是动态资源，nginx就通过配置文件将请求传递给uwsgi处理，并转发给uwsgi,wsgi根据请求调用django工程的文件和函数，处理后django将返回值交给wsgi,wsgi将返回值进行打包，转发给uWSGI，uWSGI接收到数据后转发给nginx，最终返回给客户端。
在图片获取模块，用户通过在前端的操作进行照片上传，其中用户有两种方式上传照片，一种是从相册中获取照片，另一种是直接拍取新的照片；随后将获取到的照片传到人脸检测模块2，在人脸检测模块2，利用已经训练好的Dlib检测器正向人脸检测器进行人脸检测，在照片中检测到人脸，则进行人脸裁剪，否则向前端返回提示信息：“未检测到人脸”。
在执行人脸裁剪操作时根据Dlib检测器检测到的人脸外接矩形的坐标，使用opencv的cv2.imwrite将检测到的人脸照片保存在服务器端，并将所述裁剪得到的面部照片输入到上述分类深度神经网络中可得到分类向量，对所述分类向量执行归一化操作，所述归一化之后的分类向量即为对相应特殊面容人群的概率预测值，之后将所述预测值返回到前端进行展示。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，该系统包括：
图像获取模块：获取用户图像；
人脸检测模块：检测用户图像中是否包含人脸；
人脸裁剪模块：对包含人脸的用户图像进行裁剪获得人脸图像；
筛查模块：该模块存储预先经过小样本学习得到的原型网络，所述的原型网络包括嵌入函数，嵌入函数输入为人脸图像，输出为人脸图像的特征向量，所述的原型网络还利用特征向量与各类特殊面容人群原型的距离确定输入的人脸图像属于对应的特殊面容人群的概率值。
2.根据权利要求1所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，所述的图像获取模块通过用户上传照片或者用户现场拍照的方式获取用户图像。
3.根据权利要求1所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，所述的人脸检测模块包括Dlib检测器。
4.根据权利要求3所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，所述的人脸裁剪模块基于Dlib检测器检测到的人脸外接矩形的坐标，利用OpenCv将人脸外接矩形区域内的图像裁剪保存形成人脸图像。
5.根据权利要求1所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，所述的筛查模块中的原型网络训练方式为：
构建特殊面容人群数据集，将数据集分为训练集，验证集及测试集，其中特殊面容人群数据集包括特殊面容人群的人脸照片及其对应的特殊面容人群类别；
对所述训练集数据执行数据增强操作；
确定嵌入函数训练过程中超参数的具体数值；
基于episode策略进行原型网络的训练，从所述训练集中选择N个类别，并从这N个类别中分别选取S+Q个样本，其中S个样本作为训练的支持集，Q个样本作为训练的查询集，将所述支持集与查询集输入嵌入函数得到特征向量，利用所述查询集的特征向量求得类原型，利用所述支持集的特征向量求与类原型的距离；
利用所述距离以及损失函数求得损失函数值；
基于上述得到的损失函数值和已设置好的超参数进行原型网络的训练。
6.根据权利要求5所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，所述的数据增强操作包括图像翻转、图像旋转、灰度处理中的一种或多种。
7.根据权利要求5所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，所述的超参数包括学习率、迭代次数，所述嵌入函数为典型的VGG16网络。
8.根据权利要求5所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，将所述支持集与查询集输入嵌入函数得到特征向量，利用所述查询集的特征向量求得类原型，每个类的原型由此类支持集样本特征向量的平均值决定，如下：
Figure FDA0002677533100000021
其中，ck代表类k的原型，Sk表示类k的样本集合，|Sk|表示类k中样本的数量，xi为样本，yi标签，fφ为嵌入空间，fφ表示将输入样本映射到特征向量中。
9.根据权利要求5所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，使用欧式距离作为查询集样本特征向量与类原型距离的度量方法。
10.根据权利要求5所述的一种基于小样本学习原型网络的特殊面容人群筛查系统，其特征在于，利用所述距离以及损失函数求得损失函数值具体为：
首先求一个已知属于类k的样本属于类k的概率，如下：
Figure FDA0002677533100000022
其中，x为输入样本，y为样本x的预测标签，k为样本x的真实标签，k′为可能的类别标签，fφ(x)为嵌入空间，ck为类k的原型，ck′为类k′的原型，pφ(y＝k|x)代表样本x的预测标签为k的概率，d(,)表示求欧式距离；
进而，损失函数为J(φ)：
J(φ)＝-log(pφ(y＝k|x))。
CN202010952636.1A 2020-09-11 2020-09-11 一种基于小样本学习原型网络的特殊面容人群筛查系统 Pending CN112084956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010952636.1A CN112084956A (zh) 2020-09-11 2020-09-11 一种基于小样本学习原型网络的特殊面容人群筛查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010952636.1A CN112084956A (zh) 2020-09-11 2020-09-11 一种基于小样本学习原型网络的特殊面容人群筛查系统

Publications (1)

Publication Number Publication Date
CN112084956A true CN112084956A (zh) 2020-12-15

Family

ID=73737572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010952636.1A Pending CN112084956A (zh) 2020-09-11 2020-09-11 一种基于小样本学习原型网络的特殊面容人群筛查系统

Country Status (1)

Country Link
CN (1) CN112084956A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408605A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于小样本学习的高光谱图像半监督分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190000195A (ko) * 2017-06-22 2019-01-02 연세대학교 산학협력단 신경계 질환 관리를 위한 시스템 및 방법
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110633634A (zh) * 2019-08-08 2019-12-31 福建中医药大学 一种关于中医体质的脸型分类方法、系统和计算机可读存储介质
CN111488857A (zh) * 2020-04-29 2020-08-04 北京华捷艾米科技有限公司 一种三维人脸识别模型训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190000195A (ko) * 2017-06-22 2019-01-02 연세대학교 산학협력단 신경계 질환 관리를 위한 시스템 및 방법
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110633634A (zh) * 2019-08-08 2019-12-31 福建中医药大学 一种关于中医体质的脸型分类方法、系统和计算机可读存储介质
CN111488857A (zh) * 2020-04-29 2020-08-04 北京华捷艾米科技有限公司 一种三维人脸识别模型训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YARON GUROVICH等: "Identifying facial phenotypes of genetic disorders using deep learning", 《NATURE MEDICINE》, vol. 25, no. 1, pages 60 - 64, XP036668640, DOI: 10.1038/s41591-018-0279-0 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408605A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于小样本学习的高光谱图像半监督分类方法

Similar Documents

Publication Publication Date Title
CN110569832B (zh) 基于深度学习注意力机制的文本实时定位识别方法
KR102056822B1 (ko) 학습 서비스 제공 방법 및 그 장치
JP6397144B2 (ja) 画像からの事業発見
EP3358476A1 (en) Method and apparatus for constructing decision model, computer device and storage device
CN105956059A (zh) 基于情绪识别的信息推荐方法和装置
JP2014232533A (ja) Ｏｃｒ出力検証システム及び方法
CN107610177B (zh) 一种同步定位与地图构建中确定特征点的方法和设备
CN111640193A (zh) 文字处理方法、装置、计算机设备及存储介质
CN113673500A (zh) 证件图像识别方法、装置、电子设备及存储介质
CN115937887A (zh) 文档结构化信息的提取方法及装置、电子设备、存储介质
CN113516144A (zh) 目标检测方法及装置、计算设备
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN112084956A (zh) 一种基于小样本学习原型网络的特殊面容人群筛查系统
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN112801099B (zh) 一种图像处理方法、装置、终端设备及介质
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
EP3958171A1 (en) Automatic method to determine the authenticity of a product
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN111488927B (zh) 分类阈值确定方法、装置、电子设备及存储介质
CN114332599A (zh) 图像识别方法、装置、计算机设备、存储介质和产品
CN112149564A (zh) 一种基于小样本学习的面容分类识别系统
CN113343012A (zh) 一种新闻配图方法、装置、设备及存储介质
US11657649B2 (en) Classification of subjects within a digital image
Dinesh Reddy et al. Deep Neural Transfer Network Technique for Lung Cancer Detection
Chen et al. Improving Accuracy of Peacock Identification in Deep Learning Model Using Gaussian Mixture Model and Speeded Up Robust Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination