CN109740536A - 一种基于特征融合神经网络的亲属识别方法 - Google Patents
一种基于特征融合神经网络的亲属识别方法 Download PDFInfo
- Publication number
- CN109740536A CN109740536A CN201910003726.3A CN201910003726A CN109740536A CN 109740536 A CN109740536 A CN 109740536A CN 201910003726 A CN201910003726 A CN 201910003726A CN 109740536 A CN109740536 A CN 109740536A
- Authority
- CN
- China
- Prior art keywords
- sample
- feature
- label
- neural network
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于特征融合神经网络的亲属识别方法,属于图像处理领域。包括如下步骤:步骤一、对数据集中的人脸图像进行预处理,得到预处理后的人脸图像;步骤二、构建正样本对和负样本对;步骤三、生成对应的正样本对标签和负样本对标签;步骤四、分别对正样本对、负样本对以及正样本对标签和负样本对标签进行分割,生成训练集和测试集;步骤五、生成网络输入的训练数据和测试数据;步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练,并保存训练好的网络参数,输出训练好的神经网络;步骤七、经训练好的神经网络进行测试。所述方法学习不同特征之间的互补性和差异性,提高了特征的鲁棒性。
Description
技术领域
本发明涉及一种基于特征融合神经网络的亲属识别方法,属于图像处理领域。
背景技术
亲属关系识别作为图像处理领域的一个重要分支,主要研究基于人脸图片的两个个体之间是否具有明确的基因遗传上的亲属关系,具有非常广泛的社会理论研究意义和潜在的商业应用场景。亲属识别中最常研究的四种亲属关系包括:父子,父女,母子以及母女,由于基因的大量继承,这几类亲属关系类型也是人类关系中最亲近的具有生物特征的连接桥梁。近年来,随着移动互联网技术的发展和普及,人们越来越乐意于通过网络在各种社交媒体和各个网站上分享自己的生活状态,而电子图片、视频作为一种直观的表达方式受到越来越多用户的青睐,每天网络上就有成千上万张的海量图片流通,如何有效的组织利用、挖掘分析图片中的潜在信息和关系就成了图像处理研究领域中的重中之重。
现存的模型方法可以大致分为两大类:基于特征的亲属识别模型以及基于学习的亲属识别模型。基于特征的亲属识别算法旨在设计出一个通用的低层手工特征表示以便具有亲属关系的特征可以有效的被使用,常用的特征包括局部特征和全局特征。基于学习的亲属识别方法主要通过寻找一个合适的语义转换空间以便在这个映射的子空间中,有效的增加具有亲属关系人脸图像对之间的可分性。典型的代表模型有度量学习、迁移学习、多核学习、基于图的学习、基于神经网络的学习等。
在亲属识别领域中,提取出每个人脸图像的多个特征表示是很容易的,然而,从相同的人脸图片中提取出的这些多个特征虽然能够从不同的方面对输入图片进行描述,但它们之间通常是高度相关的。对于多特征融合而言,这些高度相关的信息应该被保留下来,因为它们反映了样本的固有属性信息。此外,不同的特征表示方法学习到对目标样本不同的特征映射,对不同的复杂情况处理效果不同,有的特征对姿势变换处理效果好,有的特征对光照强弱比较鲁棒,有的特征对局部信息的细节捕捉能力强。为了综合利用各个特征对不同挑战因素之间的优势,处理实际情况中复杂的各种情况,采用多个特征融合的方式成为一种高效的特征学习方式。因此,我们联合多种特征学习了一个多特征融合的神经网络来解决亲属识别中特征不够鲁棒的问题。
发明内容
本发明的目的是对多个特征的非线性高维映射进行联合学习,产生一个更具判别性的特征表示,以有效的解决亲属识别中特征不够鲁棒的问题,提出了一种基于特征融合神经网络的亲属识别方法。
本发明的目的是通过以下技术方案实现的:
步骤一、对数据集中的人脸图像进行预处理,得到预处理后的人脸图像;
其中,数据集包含X个人脸图像,X为偶数;预处理后的人脸图像数量也为X个;数据集中按顺序的两个人脸图像具有亲属关系,具体为:数据集中偶数序号对应的图像为待识别图像,奇数序号对应的图像为男性亲属图像或女性亲属图像中的一种;
其中,偶数序号的待识别图像为需要进行判断是否与对应的奇数序号图像具有亲属关系;
人脸图像为RGB图像,即三通道的人脸图像,所述的三通道分别对应R通道、G通道和B通道;
其中,预处理包括对齐、裁剪操作;
步骤一又包括如下子步骤:
步骤1.1利用基于结构化SVM的人脸对齐方法对数据集中的人脸图像进行对齐,得到对齐后的人脸图像;
步骤1.2将步骤1.1对齐后的人脸图像进行裁剪,得到裁剪后的人脸图像;
其中,对齐后的人脸图像的数量为X个;裁剪后的人脸图像的数量为X个,每个图像的维度为64*64;
其中,预处理后的人脸图像的个数为X个;
步骤二、基于步骤一得到的预处理后的人脸图像构建正样本对和负样本对;
其中,正样本对的数量为X/2;负样本对的数量为X/2个;
步骤二又包括如下子步骤:
步骤2.1构建X/2个正样本对,具体为:按顺序将数据集中的两个人脸图像组成一对;
步骤2.2构建X/2个负样本对,具体为:第1个男性亲属图像或女性亲属图像与第X/2个待识别图像组成一对,第S个男性亲属图像或女性亲属图像与第S-1个待识别图像组成一对;S的取值范围为2到X/2;
步骤三、基于步骤二构建的正样本对和负样本对,生成对应的正样本对标签和负样本对标签;具体为,将正样本对对应的标签设置为1,负样本对对应的标签设置为0;
其中,正样本对标签为X/2个,负样本对标签为X/2个;
步骤四、分别将步骤二构建的正样本对、负样本对和步骤三生成的正样本对标签、负样本对标签进行分割,生成训练集和测试集;
分别将X/2个正样本对和负样本对进行分割,将其中的A%用于训练,将剩下的B%=1-A%正样本对和负样本对用于测试;分别将X/2个正样本对标签和负样本对标签进行分割,将其中的A%用于训练,将剩下的B%=1-A%正样本对和负样本对标签用于测试;
其中,X/2个正样本对和负样本对的A%以及X/2个正样本对标签和负样本对标签的A%构成训练集,即训练集样本总数为(A%*X)个;X/2个正样本对和负样本对的B%以及X/2个正样本对标签和负样本对标签的B%构成测试集,即测试集样本总数为(B%*X)个;
步骤五、对步骤四生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征,每种特征对应两个特征向量,然后将对应同一种特征的两个特征向量做差取绝对值,得出m个特征向量差模,再将得出的m个特征向量差模作为网络输入的训练数据和测试数据;
其中,m>=2,训练集中的样本总数即训练数据总数为(A%*X)个,测试集中的样本总数即测试数据总数为(B%*X)个;
步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练,输出训练好的神经网络,并保存训练好的神经网络参数;
其中,神经网络包括m个基本特征转换模块和1个融合特征转换模块,这两种类型模块的操作均为先经全连接层,再经非线性激活函数激活;
基本特征转换模块包含的全连接层数为C层,记为全连接层1,全连接层2…全连接层C,C>=2;全连接层1、全连接层2…全连接层C对应的神经元个数分别为H1、H2…H3;每个全连接层后面使用的非线性激活函数为F1,F1为sigmoid,relu以及tanh中的一种;
融合特征转换模块包含的全连接层数为Q层,记为第1全连接层,第2全连接层…第Q全连接层,Q>=2;每个全连接层后面使用的非线性激活函数为F2,F2为sigmoid,relu以及tanh中的一种;
步骤六又包括如下子步骤:
步骤6.1初始化迭代次数t为1,初始化迭代总次数T,初始化迭代份数i为1,初始化基本特征转换模块中全连接层1到全连接层C的权重参数,初始化融合特征转换模块中第1全连接层到第Q全连接层的权重参数,初始化batch的值为N;
步骤6.2将步骤五得到的(A%*X)个训练数据随机分为(A%*X)/N=I份,每份N个训练样本;
步骤6.3取步骤6.2生成第i份数据,将第i份数据的N个训练样本提取的m种特征xj,分别输入m个基本特征转换模块中进行前向传播,分别得到的全连接层C输出的特征φ(xj),j∈[1,m];
步骤6.4拼接步骤6.3中的特征xj和φ(xj),形成第j个基本特征转换模块的输出即遍历j∈[1,m],生成m个基本特征转换模块的输出;
步骤6.5将步骤6.4生成的所有基本特征转换模块的输出进行融合,得到一个融合m种特征的特征向量,具体为:拼接特征和m个基本特征转换模块的全连接层C输出的特征φ(xj),产生一个h维度的融合特征向量,即zT=[x1 T,…,xi T,…,xm T,φ(x1 T),…,φ(xi T),…,φ(xm T)]∈Rh;
步骤6.6将步骤6.5产生的h维度的融合特征输入融合特征转换模块,即依次输入第1全连接层直至第Q全连接层进行非线性学习,第Q全连接层输出N个P维特征向量;
步骤6.7计算损失,具体为:将步骤6.6输出的N个P维特征向量和第i份数据的N个标签一起经softmax-loss损失函数计算交叉熵;
步骤6.8反向传播,具体为,求解步骤6.7得到的损失对权重参数的偏导数,使用Adam优化器对参数进行更新,完成反向传播;
步骤6.9判断迭代份数i是否等于I,如果不等于,则将i加1,跳至步骤6.3;
步骤6.10判断迭代次数t是否等于T,如果不等于,则将t加1,跳至步骤6.2,否则跳至步骤6.11;
步骤6.11输出训练好的神经网络,并保存神经网络参数;
其中,保存的神经网络参数包括m个基本特征转换模块中的全连接层权重和1个融合特征转换模块的全连接层的权重;
步骤七、将步骤五生成的(B%*X)个测试数据输入步骤六训练好的神经网络进行测试,具体为:加载步骤五生成的测试数据的每个样本对提取的m种特征输入步骤六训练好的神经网络进行前向传播,得到第Q全连接层输出的K维向量,然后输入Softmax函数计算,得到一个K维向量,此K维向量中的每个值代表该样本属于每一类别的概率,将K维向量中概率最大的位置作为人脸图像样本对的标签;
其中,K=2,且最大的位置为0或1中的一个;0表示人脸图像对不具有亲属关系,1表示人脸图像对具有亲属关系。
有益效果
本发明一种基于特征融合神经网络的亲属识别方法,与现有技术相比,具有如下有益效果:
1.所述方法基于多特征融合的网络结构,不需要进行核的选择和设计;
2.所述方法不是简单的进行线性特征结合,而是通过神经网络的协同学习进行非线性的高维映射,学习不同特征之间的互补性和差异性,提高了特征的鲁棒性。
附图说明
图1为一种基于特征融合神经网络的亲属识别方法中基本特征转换模块的示意图;
图2为一种基于特征融合神经网络的亲属识别方法的流程图。
具体实施方式
下面结合附图1和附图2,具体说明本发明的实施方式。
实施例1
本实施例阐述本发明所述的亲属识别方法用于识别父子关系、父女关系、母子关系以及母女关系中的一种,示意图如图2所示。包括如下步骤:
步骤I、对数据集中的人脸图像进行预处理,得到预处理后的人脸图像;
其中,数据集包含X个人脸图像,X为偶数;预处理后的人脸图像数量也为X个;数据集中按顺序的两个人脸图像具有直系亲属关系,且数据集中偶数序号对应的图像为孩子图像,奇数序号对应的图像为父亲图像或母亲图像中的一种;
人脸图像为RGB图像,即三通道的人脸图像,所述的三通道分别对应R通道、G通道和B通道;
其中,预处理包括对齐、裁剪操作;
步骤I又包括如下子步骤:
步骤(I.1)利用基于结构化SVM的人脸对齐方法对数据集中的人脸图像进行对齐,得到对齐后的人脸图像;
步骤(I.2)将步骤(I.1)对齐后的人脸图像进行裁剪,得到裁剪后的人脸图像;
其中,对齐后的人脸图像的数量为X个;裁剪后的人脸图像的数量为X个,每个图像的维度为64*64;
其中,预处理后的人脸图像的个数为X个,其中X的取值依赖于数据集,具体到本实施例,采取了如下表1所示的3个不同的数据集:
表1不同的数据集
步骤II、基于步骤一得到的预处理后的人脸图像构建人脸图像正样本对和人脸图像负样本对;
其中,人脸图像正样本对的数量为X/2;人脸图像负样本对的数量为X/2个;
步骤II又包括如下子步骤:
步骤(II.1)构建X/2个正样本对,具体为:按顺序将数据集中的两个人脸图像组成一对;
步骤(II.2)构建X/2个负样本对,具体为:第1个男性亲属图像或女性亲属图像与第X/2个待识别图像组成一对,第S个男性亲属图像或女性亲属图像与第S-1个待识别图像组成一对;S的取值范围为2到X/2;
步骤III、基于步骤二构建的正样本对和负样本对,生成对应的正样本对标签和负样本对标签;具体为,将正样本对对应的标签设置为1,负样本对对应的标签设置为0;
其中,正样本对标签为X/2个,负样本对标签为X/2个;
具体到本实施例,使用ones()函数生成正样本对标签1,使用zeros()函数生成负样本对标签0;
步骤IV、分别将步骤II构建的正样本对、负样本对和步骤III生成的正样本对标签、负样本对标签进行分割,生成训练集和测试集;
分别将X/2个正样本对和负样本对进行分割,将其中的80%用于训练,将剩下的20%=1-80%正样本对和负样本对用于测试;分别将X/2个正样本对标签和负样本对标签进行分割,将其中的80%用于训练,将剩下的20%=1-80%正样本对和负样本对标签用于测试;
其中,X/2个正样本对和负样本对的80%以及X/2个正样本对标签和负样本对标签的80%构成训练集;X/2个正样本对和负样本对的20%以及X/2个正样本对标签和负样本对标签的20%构成测试集;
步骤V、对步骤IV生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征,每种特征对应两个特征向量,然后将对应同一种特征的两个特征向量做差取绝对值,得出m个特征向量差模,再将得出的m个特征向量差模作为网络输入的训练数据和测试数据;
具体到本实例中,m的取值为4,分别表示人工设计的低层特征描述子HOG、LBP、SIFT,以及利用预训练好的VGGNet网络提取的高层特征VGG。具体为,(1)HOG:首先将每个图像划分为16*16个不重叠的block,每个block的尺寸大小为4*4,接下来再次将每个图像划分为8*8个非重叠的block,每个block的大小为8*8,对每个划分出的block提取出一个9维的HOG特征向量,将所有的block的特征表示拼接起来即形成一个维度为2880的特征向量,代表整副图像的HOG特征描述符;(2)LBP:将每个图像划分为8*8的非重叠的block,对于每个8*8大小的block提取一个59维局部二值模式的LBP特征,将所有block的特征拼接起来即可形成一个3776维的图像LBP特征向量;(3)SIFT:使用16*16大小的滑动窗口在人脸图像上进行滑动,滑动窗口每次移动的步长为8个像素,这样采样将整副图像划分为49个有重叠的patch,对每个patch而言提取出一个128维的SIFT特征描述子,将所有patch的特征向量拼接起来即为整个图像的6272维SIFT特征表示向量;(4)VGG特征:使用3*3大小的卷积核后跟池化层的重复模块元素堆积起来的VGGNet网络结构预训练,提取倒数第二个全连接层的输出向量,即一个4096维的特征向量输出;
步骤VI、将步骤V生成的训练数据分批输入神经网络进行T轮迭代训练,输出训练好的神经网络,并保存训练好的神经网络参数;
其中,神经网络包括4个基本特征转换模块和1个融合特征转换模块,这两种类型模块的操作均为先经全连接层,再经非线性激活函数激活;
具体到本实例中,第1个基本特征转换模块包含3个全连接层,3个全连接层对应的神经元个数分别为2880、1024、512;第2个基本特征转换模块包含4个全连接层,4个全连接层对应的神经元个数分别为3776、2048、1024,512;第3个基本特征转换模块包含5个全连接层,5个全连接层对应的神经元个数分别为6272、4096、2048、1024、512;第4个基本特征转换模块包含4个全连接层,4个全连接层对应的神经元个数分别为4096、2048、1024、512,激活函数均为tanh,融合特征转换模块包含5个全连接层,激活函数均为relu;
步骤VI又包括如下子步骤:
步骤(VI.1)初始化迭代次数t为1,初始化迭代总次数T为300,初始化迭代份数i为1,采用均值为0,方差为0.02的高斯分布分别初始化4个基本特征转换模块中全连接层的权重参数和1个融合特征转换模块中全连接层的权重参数,初始化batch的值N为16;
步骤(VI.2)将步骤V得到的(A%*X)个训练数据随机分为(A%*X)/N=I份,每份N个训练样本;
步骤(VI.3)取步骤(VI.2)生成第i份数据,将第i份数据的N个训练样本提取的4种特征xj,分别输入4个基本特征转换模块中进行前向传播,分别得到的全连接层C输出的特征φ(xj),j∈[1,4];
步骤(VI.4)拼接步骤(VI.3)中的特征xj和φ(xj),形成第j个基本特征转换模块的输出即遍历j∈[1,4],生成4个基本特征转换模块的输出;
具体到本实例中,HOG特征维度为2880,经过上述第1个基础特征转化模块后得到一个512维向量,最后拼接形成一个3392维的向量表示;LBP特征维度为3776,经过上述第2个基础特征转化模块后得到一个512维向量,最后拼接形成一个4288维的向量表示;SIFT特征维度为6272,经过上述第3个基础特征转化模块后得到一个512维向量,最后拼接形成一个6784维的向量;VGG特征维度为4096维,经过上述第4个基础特征转化模块后得到一个512维向量,最后拼接形成一个4608维的特征输出;
步骤(VI.5)将步骤(VI.4)生成的所有基本特征转换模块的输出进行融合,得到一个融合4种特征的特征向量,具体为:拼接特征和4个基本特征转换模块的全连接层C输出的特征φ(xj),产生一个h维度的融合特征向量,即zT=[x1 T,…,xi T,…,xm T,φ(x1 T),…,φ(xi T),…,φ(xm T)]∈Rh;
具体到本实例中,h=3392+4288+6784+4608=19072,即最后整个拼接为一个19072维的向量。
步骤(VI.6)将步骤(VI.5)产生的19072维度的融合特征输入融合特征转换模块,即依次输入5个全连接层进行非线性学习,第5个全连接层输出N个2维特征向量;
步骤(VI.7)计算损失,具体为:将步骤(VI.6)输出的N个2维特征向量和第i份数据的2个标签一起经softmax-loss损失函数计算交叉熵;
步骤(VI.8)反向传播,具体为,求解步骤(VI.7)得到的损失对权重参数的偏导数,使用Adam优化器对参数进行更新,完成反向传播;
整个网络训练过程中,使用Adam优化器进行权值参数的反向传播优化,其中学习率为0.0001,β1和β2分别为0.9和0.999,dropout中的保留率参数为0.5。
步骤(VI.9)判断迭代次数t是否等于T,如果不等于,则将t加1,跳至步骤(VI.3),否则跳至步骤(VI.10);
步骤(VI.10)判断迭代次数t是否等于T,如果不等于,则将t加1,跳至步骤(VII.2),否则跳至步骤(VII.11);
步骤(VI.11)输出训练好的神经网络,并保存训练好的神经网络参数;
其中,保存的神经网络参数包括4个基本特征转换模块中的全连接层权重和1个融合特征转换模块的全连接层的权重;
步骤VII、将步骤V生成的(B%*X)个测试数据输入步骤VI训练好的神经网络进行测试,具体为:加载步骤V生成的测试数据的每个样本对提取的4种特征输入步骤VI训练好的神经网络进行前向传播,得到第5全连接层输出的2维向量,然后输入Softmax函数计算,得到一个2维向量,此2维向量中的每个值代表该样本属于每一类别的概率,将2维向量中概率最大的位置作为人脸图像样本对的标签;
其中,最大的位置为0或1中的一个;0表示人脸图像对不具有亲属关系,1表示人脸图像对具有亲属关系。
本发明提出的基本特征转换模块如图1所示;
该模块全连接层组成,每个全连接层后面都使用非线性激活函数进行激活;如实施例中的步骤VI所述,每个模块使用的层数以及每层使用的神经元个数不同,因此产生不同的特征映射,这样不仅最大化的保留每种特征的信息,同时通过非线性的高维映射和神经网络联合学习到了新的更具判别性的特征表示。
本发明不仅限于以上实施例,凡是利用本发明的设计思路,做一些简单变化的设计,都应计入本发明的保护范围之内。
Claims (4)
1.一种基于特征融合神经网络的亲属识别方法,其特征在于:包括如下步骤:
步骤一、对数据集中的人脸图像进行预处理,得到预处理后的人脸图像;
其中,数据集包含X个人脸图像,X为偶数;预处理后的人脸图像数量也为X个;数据集中按顺序的两个人脸图像具有亲属关系,具体为:数据集中偶数序号对应的图像为待识别图像,奇数序号对应的图像为男性亲属图像或女性亲属图像中的一种;
其中,偶数序号的待识别图像为需要进行判断是否与对应的奇数序号图像具有亲属关系;
人脸图像为RGB图像,即三通道的人脸图像,所述的三通道分别对应R通道、G通道和B通道;
其中,预处理包括对齐、裁剪操作;
步骤二、基于步骤一得到的预处理后的人脸图像构建正样本对和负样本对;
其中,正样本对的数量为X/2;负样本对的数量为X/2个;
步骤三、基于步骤二构建的正样本对和负样本对,生成对应的正样本对标签和负样本对标签;具体为,将正样本对对应的标签设置为1,负样本对对应的标签设置为0;
其中,正样本对标签为X/2个,负样本对标签为X/2个;
步骤四、分别将步骤二构建的正样本对、负样本对和步骤三生成的正样本对标签、负样本对标签进行分割,生成训练集和测试集;
分别将X/2个正样本对和负样本对进行分割,将其中的A%用于训练,将剩下的B%=1-A%正样本对和负样本对用于测试;分别将X/2个正样本对标签和负样本对标签进行分割,将其中的A%用于训练,将剩下的B%=1-A%正样本对和负样本对标签用于测试;
其中,X/2个正样本对和负样本对的A%以及X/2个正样本对标签和负样本对标签的A%构成训练集,即训练集样本总数为(A%*X)个;X/2个正样本对和负样本对的B%以及X/2个正样本对标签和负样本对标签的B%构成测试集,即测试集样本总数为(B%*X)个;
步骤五、对步骤四生成的训练集和测试集中的正样本对和负样本对中的两张图像分别提取m种特征,每种特征对应两个特征向量,然后将对应同一种特征的两个特征向量做差取绝对值,得出m个特征向量差模,再将得出的m个特征向量差模作为网络输入的训练数据和测试数据;
步骤六、将步骤五生成的训练数据分批输入神经网络进行T轮迭代训练,输出训练好的神经网络,并保存训练好的神经网络参数;
其中,神经网络包括m个基本特征转换模块和1个融合特征转换模块,这两种类型模块的操作均为先经全连接层,再经非线性激活函数激活;
基本特征转换模块包含的全连接层数为C层,记为全连接层1,全连接层2…全连接层C,C>=2;全连接层1、全连接层2…全连接层C对应的神经元个数分别为H1、H2…H3;每个全连接层后面使用的非线性激活函数为F1,F1为sigmoid,relu以及tanh中的一种;
融合特征转换模块包含的全连接层数为Q层,记为第1全连接层,第2全连接层…第Q全连接层,Q>=2;每个全连接层后面使用的非线性激活函数为F2,F2为sigmoid,relu以及tanh中的一种;
步骤六又包括如下子步骤:
步骤6.1初始化迭代次数t为1,初始化迭代总次数T,初始化迭代份数i为1,初始化基本特征转换模块中全连接层1到全连接层C的权重参数,初始化融合特征转换模块中第1全连接层到第Q全连接层的权重参数,初始化batch的值为N;
步骤6.2将步骤五得到的(A%*X)个训练数据随机分为(A%*X)/N=I份,每份N个训练样本;
步骤6.3取步骤6.2生成第i份数据,将第i份数据的N个训练样本提取的m种特征xj,分别输入m个基本特征转换模块中进行前向传播,分别得到的全连接层C输出的特征φ(xj),j∈[1,m];
步骤6.4拼接步骤6.3中的特征xj和φ(xj),形成第j个基本特征转换模块的输出即遍历j∈[1,m],生成m个基本特征转换模块的输出;
步骤6.5将步骤6.4生成的所有基本特征转换模块的输出进行融合,得到一个融合m种特征的特征向量,具体为:拼接特征和m个基本特征转换模块的全连接层C输出的特征φ(xj),产生一个h维度的融合特征向量,即zT=[z1 T,…,xi T,…,xm T,φ(x1 T),…,φ(xi T),…,φ(xm T)]∈Rh;
步骤6.6将步骤6.5产生的h维度的融合特征输入融合特征转换模块,即依次输入第1全连接层直至第Q全连接层进行非线性学习,第Q全连接层输出N个P维特征向量;
步骤6.7计算损失,具体为:将步骤6.6输出的N个P维特征向量和第i份数据的N个标签一起经softmax-loss损失函数计算交叉熵;
步骤6.8反向传播,具体为,求解步骤6.7得到的损失对权重参数的偏导数,使用Adam优化器对参数进行更新,完成反向传播;
步骤6.9判断迭代份数i是否等于I,如果不等于,则将i加1,跳至步骤6.3;
步骤6.10判断迭代次数t是否等于T,如果不等于,则将t加1,跳至步骤6.2,否则跳至步骤6.11;
步骤6.11输出训练好的神经网络,并保存神经网络参数;
其中,保存的神经网络参数包括m个基本特征转换模块中的全连接层权重和1个融合特征转换模块的全连接层的权重;
步骤七、将步骤五生成的(B%*X)个测试数据输入步骤六训练好的神经网络进行测试,具体为:加载步骤五生成的测试数据的每个样本对提取的m种特征输入步骤六训练好的神经网络进行前向传播,得到全连接层Q输出的K维向量,然后输入Softmax函数计算,得到一个K维向量,此K维向量中的每个值代表该样本属于每一类别的概率,将K维向量中概率最大的位置作为人脸图像样本对的标签;
其中,K=2,且最大的位置为0或1中的一个;0表示人脸图像对不具有亲属关系,1表示人脸图像对具有亲属关系。
2.根据权利要求1所述的一种基于特征融合神经网络的亲属识别方法,其特征在于:步骤一又包括如下子步骤:
步骤1.1利用基于结构化SVM的人脸对齐方法对数据集中的人脸图像进行对齐,得到对齐后的人脸图像;
步骤1.2将步骤1.1对齐后的人脸图像进行裁剪,得到裁剪后的人脸图像;
其中,对齐后的人脸图像的数量为X个;裁剪后的人脸图像的数量为X个,每个图像的维度为64*64;
其中,预处理后的人脸图像的个数为X个。
3.根据权利要求1所述的一种基于特征融合神经网络的亲属识别方法,其特征在于:步骤二又包括如下子步骤:
步骤2.1构建X/2个正样本对,具体为:按顺序将数据集中的两个人脸图像组成一对;
步骤2.2构建X/2个负样本对,具体为:第1个男性亲属图像或女性亲属图像与第X/2个待识别图像组成一对,第S个男性亲属图像或女性亲属图像与第S-1个待识别图像组成一对;S的取值范围为2到X/2。
4.根据权利要求1所述的一种基于特征融合神经网络的亲属识别方法,其特征在于:步骤五中,m>=2,训练集中的样本总数即训练数据总数为(A%*X)个,测试集中的样本总数即测试数据总数为(B%*X)个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810599761 | 2018-06-12 | ||
CN2018105997611 | 2018-06-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740536A true CN109740536A (zh) | 2019-05-10 |
CN109740536B CN109740536B (zh) | 2020-10-02 |
Family
ID=66363283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910003726.3A Expired - Fee Related CN109740536B (zh) | 2018-06-12 | 2019-01-03 | 一种基于特征融合神经网络的亲属识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109740536B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688722A (zh) * | 2019-10-17 | 2020-01-14 | 深制科技(苏州)有限公司 | 一种基于深度学习的零部件属性矩阵自动生成方法 |
CN112070153A (zh) * | 2020-09-07 | 2020-12-11 | 深延科技(北京)有限公司 | 基于深度学习的亲属关系验证方法和系统 |
CN113312942A (zh) * | 2020-02-27 | 2021-08-27 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及设备和融合网络架构 |
CN113869366A (zh) * | 2021-08-27 | 2021-12-31 | 深延科技(北京)有限公司 | 模型训练方法、亲属关系分类方法、检索方法及相关装置 |
CN114463830A (zh) * | 2022-04-14 | 2022-05-10 | 合肥的卢深视科技有限公司 | 亲缘关系判定方法、装置、电子设备及存储介质 |
CN113869366B (zh) * | 2021-08-27 | 2024-05-28 | 深延科技(北京)有限公司 | 模型训练方法、亲属关系分类方法、检索方法及相关装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005774A (zh) * | 2015-07-28 | 2015-10-28 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸亲属关系识别方法及装置 |
CN105913025A (zh) * | 2016-04-12 | 2016-08-31 | 湖北工业大学 | 一种基于多特征融合的深度学习人脸识别方法 |
CN105975914A (zh) * | 2016-04-28 | 2016-09-28 | 东南大学 | 基于线性组合特征的夫妇与孩子间三人亲属关系判别方法 |
US20170083752A1 (en) * | 2015-09-18 | 2017-03-23 | Yahoo! Inc. | Face detection |
CN106709482A (zh) * | 2017-03-17 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 基于自编码器的人物亲缘关系识别方法 |
US20170193328A1 (en) * | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Structure and training for image classification |
CN106951858A (zh) * | 2017-03-17 | 2017-07-14 | 中国人民解放军国防科学技术大学 | 一种基于深度卷积网络的人物亲缘关系识别方法与装置 |
US20180025729A1 (en) * | 2015-08-25 | 2018-01-25 | Nuance Communications, Inc. | Audio-Visual Speech Recognition with Scattering Operators |
-
2019
- 2019-01-03 CN CN201910003726.3A patent/CN109740536B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005774A (zh) * | 2015-07-28 | 2015-10-28 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸亲属关系识别方法及装置 |
US20180025729A1 (en) * | 2015-08-25 | 2018-01-25 | Nuance Communications, Inc. | Audio-Visual Speech Recognition with Scattering Operators |
US20170083752A1 (en) * | 2015-09-18 | 2017-03-23 | Yahoo! Inc. | Face detection |
US20170193328A1 (en) * | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Structure and training for image classification |
CN105913025A (zh) * | 2016-04-12 | 2016-08-31 | 湖北工业大学 | 一种基于多特征融合的深度学习人脸识别方法 |
CN105975914A (zh) * | 2016-04-28 | 2016-09-28 | 东南大学 | 基于线性组合特征的夫妇与孩子间三人亲属关系判别方法 |
CN106709482A (zh) * | 2017-03-17 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 基于自编码器的人物亲缘关系识别方法 |
CN106951858A (zh) * | 2017-03-17 | 2017-07-14 | 中国人民解放军国防科学技术大学 | 一种基于深度卷积网络的人物亲缘关系识别方法与装置 |
Non-Patent Citations (3)
Title |
---|
MIN XU等: "Kinship Measurement on Face Images by Structured Similarity Fusion", 《IEEE ACCESS》 * |
QINGYAN DUAN等: "AdvNet: Adversarial Contrastive Residual Net for 1 Million Kinship Recognition", 《PROCEEDINGS OF THE 2017 WORKSHOP ON RECOGNIZING FAMILIES IN THE WILD》 * |
李佳妮等: "特征匹配融合结合改进卷积神经网络的人脸识别", 《激光与光电子学进展》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688722A (zh) * | 2019-10-17 | 2020-01-14 | 深制科技(苏州)有限公司 | 一种基于深度学习的零部件属性矩阵自动生成方法 |
CN110688722B (zh) * | 2019-10-17 | 2023-08-08 | 深制科技(苏州)有限公司 | 一种基于深度学习的零部件属性矩阵自动生成方法 |
CN113312942A (zh) * | 2020-02-27 | 2021-08-27 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及设备和融合网络架构 |
CN113312942B (zh) * | 2020-02-27 | 2024-05-17 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及设备和融合网络架构系统 |
CN112070153A (zh) * | 2020-09-07 | 2020-12-11 | 深延科技(北京)有限公司 | 基于深度学习的亲属关系验证方法和系统 |
CN113869366A (zh) * | 2021-08-27 | 2021-12-31 | 深延科技(北京)有限公司 | 模型训练方法、亲属关系分类方法、检索方法及相关装置 |
CN113869366B (zh) * | 2021-08-27 | 2024-05-28 | 深延科技(北京)有限公司 | 模型训练方法、亲属关系分类方法、检索方法及相关装置 |
CN114463830A (zh) * | 2022-04-14 | 2022-05-10 | 合肥的卢深视科技有限公司 | 亲缘关系判定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109740536B (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852368B (zh) | 全局与局部特征嵌入及图文融合的情感分析方法与系统 | |
Li et al. | Deep domain adaptive object detection: A survey | |
CN109740536A (zh) | 一种基于特征融合神经网络的亲属识别方法 | |
CN109344759A (zh) | 一种基于角度损失神经网络的亲属识别方法 | |
CN106919920B (zh) | 基于卷积特征和空间视觉词袋模型的场景识别方法 | |
CN111275107A (zh) | 一种基于迁移学习的多标签场景图像分类方法及装置 | |
CN110210468B (zh) | 一种基于卷积神经网络特征融合迁移的文字识别方法 | |
CN111476315A (zh) | 一种基于统计相关性与图卷积技术的图像多标签识别方法 | |
CN111832573B (zh) | 一种基于类激活映射和视觉显著性的图像情感分类方法 | |
CN111062329B (zh) | 基于增广网络的无监督行人重识别方法 | |
CN111276240A (zh) | 一种基于图卷积网络的多标签多模态全息脉象识别方法 | |
CN112016601A (zh) | 基于知识图谱增强小样本视觉分类的网络模型构建方法 | |
CN108154156A (zh) | 基于神经主题模型的图像集成分类方法及装置 | |
CN112651940A (zh) | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 | |
Jishan et al. | Bangla language textual image description by hybrid neural network model | |
CN112200110A (zh) | 一种基于深度干扰分离学习的人脸表情识别方法 | |
Lei et al. | Spatial–spectral cross-correlation embedded dual-transfer network for object tracking using hyperspectral videos | |
Wang et al. | Context-sensitive zero-shot semantic segmentation model based on meta-learning | |
AbdElghfar et al. | A model for qur’anic sign language recognition based on deep learning algorithms | |
Xue et al. | Deep forest-based monocular visual sign language recognition | |
Zhu et al. | NAGNet: A novel framework for real‐time students' sentiment analysis in the wisdom classroom | |
Juyal et al. | Multilabel image classification using the CNN and DC-CNN model on Pascal VOC 2012 dataset | |
CN116775880A (zh) | 一种基于标签语义和迁移学习的多标签文本分类方法及系统 | |
She et al. | Contrastive self-supervised representation learning using synthetic data | |
CN114549958A (zh) | 基于上下文信息感知机理的夜间和伪装目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201002 Termination date: 20220103 |