CN107480785B - 卷积神经网络的训练方法及装置 - Google Patents

卷积神经网络的训练方法及装置 Download PDF

Info

Publication number
CN107480785B
CN107480785B CN201710539510.XA CN201710539510A CN107480785B CN 107480785 B CN107480785 B CN 107480785B CN 201710539510 A CN201710539510 A CN 201710539510A CN 107480785 B CN107480785 B CN 107480785B
Authority
CN
China
Prior art keywords
preset
identification
picture sample
picture
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710539510.XA
Other languages
English (en)
Other versions
CN107480785A (zh
Inventor
陈志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710539510.XA priority Critical patent/CN107480785B/zh
Publication of CN107480785A publication Critical patent/CN107480785A/zh
Application granted granted Critical
Publication of CN107480785B publication Critical patent/CN107480785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开是关于卷积神经网络的训练方法及装置。该方法包括:在接收到向卷积神经网络输入的图片样本时,获取卷积神经网络对图片样本的当前识别结果;根据图片样本的预设识别结果,确定图片样本的识别间隔参数;根据当前识别结果和识别间隔参数,确定图片样本的目标识别损失值;根据图片样本的目标识别损失值,调整卷积神经网络的网络参数。该技术方案,可以使得目标识别损失值更为准确、能够体现出不同图片样本之间的距离间隔,这样,通过目标识别损失值调整后的网络参数就会更加精准,使调整后的卷积神经网络能够更加有效地区分开具有差异的不同样本,进而使得卷积神经网络的识别结果更为准确。

Description

卷积神经网络的训练方法及装置
技术领域
本公开涉及深度学习技术领域,尤其涉及卷积神经网络的训练方法及装置。
背景技术
目前,为了更好地识别图片,越来越多的识别过程使用到CNN网络(ConvolutionalNeural Network,卷积神经网络),而为了确保识别结果准确,就需要对CNN网络等进行反复训练以使CNN网络中的网络参数更为精准,但相关技术中的训练结果却不太理想,导致CNN网络的图片识别结果不太准确。
发明内容
本公开实施例提供了卷积神经网络的训练方法及装置。所述技术方案如下:
根据本公开实施例的第一方面,提供一种卷积神经网络的训练方法,包括:
在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;
根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数;
根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数。
在一个实施例中,所述图片样本包括N个三元组,其中,N为正整数;
所述根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数,包括:
根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
在一个实施例中,所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
所述根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
在一个实施例中,所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
在一个实施例中,所述根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据预设损失阈值函数,确定所述各三元组图片样本对应的识别间隔参数,其中,所述预设损失阈值函数包括:
α=β*D+b
其中,α代表所述各三元组图片样本对应的识别间隔参数,D代表所述各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
在一个实施例中,所述当前识别结果包括当前识别的年龄,所述预设识别结果包括预设年龄,相应地,
所述同类图片样本中的两张图片样本各自的预设年龄的年龄差不大于第一预设年龄差,所述异类图片样本与所述同类图片样本中较小年龄/平均年龄的年龄差大于第二预设年龄差,其中,所述第二预设年龄差大于所述第一预设年龄差;
或者
所述当前识别结果包括当前识别的颜值,所述预设识别结果包括预设颜值,相应地,
所述同类图片样本中的两张图片样本各自的预设颜值的颜值差不大于第一预设颜值差,所述异类图片样本与所述同类图片样本中较小颜值/平均颜值的颜值差大于第二预设颜值差,其中,所述第二预设颜值差大于所述第一预设颜值差。
根据本公开实施例的第二方面,提供一种卷积神经网络的训练装置,包括:
获取模块,用于在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;
第一确定模块,用于根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数;
第二确定模块,用于根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
调整模块,用于根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数。
在一个实施例中,所述图片样本包括N个三元组,其中,N为正整数;
所述第一确定模块包括:
确定子模块,用于根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
在一个实施例中,所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
所述确定子模块包括:
确定单元,用于根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
在一个实施例中,所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
在一个实施例中,所述确定单元包括:
确定子单元,用于根据预设损失阈值函数,确定所述各三元组图片样本对应的识别间隔参数,其中,所述预设损失阈值函数包括:
α=β*D+b
其中,α代表所述各三元组图片样本对应的识别间隔参数,D代表所述各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
在一个实施例中,所述当前识别结果包括当前识别的年龄,所述预设识别结果包括预设年龄,相应地,
所述同类图片样本中的两张图片样本各自的预设年龄的年龄差不大于第一预设年龄差,所述异类图片样本与所述同类图片样本中较小年龄/平均年龄的年龄差大于第二预设年龄差,其中,所述第二预设年龄差大于所述第一预设年龄差;
或者
所述当前识别结果包括当前识别的颜值,所述预设识别结果包括预设颜值,相应地,
所述同类图片样本中的两张图片样本各自的预设颜值的颜值差不大于第一预设颜值差,所述异类图片样本与所述同类图片样本中较小颜值/平均颜值的颜值差大于第二预设颜值差,其中,所述第二预设颜值差大于所述第一预设颜值差。
根据本公开实施例的第三方面,提供了一种卷积神经网络的训练装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;
根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数;
根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数。
根据本公开实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现上述第一方面实施例所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的实施例提供的技术方案,通过根据图片样本的预设识别结果,预先确定图片样本的识别间隔参数,进而根据当前识别结果和识别间隔参数,确定图片样本的目标识别损失值,并根据图片样本的目标识别损失值,调整卷积神经网络的网络参数,可以使得目标识别损失值更为准确、能够体现出不同图片样本之间的距离间隔,这样,通过目标识别损失值调整后的网络参数就会更加精准,使调整后的卷积神经网络能够更加有效地区分开具有差异的不同样本,进而使得卷积神经网络的识别结果更为准确。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种卷积神经网络的训练方法的流程图。
图2是根据一示例性实施例示出的另一种卷积神经网络的训练方法的流程图。
图3是根据一示例性实施例示出的又一种卷积神经网络的训练方法的流程图。
图4是根据一示例性实施例示出的一种卷积神经网络的训练装置的框图。
图5是根据一示例性实施例示出的另一种卷积神经网络的训练装置的框图。
图6是根据一示例性实施例示出的又一种卷积神经网络的训练装置的框图。
图7是根据一示例性实施例示出的适用于卷积神经网络的训练装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前,为了更好地识别图片,越来越多的识别过程使用到CNN网络(ConvolutionalNeural Network,卷积神经网络),而为了确保识别结果准确,就需要对CNN网络等进行反复训练以使CNN网络中的网络参数更为精准,但相关技术中的训练结果却不太理想,导致CNN网络的图片识别结果不太准确。
为了解决上述技术问题,本公开实施例提供了一种卷积神经网络的训练方法,该方法可用于卷积神经网络的训练程序、系统或装置中,且该方法对应的执行主体可以是终端、服务器等,如图1所示,该方法包括步骤S101至步骤S104:
在步骤S101中,在接收到向卷积神经网络输入的图片样本时,获取卷积神经网络对图片样本的当前识别结果;
图片样本可以是人脸图像,识别结果可以是识别的年龄或者识别的颜值,即卷积神经网络对图片样本的预测结果。
在步骤S102中,根据图片样本的预设识别结果,确定图片样本的识别间隔参数;
在一实施例中,预设识别结果例如为图片样本输入卷积神经网络之前预先标记的图片样本的真实识别结果(如真实年龄、真实颜值等)。
在步骤S103中,根据当前识别结果和识别间隔参数,确定图片样本的目标识别损失值;
在步骤S104中,根据图片样本的目标识别损失值,调整卷积神经网络的网络参数。
通过根据图片样本的预设识别结果,预先确定图片样本的识别间隔参数,进而根据当前识别结果和识别间隔参数,确定图片样本的目标识别损失值,并根据图片样本的目标识别损失值,调整卷积神经网络的网络参数,可以使得目标识别损失值更为准确、能够体现出不同图片样本之间的距离间隔,这样,通过目标识别损失值调整后的网络参数就会更加精准,使调整后的卷积神经网络能够更加有效地区分开具有差异的不同样本,进而使得卷积神经网络的识别结果更为准确。
如图2所示,在一个实施例中,图片样本包括N个三元组,其中,N为正整数;
上述图1所示的步骤S102,即根据图片样本的预设识别结果,确定图片样本的识别间隔参数,可以包括步骤A1:
在步骤A1中,根据各三元组图片样本的预设识别结果,确定三元组损失函数中各三元组图片样本对应的识别间隔参数,其中,三元组损失函数即相关技术中triplet loss函数。
通过根据各三元组图片样本的预设识别结果,确定三元组损失函数中各三元组图片样本对应的识别间隔参数,可以使得不同三元组图片样本具有不同的识别间隔参数,这样,各三元组图片样本的识别间隔参数就会随着各三元组的预设识别结果而动态变化,进而使得最终获得的目标识别损失值能够更为准确地反映出N个三元组图片样本的识别间隔参数也即N个三元组图片样本的距离间隔,从而更加精准地调整网络参数,避免网络参数调节过度或者过弱,以使调整后的卷积神经网络能够更加有效地区分开具有差异的不同样本,识别结果更为准确。
如图3所示,在一个实施例中,各三元组图片样本包括:三张图片样本,其中,三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
上述图2中的步骤A1,即根据各三元组图片样本的预设识别结果,确定三元组损失函数中各三元组图片样本对应的识别间隔参数,可以包括步骤B1:
在步骤B1中,根据各三元组图片样本中异类图片样本的预设识别结果与同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中各三元组图片样本对应的识别间隔参数。
通过根据各三元组图片样本中异类图片样本的预设识别结果与同类图片样本的预设识别结果之间的预设识别差值,可以更为准确地确定出三元组损失函数中各三元组图片样本对应的识别间隔参数也即各三元组图片样本的距离间隔,这样各三元组图片样本的距离间隔就会随着各三元组图片样本的预设识别结果而动态变化,避免所有三元组图片样本的识别间隔参数都是固定不变的,而导致获得的目标识别损失值不够准确,进而导致对网络参数调节的过大或者过小,并最终导致调整后的卷积神经网络在之后的图片识别应用过程中无法更加有效地区分开具有差异的不同样本即识别结果与真实结果不太接近、不太准确。
其中,同类图片样本中的一个图片样本可以是基准图片样本,而另一个图片样本可以是与该基本图片样本相近的参考图片样本;
而各三元组图片样本对应的识别间隔参数用于表征triplet loss函数中使用到的各三元组图片样本中异类图片样本和基准图片样本的第一距离,与参考图片样本和基准图片样本的第二距离之间的最小距离间隔;
Figure BDA0001341510950000091
其中,
Figure BDA0001341510950000092
分别为第i个三元组图片样本中基准图片样本的当前识别结果、参考图片样本的当前识别结果、异类图片样本的当前识别结果,
Figure BDA0001341510950000093
为第i个三元组图片样本中参考图片样本和基准图片样本的第二距离,
Figure BDA0001341510950000094
为第i个三元组图片样本中异类图片样本和基准图片样本的第一距离,
α为第i个三元组图片样本对应的识别间隔参数(可动态变化,并不是固定的),表征第i个三元组图片样本中第一距离与第二距离之间的最小距离间隔,
而triplet loss的值即表示N个三元组图片样本的目标识别损失值。
在一个实施例中,各三元组图片样本的预设识别差值越大,各三元组图片样本对应的识别间隔参数越大。
由于各三元组图片样本的预设识别差值越大,图像特征的差异也就越大(如年龄差越大,人脸图片的差异就越大),因而,为了使本次训练后获得的目标识别损失值更为准确,各三元组图片样本对应的识别间隔参数不应该一成不变,而应该动态变化,且应该与各三元组图片样本的图像特征的差异正相关,以使得预设识别差值较大的三元组图片样本对应的识别间隔参数可适应性大一些、而预设识别差值较小的三元组图片样本对应的识别间隔参数可适应性小一些,因而,各三元组图片样本的预设识别差值越大,各三元组图片样本对应的识别间隔参数也应该越大。
在一个实施例中,上述图3所示的步骤B1,即根据各三元组图片样本中异类图片样本的预设识别结果与同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中各三元组图片样本对应的识别间隔参数,可被执行为:
根据预设损失阈值函数,确定各三元组图片样本对应的识别间隔参数,其中,预设损失阈值函数包括:
α=β*D+b
其中,α代表各三元组图片样本对应的识别间隔参数,D代表各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
由于各三元组图片样本的预设识别差值越大,图像特征的差异也就越大(如年龄差越大,人脸图片的差异就越大),因而,为了使本次训练后获得的目标识别损失值更为准确,各三元组图片样本对应的识别间隔参数不应该一成不变,而应该动态变化,且应该与各三元组图片样本的图像特征的差异正相关,以使得预设识别差值较大的三元组图片样本对应的识别间隔参数可适应性大一些、而预设识别差值较小的三元组图片样本对应的识别间隔参数可适应性小一些,因而,各三元组图片样本的预设识别差值越大,各三元组图片样本对应的识别间隔参数也应该越大,具体地,各三元组图片样本对应的识别间隔参数α=β*D+b,β和b都是正数,可通过海量实验获得。
在一个实施例中,当前识别结果包括当前识别的年龄,预设识别结果包括预设年龄,相应地,
同类图片样本中的两张图片样本各自的预设年龄的年龄差不大于第一预设年龄差,异类图片样本与同类图片样本中较小年龄/平均年龄的年龄差大于第二预设年龄差,其中,第二预设年龄差大于第一预设年龄差,在这种情况下,各三元组图片样本中异类图片样本的预设识别结果即各三元组图片样本中异类图片样本的预设年龄,各三元组图片样本中同类图片样本的预设识别结果可以是同类图片样本中的较小年龄/平均年龄(该平均年龄=上述同类图片样本中的两张图片样本各自的预设年龄之和与2的商值);
同类图片样本中的两张图片样本的真实年龄应该相差很小,而异类图片样本与同类图片样本的真实年龄可稍微大一些,因而,第二预设年龄差应该大于第一预设年龄差,另外,优选地,同类图片样本中的两张图片样本各自的预设年龄的年龄差可以为零。
或者
当前识别结果包括当前识别的颜值,预设识别结果包括预设颜值,相应地,
同类图片样本中的两张图片样本各自的预设颜值的颜值差不大于第一预设颜值差,异类图片样本与同类图片样本中较小颜值/平均颜值的颜值差大于第二预设颜值差,其中,第二预设颜值差大于第一预设颜值差,在这种情况下,各三元组图片样本中异类图片样本的预设识别结果即各三元组图片样本中异类图片样本的预设颜值,各三元组图片样本中同类图片样本的预设识别结果可以是同类图片样本中的较小颜值/平均颜值(该平均颜值=上述同类图片样本中的两张图片样本各自的预设颜值之和与2的商值)。
同类图片样本中的两张图片样本的真实颜值应该相差很小,而异类图片样本与同类图片样本的真实颜值可稍微大一些,因而,第二预设颜值差应该大于第一预设颜值差,另外,优选地,同类图片样本中的两张图片样本各自的预设颜值的颜值差可以为零。
对应本公开实施例提供的上述卷积神经网络的训练方法,本公开实施例还提供一种卷积神经网络的训练装置,如图4所示,该装置包括:
获取模块401,被配置为在接收到向卷积神经网络输入的图片样本时,获取卷积神经网络对图片样本的当前识别结果;
第一确定模块402,被配置为根据图片样本的预设识别结果,确定图片样本的识别间隔参数;
第二确定模块403,被配置为根据当前识别结果和识别间隔参数,确定图片样本的目标识别损失值;
调整模块404,被配置为根据图片样本的目标识别损失值,调整卷积神经网络的网络参数。
如图5所示,在一个实施例中,图片样本包括N个三元组,其中,N为正整数;
上述图4所示的第一确定模块402可以包括确定子模块4021:
确定子模块4021,被配置为根据各三元组图片样本的预设识别结果,确定三元组损失函数中各三元组图片样本对应的识别间隔参数。
如图6所示,在一个实施例中,各三元组图片样本包括:三张图片样本,其中,三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
上述图5所示的确定子模块4021可以包括确定单元40211:
确定单元40211,被配置为根据各三元组图片样本中异类图片样本的预设识别结果与同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中各三元组图片样本对应的识别间隔参数。
在一个实施例中,各三元组图片样本的预设识别差值越大,各三元组图片样本对应的识别间隔参数越大。
在一个实施例中,确定单元40211包括:
确定子单元,被配置为根据预设损失阈值函数,确定各三元组图片样本对应的识别间隔参数,其中,预设损失阈值函数包括:
α=β*D+b
其中,α代表各三元组图片样本对应的识别间隔参数,D代表各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
在一个实施例中,当前识别结果包括当前识别的年龄,预设识别结果包括预设年龄,相应地,
同类图片样本中的两张图片样本各自的预设年龄的年龄差不大于第一预设年龄差,异类图片样本与同类图片样本中较小年龄/平均年龄的年龄差大于第二预设年龄差,其中,第二预设年龄差大于第一预设年龄差;
或者
当前识别结果包括当前识别的颜值,预设识别结果包括预设颜值,相应地,
同类图片样本中的两张图片样本各自的预设颜值的颜值差不大于第一预设颜值差,异类图片样本与同类图片样本中较小颜值/平均颜值的颜值差大于第二预设颜值差,其中,第二预设颜值差大于第一预设颜值差。
根据本公开实施例的第三方面,提供一种卷积神经网络的训练装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;
根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数;
根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数。
上述处理器还可被配置为:
所述图片样本包括N个三元组,其中,N为正整数;
所述根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数,包括:
根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
上述处理器还可被配置为:
所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
所述根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
上述处理器还可被配置为:
所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
上述处理器还可被配置为:
所述根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据预设损失阈值函数,确定所述各三元组图片样本对应的识别间隔参数,其中,所述预设损失阈值函数包括:
α=β*D+b
其中,α代表所述各三元组图片样本对应的识别间隔参数,D代表所述各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
上述处理器还可被配置为:
所述当前识别结果包括当前识别的年龄,所述预设识别结果包括预设年龄,相应地,
所述同类图片样本中的两张图片样本各自的预设年龄的年龄差不大于第一预设年龄差,所述异类图片样本与所述同类图片样本中较小年龄/平均年龄的年龄差大于第二预设年龄差,其中,所述第二预设年龄差大于所述第一预设年龄差;
或者
所述当前识别结果包括当前识别的颜值,所述预设识别结果包括预设颜值,相应地,
所述同类图片样本中的两张图片样本各自的预设颜值的颜值差不大于第一预设颜值差,所述异类图片样本与所述同类图片样本中较小颜值/平均颜值的颜值差大于第二预设颜值差,其中,所述第二预设颜值差大于所述第一预设颜值差。
图7是根据一示例性实施例示出的一种用于卷积神经网络的训练装置700的框图,该装置适用于终端设备。例如,装置700可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个用户数字助理等。
参照图7,装置700可以包括以下一个或至少两个组件:处理组件702,存储器704,电源组件706,多媒体组件708,音频组件710,输入/输出(I/O)接口712,传感器组件714,以及通信组件716。
处理组件702通常控制装置700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件702可以包括一个或至少两个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或至少两个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何存储对象或方法的指令,联系用户数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件706为装置700的各种组件提供电源。电源组件706可以包括电源管理系统,一个或至少两个电源,及其他与为装置700生成、管理和分配电源相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或至少两个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(MIC),当装置700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括一个扬声器,用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或至少两个传感器,用于为装置700提供各个方面的状态评估。例如,传感器组件714可以检测到装置700的打开/关闭状态,组件的相对定位,例如所述组件为装置700的显示器和小键盘,传感器组件714还可以检测装置700或装置700一个组件的位置改变,用户与装置700接触的存在或不存在,装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置700可以被一个或至少两个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由装置700的处理器720执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由上述装置700的处理器执行时,使得上述装置700能够执行一种卷积神经网络的训练方法,包括:
在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;
根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数;
根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数。
在一个实施例中,所述图片样本包括N个三元组,其中,N为正整数;
所述根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数,包括:
根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
在一个实施例中,所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
所述根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数。
在一个实施例中,所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
在一个实施例中,所述根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据预设损失阈值函数,确定所述各三元组图片样本对应的识别间隔参数,其中,所述预设损失阈值函数包括:
α=β*D+b
其中,α代表所述各三元组图片样本对应的识别间隔参数,D代表所述各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
在一个实施例中,所述当前识别结果包括当前识别的年龄,所述预设识别结果包括预设年龄,相应地,
所述同类图片样本中的两张图片样本各自的预设年龄的年龄差不大于第一预设年龄差,所述异类图片样本与所述同类图片样本中较小年龄/平均年龄的年龄差大于第二预设年龄差,其中,所述第二预设年龄差大于所述第一预设年龄差;
或者
所述当前识别结果包括当前识别的颜值,所述预设识别结果包括预设颜值,相应地,
所述同类图片样本中的两张图片样本各自的预设颜值的颜值差不大于第一预设颜值差,所述异类图片样本与所述同类图片样本中较小颜值/平均颜值的颜值差大于第二预设颜值差,其中,所述第二预设颜值差大于所述第一预设颜值差。
本领域技术用户员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种卷积神经网络的训练方法,其特征在于,包括:
在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;所述图片样本包括N个三元组,其中,N为正整数;所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
根据各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数;所述当前识别结果包括当前识别的人体特征,人体特征包括年龄或颜值,所述预设识别结果包括预设人体特征,所述同类图片样本中的两张图片样本各自的预设人体特征的人体特征差不大于第一预设人体特征差,所述异类图片样本与所述同类图片样本中较小人体特征/平均人体特征的人体特征差大于第二预设人体特征差,其中,所述第二预设人体特征差大于所述第一预设人体特征差;
根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数;
所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数,包括:
根据预设损失阈值函数,确定所述各三元组图片样本对应的识别间隔参数,其中,所述预设损失阈值函数包括:
α=β*D+b
其中,α代表所述各三元组图片样本对应的识别间隔参数,D代表所述各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
3.一种卷积神经网络的训练装置,其特征在于,包括:
获取模块,用于在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;
第一确定模块,用于根据所述图片样本的预设识别结果,确定所述图片样本的识别间隔参数;
第二确定模块,用于根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
调整模块,用于根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数;
所述图片样本包括N个三元组,其中,N为正整数;
所述第一确定模块包括:
确定子模块,用于根据各三元组图片样本的预设识别结果,确定三元组损失函数中所述各三元组图片样本对应的识别间隔参数;
所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
所述确定子模块包括:
确定单元,用于根据所述各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数;
所述当前识别结果包括当前识别的人体特征,人体特征包括年龄或颜值,所述预设识别结果包括预设人体特征,所述同类图片样本中的两张图片样本各自的预设人体特征的人体特征差不大于第一预设人体特征差,所述异类图片样本与所述同类图片样本中较小人体特征/平均人体特征的人体特征差大于第二预设人体特征差,其中,所述第二预设人体特征差大于所述第一预设人体特征差;
所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
4.根据权利要求3所述的装置,其特征在于,
所述确定单元包括:
确定子单元,用于根据预设损失阈值函数,确定所述各三元组图片样本对应的识别间隔参数,其中,所述预设损失阈值函数包括:
α=β*D+b
其中,α代表所述各三元组图片样本对应的识别间隔参数,D代表所述各三元组图片样本的预设识别差值,β为预设系数,b为预设偏置值。
5.一种卷积神经网络的训练装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
在接收到向所述卷积神经网络输入的图片样本时,获取所述卷积神经网络对所述图片样本的当前识别结果;所述图片样本包括N个三元组,其中,N为正整数;所述各三元组图片样本包括:三张图片样本,其中,所述三张图片样本中有两张图片样本属于同类图片样本,剩余的一张图片样本属于异类图片样本;
根据各三元组图片样本中异类图片样本的预设识别结果与所述同类图片样本的预设识别结果之间的预设识别差值,确定所述三元组损失函数中所述各三元组图片样本对应的识别间隔参数;所述当前识别结果包括当前识别的人体特征,人体特征包括年龄或颜值,所述预设识别结果包括预设人体特征,所述同类图片样本中的两张图片样本各自的预设人体特征的人体特征差不大于第一预设人体特征差,所述异类图片样本与所述同类图片样本中较小人体特征/平均人体特征的人体特征差大于第二预设人体特征差,其中,所述第二预设人体特征差大于所述第一预设人体特征差;
根据所述当前识别结果和所述识别间隔参数,确定所述图片样本的目标识别损失值;
根据所述图片样本的目标识别损失值,调整所述卷积神经网络的网络参数;
所述各三元组图片样本的预设识别差值越大,所述各三元组图片样本对应的识别间隔参数越大。
6.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被处理器执行时实现权利要求1至2中任一项所述方法的步骤。
CN201710539510.XA 2017-07-04 2017-07-04 卷积神经网络的训练方法及装置 Active CN107480785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710539510.XA CN107480785B (zh) 2017-07-04 2017-07-04 卷积神经网络的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710539510.XA CN107480785B (zh) 2017-07-04 2017-07-04 卷积神经网络的训练方法及装置

Publications (2)

Publication Number Publication Date
CN107480785A CN107480785A (zh) 2017-12-15
CN107480785B true CN107480785B (zh) 2021-01-29

Family

ID=60596385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710539510.XA Active CN107480785B (zh) 2017-07-04 2017-07-04 卷积神经网络的训练方法及装置

Country Status (1)

Country Link
CN (1) CN107480785B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399428B (zh) * 2018-02-09 2020-04-10 哈尔滨工业大学深圳研究生院 一种基于迹比准则的三元组损失函数设计方法
CN108419091A (zh) * 2018-03-02 2018-08-17 北京未来媒体科技股份有限公司 一种基于机器学习的视频内容审核方法及装置
CN108334861A (zh) * 2018-03-02 2018-07-27 北京未来媒体科技股份有限公司 一种基于机器学习的视频内容识别方法及装置
CN109145129B (zh) * 2018-09-07 2020-03-31 深圳码隆科技有限公司 基于层次三元组损失函数的深度度量学习方法及其装置
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技(深圳)有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN110245613B (zh) * 2019-06-17 2023-01-20 珠海华园信息技术有限公司 基于深度学习特征对比的船牌识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sampling Matters in Deep Embedding Learning;Chao-Yuan Wu et.al;《arXiv:1706.07567v1》;20170623;第1-9页 *

Also Published As

Publication number Publication date
CN107480785A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107480785B (zh) 卷积神经网络的训练方法及装置
CN107105314B (zh) 视频播放方法及装置
CN110796988B (zh) 背光调节方法及装置
CN107463052B (zh) 拍摄曝光方法及装置
CN108200279B (zh) 背光调节方法、装置和设备
EP3024211A1 (en) Method and device for announcing voice call
CN107454204B (zh) 用户信息标注方法及装置
CN108629814B (zh) 相机调整方法及装置
CN108600503B (zh) 语音通话的控制方法及装置
CN112331158B (zh) 终端显示调节方法、装置、设备及存储介质
CN112033527B (zh) 环境亮度检测方法、装置、设备及存储介质
CN111131596B (zh) 屏幕亮度调整方法及装置
CN111880681A (zh) 触摸屏采样速率调节方法、装置及计算机存储介质
CN107885464B (zh) 数据存储方法、装置及计算机可读存储介质
CN106775246B (zh) 屏幕亮度调节方法及装置
CN107203315B (zh) 点击事件的处理方法、装置及终端
CN107402677B (zh) 触控操作中识别手指抬起的方法、装置及终端
CN107026941B (zh) 未读消息的回复处理方法和装置
CN107122356B (zh) 显示人脸颜值的方法及装置、电子设备
CN114418865A (zh) 图像处理方法、装置、设备及存储介质
CN108769513B (zh) 相机拍照方法及装置
CN108108668B (zh) 基于图像的年龄预测方法及装置
CN108231037B (zh) 确定屏幕亮度设置范围的方法及装置
CN108427582B (zh) 卡顿状态确定方法、装置及计算机可读存储介质
CN112187326A (zh) 天线控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant