CN112884160B - 一种元学习方法及相关装置 - Google Patents

一种元学习方法及相关装置 Download PDF

Info

Publication number
CN112884160B
CN112884160B CN202011640188.8A CN202011640188A CN112884160B CN 112884160 B CN112884160 B CN 112884160B CN 202011640188 A CN202011640188 A CN 202011640188A CN 112884160 B CN112884160 B CN 112884160B
Authority
CN
China
Prior art keywords
meta
learner
round
internal
attenuation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011640188.8A
Other languages
English (en)
Other versions
CN112884160A (zh
Inventor
周峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aibee Technology Co Ltd
Original Assignee
Beijing Aibee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aibee Technology Co Ltd filed Critical Beijing Aibee Technology Co Ltd
Priority to CN202011640188.8A priority Critical patent/CN112884160B/zh
Publication of CN112884160A publication Critical patent/CN112884160A/zh
Application granted granted Critical
Publication of CN112884160B publication Critical patent/CN112884160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种元学习方法及相关装置。在本申请中每一轮N步内部更新的结果可以用以调整下一轮对第一学习率的衰减系数，实现了第一学习率的衰减系数的自适应调整。在更新过衰减系数后，可以继续判断预设训练截止条件是否满足，当预设训练截止条件满足时，则停止训练；当预设训练截止条件不满足时，则将更新后的衰减系数作为第k+1轮衰减系数，以便于执行对元学习者的第k+1轮N步内部更新。本申请技术方案以元学习者内部更新的结果自适应地调整第一学习率的衰减系数，能够使内部更新学习率在衰减系数的作用下不断下调，从而提升元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。

Description

一种元学习方法及相关装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种元学习方法及相关装置。
背景技术
在机器学习里，为解决特定场景下的技术问题，通常使用特定场景的大量数据来训练模型。然而当场景发生改变，模型就需要重新训练。然而对于人类而言，一个小朋友成长过程中会见过许多物体的照片，某一天，当其第一次仅仅看了几张狗的照片，就可以很好地对狗和其他物体进行区分。元学习(Meta-learning)含义为学会学习，即learn tolearn，就是带着这种对人类这种“学习能力”的期望诞生的。元学习希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。例如让AlphaGO迅速学会下象棋；让一个猫咪图片分类器，迅速具有分类其他物体的能力等。
元学习者指的是一个通用的监督学习算法。初始化指的是训练一个元学习者，使得该元学习者学习一种参数初始化方式。学习率是一个衡量神经网络模型权重调整幅度的标量。目前基于初始化的元学习方法中，元学习者的内部更新使用固定的学习率，学习率不做衰减。神经网络模型的训练过程是一个寻找近似最优解的过程。元学习中以相同的学习率进行内部更新，表示权重调整幅度始终保持不变，这导致网络在不同状态之间反复来回跳跃，因此难以稳定地寻求最优解，也相应影响了元学习者的内部更新效果。
发明内容
基于上述问题，本申请提供了一种元学习方法及相关装置，以提升元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。
本申请实施例公开了如下技术方案：
本申请第一方面提供一种元学习方法，包括：
利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数。
可选地，所述利用训练集和第一学习率对元学习者进行第k轮N步内部更新，具体包括：
在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数。
可选地，当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数；
当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。
可选地，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。
可选地，所述在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数，具体包括：
获得所述第一学习率、所述第k轮衰减系数的j-1次幂和所述对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果的第一乘积；
获得所述第j-1步内部更新后的元学习者的参数与所述第一乘积的第一差值，将所述差值作为所述第j步内部更新后的元学习者的参数。
可选地，所述利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数，具体包括：
获得所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失；
对所述第二损失进行梯度下降，得到所述第二损失的梯度下降结果；
获得所述第二损失的梯度下降结果和所述第二学习率的第二乘积；
获得所述第k轮衰减系数和所述第二乘积的第二差值作为所述更新后的衰减系数。
可选地，所述验证集包括第k轮对应的验证集；
所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失，具体为：所述第k轮的第N步内部更新后的元学习者的参数在所述第k轮对应的验证集上的第二损失。
可选地，所述预设训练截止条件以下任意一种：
所述更新后的衰减系数等于0；或者，
所述更新后的衰减系数与所述第k轮衰减系数的差值的绝对值小于第一预设阈值；或者，
所述k超过第二预设阈值。
可选地，所述训练集包括M个人脸识别图像和人脸识别标签对；所述验证集包括W个人脸识别图像和人脸识别标签对。
可选地，所述M个人脸识别图像和人脸识别标签对，包括：m1个第一类的人脸识别图像和人脸识别标签对，以及m2个第二类的人脸识别图像和人脸识别标签对；
所述W个人脸识别图像和人脸识别标签对，包括：w1个第一类的人脸识别图像和人脸识别标签对，以及w2个第二类的人脸识别图像和人脸识别标签对。
可选地，所述训练集包括M个人脸活体检测图像和人脸活体检测标签对；所述验证集包括W个人脸活体检测图像和人脸活体检测标签对。
可选地，所述M个人脸活体检测图像和人脸活体检测标签对，包括：m3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及m4个第二场景的人脸活体检测图像和人脸活体检测标签对；
所述W个人脸活体检测图像和人脸活体检测标签对，包括：w3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及w4个第二场景的人脸活体检测图像和人脸活体检测标签对。
本申请第二方面提供一种元学习装置，包括：
内部更新模块，用于利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
衰减系数更新模块，用于利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断模块，用于判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，指示所述内部更新模块和所述衰减系数更新模块停止工作；当所述预设训练截止条件不满足时，指示所述内部更新模块将所述更新后的衰减系数作为第k+1轮衰减系数继续进行第k+1轮N步内部更新。
可选地，内部更新模块，具体包括：
参数第一获取单元，用于在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
参数第二获取单元，用于在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数。
可选地，当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数。当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。
可选地，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。
可选地，参数第二获取单元，具体包括：
第一计算子单元，用于获得所述第一学习率、所述第k轮衰减系数的j-1次幂和所述对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果的第一乘积；
第二计算子单元，用于获得所述第j-1步内部更新后的元学习者的参数与所述第一乘积的第一差值，将所述差值作为所述第j步内部更新后的元学习者的参数。
可选地，衰减系数更新模块，具体包括：
第三计算子单元，用于获得所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失；
第四计算子单元，用于对所述第二损失进行梯度下降，得到所述第二损失的梯度下降结果；
第五计算子单元，用于获得所述第二损失的梯度下降结果和所述第二学习率的第二乘积；
第六计算子单元，用于获得所述第k轮衰减系数和所述第二乘积的第二差值作为所述更新后的衰减系数。
可选地，所述验证集包括第k轮对应的验证集；
所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失，具体为：所述第k轮的第N步内部更新后的元学习者的参数在所述第k轮对应的验证集上的第二损失。
可选地，所述预设训练截止条件以下任意一种：
所述更新后的衰减系数等于0；或者，
所述更新后的衰减系数与所述第k轮衰减系数的差值的绝对值小于第一预设阈值；或者，
所述k超过第二预设阈值。
相较于现有技术，本申请具有以下有益效果：
本申请提供的元学习方法及相关装置，利用训练集和第一学习率对元学习者进行第k轮N步内部更新；第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数。通过第k轮N步内部更新，可以获得第k轮的第N步内部更新后的元学习者，即元学习者经过第k轮N步内部更新后的产物。本申请中还利用验证集、第二学习率和第k轮的第N步内部更新后的元学习者对第k轮衰减系数进行更新，得到更新后的衰减系数。可见，在本申请中每一轮N步内部更新的结果可以用以调整下一轮对第一学习率的衰减系数，实现了第一学习率的衰减系数的自适应调整。在更新过衰减系数后，可以继续判断预设训练截止条件是否满足，当预设训练截止条件满足时，则停止训练；当预设训练截止条件不满足时，则将更新后的衰减系数作为第k+1轮衰减系数，以便于执行对元学习者的第k+1轮N步内部更新。本申请技术方案以元学习者内部更新的结果自适应地调整第一学习率的衰减系数，能够使内部更新学习率在衰减系数的作用下不断下调，从而提升元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种元学习方法的流程图；
图2为本申请实施例提供的一种对元学习者进行第1轮N步内部更新并调整衰减系数的示意图；
图3为本申请实施例提供的一种元学习装置的结构示意图。
具体实施方式
当前元学习技术方案中，对元学习者的每一轮内部更新均采用不变的学习率，并不会对学习率进行衰减。神经网络模型的训练过程是一个寻找近似最优解的过程。元学习过程中以相同的学习率进行内部更新，导致网络在不同状态之间反复来回跳跃，难以稳定地寻求最优解，降低了元学习者的内部更新效果。
发明人经过研究发现，元学习者在内部更新过程中的学习率的衰减规则影响到元学习者的内部更新效果。为解决以上问题，发明人在本申请提供的技术方案核心思想是：通过判断元学习者内部更新之后的性能来判断当前的学习率衰减规则是否有利于元学习者的内部更新。以此实现对学习率的衰减系数的自适应调整。在不同轮内部更新元学习者时，以不同的衰减系数对内部更新学习率进行衰减，从而使内部更新逐轮完善、逐轮优化，最终完成元学习的过程。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
方法实施例
在介绍本申请实施例技术方案之前，为了便于理解，首先对本申请实施例中引入的几个名词进行说明。
第一学习率：是指对元学习者进行内部更新时采用的内部更新学习率，下文中以字母α表示。
第二学习率：是指对第一学习率的衰减系数进行学习所使用的学习率，下文中以字母β表示。
第一学习率的衰减系数：是指在每一轮对元学习者进行内部更新时，对第一学习率采用的衰减系数，下文中以γ表示。
需要说明的是，第一学习率和第二学习率均为预设值。在预设的轮数内，各轮内部更新所采用的第一学习率均是相同的，各轮内部更新采用的第二学习率是相同的。预设的轮数可以根据实际需求设置。例如设置预设轮数1000，当每部更新的轮数超过1000则在之后1000中对前1000轮使用的第一学习率乘以预设的衰减系数(为区别于下文描述的衰减系数，此处的衰减系数以字母p表示，例如p＝0.1，p可根据实际需求设置)。假设前1000轮的第一学习率是0.8，则保持1000轮不变，后1000轮的第一学习率是0.08。第二学习率的设置方式同理。需要说明的是，此处描述的对第一学习率和第二学习率的调整可以通过控制器实现，本申请实施例优化内部更新过程的重点不在于此。通过以上描述可知，在一段时间内(例如500轮内部更新过程中)，对于各轮内部更新，所使用的第一学习率和第二学习率是不变的。
但是由于本申请实施例中第一学习率的衰减系数在逐轮变化，因此相当于第一学习率是由衰减系数进行调节，而非固定不变。在当前技术中则不具备对元学习中第一学习率进行逐轮衰减的技术方案，因此第一学习率(内部更新学习率)始终固定不变，不会受到衰减系数的影响。此外，本申请实施例中采用了特定的技术手段，在每一轮内部更新结束后，以内部更新的产物实现对衰减系数的调整，实现了对衰减系数的自适应学习。
下面结合附图对本申请实施例提供的元学习方法进行详细的介绍。参见图1，该图为本申请实施例提供的一种元学习方法的流程图。如图1所示的元学习方法包括：
S101：利用训练集和第一学习率对元学习者进行第k轮N步内部更新；第k轮N步内部更新的过程中以第k轮衰减系数作为对第一学习率的衰减系数。
本申请实施例中元学习者是指一种监督学习算法。此处对于该算法的具体应用不做限定。本申请实施例进行元学习，即是对该监督学习算法进行训练。
在本申请实施例中，k为正整数。也就是说，S101中进行的可以是第1轮N步内部更新，也可以是第2轮、第3轮等非首轮的N步内部更新。每一轮内部更新均可拆分为N步，即对元学习者的每一轮内部更新包含N个内部更新环节。
N为元学习过程中每一轮对元学习者内部更新的总步数。在本申请实施例中，N为大于2的整数，即N可以取3、4、5……等整数。N可以根据实际的内部更新需求来确定取值，因此此处对于N的取值不做限制。在一示例中，N＝40；在另一示例中，N＝50。
在每一轮的第1步内部更新过程中，采用的第一学习率未受该轮衰减系数影响；而在该轮的第2～N步内部更新过程中，第一学习率则受该轮的衰减系数的影响。
具体而言，在第k轮的第1步内部更新过程中，根据元学习者在第k轮的初始参数、第一学习率和对初始参数在训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数。而在第k轮的第j步内部更新过程中，则需要根据第j-1步内部更新后的元学习者的参数、第k轮衰减系数的j-1次幂、第一学习率和对第j-1步内部更新后的元学习者的参数在训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；j为2至N中的任一整数。后文中将结合附图和数学表达式对内部更新的过程进行描述。
图2为本申请实施例提供的一种对元学习者进行第1轮N步内部更新并调整衰减系数的示意图。为便于理解S101中每一步内部更新时衰减系数对第一学习率的影响，下面结合图2对S101的实现过程进行示例性的介绍。图2仅示出了第1轮N步内部更新的实现过程，第2～N轮N步内部更新过程与该图中所示类似。
元学习者1、元学习者2…元学习者N-1、元学习者N分别指的是第1轮的第1步、第2步…第N-1步、第N步内部更新后的元学习者。如图2所示，在第1轮N步内部更新过程中，先获得未经过任何一轮内部更新的元学习者的初始参数在训练集上的第一损失，并对该第一损失进行梯度下降运算。
从图2中不难发现，在第1步内部更新过程中，从元学习者到元学习者1(即从初始参数到元学习者1的参数)，使用了第一学习率α；在第2步内部更新过程中，从元学习者1到元学习者2，使用了第一学习率α，并以第1轮的衰减系数γ乘以第一学习率α，使第一学习率α受到调控；在第N步内部更新过程中，从元学习者N-1到元学习者N，使用了第一学习率α，并以第1轮的衰减系数γ乘以第一学习率α的N-1次幂，使第一学习率α受到调控。当然，从元学习者到元学习者1，以第1轮的衰减系数γ乘以第一学习率α的0次幂对第一学习率α进行调控(即不做调控)。
在一种可能的实现方式中，第1轮的衰减系数γ可以为预设值，例如为1。当然也可以取其他值。第1轮的衰减系数γ可以根据实际需求来设定，此处不做限制。
结合图2可知，在每一步获得更新后的元学习者后，都需要获得其参数在训练集上的第一损失，并基于第一损失的梯度下降结果、第一学习率和该轮的衰减系数对于前一步获得的元学习者进行进一步的内部更新。
作为一种示例实现方式，训练集为预先准备好的，且训练集包括每一轮内部更新需要用到的训练集，例如第k轮对应的训练集。其中，第k轮对应的训练集具体包括第k轮N步内部更新各自对应的训练子集。例如将第k轮对应的训练集等分为N份，分别是第k轮第1步内部更新对应的训练子集，第k轮第2步内部更新对应的训练子集，…，第k轮第N-1步内部更新对应的训练子集，第k轮第N步内部更新对应的训练子集。训练集及训练子集包含的内容是用于训练元学习者的数据和标签对，不同步的内部更新对应的训练子集中包含的数据和训练对是不同的。
因此在上文的描述中，所述初始参数在所述训练集上的第一损失，具体可以为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失。所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体可以为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。结合图2，图2中示出的第一损失1、第一损失2和第一损失N分别指的是：元学习者的参数在第k轮第1步内部更新对应的训练子集上的第一损失，元学习者1的参数在第k轮第2步内部更新对应的训练子集上的第一损失，元学习者N-1的参数在第k轮第N步内部更新对应的训练子集上的第一损失。
为了便于理解，以下结合表达式(1)和(2)介绍元学习者的内部更新的数学过程。
对于第k轮内部更新(即任意一轮内部更新)，第j-1步内部更新后的元学习者的参数在训练集上的第一损失的表达式如下：
第j步内部更新后的元学习者的参数表达式如下：
以上表达式(1)和(2)中，LT1(θ(j-1))表示第j-1步内部更新后的元学习者的参数θ(j-1)在训练集上的第一损失，θ(j)为第j步内部更新后的元学习者的参数。T1是训练集，x为T1中的数据，y为T1中与x匹配的标签，(x，y)构成T1中的数据和标签对。||T1||表示训练集T1的范数。是第j-1步内部更新后元学习者以x作为输入形成的输出值，/>为第j-1步内部更新后元学习者以x和y作为数据和标签对求得的损失值。α为第一学习率，γ为第一学习率的衰减系数。/>是对LT1(θ(j-1))进行梯度下降获得的梯度下降结果。
结合表达式(2)，获得第j步内部更新后的元学习者的参数θ(j)的过程具体为：
获得第一学习率α、第k轮衰减系数的j-1次幂γj-1和对第j-1步内部更新后的元学习者的参数θ(j-1)在训练集T1上的第一损失的梯度下降结果的第一乘积再获得第j-1步内部更新后的元学习者的参数θ(j-1)与第一乘积的第一差值，将差值作为第j步内部更新后的元学习者的参数θ(j)。
以上表达式(1)和(2)中，j为2至N中任一整数。而对于第1步内部更新后的元学习者的参数θ(1)，其可以表示为：
表达式(3)中，θ(0)为元学习者在第k轮的初始参数。LT1(θ(0))为θ(0)在训练集T1上的第一损失，为对该第一损失进行梯度下降，得到的梯度下降结果。
当k＝1时，θ(0)具体为未经过内部更新的元学习者的参数。如图2最左侧所示，第1轮内部更新过程中标有“元学习者”的框表示该元学习者未经过任何内部更新。当k为大于1的整数时，即非首轮内部更新时，θ(0)具体为第k-1轮第N步内部更新后的元学习者的参数。如图2最右侧所示，第1轮第N步内部更新后的元学习者(参见图2中标有“元学习者N”的框)的参数作为元学习者第2轮内部更新的初始参数，以此类推。
LT1(θ(0))的表达式具体如下：
是第k轮初始状态的元学习者以x作为输入形成的输出值，/>为第k轮初始状态的元学习者以x和y作为数据和标签对求得的损失值。当k＝1时，第1轮初始状态的元学习者参见图2左右侧所示的标有“元学习者”的框；当k为大于1的整数时，第k轮初始状态的元学习者为第k-1轮第N步内部更新后的元学习者。以第k＝2为例，第2轮初始状态的元学习者就是图2中的元学习者N。
结合表达式(1)和(2)、图2以及上文的说明可知，在本申请实施例中，第一学习率的衰减系数γ对于元学习者的内部更新来说是具有明显的影响的。
以上介绍了S101利用训练集和第一学习率对元学习者进行第k轮N步内部更新的过程。在内部更新后的，需要基于第k轮内部更新的效果来优化内部更新过程中所使用的衰减系数，对衰减系数进行调整更新。下面结合S102对此过程进行详细说明。
S102：利用验证集、第二学习率和第k轮的第N步内部更新后的元学习者对第k轮衰减系数进行更新，得到更新后的衰减系数。
内部更新过程中使用训练集，在调整衰减系数时则使用验证集。本申请实施例中可以预先准备若干份验证集，包括在第k轮内部更新后用以更新衰减系数所使用的第k轮对应的验证集。每一轮对应的验证集的数据和标签对不同。在其他实现方式中还可以在每轮内部更新后使用相同的验证集。此处对于验证集的具体内容不做限定。
为便于理解，以下结合数学表达式描述S102的实现过程。更新后的衰减系数的表达式如下：
表达式(5)中，等号左侧γ为更新后的衰减系数，等号右侧γ为第k轮内部更新对第一学习率的衰减系数。θ(N)为第k轮第N步内部更新后的元学习者的参数。β为第二学习率，γ为第一学习率的衰减系数。T2是验证集，x为T2中的数据，y为T2中与x匹配的标签，(x，y)构成T2中的数据和标签对。是第k轮第N步内部更新后元学习者以x作为输入形成的输出值，/>为第k轮第N步内部更新后元学习者以x和y作为数据和标签对求得的第二损失。/>为对第k轮的第N步内部更新后的元学习者的参数在所述验证集T2上的第二损失进行梯度下降求得的梯度下降结果。
结合表达式(5)，S102的具体过程为：
获得第k轮的第N步内部更新后的元学习者的参数θ(N)在验证集T2上的第二损失对第二损失/>进行梯度下降，得到第二损失的梯度下降结果/>获得第二损失的梯度下降结果和第二学习率β的第二乘积/>获得第k轮衰减系数γ和第二乘积/>的第二差值作为更新后的衰减系数。
第二学习率β一般是大于或等于0，且小于1的正值，第二损失的梯度下降结果也是大于或等于0的正值，并且第二乘积通常小于第k轮衰减系数γ。因此，结合表达式(5)，每一次更新衰减系数γ，都比更新前略小。以至于衰减系数γ保持逐轮减小的趋势。
对第k轮衰减系数的更新优化过程可以参照图2的下半部分。
S103：判断预设训练截止条件是否满足，当预设训练截止条件满足时，执行S104；当预设训练截止条件不满足时，执行S105。
在每次更新过第一学习率α的衰减系数γ后，可以执行S103以确定是否需要继续元学习，元学习的过程就是训练元学习者的过程。为此，可以预先设置训练截止条件。本申请实施例中提供了几种可选的预设截止条件。
一种可选的预设训练截止条件为：更新后的衰减系数等于0。若更新后的衰减系数为0，结合表达式(2)和表达式(3)不难发现，如果以0作为第一学习率的衰减系数，则第1步至第N步内部更新后的元学习者的参数不变。此时，再去执行内部更新是没有效果的。此时可以认为训练趋于稳定，可以求得参数最优解。对元学习者的训练学习完成。
另一种可选的预设训练截止条件为：更新后的衰减系数与第k轮衰减系数的差值的绝对值小于第一预设阈值。当更新后的衰减系数与第k轮衰减系数的差值的绝对值小于第一预设阈值，表示更新后的衰减系数与第k轮衰减系数的差值非常小，衰减系数没有逐轮变化的空间了。此时，也可以认为训练趋于稳定，可以求得参数最优解。对元学习者的训练学习完成。
又一种可选的预设训练截止条件为：k超过第二预设阈值。k超过第二预设阈值，表示对元学习者的内部更新轮数已经足够，此时认为训练效果趋于稳定，可以求得参数最优解。对元学习者的训练学习完成。
需要说明的是，以上第一预设阈值和第二预设阈值均可根据实际需求进行设置，此处对于取值不做限制。
当预设训练截止条件满足时，执行S104，以停止训练。而当预设训练截止条件不满足时，表示还需要执行下一轮的内部更新，因此可以执行S105。
S104：停止训练。
S105：将更新后的衰减系数作为第k+1轮衰减系数。
本步骤即是将步骤102获得的更新后的衰减系数(参见表达式(5))作为第k+1轮N步内部更新中第2～N步使用的衰减系数。参见图2中更新衰减系数γ后的指示箭头的方向。
以上即为本申请实施例提供的元学习方法。该方法中，利用训练集和第一学习率对元学习者进行第k轮N步内部更新；第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数。通过第k轮N步内部更新，可以获得第k轮的第N步内部更新后的元学习者，即元学习者经过第k轮N步内部更新后的产物。本申请中还利用验证集、第二学习率和第k轮的第N步内部更新后的元学习者对第k轮衰减系数进行更新，得到更新后的衰减系数。可见，在本申请中每一轮N步内部更新的结果可以用以调整下一轮对第一学习率的衰减系数，实现了第一学习率的衰减系数的自适应调整。在更新过衰减系数后，可以继续判断预设训练截止条件是否满足，当预设训练截止条件满足时，则停止训练；当预设训练截止条件不满足时，则将更新后的衰减系数作为第k+1轮衰减系数，以便于执行对元学习者的第k+1轮N步内部更新。
本申请技术方案通过判断元学习者内部更新之后的性能来判断当前的学习率衰减规则是否有利于元学习者的内部更新。以此实现对学习率的衰减系数的自适应调整。在不同轮内部更新元学习者时，以不同的衰减系数对内部更新学习率进行衰减，从而使内部更新逐轮完善、逐轮优化，最终完成元学习的过程。该方法提升了元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。
以上实施例提供的元学习方法及后文中即将介绍的元学习装置可以应用在多种领域、多种场景中。作为示例，在人脸识别技术领域中以及人脸活体检测技术领域中常面对的非常重要的问题是：如何在没有遇到过场景，且该场景数据量特别小的情况下也能达到比较好的效果(即人脸识别效果和人脸活体检测效果，效果通常可以通过速度、准确度、精度、鲁棒性等方面表示)。
为了使元学习者在这些技术领域中以较好的应用效果解决场景迁移问题，可以采用本申请实施例提供的元学习方法和元学习装置进行元学习。
以人脸识别场景为例：
在上文介绍的元学习方法中，训练集包括M个人脸识别图像和人脸识别标签对；验证集包括W个人脸识别图像和人脸识别标签对。通常训练集的数据和标签对要多于验证集的数据和标签对，因此M可以大于W。
在M个人脸识别图像和人脸识别标签对中，包括：m1个第一类的人脸识别图像和人脸识别标签对，以及m2个第二类的人脸识别图像和人脸识别标签对；W个人脸识别图像和人脸识别标签对，包括：w1个第一类的人脸识别图像和人脸识别标签对，以及w2个第二类的人脸识别图像和人脸识别标签对。
假设第一类和第二类分别代表元学习者在应用场景迁移前和应用场景迁移后分别对应的数据标签对类别。例如，元学习者在应用场景迁移前，用途是对亚洲面孔进行人脸识别。因此第一类可以是亚洲类。元学习者在应用场景迁移后，用途是对欧洲面孔进行人脸识别。因此第二类可以是欧洲类。
在训练集和验证集中，第一类数据标签对的数量大于第二类数据标签对的数量。因此m1大于m2，w1大于w2。即第二类是少量的数据。利用以上训练集和验证集对元学习者进行元学习训练，使得训练结束后，对于第二类的人脸识别图像，能够获得较准确的识别结果。
以人脸活体检测场景为例：
在上文介绍的元学习方法中，训练集包括M个人脸活体检测图像和人脸活体检测标签对；验证集包括W个人脸活体检测图像和人脸活体检测标签对。通常训练集的数据和标签对要多于验证集的数据和标签对，因此M可以大于W。
在M个人脸活体检测图像和人脸活体检测标签对中，包括：m3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及m4个第二场景的人脸活体检测图像和人脸活体检测标签对；在W个人脸活体检测图像和人脸活体检测标签对中，包括：w3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及w4个第二场景的人脸活体检测图像和人脸活体检测标签对。
假设第一场景和第二场景分别代表迁移前应用场景和迁移后应用场景。例如，元学习者在应用场景迁移前，用途是对铁路站口闸机处采集的图像进行人脸活体检测。因此第一场景可以是检票进站场景。元学习者在应用场景迁移后，用途是对银行ATM机前进行人脸活体检测。因此第二场景可以金融业务办理场景。
在训练集和验证集中，第一类数据标签对的数量大于第二类数据标签对的数量。因此m1大于m2，w1大于w2。即第二类是少量的数据。利用以上训练集和验证集对元学习者进行元学习训练，使得训练结束后，对于第二场景的人脸活体检测图像，能够获得较准确的检测结果。
基于前述实施例提供的元学习方法，相应地，本申请还提供一种元学习装置。以下结合实施例和附图对该装置的具体实现进行描述和说明。
装置实施例
参见图3，该图为本申请实施例提供的一种元学习装置的结构示意图。如图3所示的元学习装置300包括：
内部更新模块301，用于利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
衰减系数更新模块302，用于利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断模块303，用于判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，指示所述内部更新模块301和所述衰减系数更新模块302停止工作；当所述预设训练截止条件不满足时，指示所述内部更新模块301将所述更新后的衰减系数作为第k+1轮衰减系数继续进行第k+1轮N步内部更新。
本申请技术方案通过判断元学习者内部更新之后的性能来判断当前的学习率衰减规则是否有利于元学习者的内部更新。以此实现对学习率的衰减系数的自适应调整。在不同轮内部更新元学习者时，以不同的衰减系数对内部更新学习率进行衰减，从而使内部更新逐轮完善、逐轮优化，最终完成元学习的过程。该元学习装置提升了元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。
可选地，内部更新模块301，具体包括：
参数第一获取单元，用于在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
参数第二获取单元，用于在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数。
可选地，当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数。当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。
可选地，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。
可选地，参数第二获取单元，具体包括：
第一计算子单元，用于获得所述第一学习率、所述第k轮衰减系数的j-1次幂和所述对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果的第一乘积；
第二计算子单元，用于获得所述第j-1步内部更新后的元学习者的参数与所述第一乘积的第一差值，将所述差值作为所述第j步内部更新后的元学习者的参数。
可选地，衰减系数更新模块302，具体包括：
第三计算子单元，用于获得所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失；
第四计算子单元，用于对所述第二损失进行梯度下降，得到所述第二损失的梯度下降结果；
第五计算子单元，用于获得所述第二损失的梯度下降结果和所述第二学习率的第二乘积；
第六计算子单元，用于获得所述第k轮衰减系数和所述第二乘积的第二差值作为所述更新后的衰减系数。
可选地，所述验证集包括第k轮对应的验证集；
所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失，具体为：所述第k轮的第N步内部更新后的元学习者的参数在所述第k轮对应的验证集上的第二损失。
可选地，所述预设训练截止条件以下任意一种：
所述更新后的衰减系数等于0；或者，
所述更新后的衰减系数与所述第k轮衰减系数的差值的绝对值小于第一预设阈值；或者，
所述k超过第二预设阈值。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (16)

1.一种元学习方法，其特征在于，包括：
利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数；
所述利用训练集和第一学习率对元学习者进行第k轮N步内部更新，具体包括：
在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
在所述第k轮的第j步内部更新过程中，根据第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数；
所述训练集包括M个人脸图像和人脸标签对；所述验证集包括W个人脸图像和人脸标签对。
2.根据权利要求1所述的方法，其特征在于，
当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数；
当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。
3.根据权利要求1所述的方法，其特征在于，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。
4.根据权利要求1所述的方法，其特征在于，所述在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数，具体包括：
获得所述第一学习率、所述第k轮衰减系数的j-1次幂和所述对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果的第一乘积；
获得所述第j-1步内部更新后的元学习者的参数与所述第一乘积的第一差值，将所述差值作为所述第j步内部更新后的元学习者的参数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数，具体包括：
获得所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失；
对所述第二损失进行梯度下降，得到所述第二损失的梯度下降结果；
获得所述第二损失的梯度下降结果和所述第二学习率的第二乘积；
获得所述第k轮衰减系数和所述第二乘积的第二差值作为所述更新后的衰减系数。
6.根据权利要求5所述的方法，其特征在于，所述验证集包括第k轮对应的验证集；
所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失，具体为：所述第k轮的第N步内部更新后的元学习者的参数在所述第k轮对应的验证集上的第二损失。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述预设训练截止条件以下任意一种：
所述更新后的衰减系数等于0；或者，
所述更新后的衰减系数与所述第k轮衰减系数的差值的绝对值小于第一预设阈值；或者，
所述k超过第二预设阈值。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述人脸图像包括人脸识别图像，所述人脸标签对包括人脸识别标签对，所述训练集包括M个人脸识别图像和人脸识别标签对；所述验证集包括W个人脸识别图像和人脸识别标签对。
9.根据权利要求8所述的方法，其特征在于，所述M个人脸识别图像和人脸识别标签对，包括：m1个第一类的人脸识别图像和人脸识别标签对，以及m2个第二类的人脸识别图像和人脸识别标签对；
所述W个人脸识别图像和人脸识别标签对，包括：w1个第一类的人脸识别图像和人脸识别标签对，以及w2个第二类的人脸识别图像和人脸识别标签对。
10.根据权利要求1-4任一项所述的方法，其特征在于，所述人脸图像包括人脸活体检测图像，所述人脸标签对包括人脸活体检测标签对，所述训练集包括M个人脸活体检测图像和人脸活体检测标签对；所述验证集包括W个人脸活体检测图像和人脸活体检测标签对。
11.根据权利要求10所述的方法，其特征在于，所述M个人脸活体检测图像和人脸活体检测标签对，包括：m3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及m4个第二场景的人脸活体检测图像和人脸活体检测标签对；
所述W个人脸活体检测图像和人脸活体检测标签对，包括：w3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及w4个第二场景的人脸活体检测图像和人脸活体检测标签对。
12.一种元学习装置，其特征在于，包括：
内部更新模块，用于利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
衰减系数更新模块，用于利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断模块，用于判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，指示所述内部更新模块和所述衰减系数更新模块停止工作；当所述预设训练截止条件不满足时，指示所述内部更新模块将所述更新后的衰减系数作为第k+1轮衰减系数继续进行第k+1轮N步内部更新；
所述内部更新模块，具体包括：
参数第一获取单元，用于在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
参数第二获取单元，用于在所述第k轮的第j步内部更新过程中，根据第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数；
所述训练集包括M个人脸图像和人脸标签对；所述验证集包括W个人脸图像和人脸标签对。
13.根据权利要求12所述的装置，其特征在于，当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数；当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。
14.根据权利要求12所述的装置，其特征在于，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。
15.根据权利要求12所述的装置，其特征在于，所述参数第二获取单元，具体包括：
第一计算子单元，用于获得所述第一学习率、所述第k轮衰减系数的j-1次幂和所述对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果的第一乘积；
第二计算子单元，用于获得所述第j-1步内部更新后的元学习者的参数与所述第一乘积的第一差值，将所述差值作为所述第j步内部更新后的元学习者的参数。
16.根据权利要求12-15任一项所述的装置，其特征在于，所述衰减系数更新模块，具体包括：
第三计算子单元，用于获得所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失；
第四计算子单元，用于对所述第二损失进行梯度下降，得到所述第二损失的梯度下降结果；
第五计算子单元，用于获得所述第二损失的梯度下降结果和所述第二学习率的第二乘积；
第六计算子单元，用于获得所述第k轮衰减系数和所述第二乘积的第二差值作为所述更新后的衰减系数。
CN202011640188.8A 2020-12-31 2020-12-31 一种元学习方法及相关装置 Active CN112884160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640188.8A CN112884160B (zh) 2020-12-31 2020-12-31 一种元学习方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640188.8A CN112884160B (zh) 2020-12-31 2020-12-31 一种元学习方法及相关装置

Publications (2)

Publication Number Publication Date
CN112884160A CN112884160A (zh) 2021-06-01
CN112884160B true CN112884160B (zh) 2024-03-12

Family

ID=76046658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640188.8A Active CN112884160B (zh) 2020-12-31 2020-12-31 一种元学习方法及相关装置

Country Status (1)

Country Link
CN (1) CN112884160B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115993B (zh) * 2020-09-11 2023-04-07 昆明理工大学 一种基于元学习的零样本和小样本证件照异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183587A1 (ja) * 2016-04-18 2017-10-26 日本電信電話株式会社 学習装置、学習方法および学習プログラム
CN109885728A (zh) * 2019-01-16 2019-06-14 西北工业大学 基于元学习的视频摘要方法
CN109919299A (zh) * 2019-02-19 2019-06-21 西安交通大学 一种基于元学习器逐步梯度校正的元学习算法
CN111160102A (zh) * 2019-11-29 2020-05-15 北京爱笔科技有限公司 人脸防伪识别模型的训练方法、人脸防伪识别方法及装置
CN111753964A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 神经网络的训练方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183587A1 (ja) * 2016-04-18 2017-10-26 日本電信電話株式会社 学習装置、学習方法および学習プログラム
CN109885728A (zh) * 2019-01-16 2019-06-14 西北工业大学 基于元学习的视频摘要方法
CN109919299A (zh) * 2019-02-19 2019-06-21 西安交通大学 一种基于元学习器逐步梯度校正的元学习算法
CN111160102A (zh) * 2019-11-29 2020-05-15 北京爱笔科技有限公司 人脸防伪识别模型的训练方法、人脸防伪识别方法及装置
CN111753964A (zh) * 2020-06-29 2020-10-09 北京百度网讯科技有限公司 神经网络的训练方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Meta Model for Zero- and Few-shot Face Anti-spoofing;Yunxiao Qin, ea al;《arXiv》;第1-8页 *
Sungyong Baik,et al.Learning to Forget for Meta-Learning.《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》.2020,第2376-2384页. *

Also Published As

Publication number Publication date
CN112884160A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
EP3459017B1 (en) Progressive neural networks
US20170004399A1 (en) Learning method and apparatus, and recording medium
CN111279362B (zh) 胶囊神经网络
EP3711000B1 (en) Regularized neural network architecture search
US20190279089A1 (en) Method and apparatus for neural network pruning
EP3398117B1 (en) Augmenting neural networks with external memory
Schäfer et al. Recurrent neural networks are universal approximators
CN106845401B (zh) 一种基于多空间卷积神经网络的害虫图像识别方法
US9129222B2 (en) Method and apparatus for a local competitive learning rule that leads to sparse connectivity
CN114049513A (zh) 一种基于多学生讨论的知识蒸馏方法和系统
US20140032458A1 (en) Apparatus and methods for efficient updates in spiking neuron network
CN109389207A (zh) 一种自适应神经网络学习方法及神经网络系统
CN114912612A (zh) 鸟类识别方法、装置、计算机设备及存储介质
CN109886343B (zh) 图像分类方法及装置、设备、存储介质
CN110516095A (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
Pietron et al. Retrain or not retrain?-efficient pruning methods of deep cnn networks
CN113627545A (zh) 一种基于同构多教师指导知识蒸馏的图像分类方法及系统
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
CN113128478A (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
EP3698284A1 (en) Training an unsupervised memory-based prediction system to learn compressed representations of an environment
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN112884160B (zh) 一种元学习方法及相关装置
WO2020195940A1 (ja) ニューラルネットワークのモデル縮約装置
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
Makwe et al. An empirical study of neural network hyperparameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant