CN116384495A - 元输入方法及系统和基于元输入用户中心推导方法及系统 - Google Patents

元输入方法及系统和基于元输入用户中心推导方法及系统 Download PDF

Info

Publication number
CN116384495A
CN116384495A CN202211615785.4A CN202211615785A CN116384495A CN 116384495 A CN116384495 A CN 116384495A CN 202211615785 A CN202211615785 A CN 202211615785A CN 116384495 A CN116384495 A CN 116384495A
Authority
CN
China
Prior art keywords
input
meta
test data
data
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211615785.4A
Other languages
English (en)
Inventor
鲁勇满
刘永俊
金珉秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220020921A external-priority patent/KR20230091741A/ko
Priority claimed from KR1020220128314A external-priority patent/KR20240048689A/ko
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN116384495A publication Critical patent/CN116384495A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种用于再利用已学习的深度学习模型的元输入方法以及系统和基于元输入的用户中心推导方法以及系统。一实施例的用于再利用由计算机装置执行的已学习的深度学习模型的元输入方法可包括如下步骤：根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化；以及向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。

Description

元输入方法及系统和基于元输入用户中心推导方法及系统
技术领域
以下实施例涉及用于再利用已学习的深度学习模型的元输入方法以及系统和基于元输入的用户中心推导方法以及系统，更详细地，涉及无需再次学习已学习的深度学习模型即可通过新测试数据维持高推导性能的方法以及系统。
背景技术
当前，我们生活在能够影响个人生活且影响整个社会的技术发展时代。随着技术发展，基于图形处理单元(GPU，Graphic Processing Unit)计算资源以大量的学习数据学习的深度学习(Deep Learning)模型用于物联网(IoT，Internet of Things)设备或边缘设备(edge-device)等用户中心推导应用。当已学习的数据与用户要使用的数据相似时，这种深度学习模型具有优秀的推导性能，因此，可有效用于自动驾驶、医疗诊断、安全、自动化领域的物体检测、识别、异常检测等。但是，当将已学习的深度学习模型应用于用户中心应用领域时，若用户输入数据与已学习的数据不同，则模型推导性能将显著降低。实际上，大部分学习数据和用户环境不同，因此，存在为了确保用户的测试数据中的性能而需要消耗大量时间再次学习深度学习模型的不便。由于用户的测试数据随着用户所处环境及使用方式而产生变化，因此，当按照实际用户环境符合应用基于学习时使用的学习数据学习的深度学习模型时，存在性能层面上的大问题。
现有的深度学习模型需要利用庞大的数据学习，因此，完成模型需要长时间的学习。当输入数据在推导过程中变为与学习数据相似的环境时，虽然以这种方式学习的深度学习模型可获得预期性能，但是，随着环境的变化，若输入数据与学习数据变得不同，则将导致模型性能降低。根本问题在于，当再次学习时，这种基于数据的深度学习存在灾难性遗忘(Catastrophic forgetting)现象、新类(class)添加问题、环境变化引起的数据问题。
现有技术文献
非专利文献
非专利文献1：Dong-Hyun Lee et al.Pseudo-label:The simple and efficientsemi-supervised learning method for deepneural networks.In Workshop onchallenges in representation learning,ICML,volume 3,page896,2013.
发明内容
技术问题
本发明实施例的目的在于，当以用户中心推导已学习的深度学习模型时，通过在使用过程中生成符合用户环境的元输入并将其与输入数据一并用于推导来维持用户环境中的推导性能，而无需再次学习深度学习模型。
但是，本实施例所要解决的技术目的并不限定于上述目的，可在不脱离本实施例的技术思想及领域的范围内进行多种扩展。
解决问题的方案
本发明一实施例的元输入方法用于再利用由计算机装置执行的已学习的深度学习模型，其可包括如下步骤：根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化；以及向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。
在将上述元输入最优化的步骤中，可通过反向传播来以基于梯度(gradient)的学习算法将上述元输入最优化。
在向测试数据添加最优化的上述元输入的上述步骤中，可通过向测试数据添加最优化的上述元输入来以符合上述学习数据的分布的方式移动或排列用户环境的上述测试数据的分布。
在向测试数据添加最优化的上述元输入的上述步骤中，随着通过最优化的上述元输入来使用户环境的上述测试数据的分布与上述学习数据的分布相符，可在不同于学习的其他环境下也能够应用已学习的黑箱深度神经网络已经学习的知识。
上述元输入方法还可包括如下步骤，即，若在将上述元输入最优化之前存在已学习的上述深度学习模型，则在用户环境的上述测试数据分布中生成上述元输入。
在生成上述元输入的步骤中，可通过用户环境的测试数据的样本的真实信息(ground truth)生成上述元输入。
在生成上述元输入的步骤中，对用户环境的测试数据进行采样，可通过使用上述深度学习模型和采样的上述用户环境的测试数据来生成上述元输入。
本发明可通过向上述深度学习模型输入向用户环境的测试数据添加最优化的上述元输入的输入来进行推导。
本发明再一实施例的元输入系统用于再利用已学习的深度学习模型，其可包括：元输入最优化部，根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化；以及元输入添加部，向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。
上述元输入最优化部可通过反向传播来以基于梯度(gradient)的学习算法将上述元输入最优化。
上述元输入添加部可通过向测试数据添加最优化的上述元输入来以符合上述学习数据的分布的方式移动或排列用户环境的上述测试数据的分布。
上述元输入添加部可通过最优化的上述元输入来使用户环境的上述测试数据的分布与上述学习数据的分布相符，从而在不同于学习的其他环境下也能够应用已学习的黑箱深度神经网络已经学习的知识。
上述元输入系统还可包括元输入生成部，若在将上述元输入最优化之前存在已学习的上述深度学习模型，则在用户环境的上述测试数据分布中生成上述元输入。
上述元输入生成部可通过用户环境的测试数据的样本的真实信息(groundtruth)生成上述元输入。
上述元输入生成部可对用户环境的测试数据进行采样，通过使用上述深度学习模型和采样的上述用户环境的测试数据来生成上述元输入。
本发明可通过向上述深度学习模型输入向用户环境的测试数据添加最优化的上述元输入的输入来进行推导。
本发明另一实施例的基于元输入的用户中心推导方法用于再利用由计算机装置执行的已学习的深度学习模型，其包括如下步骤：若存在已学习的深度学习模型，则在用户环境的测试数据的分布中生成元输入(meta input)；以及通过向上述深度学习模型输入向用户环境的测试数据添加所生成的上述元输入的输入来进行推导，生成上述元输入的步骤可包括如下步骤：根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化；以及向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。
在将上述元输入最优化的步骤中，可通过反向传播来以基于梯度(gradient)的学习算法将上述元输入最优化。
在向测试数据添加最优化的上述元输入的上述步骤中，可通过向测试数据添加最优化的上述元输入来以符合上述学习数据的分布的方式移动或排列用户环境的上述测试数据的分布。
在向测试数据添加最优化的上述元输入的上述步骤中，随着通过最优化的上述元输入来使用户环境的上述测试数据的分布与上述学习数据的分布相符，可在不同于学习的其他环境下也能够应用已学习的黑箱深度神经网络(DNN)已经学习的知识。
发明的效果
根据实施例，可通过生成并一同输入符合用户环境的元输入来促进和激活在用户中心的多种环境中能够使用已学习模型的新研究，而无需再次学习模型。
根据实施例，当使用已学习的深度学习模型进行推导(test)的过程中，即使在输入与已学习的模型学习环境不同的环境数据的测试(test)中，也可通过提供符合用户环境的用于解决上述问题的新人工智能应用技术和系统来使得用户实现高性能效果。
根据实施例，当推导需要庞大数据源及长时间学习的深度学习模型时，为了适应并利用用户环境而无需利用环境变化的测试数据再次学习深度学习模型，可通过一并使用用户立场上符合输入数据的元输入及输入数据来匹配用户应用已学习的深度学习模型。由此，无需再次学习模型，可在推导时的用户的多种环境中使用已学习的深度学习模型。
但是，本实施例的效果并不限定于上述效果，可在不脱离本实施例的技术思想及领域的范围内进行多种扩展。
附图说明
图1A至图1C为用于说明一实施例的在对象检测作业中提出的元输入的使用例的图。
图2为用于说明一实施例的推导步骤中的元输入的最优化的图。
图3为用于说明一实施例的利用最优化的元输入的推导进行说明的图。
图4为示出一实施例的用于再利用已学习的深度学习模型的元输入方法的流程图。
图5为示出一实施例的用于再利用已学习的深度学习模型的元输入系统的框图。
图6为示出一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导方法的流程图。
图7为示出一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导系统的框图。
图8为用于说明一实施例的生成元输入的步骤的图。
图9为用于说明一实施例的推导元输入的步骤的图。
图10以及图11为用于比较说明一实施例的基于元输入的深度学习模型的性能的图。
图12至图14为示出一实施例的当输入数据为图像时的元输入的例的图。
图15至图17为示出一实施例的当输入数据为语音时的元输入的例的图。
图18至图20为示出一实施例的当输入数据为视频时的元输入的例的图。
图21至图23为示出一实施例的通过测试影像和元输入推导的实验结果的图。
图24为示出一实施例的基于元输入的用户中心推导系统的结构的图。
具体实施方式
以下，参照附图说明实施例。但是，所记述的实施例可通过多种其他实施方式变形，本发明的范围并不限定于以下说明的实施例。并且，实施例仅用于本发明所属技术领域的普通技术人员进一步完全理解本发明而提供。在附图中，结构要素的形状及尺寸可被放大示出，以便进一步明确说明本发明。
最近，随着发展，深度神经网络(DNN，Deep Neural Network)在图像分类、物体检测等多个领域中表现出高准确性。由于这种深度学习模型利用庞大的数据进行学习，因此，为了完成深度学习模型而需要长时间的学习。并且，只有在与学习数据相似的环境下才能达到预期性能，若环境产生变化，则存在模型性能降低的问题。实际上，大部分学习数据和用户推导的环境不同，因此，存在为了确保用户的推导数据中的性能而需要再次学习深度学习模型的不便。
以下实施例提供可帮助接收新测试数据的深度学习模型即使在变化的推导环境中也能够维持基准性能的元输入(meta input)信号生成，由此，当测试已学习的深度学习模型时，可通过新测试数据维持高推导性能，而无需再次学习。
实施例提供可生成元输入并从用户的立场上推导的方法，以能够循环利用已学习的深度学习模型，即使学习环境和用户环境产生变化，可使得深度学习网络维持性能的方法。现有深度学习模型可通过优秀的推导性能有效用于自动驾驶、医疗诊断、安全、自动化领域的物体检测、识别、异常检测等。但是，深度学习模型需学习大量数据来完成，为了获得一个模型需要消耗大量的学习时间。并且，在将已学习的深度学习模型适用于应用领域的情况下，若输入数据与学习数据相差较大，则产生模型推导性能降低的问题。本实施例提供的元输入信号生成技术不仅能够直接使用已学习的模型参数，而且，即使在不同于学习数据的测试数据中也能提供高性能。
以下实施例的用于再利用已学习的深度学习模型的元输入方法以及系统和基于元输入的用户中心推导方法以及系统的主旨在于，通过新测试数据维持高推导性能而无需再次学习已学习的深度学习模型。
实施例可生成元输入并将其与输入数据一并用于用户边缘推导。在此情况下，当用户按照工作目的进行边缘推导时，在使用已学习的深度学习模型的立场上符合用户推导环境生成元输入。即，实施例可利用用户的应用数据的分布生成元输入并基于其元输入和已学习的深度学习模型实现最高性能的推导。
由此，实施例提供如下技术，即，当将已学习的模型用于用户中心推导时，可将已学习的模型直接用作符合用户中心环境的新人工智能应用技术。尤其，当通常用于影像处理的深度学习模型应用于用户中心环境中的边缘设备时，随着因各种原因而产生噪声，为了解决因设备的意外输出引起的错误而导致深度学习模型的可靠性及便利性降低的问题，实施例通过提供解决方法来确保有效性。为此，提供即使在掺杂噪音的用户中心测试环境中也能够维持深度学习模型性能而无需再次学习的算法。本实施例的目的在于，当在用户中心环境中推导需要庞大数据及长时间学习的深度学习模型时，无需再次学习深度学习模型即可使用。当用户中心推导时，生成元输入并与输入数据一并使用。由此，即使接收与已学习的模型完全不同特性的数据，用户也可一并使用元输入来维持深度学习模型的性能。这作为在用户中心推导中分离学习模型和用户推导的想法，可意味着在基于数据的深度学习模型应用过程中推导时进行处理的新方法。
以下，说明用于再利用已学习的深度学习模型的元输入方法以及系统。其中，将黑箱深度神经网络中的元输入方法以及系统作为示例进行说明。
实施例提供最终用户通过深度神经网络(DNN)的输入等级变换在自身测试环境中能够应用已学习的黑箱(Black Box)深度神经网络的新访问方式。具体地，为了减少学习与测试之间的环境差异，实施例提供用于变换所设计的测试数据的称为元输入的添加输入。已知这种差异能够降低已学习的黑箱深度神经网络的性能，结果导致深度神经网络在实际环境中缺失实用性。所提供的访问方式不同于需要微调模型的现有应用方式，将已学习的模型视作黑箱。因此，在不修改网络体系结构及加权值参数的情况下，可获得所提供的元输入。为此，考虑输入数据与模型的输出预测之间的关系来将元输入最优化。接着，为了按照原来使用的学习数据的分布移动并排列而向测试数据添加测试数据的分布。结果，最终用户可在不同于学习的自身测试环境中应用黑箱模型。在包括图像分类、对象检测及视觉语音识别在内的多种应用领域中，可验证为了提高黑箱深度神经网络的性能提供的元输入的实用性及效果。
近年来，随着深度学习的大幅发展，基于大规模数据库学习的深度神经网络(DNN)在计算机视觉、自然语言处理、语音处理等多种领域中表现出令人印象深刻的性能。但是，在实际应用领域的发挥强大性能并应用其的层面上存在一个关键问题。即，学习与测试之间的环境差异。已知学习与测试数据之间的分布差异导致深度神经网络的性能显著降低。因此，即使接收最先进模型之一，用户也无法在自身测试环境中体验到其强大功能。
图1A至图1C为用于说明一实施例的在对象检测作业中提出的元输入的使用例的图。
例如，如图1A所示，在晴朗天气条件下学习的黑箱对象检测器110可在相同实验条件下成功执行检测。但是，如图1B所示，当用户要在恶劣天气条件下应用这种模型时，黑箱对象检测器110可无法正常执行对象检测。在此情况下，当前用户不应在不符合学习环境的环境下使用模型。
作为解决这种问题的一种方向有域适应(DA，DomainAdaptation)，其目的在于，通过学习域不变表示来减少源域与目标域之间的域差距。但是，通常域适应方法为了学习而需要了解网络的内部结构(即，白箱(white-box))，并且，同时需要一个源数据库和一个目标数据库，最终用户了解网络体系结构可能既耗时又困难。
本实施例着重开发在推导步骤(即，端点(end point))中移动的数据分布下享受已学习的深度神经网络模型的性能的方法。因此，其目的在于，提供将模型视作黑箱(即，在不了解模型的架构和微调的情况下)来提供用户能够控制模型并使其符合测试环境的框架。最近，随着在深度神经网络的输入级别变换取得成功，受到将原来学习的工作变换为另一工作的刺激，实施例可代替改变已学习的模型的加权值参数使用称为元输入的添加输入来使得测试数据的分布匹配学习数据。具体地，在实施例中，假设在其他环境中采用黑箱模型的用户在无法访问学习模型所需数据的状态下处于仅能够使用指定(或未指定标签)标签的少量测试数据的状态。随后，所提供的框架通过实现元输入的最优化来变换测试输入数据匹配学习数据。
如图1C所示，所提供的元输入可存储在实验数据中，由此，即使在恶劣天气下，也可使得黑箱对象检测器110正常工作。像这样，在元输入120的帮助下，即使在恶劣的天气条件下，黑箱对象检测器110也可对捕获的测试数据执行适当检测。元输入120可将测试数据的分布变换成学习数据的分布，其中，学习数据可用于黑箱对象检测器110的学习。
通过提供的元输入120，已学习的模型学习的知识可扩张到多种测试环境，而无需网络体系结构和加权值参数的修改。因此，用户可通过管理相当于环境的元输入120来在自身测试数据中体验提高至现有深度神经网络的性能。元输入120可通过反向传播来以基于梯度(gradient)的所有学习算法轻松最优化。通过对于图像分类、对象检测、视觉语音识别等三种工作的广范围实验来示出所提供方法的效果及实际可用性。
本实施例的主要效果如下所述。在用户只能访问输入及模型的输出预测的黑箱设定所提供的元输入可将测试数据的分布匹配于学习数据的分布。因此，黑箱深度神经网络已经学习的知识也可应用于与学习不同的环境。并且，不同于修改网络的加权值参数并同时利用源及目标域数据的现有域适应方法，所提供的元输入无需模型局部调节，仅用几种测试数据即可。并且，所提供方法的实用性可在基本图像分类工作中的对象检测及视觉语音识别工作之前得到广泛验证。
深度神经网络为了提取数据的基本特征表现而广泛采用。为了学习这种基本深度神经网络，假设学习及测试数据均来自相同分布并共享相似的共同概率分布。然而，在实际场景中，由于学习集合测试集可从不同特征及分布中导出，因此，将轻易违反其限制条件。为了解决上述问题，现有的研究人员致力于称为域适应(DA)的研究领域。域适应是指使得基于充分的标签和数据大小(即，源域)学习的深度神经网络在不同分布(即，目标域)中对于采样的数据有效执行泛化的技术。域适应可分为基于分布的域适应、基于对抗性的域适应、基于重建的域适应。域适应的大部分现有工作着重于通过修改模型架构或对于再次学习的添加成本来提高模型性能。并且，通常同时需要源域数据和目标域数据。
不同于域适应，实施例提供无需了解模型架构及微调的称为元输入的新方法。所提供的元输入是指用于变换深度神经网络的测试输入的添加输入。因此，随着对于源域数据将已学习的深度神经网络处理为黑箱，元输入可通过将测试输入分布变换为用于构建黑箱模型的学习数据来提高模型的性能。
最近，输入转换(Input Transformation)方法因在不修改加权值参数的情况下与已学习的模型相互作用而引起了极大的关注。例如，已学习的深度神经网络可通过重新编程分类手写数字目标任务(例如，数字分类)以对源任务(例如，ImageNet分类)进行样本级别分类。为此，需预先构建源任务的类标签与目标任务的类标签之间的映射功能。若完成这种类映射流程，则在输入图像周围应用帧形状的恶意扰动来执行目标任务。实施例提供最终产品用户无需考虑学习与测试环境之间的差异且为了特定工作开发的能够通过现有深度神经网络进行工作的使用输入变换的架构。不同于上述输入变换工作，实施例着重于无需考虑其他工作环境且在与普通开发环境不同的用户环境中使用黑箱深度神经网络的方法。
实施例考虑用户可访问能够执行特定任务(例如，图像分类等)的已学习的深度神经网络。如下所示，神经网络f对于由Ns样本构成的源域数据、
Figure BDA0004001647930000111
的学习数据进行预学习，可如下所示。
数学式1
Figure BDA0004001647930000112
其中，
Figure BDA0004001647930000113
和/>
Figure BDA0004001647930000114
分别相当于第i个源域样本的标签，/>
Figure BDA0004001647930000115
表示对于任务定义的目标函数，Θ为神经网络的可学习参数。
接着，已学习的模型可视作适当执行对于源域数据的预测的映射函数
Figure BDA0004001647930000121
这由Θ*实现参数化。
假设用户向由指定标签的样本Nl，t和未指定标签的样本Nu，t构成的目标域数据
Figure BDA0004001647930000122
自身测试数据应用模型。其中，/>
Figure BDA0004001647930000123
及/>
Figure BDA0004001647930000124
在通常情况下，指定标签的样本相比于源域数据非常小。即，0≤Nl，t＜＜Ns。通常，由于目标域可根据用户要应用的环境而产生动态变更，因此，目标域数据的分布可不同于源域数据的分布。在此情况下，已学习的模型因学习与测试环境的不匹配而导致用户无法适当预测要测试的数据/>
Figure BDA0004001647930000125
为了处理这种问题，本实施例提供作为应用于测试数据的添加输入的元输入W，以使得已学习的黑箱模型对于目标域数据正常执行预测。因此，在Xt仅添加采样的测试数据提供的元输入W，由此，无需通过黑箱处理原来已学习的模型参数Θ*修改及模型即可构建映射函数
Figure BDA0004001647930000126
以下，参照图2及图3说明目标测试数据指示黑箱网络所需的源训练数据和具有其他分布时提供的元输入的概要。
元输入可通过检查输入与输出关系来在推导步骤中最优化。由于已学习的模型视作黑箱，因此，在最优化过程中，加权值参数不会被修改。最优化后，元输入添加到用户要工作的测试样本。若添加元输入，则测试数据的分布与已学习的模型相匹配，由此，可获得强力的性能。
图2为用于说明一实施例的推导步骤中的元输入的最优化的图。
参照图2，表示在推导步骤中元输入的最优化流程。由于所提供的元输入W 220可学习且通用，因此，被最优化后，可一次性存储于所有目标域数据210。可通过检查由元输入220处理的目标输入与模型预测分数之间的关系来最优化元输入220。随后，最优化的元输入可将目标域数据的分布变换为学习源域数据的分布，并且，使得已学习的模型230也在目标域数据210适当执行。
为此，以下将数据类型假设为图像。若接收目标输入图像，则与输入图像大小相同的元输入
Figure BDA0004001647930000127
占据整个图像，其中，H、W、C分别为高度、宽度、频道的尺寸。
为了在潜在空间中将目标域图像变换为源域，实施例按照
Figure BDA0004001647930000131
向目标域图像添加元输入W来应用输入级别变换。其中，/>
Figure BDA0004001647930000132
为变换的图像。最优化的元输入W*可通过解决如下所述的最优化问题来获得。
数学式2
Figure BDA0004001647930000133
其中，可使用基于梯度的学习算法解决。无需更新已学习的模型参数Θ*最小化工作损失
Figure BDA0004001647930000134
可通过最优化元输入来使得目标域图像在潜在控制中获得与源域数据相似的分布。
图3为用于说明一实施例的利用最优化的元输入的推导进行说明的图。
如图3所示，最优化的元输入W*320可通过各个要素之和应用于目标输入图像。因此，作为最优化的元输入320给出的已学习的模型fΘ*330可通过以下公式
Figure BDA0004001647930000135
在测试数据310中强力执行。其中，/>
Figure BDA0004001647930000136
为对于用户要测试的未指定标签的目标数据xu，t的预测结果。即使假设可使用指定标签的目标域数据xl，t(即，0＜Nl,t)，在没有指定标签的目标域数据(即，Nl,t＝0)的情况下，可采用用于解决最优化问题的现有无监督方法(非专利文献1)。例如，实施例可使用优先使用已学习的模型330将未指定标签的样本赋予伪(pseudo)标签并使用伪标签进行学习的自学习方法(非专利文献1)。基于模型信任的伪标签可按照如下方式形成。
数学式3
Figure BDA0004001647930000137
其中，α和β用于将预测用作实际标签的模型信任范围。可使用获得的伪标签
Figure BDA0004001647930000138
轻松解决数学式2的最优化问题。
最优化的元输入W*320可变换测试输入xu，t并将测试输入传输于潜在空间的源域。因此，已学习的模型330可适当处理域移动样本并向最终用户提供准确的预测340。
图4为示出一实施例的用于再利用已学习的深度学习模型的元输入方法的流程图。
参照图4，本发明一实施例的元输入方法用于再利用由计算机装置执行的已学习的深度学习模型，其可包括：步骤S110，根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化；以及步骤S120，向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。
根据实施例，用于再利用已学习的深度学习模型的元输入方法还可包括如下步骤，即，若在将元输入最优化之前存在已学习的深度学习模型，则在用户环境的测试数据分布中生成元输入。
以下，进一步详细说明本发明一实施例的用于再利用已学习的深度学习模型的元输入方法。
本发明一实施例的用于再利用已学习的深度学习模型的元输入方法可例举本发明一实施例的用于再利用已学习的深度学习模型的元输入系统进行说明。
图5为示出一实施例的用于再利用已学习的深度学习模型的元输入系统的框图。
参照图5，本发明一实施例的用于再利用已学习的深度学习模型的元输入系统500可包括元输入最优化部510及元输入添加部520。根据实施例，用于再利用已学习的深度学习模型的元输入系统500还可包括元输入生成部。
在步骤S110中，元输入最优化部510可根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化。元输入最优化部510可通过反向传播来以基于梯度(gradient)的学习算法将元输入最优化。
在步骤S120中，元输入添加部520可向测试数据添加最优化的元输入以将用户环境的测试数据的分布变换成用于构建深度学习模型的学习数据的分布。更具体地，元输入添加部520可通过向测试数据添加最优化的元输入来以符合学习数据的分布的方式移动或排列用户环境的测试数据的分布。像这样，元输入添加部520可通过最优化的元输入来使用户环境的上述测试数据的分布与学习数据的分布相符，从而在不同于学习的其他环境下也能够应用已学习的黑箱深度神经网络已经学习的知识。
实施例可通过向深度学习模型输入向用户环境的测试数据添加最优化的元输入的输入来进行推导。
另一方面，还可包括元输入生成部，若在将元输入最优化之前存在已学习的上述深度学习模型，则在用户环境的测试数据分布中生成元输入。
元输入生成部可通过用户环境的测试数据的样本的真实信息(ground truth)生成元输入。元输入生成部对用户环境的测试数据进行采样，可通过使用深度学习模型和采样的用户环境的测试数据来生成元输入。另一方面，元输入生成部可包括在参照图7说明的生成部，或者，可包括生成部。
如上所述，实施例提供向测试输入内容添加元输入的技术，由此，当测试已学习的深度学习模型时，无需再次学习，可通过芯测试数据维持高推导性能。
以下，说明用于再利用已学习的深度学习模型的基于元输入的用户中心推导方法以及系统。
图6为示出一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导方法的流程图。
参照图6，本发明一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导方法可包括：步骤S210，若存在已学习的深度学习模型，则在用户环境的测试数据的分布中生成元输入(meta input)；以及步骤S220，通过向深度学习模型输入向用户环境的测试数据添加所生成的元输入的输入来进行推导。
其中，生成元输入的步骤可包括如下步骤：根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入(meta input)最优化；以及向测试数据添加最优化的元输入以将用户环境的测试数据的分布变换成用于构建深度学习模型的学习数据的分布。另一方面，元输入最优化步骤可包括参照图4及图5说明的步骤S110，或者，可属于步骤S110，向测试数据添加最优化的元输入的步骤可包括参照图4及图5说明的步骤S120，或者，可包括在步骤S120中。
本发明一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导方法可例举用于再利用已学习的深度学习模型的基于元输入的用户中心推导系统进行说明。
图7为示出一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导系统的框图。并且，图8为用于说明一实施例的生成元输入的步骤的图，图9为用于说明一实施例的推导元输入的步骤的图。
参照图7，本发明一实施例的用于再利用已学习的深度学习模型的基于元输入的用户中心推导系统700可包括生成部710及推导部720。
在步骤S210中，若存在已学习的深度学习模型，则生成部710在用户环境的测试数据的分布中生成元输入。
参照图8，在步骤S210中，若因学习数据{x}∈D的最优化而存在已学习的深度学习模型fθ～D，则可在用户中心环境的测试数据的分布T中生成元输入W。在此情况下，在步骤S210中，通过用户中心环境的测试数据样本T的真实信息U(ground truth)生成元输入W～T。由此，在步骤S210中，对用户环境的测试数据进行采样，可通过使用深度学习模型和采样的用户环境的测试数据来生成元输入。
在此情况下，元输入可按照以下数学式4表示。
数学式4
Figure BDA0004001647930000161
在本实施例的生成过程中，可通过最小化元输入W～T来最优化以下数学式5的损失函数。
数学式5
Figure BDA0004001647930000162
在步骤S210中，无论通过这种最优化方式生成的元输入W*～T向测试样本分布T输入任何测试数据，即使没有再次学习且直接使用已学习的深度学习模型，也可添加最优化的元输入W*～T来在推导过程中表现出现有的高性能。
在步骤S220中，推导部720通过向已学习的深度学习模型输入向用户环境的测试数据(测试输入数据)添加所生成的元输入的输入来进行推导。
参照图9，如图9的(a)部分所示，若现有的基本图像分类模型为用户环境的输入数据完全不同于学习数据D的噪音环境T，则因不同于已学习的数据的数据特性而发生错误的误分类，从而导致性能显著降低。用于解决这种问题的现有方法通过生成包括用户数据的新学习数据来再次学习深度学习模型(fθ)。但是，这不仅导致学习时间过长，而且，因利用边缘设备的用户无法了解深度网络结构和学习数据的情况较多而存在本身难以再次学习的根本问题。
与此不同地，如图9的(b)部分所示，若利用在步骤S210生成的元输入，则可直接应用已学习的深度学习模型。在步骤S220中，向用户环境的测试数据t’添加最优化的元输入W*～T，并且，可向已学习的深度学习模型输入用户环境的测试数据t’与最优化的元输入W*～T结合的输入。在此情况下，即使使用已学习的深度学习模型也可匹配t’输入的正确答案u’，由此，可在直接使用现有模型参数的同时在新输入数据的分布维持性能使用。
因此，本实施例的基于元输入的用户中心推导方法可通过直接使用外部信号作为已学习的深度学习模型的参数并在不同于学习数据的测试数据中获得高推导性能。此时，外部信号可起到帮助接收新测试数据的深度学习模型表现出最佳性能的作用。
图10以及图11为用于比较说明基于元输入的深度学习模型的性能的图。更详细地，图10的(a)部分为用于说明深度学习模型学习的示图，图10的(b)部分为用于说明深度学习模型推导的示图，图10的(c)部分为用于说明在输入数据与学习数据不同情况下的深度学习模型性能的示图。图11的(a)部分为用于说明基于添加一实施例的元输入的输入数据推导深度学习模型的例示图，图11的(b)部分为用于说明一实施例的元输入获取方法的示图。
参照图10的(a)部分，深度学习模型按照
Figure BDA0004001647930000181
学习。当学习数据D存在最优化的深度学习模型f时，这可通过深度学习模型对于符合D分布的输入x的输出y来学习。
参照图10的(b)部分，用户可通过测试数据确定深度学习模型的性能。在～T≠～D测试数据的分布与学习数据的分布不同的环境下，
Figure BDA0004001647930000182
测试数据与学习数据的数据环境不同。因此，随着L[f～D(t)，u]变大，深度学习模型f～D无法获得t输入的正确答案u。在这种环境下，由于现有方法需通过T+D构建新学习数据来再次将深度学习模型f学习为f～(T+D)，因此，因学习时间变长且实际用户无法了解学习数据的情况较多而难以再次学习。
参照图10的(c)部分，在输入数据与学习数据不同的情况下，即使输入测试数据
Figure BDA0004001647930000183
深度学习性能也非常低。
参照图11的(a)部分，根据一实施例，可通过添加元输入的输入数据推导深度学习模型。若向深度学习模型输入{t}+元输入(meta input)，则随着L[f～D(t+m)，u]变小，深度学习模型(f～D)可获得t输入的正确答案u。由此，无需深度学习模型f的再次学习，具有可向新输入数据使用现有模型f～D的优点。
参照图11的(b)部分，在测试时，可在用户环境的测试数据的分布T中学习并生成元输入W。实施例可生成符合用户的元输入，可利用用户输入数据的分布T与T的真实信息U(ground truth)生成元输入W～T。在此情况下，元输入可按照上述数学式4表示。由此，即使向T内输入任何输入数据，只要添加元输入W～T即可实现高性能的推导。因此，无需再次学习深度学习模型，而且，可向现有模型f～D输入新输入数据t+W～T使用。
根据一实施例，用户可在推导时了解输入分布，实施例采样(sampling)输入分布T。由此，实施例可利用T和已学习的深度学习模型生成元输入W～T。生成元输入的计算量小于再次学习f～(T+D)的计算量。在此情况下，由于用户了解输入数据，因此，也可减少用于T的采样数量。
由此，一实施例的基于元输入的用户中心推导方法可在变化现有学习模型的环境中的推导，可用于在边缘推导维持性能。并且，即使推导用户不了解学习数据也可使用，因此，具有增加实用性的效果。
一实施例的基于元输入的用户中心推导方法可从符合推导环境的输入数据获得适当元输入。例如，若以在非常好的环境下获得的数据获得已学习的深度学习模型，用户可生成符合变化用户环境的元输入并与用户输入数据一并输入，由此，即使用户环境已发生变化也可在已学习的深度学习模型中表现出优秀性能。因此，实施例可通过分离学习模型和用户推导环境的方法来对基于数据的深度学习模型应用提供创新技术。即使在用户边缘推导的情况下，这也可通过生成符合用户环境的元输入来最优化(Optimized)模型使用。
图12至图14为示出一实施例的当输入数据为图像时的元输入的例的图，图15至图17为示出一实施例的当输入数据为语音时的元输入的例的图，图18至图20为示出一实施例的当输入数据为视频时的元输入的例的图。
一实施例的元输入是指使得已学习的深度学习模型的性能表现最优的输入，与输入内容并无关联，可以为用于输入内容的输入。
参照图12至图14，图12的(a)部分、图13的(a)部分及图14的(a)部分表示输入数据t，输入数据为图像(或影像)，图12的(b)部分、图13的(b)部分及图14的(b)部分表示元输入图像W～T，图12的(c)部分、图13的(c)部分及图14的(c)部分表示输入图像与元输入结合的新输入数据t+W～T。
参照图15至图17，图15的(a)部分、图16的(a)部分及图17的(a)部分表示输入数据t，输入数据为音频(或语音)，图15的(b)部分、图16的(b)部分及图17的(b)部分表示元输入音频W～T，图15的(c)部分、图16的(c)部分及图17的(c)部分表示输入音频与元输入结合的新输入数据t+W～T。在此情况下，图15示出对于时间及频率的元输入的例，图16示出对于时间的元输入的例，图17示出对于频率的元输入的例。
参照图18至图20，图18的(a)部分、图19的(a)部分及图20的(a)部分表示输入数据t，输入数据为视频，图18的(b)部分、图19的(b)部分及图20的(b)部分表示元输入视频W～T，图18的(c)部分、图19的(c)部分及图20的(c)部分表示输入视频与元输入结合的新输入数据t+W～T。其中，元输入表示时间及频率。
图21至图23为示出一实施例的通过测试影像和元输入推导的实验结果的图。
参照图21，利用阴天的测试影像与元输入结合的输入数据t+W～T并通过深度学习模型表示在雾天环境下识别汽车的结果u。深度学习模型f～D为通过清晰的影像D学习的模型。
参照图22，在识别特定物体的任务中，利用低性能识别老虎的测试图像与元输入结合的输入数据t+W～T并通过深度学习模型表示高概率识别老虎的结果u。深度学习模型f～D为通过老虎影像D学习的性能低的低层模型。由此可知，元输入基于性能低的基本模型起到提高性能的作用，实施例即使利用低层模型也可通过元输入获得高性能的推导结果。
参照图23，利用测试语音与元输入结合的输入数据t+W～T并通过深度学习模型表示高文字识别性能的语音识别结果u。深度学习模型f～D为通过语音数据D学习的模型。由此，实施例可通过一并使用在用户环境中作为噪音的输入语音数据和元输入来获得高性能的语音识别结果。
即，通过上述图12至图23，实施例可在影像中检测及识别物体。可通过符合用户环境的元输入在大容量数据中长时间学习的物体检测及识别深度学习模型中实现高性能的物体检测及识别。例如，即使在雾天等恶劣天气下，用户也可检测行人及异常物体。
并且，实施例可实现输入音频识别。例如，可在由大容量数据合成的语音识别器按照用户特征噪音环境生成并使用元输入来实现维持性能的语音识别。
并且，实施例可实现视频识别。这可以为行为识别及视频分类。例如，可通过识别安全视频的异常行为并在用户环境中生成元输入来在使用现有行为识别模型的同时维持高性能，而无需考虑天气或环境。
并且，实施例可实现文字识别以及文字变换，可呈现出高文字识别性能。
通常使用的深度学习模型需利用庞大的数据长时间学习。因此，在大多情况下，当用户中心推导时，测试数据环境与学习数据环境不同。因此，当用户中心推导时，在显著变化的状况下，若直接使用已学习的模型，则因性能大幅降低而难以使用。实施例提供在用户环境中元输入的生成及推导方法，当用户中心推导时，无需再次学习已学习的模型即可改善性能。即使不了解已学习的数据和深度学习模型结构，用户中心推导步骤的用户也可使用，当用户中心推导时，分离学习模型与用户推导环境的新方法。当用户环境为噪音环境时，实施例可通过本方法改善性能。由此，本方法可应用于学习环境和测试环境不同的广泛领域。
图24为示出一实施例的基于元输入的用户中心推导系统的结构的图，示出用于执行图1至图23所示方法的服务器或系统的概念结构。
参照图24，本发明一实施例的基于元输入的用户中心推导系统2400包括生成部2410及推导部2420。
若存在已学习的深度学习模型，则生成部2410在用户环境的测试数据的分布中生成元输入(meta input)。
若因学习数据{x}∈D的最优化而存在已学习的深度学习模型fθ～D，则生成部2410可在用户中心环境的测试数据的分布T中生成元输入W。在此情况下，生成部2410通过用户中心环境的测试数据样本T的真实信息U(ground truth)生成元输入W～T。由此，生成部2410对用户环境的测试数据(或输入数据)进行采样，可通过使用深度学习模型和采样的用户环境的测试数据来生成元输入。
在实施例的生成过程中，可通过最小化元输入W～T来最优化损失函数。
无论通过这种最优化方式生成的元输入W*～T向测试样本分布T输入任何测试数据，即使没有再次学习且直接使用已学习的深度学习模型，生成部2410也可添加最优化的元输入W*～T来在推导过程中表现出现有的高性能。
推导部2420通过向已学习的深度学习模型输入向用户环境的测试数据添加所生成的元输入的输入来提供推导结果。
若现有的基本图像分类模型为用户环境的输入数据完全不同于学习数据D的噪音环境T，则因不同于已学习的数据的数据特性而发生错误的误分类，从而导致性能显著降低。用于解决这种问题的现有方法通过生成包括用户数据的新学习数据来再次学习深度学习模型f。但是，这不仅导致学习时间过长，而且，因利用边缘设备的用户无法了解深度网络结构和学习数据的情况较多而存在本身难以再次学习的根本问题。
与此不同地，若利用生成部2410生成的元输入，则可直接应用已学习的深度学习模型。推导部2420向用户环境的测试数据t’添加最优化的元输入W*～T，并且，可向已学习的深度学习模型输入用户环境的测试数据t’与最优化的元输入W*～T结合的输入。在此情况下，即使使用已学习的深度学习模型也可匹配t’输入的正确答案u’，由此，可在直接使用现有模型参数的同时在新输入数据的分布维持性能使用。
因此，实施例的基于元输入的用户中心推导系统2400可通过直接使用外部信号作为已学习的深度学习模型的参数并在不同于学习数据的测试数据中获得高推导性能。此时，外部信号可起到帮助接收新测试数据的深度学习模型表现出最佳性能的作用。
虽然，图24的系统省略了对其的说明，但是，图24中的各个结构要素可包括参照图1至图23说明的所有内容，而这对于本发明所属技术领域的普通技术人而言是显而易见的。
如上所述，可根据实施例使用新测试数据维持高推导性能而无需在测试时再次学习已学习的深度学习模型，并且，可通过构建向测试输入内容添加元输入的输入数据并输入于已学习的深度学习模型来维持性能。并且，元输入信号可直接使用已学习的模型的参数，而且，即使在不同于学习数据的测试数据中也可获得高推导性能。即，元输入信号可起到帮助接收新测试数据的深度学习模型表现出最佳性能的作用。
以上说明的装置可通过硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合来实现。例如，在实施例中说明的装置及结构要素可利用处理器、控制器、算术逻辑单元(ALU，arithmetic logic unit)、数字信号处理器(digital signalprocessor)、微型计算机、现场可编程阵列(FPGA，field programmable array)、可编程逻辑单元(PLU，programmable logic unit)、微型处理器或可执行并响应指令(instruction)的其他装置等的至少一个通用计算机或特殊目标计算机实现。处理装置可执行操作系统(OS)及在上述操作系统上执行的至少一个软件应用程序。并且，处理装置可响应软件的执行来访问、存储、操作、处理及生成数据。为了便于理解，虽说明了仅使用一个处理装置的情况，但是，本发明所属技术领域的普通技术人员应当理解的是，处理装置可包括多个处理要素(processing element)和/或多个类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，还可包括如同并联处理器(parallel processor)等的其他处理结构(processing configuration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一种以上的组合，能够以按需要进行工作的方式构成处理装置或者独立或结合性(collectively)地向处理装置下达指令。软件和/或数据可为了通过处理装置解释或者为了向处理装置提供指令或数据而具体化(embody)为任何类型的机械、结构要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置。软件分散在通过网络连接的计算机系统上，从而可通过分散的方法存储或执行。软件及数据可存储于至少一个计算机可读记录介质。
实施例的方法体现为可通过多种计算机单元执行的程序指令形态来记录在计算机可读介质。上述计算机可读介质可单独或组合包括程序整理、数据文件、数据结构等。记录在上述介质的程序指令可以为用于实施例而特别设计或配置的，也可以为计算机软件领域的普通技术人员已知可用的。作为一例，计算机可读记录介质包括硬盘、软盘及磁盘等磁介质(magnetic media)、CD-ROM及DVD等光记录介质(optical media)、光磁软盘(floptical disk)等磁光介质(magneto-optical medium)及只读内存(ROM)、随机存取内存(RAM)、闪存等用于存储程序指令语言的硬件装置。作为一例，程序指令不仅包括由编译器生成的机器语言代码，而且，还包括使用解释器等能够在计算机执行的高级语言代码。
以上，虽然通过有限的实施例和附图来说明了实施例，但只要是相关技术领域的普通技术人员，就可根据上述记述实施多种修改以及变形。例如，能够以与已说明的方法不同的顺序执行已说明的多种技术，和/或能够以与已说明的方法不同的形态结合或组合已说明的系统、结构、装置、电路等多个结构要素，即使被其他结构要素或等同技术方案代替或替换，也可实现适当的结果。
因此，其他实例、其他实施例以及与发明要求保护范围等同的内容也属于发明要求保护范围。

Claims (18)

1.一种元输入方法，用于再利用由计算机装置执行的已学习的深度学习模型，其特征在于，包括如下步骤：
根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入最优化；以及
向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。
2.根据权利要求1所述的元输入方法，其特征在于，在将上述元输入最优化的步骤中，通过反向传播来以基于梯度的学习算法将上述元输入最优化。
3.根据权利要求1所述的元输入方法，其特征在于，在向测试数据添加最优化的上述元输入的上述步骤中，通过向测试数据添加最优化的上述元输入来以符合上述学习数据的分布的方式移动或排列用户环境的上述测试数据的分布。
4.根据权利要求1所述的元输入方法，其特征在于，在向测试数据添加最优化的上述元输入的上述步骤中，随着通过最优化的上述元输入来使用户环境的上述测试数据的分布与上述学习数据的分布相符，在不同于学习的其他环境下也能够应用已学习的黑箱深度神经网络已经学习的知识。
5.根据权利要求1所述的元输入方法，其特征在于，还包括如下步骤，即，若在将上述元输入最优化之前存在已学习的上述深度学习模型，则在用户环境的上述测试数据分布中生成上述元输入。
6.根据权利要求5所述的元输入方法，其特征在于，在生成上述元输入的步骤中，通过用户环境的测试数据的样本的真实信息生成上述元输入。
7.根据权利要求6所述的元输入方法，其特征在于，在生成上述元输入的步骤中，对用户环境的测试数据进行采样，通过使用上述深度学习模型和采样的上述用户环境的测试数据来生成上述元输入。
8.根据权利要求1所述的元输入方法，其特征在于，通过向上述深度学习模型输入向用户环境的测试数据添加最优化的上述元输入的输入来进行推导。
9.一种基于元输入的用户中心推导方法，用于再利用由计算机装置执行的已学习的深度学习模型，其特征在于，
包括如下步骤：
若存在已学习的深度学习模型，则在用户环境的测试数据的分布中生成元输入；以及
通过向上述深度学习模型输入向用户环境的测试数据添加所生成的上述元输入的输入来进行推导，
生成上述元输入的步骤包括如下步骤：
根据输入数据与已学习的深度学习模型的输出预测之间的关系来将元输入最优化；以及
向测试数据添加最优化的上述元输入，以将用户环境的测试数据的分布变换成用于构建上述深度学习模型的学习数据的分布。
10.根据权利要求9所述的基于元输入的用户中心推导方法，其特征在于，将上述元输入最优化的步骤包括如下步骤，即，通过反向传播来以基于梯度的学习算法将上述元输入最优化。
11.根据权利要求9所述的基于元输入的用户中心推导方法，其特征在于，在向测试数据添加最优化的上述元输入的上述步骤中，通过向测试数据添加最优化的上述元输入来以符合上述学习数据的分布的方式移动或排列用户环境的上述测试数据的分布。
12.根据权利要求9所述的基于元输入的用户中心推导方法，其特征在于，在向测试数据添加最优化的上述元输入的上述步骤中，随着通过最优化的上述元输入来使用户环境的上述测试数据的分布与上述学习数据的分布相符，在不同于学习的其他环境下也能够应用已学习的黑箱深度神经网络已经学习的知识。
13.一种基于元输入的用户中心推导方法，其特征在于，包括如下步骤：
若存在已学习的深度学习模型，则在用户环境的测试数据的分布中生成元输入；以及
通过向上述已学习的深度学习模型输入向用户环境的测试数据添加所生成的上述元输入的输入来进行推导。
14.根据权利要求13所述的基于元输入的用户中心推导方法，其特征在于，在进行生成的上述步骤中，通过用户环境的测试数据的样本的真实信息生成上述元输入。
15.根据权利要求14所述的基于元输入的用户中心推导方法，其特征在于，在进行生成的上述步骤中，对用户环境的测试数据进行采样，通过使用上述已学习的深度学习模型和采样的上述用户环境的测试数据来生成上述元输入。
16.根据权利要求15所述的基于元输入的用户中心推导方法，其特征在于，在进行生成的上述步骤中，通过在生成过程中将对上述元输入的损失函数最小化来实现最优化。
17.根据权利要求16所述的基于元输入的用户中心推导方法，其特征在于，在进行推导的上述步骤中，向上述用户环境的测试数据添加最优化的上述元输入，向上述已学习的深度学习模型输入使上述用户环境的测试数据和最优化的上述元输入相结合的输入。
18.根据权利要求17所述的基于元输入的用户中心推导方法，其特征在于，在进行推导的上述步骤中，照常使用上述已学习的深度学习模型的参数并在用户环境的测试数据的分布中维持性能。
CN202211615785.4A 2021-12-16 2022-12-15 元输入方法及系统和基于元输入用户中心推导方法及系统 Pending CN116384495A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210180193 2021-12-16
KR10-2021-0180193 2021-12-16
KR10-2022-0020921 2022-02-17
KR1020220020921A KR20230091741A (ko) 2021-12-16 2022-02-17 메타 입력을 통한 사용자 중심 추론 방법 및 시스템
KR1020220128314A KR20240048689A (ko) 2022-10-07 2022-10-07 기 학습된 딥러닝 모델의 재활용을 위한 메타 입력 방법 및 시스템과, 메타 입력을 통한 사용자 중심 추론 방법 및 시스템
KR10-2022-0128314 2022-10-07

Publications (1)

Publication Number Publication Date
CN116384495A true CN116384495A (zh) 2023-07-04

Family

ID=86768274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211615785.4A Pending CN116384495A (zh) 2021-12-16 2022-12-15 元输入方法及系统和基于元输入用户中心推导方法及系统

Country Status (3)

Country Link
US (1) US20230196112A1 (zh)
CN (1) CN116384495A (zh)
WO (1) WO2023113507A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778679B1 (ko) * 2015-10-02 2017-09-14 네이버 주식회사 딥러닝을 이용하여 텍스트 단어 및 기호 시퀀스를 값으로 하는 복수 개의 인자들로 표현된 데이터를 자동으로 분류하는 방법 및 시스템
EP3815040A4 (en) * 2018-05-21 2022-03-02 Corista LLC MULTIPLE SAMPLE BULK SLIDE IMAGE PROCESSING USING MULTIPLE RESOLUTION REGISTRATION
US20210110306A1 (en) * 2019-10-14 2021-04-15 Visa International Service Association Meta-transfer learning via contextual invariants for cross-domain recommendation
KR102418596B1 (ko) * 2020-05-26 2022-07-06 동아대학교 산학협력단 소규모 학습 데이터 셋 기반 딥러닝 시스템과 이를 이용한 딥러닝 학습방법
KR102292703B1 (ko) * 2020-07-02 2021-08-23 주식회사 마키나락스 피처 셋 정보에 기초한 전이 학습 방법

Also Published As

Publication number Publication date
US20230196112A1 (en) 2023-06-22
WO2023113507A1 (ko) 2023-06-22

Similar Documents

Publication Publication Date Title
CN113837205B (zh) 用于图像特征表示生成的方法、设备、装置和介质
CN113837370B (zh) 用于训练基于对比学习的模型的方法和装置
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN108898181B (zh) 一种图像分类模型的处理方法、装置及存储介质
Jha et al. Data augmentation for handwritten digit recognition using generative adversarial networks
KR102592935B1 (ko) 신경망 모델 학습 방법 및 장치, 컴퓨터 프로그램
CN114299313A (zh) 对抗扰动生成方法、装置及存储介质
Qin et al. One-class adaptation face anti-spoofing with loss function search
Wei et al. Prototypical classifier for robust class-imbalanced learning
KR101700030B1 (ko) 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
Pal et al. Synthetic samples generation for imbalance class distribution with LSTM recurrent neural networks
CN116384495A (zh) 元输入方法及系统和基于元输入用户中心推导方法及系统
CN113610106B (zh) 模型间的特征兼容学习方法、装置、电子设备及介质
CN116189208A (zh) 用于文本识别的方法、装置、设备和介质
Wang Evaluation of four black-box adversarial attacks and some query-efficient improvement analysis
US11887356B2 (en) System, method and apparatus for training a machine learning model
US20210326745A1 (en) Training robust machine learning models
CN114595741A (zh) 一种基于邻域关系的高维数据快速降维方法以及系统
EP3913544A1 (en) A computer-implemented training method, classification method and system, computer program and computer-readable recording medium
CN114707483A (zh) 基于对比学习和数据增强的零样本事件抽取系统及方法
CN109711456B (zh) 一种具备鲁棒性的半监督图像聚类方法
Alkhatib et al. Interpretable Graph Neural Networks for Tabular Data
KR20240048689A (ko) 기 학습된 딥러닝 모델의 재활용을 위한 메타 입력 방법 및 시스템과, 메타 입력을 통한 사용자 중심 추론 방법 및 시스템
KR20230091741A (ko) 메타 입력을 통한 사용자 중심 추론 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination