CN114581966A - 用于信息处理的方法、电子设备和计算机程序产品 - Google Patents

用于信息处理的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN114581966A
CN114581966A CN202011382882.4A CN202011382882A CN114581966A CN 114581966 A CN114581966 A CN 114581966A CN 202011382882 A CN202011382882 A CN 202011382882A CN 114581966 A CN114581966 A CN 114581966A
Authority
CN
China
Prior art keywords
model
response
target object
training
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011382882.4A
Other languages
English (en)
Inventor
倪嘉呈
刘金鹏
陈强
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202011382882.4A priority Critical patent/CN114581966A/zh
Priority to US17/137,625 priority patent/US11366984B1/en
Publication of CN114581966A publication Critical patent/CN114581966A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"

Abstract

本公开的实施例涉及用于信息处理的方法、电子设备和计算机程序产品。根据本公开的示例性实现，一种用于信息处理的方法，包括：在第一设备处获取与目标对象相关联的第一特征；将第一特征应用于被部署在第一设备处的经训练的第一模型，以确定第一置信度，第一置信度与第一模型将目标对象确定为真实对象的概率和虚假对象的概率相关联；如果第一置信度低于第一阈值置信度，向第二设备发送用于验证目标对象的请求，第二设备被部署有用于验证目标对象的经训练的第二模型，第二模型的复杂度高于第一模型；以及基于来自第二设备的针对请求的响应，更新第一模型。由此，可以跨不同的设备实现堆叠式机器学习策略。

Description

用于信息处理的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及信息处理，具体涉及用于信息处理的方法、电子设备和计算机程序产品。
背景技术
目前，随着物联网(IoT，Internet of Things)技术的演进，各种类型的大量边缘设备接入了物联网。然而，在物联网应用中，不同的边缘设备的感知能力存在较大差异，并且边缘设备与诸如云服务器的核心设备的性能也存在较大差距。因此，难以跨不同的设备实现堆叠式机器学习策略。
发明内容
本公开的实施例提供了用于信息处理的方法、电子设备和计算机程序产品。
在本公开的第一方面，提供了一种用于信息处理的方法。该方法包括：在第一设备处获取与目标对象相关联的第一特征；将第一特征应用于被部署在第一设备处的经训练的第一模型，以确定第一置信度，第一置信度与第一模型将目标对象确定为真实对象的概率和虚假对象的概率相关联；如果第一置信度低于第一阈值置信度，向第二设备发送用于验证目标对象的请求，第二设备被部署有用于验证目标对象的经训练的第二模型，第二模型的复杂度高于第一模型；以及基于来自第二设备的针对请求的响应，更新第一模型。
在本公开的第二方面，提供了一种用于信息处理的方法。该方法包括：在第二设备处接收来自第一设备的用于验证目标对象的请求；基于请求，获取与目标对象相关联的第二特征；将第二特征应用于被部署在第二设备处的经训练的第二模型，以确定第二置信度，第二置信度与第二模型将目标对象确定为真实对象的概率和虚假对象的概率相关联；以及基于第二置信度，向第一设备发送针对请求的响应，以用于更新被部署在第一设备处的用于验证目标对象的第一模型，第二模型的复杂度高于第一模型。
在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：在第一设备处获取与目标对象相关联的第一特征；将第一特征应用于被部署在第一设备处的经训练的第一模型，以确定第一置信度，第一置信度与第一模型将目标对象确定为真实对象的概率和虚假对象的概率相关联；如果第一置信度低于第一阈值置信度，向第二设备发送用于验证目标对象的请求，第二设备被部署有用于验证目标对象的经训练的第二模型，第二模型的复杂度高于第一模型；以及基于来自第二设备的针对请求的响应，更新第一模型。
在本公开的第四方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：在第二设备处接收来自第一设备的用于验证目标对象的请求；基于请求，获取与目标对象相关联的第二特征；将第二特征应用于被部署在第二设备处的经训练的第二模型，以确定第二置信度，第二置信度与第二模型将目标对象确定为真实对象的概率和虚假对象的概率相关联；以及基于第二置信度，向第一设备发送针对请求的响应，以用于更新被部署在第一设备处的用于验证目标对象的第一模型，第二模型的复杂度高于第一模型。
在本公开的第五方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。
在本公开的第六方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器实现根据本公开的第二方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了本公开的一些实施例能够在其中实现的信息处理环境的示例的示意图；
图2示出了根据本公开的一些实施例的模型堆栈的示例的示意图；
图3示出了根据本公开的一些实施例的在第一设备处的用于信息处理的方法的示例的流程图；
图4示出了根据本公开的一些实施例的在第二设备处的用于信息处理的方法的示例的流程图；
图5示出了根据本公开的一些实施例的信息处理示例的示意图；以及
图6示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述，在物联网应用中，不同的边缘设备的感知能力存在较大差异，并且边缘设备与诸如云服务器的核心设备的性能也存在较大差距。例如，人脸识别需要高精度摄像头以获取用户的脸部，并且具有GPU(Graphics Processing Unit，图形处理单元)或TPU(Tensor Processing Unit，张量处理单元)的核心设备可以以可接受的响应时间来进行人脸识别(高感知，高延迟，高计算能力)。然而，指纹识别需要指纹传感器以获取用户的指纹，并且指纹匹配算法可以由边缘设备高效地执行(低感知，低延迟，低计算能力)。对于多层物联网架构中的机器学习问题，需要利用边缘设备和核心设备两者的感知能力、访问延迟和计算能力来构建准确、自适应和高效的机器学习系统，以进行模型训练、部署和推断。
根据本公开的示例实施例，提出了一种用于信息处理的改进方案。在该方案中，诸如边缘设备的第一设备可以获取与目标对象相关联的第一特征，例如，待验证用户的指纹。第一设备可以将第一特征应用于被部署在第一设备处的经训练的第一模型，以确定第一置信度。第一置信度与第一模型将目标对象确定为真实对象的概率和虚假对象的概率相关联，例如与将待验证用户确定为真实用户的概率和虚假用户的概率相关联。如果第一置信度低于第一阈值置信度，则第一设备可以向诸如核心设备的第二设备发送用于验证目标对象的请求。第二设备被部署有用于验证目标对象的经训练的第二模型，并且第二模型的复杂度高于第一模型。
第二设备可以接收来自第一设备的用于验证目标对象的请求，并且基于该请求，获取与目标对象相关联的第二特征，例如，相同待验证用户的脸部。第二设备可以将第二特征应用于被部署在第二设备处的经训练的第二模型，以确定第二置信度。第二置信度与第二模型将目标对象确定为真实对象的概率和虚假对象的概率相关联。第二设备可以基于第二置信度，向第一设备发送针对请求的响应。该响应可以包括针对目标对象的验证结果以用于第一设备重新训练第一模型，或者可以直接包括由第二设备已经重新训练好的第一模型。由此，第一设备可以基于该响应，更新第一模型。
以此方式，本方案可以提供一种机器学习系统，以训练、部署和推断用于多层物联网架构中的机器学习问题的一系列模型，以协同利用边缘设备和核心设备的感知能力、访问延迟和计算能力。由此，本方案可以在模型准确性、模型适应性和模型效率之间达到平衡。以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的一些实施例能够在其中实现的信息处理环境100的示例的示意图。信息处理环境100包括第一设备110和第二设备120。例如，第一设备110可以是边缘设备。边缘设备可以是具有数据采集和计算能力的任何计算设备。作为示例，第一设备110可以是个人计算机、平板计算机、可穿戴设备、相机、机器人、医疗器械、汽车等。第二设备120可以是核心设备。核心设备可以是具有更好的计算能力的任何计算设备。作为示例，第二设备120可以是云服务器、大型机、分布式计算系统等。
第一设备110和第二设备120可以协同实现一种机器学习系统，以训练、部署和推断用于多层物联网架构中的机器学习问题的一系列模型。具体地，对于机器学习问题，可以设计一组相关目标，例如，相关目标可以是用户的指纹匹配真实用户的指纹和该用户的脸部匹配真实用户的脸部。这些目标可以通过不同的模型进行推断。可以根据模型复杂度或输入模型的特征的复杂度将这些模型划分为不同的层。由此，在具有不同感知能力、访问延迟和计算能力的边缘设备和核心设备上在不同的层处训练、部署和推断这些模型，以更好地利用物联网基础设施的资源。
例如，高度复杂的模型(输入为高度复杂的特征的高层模型，例如Inception-Resnet模型等)可以在核心设备上训练、部署和推断。中等复杂的模型(输入为中等复杂的特征的中层模型，例如MobileNet模型等)可以在核心设备上训练，并且被压缩以在边缘设备上部署和推断。简单的模型(输入为简单的特征的低层模型，例如逻辑回归模型、支持向量机模型等)可以在边缘设备上训练、部署和推断。
这些不同层的模型不是孤立的，高层模型的调用取决于低层模型的推断结果(在模型用于验证的情况下，可替换地称为“验证结果”)是否可以满足置信度条件。如果不满足置信度条件，则从低层到高层(例如，从第1层到第n层)调用模型。在某些实施例中，被调用的模型将被放入模型堆栈中。然后，继续调用下一层(例如，第n+1层)模型。
图2示出了根据本公开的一些实施例的模型堆栈的示例的示意图200。如图2所示，按照调用顺序，模型堆栈210依次包括首先调用的第一模型130、其后调用的第二模型140、以及可能的更晚调用的其他更高层模型。
最终结果由各个模型的推断结果投票决定(例如，将各个模型输出次数最多的推断结果作为最终结果)，或者由被调用的最高层模型的推断结果决定。如果较低层模型满足置信度条件，从而可以确信地获得推断结果，则无需调用较高层模型，这样可以节省计算成本。在某些实施例中，如果即使调用了最高层模型也无法满足置信度条件，则可以请求用户手动输入验证，例如通过短信(SMS)验证。
被调用的最高层模型的推断结果可以作为低层模型的真值(ground truth)，从而可以在高层模型的指导下自动演进低层模型。例如，如果一个模型的推断结果满足置信度条件，则从可以模型堆栈中弹出该模型，并且通过从弹出的模型得到的真值来在线训练或重新训练低层模型，以支持低层模型的自动改进。低层模型的改进可以避免调用高层模型导致的高计算成本，从而进一步降低总计算成本。
在某些实施例中，在模型的重新训练中，对于复杂的模型，代替使用完整的训练数据集，可以使用新收集的或在线收集的数据进行重新训练。例如，可以使用新收集的小批次的数据进行重新训练。对于简单的模型，可以使用整个训练数据集(原始训练数据集以及新收集的数据)对模型进行重新训练。
基于上述原理，在第一设备110处可以部署有第一模型130，而在第二设备120处可以部署有第二模型140。第二模型140的复杂度高于第一模型130，并且输入第二模型140的第二特征160的复杂度也高于输入第一模型130的第一特征150。作为示例，第一模型130可以是逻辑回归模型、支持向量机模型、MobileNet模型等，而第二模型140可以是Inception-Resnet模型等。此外，第一特征150可以是击键模式、手势、指纹等，而第二特征160可以是脸部等。
由此，第一设备110可以获取与目标对象相关联的第一特征150，例如，用户的指纹，并且将第一特征150应用于第一模型130，以确定第一置信度。第一置信度与第一模型130将目标对象确定为真实对象的概率和虚假对象的概率相关联，例如与将待验证用户确定为真实用户的概率和虚假用户的概率相关联。在某些实施例中，第一置信度可以是第一模型130将目标对象确定为真实对象的概率和虚假对象的概率的熵。例如，第一模型130的softmax层可以输出目标对象为真实对象的概率和虚假对象的概率，并且第一置信度可以是softmax层的输出的熵。
如果第一置信度低于第一阈值置信度，则第一设备110可以向第二设备120发送用于验证目标对象的请求。第二设备120在接收到该请求之后，可以基于该请求，获取与目标对象相关联的第二特征160，例如，用户的脸部。在某些实施例中，第二特征160可以由第一设备110收集并且提供给第二设备120。备选地，第二设备120也可以收集第二特征160，或从其他设备获取第二特征160。
第二设备120可以将第二特征160应用于第二模型140，以确定第二置信度。类似于第一置信度，第二置信度与第二模型140将目标对象确定为真实对象的概率和虚假对象的概率相关联。在某些实施例中，第二置信度可以是第二模型140将目标对象确定为真实对象的概率和虚假对象的概率的熵，例如第二模型140的softmax层的输出的熵。第二设备120可以基于第二置信度，向第一设备110发送针对请求的响应。由此，第一设备可以基于该响应，更新第一模型130。模型的更新将在下文中结合图3-4进行详细描述。
应理解，虽然在上文中将第一模型130和第二模型140描述为部署于不同的设备，但是第一模型130和第二模型140也可以部署于相同的设备。
以此方式，在简单的低层模型不满足置信度条件的情况下，可以调用更复杂的高层模型，尤其是可以跨设备调用具有更高性能的核心设备上部署的高层模型。由此，可以得到更准确的推断结果。此外，可以将高层模型的推断结果作为低层模型的真值，以在高层模型的指导下自动演进低层模型。低层模型的改进可以避免调用高层模型导致的高计算成本，从而进一步降低总计算成本。进一步地，模型的自动演进还可以提高模型的适应性和决策效率。
图3示出了根据本公开的一些实施例的在第一设备处的用于信息处理的方法300的流程图。方法300可以由如图1所示的第一设备110来实现。备选地，方法300也可以由除了第一设备110之外的其他主体实现。应当理解的是，方法300还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本公开的范围在此方面不受限制。
在310，第一设备110获取与目标对象相关联的第一特征150。例如，第一设备110可以获取待验证的用户的击键模式、手势、指纹、声音和/或脸部等。
在320，第一设备110将第一特征150应用于被部署在第一设备110处的经训练的第一模型130，以确定第一置信度。第一置信度与第一模型130将目标对象确定为真实对象的概率和虚假对象的概率相关联。
如果第一置信度低于第一阈值置信度，则在330，第一设备110向第二设备120发送用于验证目标对象的请求。第二设备120被部署有用于验证目标对象的经训练的第二模型140，并且第二模型140的复杂度高于第一模型130。第一置信度低意味着第一模型130的验证结果可能不正确，在这种情况下，可以调用更复杂的第二模型140以进行更准确的判断。
在340，第一设备110基于来自第二设备120的针对请求的响应，更新第一模型130。如上所述，在第二设备120上的更高层模型给出了更准确的验证结果的情况下，该验证结果可以用于重新训练第一模型130。在某些实施例中，第一模型130的重新训练可以由第二设备120进行。在这种情况下，响应包括由第二设备120重新训练的第一模型，并且第一设备110可以利用重新训练的第一模型，来替换第一模型130。
在某些实施例中，第一模型130的重新训练可以由第一设备110进行。在这种情况下，响应包括针对目标对象的验证结果，并且第一设备110可以至少基于第一特征150和验证结果，重新训练第一模型130。备选地，除了第一特征150和验证结果之外，第一模型130还可以额外利用原始训练数据集进行重新训练。具体地，第一设备110可以获取与用于训练第一模型130的训练对象相关联的训练特征。此外，第一设备110还可以获取指示训练对象是否为真实对象的训练标签。第一设备110可以基于训练特征、训练标签、第一特征150和验证结果，重新训练第一模型130。
图4示出了根据本公开的一些实施例的在第二设备处的用于信息处理的方法400的流程图。方法400可以由如图1所示的第二设备120来实现。备选地，方法400也可以由除了第二设备120之外的其他主体实现。应当理解的是，方法400还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本公开的范围在此方面不受限制。
在410，第二设备120接收来自第一设备110的用于验证目标对象的请求。在420，第二设备120基于该请求，获取与目标对象相关联的第二特征160。例如，第二特征160可以是待验证的用户的击键模式、手势、指纹、声音和/或脸部等。在某些实施例中，第一特征150和第二特征160可以是不同的特征，并且第二特征160的复杂度可以高于第一特征150。例如，第一特征150可以是用户的击键模式，而第二特征160可以是该用户的手势。
在430，第二设备120将第二特征160应用于被部署在第二设备120处的经训练的第二模型140，以确定第二置信度。第二置信度与第二模型140将目标对象确定为真实对象的概率和虚假对象的概率相关联。在440，第二设备120基于第二置信度，向第一设备110发送针对请求的响应，以用于更新被部署在第一设备110处的用于验证目标对象的第一模型130。第二模型140的复杂度高于第一模型130。
如上所述，在调用的高层模型满足置信度条件的情况下，高层模型的验证结果可以作为低层模型的真值，以用于重新训练低层模型。具体地，在某些实施例中，第一模型130是在第一设备110处重新训练的。在这种情况下，如果第二置信度超过第二阈值置信度，则第二设备120生成目标对象为真实对象的验证结果，将该验证结果包括在响应中，并且向第一设备110发送该响应。
备选地，在某些实施例中，第一模型130是在第二设备120处重新训练的。在这种情况下，如果第二置信度超过第二阈值置信度，则第二设备120可以生成目标对象为真实对象的验证结果。第二设备120可以至少基于第一特征150和该验证结果，重新训练第一模型130。由此，第二设备120可以向第一设备110发送包括重新训练的第一模型的响应。
备选地，除了第一特征150和该验证结果之外，第一模型130还可以额外利用原始训练数据集进行重新训练。具体地，第二设备120可以获取与用于训练第一模型130的训练对象相关联的训练特征。此外，第二设备120还可以获取指示训练对象是否为真实对象的训练标签。第二设备120可以基于训练特征、训练标签、第一特征150和该验证结果，重新训练第一模型130。
在某些实施例中，考虑到一些大型神经网络模型具有较多的层和节点，减少其存储和计算成本变得至关重要。因此，可以对模型进行压缩。例如，模型的压缩可以通过修剪和量化这两种方式进行。修剪涉及删除具有不重要的权重(例如，绝对值小的权重)的层，以删除模型中的冗余连接。量化涉及将权重聚类或舍入，以使用较少的存储资源表示相同数量的连接。例如，可以通过使用较少位数的浮点数来表示权重或者将权重的浮点表示转换为定点表示。由此，第二设备120可以调整重新训练的第一模型中的层的参数，以压缩重新训练的第一模型。然后，第二设备120可以将压缩的第一模型包括在响应中，以及向第一设备110发送响应。
而在调用的高层模型仍然不满足置信度条件的情况下，可以调用更复杂的更高层模型。这一过程将迭代地进行，直到调用的模型满足置信度条件，或者最高层模型也无法满足置信度条件而需要用户手动验证为止。
具体地，在某些实施例中，如果第二置信度仍然低于第二阈值置信度，则第二设备120可以获取与目标对象相关联的第三特征。例如，第三特征可以是待验证的用户的击键模式、手势、指纹、声音和/或脸部等。在某些实施例中，第一特征150、第二特征160和第三特征可以是不同的特征，并且第三特征的复杂度可以高于第一特征150和第二特征160。例如，第一特征150可以是用户的击键模式，第二特征160可以是该用户的手势，而第三特征可以是该用户的脸部。
类似于利用第二模型140，第二设备120可以将第三特征应用于被部署在第二设备120处的经训练的第三模型，以确定第三置信度。第三模型的复杂度高于第二模型140。第三置信度与第三模型将目标对象分类为真实对象的概率和虚假对象的概率相关联。例如，类似于第一置信度和第二置信度，第三置信度可以是第二模型140将目标对象确定为真实对象的概率和虚假对象的概率的熵，例如第三模型的softmax层的输出的熵。
由此，第二设备120可以基于第三置信度，向第一设备110发送响应。基于第三置信度向第一设备110发送响应的操作与基于第二置信度向第一设备110发送响应的操作类似，因此在此省略其描述。
以此方式，在简单的低层模型不满足置信度条件的情况下，可以调用更复杂的高层模型，尤其是可以跨设备调用具有更高性能的核心设备上部署的高层模型。由此，可以得到更准确的推断结果。此外，可以将高层模型的推断结果作为低层模型的真值，以在高层模型的指导下自动演进低层模型。低层模型的改进可以避免调用高层模型导致的高计算成本，从而进一步降低总计算成本。进一步地，模型的自动演进还可以提高模型的适应性和决策效率。
图5示出了根据本公开的一些实施例的信息处理示例的示意图500。在图5中，第一模型是用于处理击键模式的LSTM模型，其处于模型堆栈的第1层，并且在第一设备上被训练和部署。第二模型是用于处理手势的MobileNet模型，其处于模型堆栈的第2层，并且在第二设备上被训练，而在第一设备上被部署。第三模型是用于处理脸部的Inception-Resnet模型，其处于模型堆栈的第3层，并且在第二设备上被训练和部署。
根据模型所处于的层数可知，模型进入模型堆栈的顺序为：第一模型、第二模型、第三模型。如果最高层的第三模型的脸部验证满足置信度条件，则第三模型的验证结果将作为真值以重新训练较低层的第二模型和第一模型，从而实现模型的自动演进。在这种情况下，模型从模型堆栈中依次弹出(弹出顺序为：第三模型、第二模型、第一模型)，以基于真值进行重新训练。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，如图1所示的第一设备110和第二设备120可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)610，其可以根据存储在只读存储器(ROM)620中的计算机程序指令或者从存储单元680加载到随机访问存储器(RAM)630中的计算机程序指令，来执行各种适当的动作和处理。在RAM 630中，还可存储设备600操作所需的各种程序和数据。CPU 610、ROM620以及RAM 630通过总线640彼此相连。输入/输出(I/O)接口650也连接至总线640。
设备600中的多个部件连接至I/O接口650，包括：输入单元660，例如键盘、鼠标等；输出单元670，例如各种类型的显示器、扬声器等；存储单元680，例如磁盘、光盘等；以及通信单元690，例如网卡、调制解调器、无线通信收发机等。通信单元690允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程300和400，可由处理单元610执行。例如，在一些实施例中，过程300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元680。在一些实施例中，计算机程序的部分或者全部可以经由ROM 620和/或通信单元690而被载入和/或安装到设备600上。当计算机程序被加载到RAM 630并由CPU 610执行时，可以执行上文描述的过程300和400的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (26)

1.一种用于信息处理的方法，包括：
在第一设备处获取与目标对象相关联的第一特征；
将所述第一特征应用于被部署在所述第一设备处的经训练的第一模型，以确定第一置信度，所述第一置信度与所述第一模型将所述目标对象确定为真实对象的概率和虚假对象的概率相关联；
如果所述第一置信度低于第一阈值置信度，向第二设备发送用于验证所述目标对象的请求，所述第二设备被部署有用于验证所述目标对象的经训练的第二模型，所述第二模型的复杂度高于所述第一模型；以及
基于来自所述第二设备的针对所述请求的响应，更新所述第一模型。
2.根据权利要求1所述的方法，其中所述第一特征包括以下至少一项：
击键模式，
手势，
指纹，
声音，和
脸部。
3.根据权利要求1所述的方法，其中所述响应包括针对所述目标对象的验证结果，并且更新所述第一模型包括：
至少基于所述第一特征和所述验证结果，重新训练所述第一模型。
4.根据权利要求3所述的方法，其中重新训练所述第一模型包括：
获取训练特征，所述训练特征与用于训练所述第一模型的训练对象相关联；
获取训练标签，所述训练标签指示所述训练对象是否为真实对象；以及
基于所述训练特征、所述训练标签、所述第一特征和所述验证结果，重新训练所述第一模型。
5.根据权利要求1所述的方法，其中所述响应包括由所述第二设备重新训练的第一模型，并且更新所述第一模型包括：
利用所述重新训练的第一模型，来替换所述第一模型。
6.一种用于信息处理的方法，包括：
在第二设备处接收来自第一设备的用于验证目标对象的请求；
基于所述请求，获取与所述目标对象相关联的第二特征；
将所述第二特征应用于被部署在所述第二设备处的经训练的第二模型，以确定第二置信度，所述第二置信度与所述第二模型将所述目标对象确定为所述真实对象的概率和所述虚假对象的概率相关联；以及
基于所述第二置信度，向所述第一设备发送针对所述请求的响应，以用于更新被部署在所述第一设备处的用于验证所述目标对象的第一模型，所述第二模型的复杂度高于所述第一模型。
7.根据权利要求6所述的方法，其中所述第二特征包括以下至少一项：
击键模式，
手势，
指纹，
声音，和
脸部。
8.根据权利要求6所述的方法，其中向所述第一设备发送所述响应包括：
如果所述第二置信度低于第二阈值置信度，获取与所述目标对象相关联的第三特征；
将所述第三特征应用于被部署在所述第二设备处的经训练的第三模型，以确定第三置信度，所述第三置信度与所述第三模型将所述目标对象分类为所述真实对象的概率和所述虚假对象的概率相关联，所述第三模型的复杂度高于所述第二模型；以及
基于所述第三置信度，向所述第一设备发送所述响应。
9.根据权利要求6所述的方法，其中向所述第一设备发送所述响应包括：
如果所述第二置信度超过第二阈值置信度，生成所述目标对象为所述真实对象的验证结果；
将所述验证结果包括在所述响应中；以及
向所述第一设备发送所述响应。
10.根据权利要求6所述的方法，其中向所述第一设备发送所述响应包括：
如果所述第二置信度超过第二阈值置信度，生成所述目标对象为所述真实对象的验证结果；
至少基于所述第一特征和所述验证结果，重新训练所述第一模型；以及
向所述第一设备发送所述响应，所述响应包括重新训练的第一模型。
11.根据权利要求10所述的方法，其中重新训练所述第一模型包括：
获取训练特征，所述训练特征与用于训练所述第一模型的训练对象相关联；
获取训练标签，所述训练标签指示所述训练对象是否为真实对象；以及
基于所述训练特征、所述训练标签、所述第一特征和所述验证结果，重新训练所述第一模型。
12.根据权利要求10所述的方法，其中发送所述响应包括：
调整所述重新训练的第一模型中的层的参数，以压缩所述重新训练的第一模型；
将压缩的所述第一模型包括在所述响应中；以及
向所述第一设备发送所述响应。
13.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
在第一设备处获取与目标对象相关联的第一特征；
将所述第一特征应用于被部署在所述第一设备处的经训练的第一模型，以确定第一置信度，所述第一置信度与所述第一模型将所述目标对象确定为真实对象的概率和虚假对象的概率相关联；
如果所述第一置信度低于第一阈值置信度，向第二设备发送用于验证所述目标对象的请求，所述第二设备被部署有用于验证所述目标对象的经训练的第二模型，所述第二模型的复杂度高于所述第一模型；以及
基于来自所述第二设备的针对所述请求的响应，更新所述第一模型。
14.根据权利要求13所述的设备，其中所述第一特征包括以下至少一项：
击键模式，
手势，
指纹，
声音，和
脸部。
15.根据权利要求13所述的设备，其中所述响应包括针对所述目标对象的验证结果，并且更新所述第一模型包括：
至少基于所述第一特征和所述验证结果，重新训练所述第一模型。
16.根据权利要求15所述的设备，其中重新训练所述第一模型包括：
获取训练特征，所述训练特征与用于训练所述第一模型的训练对象相关联；
获取训练标签，所述训练标签指示所述训练对象是否为真实对象；以及
基于所述训练特征、所述训练标签、所述第一特征和所述验证结果，重新训练所述第一模型。
17.根据权利要求13所述的设备，其中所述响应包括由所述第二设备重新训练的第一模型，并且更新所述第一模型包括：
利用所述重新训练的第一模型，来替换所述第一模型。
18.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
在第二设备处接收来自第一设备的用于验证目标对象的请求；
基于所述请求，获取与所述目标对象相关联的第二特征；
将所述第二特征应用于被部署在所述第二设备处的经训练的第二模型，以确定第二置信度，所述第二置信度与所述第二模型将所述目标对象确定为所述真实对象的概率和所述虚假对象的概率相关联；以及
基于所述第二置信度，向所述第一设备发送针对所述请求的响应，以用于更新被部署在所述第一设备处的用于验证所述目标对象的第一模型，所述第二模型的复杂度高于所述第一模型。
19.根据权利要求18所述的设备，其中所述第二特征包括以下至少一项：
击键模式，
手势，
指纹，
声音，和
脸部。
20.根据权利要求18所述的设备，其中向所述第一设备发送所述响应包括：
如果所述第二置信度低于第二阈值置信度，获取与所述目标对象相关联的第三特征；
将所述第三特征应用于被部署在所述第二设备处的经训练的第三模型，以确定第三置信度，所述第三置信度与所述第三模型将所述目标对象分类为所述真实对象的概率和所述虚假对象的概率相关联，所述第三模型的复杂度高于所述第二模型；以及
基于所述第三置信度，向所述第一设备发送所述响应。
21.根据权利要求18所述的设备，其中向所述第一设备发送所述响应包括：
如果所述第二置信度超过第二阈值置信度，生成所述目标对象为所述真实对象的验证结果；
将所述验证结果包括在所述响应中；以及
向所述第一设备发送所述响应。
22.根据权利要求18所述的设备，其中向所述第一设备发送所述响应包括：
如果所述第二置信度超过第二阈值置信度，生成所述目标对象为所述真实对象的验证结果；
至少基于所述第一特征和所述验证结果，重新训练所述第一模型；以及
向所述第一设备发送所述响应，所述响应包括重新训练的第一模型。
23.根据权利要求22所述的设备，其中重新训练所述第一模型包括：
获取训练特征，所述训练特征与用于训练所述第一模型的训练对象相关联；
获取训练标签，所述训练标签指示所述训练对象是否为真实对象；以及
基于所述训练特征、所述训练标签、所述第一特征和所述验证结果，重新训练所述第一模型。
24.根据权利要求22所述的设备，其中发送所述响应包括：
调整所述重新训练的第一模型中的层的参数，以压缩所述重新训练的第一模型；
将压缩的所述第一模型包括在所述响应中；以及
向所述第一设备发送所述响应。
25.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至5任一项所述的方法的步骤。
26.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求6至12任一项所述的方法的步骤。
CN202011382882.4A 2020-11-30 2020-11-30 用于信息处理的方法、电子设备和计算机程序产品 Pending CN114581966A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011382882.4A CN114581966A (zh) 2020-11-30 2020-11-30 用于信息处理的方法、电子设备和计算机程序产品
US17/137,625 US11366984B1 (en) 2020-11-30 2020-12-30 Verifying a target object based on confidence coefficients generated by trained models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011382882.4A CN114581966A (zh) 2020-11-30 2020-11-30 用于信息处理的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114581966A true CN114581966A (zh) 2022-06-03

Family

ID=81751535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011382882.4A Pending CN114581966A (zh) 2020-11-30 2020-11-30 用于信息处理的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11366984B1 (zh)
CN (1) CN114581966A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067350A (zh) * 2020-07-31 2022-02-18 伊姆西Ip控股有限责任公司 模型更新方法、设备和计算机程序产品
CN114513770B (zh) * 2020-10-29 2024-01-30 伊姆西Ip控股有限责任公司 部署应用的方法、系统和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465813B1 (en) * 2012-11-09 2016-10-11 Amazon Technologies, Inc. System and method for automatically generating albums
US10878342B2 (en) * 2017-03-30 2020-12-29 Intel Corporation Cloud assisted machine learning
US20200027009A1 (en) * 2018-07-23 2020-01-23 Kabushiki Kaisha Toshiba Device and method for optimising model performance
KR20200100481A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 생체 정보를 인증하기 위한 전자 장치 및 그의 동작 방법
US10984246B2 (en) * 2019-03-13 2021-04-20 Google Llc Gating model for video analysis
CN111858111A (zh) 2019-04-25 2020-10-30 伊姆西Ip控股有限责任公司 数据分析的方法、设备和计算机程序产品

Also Published As

Publication number Publication date
US11366984B1 (en) 2022-06-21
US20220171998A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN111046027B (zh) 时间序列数据的缺失值填充方法和装置
CN111523640B (zh) 神经网络模型的训练方法和装置
US11790237B2 (en) Methods and apparatus to defend against adversarial machine learning
JP7354463B2 (ja) データ保護方法、装置、サーバ及び媒体
US11423307B2 (en) Taxonomy construction via graph-based cross-domain knowledge transfer
CN111862987B (zh) 语音识别方法和装置
CN114581966A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN108280513B (zh) 模型生成方法和装置
CN116166271A (zh) 代码生成方法、装置、存储介质及电子设备
CN114781654A (zh) 联邦迁移学习方法、装置、计算机设备及介质
CN116827685B (zh) 基于深度强化学习的微服务系统动态防御策略方法
CN113610228B (zh) 神经网络模型的构建方法及装置
CN116257885A (zh) 基于联邦学习的隐私数据通信方法、系统和计算机设备
CN115358374A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
US20220245448A1 (en) Method, device, and computer program product for updating model
CN115082761A (zh) 模型产生装置及方法
EP4002222A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
CN116569210A (zh) 归一化oct图像数据
CN114912568A (zh) 数据处理的方法、设备和计算机可读存储介质
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
CN113836438B (zh) 用于帖子推荐的方法、电子设备和存储介质
CN110704619A (zh) 文本分类方法、装置及电子设备
CN113792784B (zh) 用于用户聚类的方法、电子设备和存储介质
CN111709583B (zh) 用户留存时间生成方法、装置、电子设备和介质
CN111709787B (zh) 用于生成用户留存时间的方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination