CN113811895A

CN113811895A - 用于人工智能模型个性化的方法和装置

Info

Publication number: CN113811895A
Application number: CN202080034927.0A
Authority: CN
Inventors: 朴致衍; 金在德; 孙泳哲; 崔寅权
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2019-07-18
Filing date: 2020-07-08
Publication date: 2021-12-17
Also published as: WO2021010651A1; EP3915061A1; EP3915061A4

Abstract

公开了一种电子装置。该电子装置可以包括：被配置为存储一个或多个训练数据生成模型和人工智能模型的存储器；以及处理器，该处理器被配置为使用一个或多个训练数据生成模型来生成反映用户的特性的个人训练数据，使用个人学习数据作为训练数据来训练人工智能模型，并且将经训练的人工智能模型存储在存储器中。

Description

用于人工智能模型个性化的方法和装置

技术领域

本公开涉及基于训练数据更新的电子装置及其控制方法，并且更具体地，涉及通过增量学习(incremental learning)进行人工智能模型个性化的方法和装置。

背景技术

人工神经网络可以被设计和训练为执行广泛的功能，并且其应用技术可以被应用于语音辨识、对象辨识等。由于通过使用来自大数据库的大量训练数据来训练人工神经网络，所以人工神经网络可以展现出改进的性能。具体地，在人工智能模型辨识对于每个用户不同的元素(诸如语音)的情况下，需要大量的数据，因为可能需要通过使用包括电子装置的用户的特性的个人训练数据和包括一般用户的特性的通用训练数据两者来训练人工智能模型。

因此，可以考虑如图1所示的持续地累积用于更新人工智能模型的训练数据并且基于所累积的训练数据来训练人工智能模型的方法。然而，这样的方法具有存储容量需要根据训练数据的增加而持续地增加、用于学习的计算机资源增加，并且模型的更新所需的时间增加的问题。

此外，可以考虑通过仅采样训练数据中的一些来训练人工智能模型的方法，但是这样的方法具有不容易高效地执行采样的问题。

此外，不维护或部分维护现有训练数据并且基于新的训练数据来训练人工智能模型的方法具有人工智能模型会遗忘先前学习的知识的灾难性遗忘的问题。

发明内容

技术问题

本公开的实施例克服了以上缺点和以上未描述的其他缺点。此外，本公开不需要克服上述缺点，并且本公开的实施例可以不克服上述问题中的任何一个。

解决问题的技术方案

根据本公开的一个方面，一种电子装置可以包括：被配置为存储一个或多个训练数据生成模型和人工智能模型的存储器；以及处理器，该处理器被配置为使用一个或多个训练数据生成模型来生成反映用户的特性的个人训练数据，使用个人学习数据作为训练数据来训练人工智能模型，并且将经训练的人工智能模型存储在存储器中。

一个或多个训练数据生成模型可以包括：被训练为生成反映用户的特性的个人训练数据的个人训练数据生成模型；以及被训练为生成与多个用户的使用数据相对应的通用训练数据的通用训练数据生成模型。

人工智能模型可以是基于个人训练数据、通用训练数据或从用户获得的实际用户数据中的至少一个来更新的模型。

个人训练数据生成模型可以基于用户数据或个人训练数据中的至少一个来更新。

人工智能模型可以是语音辨识模型、笔迹辨识模型、对象辨识模型、讲话者辨识模型、词语推荐模型或翻译模型。

通用训练数据可以包括第一输入数据，个人训练数据包括第二输入数据，并且人工智能模型基于用户数据、第一输入数据和第二输入数据来执行无监督学习。

通用训练数据可以包括第一输入数据，个人训练数据可以包括第二输入数据，并且人工智能模型可以基于输入的第一输入数据来生成与第一输入数据相对应的第一输出数据、基于输入的第二输入数据来生成与第二输入数据相对应的第二输出数据，并且基于用户数据、第一输入数据、第一输出数据、第二输入数据和第二输出数据来训练。

通用训练数据生成模型可以从服务器被下载并被存储在存储器中。

处理器可以将人工智能模型上传到服务器。

处理器可以基于电子装置处于充电状态、预定时间的出现或在预定时间内未检测到用户对电子装置的操纵来训练人工智能模型。

根据本公开的一个方面，一种包括一个或多个训练数据生成模型和人工智能模型的电子装置的控制方法可以包括：使用一个或多个训练数据生成模型来生成反映用户的特性的个人训练数据；使用个人训练数据作为训练数据来训练人工智能模型；以及存储经训练的人工智能模型。

通用训练数据可以包括第一输入数据，个人训练数据可以包括第二输入数据，并且人工智能模型可以基于用户数据、第一输入数据和第二输入数据来执行无监督学习。

通用训练数据可以包括第一输入数据，个人训练数据可以包括第二输入数据，并且人工智能模型可以基于输入的第一输入数据来生成与第一输入数据相对应的第一输出数据、可以基于输入的第二输入数据来生成与第二输入数据相对应的第二输出数据，以及可以基于用户数据、第一输入数据、第一输出数据、第二输入数据和第二输出数据来训练。

通用训练数据生成模型可以从服务器被下载并被存储在电子装置的存储器中。

人工智能模型可以被上传到服务器。

该方法可以包括：基于电子装置处于充电状态、预定时间的出现或在预定时间内未检测到用户对电子装置的操纵来训练人工智能模型。

根据本公开的一个方面，一种非暂时性计算机可读介质可以存储用于执行电子装置中的人工智能模型的个性化的方法的程序，该方法包括：生成反映用户的特性的个人训练数据；以及使用个人训练数据作为训练数据来训练人工智能模型。

该方法可以包括生成反映多个用户的特性的通用训练数据。

该方法可以包括收集并存储通过电子装置中的设备获得的用户的实际使用数据。

该方法可以包括使用个人训练数据、通用训练数据或所获得的用户的实际使用数据中的至少一个来训练人工智能模型。

发明的有益效果

如上所述，根据本公开的各种实施例，一个或多个通用训练数据和个人训练数据是通过训练数据生成模型在电子装置上生成的，因此不必存储用于训练人工智能模型的大量训练数据(例如，1TB至2TB的量)。因此，即使在具有小存储器容量的电子装置上，也可以根据本实施例，通过使用训练数据生成模型(例如，10MB至20MB的模型大小)来高效地训练人工智能模型。

此外，因为不需要从外部服务器下载训练数据，所以即使在未建立网络连接的状态下也可以自由地训练人工智能模型。

此外，人工智能模型是基于反映电子装置的用户的特性的个人训练数据来训练的，因此人工智能模型在对用户数据(诸如用户语音)的辨识方面可以具有提高的准确度。

本公开的附加和/或其他方面以及优点将在下面的描述中被部分地阐述，并且部分地将从描述中变得清楚、或者可以通过对本公开的实践来获知。

附图说明

从以下结合附图的描述中，本公开的某些实施例的以上和其他方面、特征以及优点将更加清楚，其中：

图1是用于描述相关技术的图；

图2是用于示意性地描述根据实施例的电子系统的配置的图；

图3是用于描述根据实施例的电子装置的操作的框图；

图4是示出了根据实施例的训练人工智能模型并执行辨识的示意性过程的流程图；

图5是用于描述根据实施例的训练个人训练数据生成模型的过程的图；

图6是用于描述根据实施例的训练人工智能模型的过程的图；

图7是用于描述根据实施例的在处理器与存储器之间执行的特定操作的图；

图8是用于描述根据另一个实施例的通过对象辨识模型来实现人工智能模型的情况的图；以及

图9是用于描述根据实施例的在电子装置上训练人工智能模型的过程的图。

具体实施方式

在下文中，将参考附图详细地描述本公开。

在简要描述说明书中使用的术语之后，将详细描述本公开。

考虑到本公开中的功能，当前广泛使用的通用术语被选择为在本公开的实施例中使用的术语，但是可以根据本领域技术人员的意图或司法先例、新技术的出现等而改变。此外，在特定情况下，可能存在申请人任意选择的术语。在这种情况下，在本公开的相应描述部分中将详细提及这些术语的含义。因此，在本公开的实施例中使用的术语应当基于术语的含义和贯穿本公开的内容来限定，而不是基于术语的简单名称来限定。

因为本公开可以被不同地修改并且具有若干个实施例，所以将在附图中示出并且在具体实施方式中详细地描述本公开的特定实施例。然而，应当理解，本公开不限于特定实施例，而是在不脱离本公开的范围和精神的情况下包括所有修改、等同和替换。在确定了与本公开相关的已知技术的详细描述可能模糊本公开的要旨的情况下，将省略对已知技术的详细描述。

术语的单数形式旨在包括术语的复数形式，除非上下文另有清楚指示。应当理解，本说明书中使用的诸如“包括”或“包含”的术语指定本说明书中提及的特征、数字、步骤、操作、组件、部件或其组合的存在，但是不排除一个或多个其他特征、数字、步骤、操作、组件、部件或其组合的存在或添加。

表述“A和/或B中的至少一个”应该理解为指示“仅A”、“仅B”、或“A和B”。

说明书中使用的诸如“第一”、“第二”等的表述可以指示各种组件，而不论组件的顺序和/或重要性，将仅用于将一个组件与其他组件区分开，并且不限制相应的组件。

当提及任何组件(例如，第一组件)(可操作地或可通信地)与另一个组件(例如，第二组件)耦合/耦合到另一个组件(例如，第二组件)或连接到另一个组件(例如，第二组件)时，应当理解，任何组件直接地耦合到另一个组件或可以通过其他组件(例如，第三组件)耦合到另一个组件。

在本公开中，“模块”或“-器”可以执行至少一个功能或操作，并且可以通过硬件或软件来实现、或者通过硬件和软件的组合来实现。此外，多个“模块”或多个“-器”可以集成在至少一个模块中，并且除了通过特定硬件实现的“模块”或“-器”之外，可以由至少一个处理器(未示出)来实现。在本公开中，术语“用户”可以是使用电子装置的人或使用电子装置的装置(例如，人工智能(AI)电子装置)。

在下文中，将参考附图详细地描述本公开的实施例，使得本公开所属领域的技术人员可以容易地实践本公开。然而，本公开可以以各种不同的形式被修改，并且不限于本文所描述的实施例。此外，在附图中，将省略与描述无关的部分，以便不模糊本公开，并且贯穿说明书，相似的附图标记将用于描述相似的部分。

在下文中，将参考附图详细地描述本公开的实施例。

图2是用于示意性地描述根据实施例的电子系统的配置的图。

参考图2，根据实施例的电子系统10包括电子装置100和服务器200。

根据实施例的电子装置100可以被配置为通过使用人工智能模型(可替代地，神经网络模型或学习网络模型)来执行特定操作以辨识用户数据。这里，用户数据是反映用户的唯一特性的数据，诸如用户的语音、用户的笔迹、用户捕获到的图像、用户的输入字符数据、翻译数据等。此外，用户数据是从用户获得的实际使用数据，并且也可以被称为实际用户数据。

根据本公开的与人工智能相关的功能由处理器和存储器来执行。处理器可以由一个或多个处理器来实现。这里，一个或多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)或数字信号处理器(DSP))、图形专用处理器(诸如图形处理单元(GPU)或视觉处理单元(VPU))、或人工智能专用处理器(诸如神经处理单元(NPU))。一个或多个处理器可以被配置为根据存储在存储器中的预定义的操作规则或人工智能模型来执行控制以处理输入数据。可替代地，在一个或多个处理器是人工智能专用处理器的情况下，人工智能专用处理器可以被设计为具有专用于特定人工智能模型的处理的硬件结构。

预定义的操作规则或人工智能模型是通过训练获得的。这里，通过训练获得预定义的操作规则或人工智能模型是指：使用训练数据以及通过使用训练算法来训练基本人工智能模型，以获得预定义的操作规则或人工智能模型集，从而实现期望的特性(或目的)。训练可以由其中根据本公开执行了人工智能的设备来执行、或者可以通过单独的服务器和/或系统来执行。训练算法的示例可以包括监督学习、非监督学习、半监督学习和强化学习，但不限于此。

人工智能模型可以包括多个神经网络层。多个神经网络层中的每一个都具有多个权重值，并且神经网络计算通过使用前一层的计算结果以及通过使用多个权重值计算来执行。可以通过人工智能模型的训练结果来优化(或改进)多个神经网络层的多个权重值。例如，可以在训练过程期间更新多个权重值以减少或最小化由人工智能模型获取的损失值或成本值。人工神经网络可以包括深度神经网络(DNN)。例如，人工神经网络可以是卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、受限玻尔兹曼机(restrictedBoltzmann machine，RBM)、深度置信网络(deep belief network，DBN)、双向循环深度神经网络(BRDNN)或深度Q网络，但不限于此。

在人工智能模型是根据实施例的语音辨识模型的情况下，电子装置100可以包括辨识用户语音的语音辨识模型，并且因此可以提供虚拟助理功能。例如，电子装置100可以以各种形式(诸如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、医疗设备、相机以及可穿戴设备)来实现。

人工智能模型可以包括多个神经网络层，并且可以被训练以增加辨识效率。

根据实施例的电子装置100可以包括训练数据生成模型，该训练数据生成模型自己生成训练数据，而不保留用于训练人工智能模型的大量训练数据，因此可以根据需要实时地更新人工智能模型。

训练数据生成模型可以被预先安装在电子装置中、或者可以从服务器200下载并被安装在电子装置中。

如上所述，可以基于由安装在电子装置中的训练数据生成模型生成的训练数据来训练人工智能模型。

这里，训练数据生成模型可以包括至少一个个人训练数据生成模型和通用训练数据生成模型。个人训练数据生成模型可以是生成用于反映电子装置100的用户的特性的个人训练数据的模型，并且通用训练数据生成模型可以是生成用于反映一般用户的特性的通用训练数据的模型。

可以通过使用从个人训练数据生成模型生成的个人训练数据、从通用训练数据生成模型生成的通用训练数据、或者个人训练数据和通用训练数据两者来训练人工智能模型。

可以通过使用个人训练数据和通用训练数据两者来训练人工智能模型，因为在仅通过使用通用训练数据来训练人工智能模型的情况下，可能不反映电子装置100的用户的特性，并且在仅通过使用个人训练数据来训练人工智能模型的情况下，在执行对人工智能模型的训练时会过度偏向特定用户的特性。

服务器200是被配置为管理个人训练数据生成模型、通用训练数据生成模型或人工智能模型中的至少一个的装置，并且可以通过中央服务器、云服务器等来实现。服务器200可以基于来自电子装置100的请求等来向电子装置100发送个人训练数据生成模型、通用训练数据生成模型或人工智能模型中的至少一个。具体地，服务器200可以将基于通用用户数据而被预训练的通用训练数据生成模型发送到电子装置100。此外，服务器200可以根据需要来将用于更新已经训练好的通用训练数据生成模型的更新信息(例如，每个层的权重值信息或偏置信息)或更新后的通用训练数据生成模型自身发送到电子装置100。

被发送到电子装置100的个人训练数据生成模型和人工智能模型可以是未经训练的模型。个人训练数据生成模型和人工智能模型可以预先安装在电子装置中。考虑到用户隐私等，可以在电子装置100上训练电子装置的个人训练数据生成模型和人工智能模型，而不需要将与训练相关的用户数据发送到服务器的过程。在一些情况下，可以将用户数据发送到服务器200，并且可以在服务器200上训练个人训练数据生成模型和人工智能模型。

训练数据生成模型可以在电子装置100中直接生成训练数据，因此，电子装置100可能不需要存储大量的实际训练数据、或者从服务器200单独地接收训练数据。此外，除了通用训练数据之外，还可以通过使用个人训练数据来训练人工智能模型。因此，人工智能模型可以被训练为反映用户的特性的个性化人工智能模型，并且可以被增量式地更新。

除了语音辨识模型之外，人工智能模型可以通过各种模型(诸如，笔迹辨识模型、视觉对象辨识模型、讲话者辨识模型、词语推荐模型和翻译模型)来实现。然而，在下文中，为了便于解释，将主要描述语音辨识模型。

图3是用于描述根据本公开的实施例的电子装置的操作的框图。

参考图3，电子装置100包括存储器110和处理器120。

存储器110电连接到处理器120，并且可以存储用于实现本公开的各种实施例的数据。

取决于数据存储目的，存储器110可以以嵌入在电子装置100中的存储器的形式或以可附接到电子装置100且可以从电子装置100拆卸的存储器的形式来实现。例如，用于驱动电子装置100的数据可以存储在嵌入在电子装置100中的存储器中，并且用于电子装置100的扩展功能的数据可以存储在可附接到电子装置100且可以从电子装置100拆卸的存储器中。嵌入在电子装置100中的存储器可以通过易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))、非易失性存储器(例如，一次可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除且可编程ROM(EPROM)、电可擦除且可编程ROM(EEPROM)、掩模ROM、快闪ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))中的至少一种来实现，并且可附接到电子装置100且可以从电子装置100拆卸的存储器可以通过存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极速数字(xD)、多媒体卡(MMC))、可连接至USB端口的外部存储器(例如，USB存储器)等来实现。

根据实施例，存储器110可以存储一个或多个训练数据生成模型和人工智能模型。这里，一个或多个训练数据生成模型可以包括通用训练数据生成模型和个人训练数据生成模型。

这里，通用训练数据生成模型可以是被训练为生成与一般用户的使用数据相对应的通用训练数据的模型。换句话说，通用训练数据可以是反映一般用户的特性的数据。根据实施例，通用训练数据生成模型包括多个神经网络层，多个神经网络层中的每一个包括多个参数，并且每个层可以通过使用前一层的计算结果以及通过使用多个参数的计算来执行神经网络计算。例如，基于输入的随机值，在包括在通用训练数据生成模型中的多个经预训练的神经网络层中顺序地执行计算，使得可以生成通用训练数据。

个人训练数据生成模型是被训练为生成反映电子装置100的用户的特性的个人训练数据的模型。例如，基于输入的随机值，在包括在个人训练数据生成模型中的多个经预训练的神经网络层中顺序地执行计算，使得可以生成个人训练数据。

根据实施例，人工智能模型可以是辨识从用户操作得到的数据(诸如，语音话语或笔迹)的模型。人工智能模型可以是语音辨识模型、笔迹辨识模型、对象辨识模型、讲话者辨识模型、词语推荐模型、翻译模型等。作为示例，在人工智能模型是由语音辨识模型实现的情况下，人工智能模型可以由作为辨识用户的语音并输出与所辨识出的语音相对应的文本的模型的自动语音辨识(automatic voice recognition，ASR)模型来实现。然而，根据另一个实施例，人工智能模型可以是基于用户语音来生成各种输出(例如，输出与用户语音相对应的经变换的语音)的模型。只要可以通过使用个人训练数据来训练人工智能模型以反映个人特性，则除了上述模型之外，人工智能模型还可以通过各种类型的模型来实现。

个人训练数据生成模型和人工智能模型可以从服务器200被接收并存储在存储器110中。然而，个人训练数据生成模型和人工智能模型也可以在制造电子装置100时被存储在存储器110中、或者从除服务器之外的其他外部装置被接收并存储在存储器110中。

此外，存储器110可以存储用户数据。这里，用户数据是用户的实际用户数据。例如，用户数据可以是由用户直接说出的语音数据、由用户实际书写的笔迹、由用户直接捕获到的图像等。用户数据具有与个人训练数据或通用训练数据的概念不同的概念。例如，用户数据可以是由用户直接说出的语音数据，并且个人训练数据可以是与用户直接说出的语音相似的语音的数据，该相似的语音是由用于训练人工智能模型的个人训练数据生成模型来人工生成的。

作为示例，在用户数据是用户语音数据的情况下，该用户语音数据可以是通过设置在电子装置100中的麦克风(未示出)接收到的用户语音数据或者从外部装置接收到的用户语音数据。例如，用户语音数据可以是诸如WAV文件或MP3文件的数据，但不限于此。

作为另一个示例，在用户数据是用户笔迹数据的情况下，该用户笔迹数据可以是通过设置在电子装置100中的显示器(未示出)、由用户触摸或由触控笔输入的笔迹数据。

用户数据可以存储在不同于存储通用训练数据生成模型、个人训练数据生成模型和人工智能模型的存储器的存储器中。

处理器120电连接到存储器110并且控制电子装置100的总体操作。处理器120通过使用存储在存储器110中的各种指令或程序来控制电子装置100的总体操作。具体地，根据实施例，主中央处理单元(CPU)可以根据存储在ROM中的指令将程序复制到RAM，并且访问RAM以执行该程序。这里，程序可以包括人工智能模型等。

根据实施例，处理器120可以基于反映用户特性且是由个人训练数据生成模型生成的个人训练数据、以及与用户的实际使用数据相对应的用户数据来训练人工智能模型。然而，在仅通过使用个人训练数据来训练人工智能模型的情况下，在执行对人工智能模型的训练时会过度偏向特定用户的特性。

因此，处理器120可以基于由反映一般用户的特性且是由通用训练数据生成模型生成的通用训练数据、个人训练数据以及用户数据来训练人工智能模型。在使用通用训练数据和个人训练数据两者的情况下，人工智能模型可以被训练为对于用户是个性化的模型，并且基于通用训练数据，在不过度偏向特定用户的情况下执行对人工智能模型的训练。在下文中，将描述基于通用训练数据和个人训练数据来训练人工智能模型的实施例。

图4是示出了根据本公开的实施例的训练人工智能模型并执行辨识的示意性过程的流程图。

电子装置100可以将通用训练数据生成模型、个人训练数据生成模型和人工智能模型存储在存储器110中。

个人训练数据生成模型可以基于用户数据来训练(操作S410)。根据实施例，用户数据可以是在电子装置100的训练数据获得模式下获得的数据，从而获得用户的实际使用数据作为训练数据。例如，一旦训练数据获得模式被激活，则可以在显示器上显示预定文本，并且可以提供用于请求所显示的文本的话语的消息。例如，处理器120可以控制扬声器(未示出)输出诸如“请大声阅读所显示的文本”的音频输出、或者可以控制显示器显示示出消息“请大声阅读所显示的文本”的用户界面(UI)窗口。然后，通过设置在电子装置100中的麦克风(未示出)输入与所显示的文本相对应的用户语音(诸如“今天天气如何？”)，并且输入的语音可以用作用户数据来训练个人训练数据生成模型和人工智能模型。可替代地，在训练数据获得模式下，用户可以取决于预定消息来输入与特定文本相对应的笔迹。上述笔迹输入可以用作用户数据。

然而，本公开不限于此，并且即使在训练数据获得模式未被激活的情况下，处理器120也可以通过麦克风获得用户语音，并将所获得的用户语音用作训练数据。例如，可以在预定时段中获得在电子装置的常规使用期间输入的用户语音询问、用户语音命令等，并且将其用作训练数据。

如下面更详细地描述的，在生成个人训练数据之后，可以基于用户语音数据或个人训练数据中的至少一个来训练个人训练数据生成模型。将参考图5详细描述操作S410。

在服务器200上预训练通用训练数据生成模型，然后将通用训练数据生成模型发送到电子装置100，因此可能不需要在电子装置100上单独地训练通用训练数据生成模型。然而，可以在服务器200上更新通用训练数据生成模型，并且可以向电子装置100周期性地发送更新后的通用训练数据生成模型，以替换或更新现有的通用训练数据生成模型。

通用训练数据生成模型可以生成反映一般用户的特性的通用训练数据。个人训练数据生成模型可以生成反映电子装置100的用户的特性的个人训练数据(操作S420)。个人训练数据是包括用户的特性的训练数据，并且可以是用于将人工智能模型训练为个性化模型的数据。

根据实施例，可以基于在预定时段中获得的用户数据、所生成的通用训练数据以及所生成的个人训练数据来训练和更新人工智能模型(操作S430)。然而，根据另一个实施例，还可以基于用户数据和所生成的个人训练数据来训练人工智能模型。可以基于用户数据、所生成的通用训练数据、或所生成的个人训练数据中的至少一个或其任何组合来训练和更新人工智能模型。

不同于所生成的通用训练数据和所生成的个人训练数据，用户数据是作为未经处理的原始数据的实际使用数据。因此，可以通过使用用户数据与通用训练数据和个人训练数据一起来训练人工智能模型，以提高人工智能模型的辨识准确度。用户数据可以用于训练个人训练数据生成模型并且也可用于训练人工智能模型。将参考图6详细描述操作S430。

然后，可以基于经训练的(个性化的和更新后的)人工智能模型来执行对用户数据的辨识(操作S440)。这里，用户数据是将由人工智能模型辨识出的数据，并且可以是例如用于语音询问的语音数据。将由人工智能辨识出的用户数据也可以用于更新个人训练数据生成模型和人工智能模型。

具体地，在用户的语音被输入到人工智能模型的情况下，人工智能模型可以辨识用户的语音、将用户的语音转换为文本，并输出文本。

图5是用于描述根据本公开的实施例的训练个人训练数据生成模型的过程的图。

处理器120可以加载存储在存储器110中的用户数据(操作S510)。例如，处理器120可以将存储在处理器120外部的存储器110中的用户数据加载到处理器120的内部存储器(未示出)。

这里，用户数据可以是根据来自处理器120的请求而被输入的数据。例如，在用户数据是用户语音数据的情况下，处理器120可以请求用户说出包括预定词语或句子的文本，以获得用户语音数据作为训练数据。作为示例，处理器120可以在显示器(未示出)上显示预定词语或句子，以引导用户说出预定词语或句子、或者可以通过扬声器(未示出)输出语音，以请求用户说出预定词语或句子。处理器120可以将如上所述输入的用户语音数据存储在存储器110中，然后加载所存储的用户语音数据来训练个人训练数据生成模型。因此，存储在存储器110中的用户语音数据可以被加载到处理器120。然而，本公开不限于此，并且在用户数据是用户笔迹数据的情况下，由用户根据来自处理器120的请求而手写的字符或数字可以被输入到电子装置100。

此外，处理器120可以加载存储在存储器110中的个人训练数据生成模型(操作S520)。操作S510和S520的顺序可以改变。

然后，可以基于用户数据来训练个人训练数据生成模型(操作S530)。具体地，个人训练数据生成模型可以使用用户数据分布进行训练。例如，可以使用用户语音数据中的频率分布来更新个人训练数据生成模型。语音中的频率分布对于每个人是不同的。因此，在基于频率分布特性训练个人训练数据生成模型的情况下，可以准确地反映电子装置100的用户的语音特性。

因此，个人训练数据生成模型可以被训练为对于用户是个性化的模型。

然后，经训练的个人训练数据生成模型可以生成个人训练数据(操作S540)。个人训练数据生成模型被训练为反映电子装置100的用户的特性，因此，由个人训练数据生成模型生成的个人训练数据可以类似于用户数据。作为示例，个人训练数据可以被生成为与用户直接说出的语音非常类似的语音。作为另一个示例，个人训练数据可以被生成为具有与用户直接书写的文本的形式非常相似的形式的文本。可以基于个人训练数据生成模型的更新的结果来确定用户数据与个人训练数据之间的相似性。

所生成的个人训练数据可以与通用训练数据和用户数据一起用于训练人工智能模型(操作S550)。

此外，除了用户数据之外，还可以基于所生成的个人训练数据来训练和更新个人训练数据生成模型。

然后，处理器120可以将经训练的个人训练数据生成模型存储在存储器110中(操作S560)。

可以通过连续地重复上述操作S510至S560来更新个人训练数据生成模型。

图6是用于描述根据实施例的训练人工智能模型的过程的图。

处理器120可以加载存储在存储器110中的训练数据(操作S610)。具体地，处理器120可以分别加载从用户获得的用户数据，以及由训练数据生成模型生成的通用训练数据和个人训练数据。

处理器120可以识别人工智能模型是否处于可训练状态(操作S620)。处理器120可以识别是否充分确保了训练人工智能模型所需的计算资源。例如，因为使用了大量的计算资源，所以基于除了在电子装置100上训练人工智能模型的操作之外执行的操作的数量相对较低，可以识别出人工智能模型处于可训练状态。

具体地，人工智能模型的可训练状态可以包括电子装置100处于充电状态的情况、预定时间出现的情况、或者在预定时间内没有用户操纵的情况。因为在电子装置100处于充电状态的情况下向电子装置100供电，所以在人工智能模型的训练期间，可以不关闭电子装置100。此外，预定时间可以是例如用户开始睡觉的时间。作为示例，在预定时间是凌晨1点的情况下，可以基于凌晨1点的训练数据来训练人工智能模型。预定时间可以通过监视使用电子装置100的模式来获得、或者可以是由用户设置的时间。此外，在预定时间内没有用户操纵的情况下，识别出即使在之后可能也几乎没有用户操纵，因此可以训练人工智能模型。作为示例，在一个小时内没有用户对电子装置100的操纵的情况下，可以训练人工智能模型。

此外，根据实施例，在另外满足除人工智能模型的可训练状态以外的学习开始条件的情况下，可以执行对人工智能模型的训练。学习开始条件可以包括输入了用于训练人工智能模型的命令的情况、人工智能模型的辨识错误出现了预定次数或更多次的情况、或者累积了预定量或更多的训练数据的情况中的至少一个。例如，在辨识错误在预定时间内出现了五次或更多次的情况下、或者在累积了10MB或更多的用户语音数据的情况下，可以满足学习开始条件。

在识别出人工智能模型不处于可训练状态的情况下(操作S620-否)，处理器120可以存储所加载的训练数据(操作S625)。例如，处理器120可以将所加载的用户语音数据再次存储在存储器110中。

在识别出人工智能模型处于可训练状态的情况下(操作S620-是)，处理器120可以加载存储在存储器110中的人工智能模型(操作S630)。

可以基于用户语音数据、通用训练数据和个人训练数据来训练所加载的人工智能模型(操作S640)。具体地，可以使用用户语音数据、通用训练数据和个人训练数据来顺序地训练人工智能模型。

处理器120可以将经训练的人工智能模型存储在存储器110中(操作S650)。

然后，根据示例，处理器120可以从存储器110中删除训练数据(操作S660)。例如，处理器120可以删除存储在存储器110中的用户语音数据。换句话说，可以删除用于训练个人训练数据生成模型和人工智能模型的用户语音数据。

根据另一个示例，在存储在存储器110中的数据量超过预定量的情况下，可以从存储在存储器110中的最旧的训练数据开始顺序地删除训练数据。

操作S650和S660的顺序可以改变。

在上述实施例中，已经描述了在满足针对人工智能模型的学习开始条件的情况下使用预先生成并存储的个人(通用)训练数据的情况。然而，也可以基于所满足的条件，通过操作训练数据生成模块来生成和使用个人(通用)训练数据。

图7是用于描述根据实施例的在处理器与存储器之间执行的特定操作的图。

将省略对与参考图4至图6所描述的部分重叠的部分的详细描述。

根据处理器120的控制，可以将存储在存储器110中的通用训练数据生成模型和个人训练数据生成模型加载到处理器120(①)。

然后，被加载到处理器120的通用训练数据生成模型和个人训练数据生成模型可以分别生成通用训练数据和个人训练数据(②)。

此外，根据处理器120的控制，可以将存储在存储器110中的人工智能模型加载到处理器120(③)。例如，处理器120可以将存储在处理器120外部的存储器110中的人工智能模型加载到处理器120的内部存储器(未示出)。然后，处理器120可以访问被加载到内部存储器的人工智能模型。

可以基于用户数据、通用训练数据和个人训练数据来训练被加载到处理器120的人工智能模型(④)。这里，用户数据可以是从存储器110加载的数据。

处理器120可以将经训练的人工智能模型存储在存储器110中(⑤)。此外，处理器120可以将经训练的人工智能模型上传到服务器200。

根据实施例，通用训练数据可以包括第一输入数据，个人训练数据可以包括第二输入数据，并且人工智能模型可以基于用户数据、第一输入数据和第二输入数据来执行无监督学习。

例如，假设人工智能模型是由语音辨识模型来实现的。通用训练数据可以包括第一语音数据(第一输入数据)，并且个人训练数据可以包括第二语音数据(第二输入数据)。在这种情况下，人工智能模型可以基于用户语音数据、第一语音数据和第二语音数据来执行无监督学习。

根据另一个实施例，通用训练数据可以包括第一输入数据，并且个人训练数据可以包括第二输入数据。在这种情况下，人工智能模型可以基于输入的第一输入数据来生成与第一输入数据相对应的第一输出数据，并且人工智能模型可以基于输入的第二输入数据来生成与第二输入数据相对应的第二输出数据。然后，人工智能模型可以基于用户数据、第一输入数据、第一输出数据、第二输入数据和第二输出数据来训练。

例如，假设人工智能模型是由语音辨识模型来实现的。人工智能模型可以基于输入的第一语音数据来生成与第一语音数据(第一输入数据)相对应的第一文本数据(第一输出数据)，并且可以基于输入的第二语音数据来生成与第二语音数据(第二输入数据)相对应的第二文本数据(第二输出数据)。

这里，第一文本数据和第二文本数据可以以概率分布的形式来生成。例如，在第一语音数据包括语音“会议室”或者与其类似的语音的情况下，第一文本数据可以被生成为概率矢量(y1、y2和y3)。例如，y1可以是与第一语音数据相对应的文本为“会议室”的概率，y2可以是与第一语音数据相对应的文本为“休息室”的概率，并且y3可以是与第一语音数据相对应的文本既不是“会议室”也不是“休息室”的概率。”

还可以基于用户语音数据、第一语音数据和第二语音数据，以及以概率分布的形式生成的第一文本数据和第二文本数据来训练人工智能模型。此外，还可以基于由人工智能模型生成的第二文本数据来训练个人训练数据生成模型。

根据另一个实施例，可以基于第一输入数据、与第一输入数据相对应的第一标签数据、第二输入数据和与第二输入数据相对应的第二标签数据来训练人工智能模型。这里，标签数据可以指输入数据的显式正确答案数据。例如，在人工智能模型是语音辨识模型的情况下，第一标签数据可以指与第一语音数据相对应的正确答案文本数据。作为示例，在用户被请求说出所显示的文本的情况下，所说出的语音可以是用户语音数据，并且所显示的文本可以是与该用户语音数据相对应的文本数据。可替代地，可以在显示器(未示出)上显示与用户语音相对应的文本作为输出，并且电子装置100可以从用户接收针对该文本的反馈。例如，在与用户语音相对应的输出文本是“nail this to me”并且作为反馈从用户接收到的文本是“mail this to me”的情况下，“mail this to me”可以是作为标签的、与用户语音数据相对应的文本数据。

类似地，通用训练数据可以包括第一语音数据和与第一语音数据相对应的第一标签数据。

换句话说，通用训练数据可以包括第一语音数据和与第一语音数据相对应的第一文本数据，并且个人训练数据可以包括第二语音数据和与第二语音数据相对应的第二文本数据。在下文中，为了便于解释，在训练数据被配置为对的情况下，通用训练数据被描述为通用训练数据对，并且个人训练数据被描述为个人训练数据对。

可以基于通用训练数据对和个人训练数据对以及用户语音数据对来训练人工智能模型，其中，通用训练数据对和个人训练数据对各自包括语音数据和与该语音数据相对应的文本数据。

具体地，人工智能模型可以执行监督学习，其中第一语音数据被输入到人工智能模型，并且输出的文本数据与第一文本数据进行比较。类似地，人工智能模型可以执行监督学习，其中第二语音数据被输入到人工智能模型，并且输出的文本数据与第二文本数据进行比较。

尽管已经描述了用户数据和用户语音数据的情况，但是本公开不限于此，只要训练数据可以被配置为对。例如，个人训练数据可以包括与用户笔迹类似地生成的笔迹数据以及与该笔迹数据相对应的文本数据。这里，文本数据可以是作为笔迹数据的标签而被输入的数据。

图8是用于描述根据另一个实施例的通过对象辨识模型来实现人工智能模型的情况的图。

图8是示出了数字笔迹的图。例如，图8所示的笔迹可以是用户直接书写的笔迹、或者是由个人训练数据生成模型生成的笔迹。与语音类似，笔迹对于每个用户可以是不同的，因此，在根据用户的特性来训练人工智能模型使其被个性化的情况下，可以提高人工智能模型的辨识准确度。训练对象辨识模型的过程与上述图4所示的过程相同。

具体地，可以基于用户笔迹数据来训练个人训练数据生成模型。这里，用户笔迹数据可以是包括根据来自处理器120的请求的笔迹输入的数据。例如，处理器120可以请求用户书写从0至9的数字。在这种情况下，可以用触控笔将数字笔迹输入到触摸显示器、或者可以将包括用笔书写的数字笔迹的图像输入到电子装置100。

然后，可以基于用户笔迹数据来训练个人训练数据生成模型。因此，个人训练数据生成模型可以被训练为对于用户是个性化的模型。经训练的通用训练数据生成模型和经训练的个人训练数据生成模型可以分别生成通用训练数据和个人训练数据。这里，通用训练数据可以是反映一般用户的笔迹特性的训练数据，并且个人训练数据可以是反映电子装置100的用户的笔迹特性的训练数据。可以基于通用训练数据、个人训练数据和用户笔迹数据来训练人工智能模型。因此，经训练的人工智能模型反映用户的笔迹特性，从而可以提高用户笔迹辨识准确度。

然而，本公开不限于此，并且可以基于笔迹数据和个人训练数据来训练人工智能模型。

尽管已经在图8中描述了使用数字笔迹的情况，但是实施例也可以被应用于辨识诸如字母表的字符的笔迹的辨识模型以及各种其他对象辨识模型。

可以基于存储在用户数据存储中的用户数据来训练个人训练数据生成模型。从服务器下载的通用训练数据生成模型和经训练的个人训练数据生成模型可以存储在训练数据生成模型存储中。这里，训练数据生成模型存储可以是但不限于在物理上与用户数据存储相同的存储器，并且可以不同于用户数据存储。通用训练数据生成模型和个人训练数据生成模型可以分别生成通用训练数据和个人训练数据。这里，通用训练数据生成模型和个人训练数据生成模型各自可以由变分自编码器(variational autoencoder，VAE)、生成式对抗网络(generative adversarial network，GAN)等来实现，但不限于此。

然后，可以基于存储在用户数据存储中的用户数据、通用训练数据和个人训练数据来更新人工智能模型。

更新后的人工智能模型可以被周期性地上传到服务器200。例如，可以基于经过预定时段或者由人工智能模型学习的数据量是预定量中的至少一个来将人工智能模型上传到服务器200。

人工智能模型的新的(或更新后的)版本可以从服务器200被发送到电子装置100。在这种情况下，现有的经训练的人工智能模型可以由从服务器200发送的人工智能模型的新的(或更新后的)版本替换(或更新)。人工智能模型的新的(或更新后的)版本可以被训练为反映用户的个人特性，并且即使在用户数据(例如，存储为WAV文件或MP3文件的用户语音数据)未存储在存储器110中的情况下，人工智能模型的新的(或更新后的)版本也可以基于由经预训练的个人训练数据生成模型生成的个人训练数据来相对快速地训练。换句话说，因为个人训练数据生成模型是基于用户数据来训练的，所以即使在人工智能模型是基于由个人训练数据生成模型生成的个人训练数据来训练的情况下，也可以获得与在基于用户数据来训练人工智能模型的情况下所获得的效果类似的效果。因此，即使在人工智能模型被人工智能模型的新的版本替换(或更新)的情况下，电子装置100也可以基于所生成的个人训练数据来训练以反映个人特性，而无需存储大量的用户数据。

除了存储器110和处理器120之外，电子装置100还可以包括通信接口(未示出)、显示器(未示出)、麦克风(未示出)和扬声器(未示出)。

通信接口包括电路系统，并且可以执行与服务器200的通信。

通信接口可以包括无线保真(Wi-Fi)模块(未示出)、蓝牙模块(未示出)、红外(IR)模块、局域网(LAN)模块、以太网模块等。这里，每个通信模块可以以至少一个硬件芯片的形式来实现。除了上述通信方式之外，无线通信模块可以包括根据各种无线通信协议(诸如，Zigbee、通用串行总线(USB)、移动工业处理器接口相机串行接口(MIPI CSI)、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第四代(4G)和第五代(5G))来执行通信的至少一个通信芯片。然而，这仅是示例，并且通信接口可以使用各种通信模块中的至少一种。此外，通信接口还可以以有线方式与服务器进行通信。

通信接口可以通过有线或无线通信从服务器200接收通用训练数据生成模型、个人训练数据生成模型和人工智能模型。此外，通信接口可以向服务器200发送经训练的人工智能模型。

显示器可以通过其中显示器和触摸板被配置为互层结构(mutual layerstructure)的触摸屏来实现。这里，触摸屏可以被配置为检测触摸的位置和面积以及触摸的压力。例如，显示器可以检测触控笔的笔迹输入。

麦克风是被配置为接收用户语音的组件。接收到的用户语音可以用作训练数据，或者可以根据语音辨识模型输出与用户语音相对应的文本。

根据上述本公开的各种实施例的方法可以以可安装在现有电子装置中的应用的形式来实现。

此外，根据上述本公开的各种实施例的方法可以通过现有电子装置的软件升级或硬件升级来实现。

此外，上述本公开的各种实施例还可以通过设置在电子装置中的嵌入式服务器或电子装置的至少一个外部服务器来实现。

根据本公开的实施例，上述各个实施例可以通过包括存储在机器可读存储介质(例如，非暂时性计算机可读存储介质)中的指令的软件来实现。机器是可以从存储介质调用所存储的指令并且可以根据所调用的指令来操作的装置。机器可以包括根据所公开的实施例的电子装置。在由处理器执行命令的情况下，处理器可以直接执行与该命令相对应的功能、或者其他组件可以在处理器的控制下执行与该命令相对应的功能。命令可以包括由编译器或解释器创建或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式来提供。在此，术语“非暂时性”是指存储介质是有形的，并且不区分数据是半永久还是临时地存储在存储介质上。作为示例，“非暂时性存储介质”可以包括数据临时存储在其中的缓冲器。

此外，根据本公开的实施例，根据上述各种实施例的方法可以包括在计算机程序产品中并在计算机程序产品中被提供。计算机程序产品可以作为卖方和买方之间的产品来被交易。计算机程序产品可以以可以由机器读取的存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来分发、或者通过应用商店(例如，PlayStore^TM)来在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时地存储在存储介质(诸如制造商的服务器的存储器、应用商店的服务器或中继服务器)中或被临时创建。

此外，根据本公开的实施例，上述各种实施例可以使用软件、硬件或软件和硬件的组合、在计算机或计算机可读记录介质中实现。在一些情况下，本公开中所描述的实施例可以由处理器自身实现。根据软件实现方式，本公开中所描述的诸如过程和功能的实施例可以通过单独的软件模块来实现。软件模块中的每一个都可以执行本公开中所描述的一个或多个功能和操作。

用于执行根据上述本公开的各种实施例的机器的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。根据上述各种实施例，当存储在非暂时性计算机可读介质中的计算机指令由特定机器的处理器执行时，其允许特定机器在机器中执行处理操作。

非暂时性计算机可读介质可以是将数据半永久性地存储在其中并且可由机器读取的介质。非暂时性计算机可读介质的特定示例可以包括紧凑盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、ROM等。

此外，根据上述各种实施例的组件中的每一个(例如，模块或程序)可以包括单个实体或多个实体，并且在各种实施例中可以省略上述相应子组件中的一些、或者可以进一步包括其他子组件。可替代地或附加地，组件中的一些(例如，模块或程序)可以被集成到一个实体中，并且可以以相同或相似的方式来执行由被集成之前的各个相应的组件所执行的功能。由根据各种实施例的模块、程序或其他组件执行的操作可以以顺序方式、并行方式、迭代方式或启发式方式来执行，可以以不同的次序来执行或省略操作中的至少一些、或者可以添加其他操作。

尽管已经在上文中示出了并描述了本公开的实施例，但本公开不限于上述特定实施例，并且在不脱离所附权利要求中公开的本公开的主旨的情况下，可以由本公开所属领域的技术人员来不同地修改。这些修改也应该被理解为落入本公开的范围和精神内。

Claims

1.一种电子装置，包括：

存储器，被配置为存储一个或多个训练数据生成模型和人工智能模型；以及

处理器，被配置为：

使用一个或多个训练数据生成模型来生成反映用户的特性的个人训练数据；

使用个人学习数据作为训练数据来训练人工智能模型；以及

将经训练的人工智能模型存储在存储器中。

2.根据权利要求1所述的电子装置，其中，所述一个或多个训练数据生成模型包括：

个人训练数据生成模型，被训练为生成反映用户的特性的个人训练数据，以及

通用训练数据生成模型，被训练为生成与多个用户的使用数据相对应的通用训练数据。

3.根据权利要求2所述的电子装置，其中，所述人工智能模型是基于个人训练数据、通用训练数据或从用户获得的实际用户数据中的至少一个来更新的模型。

4.根据权利要求3所述的电子装置，其中，所述个人训练数据生成模型是基于用户数据或个人训练数据中的至少一个来更新的。

5.根据权利要求1所述的电子装置，其中，所述人工智能模型是语音辨识模型、笔迹辨识模型、对象辨识模型、讲话者辨识模型、词语推荐模型或翻译模型。

6.根据权利要求3所述的电子装置，其中，所述通用训练数据包括第一输入数据，

所述个人训练数据包括第二输入数据，并且

所述人工智能模型基于用户数据、第一输入数据和第二输入数据来执行无监督学习。

7.根据权利要求3所述的电子装置，其中，所述通用训练数据包括第一输入数据，

所述个人训练数据包括第二输入数据，并且

所述人工智能模型基于输入的第一输入数据来生成与第一输入数据相对应的第一输出数据、基于输入的第二输入数据来生成与第二输入数据相对应的第二输出数据，并且是基于用户数据、第一输入数据、第一输出数据、第二输入数据和第二输出数据来训练的。

8.根据权利要求2所述的电子装置，其中，所述通用训练数据生成模型是从服务器被下载并被存储在存储器中的。

9.根据权利要求8所述的电子装置，其中，所述处理器被配置为将人工智能模型上传到服务器。

10.根据权利要求1所述的电子装置，其中，所述处理器被配置为基于电子装置处于充电状态、预定时间的出现或在预定时间内未检测到用户对电子装置的操纵来训练人工智能模型。

11.一种电子装置的控制方法，所述电子装置包括一个或多个训练数据生成模型和人工智能模型，所述控制方法包括：

使用个人训练数据作为训练数据来训练人工智能模型；以及

存储经训练的人工智能模型。

12.根据权利要求11所述的控制方法，其中，所述一个或多个训练数据生成模型包括：

13.根据权利要求12所述的控制方法，其中，所述人工智能模型是基于个人训练数据、通用训练数据或从用户获得的实际用户数据中的至少一个来更新的模型。

14.根据权利要求13所述的控制方法，其中，所述个人训练数据生成模型是基于用户数据或个人训练数据中的至少一个来更新的。

15.根据权利要求11所述的控制方法，其中，所述人工智能模型是语音辨识模型、笔迹辨识模型、对象辨识模型、讲话者辨识模型、词语推荐模型或翻译模型。