CN111788582A - 电子设备及其控制方法 - Google Patents

Abstract

提供了一种电子设备。所述电子设备包括：第一存储器，被配置为存储包括多个第一元素的第一人工智能(AI)模型；以及处理器，包括第二存储器。第二存储器被配置为存储包括多个第二元素的第二AI模型。所述处理器被配置为基于第二AI模型从输入数据获取输出数据。第一AI模型通过AI算法被训练。所述多个第二元素中的每一个第二元素包括在所述多个第一元素中的各个第一元素中包括的多个位中的至少一个较高位。

Description

电子设备及其控制方法

技术领域

本公开涉及一种电子设备及其控制方法，更具体地讲，涉及一种用于将输入数据应用于人工智能(AI)模型的电子设备及其控制方法。

背景技术

近年来已经在各种领域中使用实现人类水平智力的人工智能(AI)系统。AI系统是指与现有的基于规则的智能系统不同地，通过机器本身学习、确定并变得智能的系统。如所使用的，AI系统已经逐渐提高了其识别率，并且已经更准确地理解用户的品味或偏好。因此，现有的基于规则的智能系统已经逐渐被基于深度学习的AI系统取代。

AI技术包括机器学习(例如，深度学习)和使用机器学习的元素技术。

机器学习是用于通过机器本身对多条输入数据进行分类和/或学习所述多条数据的特性的算法技术。元素技术是通过使用深度学习等的机器学习算法来模仿人脑的识别、确定等的功能的技术，并且包括诸如语言理解、视觉理解、推理和/或预测、知识表示、操作控制等的技术领域。

应用AI技术的各种领域如下。语言理解是识别和应用语言和/或人类语言的字母以及/或者对语言和/或人类语言的字母进行处理的技术，并且包括自然语言处理、机器翻译、会话系统、提问与回答、语音识别和/或合成等。视觉理解是识别和处理诸如人类视觉的元素的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理和/或预测是确定信息并逻辑地推理和预测信息的技术，并且其包括基于知识和/或概率的推理、最优化预测、基于偏好的规划、推荐等。知识表示是将人类的经验信息自动处理成知识数据的技术，并且包括知识构建(数据产生和/或分类)、知识管理(数据应用)等。操作控制是控制车辆的自主驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、驾驶)、操纵控制(行为控制)等。

例如，AI系统可被用于产生用于语音识别的AI模型。具体地讲，用于语音识别的AI系统已经被评估为在循环神经网络(RNN)的情况下用于学习像时间序列数据那样的随着时间的流逝而改变的数据的适用模型。

然而，RNN训练的AI模型包括比卷积神经网络(CNN)训练的AI模型等更大量的学习数据，并且因此包括将从诸如动态随机存取存储器(DRAM)等的外部源引入的大量数据，从而增加由数据传送引起的算术延迟和能量消耗。

上述信息被呈现为背景技术信息仅是为了帮助理解本公开。关于上述内容中的任意一项是否可适用于关于本公开的现有技术，尚未做出确定，也未做出断言。

发明内容

技术问题

提供了一种用于使与处理器和安装在处理器外部的外部存储器的数据传输最小化的电子设备及其控制方法。

技术方案

根据本公开的一方面，一种电子设备包括：第一存储器，被配置为存储包括多个第一元素的第一人工智能(AI)模型；以及处理器，包括第二存储器，其中，第二存储器被配置为存储包括多个第二元素的第二AI模型。所述处理器被配置为基于第二AI模型从输入数据获取输出数据。第一AI模型是通过AI算法被训练的。所述多个第二元素中的每一个第二元素包括在所述多个第一元素中的各个第一元素中包括的多个位中的至少一个较高位。

所述处理器可通过将所述输入数据应用于第二AI模型来获取多个第一输出元素，并且基于所述多个第一输出元素的大小来获取所述多个第一输出元素中的一个第一输出元素作为所述输出数据。

基于具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差大于或等于预设大小，所述处理器可获取所述具有第一大大小的第一输出元素作为所述输出数据。

第二存储器可存储包括多个第三元素的第三AI模型。基于第一输出元素之间的差小于预设大小，第二存储器存储所述多个第一输出元素，并且所述处理器通过将所述输入数据应用于第三AI模型来获取多个第一中间元素，基于第一输出元素和第一中间元素来获取多个第二输出元素，并且基于所述多个第二输出元素的大小来获取所述多个第二输出元素中的一个第二输出元素作为所述输出数据。所述多个第三元素中的每一个第三元素包括在所述多个第一元素中的每一个第一元素中包括的所述多个位中的除了在所述多个第二元素中的每一个第二元素中包括的至少一个位之外的至少一个较高位。

基于所述多个第二输出元素中的具有第一大大小的第二输出元素与具有第二大大小的第二输出元素之间的差大于或等于预设大小，所述处理器可获取所述具有第一大大小的第二输出元素作为所述输出数据。

基于第二输出元素之间的差小于预设大小，第二存储器可存储所述多个第二输出元素并且所述处理器可从第一存储器获取所述多个第一元素中的除所述多个第二元素和所述多个第三元素之外的其他第一元素，通过对获取的所述其他第一元素和所述输入数据执行算术运算来获取多个第二中间元素，基于第二输出元素和第二中间元素来获取多个第三输出元素并且获取所述多个第三输出元素中的具有最大大小的第三输出元素作为所述输出数据。

所述处理器可基于从所述多个第二输出元素中的每一个第二输出元素的大小、梯度、移动平均值和归一化指数中选择的至少一个来获取所述多个第二输出元素中的一个第二输出元素作为所述输出数据。

所述处理器可包括被配置为将所述输入数据应用于第二AI模型的至少一个乘法器。

所述至少一个乘法器可包括：移位器，被配置为根据循环接收包括在所述输入数据中的多个元素中的一个元素，对接收到的元素进行移位并输出；先进先出(FIFO)存储器，被配置为根据循环接收所述多个第二元素中的与被输入到所述移位中的元素相应的第二元素并且输出包括在接收到的第二元素中的至少一个位；以及累加器，被配置为根据循环接收对从所述移位器输出的所述元素和从所述FIFO存储器输出的所述第二元素执行算术运算的结果并对所述结果进行累加。

根据本公开的另一方面，提供了一种控制具有第一存储器和处理器的电子设备的方法。所述方法包括：将包括多个第一元素的第一AI模型存储在第一存储器中，将包括多个第二元素的第二AI模型存储在处理器的第二存储器中，并且基于第二AI模型从输入数据获取输出数据。第一AI模型通过AI算法被训练，并且所述多个第二元素中的每一个第二元素包括在所述多个第一元素中的各个第一元素中包括的多个位中的至少一个较高位。

获取步骤可包括：通过将所述输入数据应用于第二AI模型来获取多个第一输出元素，并且基于所述多个第一输出元素的大小来获取所述多个第一输出元素中的一个第一输出元素作为所述输出数据。

获取所述多个第一输出元素中的所述一个第一输出元素作为所述输出数据的步骤可包括：基于所述多个第一输出元素中的具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差大于或等于预设大小，获取所述具有第一大大小的第一输出元素作为所述输出数据。

所述方法还可包括：将包括多个第三元素的第三AI模型存储在第二存储器中，基于第一输出元素之间的差小于预设大小，将所述多个第一输出元素存储在第二存储器中，通过将所述输入数据应用于第三AI模型来获取多个第一中间元素，基于第一输出元素和第一中间元素来获取多个第二输出元素并且基于所述多个第二输出元素的大小来获取所述多个第二输出元素中的一个第二输出元素作为所述输出数据。所述多个第三元素中的每一个第三元素包括在所述多个第一元素中的各个第一元素中包括的所述多个位中的除了在所述多个第二元素中的每一个第二元素中包括的至少一个位之外的至少一个较高位。

获取所述多个第二输出元素中的所述一个第二输出元素作为所述输出数据的步骤可包括：基于所述多个第二输出元素中的具有第一大大小的第二输出元素与具有第二大大小的第二输出元素之间的差大于或等于预设大小，获取所述具有第一大大小的第二输出元素作为所述输出数据。

所述方法还可包括：基于第二输出元素之间的差小于预设大小，将所述多个第二输出元素存储在第二存储器中，从第一存储器获取所述多个第一元素中的除所述多个第二元素和所述多个第三元素之外的其他第一元素，通过对获取的所述其他第一元素和所述输入数据执行算术运算来获取多个第二中间元素，基于第二输出元素和第二中间元素来获取多个第三输出元素并且获取所述多个第三输出元素中的具有第一大大小的第三输出元素作为所述输出数据。

获取所述多个第二输出元素中的所述一个第二输出元素作为所述输出数据的步骤可包括：基于从所述多个第二输出元素中的每个第二输出元素的大小、梯度、移动平均值和归一化指数中选择的至少一个来获取所述多个第二输出元素中的所述一个第二输出元素作为所述输出数据。

获取步骤可包括通过至少一个乘法运算将所述输入数据应用于第二AI模型。

根据本公开的另一方面，一种非暂时性计算机可读介质存储用于执行具有第一存储器和处理器的电子设备的操作方法的计算机可读指令。所述操作方法可包括：将包括多个第一元素的第一AI模型存储在第一存储器中，将包括多个第二元素的第二AI模型存储在处理器的第二存储器中，以及基于第二AI模型从输入数据获取输出数据。第一AI模型是通过AI算法被训练的。所述多个第二元素中的每一个第二元素包括在所述多个第一元素中的各个第一元素中包括的多个位中的至少一个较高位。

有益效果

根据本公开的一方面，电子设备的处理器可通过包括存储压缩的人工智能(AI)模型的内部存储器，通过使用压缩的AI模型执行算术运算提高算术速度，并且使与存储AI模型的外部存储器的数据传输最小化，来提高能量效率。

另外的方面将在下面的描述中被部分地阐述，并且部分地将从描述中显而易见，或者可通过本实施例的实践被获知。

附图说明

根据结合附图进行的以下描述，本公开的特定实施例的上述和其他方面、特征和优点将更加明显，其中：

图1是示出根据实施例的电子设备的配置的框图；

图2A至图2D是示出根据实施例的存储在第一存储器和第二存储器中的数据的示图；

图3是示出根据实施例的输入数据的示图；

图4A和图4B是示出根据实施例的提高算术运算的准确度的方法的示图；

图5A和图5B是示出根据另一实施例的提高算术运算的准确度的方法的示图；

图6是示出根据实施例的使用第一人工智能(AI)模型的示图；

图7是示出根据实施例的循环神经网络(RNN)算术运算的示图；

图8A和图8B是示出根据实施例的乘法运算的示图；

图9A和图9B是示出根据实施例的运算速度和能量消耗的示图；

图10A至图10C是示出根据实施例的对将被存储在第二存储器中的AI模型进行分类的方法的示图；以及

图11是示出根据实施例的控制电子设备的方法的流程图。

最佳实施方式

具体实施方式

本公开的实施例可被不同地修改。因此，在附图中示出实施例并且在具体描述中详细描述实施例。然而，应当理解的是，本公开不限于实施例，而是包括在不脱离本公开的范围和精神的情况下的所有修改、等同物和替换物。此外，因为公知功能或结构将用不必要的细节模糊本公开，因此将不对它们进行详细描述。

现在将参考附图更详细地描述示例性实施例。

在下面的描述中，即使在不同的附图中，相同的附图标号也被用于相同的元件。在描述中定义的事项(诸如，详细的构造和元件)被提供以帮助对本公开的全面理解。因此，显而易见的是，可在没有那些具体定义的事项的情况下执行实施例。此外，因为公知的功能或结构将用不必要的细节模糊本公开，因此不对它们进行详细描述。

在下文中，将参考附图详细描述实施例。

图1是示出根据实施例的电子设备100的配置的框图。如图1中所示出的，电子设备100包括第一存储器110和处理器120。

电子设备100可以是基于人工智能(AI)模型获取输入数据的输出数据的设备。例如，电子设备100可以是桌上型个人计算机(PC)、笔记本计算机、智能电话、平板PC、服务器等。可选地，电子设备100可以是构建云计算环境的系统。然而，电子设备100不限于此，因此可以是能够通过使用AI模型执行算术运算的任何设备。

第一存储器110可与处理器120被分开包括，并且可被实现为硬盘、非易失性存储器、易失性存储器等。

第一存储器110可存储第一AI模型。根据实施例，第一AI模型可通过AI算法被训练。

例如，第一AI模型可以是循环神经网络(RNN)训练的语言模型。这里，RNN指循环神经网络并且是一种用于学习像时间序列数据那样的随着时间的流逝而变化的数据的深度学习模型。

然而，第一AI模型不限于此，并且可以是卷积神经网络(CNN)训练的模型。可选地，第一存储器110可存储基于规则产生的模型而不是存储通过AI算法训练的模型，并且存储在第一存储器110中的模型不受具体限制。下面，为了便于描述，将第一语言模型描述为RNN训练的语言模型。

RNN训练的第一语言模型可包括比第二存储器125的存储容量更大量的数据，将在下面对此进行进一步详细描述。因此，RNN训练的第一语言模型可被存储在存储容量比第二存储器125更大的第一存储器110中。

第一存储器110可存储包括多个第一元素的第一AI模型。例如，第一AI模型可以是m×n矩阵形式，并且多个第一元素可以是形成m×n矩阵的数据。此外，多个第一元素的位数可相同。

第一存储器110可将数据提供给包括在处理器120中的第二存储器125或者可从第二存储器125接收数据。例如，存储在第一存储器110中的第一AI模型的一些数据可被提供给第二存储器125。

处理器120控制电子设备100的整体操作。

处理器120可包括第二存储器125。这里，第二存储器125可被实现为包括在处理器120中的高速缓冲存储器、寄存器堆、缓冲器等。

第二存储器125可具有比第一存储器110更小的容量。此外，在存储在第二存储器125中的数据A被发送到处理器120的处理元件(PE)的情况下产生的功耗可小于在存储在第一存储器110中的数据A被发送到处理器120的PE的情况下产生的功耗。

第二存储器125可存储包括多个第二元素的第二AI模型。这里，第二AI模型可包括第一AI模型的一些数据。然而，第二AI模型的形式可与第一AI模型的形式相同。

例如，如果第一AI模型是m×n矩阵形式，则第二AI模型也可以是m×n矩阵形式。此外，如果包括在第一AI模型中的多个第一元素中的每一个是10位，则包括在第二AI模型中的多个第二元素中的每一个可小于10位。

多个第二元素中的每一个可包括在多个第一元素中的每一个中包括的多个位中的至少一个较高位。例如，如果第一AI模型的1×1元素是1110000000，则第二AI模型的1×1元素可以是111。如果第一AI模型的3×2元素是0001111111，则第二AI模型的3×2元素可以是000。此外，多个第二元素的位数可相同。

这里，所述至少一个较高位可指二进制数据中的从具有最高值的位位置开始的预设数量的连续位。在上述示例中，一个较高位可以是1，并且两个较高位可以是11，三个较高位可以是111，并且四个较高位可以是1110。

如上所述，第一AI模型和第二AI模型为m×n矩阵形式，但不限于此。例如，第一AI模型和第二AI模型可分别是m×n的第一矩阵形式和n×p的第二矩阵形式，并且第一AI模型和第二AI模型可根据学习过程中的AI模型的层数而具有不同的形式。

处理器120可基于第二AI模型获取输入数据的输出数据。这里，输入数据可以是由音素单元形成的用户语音被转换为数字信号的数据。然而，输入数据不限于此，并且可随着第一AI模型而变化。例如，如果第一AI模型是用于图像识别的模型，则输入数据可以是图像。这里，音素可以是区分含义的声音的单位。此外，输入数据可以是诸如字母、词语、音节等的单元。

输出数据可以是音素单位的用户语音的识别结果。例如，当用户语音为“好”时，与“好”相应的数字信号通过麦克风被提供给处理器120。这里，处理器120可仅接收数字信号，并且可以不识别出接收到的数字信号是“好”。此后，处理器120可基于第二AI模型获取数字信号的输出数据。这里，处理器120可识别输出数据为“好”。

处理器120可通过将输入数据应用于第二AI模型来获取多个第一输出元素并且可基于多个第一输出元素的大小来获取多个第一输出元素中的一个作为输出数据。

例如，如果多个第一输出元素中的具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差大于或等于预设大小，则处理器120可获取具有第一大大小的第一输出元素作为输出数据。

此外，第二存储器125可存储包括多个第三元素的第三AI模型。这里，第三AI模型可仅包括第一AI模型的一些数据。然而，第三AI模型的形式可与第一AI模型的形式相同。

例如，如果第一AI模型是m×n矩阵形式，则第三AI模型可以是m×n矩阵形式。此外，如果包括在第一AI模型中的多个第一元素中的每一个是10位，则包括在第三AI模型中的多个第三元素中的每一个可小于10位。

多个第三元素中的每一个可包括在多个第一元素中的每一个中包括的多个位中的除在多个第二元素中的每一个中包括的至少一个位之外的至少一个较高位。

例如，如果第一AI模型的1×1元素是1110001111，并且第二AI模型的1×1元素是111，则第三AI模型的1×1元素可以是000。如果第一AI模型的3×2元素是0001010000，并且第二AI模型的3×2元素是000，则第三AI模型的3×2元素可以是101。此外，多个第三元素的位数可相同。

如果第一输出元素之间的差小于预设大小，则处理器120可将多个第一输出元素存储在第二存储器125中，通过将输入数据应用于第三AI模型来获取多个第一中间元素，基于第一输出元素和第一中间元素来获取多个第二输出元素，并基于多个第二输出元素的大小来获取多个第二输出元素中的一个作为输出数据。

第二AI模型可具有比第一AI模型更低的准确度，并且处理器120可确定由第二AI模型获取的输出数据的准确度较低。在这种情况下，处理器120可通过使用比第一AI模型的准确度更低并且比第二AI模型有更多改进的第三AI模型来获取输出数据。

如果多个第二输出元素中的具有第一大大小的第二输出元素与具有第二大大小的第二输出元素之间的差大于或等于预设大小，则处理器120可获取具有第一大大小的第二输出元素作为输出数据。

如果第二输出元素之间的差小于预设大小，则处理器120可将多个第二输出元素存储在第二存储器125中，从第一存储器110获取多个第一元素中的除多个第二元素和多个第三元素之外的其他第一元素，通过对获取的其他第一元素和输入数据执行算术运算来获取多个第二中间元素，基于第二输出元素和第二中间元素来获取多个第三输出元素并且获取多个第三输出元素中的具有第一大大小的第三输出元素作为输出数据。

第三AI模型可具有比第一AI模型更低的准确度，并且处理器120可确定由第三AI模型获取的输出数据的准确度低。在这种情况下，处理器120可通过使用第一AI模型来获取输出数据。

如上所述，可获取输出数据，或者可基于多个输出元素的大小执行另外的算术运算，但不限于此。例如，处理器120可基于从多个第二输出元素中的每一个的大小、梯度、移动平均值和归一化指数(softmax)中选择的至少一个来获取多个第二元素中的一个作为输出数据。

处理器120可包括将输入数据应用于第二AI模型的至少一个乘法器。

所述至少一个乘法器可包括移位器、先进先出(FIFO)存储器和累加器，其中，移位器根据循环接收包括在输入数据中的多个元素中的一个元素，对接收到的元素进行移位并输出，FIFO存储器根据循环接收多个第二元素中的与被输入到移位器中的元素相应的第二元素，并且输出包括在接收到的第二元素中的至少一个位，累加器根据循环接收对从移位器输出的元素和从FIFO存储器输出的第二元素执行算术运算的结果并对所述结果进行累加。将在下面对此进行详细描述。

根据实施例，处理器120可通过如上所述的方法来提高运算速度和能量效率。

在下文中，根据实施例，将参照附图更详细地描述处理器120的操作。

图2A至图2D是示出根据实施例的存储在第一存储器110和第二存储器125中的数据的示图。

图2A是示出存储在第一存储器110中的第一AI模型的示图。第一AI模型可以是m×n矩阵形式。第一AI模型可包括m×n个第一元素，每个第一元素可以是5位。

图2B的上方部分示出存储在第二存储器125中的AI模型。存储在第二存储器125中的AI模型可以是与第一AI模型的形式相同的m×n矩阵形式。存储在第二存储器125中的AI模型可包括m×n个元素，其中，所述元素中的每一个可以是3位。这里，每个3位的元素可以是相应的第一元素的三个较高位。

如图2B的下方部分中所示出的，存储在第二存储器125中的AI模型可被分类为第二AI模型和第三AI模型。如图2B的下方部分的左侧A中所示出的，第二AI模型可包括m×n个第二元素，其中，第二元素中的每一个可以是1位。这里，每个1位的第二元素可以是存储在第二存储器125中的AI模型中的相应3位的元素的一个较高位。

如图2B的下方部分的右侧B中所示出的，第三AI模型可包括m×n个第三元素，其中，第三元素中的每一个可以是2位。这里，每个2位的第三元素可以是存储在第二存储器125中的AI模型中的除了第二元素之外的相应的2位的第三元素。

如上所述，第一元素是5位，第二元素是1位，第三元素是2位，但不限于此。换句话说，如果第二元素的位数与第三元素的位数之和在第一元素的位数内，则第一元素、第二元素和第三元素可由不同位数形成。

处理器120可基于算术运算的准确度将第一AI模型中的一些存储在第二存储器125中。例如，如果仅利用包括在第一AI模型中的多个第一元素的三个较高位来确保90％或更高的准确度，则处理器120可将仅包括第一AI模型中包括的多个第一元素的三个较高位的AI模型存储在第二存储器125中。下面将进一步详细描述算术运算的准确度。

可选地，处理器120可基于第二存储器125的容量将第一AI模型中的一些存储在第二存储器125中。例如，如果第二存储器125能够仅存储第一AI模型的容量的一半，则处理器120可将仅包括第一AI模型中包括的多个第一元素的位的较高位的一半的AI模型存储在第二存储器125中。

处理器120可根据其他各种类型的方法从第一AI模型获取将被存储在第二存储器125中的AI模型。

图2C是示出根据实施例的根据第一AI模型的音素分类超平面的示图。图2D是示出根据实施例的根据第二AI模型的音素分类超平面的示图。

参照图2C，处理器120可基于第一AI模型将输入数据分类为第一输出数据210、第二输出数据211、第三输出数据212和第四输出数据213中的一个。换句话说，处理器120可通过应用第一AI模型将输入数据映射在图2C的平面的一个点上，并且根据映射的点获取相应的输出数据。

例如，参考图2C，处理器120可将第一输入数据220分类为第二输出数据211并且将第二输入数据230分类为第三输出数据212。

此外，参照图2D，处理器120可基于第二AI模型将输入数据分类为第一输出数据210、第二输出数据211、第三输出数据212和第四输出数据213中的一个，但是输入数据在超平面上可能不被准确地分类。

例如，参考图2D，处理器120将第一输入数据220分类为第二输出数据211，但是也将第二输入数据230分类为第二输出数据211，并且因此可推导出与参考图2C推导出的结果不同的结果。

换句话说，如果使用第二AI模型，则仅第一AI模型中的一些被包括，从而减少算术运算量并降低存储容量。此外，由于第二AI模型被存储在处理器120的第二存储器125中，所以与使用存储在安装在处理器120外部的第一存储器110中的第一AI模型的情况相比，可进一步提高处理器120的运算速度。

然而，如图2D中所示出的，可能降低一些输入数据的算术运算的准确度。在下文中，将描述根据实施例的提高算术运算的准确度的方法。

图3是示出根据实施例的输入数据的示图。

输入数据可以是可与AI模型一起执行算术运算的形式。例如，如图3中所示出的，如果AI模型是m×n矩阵形式，则输入数据可以是n×1或1×m矩阵形式。包括在输入数据中的多个元素可用多个位来表示。

然而，输入数据可具有任何类型的形式。此外，如果输入数据的形式改变，则可基于具有改变的形式的输入数据来执行AI模型的训练，从而改变AI模型的形式。

换句话说，输入数据可具有与用于训练AI模型的输入数据的形式相同的任何形式。

图4A和图4B是示出根据实施例的提高算术运算的准确度的方法的示图。

如图4A中所示出的，处理器120可通过对第二AI模型和输入数据执行算术运算来获取多个第一输出元素“out 1至out n”。如果多个第一输出元素“out 1至out n”中的具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差大于或等于预设大小，则处理器120可获取具有第一大大小的第一输出元素作为输出数据。

可选地，多个第一输出元素“out 1至out n”中的具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差可小于预设大小。在这种情况下，处理器120可将多个第一输出元素“out 1至out n”存储在第二存储器125中。

此外，如图4B中所示出的，处理器120可通过对第三AI模型B和输入数据执行算术运算来获取多个第一中间元素“out’1至out’n”。

处理器120可基于多个第一输出元素“out 1至out n”和多个第一中间元素“out’1至out’n”获取多个第二输出元素。这里，处理器120可基于第二AI模型和第三AI模型中包括的并且位于第一AI模型中的位的相对位数，从多个第一输出元素“out 1至out n”和多个第一中间元素“out’1至out’n”获取多个第二输出元素。

例如，如果包括在第一AI模型中的多个第一元素中的每一个是3位，包括在第二AI模型中的多个第二元素中的每一个是相应的3位的第一元素的较高1位，并且包括在第三AI模型中的多个第三元素中的每一个是相应的3位的第一元素的中间1位，则处理器120可将多个第一输出元素“out 1至out n”中的每一个的位置移动1位，然后对多个第一输出元素“out 1至out n”和多个第一中间元素“out’1至out’n”执行加法运算。例如，处理器120可通过执行“out 1×2+out’1”来获取多个第二输出元素中的一个，并且通过对其他第一输出元素和第一中间元素同样地执行算术运算来获取多个第二输出元素。

处理器120可基于多个第二输出元素的大小获取多个第二输出元素中的一个第二输出元素作为输出数据。此外，获取多个第二输出元素中的一个第二输出元素作为输出数据的方法与获取多个第一输出元素中的一个第一输出元素作为输出数据的方法相同，因此为了简单起见，在此省略其详细描述。

处理器120可将先前的算术运算的结果存储在第二存储器125中，并且通过使用除了在先前的算术运算中使用的包括在第二AI模型中的位之外的第三AI模型执行另外的算术运算，从而提高算术速度。

在实施例的以上描述中，通过使用输出元素中的具有第一大大小的输出元素与具有第二大大小的输出元素之间的差来获取输出数据，但是也可使用不同类型的方法。具体地，处理器120可使用多个语言模型，并且在这种情况下，可根据更多种方法来检查算术运算的准确性。根据实施例，将参考图5A和图5B对此进行描述。

图5A和图5B是示出根据另一实施例的提高算术运算的准确度的方法的示图。

图5A和图5B的X轴表示在用于对输入数据执行算术运算的第一AI模型中包括的多个第一元素中使用的较高位的数量。例如，图5A和图5B的X轴是1，X轴指示在包括在第一AI模型中的多个第一元素中仅使用较高的1位。如果图5A和图5B的X轴是2，则X轴指示在包括在第一AI模型中的多个第一元素中仅使用较高的2位。其它是相同的，因此在此省略它们的重复描述。

图5A和图5B的Y轴表示多个输出元素，并且为了描述方便仅示出多个输出元素中的三个。多个输出元素可多于或少于3个，并且可在训练AI模型时被确定。

如图5A和图5B中所示出的，处理器120可获取关于在用于算术运算的AI模型中包括的多个元素的位数的多个输出元素中的每一个的大小、梯度、移动平均值和归一化指数。此外，处理器120可基于从多个输出元素中的每一个的大小、梯度、移动平均值和归一化指数中选择的至少一个来获取多个输出元素中的一个作为输出数据。

具体地，可随着在用于算术运算的AI模型中包括的多个元素的位数的增加来检查多个输出元素的趋势。

例如，如图5A中所示出的，如果当使用包括1位的多个元素的AI模型时具有第一大大小的输出元素与具有第二大大小的输出元素之间的差较大，则处理器120可确定将保持多个输出元素的趋势，并且获取具有第一大大小的输出元素作为输出数据，而无需另外的算术运算。

如图5B中所示出的，如果当使用包括1位的多个元素的AI模型时具有第一大大小的输出元素与具有第二大大小的输出元素之间的差不大，则处理器120可确定将不保持多个输出元素的趋势，并且可执行另外的算术运算。这里，处理器120可使用包括2位的多个元素的AI模型，但是也可立即使用包括5位的多个元素的AI模型。如果随着包括在AI模型中的多个元素的位数增加，具有第二大大小的输出元素变为第一大大小，则处理器120可获取大小变为第一大大小的输出元素作为输出数据。在图5B中，为了便于说明，使用与图5A中使用的第一人工智能模型不同的第一人工智能模型。

处理器120可将存储在第一存储器110中的第一AI模型中的一些存储在第二存储器125中。此外，处理器120可仅读取存储在第二存储器125中的数据中的一些数据，并且对数据中的所述一些数据执行算术运算。

例如，包括在第一AI模型中的多个第一元素中的每一个可以是10位，并且处理器120可仅将多个第一元素中的每一个的较高5位存储在第二存储器125中。处理器120可通过读取存储在第二存储器125中的数据的较高1位数据来形成AI模型，并且从形成的AI模型获取输入数据的多个输出元素。此外，如果算术运算的准确度不准确，则处理器120可通过读取存储在第二存储器125中的数据的第二较高1位数据来形成AI模型，从形成的AI模型获取针对输入数据的多个中间元素，并且通过使用通过先前的算术运算获取的多个输出元素和多个中间元素来获取多个输出元素。

换句话说，第二存储器125可仅存储在第一存储器110中存储的第一AI模型中的一些，并且处理器120可通过仅读取存储在第二存储器125中的数据中的一些数据来获取作为各种类型的AI模型的输入数据的输出数据。

图6是示出根据实施例的使用第一AI模型的示图。

如果未通过使用存储在第二存储器125中的AI模型来检查如在图5A和图5B中所示出的趋势，则处理器120可使用存储在第一存储器110中的第一AI模型。

这里，处理器120可通过使用存储在第二存储器125中的AI模型将算术运算结果存储在第二存储器125中。处理器120还可从第一存储器110获取多个第一元素中的除多个第二元素和多个第三元素之外的其他第一元素，换句话说，处理器120可从第一存储器110获取存储在第一存储器110中的第一AI模型的除存储在第二存储器125中的AI模型之外的其他模型。在图6中所示出的AI模型可以是来自图2A的第一AI模型的除存储在第二AI模型中的图2B的AI模型之外的其余位。

此外，处理器120可通过对获取的其他第一元素和输入数据执行算术运算来获取多个第二中间元素“out”1至out”n”。处理器120可基于多个第二输出元素和多个第二中间元素“out”1至out”n”来获取多个第三输出元素。获取多个第三输出元素的方法与获取多个第二输出元素的方法相同，因此在此省略其重复描述。

处理器120可获取多个第三输出元素中的具有第一大大小的第三输出元素作为输出数据。由于在图6中使用在多个第一元素中的每一个中包括的所有位，所以处理器120可不执行另外的算术运算。换句话说，处理器120可在获取多个第三输出元素之后不执行另外的算术运算。因此，多个第三输出元素中的具有第一大大小的第三输出元素可以是输出数据。

如上参照图6所述，通过使用第一AI模型中的除存储在第二存储器125中的AI模型之外的其他元素来执行算术运算，但不限于此。例如，处理器120可通过仅读取第一AI模型中的除存储在第二存储器125中的AI模型之外的其他元素的较高1位来形成AI模型，并且通过使用形成的AI模型来获取输入数据的多个输出元素。在这种情况下，处理器120可基于多个输出元素的大小执行另外的算术运算。

图7是示出根据实施例的RNN算术运算的示图。

第一AI模型形成为如上参照图2A所述的一个矩阵，但这仅是为了便于描述而不限于此。第一AI模型可包括多个矩阵。

例如，如图7中所示出的，第一AI模型可包括W0、W1、W2、R1和R2的矩阵。此外，处理器120可通过使用包括W0、W1、W2、R1和R2的矩阵的第一层710重复相同的算术运算来获取输出数据。换句话说，第一AI模型可包括多个层。

另外，处理器120可通过将输入数据720输入到W0中来获取第一输出数据730，并且通过将第一输出数据730输入到W1中来获取第二输出数据740。处理器120可将第二输出数据740输入到W2和R1中。换句话说，处理器120可使用中间算术运算结果作为多个输入。处理器120还可将中间算术运算结果存储在第二存储器125中。

图7是示出根据实施例的第一AI模型的示图，但第一AI模型可以是任何其他形式。

图8A和图8B是示出根据实施例的乘法运算的示图。

如图8A中所示出的，处理器120可包括多个PE。多个PE可按照矩阵排列，并且多个PE中的每一个可主要包括乘法器和算术逻辑单元(ALU)，其中，算术逻辑单元(ALU)可包括至少一个或更多个加法器。PE可通过使用乘法器和ALU来执行四种基本算术运算。然而，PE不限于此，并且可以以能够实现四个基本算术运算、移位等的功能的其它形式形成。

如图8B中所示出的，至少一个乘法器可包括移位器810、FIFO存储器820和累加器830，其中，移位器810根据循环接收包括在输入数据中的多个元素中的一个元素，并且对接收到的元素进行移位并输出，FIFO存储器820根据循环接收多个第二元素中的与被输入到移位器810中的元素相应的第二元素，并且输出包括在接收到的第二元素中的至少一位，累加器830根据循环接收对从移位器810输出的元素和从FIFO存储器820输出的第二元素执行的算术运算的结果并对所述结果进行累加。

换句话说，如果从FIFO存储器820输出的数据是0，则0可被输入到累加器830中。如果从FIFO存储器820输出的数据为1，则通过移位器810输出的数据可被输入到累加器830中并在累加器830中被累加。

图9A和图9B是示出根据实施例的运算速度和能量消耗的示图。

如上所述，处理器120可仅使用第一AI模型中的一些而不是整个AI模型，从而提高运算速度。如图9A中所示出的，第一AI模型可以是A+B+C+D，处理器120可通过使用具有最小位数的AI模型A来执行算术运算。此外，如果由AI模型A获取的算术结果被确定为不准确，则处理器120可另外使用AI模型B。

换句话说，可通过仅使用如图9A中所示出的AI模型A来获取大部分输入数据的输出数据，并且与如图9B中所示出的针对所有输入数据使用第一AI模型的全部的情况相比，可在算术速度和能量消耗方面具有更多改进的性能。

图10A至图10C是示出根据示例性实施例的对存储在第二存储器125中的AI模型进行分类的方法的示图。

如上所述，根据示例性实施例，包括在每个组中的多个元素的位数相同。例如，如图10A中所示出的，组A的多个第一元素中的每一个可包括较高1位，组B的多个第一元素中的每一个可包括较高第二位至较高第四位，组C的多个第一元素中的每一个可包括较高第五位至较高第九位，并且组D的多个第一元素中的每一个可包括较高第十位至其他位(第十六位)。

然而，本公开不限于此，如图10B中所示出的，分别包括在组中的多个第一元素的位数可彼此不同，使得组A的一些第一元素可以不包括任何位，并且组A的其他元素可包括较高2位。因此，如图10B中所示出的，组B的第一元素中的一些可包括较高4位，而其他第一元素可仅包括较高第三位和较高第四位。可选地，如图10C中所示出的，仅多个第一元素中的一些可被包括在组A中，并且可以不被包括在其他组中。

图11是示出根据实施例的控制电子装置的方法的流程图。

在操作S1110，将包括多个第一元素的第一AI模型存储在电子装置的第一存储器中。在操作S1120，将包括多个第二元素的第二AI模型存储在电子装置的处理器的第二存储器中。在操作S1130，基于第二AI模型获取输入数据的输出数据。这里，可通过AI算法来训练第一AI模型，并且多个第二元素中的每一个可包括在多个第一元素中的每一个中包括的多个位中的至少一个较高位。

这里，操作S1130可包括通过将输入数据应用于第二AI模型来获取多个第一输出元素，并基于多个第一输出元素的大小来获取多个第一输出元素中的一个作为输出数据。

此外，获取多个第一输出元素中的一个第一输出元素作为输出数据的步骤可包括：如果多个第一输出元素中的具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差大于或等于预设大小，则获取具有第一大大小的第一输出元素作为输出数据。

可选地，所述方法还可包括：将包括多个第三元素的第三AI模型存储在第二存储器中，如果第一输出元素之间的差小于预设大小，则将多个第一输出元素存储在第二存储器中，通过将输入数据应用于第三AI模型来获取多个第一中间元素，基于第一输出元素和第一中间元素来获取多个第二输出元素，并且基于多个第二输出元素的大小来获取多个第二输出元素中的一个作为输出数据。多个第三元素中的每一个可包括在多个第一元素中的每一个中包括的多个位中的除了在多个第二元素中的每一个中包括的至少一位之外的至少一个较高位。

获取多个第二输出元素中的一个第二输出元素作为输出数据的步骤可包括：如果多个第二输出元素中的具有第一最大大小的第二输出元素与具有第二大大小的第二输出元素之间的差大于或等于预设大小，则获取具有第一最大大小的第二输出元素作为输出数据。

这里，获取多个第二输出元素中的一个第二输出元素作为输出数据还可包括：如果第二输出元素之间的差小于预设大小，则将多个第二输出元素存储在第二存储器中，从第一存储器获取多个第一元素中的不包括多个第二元素和多个第三元素的其他第一元素，通过对获取的其他第一元素和输入数据执行算术运算来获取多个第二中间元素，基于第二输出元素和第二中间元素获取多个第三输出元素，并且获取多个第三输出元素中的具有第一最大大小的第三输出元素作为输出数据。

获取多个第二输出中的一个第二输出作为输出数据的步骤可包括：基于从多个第二输出元素中的每一个的大小、梯度、移动平均值和归一化指数中选择的至少一个来获取多个第二输出元素中的一个第二输出元素作为输出数据。

操作S1130可包括通过至少一个乘法运算将输入数据应用于第二AI模型。

根据上述实施例，电子设备的处理器可包括存储压缩的AI模型的内部存储器，通过使用压缩的AI模型执行算术运算来提高算术速度，并且通过使与存储AI模型的外部存储器的数据传输最小化来提高能量效率。

如上所述，将多个输出元素中的具有第一大大小的输出元素与具有第二大大小的输出元素之间的差与预设大小进行比较，但预设大小可在每个运算中变化。在上述实施例中，处理器120可将多个第一输出元素中的具有第一大大小的第一输出元素与具有第二大大小的第一输出元素之间的差与预设的第一大小进行比较，并且将多个第二输出元素中的具有第一大大小的第二输出元素与具有第二大大小的第二输出元素之间的差与预设的第二大小进行比较。

即使在长短期存储器(LSTM)类型中，也可通过如上所述的仅使用包括在AI模型中的多个元素的一些位来获取输出数据。在这种情况下，在LSTM类型的每个运算中，可提高算术速度，并且可降低能量消耗。

实施例可被实现为包括存储在机器可读存储介质(例如，计算机可读存储介质)中的指令的软件。装置可以是从存储介质调用指令的装置，可根据所调用的指令进行操作，并且可包括根据实施例的电子装置(例如，电子装置A)。如果指令由处理器执行，则处理器可直接执行与指令相应的功能，或者可以在处理器的控制下通过使用其他类型的元件来执行功能。指令可包含由编译器做出的代码或可由解释器执行的代码。机器可读存储介质可被提供为非暂时性存储介质类型。这里，“非暂时性”表示存储介质不包括信号并且是有形的，但是不对存储介质中的数据的半永久存储和临时存储进行区分。

此外，根据实施例，可在计算机程序产品中包括和提供一种方法。计算机程序产品可在卖方和买方之间作为产品被交易。计算机程序产品可作为一种机器可读存储介质(例如，一种光盘只读存储器(CD-ROM))被发布，或者可通过应用商店(例如，play store^TM)被在线分发。如果计算机程序产品是在线发布的，则计算机程序产品的至少一部分可被至少临时地或暂时地在存储介质(诸如，制造商的服务器的存储器、应用商店的服务器或中继服务器)中产生。

另外，根据实施例，上述实施例可在可由计算机或与计算机类似的设备读取的记录介质中通过使用软件、硬件或软件和硬件的组合来实现。在一些情况下，本文所描述的实施例可被实现为处理器。根据软件实施例，诸如本文所述的处理和功能的实施例可被实现为另外的软件模块。软件模块可执行本文描述的至少一个或更多个功能和操作。

用于执行根据上述实施例的装置的处理操作的计算机指令可被存储在非暂时性计算机可读介质中。存储在非暂时性计算机可读介质中的计算机指令在由特定装置的处理器执行时，使得特定装置能够执行根据上述实施例的装置中的处理操作。非暂时性计算机可读介质是不是临时存储数据而是半永久地存储数据并且可由装置读取的介质(诸如，寄存器、现金和存储器)。更具体地讲，上述应用或程序可被存储在非暂时性计算机可读介质中，诸如，压缩盘(CD)、数字视频盘、硬盘、蓝光盘、通用串行总线、存储卡和只读存储器(ROM)。

根据实施例的元件(例如，模块或程序)中的每一个可包括单个实体或多个实体，并且可省略上述相应的子元件中的一些，或者可在实施例中进一步包括其他类型的子元件。可选地或另外地，一些元件(例如，模块或程序)可被集成到一个实体中，并且然后可等同地或类似地执行由未被集成的相应元件中的每一个执行的功能。可顺序地、并行地、重复地或启发式地执行由根据实施例的模块、程序或其他类型的元件执行的操作，或者可以以不同的顺序执行至少一些操作或者可省略至少一些操作，或者可添加其他类型的操作。

前述实施例和优点仅是示例性的，并且不应被解释为限制本公开。本教导可容易地应用于其它类型的设备。此外，实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且对于本领域技术人员来说许多替代物、修改和变化将是显而易见的。

Claims (15)

1.一种电子设备，包括：

第一存储器，被配置为存储包括多个第一元素的第一人工智能AI模型，其中，每一个第一元素包括多个位；以及

处理器，包括第二存储器，其中，第二存储器被配置为存储包括多个第二元素的第二AI模型，并且所述处理器被配置为基于第二AI模型从输入数据获取输出数据，

其中，第一AI模型是通过AI算法训练的，并且

其中，所述多个第二元素中的每一个第二元素包括所述多个第一元素中的各个元素的所述多个位中的至少一个较高位。

2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为通过将所述输入数据应用于第二AI模型来获取多个第一输出元素，并且还被配置为基于所述多个第一输出元素的大小来获取所述多个第一输出元素中的一个第一输出元素作为所述输出数据。

3.根据权利要求2所述的电子设备，其中，基于第一输出元素中的具有第一大大小的所述一个第一输出元素与具有第二大大小的另一第一输出元素之间的差大于或等于预设大小，所述处理器还被配置为获取第一输出元素中的具有第一大大小的所述一个第一输出元素作为所述输出数据。

4.根据权利要求3所述的电子装置，其中，第二存储器还被配置为存储包括多个第三元素的第三AI模型，

其中，基于第一输出元素之间的差小于预设大小，所述处理器还被配置为将所述多个第一输出元素存储在第二存储器中，通过将所述输入数据应用于第三AI模型来获取多个第一中间元素，基于第一输出元素和第一中间元素来获取多个第二输出元素，并且基于所述多个第二输出元素的大小来获取所述多个第二输出元素中的一个第二输出元素作为所述输出数据，以及

其中，所述多个第三元素中的每一个第三元素包括所述多个第一元素中的每一个第一元素中的所述多个位中的除了在所述多个第二元素中的每一个第二元素中包括的所述至少一个位之外的至少一个较高位。

5.根据权利要求4所述的电子设备，其中，基于所述多个第二输出元素中的具有第一大大小的所述一个第二输出元素与所述多个第二输出元素中的具有第二大大小的另一第二输出元素之间的差大于或等于预设大小，所述处理器还被配置为获取具有第一大大小的所述一个第二输出元素作为所述输出数据。

6.根据权利要求5所述的电子设备，其中，基于第二输出元素之间的差小于预设大小，第二存储器被配置为存储所述多个第二输出元素，并且所述处理器还被配置为从第一存储器获取所述多个第一元素中的除所述多个第二元素和所述多个第三元素之外的其他第一元素，通过对获取的所述其他第一元素和所述输入数据执行算术运算来获取多个第二中间元素，基于第二输出元素和第二中间元素来获取多个第三输出元素，并且获取所述多个第三输出元素中的具有最大大小的第三输出元素作为所述输出数据。

7.根据权利要求4所述的电子设备，其中，所述处理器还被配置为基于从所述多个第二输出元素中的每一个第二输出元素的大小、梯度、移动平均值和归一化指数中选择的至少一个来获取所述多个第二输出元素中的所述一个第二输出元素作为所述输出数据。

8.根据权利要求1所述的电子设备，其中，所述处理器包括：至少一个乘法器，被配置为将所述输入数据应用于第二AI模型。

9.根据权利要求8所述的电子设备，其中，所述至少一个乘法器包括：

移位器，被配置为根据循环接收包括在所述输入数据中的多个元素中的一个元素，对接收到的元素进行移位并输出；

先进先出FIFO存储器，被配置为根据循环接收所述多个第二元素中的与被输入到所述移位中的所述元素相应的第二元素，并且输出接收到的第二元素的至少一个位；以及

累加器，被配置为根据循环接收对接收到的从所述移位器输出的所述元素和从所述FIFO存储器输出的所述第二元素执行算术运算的结果并对所述结果进行累加。

10.一种控制电子设备的方法，所述方法包括：

将包括多个第一元素的第一人工智能AI模型存储在第一存储器中，其中，所述多个元素中的每一个元素包括多个位；

将包括多个第二元素的第二AI模型存储在处理器的第二存储器中；并且

由所述处理器基于第二AI模型从输入数据获取输出数据，

其中，第一AI模型是通过AI算法训练的，并且

其中，所述多个第二元素中的每一个第二元素包括在所述多个第一元素中的各个元素中包括的所述多个位中的至少一个较高位。

11.根据权利要求10所述的方法，其中，获取步骤包括：

通过将所述输入数据应用于第二AI模型来获取多个第一输出元素；并且

基于所述多个第一输出元素的大小来获取所述多个第一输出元素中的一个第一输出元素作为所述输出数据。

12.根据权利要求11所述的方法，其中，获取多个第一输出元素中的一个第一输出元素作为所述输出数据的步骤包括：

基于所述多个输出元素中的具有第一大大小的所述一个第一输出元素与具有第二大大小的另一第一输出元素之间的差大于或等于预设大小，获取具有第一大大小的所述一个第一输出元素作为所述输出数据。

13.根据权利要求12所述的方法，还包括：

将包括多个第三元素的第三AI模型存储在第二存储器中；

基于第一输出元素之间的差小于预设大小，将所述多个第一输出元素存储在第二存储器中；

由所述处理器通过将所述输入数据应用于第三AI模型来获取多个第一中间元素；

由所述处理器基于第一输出元素和第一中间元素来获取多个第二输出元素；并且

基于所述多个第二输出元素的大小来获取所述多个第二输出元素中的一个第二输出元素作为所述输出数据，

其中，所述多个第三元素中的每一个第三元素包括所述多个第一元素中的各个元素中的所述多个位中的除了所述多个第二元素中的各个第二元素的至少一个位之外的至少一个较高位。

14.根据权利要求13所述的方法，其中，获取所述多个第二输出元素中的一个第二输出元素作为所述输出数据的步骤包括：

基于所述多个第二输出元素中的具有第一大大小的所述一个第二输出元素与所述多个第二输出元素中的具有第二大大小的其他第二输出元素之间的差大于或等于预设大小，获取所述多个第二输出元素中的具有第一大大小的所述一个第二输出元素作为所述输出数据。

15.根据权利要求14所述的方法，还包括：

基于第二输出元素之间的差小于预设大小，将所述多个第二输出元素存储在第二存储器中；

从第一存储器获取所述多个第一元素中的除所述多个第二元素和所述多个第三元素之外的其他第一元素；

通过对获取的所述其他第一元素和所述输入数据执行算术运算来获取多个第二中间元素；

基于第二输出元素和第二中间元素获取多个第三输出元素；并且

获取所述多个第三输出元素中的具有第一大大小的第三输出元素作为所述输出数据。

Images