CN113906447A - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN113906447A
CN113906447A CN202080039397.9A CN202080039397A CN113906447A CN 113906447 A CN113906447 A CN 113906447A CN 202080039397 A CN202080039397 A CN 202080039397A CN 113906447 A CN113906447 A CN 113906447A
Authority
CN
China
Prior art keywords
hidden layer
layer
data
layers
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080039397.9A
Other languages
English (en)
Inventor
李桐洙
权世重
金炳旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113906447A publication Critical patent/CN113906447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3082—Vector coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6011—Encoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6047—Power optimization with respect to the encoder, decoder, storage or transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一种电子设备。所述电子设备包括存储器，被配置为存储一个或多个指令；以及处理器，被配置为通过运行指令将输入数据输入到包括多个层的人工智能模型来获得输出数据，人工智能模型被配置为基于通过多个层的操作输出输出数据，以及处理器被配置为：对从多个层中的一个层输出的操作数据编码，并将编码的操作数据存储在存储器中，通过解码存储在存储器中的编码的操作数据，获得对应于操作数据的恢复数据，以及将获得的恢复数据提供给来自多个层当中的另一层。

Description

电子设备及其控制方法
技术领域
本发明涉及一种电子设备及其控制方法。更具体地，本发明涉及一种基于人工智能技术操作的电子设备及其控制方法。
背景技术
最近，已经开发实现人类水平智能的人工智能系统。人工智能系统是一个不同于现有基于规则的智能系统的系统，机器自行学习并做出决定，并被用于各个领域，诸如语音识别、图像识别和未来预测等。特别是最近，已经开发基于深度学习解决给定问题的人工智能系统。
同时，为了通过人工智能模型实现人工智能技术，需要将基于人工智能模型的参数和输入数据的操作输出的操作数据存储在存储器中。
在此，人工智能模型的参数是人工智能模型每一层的权重，并且由于它在学习之后是固定值，因此可以称为静态数据。此外，基于输入数据的操作输出的操作数据是由人工智能模型的每个后续输出的值，并且由于它是由输入数据确定的值，因此可以将其称为动态数据。
同时，已经开发了用于通过诸如量化的方法压缩上述固定数据的技术，但是目前尚未开发对于动态数据的压缩的技术。
上述信息仅作为背景信息提供，以帮助理解本公开。对于上述任何内容是否可作为本公开的现有技术应用，尚未做出任何决定，也未做出任何断言。
发明内容
【技术问题】
本发明的方面旨在至少解决上述问题和/或缺点，并至少提供下述优点。因此，本发明的一个方面是提供一种用于基于人工智能技术及其控制方法操作的电子设备的设备和方法。
附加方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过所呈现的实施例的实践来了解。
根据本发明的一个方面，提供了一种电子设备。所述电子设备包括：存储器，被配置为存储一个或多个指令；以及处理器，被配置为通过运行指令将输入数据输入到包括多个层的人工智能模型来获得输出数据，以及人工智能模型被配置为基于通过多个层的操作输出输出数据，以及处理器被配置为：对从多个层中的一个层输出的操作数据编码，并将编码的操作数据存储在存储器中，通过解码存储在存储器中的编码的操作数据，获得对应于操作数据的恢复数据(recovery data)，以及将获得的恢复数据提供给来自多个层当中的另一层。
多个层可以被配置为包括第一层、第二层以及第一层和第二层之间的第一隐藏层和第二隐藏层，其中，人工智能模型被配置为学习第一隐藏层和第二隐藏层的权重，以生成重建第一层的第二隐藏层，以及其中，处理器还被配置为基于第一隐藏层的权重对操作数据编码，并基于第二隐藏层的权重对编码的操作数据解码。
人工智能模型还可以配置为：基于第一层的输出数据和第一隐藏层的权重的操作输出第一输出数据，基于第一输出数据和对第二隐藏层的权重的操作输出第二输出数据，以及学习第一隐藏层和第二隐藏层的权重，使得第一层的输出数据和第二隐藏层的第二输出数据的误差最小化。
第一隐藏层可以具有相对低于第一层的维度的维度，以及其中，第二隐藏层具有与第一层的维度相同的维度。
人工智能模型还可以配置为通过对包括多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
人工智能模型还可以配置为：基于在多个层的学习完成的同时添加第一隐藏层和第二隐藏层，所述多个层不包括第一隐藏层和第二隐藏层，在固定多个层的权重的同时，通过对包括多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
多个层可以包括第一层、第二层、第三层、第一层和第二层之间的第一隐藏层和第二隐藏层，以及第二层和第三层之间的第三隐藏层和第四隐藏层，其中，人工智能模型还被配置为：学习第一隐藏层和第二隐藏层的权重以生成重建第一层的第二隐藏层，以及学习第三隐藏层和第四隐藏层的权重以生成重建第二层的第四隐藏层，以及学习使得第一隐藏层和第三隐藏层具有相同的权重，并且第二隐藏层和第四隐藏层具有相同的权重。
处理器还可以配置为：通过一个编码器执行对第一隐藏层的输入数据的编码和对第三编码器的输入数据的编码，以及通过一个解码器执行对第二解码器的输入数据的解码和对第四解码器的输入数据的解码。
根据本发明的另一方面，提供了一种电子设备的控制方法。所述控制方法包括：对从人工智能模型的多个层中的一个层输出的操作数据编码，并将编码的操作数据存储在存储器中；通过对存储在存储器中的编码的操作数据解码，获得对应于操作数据的还原数据(restoration data)；以及将获得的还原数据提供给来自多个层当中的另一层。
多个层可以包括第一层、第二层以及第一层和第二层之间的第一隐藏层和第二隐藏层，其中，人工智能模型被配置为学习第一隐藏层和第二隐藏层的权重，以生成重建第一层的第二隐藏层，其中，编码包括基于第一隐藏层的权重对操作数据编码，以及其中，解码包括基于第二隐藏层的权重对编码的操作数据解码。
人工智能模型还可以配置为：基于第一层的输出数据和第一隐藏层的权重的操作输出第一输出数据，基于第一输出数据和对第二隐藏层的权重的操作输出第二输出数据，以及学习第一隐藏层和第二隐藏层的权重，使得第一层的输出数据和第二隐藏层的第二输出数据的误差最小化。
第一隐藏层可以具有相对低于第一层的维度的维度，以及其中，第二隐藏层具有与第一层的维度相同的维度。
人工智能模型还可以配置为通过对包括多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
人工智能模型还可以配置为：基于在多个层的学习完成的同时添加第一隐藏层和第二隐藏层，所述多个层不包括第一隐藏层和第二隐藏层，在固定多个层的权重的同时，通过对包括多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
多个层可以包括第一层、第二层、第三层、第一层和第二层之间的第一隐藏层和第二隐藏层，以及第二层和第三层之间的第三隐藏层和第四隐藏层，其中，人工智能模型还被配置为：学习第一隐藏层和第二隐藏层的权重以生成重建第一层的第二隐藏层，以及学习第三隐藏层和第四隐藏层的权重以生成重建第二层的第四隐藏层，以及学习使得第一隐藏层和第三隐藏层具有相同的权重，并且第二隐藏层和第四隐藏层具有相同的权重。
控制方法还可以包括：通过一个编码器执行对第一隐藏层的输入数据的编码和对第三编码器的输入数据的编码，以及通过一个解码器执行对第二解码器的输入数据的解码和对第四解码器的输入数据的解码。
根据实施例的存储至少一个指令的计算机可读记录介质运行指令，以使电子设备对从人工智能模型的多个层中的一个层输出的操作数据编码，并将编码的操作数据存储在存储器中，通过对存储在存储器中的编码操作数据解码，获得对应于操作数据的还原数据，并将获得的还原数据提供给来自多个层当中的另一层。
计算机编码的操作数据可以被编码在具有比包括操作数据的向量小一个维度的向量中。
向量可以包括操作数据，该操作数据包括与包括还原数据的向量相同数量的维度。
【技术方案】
本发明旨在提供一种能够压缩和存储操作数据的电子设备，即，由人工智能模型的每一层输出的动态数据的电子设备及其控制方法。
【有益效果】
根据如上所述的多个实施例，甚至可以通过动态数据的压缩在具有有限存储器的移动器件中有效地实现人工智能技术。
附图说明
通过结合附图进行的以下描述，本发明的某些实施例的上述和其他方面、特征和优点将更加明显，在附图中：
图1是用于解释根据本发明的实施例的电子设备的框图；
图2是用于解释根据本发明的实施例的电子设备的详细框图；
图3是用于解释根据本发明的实施例的使用编码数据生成输出数据的实施例的视图；
图4是用于解释根据本发明的实施例的人工智能模型的学习方法的视图；
图5是用于解释根据本发明的实施例的多个编码和多个解码的视图；
图6是用于解释根据本发明的实施例的电子设备的详细框图；以及
图7是用于解释根据本发明的实施例的电子设备的控制方法的流程图。
贯穿附图，类似的附图标记将被理解为指代类似的部件、组件和结构。
具体实施方式
参考附图提供以下描述以帮助全面理解由权利要求及其等同物定义的本发明的多个实施例。它包括有助于理解的多个具体细节，但这些仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对本文描述的多个实施例进行各种改变和修改。此外，为了清楚和简洁，可以省略对已知功能和构造的描述。
以下说明书和权利要求中使用的术语和词语不限于书目含义，而是仅由发明人使用，以使其能够清楚且一致地理解本发明。因此，本领域技术人员应当清楚，以下对本发明的多个实施例的描述仅用于说明目的，而不是限制所附权利要求及其等同物所定义的本发明。
应当理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指代。因此，例如，对“组件表面”的引用包括对一个或多个这样的表面的引用。
此外，如果确定在描述实施例时，对相关已知功能或配置的详细解释可能会不必要地模糊本发明的要点，则将缩写或省略详细解释。
此外，将参考附图和附图中描述的内容详细描述本发明的实施例，但本发明不限于此。
在下文中，将参考附图详细描述本公开。
本发明旨在提供一种能够压缩和存储操作数据的电子设备，即，人工智能模型的每一层输出的动态数据的电子设备及其控制方法。
图1是用于解释根据本发明的实施例的电子设备的框图。
参考图1，根据实施例的电子设备100包括存储器110和处理器120。
根据实施例的电子设备100是使用人工智能模型获得关于输入数据的输出数据的设备，并且电子设备100可以是例如台式个人计算机(PC)、笔记本PC、智能手机、平板PC、服务器等。可选地，电子设备100可以是其中建立云计算环境的系统本身。然而，电子设备100不限于此，并且可以是能够使用人工智能模型执行操作的任何设备。
存储器110与处理器120单独提供，并且可以实现为硬盘、非易失性存储器、易失性存储器等。在此，非易失性存储器可以是一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM等，并且易失性存储器可以是动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM)等。存储器110可以实现为处理器120中的ROM(未示出)或RAM(未示出)中的至少一个。
存储器110由处理器120访问，并且数据的读取/记录/修改/删除/更新等可以由处理器120执行。
存储器110可以存储人工智能模型。在此，人工智能模型可以是通过人工智能算法训练的模型。
人工智能模型可以由多个层组成。在此，每一层可以包括一个或多个节点(或神经元)，并且每个节点可以被分配至少一个权重。
照此，人工智能模型可以是基于神经网络的模型。例如，人工智能模型可以是基于循环神经网络(RNN)的模型。在此，RNN是指有环的(cyclic)神经网络，并且是一种用于学习随时间变化的数据(诸如时间序列数据)的深度学习模型。
然而，人工智能模型不限于此，并且人工智能模型可以是基于多种网络的模型，诸如卷积神经网络(CNN)、深度神经网络(DNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向循环深度神经网络(BRDNN)等。此外，存储器110可以存储基于规则生成的模型，而不是通过人工智能算法训练的模型，并且存储器110中存储的模型没有特定限制。
处理器120控制电子设备100的整体操作。为此，处理器120可以由一个或多个处理器组成。在此，一个或多个处理器可以是通用处理器，诸如中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)。一个或多个处理器还可以是专用于图形的处理器，诸如图形处理单元(GPU)，或专用于人工智能的处理器，诸如神经网络处理单元(NPU)。
处理器120可以通过运行存储在存储器110中的至少一个指令来执行根据本发明的多个实施例的电子设备100的操作。例如，处理器120可以通过运行至少一个指令，使用包括多个层的人工智能模型来获得关于输入数据的输出数据。在此，输入数据可以是文本、图像、用户语音等。例如，文本可以是通过诸如电子设备100的键盘、触摸板等的输入单元(未示出)输入的文本，并且图像可以是通过电子设备100的相机拍摄的图像。用户语音可以是通过电子设备100的麦克风输入的用户语音。然而，这仅是示例，并且处理器120可以以多种方式获得输入数据。例如，处理器120可以从诸如服务器的外部器件接收图像，或者可以从诸如遥控器的外部器件接收用户语音。此外，上述输入数据可以是例如预定时间段的多种类型的数据，诸如天气数据、股票数据等。
同时，输出数据可以根据输入数据的类型和/或人工智能模型而变化。换句话说，输出数据可能会根据哪个输入数据被输入到哪个人工智能模型而不同。例如，如果本发明的人工智能模型是用于语言翻译的模型，则处理器120可以对于以第一语言表示的输入数据获得以第二语言表示的输出数据。可选地，如果本发明的人工智能模型是用于图像分析的模型，则处理器120可以输入图像作为人工智能模型的输入数据，并获得关于从对应图像检测的对象的信息作为输出数据。例如，如果输入包括小狗的图像作为输入数据，则处理器120可以获得对应图像是包括小狗的图像作为输出数据的信息。如果本发明的人工智能模型是用于图像分析的模型，则处理器120可以输入图像作为人工智能模型的输入数据，并获得将对应图像表示为词的文本作为输出数据。例如，如果输入抱着苹果的男孩的图像作为输入数据，则处理器120可以获得文本“男孩正在摘苹果”作为输出数据。如果本发明的人工智能模型是用于语音识别的模型，则处理器120可以输入用户语音作为输入数据，并获得对应于用户语音的文本作为输出数据。同时，上述输出数据是示例，并且本发明的输出数据的类型不限于此。
当输入数据被输入时，处理器120可以将输入数据表示为向量(矩阵或张量)。在此，将输入数据表示为向量(矩阵或张量)的方法可以根据输入数据的类型而变化。例如，如果输入文本(或从用户语音转换的文本)作为输入数据，则处理器120可以通过独热编码(One hot Encoding)将文本表示为向量，或者通过词嵌入(Word Embedding)将文本表示为向量。在此，独热编码是仅特定词的索引的值表示为1且剩余索引的值表示为0的方法，并且词嵌入是词在由用户设置的向量的维度(例如，128维度)中表示为实数的方法。作为词嵌入方法的示例，可以使用Word2Vec、FastText、Glove等。同时，如果输入图像作为输入数据，则处理器120可以将图像的每个像素表示为矩阵。例如，处理器120可以将图像的每个像素表示为每个红色、绿色和蓝色(RGB)颜色的0到255的值，或者将图像表示为矩阵，其具有将表示为0到255的值除以预设数(例如，255)的取得的值。
处理器120可以使用人工智能模型对于表示为向量(矩阵或张量)的输入数据执行操作。
例如，如果人工智能模型由输入层、隐藏层和输出层组成，则输入层可以包括关于表示为向量(矩阵或张量)的输入数据的信息。在这种情况下，处理器120可以通过计算输入数据的向量(或矩阵或张量)中从存储器110读取的输入层和隐藏层之间的权重来输出输入数据的操作数据。在此，可以进一步考虑偏差(bias)，但是为了便于解释，将在描述中省略偏差。此外，处理器120可以通过使用输入层的操作数据作为隐藏层的输入来执行操作。具体地，处理器120可以通过执行基于从存储器110读取的隐藏层和输出层之间的权重的操作来输出输入层的操作数据和隐藏层的操作数据。处理器120可以使用隐藏层的操作数据作为输出层的输入来获得输出数据。具体地，处理器120可以通过对隐藏层的操作数据应用预定功能(例如，softmax功能)来输出输出数据。在此，如上所述，如果人工智能模型是用于语言翻译的模型，则输出数据可以是与作为输入数据输入的输入文本不同的语言的文本，并且如果人工智能模型是用于图像分析的模型，则输出数据可以是包括关于包括在图像中的对象的信息的数据。然而，输出数据不限于此。同时，如果本发明的人工智能模型是包括多个隐藏层的模型，则在先前隐藏层中输出的操作数据可以是下一隐藏层的输入数据。
处理器120可以将人工智能模型的每一层的操作数据存储在存储器110中。这是因为在训练人工智能模型的阶段，在反向传播的阶段，需要用于更新每一层的权重的操作数据以最小化人工智能模型的误差，以及在训练人工智能模型之后的推理的阶段，需要先前层的操作数据以便执行下一层的操作。例如，如果本发明的人工智能模型是循环神经网络(RNN)，则处理器120可以在存储器110中存储基于先前时间点的输入数据输出的操作数据，以便在输出下一时间点的输入数据的操作数据的过程中使用操作数据。此外，如果本发明的人工智能模型是卷积神经网络(CNN)，则处理器120可以在存储器110中存储通过对于先前层执行卷积操作处理而生成的操作数据(即，特征图)，以便将操作数据用于下一层的操作。
同时，操作数据是基于如上所述输入到每一层的数据确定的数据，并且因此，可以称为动态数据、中间数据或激活。
同时，当如上所述将操作数据存储在存储器110中时，在诸如具有有限存储器的智能手机的移动器件中可能存在超过存储器的容量的问题。
为了解决这样的问题，处理器120可以编码(或压缩)操作数据并将其存储在存储器110中，这将参考图2进行解释。
图2是用于解释根据本发明的实施例的电子设备的详细框图。
参考图2，根据实施例的电子设备100可以包括存储器110、编码器130、解码器140和处理器120。在下文中，将省略或缩写重叠描述。
处理器120连接到组成电子设备100的一个或多个组件，并控制电子设备100的整体操作。具体地，处理器120连接存储器110、编码器130或解码器140中的至少一个以控制每个组件的操作。
处理器120可以获得输入数据。例如，处理器120不仅可以获得通过诸如电子设备100的键盘或触摸板的输入单元(未示出)输入的文本作为输入数据，还可以获得通过电子设备100的相机拍摄的图像作为输入数据。此外，处理器120可以通过电子设备100的麦克风获得用户语音输入作为输入数据。
处理器120可以将输入数据表示为向量(根据实施例的矩阵或张量)。在此，根据输入数据的类型，将输入数据表示为向量(矩阵或张量)的方法可以不同。例如，如果获得“Iam a boy”的文本作为输入数据，则处理器120可以通过独热编码将“I”表示为[1,0,0,0]，将“am”表示为[0,1,0,0]，将“a”表示为[0,0,0,1]，且将“boy”表示为[0,0,0,1]。可选地，处理器120可以通过字嵌入将“I”表示为[0.1,4.2,1.5,2.8]，将“am”表示为[1.0,3.1,2.5,1.1]，将“a”表示为[0.3,2.1,0.9,1.1]，将“boy”表示为[0.7,1.7,0.5,0.2]。如果获得图像作为输入数据，则处理器120可以基于每个像素的RGB值将图像表示为M×N形式的矩阵(在此，M和N不仅可以是不同的整数，还可以是相同的整数)。
处理器120可以使用人工智能模型对于向量(矩阵或张量)中表示的输入数据执行操作。例如，如果人工智能模型由输入层、隐藏层和输出层组成，则输入层可以包括关于以向量(矩阵或张量)表示的输入数据的信息。在这种情况下，处理器120可以通过计算从存储器110读取的输入层和隐藏层之间的权重来输出输入层的操作数据。
在这种情况下，操作可以是以y＝M*x形式的深度学习操作(在此，M是指表示从存储器110读取的权重的向量、矩阵或张量，x是指表示输入数据的向量、矩阵或张量，y指示表示操作数据的向量、矩阵或张量)。例如，如果输入数据是[x1；x2]，并且从存储器110读取的权重是[w11,w12；w21,w22]，则操作数据可以是[w11*x1+w12*x2；w21*x1+w22*x2]。为此，处理器120可以包括执行数据的操作的处理元件(PE)，并且可以连接到存储器110的接口。
处理器120可以执行在存储器110中存储操作数据的操作。
具体地，处理器120可以对操作数据编码并将其存储在存储器110中。如上所述，人工智能模型的操作数据可以表示为向量、矩阵或张量，并且这样的向量、矩阵或张量是本发明的编码的主题。
为此，处理器120可以连接到编码器130，如图2所示。处理器120可以将基于深度学习操作生成的操作数据发送到编码器130。
编码器130可以对处理器120输出的操作数据编码。在此，编码是指操作数据的压缩，并且编码器130可以通过编码将操作数据转换为小于操作数据的数据，或者将操作数据表示为小于操作数据的数据。
根据实施例，操作数据可以通过编码转换为或表示为具有维度低于操作数据的维度的数据。换句话说，如果操作数据是n维向量(矩阵或张量)，则编码器130可以将操作数据转换为具有维度小于n的向量(矩阵或张量)，或者将操作数据表示为具有维度小于n的向量(矩阵或张量)。例如，如果通过上述深度学习输出的操作数据表示为诸如[0.7,1.7,0.5,0.2]的四维向量，则编码器130可以将[0.7,1.7,0.5,0.2]的操作数据表示为诸如[0.5,1.5,0.4]的三维向量。
为此，当从处理器120接收到操作数据时，编码器130可以从存储器110读取用于编码操作数据的权重。
具体地，当从处理器120接收到层n的操作数据时，编码器130可以从存储器110读取对应于层n的权重。在此，对应于层n的权重意味着学习的用于编码层n的操作数据的权重。随后将参考图4描述本发明的人工智能模型的学习。
编码器130可以通过基于从处理器120接收的操作数据和从存储器110读取的权重执行深度学习操作对层n的操作数据编码。换句话说，编码器130可以将表示为n维向量(矩阵或张量)的层n的操作数据转换或表示为具有维度小于n的向量(矩阵或张量)。
随后，编码器130可以将编码的数据存储在存储器110中。为此，编码器130可以连接到存储器110，如图2所示。
同时，上面已经描述了基于输入数据和隐藏层的权重的操作数据被编码，但是这仅是示例。如果本发明的人工智能模型包括多个隐藏层，则处理器120可以通过编码器130基于第一隐藏层的输出数据(对应于第二隐藏层的输入数据)和第二隐藏层的权重对操作数据编码。待编码的操作数据不仅可以是先前层的输出数据，还可以是当前层的激活函数(例如，ReLu、sigmoid)应用于先前层的输出数据的数据。
解码器140可以解码存储在存储器110中的编码的数据。
解码意味着编码的数据的还原，并且解码器140可以将编码的数据还原为与编码之前的数据对应的数据。在此，与编码之前的数据相对应的数据意味着近似于编码之前的数据的数据，并且可能与编码之前的数据不完全相同，但是可以是能够被视为重建编码之前的数据的数据。
根据实施例，存储在存储器110中的编码的数据可以是由编码器130编码的数据，即，由处理器120输出的操作数据被编码器130转换成或表示为具有低维度的数据。在这种情况下，解码器140可以通过解码存储在存储器110中的编码的数据来获得对应于上述操作数据的还原数据。
在此，对应于操作数据的还原数据是近似于由处理器120输出的操作数据的数据，并且可以与操作数据不完全相同，但是可以是能够被视为重建操作数据的数据的数据。
根据实施例，编码数据可以通过解码转换为或表示为具有维度高于编码的数据的维度的数据。换句话说，如果编码的数据是n维矩阵，则解码器140可以将编码的数据转换或表示成或表示为具有大于n的维度的矩阵。例如，如果由编码器130编码的数据被表示为诸如[0.5,1.5,0.4]的三维向量，则解码器140可以将[0.5,1.5,0.4]的编码的数据表示为诸如[0.7,1.7,0.5,0.2]的四维向量。
为此，解码器140可以读取存储在存储器110中的编码的数据和从存储器110读取用于解码编码的数据的权重。此外，解码器140可以通过对于从存储器110读取的编码的数据和权重执行深度学习操作来解码编码的数据。换句话说，解码器140可以将在n维矩阵中表示的编码的数据还原为具有维度高于n的矩阵。为此，解码器140可以连接到存储器110，如图2所示。
其后，解码器140可以将通过解码获得的解码的数据发送到处理器120。为此，解码器140可以连接到处理器120，如图2所示。
然后，处理器120可以使用从解码器140接收的解码的数据执行操作，其将随后参考图3描述。
因此，本发明可以通过编码操作数据并将其存储在存储器中，在具有有限容量的存储器中有效地实现人工智能模型。
同时，在图2中，存储器110、处理器120、编码器130和解码器140被示为单独的组件，但这仅是示例。例如，编码器130和解码器140可以包括在存储器110中。在这种情况下，编码器130可以执行对由存储器内的处理器120输出的操作数据的编码，并且可以执行将编码的数据存储在存储器110中的操作。解码器140可以执行对由存储器110内的编码器130编码的数据的解码。因此，本发明可以移除或减少由编码器130和存储器110之间的数据的发送/接收引起的功耗以及由解码器140和存储器110之间的数据发送/接收引起的功耗。
此外，编码器130和解码器140可以包括在处理器120中。在这种情况下，编码器130可以执行对由处理器内的处理器120生成的操作数据的编码，并且解码器140可以执行对由处理器120内的编码器130编码的数据的解码。因此，本发明可以移除或减少由编码器130和处理器120之间的数据发送/接收引起的功耗以及由解码器140和处理器120之间的数据发送/接收引起的功耗。
此外，处理器120、编码器130和解码器140可以包括在存储器110中。在这种情况下，处理器120可以执行用于从存储器110内的输入数据获得输出数据的一系列操作，并将作为操作的结果生成的操作数据存储在存储器110中。编码器130可以执行对由存储器110内的处理器120生成的操作数据的编码，并且解码器140可以执行对由存储器110内的编码器130编码的数据的解码。
图3是用于解释根据本发明的实施例的使用编码的数据生成输出数据的实施例的视图。
根据实施例的人工智能模型可以包括用于输入输入数据的输入层、用于输出输出数据的输出层，以及位于输入层和输出层之间并基于深度学习操作输出操作数据的多个隐藏层。
具体地，参考图3，根据实施例的人工智能模型还可以包括第一隐藏层320和第二隐藏层330，该第一隐藏层320包括由特定层310输出的编码操作数据的编码的数据(特定层可以是多个隐藏层中的一个也可以是输入层)，该第二隐藏层330包括解码第一隐藏层320的编码的数据的解码的数据。在此，第一隐藏层320可以被称为编码层，并且第二隐藏层330可以被称为解码层。包括在第一隐藏层320中的编码的数据可以如上所述存储在存储器110中。如果根据实施例的人工智能模型被实现为卷积神经网络(CNN)，则处理器120可以通过编码器130对通过对于先前层(未示出)执行卷积操作处理而生成的操作数据(即，特征图)编码并将其存储在存储器110中。处理器120可以通过还原用于下一层340的操作的编码的数据来获得解码的数据，并基于解码的数据和下一层340的权重执行操作。
可选地，如果根据实施例的人工智能模型是循环神经网络(RNN)，则处理器120可以通过编码器130对基于先前时间点(t-1)的输入数据输出的操作数据编码，并将其存储在存储器110中。在输出当前时间点(t)的输入数据的操作数据的操作中，处理器120可以通过考虑通过将存储在存储器中的编码的数据还原而生成的解码的数据连同当前时间点的输入数据来输出操作数据。
同时，尽管图3示出了一个编码层和一个解码层，但是根据实施例，可以存在多个编码层和解码层。
图4是用于解释根据本发明的实施例的人工智能模型的学习方法的视图。
参考图4，根据实施例的人工智能模型可以包括多个层。人工智能模型还可以包括用于操作数据的编码的第一隐藏层(未示出)和用于对编码的数据解码的第二隐藏层(未示出)。在此，第一隐藏层可以相对低于层n的维度，并且第二隐藏层可以与层n的维度相同。
例如，根据实施例的人工智能模型可以包括用于对层n和层n+1之间层n的操作数据编码的第一隐藏层和用于对第一隐藏层的编码的数据解码的第二隐藏层。照此，本发明的特征在于在构成人工智能模型的多个层中的一些层之间执行编码和解码。
同时，在根据实施例的人工智能模型中，可以在多个层之间执行多个编码和解码。在下文中，为了便于解释，假设人工智能模型包括用于编码的第一隐藏层和用于解码的第二隐藏层。
包括层n和层n+1之间的第一隐藏层和第二隐藏层的人工智能模型可以学习第一隐藏层和第二隐藏层的权重，以便生成重建层n的第二隐藏层。
具体地，人工智能模型可以学习第一隐藏层和第二隐藏层的权重，以便将第n层的数据重建为具有节点数少于层n的节点(或神经元)数的层。
例如，如果在层n和层n+1之间添加了第一隐藏层和第二隐藏层，则人工智能模型可以基于层n的操作数据(即，层n的输出数据)和第一隐藏层的权重的操作来输出第一隐藏层的输出数据，输出第一隐藏层的输出数据，并基于第一隐藏层的输出数据和第二隐藏层的权重的操作输出第二隐藏层的输出数据。此外，人工智能模型可以学习第一隐藏层和第二隐藏层的权重，使得层n的输出数据和第二隐藏层的输出数据之间的误差最小化。
根据实施例，本发明的人工智能可以具有类似于自动编码器(auto-encoder)的结构。自动编码器是执行学习以输出类似于输入数据的数据的人工智能模型，并且例如，如果在层n和层n+1之间执行编码和解码，则可以训练本发明的第一隐藏层和第二隐藏层以输出类似于从层n输出的数据的数据，其类似于自动编码器。然而，自动编码器不同于本发明的人工智能模型，在于自动编码器本身作为人工智能模型存在，但是本发明的编码和解码仅在人工智能模型的多个层中的一些层之间执行。
同时，可以通过对包括第一隐藏层和第二隐藏层的整个系统的学习来执行人工智能模型的学习。在这种情况下，人工智能模型可以执行学习，以致包括第一隐藏层和第二隐藏层的整个系统的误差最小化。在此，可以通过通用前向传播和反向传播来执行学习，并且因此，省略详细描述。
如上所述，通过学习包括多个层以及在多个层中的一些层之间添加的第一隐藏层和第二隐藏层的整个系统，本发明的人工智能模型可以一次获得多个层的权重以及第一隐藏层和第二隐藏层的权重。
同时，这仅是示例，本发明可以独立地学习第一隐藏层和第二隐藏层。例如，如果在层n和层n+1之间添加了第一隐藏层和第二隐藏层，则本发明可以将层n的操作数据设置为第一隐藏层的输入，并将层n的操作数据设置为第二隐藏层的输出。此外，通过学习第一隐藏层和第二隐藏层的权重以重建大小相对小于层n的数据大小的层n的数据，可以获得第一隐藏层和第二隐藏层的权重。
因此，当从处理器120接收到操作数据时，编码器130可以基于学习的权重使用接收的操作数据执行编码。此外，解码器140可以基于学习的权重使用存储在存储器110中的编码的数据执行解码。
同时，如果在不包括第一隐藏层和第二隐藏层的多个层的学习完成的同时添加第一隐藏层和第二隐藏层的情况下，则根据实施例的人工智能模型可以进一步学习第一隐藏层和第二隐藏层的权重。
在这种情况下，人工智能模型可以固定其学习完成的多个层的权重。换句话说，人工智能模型可以固定其学习完成的多个层的权重，并执行学习，以致包括第一隐藏层和第二隐藏层的整个系统的误差最小化。
因此，根据是否需要压缩，本发明可以选择性地将第一隐藏层和第二隐藏层添加到人工智能模型中。
图5是用于解释根据本发明的实施例的多个编码和多个解码的视图。
根据实施例的人工智能模型可以执行多个编码和多个解码。
参考图5，人工智能模型可以包括第一层和第二层之间的第一隐藏层(未示出)和第二隐藏层(未示出)，以及第三层和第四层之间的第三隐藏层(未示出)和第四隐藏层(未示出)。在此，第一隐藏层可以是用于编码第一层的操作数据的层，并且第二隐藏层可以是用于解码第一隐藏层的编码的数据的层。第三隐藏层可以是用于编码第三层的操作数据的层，并且第四隐藏层可以是用于解码第三隐藏层的编码的数据的层。
包括在人工智能模型中的第一隐藏层到第四隐藏层中的每一个都可以被训练以生成重建先前层的输出层。例如，在上述实施例中，可以训练第一隐藏层和第二隐藏层来重建第一层，并且可以训练第三隐藏层和第四隐藏层来重建第三层。
在这种情况下，根据实施例的编码器130可以被实现为多个。换句话说，根据实施例的电子设备100可以包括用于使用第一隐藏层的权重对第一层的输出数据编码的第一编码器(未示出)和用于使用第三隐藏层的权重对第三层的输出数据编码的第二编码器(未示出)。
类似地，根据实施例的解码器140可以被实现为多个。换句话说，根据实施例的电子设备100可以包括用于使用第二隐藏层的权重对由第一编码器(未示出)编码的数据解码的第一解码器(未示出)和用于使用第四隐藏层的权重对由第二编码器(未示出)编码的数据解码的第二解码器(未示出)。
这是考虑到每一层的特征可能不同，并且对应地，对于每一层，用于编码的权重和用于解码的权重可以不同。因此，本发明可以通过多个编码器和多个解码器对多种数据编码和解码。
同时，根据实施例的人工智能模型可以执行学习，使得用于编码的多个隐藏层共享权重和用于解码的多个隐藏层共享权重。
具体地，人工智能模型可以学习使得第一隐藏层和第三隐藏层通过共享第一隐藏层和第三隐藏层的权重来具有相同的权重，以及第二和第四隐藏层通过共享第二隐藏层和第四隐藏层的权重来具有相同的权重。在这种情况下，在执行学习的操作中，人工智能模型可以更新第一隐藏层和第三隐藏层的权重的值，使得第一隐藏层和第三隐藏层具有相同的权重，以及更新第二隐藏层和第四隐藏层的权重的值，使得第二隐藏层和第四隐藏层具有相同的权重。
因此，根据实施例的电子设备100可以通过一个编码器130对不同层的输出数据编码。类似地，根据实施例的电子设备100可以通过一个解码器140解码在不同层中编码的数据。
因此，与包括多个编码器和多个解码器的情况相比，本发明可以在具有相对较小的大小的电子设备100中实现。此外，通过共享权重，可以减少用于学习所需的时间。
图6是用于解释根据本发明的实施例的电子设备的详细框图。
参考图6，根据实施例的电子设备100可以包括存储器110、编码器130、解码器140、输入单元150、通信器160、显示器170、扬声器180和处理器120。在下文中，将省略或缩写重叠描述。
输入单元150可以接收用户命令。为此，输入单元150可以包括触摸传感器、(数字)笔传感器、压力传感器或按键。触摸传感器可以使用例如电容方式、电阻方式、红外方式或超声波方式中的至少一个。例如，(数字)笔传感器可以是例如触摸面板的一部分，或者可以包括用于识别的单独的纸张。该键可以是例如物理按钮、光学键或小键盘。输入单元150可以包括麦克风。在此，麦克风可以接收用户发出的声音。
通信器160可以通过执行与外部器件的通信来发送/接收多种数据。具体地说，通信器160可以通过执行与外部器件的通信来接收人工智能模型。在此，人工智能模型不仅可以是包括用于编码的层和用于解码的层的模型，还可以是没有用于编码的层和用于解码的层的模型。在后一种情况下，电子设备100可以向人工智能模型添加用于编码的层和用于解码的层，并训练包括用于编码的层和用于解码的层的人工智能模型。
此外，通信器160可以通过执行与外部器件的通信来接收用于生成人工智能模型的多种数据。
为此，通信器160可以包括无线通信芯片、Wi-Fi芯片、蓝牙芯片等。
显示器170可以显示多种屏幕。具体地，显示器170可以显示与由人工智能模型输出的输出数据相对应的屏幕。在此，对应于输出数据的屏幕可以是基于输出数据生成的消息、图像等。
显示器170可以用多种显示技术实现，诸如液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AM-OLED)、硅基液晶(LcoS)、数字光处理(DLP)等。此外，显示器170可以以柔性显示器的形式连接到电子设备100的前部区域、侧面区域或后部区域中的至少一个。
此外，显示器170可以实现为具有触摸传感器的触摸屏。
扬声器180被配置为输出多种音频数据，音频处理器(未示出)已对其执行诸如解码、放大和噪声滤波等多种处理工作。此外，扬声器180可以输出多种警报声音或语音消息。根据实施例，当人工智能模型的学习完成或输出数据由人工智能模型输出时，扬声器180可以输出警报声音等。
图7是用于说明根据本发明的实施例的电子设备的控制方法的流程图。
在操作S710，根据实施例的电子设备100可以对从人工智能模型的多个层中的一个层输出的操作数据编码，并将编码的数据存储在存储器中。具体地，电子设备100可以通过编码器对从人工智能模型的多个层中的一个层输出的操作数据编码，并将编码的数据存储在存储器110中。
电子设备100可以通过解码存储在存储器110中的编码的数据来获得对应于操作数据的还原数据(在操作S720)。具体地，电子设备100可以通过解码器通过对编码的数据解码来获得对应于操作数据相的还原数据。因此，本发明可以通过动态数据的压缩有效地实现人工智能技术，即使在具有有限存储器的移动器件等中。
在操作S730，电子设备100可以将获得的还原数据提供给人工智能模型的多个层中的另一层。因此，人工智能模型的输出层可以基于先前层的操作数据和还原数据生成输出数据。
根据如上所述的多个实施例，通过动态数据的压缩甚至在具有有限存储器的移动器件中可以有效地实现人工智能技术。
同时，根据多个实施例的上述方法可以仅通过对现有电子设备的软件/硬件升级来实现。
此外，上述多个实施例可以由电子设备中提供的嵌入式服务器或外部服务器执行。
根据上述多个实施例的电子设备的控制方法可以实现为程序并存储在多种记录介质中。换句话说，由多种处理器处理并运行上述多种控制方法的计算机程序可以存储在记录介质中并在其中使用。
非暂时性计算机可读介质是指半永久性地存储数据并可由器件读取的介质，但不是用于短时间存储数据的介质，诸如寄存器、高速缓存和存储器。具体地，上述多种应用或程序可以存储在非暂时性计算机可读介质中，诸如光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝光光盘、USB、存储卡、ROM等，并在其中提供。
虽然已经参考本发明的多个实施例示出和描述了本发明，但本领域技术人员将理解，在不脱离所附权利要求及其等同物所定义的本发明的精神和范围的情况下，可以对本发明的形式和细节进行各种改变。

Claims (15)

1.一种电子设备，包括：
存储器，被配置为存储一个或多个指令；以及
处理器，被配置为通过运行所述指令将输入数据输入到包括多个层的人工智能模型来获得输出数据，
其中，所述人工智能模型被配置为基于通过所述多个层的操作输出输出数据，以及
其中，所述处理器还被配置为：
对从所述多个层中的一个层输出的操作数据编码，并将所述编码的操作数据存储在存储器中，
通过解码存储在存储器中的所述编码的操作数据，获得对应于所述操作数据的恢复数据，以及
将所述获得的恢复数据提供给来自所述多个层当中的另一层。
2.根据权利要求1所述的设备，
其中，所述多个层被配置为包括第一层、第二层以及第一层和第二层之间的第一隐藏层和第二隐藏层，
其中，所述人工智能模型被配置为学习第一隐藏层和第二隐藏层的权重，以生成重建第一层的第二隐藏层，以及
其中，所述处理器还被配置为基于第一隐藏层的权重对所述操作数据编码，并基于第二隐藏层的权重对所述编码的操作数据解码。
3.根据权利要求2所述的设备，其中，所述人工智能模型还被配置为：
基于第一层的输出数据和第一隐藏层的权重的操作输出第一输出数据，
基于第一输出数据和第二隐藏层的权重的操作输出第二输出数据，以及
学习第一隐藏层和第二隐藏层的权重，使得第一层的输出数据和第二隐藏层的第二输出数据的误差最小化。
4.根据权利要求3所述的设备，
其中，第一隐藏层具有相对低于第一层的维度的维度，以及
其中，第二隐藏层具有与第一层的维度相同的维度。
5.根据权利要求2所述的设备，其中，所述人工智能模型还被配置为通过对包括所述多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
6.根据权利要求2所述的设备，其中，所述人工智能模型还被配置为：
基于在多个层的学习完成的同时添加第一隐藏层和第二隐藏层，所述多个层不包括第一隐藏层和第二隐藏层，在固定所述多个层的权重的同时，通过对包括所述多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
7.根据权利要求1所述的设备，其中，所述多个层包括第一层、第二层、第三层、第一层和第二层之间的第一隐藏层和第二隐藏层，以及第二层和第三层之间的第三隐藏层和第四隐藏层，
其中，所述人工智能模型还被配置为：
学习第一隐藏层和第二隐藏层的权重以生成重建第一层的第二隐藏层，并且学习第三隐藏层和第四隐藏层的权重以生成重建第二层的第四隐藏层，以及
学习使得第一隐藏层和第三隐藏层具有相同的权重，并且第二隐藏层和第四隐藏层具有相同的权重。
8.根据权利要求7所述的设备，其中，所述处理器还被配置为：
通过一个编码器执行对第一隐藏层的输入数据的编码和对第三编码器的输入数据的编码，以及
通过一个解码器执行对第二解码器的输入数据的解码和对第四解码器的输入数据的解码。
9.一种电子设备的控制方法，所述控制方法包括：
对从人工智能模型的多个层中的一个层输出的操作数据编码，并将所述编码的操作数据存储在存储器中；
通过对存储在存储器中的所述编码的操作数据解码，获得对应于所述操作数据的还原数据；以及
将所述获得的还原数据提供给来自所述多个层当中的另一层。
10.根据权利要求9所述的控制方法，
其中，所述多个层包括第一层、第二层以及第一层和第二层之间的第一隐藏层和第二隐藏层，
其中，所述人工智能模型被配置为学习第一隐藏层和第二隐藏层的权重，以生成重建第一层的第二隐藏层，
其中，所述编码包括基于第一隐藏层的权重对所述操作数据编码，以及
其中，所述解码包括基于第二隐藏层的权重对所述编码的操作数据解码。
11.根据权利要求10所述的控制方法，其中，所述人工智能模型还被配置为：
基于第一层的输出数据和第一隐藏层的权重的操作输出第一输出数据，
基于第一输出数据和第二隐藏层的权重的操作输出第二输出数据，以及
学习第一隐藏层和第二隐藏层的权重，使得第一层的输出数据和第二隐藏层的第二输出数据的误差最小化。
12.根据权利要求11所述的控制方法，
其中，第一隐藏层具有相对低于第一层的维度的维度，以及
其中，第二隐藏层具有与第一层的维度相同的维度。
13.根据权利要求10所述的控制方法，其中，所述人工智能模型还被配置为通过对包括所述多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
14.根据权利要求10所述的控制方法，其中，所述人工智能模型还被配置为：
基于在多个层的学习完成的同时添加第一隐藏层和第二隐藏层，所述多个层不包括第一隐藏层和第二隐藏层，在固定所述多个层的权重的同时，通过对包括所述多个层以及第一隐藏层和第二隐藏层的整个系统的学习来获得第一隐藏层和第二隐藏层的权重。
15.根据权利要求9所述的控制方法，
其中，所述多个层包括第一层、第二层、第三层、第一层和第二层之间的第一隐藏层和第二隐藏层，以及第二层和第三层之间的第三隐藏层和第四隐藏层，
其中，所述人工智能模型还被配置为：
学习第一隐藏层和第二隐藏层的权重以生成重建第一层的第二隐藏层，并且学习第三隐藏层和第四隐藏层的权重以生成重建第二层的第四隐藏层，以及
学习使得第一隐藏层和第三隐藏层具有相同的权重，并且第二隐藏层和第四隐藏层具有相同的权重。
CN202080039397.9A 2019-07-23 2020-05-14 电子设备及其控制方法 Pending CN113906447A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0089232 2019-07-23
KR1020190089232A KR20210011844A (ko) 2019-07-23 2019-07-23 전자 장치 및 그 제어 방법
PCT/KR2020/006351 WO2021015403A1 (en) 2019-07-23 2020-05-14 Electronic apparatus and controlling method thereof

Publications (1)

Publication Number Publication Date
CN113906447A true CN113906447A (zh) 2022-01-07

Family

ID=74189309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039397.9A Pending CN113906447A (zh) 2019-07-23 2020-05-14 电子设备及其控制方法

Country Status (5)

Country Link
US (1) US20210027168A1 (zh)
EP (1) EP3918536A4 (zh)
KR (1) KR20210011844A (zh)
CN (1) CN113906447A (zh)
WO (1) WO2021015403A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116981094A (zh) * 2022-04-13 2023-10-31 华为技术有限公司 一种上行信号发送、接收方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832138B2 (en) * 2014-11-27 2020-11-10 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
WO2016156864A1 (en) * 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
US10614361B2 (en) * 2015-09-09 2020-04-07 Intel Corporation Cost-sensitive classification with deep learning using cost-aware pre-training
US10891540B2 (en) * 2015-12-18 2021-01-12 National Technology & Engineering Solutions Of Sandia, Llc Adaptive neural network management system
KR20180052069A (ko) * 2016-11-07 2018-05-17 한국전자통신연구원 콘볼루션 신경망 시스템 그리고 콘볼루션 신경망의 시냅스 데이터를 압축하는 방법
US11188813B2 (en) * 2017-03-01 2021-11-30 Stc.Unm Hybrid architecture system and method for high-dimensional sequence processing
US11604956B2 (en) * 2017-10-27 2023-03-14 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
US11080611B2 (en) * 2017-12-22 2021-08-03 Intel Corporation Compression for deep learning in case of sparse values mapped to non-zero value
CN108304359B (zh) * 2018-02-06 2019-06-14 中国传媒大学 无监督学习统一特征提取器构建方法
US10620863B2 (en) * 2018-08-01 2020-04-14 EMC IP Holding Company LLC Managing data reduction in storage systems using machine learning

Also Published As

Publication number Publication date
US20210027168A1 (en) 2021-01-28
WO2021015403A1 (en) 2021-01-28
EP3918536A1 (en) 2021-12-08
EP3918536A4 (en) 2022-04-06
KR20210011844A (ko) 2021-02-02

Similar Documents

Publication Publication Date Title
US11875268B2 (en) Object recognition with reduced neural network weight precision
US20190279075A1 (en) Multi-modal image translation using neural networks
KR102615597B1 (ko) 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법
US11429860B2 (en) Learning student DNN via output distribution
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
US11521038B2 (en) Electronic apparatus and control method thereof
CN110288980A (zh) 语音识别方法、模型的训练方法、装置、设备及存储介质
KR102488338B1 (ko) 언어 모델을 압축하기 위한 전자 장치, 추천 워드를 제공하기 위한 전자 장치 및 그 동작 방법들
KR102629474B1 (ko) 데이터 압축 및 복원을 위한 전자 장치 및 그 압축 방법
US20220101121A1 (en) Latent-variable generative model with a noise contrastive prior
KR102659494B1 (ko) 전자 장치 및 그 제어 방법
CN113240115B (zh) 一种生成人脸变化图像模型的训练方法及相关装置
US9436912B1 (en) Symmetric schema instantiation method for use in a case-based reasoning system
CN113906447A (zh) 电子设备及其控制方法
KR102612625B1 (ko) 신경망 기반의 특징점 학습 장치 및 방법
CN110659759A (zh) 基于神经网络的趋势预测
CN113795880A (zh) 电子设备及其控制方法
KR102609946B1 (ko) 프로그램 코드 처리 장치 및 방법
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
KR20230090716A (ko) 연사 영상 기반의 영상 복원 방법 및 장치
KR20220118009A (ko) 전자 장치 및 이의 제어 방법
CN113128180A (zh) 文本生成方法和设备
KR20200027085A (ko) 전자 장치 및 그 제어 방법
KR102669801B1 (ko) 아바타 텍스쳐를 생성 및 매핑하기 위한 방법 및 장치
US20240303745A1 (en) Customizable presentation for walking a customer through an insurance claims experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination