CN112424799A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112424799A
CN112424799A CN201980047725.7A CN201980047725A CN112424799A CN 112424799 A CN112424799 A CN 112424799A CN 201980047725 A CN201980047725 A CN 201980047725A CN 112424799 A CN112424799 A CN 112424799A
Authority
CN
China
Prior art keywords
artificial intelligence
intelligence model
memory
compressed
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980047725.7A
Other languages
English (en)
Inventor
李钟律
金在德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112424799A publication Critical patent/CN112424799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于控制电子装置的方法包括：将多个人工智能模型存储在第一存储器中；基于接收到用于将存储的所述多个人工智能模型之中的第一人工智能模型加载到第二存储器中的控制信号，识别第二存储器的可用存储器大小；以及基于第一人工智能模型的大小大于第二存储器的可用存储器大小，通过基于第二存储器的可用存储器大小压缩第一人工智能模型来获得第一压缩人工智能模型，并将第一压缩人工智能模型加载到第二存储器中。

Description

电子装置及其控制方法
技术领域
本公开涉及电子装置及其控制方法，更具体地，涉及用于高效地使用多个人工智能模型的电子装置及其控制方法。
另外，本公开涉及使用机器学习算法来模拟人脑的诸如认知、确定等功能的人工智能(AI)系统及其应用。
背景技术
人工智能(AI)系统是实现人类水平的智力的计算机系统。与相关技术的基于规则的智能系统不同，人工智能系统是其中机器学习、判断并变得智能的系统。人工智能系统使用得越多，识别率就越高并且对用户偏好的理解就越好。因此，相关技术的基于规则的智能系统已逐渐被基于深度学习的人工智能系统所取代。
人工智能技术由机器学习(例如，深度学习)和使用机器学习的元素技术(elementtechnology)构成。
机器学习是其本身对输入数据的特征进行分类/训练的算法技术。元素技术是使用诸如深度学习的机器学习算法来模拟人脑的诸如识别和判断的功能的技术，并包括语言理解、视觉理解、推理/预测、知识表示、运动控制等。
人工智能技术可以应用于各种领域，其示例在下面进行描述。语言理解是用于识别和应用/处理人类语言/字符的技术，包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是用于识别和处理仿佛由人类感知的对象的技术，包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理预测是用于判断和逻辑上推理以及预测信息的技术，包括基于知识/概率的推理、优化预测、基于偏好的计划、以及推荐。知识表示是用于将人类经验信息自动化为知识数据的技术，包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是用于控制设备或物体的自主运动(例如，运载工具的行驶和机器人的运动)的技术，包括运动控制(导航、碰撞和行驶)、操作控制(行为控制)等。
近来，出于各种目的的各种人工智能模型可以在单个设备或应用中运行。然而，相关技术的人工智能技术需要大量的时间和大的存储容量，因此在诸如智能电话的用户终端设备中高效地使用它是不可行的。
发明内容
技术方案
根据本公开的一方面，提供了一种用于控制电子装置的方法，该方法包括：将多个人工智能模型存储在第一存储器中；基于接收到用于将存储的所述多个人工智能模型之中的第一人工智能模型加载到第二存储器中的控制信号，识别第二存储器的可用存储器大小；以及基于第一人工智能模型的大小大于第二存储器的可用存储器大小，通过基于第二存储器的可用存储器大小压缩第一人工智能模型来获得第一压缩人工智能模型，并将第一压缩人工智能模型加载到第二存储器中。
加载可以包括：识别第一压缩人工智能模型的性能是否满足预定条件；基于第一压缩人工智能模型的性能满足预定条件，将第一压缩人工智能模型加载到第二存储器中；以及基于第一压缩人工智能模型不满足预定条件，获得通过使用与第一压缩人工智能模型不同的方法压缩第一人工智能模型而获得的第二压缩人工智能模型，并将第二压缩人工智能模型加载到第二存储器中。
第一压缩人工智能模型的性能可以是第一压缩人工智能模型的处理器份额率(share rate)、第一压缩人工智能模型的大小和第一压缩人工智能模型的准确度中的任何一个或其任何组合。
该方法可以进一步包括：基于通过使用多种方法压缩第一人工智能模型而获得的多个压缩人工智能模型不满足预定条件，显示通知预定条件没有得到满足的消息。
该方法可以进一步包括：基于第二存储器的可用存储器大小被改变，通过基于改变后的可用存储器大小压缩第一人工智能模型而获得第三压缩人工智能模型，并加载第三压缩人工智能模型。
该方法可以进一步包括：基于接收到用于将第二人工智能模型加载到第二存储器中的控制信号，根据第二存储器的可用存储器大小，加载通过压缩第一人工智能模型获得的针对第一人工智能模型的压缩人工智能模型、以及通过压缩第二人工智能模型获得的针对第二人工智能模型的压缩人工智能模型。
该方法可以进一步包括：基于将多个人工智能模型加载在第二存储器中，识别加载在第二存储器中的所述多个人工智能模型的使用次数；以及基于识别出的使用次数，针对所述多个人工智能模型中的至少一个加载压缩人工智能模型。
该方法可以进一步包括显示用于接收所述多个人工智能模型中的至少一个的性能的用户界面(UI)，其中第一压缩人工智能模型可以是基于通过UI输入的性能而压缩的人工智能模型。
存储可以进一步包括将针对第一人工智能模型的多个压缩的人工智能模型存储在第一存储器中。
可以使用剪枝(Pruning)、量化、分解和知识蒸馏(Knowledge Distillation)中的任何一个或其任何组合来压缩第一人工智能模型。
根据本公开的一方面，提供了一种电子装置，其包括：第一存储器，配置为存储多个人工智能模型；第二存储器，配置为加载存储在第一存储器中的所述多个人工智能模型中的至少一个；以及处理器，配置为：基于接收到用于将存储的所述多个人工智能模型之中的第一人工智能模型加载到第二存储器中的控制信号，识别第二存储器的可用存储器大小；以及基于第一人工智能模型的大小大于第二存储器的可用存储器大小，进行控制以通过基于第二存储器的可用存储器大小压缩第一人工智能模型来获得第一压缩人工智能模型，并将第一压缩人工智能模型加载到第二存储器中。
处理器可以进一步配置为：识别第一压缩人工智能模型的性能是否满足预定条件；基于第一压缩人工智能模型的性能满足预定条件，将第一压缩人工智能模型加载到第二存储器中；以及基于第一压缩人工智能模型的性能不满足预定条件，进行控制以通过使用与第一压缩人工智能模型不同的方法压缩第一人工智能模型来获得第二压缩人工智能模型，并将第二压缩人工智能模型加载到第二存储器中。
第一压缩人工智能模型的性能可以是第一压缩人工智能模型的处理器份额率、第一压缩人工智能模型的大小和第一压缩人工智能模型的准确度中的任何一个或其任何组合。
该电子装置可以进一步包括显示器，其中处理器可以进一步配置为，基于通过使用多种方法压缩第一人工智能模型而获得的多个压缩人工智能模型不满足预定条件，控制显示器显示通知预定条件没有得到满足的消息。
处理器可以进一步配置为，基于第二存储器的可用存储器大小被改变，进行控制以通过基于改变后的可用存储器大小压缩第一人工智能模型来获得第三压缩人工智能模型，并加载第三压缩人工智能模型。
处理器可以进一步配置为，基于接收到用于将第二人工智能模型加载到第二存储器中的控制信号，根据第二存储器的可用存储器大小，进行控制以加载通过压缩第一人工智能模型获得的针对第一人工智能模型的压缩人工智能模型、以及通过压缩第二人工智能模型获得的针对第二人工智能模型的压缩人工智能模型。
处理器可以进一步配置为，基于加载在第二存储器中的多个人工智能模型，识别加载在第二存储器中的所述多个人工智能模型的使用次数，并基于识别出的使用次数，针对所述多个人工智能模型中的至少一个加载压缩人工智能模型。
该电子装置可以进一步包括显示器，其中处理器可以进一步配置为控制显示器显示用于接收所述多个人工智能模型中的至少一个的性能的用户界面(UI)，以及其中第一压缩人工智能模型可以是基于通过UI输入的性能压缩的人工智能模型。
处理器可以进一步被配置为控制第一存储器将针对第一人工智能模型的多个压缩的人工智能模型存储在第一存储器中。
可以使用剪枝、量化、分解和知识蒸馏中的任何一个或其任何组合来压缩第一人工智能模型。
附图说明
图1是示出根据一实施例的用于管理多个人工智能模型的电子装置的方法的示例图；
图2是示出根据一实施例的电子装置的配置的示意性框图；
图3是示出根据一实施例的电子装置的配置的详细框图；
图4A、图4B、图4C和图4D是示出根据一实施例的用于加载人工智能模型的方法的示例图；
图5A、图5B、图5C和图5D是示出根据一实施例的用于设置针对多个人工智能模型的性能的条件的方法的示例图；
图6是示出根据一实施例的压缩人工智能模型的过程的示例图；
图7是示出一根据实施例的压缩方法的流程图；
图8是示出根据一个或更多个实施例的用于使用人工智能模型的方法的示例图；
图9A、图9B和图9C是示出根据一实施例的用于使用人工智能模型的方法的示例图；
图10是示出根据一实施例的用于控制另一电子装置的方法的流程图；
图11是示出根据一实施例的电子装置和外部服务器的操作的示例图；以及
图12是示出根据一实施例的电子装置从外部服务器下载压缩的人工智能模型的操作的流程图。
具体实施方式
将简要描述本说明书中使用的术语，并且将详细描述本公开。
本说明书中使用的所有术语，包括技术术语和科学术语，具有与相关领域的技术人员通常所理解的相同的含义。然而，这些术语可以取决于本领域技术人员的意图、法律或技术解释以及新技术的出现而变化。此外，一些术语是由申请人任意选择的。这些术语可以以在此定义的含义来解释，并且除非另外规定，否则可以基于本说明书的全部内容和本领域的公知技术来解释。
本公开不限于以下公开的实施例并可以以各种形式实现，并且本公开的范围不限于以下实施例。此外，从权利要求及其等同物的含义和范围得出的所有改变或修改应被解释为包括在本公开的范围内。在以下描述中，可以省略公知的但与本公开的要旨无关的配置。
诸如“第一”、“第二”等的术语可以用于描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与其他元件区分开。
单数表达也包括复数含义，只要其在上下文中没有不同的含义。在本说明书中，诸如“包括”和“具有/有”的术语应被解释为表示说明书中存在这样的特征、数量、操作、元件、组件或其组合，而不排除一个或更多个其他特征、数量、操作、元件、组件或其组合的存在或添加可能性。
在示例实施例中，“模块”、“单元”或“部分”执行至少一个功能或操作，并且可以被实现为诸如处理器或集成电路的硬件、由处理器运行的软件、或其组合。此外，多个“模块”、多个“单元”或多个“部分”可以被集成到至少一个模块或芯片中，并且可以被实现为除了应在特定硬件中实现的“模块”、“单元”或“部分”以外的至少一个处理器。
在下文中，将参照附图详细描述本公开的实施例，使得本领域技术人员可以容易地实施实施例。然而，本公开可以以许多不同的形式来体现，并且不限于在此描述的实施例。为了在附图中清楚地示出本公开，对于完全理解本公开非必要的一些元件为清楚起见被省略，并且贯穿说明书，相同的附图标记指代相同的元件。
实施例的一方面涉及一种用于在有限的存储器容量中高效地使用多个人工智能模型的方法。
根据实施例，电子装置考虑到多个人工智能模型的性能而压缩人工智能模型。
图1是示出根据一实施例的用于管理多个人工智能模型的电子装置的方法的示例图。
例如，根据图1所示的实施例，电子装置100使用面部识别模型、语音识别模型和图像识别模型。然而，电子装置100的诸如存储器容量、GPU/CPU模型的资源是有限的，并且人工智能模型的大小可能较大。因此，将难以按原样使用多个人工智能模型。因此，电子装置100可以压缩人工智能模型以减小人工智能模型的大小。然而，当人工智能模型被压缩时，人工智能模型的性能可能下降。一般而言，人工智能模型的压缩程度和人工智能模型的性能可能具有折衷关系。因此，电子装置100可以基于性能来压缩特定的人工智能模型，并基于大小来压缩另一人工智能模型。例如，电子装置100可以将价值放在经常使用的人工智能模型的性能上，并且可以不压缩或压缩得更少。然而，尽管性能下降，但电子装置100可以压缩不常被使用的人工智能模型的大部分以减小其大小。因此，电子装置100可以根据存储器状态和人工智能模型的可用性来确定如何压缩人工智能模型。
图2是示出根据一实施例的电子装置的配置的示意性框图。
参照图2，电子装置100可以包括第一存储器110、第二存储器120和处理器130。
例如，第一存储器110或第二存储器120可以存储与电子装置100的至少一个其他构成元件有关的命令或数据。根据一实施例，第一存储器110或第二存储器120可以存储软件和/或程序。程序例如可以包括内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)等。内核、中间件、应用编程接口(API)的至少部分可以被称为操作系统。内核例如可以控制或管理用于运行体现在其他程序中的操作或功能的系统资源，中间件例如可以使API或应用程序与内核通信并收发数据。
第一存储器110可以配置为存储多个人工智能模型。当电子装置100使用多个存储的人工智能模型之一时，第一存储器110可以将存储在第一存储器中的人工智能模型发送到第二存储器120。第一存储器110可以由辅助存储器设备或第二存储器设备构成。第一存储器110可以是非易失性存储器，诸如硬盘驱动器(HDD)、固态驱动器(SSD)、通用串行总线(USB)或光盘。
第二存储器120可以从第一存储器110接收和加载人工智能模型。第二存储器120可以由主存储器设备和第一存储器设备构成。第一存储器110可以由RAM或ROM构成。
第二存储器120可以具有比第一存储器110小的存储器大小，并且人工智能模型的存储器大小可以较大。因此，第二存储器120可能难以存储第一存储器110中存储的人工智能模型。因此，如下所述，处理器130可以压缩人工智能模型并将其加载到第二存储器120。
处理器130例如可以控制连接到处理器130的软件构成元素的多个硬件，并执行各种数据处理和计算。例如，处理器130可以体现为片上系统(SoC)。根据一实施例，处理器130可以进一步包括图形处理单元(GPU)和/或图像信号处理器。处理器130可以将从第一存储器110接收到的命令或数据加载到第二存储器120以进行处理，并将结果数据存储在第一存储器110中。
处理器130可以仅包括用于人工智能(AI)的处理器，或者可以被制造为现有通用处理器(例如，CPU或应用处理器)的一部分，或者可以包括图形处理器(例如，GPU)。仅用于人工智能(AI)的处理器可以是专用于概率运算的处理器，其具有比相关技术的通用处理器更高的并行处理性能，从而在诸如机器训练的人工智能领域中快速执行算术运算。
处理器130可以控制第一存储器110存储所述多个人工智能模型。在所述多个人工智能模型存储于第一存储器110中的状态下，在所述多个人工智能模型之中接收到用于加载第一人工智能模型的控制信号，并且处理器130可以识别第二存储器120的可用的存储器大小。用于加载第一人工智能模型的控制信号可以在各种情况下生成，诸如当出现用于使用第一人工智能模型的用户命令、用于使用第一人工智能模型的预定状态等时。例如，当输入用于使用第一人工智能模型来运行应用的用户命令时，可以生成用于加载第一人工智能模型的控制信号。当在特定的情形(例如，语音输入、消息接收、从用户接收呼叫、图像输入、特定时间等)下需要使用第一人工智能模型时，可以生成用于加载第一人工智能模型的控制信号。
当第一人工智能模型的大小大于第二存储器120的可用存储器大小的大小时，处理器130可以加载第一压缩人工智能模型，该第一压缩人工智能模型基于第二存储器120的可用存储器大小来压缩第一人工智能模型。第一压缩人工智能模型可以由处理器130压缩，但是不限于此。例如，第一压缩人工智能模型可以是预存储在第一存储器110中的压缩人工智能模型之一。
处理器130可以识别第一压缩人工智能模型的性能是否满足预定条件。第一压缩人工智能模型的性能可以是第一压缩人工智能模型的处理器份额(CPU/GPU share，CPU/GPU份额)、第一压缩人工智能模型的大小和第一压缩人工智能模型的准确度之一。预定条件可以是基于第一压缩人工智能模型的性能生成的条件。然而，人工智能模型的性能不限于上述示例。根据人工智能模型的类型，可以存在基于各种指标的性能。例如，当人工智能模型是用于句子翻译的人工智能模型时，人工智能模型的性能可以是通过双语评估替补(BLEU)得分计算的性能。
针对第一压缩人工智能模型的预定条件可以是以下条件之一：处理器130的份额率为20％、第一压缩人工智能模型为128兆字节(MB)或更小、或准确度为80％或更高。这些仅是示例，实施例不限于这些示例。
人工智能模型的处理器130份额率可以指示用于计算人工智能模型的计算量与处理器130的计算总量的比率。处理器130份额率可以指示人工智能模型的相对比率。根据一实施例，上述相对份额率是基础，但是不限于此。电子装置100可以基于计算人工智能模型所必需的绝对计算量而非处理器130份额率来识别预定条件。
如果第一压缩人工智能模型的性能满足预定条件，则处理器130可以将第一压缩人工智能模型加载到第二存储器120中。如果第一压缩人工智能模型的性能不满足预定条件，则处理器130可以将通过以不同方式压缩第一人工智能模型而获得的第二压缩人工智能模型加载到第二存储器120。处理器130可以将以与第一压缩人工智能模型不同的方式压缩的满足预定条件的第二压缩人工智能模型加载到第二存储器120中。
如果第二压缩人工智能模型不满足预定条件，则处理器130可以识别通过以另一种不同方式压缩第一人工智能模型而获得的压缩人工智能模型是否满足预定条件。如果存在满足预定条件的压缩人工智能模型，则处理器130可以将满足预定条件的压缩人工智能模型加载到第二存储器120。
然而，如果通过以多种方式压缩第一人工智能模型而获得的多个压缩人工智能模型不满足预定条件，则处理器130可以输出通知该人工智能模型不满足预定条件的消息。例如，如果将第一人工智能模型压缩预定次数(例如，10次)，但是不存在满足预定条件的压缩人工智能模型，则处理器130可以输出通知不存在满足预定条件的压缩人工智能模型的消息。处理器130可以不将针对第一人工智能模型的压缩人工智能模型加载到第二存储器120中。处理器130可以将关于第一人工智能模型生成的多个压缩人工智能模型之中与预定条件最为相似的压缩人工智能模型加载到第二存储器120，并输出通知不存在满足预定条件的压缩人工智能模型的消息。
当第二存储器120的可用存储器大小改变时，处理器130可以将通过基于第二存储器120的改变后的存储器大小压缩第一人工智能模型而获得的第三人工智能模型加载到第二存储器120。例如，当第二存储器120的可用存储器的大小增大时，处理器130可以将基于存储器的增大的大小而生成以提高第一人工智能模型的准确度的第三压缩人工智能模型加载到第二存储器120。与第一压缩人工智能模型或第二压缩人工智能模型相比，第三压缩人工智能模型可以具有更好的性能。
当接收到用于将第二人工智能模型加载到第二存储器120的控制信号时，处理器130可以加载第一人工智能模型、通过压缩第二人工智能模型而获得的针对第一人工智能模型的压缩人工智能模型、以及基于第二存储器120的可用存储器大小的针对第二人工智能模型的压缩人工智能模型。
例如，当在第一压缩人工智能模型(或第二压缩人工智能模型)被加载到第二存储器120的状态下接收到用于加载第二人工智能模型的控制信号时，处理器130可以基于可用存储器的大小将第二人工智能模型的压缩人工智能模型加载到第二存储器120。
例如，如果在第一压缩人工智能模型(或第二压缩人工智能模型)被加载到第二存储器120的状态下，第二存储器120的可用存储器的大小不够用于压缩和加载第二人工智能模型。处理器130可以加载第一人工智能模型、通过压缩第二人工智能模型而获得的针对第一人工智能模型的压缩人工智能模型、以及针对第二人工智能模型的压缩人工智能模型。处理器130可以将并非预加载在第二存储器120中的第一人工智能模型的另一压缩人工智能模型(第一压缩人工智能模型或第二压缩人工智能模型)加载到第二存储器120。
当将所述多个人工智能模型加载于第二存储器120中时，处理器130可以识别加载于第二存储器120中的所述多个人工智能模型的使用次数，并基于所识别的数量相对于所述多个人工智能模型中的至少一个加载压缩人工智能模型。即，在加载于第二存储器120中的所述多个人工智能模型之中，处理器130可以提高使用数量低于预定数量的人工智能模型的压缩率，并降低使用数量多于预定数量的人工智能模型的压缩率。
当第一压缩人工智能模型被加载于第二存储器120中时，处理器130可以将加载的第一压缩人工智能模型存储在第一存储器110中。处理器130可以将加载的压缩人工智能模型存储在第一存储器中。处理器130可以将加载的压缩人工智能模型存储在第一存储器中以稍后生成压缩人工智能模型，或从第一存储器而非外部源接收压缩人工智能模型。
当电子装置100包括显示器150时，处理器130可以控制显示器150显示用于接收存储在第一存储器110中的所述多个人工智能模型中的至少一个人工智能模型的性能的用户界面(UI)。第一压缩人工智能模型可以是基于通过用于接收第一人工智能模型的性能的UI输入的条件压缩的人工智能模型。
可以使用剪枝、量化、分解和知识蒸馏中的至少一个来压缩第一人工智能模型。剪枝可以是用于删除人工智能模型的权重参数之中的无意义的权重参数或不显著影响输出值的权重参数的压缩方法。量化是将每个权重参数量化至预定比特的一种压缩技术。分解可以是用于通过执行作为权重参数的集合的权重矩阵或张量的近似分解来减小权重参数的大小的压缩方法。知识蒸馏可以是用于通过将原始模型设置为教师模型来生成和训练比原始模型小的学生模型的压缩方法。可以通过上述剪枝、分解或量化来生成学生模型。
图3是示出根据一实施例的电子装置的配置的详细框图。
电子装置100可以进一步包括第一存储器110、第二存储器120、处理器130、通信器140、显示器150、输入器160、音频处理器170和音频输出器180。然而，本公开不限于上述构成元件，而是在必要的程度上，可以进一步添加或省略一些构成元件。
第一存储器110和第二存储器120可以存储或加载人工智能模型。第一存储器110可以由辅助存储器设备或第二存储器设备配置，第二存储器120可以由主存储器设备或第一存储器设备配置。第二存储器120可以由处理器130中的RAM 131或ROM 132构成。
通信器140可以配置为执行与外部设备的通信。例如，电子装置100可以通过通信器140从外部服务器接收多个人工智能模型，并将所述多个人工智能模型存储在第一存储器110中。电子装置100可以通过通信器140接收针对相应人工智能模型的多个压缩人工智能模型。
通信器140可以通过第三设备(例如，中继设备、集线器、接入点、服务器或网关)与外部设备通信。无线通信可以包括例如LTE、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GMS)。根据一个实施例，无线通信可以包括例如无线保真(WiFi)、蓝牙、蓝牙低功耗(BLE)、紫蜂、近场通信、磁安全传输、频率(RF)或体域网(BAN)。有线通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信或普通老式电话服务(POTS)中的至少一种。执行无线或有线通信的网络可以包括电信网络(例如，计算机网络(例如，LAN或WAN)、互联网或电话网络)中的至少一种。
显示器150可以配置为输出各种图像。具体地，如果通过使用多种方法压缩第一人工智能模型而获得的多个压缩人工智能模型不满足预定条件，则显示器150可以显示通知预定条件未得到满足的消息。
显示器150可以显示用于接收存储在第一存储器110中的多个人工智能模型之中的至少一个人工智能模型的性能的UI。
用于提供各种图像的显示器150可以用各种类型的显示面板来实现。例如，显示面板可以是液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AM-OLED)、硅上液晶(LCOS)或数字光处理(DLP)。显示器150还可以以柔性显示器的形式联接到电子设备100的前部区域和侧部区域以及后部区域中的至少一个。
输入器160可以配置为接收用户命令。输入器160可以包括相机161、麦克风162和触摸面板163。
相机161可以配置为获得电子装置100附近的图像数据。相机161可以捕获静止图像或视频。例如，相机161可以包括至少一个图像传感器(例如，前部传感器或后部传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，LED、氙灯等)。麦克风162可以配置为获得电子装置100附近的噪声。麦克风162可以接收外部源信号并生成语音信息。麦克风162可以使用各种噪声删除算法以用于删除在接收外部声音信号时产生的噪声。可以输入通过相机161和麦克风162输入的图像信息或语音信息作为人工智能模型的输入值。
触摸面板163可以配置为接收各种使用输入。触摸面板163可以通过用户操作来接收数据。触摸面板163可以与下面将描述的显示器组合。
除了相机161、麦克风162和触摸面板163以外，输入器160可以各种各样地配置为接收各种数据。
音频处理器170可以配置为处理音频数据。音频处理器170可以进行各种处理，诸如音频数据的解码、放大和噪声过滤。由音频处理器150处理的音频数据可以被输出到音频输出器180。
音频输出器180可以配置为在通过音频处理器170进行了诸如解码、放大和噪声过滤的各种处理之后，输出除了各种音频数据以外的各种报警语音和语音消息。音频输出器180可以被实现为扬声器，但是不限于此。音频输出器180可以被实现为输出音频数据的输出端。
处理器130可以控制电子装置100的总体操作。处理器130可以包括RAM 131、ROM132、CPU 133、图形处理单元(GPU)134、第一接口135-1至第n接口135-n以及总线136。RAM131、ROM 132、CPU 133、图形处理单元(GPU)134、第一接口135-1至第n接口135-n等可以经由总线136彼此连接。
用于系统引导的一组指令等可以被存储在ROM 132中。当输入开启命令并供电时，CPU 133可以根据存储在ROM 132中的一个或更多个指令将存储在存储器中的O/S复制到RAM 131、运行O/S、以及执行系统引导。当完成系统引导时，CPU 133可以将存储在存储器中的各种程序复制到RAM131、运行复制到RAM 131的程序、以及执行各种操作。
CPU 133可以访问第一存储器110或第二存储器120，并通过使用存储在第一存储器110或第二存储器120中的操作系统(O/S)来执行引导。CPU133可以通过使用存储在第一存储器110或第二存储器120中的各种程序、内容、数据等来执行各种操作。
第一接口135-1至第n接口135-n可以连接到各种构成元件。接口之一可以是通过网络连接到外部设备的网络接口。
在下文中，将参照图4A至图10描述一个或更多个示例实施例。
图4A、图4B、图4C和图4D是示出根据一实施例的用于加载人工智能模型的方法的示例图。
参照图4A，第二存储器120的可用存储器大小可以是30MB。如果接收到用于加载图像识别模型410的控制信号，则电子装置100可以识别第二存储器120的可用存储器的大小。图像识别模型410的大小可以是50MB，并且第二存储器120的可用存储器的大小可以是30MB。因此，电子装置100可以压缩图像识别模型410并将图像识别模型加载到第二存储器120。参照图4A的右侧，压缩的图像识别模型420的大小可以是30MB。在这种情况下，压缩的图像识别模型420的准确度可能降低，但是可以根据第二存储器120的可用存储器的大小来加载图像识别模型。
参照图4B，电子装置100可以输出通知因为存储器尺寸小所以图像识别性能下降的消息。
当第二存储器120的可用存储器的大小改变时，电子装置100可以再次压缩图像识别模型。例如，参照图4C，当在第二存储器120中加载面部识别模型、语音识别模型和压缩的图像识别模型420并且删除面部识别模型时，第二存储器120的可用存储器的大小可以增大至100MB。因此，电子装置100可以将新压缩的图像识别模型430而不是将性能下降的压缩的图像识别模型420加载到第二存储器120。图4C示出了压缩的图像识别模型430具有与图4A的图像识别模型410相同的性能，但是不限于此。例如，在必要的程度上，电子装置100可以将具有7％的份额率、100MB的模型大小和85％的准确率的图像识别模型加载到第二存储器120。在这种情况下，执行压缩至必要的程度可以如下所述地与针对人工智能模型的性能的预定条件有关。
参照图4C，电子装置100可以输出如图4D所示的用于通知图像识别性能再次改善的消息。
图5A、图5B、图5C和图5D是示出根据一实施例的用于设置针对多个人工智能模型的性能的条件的方法的示例图。
参照图5A的左侧，电子装置100可以显示用于改变存储在第一存储器110中的多个人工智能模型的性能和性能条件的UI屏幕。面部识别模型可以具有份额率为32.3％、模型大小为100MB并且准确率为87％的性能。语音识别模型可以具有处理器130的份额率为10.3％、模型大小为80MB并且准确率为83％的性能。图像识别模型可以具有处理器130的份额率为5.3％、模型大小为50MB并且准确率为72％的性能。
如果通过用于改变面部识别模型的性能条件的改变元素510接收到用户命令，则电子装置100可以显示如图5A的右侧所示的用于改变面部识别模型的性能条件的UI屏幕。用于改变性能条件的UI屏幕可以包括关于用于控制性能的UI条、针对最近面部识别的准确度、面部识别模型的大小以及计算量的信息。可以通过将UI条向右移动来改善面部识别模型的性能，并且可以通过将UI条向左移动来使面部识别模型的性能下降。与UI条的位置对应的人工智能模型性能可以是预定的性能条件。可以根据每个UI条的位置预先存储处理器130的份额率、人工智能模型的大小和准确度。因此，用户可以通过控制UI条简单地控制人工智能模型的性能。
参照图5B，用于改变性能条件的UI屏幕可以进一步显示最近面部识别的结果。参照图5B，电子装置100可以显示特定图像的面部识别结果，并如UI元素521和522所示，引导用户控制用户识别模型的性能。
电子装置100可以显示用于根据第二存储器120的当前状态推荐压缩人工智能模型的屏幕，而非显示用于控制面部识别模型的性能的UI条。参照图5C的左侧，电子装置100可以显示用于推荐基于第二存储器120的可用存储器大小而压缩的人工智能模型的UI屏幕。如果选择用于选择推荐的多个人工智能模型之一的UI元素530，则电子装置100可以显示如图5D的右侧所示的UI屏幕。
参照图5A至图5C，电子装置100可以推荐基于第二存储器120的状态或人工智能模型的处理器130的份额状态而压缩的人工智能模型，并且可以存储人工智能模型的大小和准确度以识别人工智能模型的性能条件。
因此，电子装置100可以显示用于控制每个性能条件(人工智能模型的处理器130的份额率、人工智能模型的大小和准确度)的UI屏幕。
参照图5D的左侧，如果输入用于选择UI元素541的用户命令，该UI元素541用于控制加载在第二存储器120中的多个人工智能模型之中的面部识别模型的性能，则电子装置100可以显示如图5D的右侧所示的用于控制每个性能条件的UI。人工智能模型的性能条件可以是压缩的人工智能模型的处理器130的最大份额率、压缩的人工智能模型的最大尺寸和压缩的人工智能模型的最小准确度条件。如果通过用于控制压缩的人工智能模型的处理器130的最大份额率的UI条542、用于控制压缩的人工智能模型的最大尺寸的UI条543、以及用于控制压缩的人工智能模型的最小准确度的UI条544来输入用户命令，则电子装置100可以根据输入条件来压缩人工智能模型。
例如，当压缩的人工智能模型的处理器130的最大份额率为35％、压缩的人工智能模型的最大大小为100MB、并且压缩的人工智能模型的最小准确度为80％时，由电子装置压缩的人工智能模型可以为35％或更小，模型大小可以为100MB或更小，并且准确度可以为80％或更高。
如果存在满足输入条件的压缩的人工智能模型，则电子装置100可以显示通知人工智能模型根据预定条件被压缩的消息。如果不存在满足输入条件的压缩的人工智能模型，则电子装置100可以显示通知人工智能模型的压缩失败的消息。例如，参照图5D，如果存在满足输入条件的压缩的人工智能模型，则电子装置可以输出“面部识别模型的性能被调整”的消息，如果不存在满足输入条件的压缩的人工智能模型，则电子装置可以输出“面部识别模型的性能调整失败，请改变要求”的消息。
图5A、图5B、图5C和图5D示出了用于控制加载在第二存储器120中的人工智能模型的性能的方法，但不限于此。电子装置100可以控制存储在第一存储器110中的每个人工智能模型的性能。
图6是示出根据一实施例的压缩人工智能模型的过程的示例图。
参照图5A、图5B、图5C和图5D，在步骤S610，电子装置100可以控制多个人工智能模型的性能。例如，电子装置100可以为每个人工智能模型设置针对压缩的人工智能模型的处理器130的最大份额率、压缩的人工智能模型的最大大小、以及压缩的人工智能模型的最小准确度的条件。
在步骤S620，当接收到用于压缩多个人工智能模型中的至少一个的控制信号时，电子装置100可以压缩至少一个人工智能模型。可以通过剪枝、量化、分解和知识蒸馏中的至少一种来压缩上述人工智能模型。人工智能模式可以由电子装置100压缩，但是可以由外部服务器压缩，使得电子装置100接收压缩的人工智能模型。
在步骤S630，电子装置100可以识别压缩的人工智能模型是否满足预定条件。如果在步骤S630-Y，压缩的人工智能模型满足预定条件，则电子装置100可以将压缩的人工智能模型加载到第二存储器。如果在步骤S630-N，压缩的人工智能模型不满足预定条件，则电子装置100可以在步骤S650识别人工智能模型是否被压缩超过预定次数。
如果在步骤S650-N，人工智能模型没有被压缩超过预定次数，则电子装置100可以返回到步骤S620，并再次压缩人工智能模型。电子装置100可以使用与先前的压缩方法不同的方法来压缩人工智能模型。
如果在步骤S650-Y，人工智能模型被压缩超过预定次数，则电子装置100可以在步骤S660输出人工智能模型的压缩失败的通知。换言之，如果尽管人工智能模型被压缩超过预定次数但预定条件却没有得到满足，则电子装置100可以识别出不可能压缩人工智能模型来满足预定条件，并输出人工智能模型的压缩失败。电子装置100可以进一步输出请求改变预定条件的消息。
图7是示出根据一实施例的压缩方法的流程图。
参照图7，根据一实施例，在至少一个人工智能模型被加载在第二存储器120中的状态下，加载另一人工智能模型(例如，第一人工智能模型)。
在步骤S710，电子装置100可以接收用于加载第一人工智能模型的命令。在步骤S720，电子装置100可以识别是否可以使用资源。识别是否可以使用资源可以通过识别第一人工智能模型是否满足诸如第二存储器120的可用存储器大小、可用的处理器130的份额率(CPU或GPU份额率)等的性能条件来界定。
如果在步骤S720-Y识别出资源可用，则电子装置100可以在步骤S780将第一人工智能模型加载到第二存储器120。如果在步骤S720-N识别出资源不可用，则电子装置100可以在步骤S730压缩第一人工智能模型。在步骤S740，电子装置100可以相对于压缩的第一人工智能模型识别资源是否可用。
如果在步骤S740-Y识别出资源可用，则电子装置100可以在步骤S780将压缩的第一人工智能模型加载到第二存储器120。如果在步骤S740-N识别出资源不可用，则电子装置100可以压缩加载在第二存储器120中的另一人工智能模型。参照图6，如果资源不可用，则电子装置100可以以不同的方法压缩第一人工智能模型。然而，参照图7，电子装置100可以压缩除了第一人工智能模型以外的加载在第二存储器120中的另一人工智能模型，而不是以用于将人工智能模型加载到第二存储器120的不同方法压缩第一人工智能模型。
如果压缩另一人工智能模型，则电子装置100可以在步骤S760识别资源是否可用。电子装置100可以识别因另一压缩的人工智能模型而增加的资源是否适合于加载在步骤S730压缩的第一人工智能模型。
当在步骤S760-Y识别出资源可用时，电子装置100可以在步骤S780将所述另一人工智能模型加载到第二存储器120。如果识别出资源不可用，则电子装置100可以在步骤S770输出人工智能模型的压缩失败。
在图6和图7中描述的示例可以彼此独立地被执行，但是不限于此。例如，可以在执行了图6的步骤S650之后执行图7的步骤S740处的资源识别。如果在步骤S740-N确定资源对于根据步骤S730压缩的第一人工智能模型不可用，则电子装置100可以以不同的方法压缩第一人工智能模型直至预定次数，如在步骤S650中那样。即，如果确定即使第一人工智能模型被压缩超过预定次数但资源仍然不可用，则电子装置100可以根据步骤S750压缩加载在第二存储器120中的另一人工智能模型。
图8是示出根据一个或更多个实施例的用于使用人工智能模型的方法的示例图。
参照图8，电子装置100可以通过运行消息收发器应用彼此交换图片和谈话。可以将图像分析模型810、对话识别模型820和键盘推荐模型830加载到电子装置100的第二存储器120。对话识别模型可以是用于如果通过消息收发器应用输入对话则连续地分析对话内容以理解彼此之间的对话内容的模型。对话识别模型可以管理语言理解(NLU)和上下文。图像分析模型可以是用于分析通过消息收发器应用接收到的图像的模型。图像分析模型可以分析图像中包括的对象或对所分析的对象进行分类。键盘推荐模型可以是用于基于通过对话识别模型识别出的对话情景推荐词语或句子的模型。键盘推荐模型可以预测并推荐自然语言理解(NLU)和用户的键输入。
例如，电子装置100可以分析对话并推荐将要由用户执行的动作。电子装置100可以将诸如“昨天拍的照片！”、“哇，YY也去了那里吗？”和“你还有其他照片吗？”的对话输入到对话识别模型中作为输入值，并推荐诸如“将昨天和YY拍的照片发送给他人”的动作。在这种情况下，电子装置100可以通过将图像分析模型和键盘推荐模型压缩至低性能来相对提高对话管理模型的性能。
电子装置100可以分析图像和对话并执行将由用户执行的动作。电子装置100可以将诸如“昨天拍的照片！”、“哇，YY也去了那里吗？”和“你还有其他照片吗？”的对话输入到对话识别模型中作为输入值，并推荐诸如“将昨天和YY拍的照片发送给他人”的动作。电子装置100可以通过图像分析识别图像中包括的YY，并另外获得昨天拍的照片中的包括YY的图像来提供。电子装置100可以压缩键盘推荐模型至低性能，并相对提高对话管理模型和图像分析模型的性能。
电子装置100可以通过分析图像和对话向用户推荐词语或句子。电子装置100可以将诸如“昨天拍的照片！”、“哇，YY也去了那里吗？”和“你还有其他照片吗？”的对话输入到对话识别模型中作为输入值，并推荐诸如“将昨天和YY拍的照片发送给他人”的动作。
电子装置100可以通过图像分析识别图像中包括的YY，并另外获得昨天拍的照片中的包括YY的图像来提供。当有昨天和YY拍的照片时，电子装置100可以推荐词语“是的，我有！”。在这种情况下，可以将图像分析模型、对话管理模型和键盘推荐模型压缩为具有一定水平的性能。
参照图8的示例实施例，每个模型的性能可以由用户参照图5A至图5D设置。例如，如果用户不使用键盘推荐模型，则电子装置100可以根据用户设置压缩每个人工智能模型。电子装置100可以不将键盘推荐模型加载到第二存储器120，而仅加载对话识别模型和图像分析模型。
即使用户没有设置人工智能模型的性能，电子装置100也可以基于特定情景、历史、上下文等识别人工智能模型的性能。例如，电子装置100可以基于每个人工智能模型的使用次数识别人工智能模型的性能和压缩率。例如，当用户不使用由键盘推荐模型输出的结果值时，电子装置100可以将键盘推荐模型的性能识别为低(例如，从50％的准确度到最小存储器容量)。
电子装置100可以是显示设备。当电子装置100将超分辨率技术或屏幕分析技术用于产品订购服务时，人工智能模型可以是必要的。一般而言，显示设备的第二存储器120的大小可能不大，因此可能需要根据情况来控制人工智能模型的性能。例如，当将屏幕分析模型用于产品订购服务时，电子装置100可以仅在特定情况下(例如，当下午再播放电视节目时)使用屏幕分析模型。如果用户不使用产品订购服务，则电子装置100可以将产品订购服务模型压缩为具有较低的性能，并将产品订购服务模型加载到第二存储器120。
电子装置100可以是人工智能扬声器或人工智能机器人。电子装置100可能需要仅在特定场所(例如，房屋)中使用的有限的词语或对象识别。因此，电子装置100可以限制识别词的类别或与对象识别类别有关的模型以控制性能。
图9A、图9B和图9C是示出根据一实施例的用于使用人工智能模型的方法的示例图。
如上所述，电子装置100不仅可以基于由用户设置的性能条件压缩人工智能模型，而且可以基于特定的情形、历史、上下文等压缩人工智能模型。例如，当电子装置100所使用的多个人工智能模型被独立地使用、或按特定顺序使用时，电子装置100可以根据特定顺序识别所述多个人工智能模型的压缩顺序。
例如，可以考虑图9A、图9B和图9C所示的物联网(IoT)系统。图9A、图9B和图9C所示的IoT系统涉及响应于通知特定情形的用户命令而识别并通知特定情形的人工智能系统。具体地，根据IoT系统，如果它接收到用户的自然语言命令“水沸腾时请让我知道”，并通过厨房中的IoT相机感测到水沸腾了，则可以将这种情形通知用户。用户的自然语言命令“水沸腾时请告诉我”可以由自动语音识别模型(ASR模型)识别，感测锅里的水沸腾可以由对象检测模型识别。对用户的答复可以由语言生成模型生成。
为了方便起见，将假设第二存储器120为128MB的情况，并且每个人工智能模型如下。实施例不限于此。
[表1]
Figure BDA0002901012780000201
“权重参数#”可以指示人工智能参数的权重参数的数量，数据表示比特可以指示存储一个权重参数所需的比特数。可以通过将权重参数#乘以数据表示比特来获得模型大小。为了减少权重参数的数量，可以使用剪枝方法，并且可以使用量化方法来减少存储一个权重参数所需的比特。
参照图9A，电子装置100可以接收诸如“水沸腾时请告诉我”的用户命令。在这种情况下，对象检测模型和语言生成模型可能不适合于分析用户命令。因此，参照图9A，电子装置100可以维持ASR模型的大小，并压缩其他人工智能模型。例如，电子装置100可以如下面的表2那样压缩每个人工智能模型，并将人工智能模型加载到第二存储器120。
[表2]
Figure BDA0002901012780000202
第二存储器120可以具有128MB的大小，并且ASR模型的大小可以是80MB。因此，电子装置100可以不压缩ASR模型而是将ASR模型原样加载到第二存储器120。电子装置100可以如表2中那样压缩对象检测模型和语言生成模型，并将它们加载到第二存储器120。
当输入用户命令时，电子装置100可以根据用户命令识别锅里的水是否沸腾。参照图9B，电子装置100可以从IoT系统中包括的相机接收锅的图像并分析接收到的图像。电子装置100本身可以拍摄锅并分析图像。
在这种情况下，ASR模型和语言生成模型可能不适合于图像分析。因此，参照图9B，电子装置100可以在维持对象检测模型的大小的同时压缩其他人工智能模型。对象检测模型的模型大小可以是400MB。因此，其大小可以大于第二存储器120的大小。因此，电子装置100可以如下面的表3中那样压缩对象检测模型，并将该模型加载到第二存储器120。
[表3]
Figure BDA0002901012780000211
第二存储器120可以具有128MB的大小，并且对象检测模型的模型大小可以是400MB。因此，电子装置100可以基于第二存储器120的可用存储器大小压缩对象检测模型，并将该模型加载到第二存储器120，并且如表3那样压缩ASR模型和语言生成模型以将这些模型加载到第二存储器120。
如果感测到锅里的水沸腾，则电子装置100可以向用户输出通知水沸腾的消息。参照图9C，电子装置100可以输出诸如“锅里的水在沸腾！”的语音。
在这种情况下，ASR模型和对象检测模型不适合于生成输出语音。因此，参照图9C，电子装置100可以在维持语言生成模型的大小的同时压缩其他人工智能模型。例如，电子装置100可以如下面的表4那样压缩每个人工智能模型，并将人工智能模型加载到第二存储器120。
[表4]
Figure BDA0002901012780000212
第二存储器120可以具有128MB的大小，并且语言生成模型可以具有120MB的大小，电子装置100可以不压缩语言生成模型，而是可以将该模型原样加载到第二存储器120。电子装置100可以如表4中那样压缩ASR模型和对象检测模型，并将这些模型加载到第二存储器120。
根据一实施例，电子装置100可以直接压缩多个人工智能模型，或者向外部服务器请求人工智能模型的压缩。当电子装置100向外部服务器请求人工智能模型的压缩时，电子装置100可以从外部服务器接收压缩的人工智能模型，并将该人工智能模型加载到第二存储器120。当电子装置100直接压缩人工智能模型，可以取决于情形而使用不同的压缩方法。例如，当请求快速压缩时，电子装置100可以使用不要求附加训练的压缩方法(例如，剪枝等)压缩人工智能模型。如果不需要快速压缩，则电子装置100可以考虑到准确度使用各种方法压缩人工智能模型。
根据一实施例，电子装置100可以将各种压缩人工智能模型存储在第一存储器110中，并将必要的压缩人工智能模型从第一存储器110加载到第二存储器120。存储在第一存储器110中的压缩人工智能模型的形式可以变化。
例如，当根据预定条件压缩人工智能模型时，电子装置100(或外部服务器)可以将压缩的人工智能模型存储在第一存储器110中。当具有与压缩的人工智能模型类似的尺寸的压缩人工智能模型被预先存储在第一存储器110中，电子装置100可以将预先存储的压缩人工智能模型的性能与新压缩的人工智能模型的性能相比较，并将具有更好的性能的压缩人工智能模型存储在第一存储器110中。
当从外部服务器下载初始人工智能模型时，电子装置100可以下载与下载的人工智能模型有关的各种压缩人工智能模型。例如，当人工智能模型是64MB时，电子装置100可以获得：32MB的压缩人工智能模型，其是64MB的人工智能模型的一半；16MB的压缩人工智能模型，其是32MB的压缩人工智能模型的一半；8MB的压缩人工智能模型，其是16MB的压缩人工智能模型的一半；4MB的压缩人工智能模型，其是8MB的人工智能模型的一半；2MB的压缩人工智能模型，其是4MB的人工智能模型的一半；以及1MB的压缩人工智能模型，其是2MB的人工智能模型的一半。电子装置100可以相对于64MB的人工智能模型将6(六)个压缩人工智能模型存储在第一存储器110中。当存储具有一半大小的压缩人工智能模型时，其中存储一个人工智能模型和压缩人工智能模型的空间可以等于或小于原始人工智能模型的大小的2倍。例如，64MB的人工智能模型的大小和6(六)个压缩人工智能模型的大小之和可以是127MB，并且电子装置100可以以小容量存储各种压缩人工智能模型。
图10是示出根据一实施例的用于控制另一电子装置的方法的流程图。
在步骤S1010，电子装置100可以将多个人工智能模型存储在第一存储器110中。如上所述，可以一起存储用于所述多个人工智能模型中的每个的压缩人工智能模型。
在步骤S1020，当接收到用于将存储的所述多个人工智能模型之中的第一人工智能模型加载在第二存储器120中的控制信号时，电子装置100可以识别第二存储器的可用存储器大小。可以在输入用户命令时接收到用于将第一人工智能模型加载在第二存储器120中的控制信号。可以在满足诸如特定情形、历史、上下文等的预定条件时接收到用于将第一人工智能模型加载在第二存储器120中的控制信号。
在步骤S1030，当第一人工智能模型的大小大于第二存储器120的可用存储器大小时，电子装置100可以将通过基于可用存储器大小压缩第一人工智能模型而获得的第一压缩人工智能模型加载在第二存储器120中。
图11是示出根据一实施例的电子装置和外部服务器的操作的示例图。
如上所述，压缩的人工智能模型可以由电子装置100获得，但是不限于此。电子装置100可以从外部服务器200下载并获得压缩的人工智能模型。
电子装置100可以直接获得根据需要压缩的人工智能模型，或者从外部服务器200下载人工智能模型。例如，当要压缩的人工智能模型具有预定大小或更大使得压缩要由电子装置100压缩的人工智能模型所需的计算量大于预定计算量时，电子装置100可以从外部服务器200下载压缩的人工智能模型。无论要压缩的人工智能模型的大小如何，如果压缩人工智能模型所需的计算量大于预定计算量，则电子装置100可以从外部服务器200下载人工智能模型。此外，电子装置100可以基于处理器份额率识别电子装置是压缩人工智能模型还是从外部服务器200下载人工智能模型。
图12是示出根据一实施例的电子装置从外部服务器下载压缩的人工智能模型的操作的流程图。
在步骤S1210，电子装置100可以接收用于压缩人工智能模型的控制信号。可以在各种条件下接收用于压缩人工智能模型的控制信号。例如，当从外部服务器200接收到人工智能模型时，电子装置100可以接收用于压缩下载的人工智能模型的控制信号。当接收到用于将人工智能模型加载到第二存储器120的控制信号并且根据用于将人工智能模型加载到第二存储器120的控制信号压缩人工智能模型时，电子装置100可以接收用于压缩人工智能模型的控制信号。
电子装置100可以识别在下载人工智能模型时是否在电子装置100或外部服务器200中压缩人工智能模型或识别是否需要压缩人工智能模型，可以识别是在电子装置100中还是在外部服务器200中压缩人工智能模型。
在步骤S1220，电子装置100可以识别是否在电子装置100中压缩人工智能模型。当在步骤S1220-Y识别出在电子装置100中压缩人工智能模型时，电子装置100可以在步骤S1250压缩人工智能模型并将压缩的人工智能模型存储在第一存储器110中或将该人工智能模型加载在第二存储器120中。当在步骤S1220-N识别出在外部服务器200中压缩人工智能模型时，电子装置100可以在步骤S1230请求外部服务器200压缩人工智能模型。如上所述，当要压缩的人工智能模型为预定大小或更大并且压缩要由电子装置压缩的人工智能模型所需的计算量等于或大于预定计算量时，电子装置100可以请求外部服务器200压缩人工智能模型。当无论要压缩的人工智能模型的大小如何，压缩人工智能模型所需的计算量都等于或大于预定计算量时，电子装置100可以请求外部服务器20压缩人工智能模型。电子装置100可以基于处理份额率识别是压缩人工智能模型还是请求外部服务器200压缩人工智能模型。
在步骤S1240，电子装置100可以从外部服务器200下载压缩的人工智能模型，并将该人工智能模型存储在第一存储器110中，或将该人工智能模型加载到第二存储器120。
虽然已经描述了本公开，使得实施例的所有元件彼此联接或组合操作，但是将理解，本公开不限于所公开的实施例。即，在本公开的范围内，所有元件可以以一种或更多种组合选择性地彼此联接。此外，尽管所有元件可以被实现为一个独立的硬件，但是一些或所有元件可以被选择性地组合以体现为计算机程序，该计算机程序包括在一个或多个硬件中执行部分或全部功能的程序模块。
根据各种实施例的设备(例如，模块或功能)或方法(例如，操作)的至少部分可以体现为以程序模块的形式存储在非暂时性计算机可读介质中的一个或更多个指令。当处理器(例如，处理器130)运行一个或更多个指令时，处理器可以执行与所述一个或更多个指令对应的功能。
程序可以存储在计算机可读记录介质中，并且可以由计算机读取和运行以实现一个或更多个实施例。
非暂时性可读记录介质是指半永久地存储数据并能够由设备读取的介质，而且还可以包括寄存器、高速缓存、缓冲器等，但是不包括诸如信号、电流等的传输介质。
具体地，上述程序可以被存储在诸如CD、DVD、硬盘、蓝光盘、USB、内部存储器(例如，存储器150)、存储卡、ROM或RAM的非暂时性可读记录介质中。
此外，根据所公开的实施例的方法可以被提供为计算机程序产品。
计算机程序产品可以包括S/W程序、其中存储S/W程序的计算机可读存储介质、或在买卖双方之间交易的商品。
例如，计算机程序产品可以包括通过制造商和电子市场(例如，Google Play商店、应用商店等)在线分发的呈S/W程序的形式的产品(例如，可下载的应用)。在在线分发的情况下，S/W程序的至少一部分可以被存储在存储介质中，或者被临时创建。在这种情况下，存储介质可以是制造商或电子市场的服务器或中继服务器的存储介质。
尽管已经示出和描述了实施例，但是本领域技术人员将理解，在不背离本公开的原理和精神的情况下，可以对这些实施例进行改变。因此，本公开的范围不被解释为限于所描述的实施例，而是由所附权利要求及其等同物限定。

Claims (15)

1.一种用于控制电子装置的方法，该方法包括：
将多个人工智能模型存储在第一存储器中；
基于接收到用于将存储的所述多个人工智能模型之中的第一人工智能模型加载到第二存储器中的控制信号，识别第二存储器的可用存储器大小；以及
基于第一人工智能模型的大小大于第二存储器的可用存储器大小，通过基于第二存储器的可用存储器大小压缩第一人工智能模型来获得第一压缩人工智能模型，并将第一压缩人工智能模型加载到第二存储器中。
2.如权利要求1所述的方法，其中加载包括：
识别第一压缩人工智能模型的性能是否满足预定条件；
基于第一压缩人工智能模型的性能满足预定条件，将第一压缩人工智能模型加载到第二存储器中；以及
基于第一压缩人工智能模型不满足预定条件，获得通过使用与第一压缩人工智能模型不同的方法压缩第一人工智能模型而获得的第二压缩人工智能模型，并将第二压缩人工智能模型加载到第二存储器中。
3.如权利要求2所述的方法，其中第一压缩人工智能模型的性能是第一压缩人工智能模型的处理器份额率、第一压缩人工智能模型的大小和第一压缩人工智能模型的准确度中的任何一个或其任何组合。
4.如权利要求2所述的方法，进一步包括：
基于通过使用多种方法压缩第一人工智能模型而获得的多个压缩人工智能模型不满足预定条件，显示通知预定条件没有得到满足的消息。
5.如权利要求1所述的方法，进一步包括：
基于第二存储器的可用存储器大小被改变，通过基于改变后的可用存储器大小压缩第一人工智能模型而获得第三压缩人工智能模型，并加载第三压缩人工智能模型。
6.如权利要求1所述的方法，进一步包括：
基于接收到用于将第二人工智能模型加载到第二存储器中的控制信号，根据第二存储器的可用存储器大小，加载通过压缩第一人工智能模型获得的针对第一人工智能模型的压缩人工智能模型、以及通过压缩第二人工智能模型获得的针对第二人工智能模型的压缩人工智能模型。
7.如权利要求1所述的方法，进一步包括：
基于将多个人工智能模型加载在第二存储器中，识别加载在第二存储器中的所述多个人工智能模型的使用次数；以及
基于识别出的使用次数，针对所述多个人工智能模型中的至少一个加载压缩人工智能模型。
8.如权利要求1所述的方法，进一步包括：
显示用于接收所述多个人工智能模型中的至少一个的性能的用户界面UI，
其中第一压缩人工智能模型是基于通过UI输入的性能而压缩的人工智能模型。
9.如权利要求1所述的方法，其中存储进一步包括将针对第一人工智能模型的多个压缩的人工智能模型存储在第一存储器中。
10.如权利要求1所述的方法，其中使用剪枝、量化、分解和知识蒸馏中的任何一个或其任何组合来压缩第一人工智能模型。
11.一种电子装置，包括：
第一存储器，配置为存储多个人工智能模型；
第二存储器，配置为加载存储在第一存储器中的所述多个人工智能模型中的至少一个；以及
处理器，配置为：
基于接收到用于将存储的所述多个人工智能模型之中的第一人工智能模型加载到第二存储器中的控制信号，识别第二存储器的可用存储器大小；以及
基于第一人工智能模型的大小大于第二存储器的可用存储器大小，进行控制以通过基于第二存储器的可用存储器大小压缩第一人工智能模型来获得第一压缩人工智能模型，并将第一压缩人工智能模型加载到第二存储器中。
12.如权利要求11所述的电子装置，其中处理器进一步配置为：
识别第一压缩人工智能模型的性能是否满足预定条件；
基于第一压缩人工智能模型的性能满足预定条件，将第一压缩人工智能模型加载到第二存储器中；以及
基于第一压缩人工智能模型的性能不满足预定条件，进行控制以通过使用与第一压缩人工智能模型不同的方法压缩第一人工智能模型来获得第二压缩人工智能模型，并将第二压缩人工智能模型加载到第二存储器中。
13.如权利要求12所述的电子装置，其中第一压缩人工智能模型的性能是第一压缩人工智能模型的处理器份额率、第一压缩人工智能模型的大小和第一压缩人工智能模型的准确度中的任何一个或其任何组合。
14.如权利要求12所述的电子装置，进一步包括：
显示器，
其中处理器进一步配置为，基于通过使用多种方法压缩第一人工智能模型而获得的多个压缩人工智能模型不满足预定条件，控制显示器显示通知预定条件没有得到满足的消息。
15.如权利要求11所述的电子装置，其中处理器进一步配置为，基于第二存储器的可用存储器大小被改变，进行控制以通过基于改变后的可用存储器大小压缩第一人工智能模型来获得第三压缩人工智能模型，并加载第三压缩人工智能模型。
CN201980047725.7A 2018-07-19 2019-07-18 电子装置及其控制方法 Pending CN112424799A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0084311 2018-07-19
KR1020180084311A KR20200013162A (ko) 2018-07-19 2018-07-19 전자 장치 및 그의 제어 방법
PCT/KR2019/008872 WO2020017898A1 (en) 2018-07-19 2019-07-18 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
CN112424799A true CN112424799A (zh) 2021-02-26

Family

ID=69163116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047725.7A Pending CN112424799A (zh) 2018-07-19 2019-07-18 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11521038B2 (zh)
EP (1) EP3756145A4 (zh)
KR (1) KR20200013162A (zh)
CN (1) CN112424799A (zh)
WO (1) WO2020017898A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538233A (zh) * 2021-06-25 2021-10-22 华东师范大学 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11444845B1 (en) * 2019-03-05 2022-09-13 Amazon Technologies, Inc. Processing requests using compressed and complete machine learning models
JP6894032B1 (ja) * 2020-04-14 2021-06-23 株式会社 ゼンショーホールディングス 加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システム
US20220269388A1 (en) 2021-02-19 2022-08-25 Johnson Controls Tyco IP Holdings LLP Security / automation system control panel graphical user interface
US11961377B2 (en) 2021-02-19 2024-04-16 Johnson Controls Tyco IP Holdings LLP Security / automation system control panel with acoustic signature detection
US20220269768A1 (en) * 2021-02-19 2022-08-25 Johnson Controls Tyco IP Holdings LLP Facial recognition by a security / automation system control panel
CN113411425B (zh) * 2021-06-21 2023-11-07 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN115835185A (zh) * 2021-09-18 2023-03-21 华为技术有限公司 一种人工智能模型下载方法、装置及系统
US11886973B2 (en) * 2022-05-30 2024-01-30 Deepx Co., Ltd. Neural processing unit including variable internal memory

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055874A (ja) * 2000-08-08 2002-02-20 Mitsubishi Heavy Ind Ltd バッファメモリ管理装置、バッファメモリ管理方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN104737137A (zh) * 2013-10-18 2015-06-24 三星电子株式会社 电子设备的存储器压缩方法及其装置
CN205450754U (zh) * 2016-04-06 2016-08-10 黄应红 基于人工智能设计的机器人管理系统

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550970A (en) 1994-08-31 1996-08-27 International Business Machines Corporation Method and system for allocating resources
JPH10289006A (ja) 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
WO2002072317A1 (fr) 2001-03-09 2002-09-19 Japan Science And Technology Corporation Systeme de robot audiovisuel
KR100423808B1 (ko) 2001-08-09 2004-03-22 한국전자통신연구원 네트워크를 이용한 가전기기의 원격 제어장치 및 방법
US20030147624A1 (en) 2002-02-06 2003-08-07 Koninklijke Philips Electronics N.V. Method and apparatus for controlling a media player based on a non-user event
JP3799288B2 (ja) 2002-04-05 2006-07-19 キヤノン株式会社 受信装置
US8068881B2 (en) 2002-08-09 2011-11-29 Avon Associates, Inc. Voice controlled multimedia and communications system
US7613719B2 (en) 2004-03-18 2009-11-03 Microsoft Corporation Rendering tables with natural language commands
JP2007044825A (ja) 2005-08-10 2007-02-22 Toshiba Corp 行動管理装置、行動管理方法および行動管理プログラム
KR100791298B1 (ko) 2006-05-19 2008-01-04 삼성전자주식회사 홈 네트워크에서의 디바이스 제어 장치 및 방법
KR100948600B1 (ko) 2006-12-04 2010-03-24 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법
WO2008069519A1 (en) 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
US8144939B2 (en) 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
US7894639B2 (en) 2008-01-03 2011-02-22 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring a face glossary data
JP5196239B2 (ja) * 2008-03-05 2013-05-15 日本電気株式会社 情報処理装置及び方法
JP2009230831A (ja) * 2008-03-25 2009-10-08 Panasonic Corp ディスク装置におけるバッファメモリ管理方法
US20090307718A1 (en) 2008-06-06 2009-12-10 Westinghouse Digital Electronics, Llc Method and Apparatus for User Configurable Table for Blocking or Allowing of Video and Audio Signals
KR101580839B1 (ko) 2008-08-05 2015-12-29 삼성전자주식회사 홈 네트워크에서 ｒｕｉ 서버의 이벤트를 통지하는 방법 및이를 위한 장치
KR20100096490A (ko) 2009-02-24 2010-09-02 삼성전자주식회사 보안 통신 수행 방법 및 그 장치
US20120004910A1 (en) 2009-05-07 2012-01-05 Romulo De Guzman Quidilig System and method for speech processing and speech to text
US20120151327A1 (en) 2009-06-08 2012-06-14 Samsung Electronics Co., Ltd. Method and apparatus for providing a remote user interface
KR101638047B1 (ko) 2009-07-30 2016-07-08 삼성전자 주식회사 전자기기에서 볼륨 제어 방법 및 장치
TWI423144B (zh) 2009-11-10 2014-01-11 Inst Information Industry Combined with the audio and video behavior identification system, identification methods and computer program products
KR101664430B1 (ko) 2009-11-13 2016-10-10 삼성전자주식회사 리모트 ｕｉ 서비스 제공 방법 및 장치
JP2011147119A (ja) 2009-12-14 2011-07-28 Panasonic Corp 画像処理装置および画像処理プログラム
US8661120B2 (en) 2010-09-21 2014-02-25 Amazon Technologies, Inc. Methods and systems for dynamically managing requests for computing capacity
KR101885133B1 (ko) 2011-02-01 2018-08-03 삼성전자주식회사 디지털 디바이스에서 어플리케이션 자동 인스톨 기능을 제공하기 위한 장치 및 방법
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US8788257B1 (en) 2011-10-25 2014-07-22 Google Inc. Unified cross platform input method framework
US8847881B2 (en) 2011-11-18 2014-09-30 Sony Corporation Gesture and voice recognition for control of a device
US20130141572A1 (en) 2011-12-05 2013-06-06 Alex Laton Torres Vehicle monitoring system for use with a vehicle
EP2602692A1 (en) 2011-12-05 2013-06-12 Alcatel Lucent Method for recognizing gestures and gesture detector
KR101891768B1 (ko) 2011-12-08 2018-08-24 삼성전자주식회사 휴대단말기의 경보장치 및 방법
KR20130134785A (ko) 2012-05-31 2013-12-10 엘지전자 주식회사 유저 입력 리스폰스 출력 방법 및 이를 위한 홈 디바이스
KR102177830B1 (ko) 2012-09-10 2020-11-11 삼성전자주식회사 디바이스에 연결된 외부 기기를 제어하는 시스템 및 방법
US9722811B2 (en) 2012-09-10 2017-08-01 Samsung Electronics Co., Ltd. System and method of controlling external apparatus connected with device
KR102070196B1 (ko) 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
CN102945672B (zh) 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
US9398335B2 (en) 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
KR102091003B1 (ko) 2012-12-10 2020-03-19 삼성전자 주식회사 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
KR20140088449A (ko) 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
KR20140102070A (ko) 2013-02-13 2014-08-21 삼성전자주식회사 사용자 디바이스의 패스트 부팅 방법 및 장치
KR20140115761A (ko) 2013-03-22 2014-10-01 삼성전자주식회사 스크린 락 제어 방법 및 이를 지원하는 전자 장치
KR102182398B1 (ko) 2013-07-10 2020-11-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US9372922B2 (en) 2013-07-11 2016-06-21 Neura, Inc. Data consolidation mechanisms for internet of things integration platform
KR101828460B1 (ko) 2013-07-30 2018-02-14 삼성전자주식회사 가전기기 및 그 제어방법
KR102123062B1 (ko) 2013-08-06 2020-06-15 삼성전자주식회사 콘텐츠에 관한 정보를 획득하는 방법 및 이를 이용한 영상 표시 장치, 그리고 콘텐츠에 관한 정보를 제공하는 서버 시스템.
KR102188090B1 (ko) 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US20170017501A1 (en) 2013-12-16 2017-01-19 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
CN105830048A (zh) 2013-12-16 2016-08-03 纽昂斯通讯公司 用于提供虚拟助理的系统和方法
KR102206351B1 (ko) 2014-04-28 2021-01-22 삼성전자 주식회사 전자 장치 및 이의 작업 연계 방법
KR20150126495A (ko) 2014-05-02 2015-11-12 삼성전자주식회사 서비스 정보를 제공하는 전자 장치 및 방법
KR20150136811A (ko) * 2014-05-28 2015-12-08 삼성전자주식회사 임베디드 시스템에서 메모리 관리 장치 및 방법
KR20160071732A (ko) 2014-12-12 2016-06-22 삼성전자주식회사 음성 입력을 처리하는 방법 및 장치
US10223635B2 (en) * 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
US20160349127A1 (en) 2015-06-01 2016-12-01 Kiban Labs, Inc. System and method for using internet of things (iot) devices to capture and play back a massage
US11423311B2 (en) 2015-06-04 2022-08-23 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
CN105204743A (zh) 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
WO2017068826A1 (ja) 2015-10-23 2017-04-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20170132511A1 (en) * 2015-11-10 2017-05-11 Facebook, Inc. Systems and methods for utilizing compressed convolutional neural networks to perform media content processing
CN105446146B (zh) 2015-11-19 2019-05-28 深圳创想未来机器人有限公司 基于语义分析的智能终端控制方法、系统及智能终端
US10832120B2 (en) * 2015-12-11 2020-11-10 Baidu Usa Llc Systems and methods for a multi-core optimized recurrent neural network
US10621486B2 (en) 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
CN107239823A (zh) * 2016-08-12 2017-10-10 北京深鉴科技有限公司 一种用于实现稀疏神经网络的装置和方法
US11321609B2 (en) * 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
KR20180049787A (ko) 2016-11-03 2018-05-11 삼성전자주식회사 전자 장치, 그의 제어 방법
WO2018084576A1 (en) 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
CN110050282A (zh) * 2016-11-04 2019-07-23 谷歌有限责任公司 卷积神经网络压缩
CN108243216B (zh) 2016-12-26 2020-02-14 华为技术有限公司 数据处理的方法、端侧设备、云侧设备与端云协同系统
US20180330275A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Resource-efficient machine learning
KR102606825B1 (ko) * 2017-09-13 2023-11-27 삼성전자주식회사 뉴럴 네트워크 모델을 변형하는 뉴럴 네트워크 시스템, 이를 포함하는 어플리케이션 프로세서 및 뉴럴 네트워크 시스템의 동작방법
US10599205B2 (en) * 2017-09-18 2020-03-24 Verizon Patent And Licensing Inc. Methods and systems for managing machine learning involving mobile devices
US11030997B2 (en) * 2017-11-22 2021-06-08 Baidu Usa Llc Slim embedding layers for recurrent neural language models
US11580452B2 (en) * 2017-12-01 2023-02-14 Telefonaktiebolaget Lm Ericsson (Publ) Selecting learning model
US11645520B2 (en) * 2017-12-15 2023-05-09 Nokia Technologies Oy Methods and apparatuses for inferencing using a neural network
US10546393B2 (en) * 2017-12-30 2020-01-28 Intel Corporation Compression in machine learning and deep learning processing
DE102020211262A1 (de) * 2020-09-08 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Komprimieren eines neuronalen Netzes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055874A (ja) * 2000-08-08 2002-02-20 Mitsubishi Heavy Ind Ltd バッファメモリ管理装置、バッファメモリ管理方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN104737137A (zh) * 2013-10-18 2015-06-24 三星电子株式会社 电子设备的存储器压缩方法及其装置
CN205450754U (zh) * 2016-04-06 2016-08-10 黄应红 基于人工智能设计的机器人管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538233A (zh) * 2021-06-25 2021-10-22 华东师范大学 一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法

Also Published As

Publication number Publication date
WO2020017898A1 (en) 2020-01-23
KR20200013162A (ko) 2020-02-06
US11521038B2 (en) 2022-12-06
EP3756145A1 (en) 2020-12-30
EP3756145A4 (en) 2021-05-26
US20200026977A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
CN112424799A (zh) 电子装置及其控制方法
US11243747B2 (en) Application digital content control using an embedded machine learning module
CN109074501B (zh) 基于类偏斜的动态分类器选择
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
EP3647936B1 (en) Electronic apparatus and control method thereof
US11842735B2 (en) Electronic apparatus and control method thereof
KR20200046188A (ko) 인공 지능 모델을 재구성하기 위한 전자 장치 및 그의 제어 방법
US11880754B2 (en) Electronic apparatus and control method thereof
US20220318077A1 (en) Data engine
KR20210136706A (ko) 전자 장치 및 이의 제어 방법
US20220301549A1 (en) Electronic device and method for providing voice recognition service
US20230134852A1 (en) Electronic apparatus and method for providing search result related to query sentence
US11611483B2 (en) Learning-based dynamic determination of synchronous/asynchronous behavior of computing services
KR102423754B1 (ko) 디바이스 사용 문의에 대한 응답을 제공하는 디바이스 및 방법
US20230214695A1 (en) Counterfactual inference management device, counterfactual inference management method, and counterfactual inference management computer program product
CN116861363A (zh) 多模态的特征处理方法、装置、存储介质与电子设备
CN114092608B (zh) 表情的处理方法及装置、计算机可读存储介质、电子设备
CN111797273B (zh) 用于调整参数的方法和装置
US20200159835A1 (en) Methods and systems for managing content storage
KR102658967B1 (ko) 인공지능 기반 솔루션을 제공하기 위한 방법, 전자 장치, 및 시스템
US10901717B2 (en) Controlling computer executions based on terms and conditions and user device attributes
US20210374635A1 (en) Scalable assistive data generation and delivery
US20230033354A1 (en) Context-based saving of data
KR20220169695A (ko) 전자장치 및 그 제어방법
KR20240097046A (ko) 메타 러닝에 기반하여 학습된 인공지능 모델들을 제공하는 서버

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination