CN112771544A - 重构人工智能模型的电子装置及其控制方法 - Google Patents

重构人工智能模型的电子装置及其控制方法 Download PDF

Info

Publication number
CN112771544A
CN112771544A CN201980064205.7A CN201980064205A CN112771544A CN 112771544 A CN112771544 A CN 112771544A CN 201980064205 A CN201980064205 A CN 201980064205A CN 112771544 A CN112771544 A CN 112771544A
Authority
CN
China
Prior art keywords
model
information
acquired
electronic device
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980064205.7A
Other languages
English (en)
Inventor
崔寅权
金在德
朴致衍
孙泳哲
李昌炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112771544A publication Critical patent/CN112771544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

提供了一种用于重构人工智能模型的电子装置及其控制方法。该控制方法包括：输入至少一个输入数据至第一人工智能(AI)模型，以获取至少一个输出数据；基于所获取的至少一个输出数据，获取第一使用信息；基于所获取的第一使用信息，获取用于重构所述第一AI模型的第一重构信息；以及基于所获取的第一重构信息，重构所述第一AI模型，以获取第二AI模型。

Description

重构人工智能模型的电子装置及其控制方法
技术领域
本公开涉及一种通过利用机器学习算法模拟诸如识别、确定等人脑功能的人工智能(AI)系统及其应用。更具体地，本公开涉及一种用于重构人工智能模型的电子装置及其控制方法。
背景技术
人工智能(AI)系统是一种实现人类水平智能的计算机系统，并且是一种与以前的基于规则的智能系统不同的系统，其中机器可自行学习、确定和变得智能。随着人工智能系统的使用更加准确地提高识别率和对用户偏好的理解，以前的基于规则的智能系统逐渐由基于深度学习的人工智能系统所取代。
AI技术包括机器学习(深度学习)和使用机器学习的元件技术。
机器学习是一种可自行分类和学习输入数据的特征的算法技术。元件技术是利用诸如深度学习等的机器学习算法的技术，其可包括各种技术领域，诸如语言理解、视觉理解、推理/预测、知识表达、运动控制等。
下文中显示了应用AI技术的各个领域。语言理解是一种识别人类语言和字符并对其进行应用和处理的技术，其可包括自然语言处理、机器翻译、对话系统、问答、语音识别和合成等。视觉理解是一种好像是从人类的视线中看到物体一样的识别物体的技术，其可包括物体识别、物体跟踪、图像搜索、人类识别、场景理解、空间理解、图像改善等。推理/预测是一种鉴别信息并在逻辑上推理和预测所鉴别信息的技术，其可包括基于知识和概率的推理、优化预测、基于偏好的计划、推荐等。知识表达是一种自动将人的经验信息转化为知识数据的技术，其可包括知识构造(数据获取和分类)、知识管理(数据利用)等。运动控制是一种用于控制车辆的自动驾驶和机器人的运动的技术，其可包括运动控制(导航、碰撞和驾驶)、操纵控制(行为控制)等。
现有技术的AI技术使用大量的学习时间和较大的存储空间。因此，现有技术的AI技术通常在具有大存储空间并且能够执行高计算的外部服务器中执行，并且正在讨论在诸如智能电话的用户终端装置中有效地使用AI模型的方法。
上述信息仅作为背景信息呈现，以帮助理解本公开。关于上述内容中的任何内容是否可用作关于本公开的现有技术，未确定也未断言。
发明内容
解决方案
根据本公开的一方面，一种电子装置的控制方法，包括：输入至少一个输入数据至第一人工智能(AI)模型，以获取至少一个输出数据；基于所获取的至少一个输出数据，获取第一使用信息；基于所获取的第一使用信息，获取用于重构第一AI模型的第一重构信息；以及基于所获取的第一重构信息，重构第一AI模型，以获取第二AI模型。
第一使用信息可包括与用户的使用模式有关的信息、与电子装置所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一个或任意组合。
第一重构信息可包括关于第二AI模型的结构的信息、关于第二AI模型的权重的信息和用于重构第一AI模型的增量信息中的任何一个或任意组合，以及，增量信息可包括第一AI模型和/或第二AI模型的结构信息以及关于第一AI模型与第二AI模型之间的权重差的信息中的一个或两个。
控制方法还可包括：输入第一输入数据至所获取的第二AI模型，以获取第一输出数据；基于所获取的第一输出数据的可靠性小于或等于预定值，传送第一输入数据至服务器；以及从服务器获取关联于所传送的第一输入数据的第二输出数据。
控制方法还可包括：基于所获取的第二输出数据，获取第二使用信息；基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
控制方法还可包括：基于所获取的至少一个输出数据中的任一个被输出的次数小于预定值，基于所获取的至少一个输出数据，获取不包括所述至少一个输出数据中的任一个的第二使用信息；基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
控制方法还可包括：显示用于添加和/或更改所获取的第一使用信息的用户界面(UI)；基于用于添加和/或更改所获取的第一使用信息的用户命令通过所显示的UI被输入，修改所获取的第一使用信息；基于所修改的第一使用信息，获取用于重构第二AI模型的第二重构信息；以及基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
第一AI模型和第二AI模型中的每一个可用于图像分析或用于语音处理和语言理解。
根据本公开的一方面，一种电子装置，包括：存储指令的存储器以及处理器，被配置为运行所存储的指令以：输入至少一个输入数据至第一人工智能(AI)模型，以获取至少一个输出数据；基于所获取的至少一个输出数据，获取第一使用信息；基于所获取的第一使用信息，获取用于重构第一AI模型的第一重构信息；以及基于所获取的第一重构信息，重构第一AI模型，以获取第二AI模型。
第一使用信息可包括与用户的使用模式有关的信息、与电子装置所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一个或任意组合。
第一重构信息可包括关于第二AI模型的结构的信息、关于第二AI模型的权重的信息和用于重构第一AI模型的增量信息中的任何一个或任意组合，以及，增量信息可包括第一AI模型和/或第二AI模型的结构信息以及关于第一AI模型与第二AI模型之间的权重差的信息中的一个或两个。
电子装置还可包括通信器，该通信器包括电路，并且处理器还可被配置为运行所存储的指令以：输入第一输入数据至所获取的第二AI模型，以获取第一输出数据；基于所获取的第一输出数据的可靠性小于或等于预定值，控制通信器经由通信器传送第一输入数据至服务器；以及经由通信器从服务器获取关联于所传送的第一输入数据的第二输出数据。
处理器还可被配置为运行存储的指令，以基于所获取的第二输出数据，获取第二使用信息；基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
处理器还可被配置为运行所存储的指令，以：基于所获取的至少一个输出数据中的任一个被输出的次数小于预定值，基于所获取的至少一个输出数据，获取不包括至少一个输出数据中的任一个的第二使用信息；基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
电子装置还可包括显示器，并且处理器还可被配置为运行所存储的指令以:控制显示器以显示用于添加和/或更改所获取的第一使用信息的用户界面(UI)；基于用于添加和/或更改所获取的第一使用信息的用户命令通过所显示的UI被输入，修改所获取的第一使用信息；基于所修改的第一使用信息，获取用于重构第二AI模型的第二重构信息；以及基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
第一AI模型和第二AI模型中的每一个可用于图像分析或用于语音处理和语言理解。
根据本公开的一方面，一种系统的控制方法，该系统包括用于重构人工智能(AI)模型的电子装置和服务器，该系统的控制方法包括：由电子装置输入至少一个输入数据至第一AI模型，以获取至少一个输出数据；基于所获取的至少一个输出数据由电子装置获取第一使用信息，并由电子装置将所获取的第一使用信息传送至服务器。控制方法还包括：基于所传送的第一使用信息，由服务器获取用于重构第一AI模型的第一重构信息；由服务器传送所获取的第一重构信息至电子装置，以及基于所传送的第一重构信息，由电子装置重构第一AI模型以获取第二AI模型。
第一使用信息可包括与用户的使用模式有关的信息、与电子装置所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一个或任意组合。第一重构信息可包括关于第二AI模型的结构的信息、关于第二AI模型的权重的信息和用于重构第一AI模型的增量信息中的任何一个或任意组合。增量信息可包括第一AI模型和/或第二AI模型的结构信息以及关于第一AI模型与第二AI模型之间的权重差的信息中的一个或两个。
控制方法还可包括：基于所获取的至少一个输出数据中的任一个被输出的次数小于预定值，由电子装置基于所获取的至少一个输出数据，获取不包括至少一个输出数据中的任一个的第二使用信息；由电子装置传送所获取的第二使用信息至服务器；由服务器基于所传送的第二使用信息，获取用于重构第二AI模型的第二重构信息；由服务器传送所获取的第二重构信息至电子装置；以及由电子装置基于所传送的第二重构信息重构所获取的第二AI模型，以获取第三AI模型。
控制方法还可包括：基于用于添加和/或更改所获取的第一使用信息的用户命令通过所显示的UI被输入，由电子装置显示用于添加和/或更改获取的第一使用信息的用户界面(UI)；修改所获取的第一使用信息；由电子装置传送所修改的第一使用信息至服务器；基于所传送的第一使用信息，由服务器获取用于重构第二AI模型的第二重构信息；由服务器传送所获取的第二重构信息至电子装置；以及由电子装置基于所传送的第二重构信息重构获取的第二AI模型，以获取第三AI模型。
根据本公开的一方面，一种系统包括：电子装置，该电子装置被配置为：输入至少一个输入数据至第一AI模型，以获取至少一个输出数据，基于所获取的至少一个输出数据获取第一使用信息；以及服务器，被配置为从电子装置接收获取的第一使用信息，基于接收的第一使用信息获取用于重构第一AI模型的第一重构信息，基于获取的第一重构信息重构第一AI模型以获取第二AI模型，以及传送所获取的第二AI模型至电子装置。
第一AI模型和第二AI模型中的每个可包括神经网络。
附图说明
从下文结合附图的描述中，本公开的实施例的上述和其他方面以及优点将更加明显，在附图中：
图1是简要示出根据本公开的实施例的用于重构人工智能(AI)模型的方法的示例的图；
图2是简要示出根据本公开的实施例的电子装置的配置的框图；
图3是详细示出根据本公开的实施例的电子装置的配置的框图；
图4A是简要示出根据本公开的实施例的外部服务器的配置的框图；
图4B是用于解释根据本公开的实施例的电子装置与外部服务器彼此互锁并操作的实施例的图；
图5A是提供用于解释根据本公开的各个实施例的电子装置和外部服务器的操作的流程图；
图5B是提供用于解释根据本公开的各个实施例的电子装置和外部服务器的操作的序列图；
图5C是提供用于解释根据本公开的各个实施例的电子装置和外部服务器的操作的序列图；
图6A是提供用于解释根据本公开的实施例的用于重构人工智能(AI)模型的方法的示例的图；
图6B是提供用于解释根据本公开的实施例的用于重构人工智能(AI)模型的方法的示例的图；
图7A是提供用于解释根据本公开的实施例的其中人工智能(AI)模型是图像分析模型的示例情况的图；
图7B是提供用于解释根据本公开的实施例的其中人工智能(AI)模型是图像分析模型的示例情况的序列图；
图8A是提供用于解释根据本公开的另一实施例的用于重构语言翻译人工智能(AI)模型的方法的示例的图；
图8B是提供用于解释根据本公开的另一实施例的用于重构语言翻译人工智能(AI)模型的方法的示例的图；
图9A是提供用于解释本公开的各个实施例的图；
图9B是提供用于解释本公开的各个实施例的图；
图9C是提供用于解释本公开的各个实施例的图；
图10A是示出用于输入使用信息的示例用户界面(UI)屏幕的图；
图10B是示出用于输入使用信息的示例用户界面(UI)屏幕的图；
图11是提供用于解释根据本公开的实施例的利用人工智能(AI)模型的电子装置的操作的框图；以及
图12是提供用于解释根据本公开的实施例的电子装置的控制方法的流程图。
具体实施方式
本公开的一方面在于提供一种用于重构针对用户终端优化的人工智能(AI)模型的方法。
在下文中，将参照附图描述本公开的各个实施例。然而，本公开不限于下文所描述的实施例，而是包括本公开的实施例的各种修改、等同范围和/或替代。关于附图的解释，相似的附图标号可用于相似的组成元件。
在说明书中，术语“具有”、“可具有”、“包括”或“可包括”表示存在对应的特征(例如数值、函数、运算或组成元件诸如组件)，但不排除存在其他特征。
在说明书中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可包括共同列举项目的所有可能组合。例如，术语“A或B”或“A或/和B中的至少一个”可表示(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B。
在说明书中，术语“第一、第二等”用于描述各种元件，而不考虑其顺序和/或重要性，并且将一个元件与其他元件区别开来，但不限于对应的元件。
如果描述了一个元件(例如第一元件)与另一元件(例如第二元件)“操作地或通信地耦合”或“连接至”另一元件(例如第二元件)，则该元件可直接地或通过又一元件(例如第三元件)连接至另一元件。相反地，将理解，当元件(例如第一元件)与另一元件(例如第二元件)“直接耦合/耦合至”或“直接连接至”另一元件(例如第二元件)时，在该元件与另一元件之间不存在中间元件(例如第三元件)。
在本公开的一个或多个实施例中使用的表述“被配置为(或设置为)”根据上下文可替换为“适合用于”、“能够”、“设计为”、“适于”、“做出的”或“有能力”。措词“被配置为(设置为)”不一定表示或指代硬件级别的“专门设计为”。反而，在某些情况下，术语“被配置为(执行)的装置”可表示该装置能够与其他装置或组件“执行”某些操作。例如，短语“被配置(或设置为执行A、B和C的处理器)”可表示或指代用于执行对应操作的专用处理器(例如嵌入式处理器)或可通过执行储存在存储装置中的一个或多个软件程序来执行对应的操作的通用处理器(例如CPU或应用处理器)。
根据各个实施例的电子设备可包括例如智能手机、平板电脑、移动电话、视频电话、电子书阅读器、台式电脑、笔记本电脑、上网本计算机、工作站、服务器、PDA、便携式多媒体播放器(PMP)、MP3播放器、医疗装置、相机和可穿戴设备中的任何一个或任意组合。在一些实施例中，电子装置可包括例如电视、数字视频光盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如：Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如：XboxTM、PlayStationTM)、电子词典、电子钥匙、便携式摄像机和电子帧(e-frame)中的任何一个或任意组合。
在本公开中，术语“用户”可指示使用电子装置的人或使用电子装置的装置(例如人工智能电子装置)。
在下文中，将参考附图详细描述实施例。
图1是简要示出根据本公开的实施例的用于重构人工智能(AI)模型的方法的示例的图。
如图1的左图所示，最初被包括在电子装置100中的模型通常可为通用人工智能(AI)模型10。也即是，自从电子装置100启动以来已经被包括在电子装置100中的AI模型通常可为通用AI模型10，其用于为各种输入数据输出稳定的结果值。因此，通用AI模型10包括用于输出用户未使用的输入数据的结果值的节点或层，由此会使用不必要的资源，或使用不必要的资源确定未使用的输入数据的特征。
因此，电子装置100可基于用户的使用信息重构通用AI模型10，从而防止不必要的资源的使用。例如，如图1的右图所示，电子装置100可通过从通用AI模型10中包括的多个层中删除至少一层、去除至少一层的非必要部分或向至少一层添加新节点来重构通用AI模型10。
在一个实施例中，在通用AI模型10是图像分析模型并且电子装置100仅鉴别特定对象(例如，鸡蛋、牛奶、胡萝卜等)的情况下，电子装置100可聚焦于用于识别特定对象的信息而重构通用AI模型10。在另一实施例中，在通用AI模型10是语言翻译模型的情况下，电子装置100可仅基于用于在特定上下文(例如关于旅行目的地的对话、商务对话等)中翻译语言的信息来重构通用AI模型10。在另一实施例中，在通用AI模型10是语音鉴别模型的情况下，电子装置100可仅基于用于识别特定单词(例如，用户经常使用的单词)或特定用户(例如，经常使用电子装置100的用户)的信息来重构通用AI模型10。在另一实施例中，在通用AI模型10是用于去除噪声的AI模型的情况下，电子装置100可基于特定的环境信息(例如电子装置100所位于的房间的结构信息、尺寸信息等)来重构通用AI模型10。
通过该方法，电子装置100可重构通用AI模型10以获取个性化AI模型20。个性化AI模型20可比通用AI模型10更轻，或者处理速度可更快。
图2是简要示出根据本公开的实施例的电子装置的配置的框图。
如图2所示，电子装置100可包括存储器110和处理器120。
存储器110可存储关于电子装置100的其他元件中任何一个或任何组合的元件的一个或多个指令或数据。存储器110可实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HHD)或固态驱动器(SSD)。存储器110可由处理器120访问，处理器120可执行数据的读取/记录/修订/删除/更新。根据本公开的实施例，存储器的术语可包括存储器110、处理器120内的只读存储器(ROM)和随机存取存储器(RAM)以及附接至电子装置100的存储卡(例如，微型安全数字(SD)卡或记忆棒)。
存储器110可存储AI模型、基于输入至AI模型的输入数据获取的输出数据、基于输出数据获取的使用信息、以及用于重构基于使用信息获取的AI模型的重构信息。在这种情况下，可考虑鉴别模型的应用领域、学习对象、装置的计算机性能等来构造AI模型。此外，AI模型可例如为基于神经网络的模型。AI模型可设计为在计算机上模拟人脑结构。AI模型可包括具有权重的多个网络节点，以模拟人类神经网络的神经元。多个网络节点可分别形成连接关系，从而模拟其中神经元通过突触交换信号的突触活动。AI模型可包括例如神经网络模型或从神经网络模型发展的深度学习模型。在深度学习模型中，多个网络节点可位于不同的深度(或层)，并根据卷积连接关系交换数据。例如，诸如深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BRDNN)的模型可用作人工智能(AI)模型，然而示例不限于此。
处理器120可电连接至存储器110，并控制电子装置100的整体操作和功能。
例如，处理器120可关联于输入至第一人工智能(AI)模型的至少一个输入数据获取至少一个输出数据，基于所获取的至少一个输出数据获取使用信息，基于获取的使用信息，获取用于重构AI模型的重构信息，并基于重构信息重构第一AI模型，以获取第二人工智能(AI)模型。
在这种情况下，使用信息可包括与用户的使用模式有关的信息、与电子装置100所处的地点有关的信息、电子装置100的用户的年龄信息、上下文信息、存储在电子装置100中的信息以及环境信息中的任何一种或任意组合。在这种情况下，与用户的使用模式有关的信息可包括与在预定条件(例如，时间、地点等)下用户使用电子装置100时发生的使用行为有关的信息。另外，与电子装置100所处的地点有关的信息可包括电子装置100的全球定位系统(GPS)信息、与GPS信息有关的上下文信息(例如，诸如药房、购物中心或会议室的上下文信息)。上下文信息可以是关于各种上下文的信息。例如，上下文信息可以是与特定地点或事件有关的各种信息，诸如与旅行有关的信息、与药房有关的信息等。在这种情况下，上下文信息可根据AI模型的类型包括不同的信息。例如，在AI模型是图像分析模型的情况下，与旅行有关的上下文信息可以是与旅游景点有关的信息。作为另一示例，在AI模型是语言翻译模型的情况下，与旅行有关的上下文信息可以是关于在旅行目的地中经常使用的单词的信息。存储在电子装置100中的信息可包括例如地址簿、音乐列表、电子邮件、短消息服务(SMS)消息等。环境信息可包括例如电子装置100所处地点的天气信息、温度信息、结构信息和尺寸信息的任何一种或任意组合。
例如，使用信息可表示根据AI模型的类型和性质的各种信息。例如，在AI模型是用于图像分析的AI模型的情况下，使用信息可以是与包括在通过图像分析获取的图像中的对象有关的信息。作为另一示例，在AI模型是用于语言翻译的模型的情况下，使用信息可包括电子装置100的位置信息(例如GPS信息)、与位置有关的上下文信息(例如，诸如药房、购物中心或会议室的上下文信息)、与位置有关的语言信息(例如与在对应位置使用的语言有关的信息)以及存储在电子装置100中的日程安排信息中的任何一种或任意组合。作为另一示例，在AI模型是对话系统中包括的AI模型的情况下，使用信息可以是对通过语音鉴别获取的文本进行分类的类别信息，或者是用于对通过自然语言获取的用户意图(或任务或命令)进行分类的类别信息。作为另一示例，在AI模型是语音鉴别模型的情况下，使用信息可以是识别已经表达输入语音的用户的用户识别信息。作为另一示例，在AI模型是用于处理噪声的AI模型的情况下，使用信息可以是与电子装置100所处的地点的结构和尺寸有关的信息。
重构信息可包括与第二AI模型的结构有关的信息、与第二AI模型的权重有关的信息以及用于重构第一AI模型的增量信息中的任何一个或任意组合。与AI模型的结构有关的信息可表示与包括在AI模型中的层的结构有关的信息或与层之间的连接关系有关的信息。增量信息可包括第一AI模型和重构的第二AI模型的结构信息以及与第一AI模型和重构的第二AI模型的权重之间的差有关的信息中的一种或两种。
在获取第二AI模型的情况下，处理器120可从存储器110中删除第一AI模型。例如，在将第一AI模型更改为第二AI模型并重构的情况下，处理器120可删除与第一AI模型有关的数据。在从第一AI模型获取新的第二AI模型的情况下，处理器120可删除先前的第一AI模型，从而可有效地使用存储器110。
如上所述，处理器120可重构第一AI模型以获取第二AI模型。也即是，第一AI模型是通用AI模型，并可获取关于各种输入数据的输出数据。然而，它具有计算量大且尺寸大的AI模型。相反，重构的第二AI模型是个性化的AI模型，可关联于与使用信息有关的输入数据更准确地输出输出数据，并且可为轻量级的AI模型。
例如，在第一输出数据的可靠性小于或等于预定值的情况下，处理器120可获取关于输入至重构的第二AI模型的第一输入数据的第一输出数据，然后将第一输入数据传送至外部服务器200，并从外部服务器200获取关于第一输入数据的第二输出数据。也即是，在通过输入第一输入数据至重构的第二人工智能模型而获取的第一输出数据的识别概率值小于或等于阈值或者获取指示未识别出第一输入数据的第一输出数据的情况下，处理器120可关于来自外部服务器200的第一输入数据获取输出数据(第二输出数据)。通过上述处理，在输入与使用信息无关的输入数据并且获取不正确的输出数据(第一输出数据)的情况下，处理器120可通过外部服务器200的通用AI模型(例如第一AI模型)获取关于第一输入数据的第二输出数据。
此外，处理器120可基于从外部服务器200获取的第二输出数据获取第二使用信息，基于获取的第二使用信息获取用于重构第二UI模型的第二重构信息，并基于第二重构信息重构第二UI模型以获取第三AI模型。也即是，在输入与先前获取的第一使用信息不对应的第一输入数据的情况下，处理器120可获取包括第一输入数据的第二使用信息并重构AI模型。
另外，在至少一个输出数据中的任何一种在预定条件(例如，时间或位置)下的输出次数小于阈值的情况下，处理器120可获取除至少一个输出数据中的任何一种之外的第三使用信息，基于获取的第三使用信息获取用于重构第二AI模型的第三重构信息，并基于第三重构信息重构第二UI模型以获取第四AI模型。也即是，与当获取第三AI模型时相反，处理器120可获取除关于未使用的输入数据的输出数据之外的第三使用信息，并重构AI模型。通过上述各种重构过程，处理器120可获取个性化且减轻的AI模型。
如上所述，AI模型可为根据各种目的的AI模型。例如，AI模型可包括各种类型的AI模型，诸如用于图像分析的AI模型、用于语言翻译的AI模型、用于语音鉴别的AI模型、用于自然语言处理的AI模型、用于去除噪声的AI模型等。
图3是详细示出根据本公开的实施例的电子装置的配置的框图。
如图3所示，除了存储器110和处理器120之外，电子装置100还可包括包括电路130的通信器、输入接口140、显示器150和音频输出接口160。然而，示例不限于上述元件，并且根据需要可添加或省略一些元件。
通信器130是用于执行与另一电子装置的通信的配置。通信器130可经由第三装置(例如，中继器、集线器、接入点、服务器、网关等)通信地连接至另一电子装置。无线通信可包括例如利用5G网络、LTE、LTE演进(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的任何一种或任意组合的蜂窝通信。根据一个实施例，无线通信可包括例如无线保真技术(WiFi)、蓝牙、蓝牙低功耗(BLE)、紫峰(Zigbee)、近场通信(NFC)、电磁安全传输、射频(RF)和人体局域网(BAN)中的任何一种或任意组合。有线通信可包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信和普通老式电话服务(POTS)中的任何一种或任意组合。通过网络执行有线或无线通信的该网络可包括电信网络，例如，计算机网络(例如LAN或WAN)、互联网和电话网络中的任何一种或任意组合。
通信器130可从外部服务器200获取关于输入数据的输出数据。此外，在外部服务器200中操作的AI模型的重构的情况下，电子装置100可仅有通信器130获取重构信息或重构的AI模型。
输入接口140可被配置为获取用户命令的输入。输入接口140可包括相机141、麦克风142、触摸面板143等。相机141可被配置为获取电子装置100周围的图像数据。相机141可捕获静止图像和运动图像。例如，相机141可包括一个或多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。通过相机141获取的图像数据可输入为AI模型的输入数据。麦克风142可被配置为获取电子装置100周围的声音。麦克风142可获取外部声学信号的输入并获取电语音信息。麦克风142可利用各种噪声去除算法来去除在获取外部声学信号的输入的过程中出现的噪声。通过麦克风142获取的音频数据可输入为AI模型的输入数据。触摸面板143可被配置为获取各种用户输入。触摸面板143可通过用户操纵获取数据的输入。触摸面板143可与稍后将描述的显示器组合配置。通过触摸面板143输入的用户命令可以是用于输入使用信息的命令。除了上述相机141、麦克风142和触摸面板143之外，输入接口140可被配置为用于输入各种数据的各个元件。
显示器150可被配置为输出各种图像。用于提供各种图像的显示器150可实现为各种形式的显示面板。例如，显示面板可用各种显示技术来实现，诸如液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AM-OLED)、硅基液晶(LcoS)或数字光处理(DLP)。显示器150可以柔性显示器形式来实现，该柔性显示器形式可与电子装置100的前表面区域、侧表面区域和后表面区域中的任何一个或任意组合结合。
显示器150可显示用于添加或更改使用信息的用户界面(UI)。在这种情况下，可通过UI添加的使用信息是不能从输出数据获取的使用信息，其可例如为关于电子装置100的使用模式的信息、与电子装置100所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一种或任意组合。当通过在显示器150上显示的UI输入用于添加新的使用信息的用户命令时，处理器120可获取用于基于新的使用信息重构第二UI模型的第四重构信息，并基于第四重构信息重构第二UI模型以获取第五AI模型。作为另一示例，电子装置100可根据通过UI获取的用户输入删除未用作输出数据的使用信息。
音频输出接口160可被配置为不仅输出通过用于执行音频处理的元件(例如，CPU或专用硬件)对其执行诸如解码、放大和噪声滤波的各种处理操作的各种音频数据，而且还输出各种警报声音或语音消息。音频处理部件是用于处理音频数据的元件。音频处理部件可关联于音频数据执行各种处理，诸如解码、放大、噪声滤波等。由音频处理部件处理的音频数据可输出到音频输出接口160。音频输出接口可实现为扬声器；这是本公开的各个实施例之一。音频输出接口可实现为可输出音频数据的输出组件。在将AI模型的输出数据作为音频输出的情况下，音频输出接口160可输出与输出数据相对应的音频。
处理器120可被配置为控制电子装置100的整体操作，如上所述。处理器120可包括RAM 121、ROM 122、图形处理部件123、主中央处理单元(CPU)124、第一接口125-1至第n接口125-n以及总线126。RAM 121、ROM 122、图形处理部件123、主中央处理单元(CPU)124、第一接口125-1至第n接口125-n可经由总线126彼此连接。
ROM 122可存储用于系统启动的指令集。当输入开启命令并供电时，主CPU 124可根据存储在ROM 122中的指令将存储在存储器中的O/S复制至RAM 121，并通过运行O/S启动系统。当启动完成时，主CPU 124可将存储在存储器中的各种应用程序复制至RAM 121，运行复制至RAM 121的应用程序并执行各种操作。
例如，主CPU 124可使用存储在存储器110中的O/S访问存储器110并执行启动。主CPU 124可使用存储在存储器110中的多种程序、内容、数据等执行各种操作。
第一接口125-1至第n接口125-n可连接至上述各个元件。接口之一可为经由网络连接至外部装置的网络接口。
图4A是简要示出根据本公开的实施例的外部服务器的配置的框图。图4B是提供用于解释根据本公开的实施例的电子装置和外部服务器彼此互锁并操作的实施例的图。
如图4A所示，外部服务器200可包括存储器210、包括电路220的通信器和处理器230。存储器210和通信器220的结构、功能和操作类似于上述电子装置100的存储器110和通信器130的结构、功能和操作。
也即是，存储器210可存储关于服务器200的至少一个其他元件的一个或多个指令或数据。例如，存储器210可实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)、固态驱动器(SSDI)等。存储器210可由处理器230访问，处理器230可执行数据的诸如读取、写入、修改、删除、更新等操作。
存储器210可存储关于作为通用AI模型的第一AI模型的信息。另外，在电子装置100使用存储在服务器200中的第一AI模型获取输出数据的情况下，存储器210可存储基于输入至第一AI模型的输入数据获取的输出数据、基于输出数据获取的使用信息、以及基于使用信息获取的用于重构的AI模型的重构信息。此外，存储器210还可包括关于通过第四AI模型重构的第二AI模型的使用信息、重构信息等。在这种情况下，在从电子装置100获取第二AI模型至第四AI模型的情况下，存储器210可从电子装置100获取第二AI模型至第四AI模型，并存储它们。然而，在从外部服务器200获取第二AI模型至第四AI模型的情况下，存储器210可存储获取的第二AI模型至第四AI模型。
通信器220是用于与另一电子装置进行通信的配置。通信器220可经由第三装置(例如中继器、集线器、接入点、服务器、网关等)通信地连接至另一电子装置。通信器220可通过上述各种有线或无线通信方案与外部装置通信。例如，通信器220可从电子装置100获取第一输入数据。然而，示例不限于此，并且如上所述，通信器220还可获取第二AI模型至第四AI模型、关于第二AI模型至第四AI模型的使用信息、重构信息等。
处理器230可电连接至存储器210，并且控制外部服务器200的整体操作和功能。
例如，在从电子装置100获取请求第一输入数据的控制信号和关于第一输入数据的输出数据的情况下，处理器230可获取通过将第一输入数据输入至第一AI模型输出的第二输出数据。处理器230可经由通信器220将获取的第二输出数据传送至电子装置100。也即是，在电子装置100仅存储第二AI模型并且不能获取关联于第一输入数据的准确的输出数据的情况下，处理器230可通过使用第一AI模型代替电子装置100来获取为关联于第一输入数据的准确输出数据的第二输出数据，并且传送所获取的第二输出数据至电子装置100。
如上所述，外部服务器200可执行由电子装置100执行的全部或部分操作而不是电子装置100。也即是，如图4B所示，电子装置100和外部服务器200可彼此互锁并操作。
在一个实施例中，电子装置100可获取关联于输入至第一AI模型的至少一个输入数据的至少一个输出数据，并且将基于获取的输出数据获取的第一使用信息传送至外部服务器200。外部服务器200可基于从电子装置100获取的第一使用信息获取用于重构第一AI模型的第一重构信息，并且将获取的第一重构信息传送至电子装置100。电子装置100可基于获取的第一重构信息重构第一AI模型以获取第二AI模型。
在重构的第二AI模型不能鉴别的第一输入数据输入至电子装置100的情况下，外部服务器200可获取第一输入数据并获取第二重构信息。例如，当第一输入数据输入至电子装置100的第二AI模型时，电子装置100可识别第一输出数据关联于第一输入数据的可靠性。如果第一输出数据的可靠性小于或等于预定值(或者，如果输出指示未识别出的第一输入数据的第一输出数据)，则电子装置100可将第一输入数据传送至外部服务器200。外部服务器200可将获取的第一输入数据输入至外部服务器200的第一AI模型，并获取第二输出数据，基于第二输出数据获取第二使用信息，并基于第二使用信息获取第二重构信息，将获取的第二重构信息传送至电子装置100。电子装置100可基于获取的第二重构信息重构第二AI模型以获取第三AI模型。
在重构的第二AI模型不能鉴别的第一输入数据输入至电子装置100的情况下，外部服务器200可获取第一输入数据，并传送关联于所获取的第一输入数据的第二输出数据至电子装置100。也即是，与电子装置100将第二AI模型重构为能够鉴别第一输入数据的AI模型并获取关联于第一输入数据的第二输出数据相比，外部服务器200将关联于第一输入数据的第二输出数据传送至电子装置100更快且更准确。因此，外部服务器200可将第二输出数据传送至电子装置100。电子装置100可输出获取的第二输出数据。
图5A是提供用于解释根据本公开的各个实施例的电子装置和外部服务器的操作的流程图。图5B是提供用于解释根据本公开的各个实施例的电子装置和外部服务器的操作的序列图。图5C是提供用于解释根据本公开的各个实施例的电子装置和外部服务器的操作的序列图。
如图5A所示，电子装置100可自己获取通过将输入数据输入至AI模型而输出的输出数据、基于该输出数据获取的使用信息以及基于使用信息获取的重构信息，并基于获取的重构信息重构AI模型。
也即是，在操作S511，电子装置100可获取关联于输入数据的输出数据。例如，电子装置100可将输入数据输入至第一AI模型以获取输出数据。
在操作S512，电子装置100可从输出数据获取使用信息。如上所述，使用信息可包括关于用户的使用模式的信息、与电子装置100所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一种或任意组合。
在操作S513，电子装置可识别使用信息是满足预定条件还是当前条件。预定条件可表示用于从电子装置100获取的多条使用信息中获取用于获取重构信息的使用信息的条件。例如，预定条件可包括诸如：关于特定输出数据在预定时间段内输出小于阈值的条件、关于在电子装置100存在于预定位置时输出数据的输出是否大于或等于阈值的条件、关于特定输出数据是否由用户设定的条件等的各种条件。
在使用信息不满足预定条件的情况下(S513-N)，电子装置100可返回操作S511，并且获取关于输入数据的输出数据，直到满足预定条件为止。在使用信息满足预定条件的情况下(S513-Y)，在操作S514，电子装置100可从满足预定条件的使用信息中获取重构信息。例如，当获取使用信息时，对应于能够由作为通用AI模型的第一AI模型输出的1000个类别中的20个类别的输出数据来自该使用信息，电子装置100可获取用于将第一AI模型重构为能够输出20个类别的第二AI模型的重构信息。如上所述，重构信息是用于重构AI模型的信息，其可包括关于第二AI模型的结构的信息、关于第二AI模型的权重的信息以及用于重构第一AI模型的增量信息中的任何一个或任意组合。
在操作S515，电子装置100可基于获取的重构信息重构AI模型。
如图5B和图5C所示，图5A中的电子装置100的一些操作也可在外部服务器200中执行。
也即是，如图5B所示，外部服务器200可获取重构信息，从获取的重构信息重构AI，并且将重构的AI模型传送至电子装置100。
例如，在操作S521，电子装置100可获取关联于输入数据的输出数据。在操作S522，电子装置100可从输出数据获取使用信息。当使用信息满足预定条件或当前条件时，在操作S523，电子装置100可将获取的满足预定条件或当前条件的使用信息传送至外部服务器。当不满足预定条件时，可像在图5A的操作S513-N中一样，能够获取输出数据，直到获得预定条件为止。在操作S523，外部服务器200可获取存储在电子装置100中的AI模型。也即是，外部服务器200可获取要从电子装置100重构的AI模型。然而，示例不限于此，外部服务器200可仅从电子装置100获取关于要重构的AI模型的信息。
在操作S524，外部服务器200可从获取自电子装置100的使用信息中获取重构信息。在操作S525，外部服务器200可基于获取的重构信息重构AI模型。在操作S526，外部服务器200可将重构的AI模型传送至电子装置100。在这种情况下，电子装置100可删除先前的AI模型，并且存储从外部服务器200获取的AI模型。
在另一实施例中，如图5C所示，在操作S531，电子装置100可获取关联于输入数据的输出数据。在操作S532，电子装置100可从输出数据获取使用信息。当使用信息满足预定条件或预设条件时，在操作S533，电子装置100可将获取的满足预定条件或预设条件的使用信息传送至外部服务器。在操作S534，外部服务器200可从获取自电子装置100的使用信息中获取重构信息。在操作S535，外部服务器200可将获取的重构信息传送至电子装置100。在操作S536，电子装置100可基于获取的重构信息重构AI模型。
也即是，与图5B不同，在图5C中，电子装置100可从外部服务器200获取重构信息，并且直接重构AI模型。
除图5B和图5C的实施例外，外部服务器200可执行将输入数据输入至AI模型并获取输出数据的操作、基于输出数据获取使用信息(或上下文信息、环境信息等)的操作、基于使用信息获取重构信息的操作以及基于重构信息重构AI的操作中的任何一个或任意组合。例如，当要使用AI模型而不将其存储在电子装置100中时，电子装置100初始可将输入数据传送至外部服务器200，并从外部服务器200获取输出数据。服务器200可基于与从电子装置100获取的输入数据相对应的输出数据获取使用信息，基于该使用信息获取重构信息，并且基于该重构信息重构AI模型。外部服务器200可将重构的AI模型传送至电子装置100，电子装置100可使用从外部服务器200获取的重构的AI模型。
图6A是提供用于解释根据本公开的实施例的用于重构人工智能(AI)模型的方法的示例的图。图6B是提供用于解释根据本公开的实施例的用于重构人工智能(AI)模型的方法的示例的图。
在图6A中示出的AI模型可以是用于图像分析的AI模型。电子装置100可获取输入数据610。在这种情况下，输入数据可以是包括至少一个对象的静止图像数据。然而，示例不限于此，输入数据可以是运动图像数据。
电子装置100可在预定条件(例如，预定时间或位置)下将多个输入数据610输入至第一AI模型615，并且获取多个输出数据。第一AI模型615是能够输出1000个类别的输出数据的人工智能(AI)模型(也即是，能够识别1000个对象的人工智能模型)，其可包括N个层(例如核心层、卷积层、池化层、本地连接层、循环层、嵌入层、合并层、高级激活层、归一化层、噪声层等)以及与N个层中的每个层相对应的第一权重值，并且可包括1000个分类器节点，用于对1000个类别进行分类。另外，第一AI模型615是输出数据，其可输出关于包括在图像数据中的对象的信息。
例如，在预定条件下通过第一AI模型615获取的多个输出数据可以是20个类别的输出数据620。20个类别的输出数据可包括关于20种对象的信息。也即是，电子装置100可在预定条件下通过第一AI模型615鉴别20个对象。在这种情况下，电子装置100可以直方图的形式存储在预定条件下获取的输出数据。
电子装置100可基于20个类别的输出数据620来获取关于20个类别的使用信息625。例如，电子装置100可使用存储在电子装置100中的直方图获取关于识别至少预定次数(例如，两次)的类别(例如，对象的类型)的使用信息。
电子装置100可基于获取的使用信息625获取重构信息630。重构信息630可以是能够输出20个类别的输出数据的第二AI模型的结构信息(例如，层数)、权重值或先前的第一AI模型615的增量值以及能够输出20个类别的输出数据的AI模型中的任何一个或任意组合。例如，重构信息630可包括N-2个层，并且包括分别对应于N-2个层的权重值。重构信息630可以是关于能够包括20个分类器节点的AI模型的信息。重构信息630可由电子装置100获取。然而，示例不限于此，其可由外部服务器200获取。也即是，电子装置100可向外部服务器200传送20个类别的使用信息，并从外部服务器200获取基于20个类别的使用信息获取的重构信息。
电子装置100可基于重构信息将第一AI模型615重构为第二AI模型635。第二AI模型635可包括比第一AI模型615更少的层，并且包括更少的分类器节点，因此与第一AI模型615相比可减轻。例如，第二AI模型635可包括N-2层，包括分别对应于N-2个层的第二权重值，并包括20个分类器节点。
在这种情况下，电子装置100可删除存储关于存储在存储器110中的第一AI模型615的信息的文件，并将关于第二AI模型635的信息(也即是，重构信息)的文件存储在存储器110中。可替代地，电子装置100可基于重构信息将先前运行的第一AI模型615更新为第二AI模型635。
图6B中示出的AI模型可以是用于语音处理和语言理解的AI模型中的用于语言翻译的AI模型。电子装置100可获取输入数据640。输入数据可以是用户的语音数据。
电子装置100可在预定条件(例如，预定时间或位置)下输入多个输入数据640至第一AI模型645，并获取多个输出数据。第一AI模型645可以是用于与医院有关的语言翻译的AI模型，其可包括嵌入层，该嵌入层包括与医院有关的N个单词列表。另外，第一AI模型645是输出数据，其可输出关于用户语音的翻译信息。
例如，在预定条件下通过第一AI模型645获取的多个输出数据中的一些可获取关于购物中心的输出数据650。例如，电子装置100可获取与购物中心有关的文本(例如，购物中心的名称、位置、营业时间)作为输出数据。
可替代地，电子装置100可获取与购物中心有关的上下文信息655。例如，电子装置100可获取电子装置100的位置信息(例如，GPS信息)、与位置有关的上下文信息(例如，电子装置是否位于购物中心等)、与位置有关的语言信息(例如，关于在对应位置使用的语言的信息)、存储在电子装置100中的日程安排信息以及用户通过UI设置的信息中的任何一种或任意组合作为上下文信息655。
电子装置100可基于通过第一AI模型645输出的输出数据650中的一些和上下文信息655获取与购物660有关的使用信息。在这种情况下，电子装置100可基于通过第一AI模型645输出的一些输出数据650中之一或上下文信息655获取与购物660有关的使用信息。
电子装置100可基于获取的使用信息660获取重构信息665。重构信息665可以是能够执行与购物有关的语言翻译的第二AI模型的结构信息(例如层数)、权重值或先前的第一AI模型645的增量值以及能够输出与购物有关的语言翻译的AI模型中的任何一个或任意组合。例如，重构信息665可以是关于包括嵌入层的第二AI模型670的信息，该嵌入层包括M个与购物有关的单词列表。在这种情况下，第二AI模型670可包括与第一AI模型645不同的层数或不同的权重值。
重构信息665可由电子装置100获取。然而，示例不限于此，其也可由外部服务器200获取。也即是，电子装置100可传送与购物有关的使用信息至外部服务器200，并从外部服务器200获取基于与购物有关的使用信息获取的重构信息。
电子装置100可基于重构信息665将第一AI模型645重构为第二AI模型670。第二AI模型670可包括嵌入层，该嵌入层包括与第一AI模型645不同的单词列表，并包括与第一AI模型645不同的层数。也即是，电子装置100可使用根据用户的使用信息而优化的AI模型执行语言翻译。
在这种情况下，电子装置100可删除存储关于存储在存储器110中的第一AI模型645的信息的文件，并且将存储关于第二AI模型670的信息(也即是，重构信息)的文件存储在存储器110中。可替代地，电子装置100可基于重构信息将先前运行的第一AI模型645更新为第二AI模型670。图7A、图7B、图8A、图8B、图9A、图9B和图9C是提供用于解释根据本公开的各个实施例的用于重构人工智能(AI)模型的示例方法的图。
图7A是提供用于解释根据本公开的实施例的其中人工智能(AI)模型是图像分析模型的示例情况的图。图7B是提供用于解释根据本公开的实施例的其中人工智能(AI)模型是图像分析模型的示例情况的序列图。
如图7A所示，电子装置100可以是冰箱，AI模型可以是用于识别冰箱内部的产品的类型的图像分析模型。
电子装置100可使用第一AI模型获取关于存储在电子装置100中的各种类型的产品的数据。例如，电子装置100可将通过捕获各种食物类型而生成的图像数据输入至第一AI模型，并获取关于产品的信息作为输出数据。
在所获取的输出数据满足预定条件的情况下，电子装置100可基于满足预定条件的输出数据获取使用信息，并基于所获取的使用信息重构第一AI模型以获取第二AI模型。预定条件可例如为在预定时间段内捕获超过预定次数的产品。例如，如图7A的左图所示，电子装置100可通过第一AI模型获取关于存在于电子装置100内部的第一产品701至第三产品703的信息。电子装置100可基于关于第一产品701至第三产品703的信息获取使用信息，基于所获取的使用信息获取用于鉴别第一产品701至第三产品703的重构信息，并且获取基于获取的重构信息重构的第二AI模型。
可根据用户的使用添加新产品至电子装置100，或者产品可消费并消失。也即是，可根据用户的电子装置100的使用添加满足预定条件的第四产品704，并且可存在先前满足预定条件但当前不满足条件的产品。也即是，如图7A的右上图所示，电子装置100可重构第二AI模型以识别第四产品704，或者如图7A的右下图所示，电子装置100可重构第二AI模型而不识别第三产品。
例如，当输入包括第一产品701至第三产品703的图像作为输入数据时，重构的第二AI模型可输出第一产品701至第三产品703作为输出数据。然而，当包括第四产品704的图像作为输入数据输入至重构的第二AI模型时，电子装置100可输出除了第四产品704以外的产品作为输出数据，或者可输出指示包括第四产品704的图像未鉴别的输出数据。也即是，在关联于特定图像的输出数据的可靠性小于预定可靠性的情况下，电子装置100可识别出包括第四产品704的图像是关联于新产品的图像。在这种情况下，电子装置100可将包括第四产品704的图像传送至外部服务器200，并获取指示包括第四产品704的图像对应于第四产品704的输出数据。
例如，如图7B所示，在操作S710，电子装置100可将输入数据输入至第二人工智能(AI)模型以获取第一输出数据。输入数据可以是包括第四产品704的图像，第一输出数据可以是除第四产品704以外的产品(或无效消息)。在操作S720，电子装置100可识别第一输出数据是小于还是等于预定可靠性值或预设可靠性值。也即是，电子装置100可识别第一输出数据是否与第四产品以外的产品相对应的可能性，或者第一输出数据是否输出无效消息，并鉴别第一输出数据是否小于或等于预定的可靠性值。在第一输出数据小于或等于预定可靠性值或预设可靠性值的情况下，在操作S730，电子装置100可将输入数据(包括第四产品704的图像)传送至外部服务器200。在操作S740，外部服务器200可将输入数据输入至第一人工智能(AI)模型以获取第二输出数据。第二输出数据可以是针对第四产品704的数据。在操作S750，外部服务器200可传送第二输出数据至电子装置100。在操作S760，电子装置100可基于获取的第二输出数据获取使用信息，并基于获取的使用信息获取重构信息。在操作S770，电子装置100可基于获取的重构信息重构第二AI模型以获取第三AI模型。
在图7B的序列图中，在电子装置100未获取针对包括第四产品704的图像的准确的输出数据的情况下，电子装置100从外部服务器200获取第二输出数据。然而，示例不限于此。例如，在电子装置100未获取针对包括第四产品704的图像的准确的输出数据的情况下，电子装置100可初始化重构的第二AI模型并获取第一AI模型，输入包括第四产品704的图像至所获取的第一AI模型并获取第二输出数据。也即是，在电子装置100是用户使用了超过预定时间段的预定时间或更长时间(例如，一天中诸如六个小时或更长的长时间)的电子装置100(诸如，智能手机)，并且与外部服务器200的通信容易的情况下，电子装置100可从外部服务器获取第二输出数据。在电子装置100是诸如冰箱的电子装置100的情况下，用户使用了超过预定时间段的预定时间或更短时间(例如，一天中诸如一小时或更短的短时间)，并且与外部服务器200的通信不容易的情况下，电子装置100可获取存储在存储器110中的第一AI模型，以将第二AI模型初始化为第一AI模型，并将输入数据输入至获取的第一AI模型并获取第二输出数据。
在图7B的序列图中，在电子装置100未获取针对包括第四产品704的图像的准确的输出数据的情况下，第二AI模型立即重构为第三AI模型。然而，示例不限于此。也即是，仅当第二输出数据满足预定条件时，电子装置100才可将第二AI模型重构为第三AI模型。例如，当包括第四产品704的图像在预定时间内输入预定次数时，电子装置100可将第二AI模型重构为第三AI模型。也即是，当包括不能通过第二AI模型鉴别的第四产品704的图像传送至外部服务器并且关于第四产品704的信息获取预定次数时，电子装置100可将第二AI模型重构为第三AI模型。
如图7A的右下图所示，在第一产品701至第三产品703(例如，第三产品703)中的任何一个或任意组合不满足预定条件的情况下，电子装置100可基于除第三产品之外的产品信息获取重构信息，并基于获取的重构信息重构第二AI模型，以获取第四人工智能(AI)模型。例如，在第三产品703在预定时间段内输出次数小于阈值的情况下，电子装置100可基于第一产品701和第二产品702获取重构信息，并重构第二AI模型以获取第四AI模型。
在上述实施例中，基于输出数据获取使用信息，但不限于此。也即是，使用信息可通过用户设置直接输入。例如，如图10A所示，电子装置100可显示用于添加新产品的用户界面(UI)。当通过用于显示新产品的UI输入用户命令时，电子装置100可获取包括与输入的用户命令相对应的产品和与输出数据相对应的产品的使用信息，并获取与所获取的使用信息相对应的重构信息。在图10A中，为了便于说明而将电子装置100描述为智能电话。然而，电子装置100可以是包括显示器的各种类型的电子装置，并且，即使在没有显示器的情况下，电子装置100也通过语音鉴别和远程控制装置获取用户命令的输入。
在图7A和图7B中，描述了在电子装置100是冰箱的情况下重构用于图像分析的人工智能(AI)模型的方法，但是不限于此。也即是，本公开的技术思想可适用于在电子装置100中利用图像分析的各种情况。
图8A是提供用于解释根据本公开的另一实施例的用于重构语言翻译人工智能(AI)模型的方法的示例的图。图8B是提供用于解释根据本公开的另一实施例的用于重构语言翻译人工智能(AI)模型的方法的示例的图。
第一AI模型可以是当用户语音或文本输入为第一语言时的语言翻译模型，用于将输入语音或输入文本翻译成第二语言并以第二语言输出输入语音或文本。在这种情况下，第一AI模型存储大量单词以翻译各种上下文和表达方式。例如，第一AI模型可存储一万个单词或更多，并且处理语言翻译。
然而，使用电子装置100的单个用户通常仅在特定上下文中执行语言翻译，或者更经常地，使用的词表达是预定的。因此，电子装置100可基于使用信息获取重构信息，基于所获取的重构信息重构第一AI模型并获取第二AI模型。在这种情况下，使用信息可包括用户的上下文信息、位置信息、日程信息或表达方式中的至少一种信息。用户的上下文信息可包括关于用户要执行翻译的环境的信息、用户的年龄信息、用户的职业信息、用户的关注信息等。关于用户要执行翻译的环境的信息可例如表示与在各种环境中使用的单词有关的翻译信息，诸如与旅行中使用的单词有关的翻译信息、与医院中使用的单词有关的翻译信息、与餐厅中使用的单词有关的翻译信息、与商务对话中使用的单词有关的翻译信息等。用户的位置信息是关于用户所处的地点的信息。根据用户的位置信息、环境信息(在用户的位置信息是药房、医院、饭店等情况下)、待翻译的语言或语言表达方式(例如适合高档餐厅的表达方式和与乡村口音有关的表达方式)。
可从人工智能(AI)模型输出的输出数据中获取上述各种使用信息中的一些。例如，可从关联于第二语言的语音或文本获取用户的上下文信息、位置信息、日程信息或表达方式中的至少一些，第二语言从关联于用户输入至AI模型的第一语言的语音或文本输出。
然而，在某些情况下，上述各种使用信息中的一些可能无法从自人工智能(AI)模型输出的输出数据中获取。例如，用户的上下文信息、位置信息、日程信息等更有可能通过用户设置来获取，而不是从自AI模型输出的输出数据中获取。
图10A是示出用于输入使用信息的示例用户界面(UI)屏幕的图。图10B是示出用于输入使用信息的示例用户界面(UI)屏幕的图。
例如，如图10A所示，电子装置100可根据诸如响应于问题“是否要添加新产品？”而输入“是”的用户命令设置使用信息。图10B示出了能够输入用户的使用信息或上下文信息的用户界面(UI)屏幕。然而，示例不限于此，并且可根据用户的选择将日程信息、位置信息等添加至使用信息。可替代地，在满足预定条件的情况下，即使关于图10B的用户命令不存在，也可获取一些不能从自AI模型输出的输出数据中获取的使用信息作为使用信息。例如，当输入使用AI模型的用户命令时，电子装置100可根据输入的用户命令获取电子装置100的位置信息，并且获取所获取的位置信息作为使用信息。
可替代地，电子装置100可基于通过各种传感器获取的感测信息获取使用信息。例如，电子装置100可基于经由GPS获取的位置信息、经由图像传感器获取的图像等获取使用信息。
电子装置100可基于上述各种上下文信息获取重构信息。重构信息可以是用于以与使用信息相对应的单词为重点重构AI模型的信息。例如，在使用信息包括关于药房的环境信息的情况下，重构信息可以是包括药房中使用的单词、与药品有关的单词等的信息。
电子装置100可通过使用重构信息将第一AI模型重构为第二AI模型。在一个实施例中，如图8B所示，电子装置100可通过将与使用信息相对应的单词对应的行添加至第一AI模型810中包括的词嵌入层，删除与使用信息无关的单词对应的行，更改与使用信息对应的单词对应的行的位置等重构第一AI模型810以获取第二AI模型820。可替换地，电子装置100可重构第一AI模型810以获取第二AI模型820，通过使用重构信息更改第一AI模型810的权重值。
图9A是提供用于解释本公开的各个实施例的图。图9B是提供用于解释本公开的各个实施例的图。图9C是提供用于解释本公开的各个实施例的
如图9A、图9B和图9C所示，电子装置100可以是例如人工智能(AI)扬声器。然而，示例不限于此，电子装置100可以是使用对应的AI模型的各种类型，诸如智能电话、导航设备等。
图9A是提供用于解释用于重构人工智能(AI)模型以通过语音识别更新用户经常使用的单词的示例方法的图。
电子装置100可将用户语音输入至第一人工智能(AI)模型，并输出对该用户语音的响应。电子装置100可使用第一AI模型获取关于用户语音中包括的各种单词的数据。在获取的单词数据满足预定条件的情况下，电子装置100可基于满足预定条件的单词数据获取使用信息，并基于获取的使用信息重构第一AI模型并获取第二AI模型。预定条件可例如为针对在预定时间段内获得预定次数或更多次数的单词的数据。如参考图7A所描述的，随着用户语音数据的累积，可添加或删除新词数据，电子装置100可通过上述各种方法将重构的第二AI模型重构为第三人工智能(AI)模型或第四人工智能(AI)模型。
图9B是提供用于解释用于重构用于去除噪声的人工智能(AI)模型的示例方法的图。
电子装置100可将用户语音输入至第一AI模型作为输入数据，并获取关于输入用户语音的位置的信息作为输出数据。电子装置100可基于获取的位置信息去除输入至电子装置100的噪声。在这种情况下，电子装置100可基于通过第一AI模型输出的关于电子装置100所处的地点的信息获取使用信息。所获取的使用信息可以是与地点的结构和尺寸以及该地点内的电子装置100的位置有关的信息。如上所述，在不能从输出数据获取使用信息的情况下，电子装置100可基于用户命令或外部信息获取新的使用信息。电子装置100可基于获取的使用信息获取重构信息，并可基于获取的重构信息重构第一AI模型并获取第二AI模型。在电子装置100的位置更改的情况下，电子装置100可根据新位置重构AI模型。在图9B中，提供了一种去除用户语音中的噪声的方法。然而，示例不限于此，并且本公开的技术思想可应用于处理由电子装置100中包括的传感器(例如，照相机、麦克风等)感测到的数据的情况。
图9C是提供用于解释用于重构用于用户识别的人工智能(AI)模型的示例方法的图。
电子装置100可将关联于多个用户的用户语音输入至第一AI模型，并输出与该用户语音相对应的用户识别信息。在与用户语音相对应的用户识别信息满足预定条件的情况下，电子装置100可获取满足预定条件的用户识别信息作为使用信息，基于获取的使用信息重构第一AI模型并获取第二AI模型。预定条件可例如为在预定时间段内获取预定次数或更多次数的用户识别信息。也即是，电子装置100可鉴别经常使用电子装置100的用户，并且重构AI模型以提供针对所识别的用户的减轻的AI模型。此外，电子装置100可基于与用户识别信息相对应的用户语音重构用于鉴别用户语音的人工智能(AI)模型。也即是，如参考图7A所描述的，电子装置100可重构用于语音识别的AI模型。
图11是提供用于解释根据本公开的实施例的利用人工智能(AI)模型的电子装置的操作的框图。
处理器120可包括数据学习部件1110和数据识别部件1120。数据学习部件1110可训练人工智能(AI)模型，以便AI模型包括根据特定目的的标准。特定目的可包括与语音识别、翻译、图像识别、上下文识别等有关的数据识别。此外，特定目的可包括与数据的分类、分组和聚类有关的目的。为了鉴别根据上述目的的操作，数据学习部件1110可将学习数据应用于AI模型并生成包括确定标准的AI模型。数据识别部件1120可基于输入数据鉴别关于特定目的的上下文。数据识别部件1120可使用训练后的AI模型从预定的识别数据中鉴别上下文。数据识别部件1120可根据预定标准获取预定输入数据，将获取的输入数据作为输入数据应用于AI模型，从而基于预定输入数据鉴别(或估计)预定上下文。另外，通过将获取的输入数据应用于AI模型作为输入值而输出的结果值可用于更新AI模型。
数据学习部件1110和数据识别部件1120中的至少一些可实现为软件模块或制造为至少一个硬件芯片并安装在电子装置上。例如，数据学习部件1110和数据识别部件1120之一或两者可制造为用于人工智能(AI)的硬件芯片，或制造为现有通用处理器(例如，CPU或应用程序处理器)或图形专用处理器(例如，GPU)的一部分，并安装在上述各种电子装置上。在这种情况下，AI专用的硬件芯片是专用于概率计算的专用处理器，与现有的通用处理器相比，它具有较高的并行处理性能，因此可快速处理诸如机器学习之类的人工智能领域的计算操作。在数据学习部件1110和数据识别部件1120实现为软件模块(或包括指令的程序模块)的情况下，软件模块可存储在非暂时性计算机可读介质中。该软件模块可由操作系统(OS)或预定的应用程序提供。可替代地，软件模块的一部分可由OS提供，其余部分可由预定应用程序提供。
在这种情况下，数据学习部件1110和数据识别部件1120可安装在一个电子装置100上，或者可分别安装在单独的电子装置上。例如，电子装置100可仅包括用于训练AI模型的数据学习部件1110，外部装置可仅包括数据识别部件1120。可替换地，电子装置100可包括数据学习部件1110和数据识别部件1120，外部电子装置可仅包括数据识别部件1120。数据学习部件1110和数据识别部件1120可将由数据学习部件1110构造的模型信息经由电缆或无线地提供至数据识别部件1120，输入至数据识别部件1120的数据可提供至数据识别部件1120作为额外的学习数据。作为另一示例，数据学习部件1110和数据识别部件1120可以是外部服务器200的元件。在这种情况下，当电子装置100将学习数据或输入数据传送至外部服务器200时，外部服务器200可将关联于从电子装置100获取的学习数据或输入数据的结果值传送至电子装置100。
数据学习部件1110还可包括数据获取部件、预处理部件、学习数据选择部件、模型学习部件和模型评估部件。数据获取部件可配置为根据特定目的获取学习数据。预处理部件是用于将从获取部件获取的数据预处理为预定格式的元件。学习数据选择部件是用于从由学习数据获取部件获取的数据和由学习数据预处理部件预处理的数据中选择用于学习的数据的元件。选择的学习数据可提供至模型学习部件。模型学习部件是用于通过使用学习数据训练人工智能(AI)模型的元件。模型评估部件是用于改善AI模型结果的元件。
上述的数据获取部件、预处理部件、学习数据选择部件、模型学习部件和模型评估部件中的任何一个或任意组合可实现为软件模块或制造为至少一个硬件芯片并安装在电子装置上。例如，数据学习部件、预处理部件、学习数据选择部件、模型学习部件和模型评估部件中的任何一个或任意组合可制造为用于人工智能(AI)的硬件芯片，或者制造为现有通用处理器(例如，CPU或应用程序处理器)或图形专用处理器(例如，GPU)的一部分，并安装在上述各种电子装置上。
另外，数据识别部件1120还可包括数据获取部件、预处理部件、输入数据选择部件、识别结果提供部件和模型更新部件。数据获取部件是用于获取输入数据的元件。预处理部件是用于将从获取部件获取的数据预处理为预定格式的元件。输入数据选择部件是用于从预处理数据中选择用于识别的数据的元件。识别结果提供部件是能够获取从输入数据中选择的数据的元件。模型更新部件是用于基于从识别结果提供部件提供的识别结果的评估更新人工智能(AI)模型的元件。
上述的数据获取部件、输入数据选择部件、识别结果提供部件和模型更新部件中的任何一个或任意组合可实现为软件模块或制造为至少一个硬件芯片并安装在电子装置上。例如，数据学习部件、预处理部件、学习数据选择部件、模型学习部件和模型评估部件中的任何一个或任意组合可制造为用于人工智能(AI)的硬件芯片，或者制造为现有通用处理器(例如，CPU或应用程序处理器)或图形专用处理器(例如，GPU)的一部分，并安装在上述各种电子装置上。
图12是提供用于解释根据本公开的实施例的电子装置的控制方法的流程图。
在操作S1210，电子装置100可获取关联于输入至第一人工智能(AI)模型的至少一个输入数据的至少一个输出数据。如上所述，取决于AI模型的类型，输入数据和输出数据可不同。例如，在AI模型是图像分析模型的情况下，输入数据可为图像数据，输出数据可为关于包括在图像数据中的对象的信息。作为另一示例，在AI模型是语言翻译模型的情况下，输入数据可为第一语言的语音或文本，输出数据可为待翻译的第一语言的语音或文本所针对的第二语言的语音或文本。作为另一示例，在AI模型是语音识别模型的情况下，输入数据可为用户语音，输出数据可为对用户语音的响应。
在操作S1220，电子装置100可基于获取的输出数据获取第一使用信息。如上所述，使用信息可包括关于用户的使用模式的信息、与电子装置100的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一种或任意组合。
在操作S1230，电子装置100可获取第一重构信息，该第一重构信息用于重构基于获取的第一使用信息获取重构第一AI模型的第一重构信息。如上所述，重构信息可包括关于AI模型的结构的信息、关于AI模型的权重的信息和用于重构第一AI模型的增量信息中的任何一个或任意组合。
在操作S1240，电子装置100可基于第一重构信息重构第一AI模型以获取第二AI模型。重构的第二AI模型可根据需要多次重构为第三人工智能(AI)模型或第四人工智能(AI)模型。
本文所使用的术语“部件”或“模块”包括由硬件、软件或固件组成的单元，并且可与诸如逻辑、逻辑块、组件或电路之类的术语互换使用。“部件”或“模块”可为执行一个或多个功能的整体构造的组件或其最小单元或一部分。例如，模块可包括专用集成电路(ASIC)。
可将上述各个实施例实现为包括存储在机器可读(例如计算机可读)存储介质上的指令的S/W程序。机器是能够从存储介质调用存储的指令并根据所调用的指令进行操作的装置，该装置可包括根据上述实施例的电子装置(例如电子装置100)。当指令由处理器执行时，处理器可在处理器的控制下直接或由其他组件执行与该指令相对应的功能。一个或多个指令可包含由编译器生成的代码或由解释器可执行的代码。机器可读存储介质可提供为非暂时性存储介质。在本文中，术语“非暂时性”仅表示存储介质不包括信号而是有形的，不将存储在存储介质中的半永久性数据与临时存储在存储介质中的数据区分开。
根据一个实施例，根据上述各个实施例的方法可设置为包括在计算机程序产品中。该计算机程序产品可作为产品在卖方和消费者之间交易。该计算机程序产品可作为机器可读存储介质(例如，光盘只读存储器(CD-ROM))分发，或者可通过在线应用商店(例如，Play StoreTM)在线分发。对于在线分发，计算机程序产品的至少一部分可至少临时地存储或获取在诸如制造商的服务器、应用商店的服务器或中继服务器的存储器的存储介质上。
根据各个实施例的各个元件(例如，模块或程序)可被配置为单个或多个实体，并且可省略上述的一些对应子元件，或者各个实施例中还可包括另一子元件。可替代地或附加地，一些元件(例如，模块或程序)可集成到一个实体中，并且可以相同或相似的方式执行在集成之前由各个元件执行的功能。根据各个实施例的模块、程序或由其他元件运行的操作可连续、并行、重复或试探地执行，或者可根据不同的顺序运行至少一些操作，可省略或者可向其添加其他操作。

Claims (15)

1.一种电子装置的控制方法，所述控制方法包括：
输入至少一个输入数据至第一人工智能(AI)模型，以获取至少一个输出数据；
基于所获取的至少一个输出数据，获取第一使用信息；
基于所获取的第一使用信息，获取用于重构第一AI模型的第一重构信息；以及
基于所获取的第一重构信息，重构第一AI模型，以获取第二AI模型。
2.根据权利要求1所述的控制方法，其中，第一使用信息包括与用户的使用模式有关的信息、与电子装置所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一个或任意组合。
3.根据权利要求1所述的控制方法，其中，第一重构信息包括关于第二AI模型的结构的信息、关于第二AI模型的权重的信息和用于重构第一AI模型的增量信息中的任何一个或任意组合，以及
其中，所述增量信息包括第一AI模型和/或第二AI模型的结构信息以及关于第一AI模型与第二AI模型之间的权重差的信息中的一个或两个。
4.根据权利要求1所述的控制方法，还包括：
输入第一输入数据至所获取的第二AI模型，以获取第一输出数据；
基于所获取的第一输出数据的可靠性小于或等于预定值，传送第一输入数据至服务器；以及
从服务器获取关联于所传送的第一输入数据的第二输出数据。
5.根据权利要求4所述的控制方法，还包括：
基于所获取的第二输出数据，获取第二使用信息；
基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及
基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
6.根据权利要求1所述的控制方法，还包括：
基于所获取的至少一个输出数据中的任一个被输出的次数小于预定值，基于所获取的至少一个输出数据，获取不包括所述至少一个输出数据中的所述任一个的第二使用信息；
基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及
基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
7.根据权利要求1所述的控制方法，还包括：
显示用于添加和/或更改所获取的第一使用信息的用户界面(UI)；
基于用于添加和/或更改所获取的第一使用信息的用户命令通过所显示的UI被输入，修改所获取的第一使用信息；
基于所修改的第一使用信息，获取用于重构第二AI模型的第二重构信息；以及
基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
8.根据权利要求1所述的控制方法，其中，第一AI模型和第二AI模型中的每一个用于图像分析或用于语音处理和语言理解。
9.一种电子装置，包括：
存储指令的存储器；以及
处理器，被配置为运行所存储的指令以：
输入至少一个输入数据至第一人工智能(AI)模型，以获取至少一个输出数据；
基于所获取的至少一个输出数据，获取第一使用信息；
基于所获取的第一使用信息，获取用于重构第一AI模型的第一重构信息；以及
基于所获取的第一重构信息，重构第一AI模型，以获取第二AI模型。
10.根据权利要求9所述的电子装置，其中，第一使用信息包括与用户的使用模式有关的信息、与电子装置所处的地点有关的信息、电子装置的用户的年龄信息、上下文信息和环境信息中的任何一个或任意组合。
11.根据权利要求9所述的电子装置，其中，第一重构信息包括关于第二AI模型的结构的信息、关于第二AI模型的权重的信息和用于重构第一AI模型的增量信息中的任何一个或任意组合，以及
其中，增量信息包括第一AI模型和/或第二AI模型的结构信息以及关于第一AI模型与第二AI模型之间的权重差的信息中的一个或两个。
12.根据权利要求9所述的电子装置，还包括：通信器，所述通信器包括电路；
其中，处理器还被配置为运行所存储的指令以：
输入第一输入数据至所获取的第二AI模型，以获取第一输出数据；
基于所获取的第一输出数据的可靠性小于或等于预定值，控制通信器经由通信器传送第一输入数据至服务器；以及
经由通信器从服务器获取关联于所传送的第一输入数据的第二输出数据。
13.根据权利要求12所述的电子装置，其中，所述处理器还被配置为运行所存储的指令以：
基于所获取的第二输出数据，获取第二使用信息；
基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及
基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
14.根据权利要求9所述的电子装置，其中，所述处理器还被配置为运行所存储的指令以：
基于所获取的至少一个输出数据中的任一个被输出的次数小于预定值，基于所获取的所述至少一个输出数据，获取不包括所述至少一个输出数据中的任一个的第二使用信息；
基于所获取的第二使用信息，获取用于重构第二AI模型的第二重构信息；以及
基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
15.根据权利要求9所述的电子装置，还包括显示器，
其中，处理器还被配置为运行存储的指令以：
控制显示器以显示用于添加和/或更改所获取的第一使用信息的用户界面(UI)；
基于用于添加和/或更改所获取的第一使用信息的用户命令通过所显示的UI被输入，修改所获取的第一使用信息；
基于所修改的第一使用信息，获取用于重构第二AI模型的第二重构信息；以及
基于所获取的第二重构信息，重构所获取的第二AI模型，以获取第三AI模型。
CN201980064205.7A 2018-10-19 2019-10-16 重构人工智能模型的电子装置及其控制方法 Pending CN112771544A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180125029A KR20200046188A (ko) 2018-10-19 2018-10-19 인공 지능 모델을 재구성하기 위한 전자 장치 및 그의 제어 방법
KR10-2018-0125029 2018-10-19
PCT/KR2019/013608 WO2020080830A1 (en) 2018-10-19 2019-10-16 Electronic device for reconstructing an artificial intelligence model and a control method thereof

Publications (1)

Publication Number Publication Date
CN112771544A true CN112771544A (zh) 2021-05-07

Family

ID=70279589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980064205.7A Pending CN112771544A (zh) 2018-10-19 2019-10-16 重构人工智能模型的电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11892925B2 (zh)
EP (1) EP3791328A4 (zh)
KR (1) KR20200046188A (zh)
CN (1) CN112771544A (zh)
WO (1) WO2020080830A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544461B2 (en) * 2019-05-14 2023-01-03 Intel Corporation Early exit for natural language processing models
US11455555B1 (en) 2019-12-31 2022-09-27 Meta Platforms, Inc. Methods, mediums, and systems for training a model
KR102544220B1 (ko) 2020-10-27 2023-06-14 한림대학교 산학협력단 인공지능 모델의 파라미터 저장을 위한 필터 조합 학습 네트워크 시스템의 제어 방법, 장치 및 프로그램
KR102515287B1 (ko) * 2020-12-04 2023-03-29 한전케이디엔주식회사 연합학습을 적용한 지능형 가정에너지 관리 시스템 및 방법
KR102597045B1 (ko) * 2020-12-16 2023-11-02 주식회사 콕스랩 LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
EP4207009A4 (en) 2020-12-24 2024-04-24 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND ITS CONTROL METHOD
KR20220092247A (ko) * 2020-12-24 2022-07-01 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20220135498A (ko) * 2021-03-30 2022-10-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102597182B1 (ko) * 2021-08-12 2023-11-03 주식회사 노타 입력 해상도 변경에 따른 특징맵 해상도 변경 방법 및 시스템
CN114064589A (zh) * 2021-11-17 2022-02-18 中国科学院深圳先进技术研究院 人工智能模型请求响应机制优化方法、系统、终端及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266532B2 (en) 2001-06-01 2007-09-04 The General Hospital Corporation Reconfigurable autonomous device networks
US7752152B2 (en) * 2006-03-17 2010-07-06 Microsoft Corporation Using predictive user models for language modeling on a personal device with user behavior models based on statistical modeling
WO2010106587A1 (ja) 2009-03-18 2010-09-23 パナソニック株式会社 ニューラルネットワークシステム
US9009025B1 (en) * 2011-12-27 2015-04-14 Amazon Technologies, Inc. Context-based utterance recognition
JP2014050037A (ja) 2012-09-03 2014-03-17 International Business Maschines Corporation 大規模ニューラルネットワークシステムのためのハイブリッド相互接続（ＨｙｂｒｉｄＩｎｔｅｒｃｏｎｎｅｃｔＳｔｒａｔｅｇｙｆｏｒＬａｒｇｅ−ＳｃａｌｅＮｅｕｒａｌＮｅｔｗｏｒｋＳｙｓｔｅｍｓ）
US9093069B2 (en) * 2012-11-05 2015-07-28 Nuance Communications, Inc. Privacy-sensitive speech model creation via aggregation of multiple user models
US9430465B2 (en) * 2013-05-13 2016-08-30 Facebook, Inc. Hybrid, offline/online speech translation system
US20150242760A1 (en) * 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
US9324321B2 (en) * 2014-03-07 2016-04-26 Microsoft Technology Licensing, Llc Low-footprint adaptation and personalization for a deep neural network
US20150324686A1 (en) * 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
KR102292546B1 (ko) * 2014-07-21 2021-08-23 삼성전자주식회사 컨텍스트 정보를 이용하는 음성 인식 방법 및 장치
US20170124484A1 (en) * 2015-11-02 2017-05-04 Wal-Mart Stores, Inc. Machine Learning System
US10733532B2 (en) * 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
US10803377B2 (en) 2016-02-25 2020-10-13 Adobe Inc. Content presentation based on a multi-task neural network
JP2017182319A (ja) 2016-03-29 2017-10-05 株式会社メガチップス 機械学習装置
WO2017216976A1 (en) 2016-06-17 2017-12-21 Nec Corporation Information processing method and device for neural network
KR20180074210A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 방법
US11113465B2 (en) * 2018-01-26 2021-09-07 International Business Machines Corporation Personalized auto-triage of communications

Also Published As

Publication number Publication date
WO2020080830A1 (en) 2020-04-23
US11892925B2 (en) 2024-02-06
US20200125893A1 (en) 2020-04-23
EP3791328A4 (en) 2021-07-07
KR20200046188A (ko) 2020-05-07
EP3791328A1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN112771544A (zh) 重构人工智能模型的电子装置及其控制方法
CN108369808B (zh) 电子设备和用于控制该电子设备的方法
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
US20200125967A1 (en) Electronic device and method for controlling the electronic device
KR102309031B1 (ko) 지능형 에이전트 관리 방법 및 장치
EP3647936B1 (en) Electronic apparatus and control method thereof
US11842735B2 (en) Electronic apparatus and control method thereof
US20210217409A1 (en) Electronic device and control method therefor
EP3523710B1 (en) Apparatus and method for providing a sentence based on user input
KR20160141595A (ko) 메시지를 출력하는 전자 장치 및 그 제어 방법
US20200133211A1 (en) Electronic device and method for controlling electronic device thereof
US11880754B2 (en) Electronic apparatus and control method thereof
US10762295B2 (en) Apparatus and method for providing sentence based on user input
KR102628042B1 (ko) 연락처 정보를 추천하는 방법 및 디바이스
US20230290343A1 (en) Electronic device and control method therefor
US20190163436A1 (en) Electronic device and method for controlling the same
US11705110B2 (en) Electronic device and controlling the electronic device
KR20200115695A (ko) 전자 장치 및 이의 제어 방법
US20210110816A1 (en) Electronic apparatus and method of providing sentence thereof
US11436215B2 (en) Server and control method thereof
EP4075296A1 (en) Electronic device and controlling method of electronic device
KR102669026B1 (ko) 전자 장치 및 이의 제어 방법
KR20220117553A (ko) 전자 장치 및 전자 장치의 제어 방법
CN117795546A (zh) 使用用户上下文和生物信号的表情符号推荐系统
KR20210029080A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination