CN112789628A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112789628A
CN112789628A CN201980065502.3A CN201980065502A CN112789628A CN 112789628 A CN112789628 A CN 112789628A CN 201980065502 A CN201980065502 A CN 201980065502A CN 112789628 A CN112789628 A CN 112789628A
Authority
CN
China
Prior art keywords
electronic device
external electronic
learning data
artificial intelligence
intelligence model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980065502.3A
Other languages
English (en)
Inventor
韩英浩
金光润
金想荷
金成灿
金成洙
李暻慜
李镕赞
李在原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112789628A publication Critical patent/CN112789628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了一种电子装置及其控制方法。电子装置的控制方法包括：分别从第一外部电子装置和第二外部电子装置接收第一外部电子装置和第二外部电子装置所使用的第一人工智能模型和第二人工智能模型，以及存储在第一外部电子装置和第二外部电子装置中的多个学习数据；在从第一外部电子装置接收的学习数据之中识别与从第二外部电子装置接收的第二学习数据对应的第一学习数据；基于第一学习数据训练第二外部电子装置所使用的第二人工智能模型；以及并将训练后的第二人工智能模型发送至第二外部电子装置。

Description

电子装置及其控制方法
技术领域
本公开涉及电子装置和控制方法。更具体地，本公开涉及一种基于存储在多个外部电子装置中的学习数据来训练多个外部电子装置中的至少一个外部电子装置的人工智能模型的方法。
此外，本公开涉及一种利用机器学习算法模拟人脑的诸如认知和确定等功能的人工智能(AI)系统及其应用。
背景技术
人工智能(AI)系统是实现人类水平的智能的计算机系统，并且是机器自身学习、确定并变得更智能的系统，这与基于规则的智能系统不同。人工智能系统随着其被更多地使用而显示出更高的识别率，并且变得能够更正确地理解用户偏好。为此，基于规则的智能系统逐渐被基于深度学习的人工智能系统所取代。
AI技术包括机器学习(深度学习)和利用机器学习的元技术。
机器学习是指对输入数据本身的特征进行分类/学习的算法技术。同时，元技术是指利用诸如深度学习的机器学习算法的技术，并且包括诸如语言理解、视觉理解、推理/预测、知识表示和操作控制的技术领域。
应用人工智能技术的各种领域的例子如下。语言理解是指识别人类的语言/字符并应用/处理它们的技术，并且包括自然语音处理、机器翻译、通信系统、查询和应答、语音识别/合成等。视觉理解是指以与人类视觉类似的方式识别对象并处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等。推理/预测是指确定信息然后进行逻辑推理和预测的技术，包括基于知识/概率的推理、优化预测、基于偏好的规划、推荐等。知识表示是指将人类体验的信息自动处理成知识数据的技术，包括知识构建(数据生成/分类)、知识管理(数据利用)等。操作控制是指控制车辆自主驾驶和机器人运动的技术，包括运动控制(导航、碰撞、驾驶)、操作控制(行为控制)等。
同时，最近正在讨论在具有诸如用户设备这样的小资源的设备中使用AI模型的各种方法。此外，还讨论了一种通过用存储在用户设备中的数据作为学习数据来训练AI模型，从而构建个性化AI模型的方法。
最近，用户具有各种类型的用户设备。各种用户设备，例如智能电话、人工智能扬声器、数字电视、冰箱等可以包括AI模型。然而，存在这样的问题，即，由一些用户设备收集的学习数据量不够，并且不足以训练AI模型，或者学习水平对于每个用户设备是不同的，因此，即使相同的用户使用用户设备，也不能保持相同的最终性能值。
上述信息仅作为背景信息来呈现，以帮助理解本公开。没有作出任何确定，并且没有作出关于上述中的任何一项是否可以作为关于本公开的现有技术适用的断言。
发明内容
解决方法
本公开的方面在于解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一个方面在于解决上述问题，并且涉及在多个外部电子装置之间共享学习数据的方法。
另外的方面将部分地在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过所呈现的实施例的实践来获知。
根据本公开的一个方面，提供了一种用于实现上述目的的电子装置的控制方法。控制方法包括：分别从第一外部电子装置和第二外部电子装置接收由第一外部电子装置和第二外部电子装置所使用的第一人工智能模型和第二人工智能模型、以及存储在第一外部电子装置和第二外部电子装置中的多个学习数据；在从第一外部电子装置接收的学习数据之中识别与从第二外部电子装置接收的第二学习数据对应的第一学习数据；基于第一学习数据训练第二外部电子装置所使用的第二人工智能模型；以及将训练后的第二人工智能模型发送至第二外部电子装置。
控制方法还可以包括：分别接收第一外部电子装置的第一特征信息和第二外部电子装置的第二特征信息；基于第一外部电子装置的第一特征信息和第二外部电子装置的第二特征信息，将第一学习数据转换为用于训练第二外部电子装置所使用的第二人工智能模型第三学习数据；以及基于第三学习数据训练第二外部电子装置所使用的第二人工智能模型。
此外，在进行识别时，可以将包括在第二学习数据中的输入值或标签值中的至少一者与包括在从第一外部电子装置接收的学习数据中的输入值和标签值进行比较，并且可以获取第一学习数据。
第二人工智能模型可以是用于语音识别的人工智能模型，并且多个学习数据可以包括语音数据、语音数据的标签值以及与语音数据对应的用户信息。
此外，在进行识别时，可以将包括在第二学习数据中的第二语音数据、第二语音数据的第二标签值或与第二语音数据对应的第二用户信息中的至少一者与包括在从第一外部电子装置接收的学习数据中的第一语音数据、第一语音数据的第一标签值和与第一语音数据和对应的第一用户信息中的至少一者进行比较，并且可以获取第一学习数据。
第一特征信息和第二特征信息可以包括以下项中的至少一者：与包括在第一外部电子装置和第二外部电子装置中的语音输入装置有关的特征信息、与通过第一外部电子装置和第二外部电子装置的语音输入装置输入的噪声有关的特征信息或与产生用户语音的位置与第一外部电子装置和第二外部电子装置的位置之间的距离有关的特征信息。
同时，在进行转换时，可以通过使用频率滤波器来转换包括在第一学习数据中的语音数据。
此外，在接收时，基于预定的时间条件，可以分别接收第一外部电子装置和第二外部电子装置所使用的第一人工智能模型和第二人工智能模型、存储在第一外部电子装置和第二外部电子装置中的多个学习数据、以及第一外部电子装置的第一特征信息和第二外部电子装置的第二特征信息。
同时，根据本公开的实施例的电子装置包括存储器、通信装置和处理器，处理器配置为经由通信装置分别从第一外部电子装置和第二外部电子装置接收第一外部电子装置所使用的第一人工智能模型和第二外部电子装置所使用的第二人工智能模型、以及存储在第一外部电子装置和第二外部电子装置中的多个学习数据；在从第一外部电子装置接收的学习数据之中，识别与从第二外部电子装置接收的第二学习数据对应的第一学习数据；基于第一学习数据训练由第二外部电子装置所使用的第二人工智能模型；以及经由通信装置将训练后的第二人工智能模型发送到第二外部电子装置。
这里，处理器可以经由通信装置分别接收第一外部电子装置的第一特征信息和第二外部电子装置的第二特征信息，基于第一外部电子装置的第一特征信息和第二外部电子装置的第二特征信息将第一学习数据转换为用于训练第二外部电子装置所使用的第二人工智能模型的第三学习数据，并且基于第三学习数据训练第二外部电子装置所使用的第二人工智能模型。
此外，处理器可以将包括在第二学习数据中的输入值或标签值中的至少一者与包括在从第一外部电子装置接收的学习数据中的输入值和标签值进行比较，并获取第一学习数据。
第二人工智能模型可以是用于语音识别的人工智能模型，并且多个学习数据可以包括语音数据、语音数据的标签值以及与语音数据对应的用户信息。
此外，处理器可以将包括在第二学习数据中的第二语音数据、第二语音数据的第二标签值或与第二语音数据对应的第二用户信息中的至少一者与包括在从第一外部电子装置接收的学习数据中的第一语音数据、第一语音数据的第一标签值和与第一语音数据对应的第一用户信息中的至少一者进行比较，并获取第一学习数据。
第一特征信息和第二特征信息可以包括以下项中的至少一者：与包括在第一外部电子装置和第二外部电子装置中的语音输入装置有关的特征信息、与通过第一外部电子装置和第二外部电子装置的语音输入装置输入的噪声有关的特征信息或与产生用户语音的位置与第一外部电子装置和第二外部电子装置的位置之间的距离有关的特征信息。
此外，处理器可以通过使用频率滤波器来转换包括在第一学习数据中的语音数据。
处理器可以基于预定的时间条件，通过通信装置分别接收第一外部电子装置所使用的第一人工智能模型和第二外部电子装置所使用的第二人工智能模型、存储在第一外部电子装置和第二外部电子装置中的多个学习数据、以及第一外部电子装置的第一特征信息和第二外部电子装置的第二特征信息。
同时，根据本公开的实施例的电子装置包括存储器、通信装置和处理器，处理器配置为经由通信装置从外部电子装置接收存储在外部电子装置中的多个学习数据，在从外部电子装置接收的多个学习数据之中识别与存储在电子装置中的第二学习数据对应的第一学习数据，并且基于所识别的第一学习数据训练电子装置所使用的人工智能模型。
处理器可以经由通信装置接收外部电子装置的特征信息，基于外部电子装置的特征信息和电子装置的特征信息，将第一学习数据转换为用于训练电子装置所使用的人工智能模型的第三学习数据，并且基于第三学习数据训练电子装置所使用的人工智能模型。
此外，处理器可以将包括在第二学习数据中的输入值或标签值中的至少一者与包括在从外部电子装置接收的多个学习数据中的输入值和标签值进行比较，并识别第一学习数据。
电子装置和外部电子装置的特征信息可以包括以下项中的至少一者：与电子装置和外部电子装置的语音输入装置相关的特征信息、与通过电子装置和外部电子装置的语音输入装置输入的噪声相关的特征信息或与产生用户语音的位置和电子装置和外部电子装置的位置之间的距离相关的特征信息。
根据本公开的上述各种实施例，电子装置可以提供适于个性化学习数据不足的外部电子装置的学习数据，并且通过使用所提供的学习数据来训练人工智能模型。
通过下面结合附图的详细描述，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见，所述详细描述公开了本公开的各种实施例。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其它方面、特征和优点将变得更加明显，其中：
图1是示意性地示出本公开的实施例的图；
图2是示出根据本公开的实施例的电子装置的示意性配置的框图；
图3是示出根据本公开的实施例的电子装置的详细配置的框图；
图4是示出根据本公开的实施例的数据共享方法的图；
图5是示出根据本公开的实施例的数据共享方法的图；
图6是示出根据本公开的实施例的转换学习数据的方法的图；
图7是示出根据本公开的实施例的获取学习数据的方法的图；
图8是示出根据本公开的实施例的共享学习数据的方法的图；
图9是示出根据本公开的实施例的用于第二外部电子装置转换学习数据的方法的图；以及
图10是示出根据本公开的实施例的电子装置的控制方法的流程图。
在所有附图中，相同的附图标记应被理解为表示相同的部件、组件和结构。
具体实施方式
提供以下参考附图描述的内容以帮助全面理解如权利要求书及其等同物所界定的本发明的各种实施例。其包括各种具体细节以帮助理解，但是这些仅被认为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行各种改变和修改。此外，为了清楚和简洁起见，可以省略对众所周知的功能和结构的描述。
在以下描述和权利要求中使用的术语和用词不限于词典含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，本领域的技术人员应当清楚，提供本公开的各种实施例的以下描述仅仅是为了说明的目的，而不是为了限制由所附权利要求及其等同物限定的公开。
应当理解，单数形式“一个”、“一种”和“该”包括复数指示物，除非上下文另有明确规定。因此，例如，提及“部件表面”包括提及一个或多个这样的表面。
在本公开中，诸如“具有”、“可以具有”、“包括”和“可以包括”之类的表述应当被解释为表示存在这样的特征(例如，诸如数值、函数、操作和组件之类的元素)，并且该术语不旨在排除附加特征的存在。
此外，在本公开中，表述“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”等可以包括所列项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”是指所有以下情况：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B。
此外，本公开中使用的表述“第一”、“第二”等可用于描述各种元件，而不管任何顺序和/或重要程度。此外，这种表述仅用于将一个元素与另一个元素区分开，而不是要限制这些元素。
此外，本公开中的一个元件(例如，第一元件)与另一个元件(例如，第二元件)“(可操作地或通信地)联接”"或"连接到"另一个元件(例如，第二元件)的描述应当被解释为意味着该一个元件可以直接联接到另一个元件，或者该一个元件可以通过另一个元件(例如，第三元件)联接到另一个元件。相反，一个元件(例如，第一元件)"直接联接"或"直接连接"到另一个元件(例如，第二元件)的描述可以被解释为意味着另一个另外的元件(例如，第三元件)不存在于一个元件和另一个元件之间。
此外，本公开中使用的表述“被配置成”根据情况可以与其他表述互换使用，例如“适合于”、“具有……能力”、“设计成”、“适于”、“制成”和“能够”。同时，术语“配置为”不一定意味着装置在硬件方面被“专门设计为”。相反，在某些情况下，表述“装置配置为”可以意味着该装置“能够”与另一装置或组件一起执行操作。举例来说，短语“配置为执行A、B和C的子处理器”可意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)，或可通过执行存储在存储器装置中的一个或一个以上软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
根据本公开的各种实施例的电子装置可以包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、医疗器械、照相机或可佩戴设备中的至少一种。同时，可佩戴装置可包括配饰型装置(例如，手表、戒指、手镯、踝链、项链、眼镜、隐形眼镜或头戴装置(HMD))、与织物或衣服集成的装置(例如，电子衣服)、身体附着装置(例如，皮肤垫或纹身)或可植入电路。此外，在一些实施例中，根据本公开的各种实施例的电子装置可以包括例如电视、数字多功能盘(DVD)播放器、音箱、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，三星
Figure BDA0003005274640000081
苹果
Figure BDA0003005274640000082
或Google
Figure BDA0003005274640000083
)、游戏控制台(例如，
Figure BDA0003005274640000084
)、电子词典、电子键、摄像机或电子相框中的至少一种。
根据本公开的另一个实施例，电子装置可以包括各种类型的医疗器械(例如，各种类型的便携式医疗测量器械(血糖仪、心率计、血压计或温度计等)、磁共振血管造影术(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)、摄影设备、超声仪器等)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、用于船舶的电子装置(例如，用于船舶的导航设备、陀螺仪等)、航空电子装置、安全设备、用于车辆的头部单元、工业或家用机器人、无人机、金融机构的自动柜员机(ATM)、商店的销售终端(POS)、或物联网(IoT)设备(例如，灯泡、各种类型的传感器、喷洒器设备、火灾报警器、恒温器、路灯、烤箱、锻炼设备、热水箱、加热器、锅炉等)。
此外，在本公开中，术语“用户”可以指使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
同时，在本公开中，第一人工智能模型可以意味着第一外部电子装置所使用的人工智能模型或者从第一外部电子装置接收的人工智能模型，并且第二人工智能模型可以意味着第二外部电子装置所使用的人工智能模型或者从第二外部电子装置接收的人工智能模型。
同时，在本公开中，第一学习数据可以意味着存储在第一外部电子装置中的学习数据，并且第二学习数据可以意味着存储在第二外部电子装置中的学习数据。
在下文中，将参考附图更详细地描述本公开。
图1是示意性地说明本发明的实施例的图。
参照图1，多个外部电子装置(例如，第一外部电子装置200-1、第二外部电子装置200-2和第三外部电子装置200-3)可以与电子装置100通信。多个外部电子装置可以包括人工智能模型，并且可以是用于通过使用人工智能模型来提供各种服务的装置。这里，由多个外部电子装置所使用的人工智能模型可以根据多个外部电子装置中的每一个的目的而不同。例如，人工智能模型可以是不同的，例如用于语音识别的人工智能模型、用于图像分析的人工智能模型等。电子装置100是用于训练多个外部电子装置所使用的人工智能模型的装置。
具体地，电子装置100可以存储多个外部电子装置所使用的人工智能模型、以及训练人工智能模型所必需的数据。具体地，电子装置100可以从多个外部电子装置接收多个外部电子装置中的每一个的人工智能模型，并存储这些模型。这里，多个外部电子装置中的每一个的人工智能模型可以是基于多个外部电子装置中的每一个的学习数据训练的人工智能模型。然而，本公开不限于此，并且电子装置100可以从外部服务器接收多个外部电子装置中的每一个所使用的人工智能模型，并存储该模型。
同时，电子装置100可以从多个外部电子装置中的每一个接收学习数据，并存储该数据。这里，电子装置100可以根据每个外部电子装置分类从多个外部电子装置中的每一个接收的人工智能模型和学习数据，并存储它们。
电子装置100可以基于从多个外部电子装置中的每一个接收的学习数据来训练由多个外部电子装置中的每一个所使用的人工智能模型。例如，电子装置100可以基于从第一外部电子装置200-1至第三外部电子装置200-3接收的学习数据来训练第一外部电子装置200-1所使用的第一人工智能模型。通过相同的方法，电子装置100可以基于从第一外部电子装置200-1至第三外部电子装置200-3接收的学习数据来训练第二外部电子装置200-2所使用的第二人工智能模型。同样，通过相同的方法，电子装置100可以基于从第一外部电子装置200-1至第三外部电子装置200-3接收的学习数据来训练第三外部电子装置200-3所使用的第三人工智能模型。
通过上述方法，多个外部电子装置可以共享存储在每个装置中的学习数据并构建个性化人工智能模型。此外，例如，第一外部电子装置200-1是其中存储有大量学习数据的装置。此外，在存储在第二外部电子装置200-2和第三外部电子装置200-3中的学习数据与第一外部电子装置200-1相比较小的情况下，将获得如下效果，即，第二外部电子装置200-2和第三外部电子装置200-3可以通过使用从第一外部电子装置200-1存储的学习数据来训练人工智能模型以解决学习数据不足的问题。
同时，如上所述的共享学习数据的人工智能模型可以是执行相似功能的人工智能模型。例如，所有第一人工智能模型至第三人工智能模型可以是与语音识别相关的人工智能模型。或者，所有第一人工智能模型至第三人工智能模型可以是用于图像分析的人工智能模型。然而，本公开不限于此，并且在需要共享学习数据的情况下，由彼此不同的人工智能模型存储的学习数据可以由多个外部电子装置共享。
同时，电子装置100可以通过使用存储各种学习数据的外部服务器来训练多个外部电子装置的人工智能模型。在这种情况下，通过使用外部服务器的所有学习数据来训练人工智能模型具有需要大量资源的缺点。因此，电子装置100可以在由外部服务器存储的大量学习数据之中选择与包括在第一外部电子装置200-1至第三外部电子装置200-3中的学习数据相似的学习数据，并且基于所选择的学习数据训练人工智能模型。
在下文中，将基于多个外部电子装置中的第一外部电子装置200-1和第二外部电子装置200-2来描述本公开的各种实施例。同时，本公开的技术思想可以应用于两个或更多个外部电子装置。
图2是示出根据本公开的实施例的电子装置的示意性配置的框图。
电子装置100可以包括存储器110、通信装置120和处理器130。
存储器110可存储与电子装置100的至少一个其它不同组件有关的指令或数据。特别地，存储器110可以实现为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)或固态驱动器(SSD)等。存储器110可以由处理器130访问，并且可以由处理器130执行数据的读取/记录/校正/删除/更新等。在本公开中，术语“存储器”可以包括存储器110、处理器130内的只读存储器(ROM)(未示出)和随机存取存储器(RAM)(未示出)、或者安装在电子装置100上的存储卡(未示出)(例如，微安全数字(SD)卡、存储棒)。
此外，存储器110可以从第一外部电子装置200-1和第二外部电子装置200-2接收第一外部电子装置200-1和第二外部电子装置200-2所使用的人工智能模型、以及存储在第一外部电子装置200-1和第二外部电子装置200-2中的学习数据。此外，存储器110可以接收关于第一外部电子装置200-1和第二外部电子装置200-2的特征信息的信息，并存储该信息。这里，第一外部电子装置200-1和第二外部电子装置200-2的特征信息可以包括以下项中的至少一种：与包括在第一外部电子装置200-1和第二外部电子装置200-2中的语音输入装置有关的特征信息、与通过第一外部电子装置200-1和第二外部电子装置200-2的语音输入装置输入的噪声有关的特征信息或与产生用户语音的位置与第一外部电子装置200-1和第二外部电子装置200-2之间的距离相关的特征信息。
通信装置120是用于执行与另一电子装置的通信的组件。同时，通信装置120与另一电子装置的通信连接可以包括通过第三装置(例如，中继器、集线器、接入点、服务器、网关等)的通信。无线通信可以包括使用长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)中的至少一种的蜂窝通信。根据实施例，无线通信可以包括例如Wi-Fi、蓝牙、蓝牙低功耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输、射频(RF)或体域网(BAN)中的至少一种。有线通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)、电力线通信或普通老式电话服务(POTS)中的至少一种。执行无线通信或有线通信的网络可以包括诸如计算机网络(例如，局域网(LAN)或广域网(WAN))的电信网络、因特网或电话网络中的至少一种。
具体地，通信装置120可以从第一外部电子装置200-1和第二外部电子装置200-2接收第一外部电子装置200-1和第二外部电子装置200-2所使用的人工智能模型、以及存储在第一外部电子装置200-1和第二外部电子装置200-2中的学习数据。
处理器130可以与存储器110电连接，并控制电子装置100的整体操作和功能。
具体地，处理器130可以在从第一外部电子装置200-1接收的多个学习数据之中识别与从第二外部电子装置200-2接收的第二学习数据对应的第一学习数据，并且基于所识别的第一学习数据训练第二外部电子装置200-2所使用的人工智能模型。在这种情况下，第一外部电子装置200-1可以是包括大量学习数据的外部服务器，并且第二外部电子装置200-2可以是用户终端。
同时，处理器130可以从第一外部电子装置200-1和第二外部电子装置200-2接收第一外部电子装置200-1和第二外部电子装置200-2中的每一个的特征信息。电子装置100可以基于第一外部电子装置200-1和第二外部电子装置200-2的特征信息将第一学习数据转换为用于训练第二人工智能模型的第三学习数据。
例如，在第二人工智能模型是用于语音识别的人工智能模型的情况下，学习数据可以是用户语音的数据。这里，由第一外部电子装置200-1和第二外部电子装置200-2接收的用户语音可以根据每个外部电子装置的特征信息而不同。例如，可以假设第一外部电子装置200-1是诸如智能电话的用户终端，而第二外部电子装置200-2是冰箱的情况。第一外部电子装置200-1和第二外部电子装置200-2在包括在装置内部的麦克风的类型、麦克风的数量等方面可以彼此不同，并且从用户语音的起点到外部电子装置的距离也可以不同。因此，包括在由第一外部电子装置200-1接收的用户语音中的噪声、频率特性等可以不同于包括在由第二外部电子装置200-2接收的用户语音中的噪声、频率特性等。因此，在电子装置100将要使用第二人工智能模型的情况下，需要转换第一学习数据以适应第二外部电子装置200-2的特性。因此，处理器130可以基于第一外部电子装置200-1和第二外部电子装置200-2的特征信息将第一学习数据转换为用于训练第二人工智能模型的第三学习数据。
在上述实施例中，描述了人工智能模型用于语音识别的情况。然而，在执行不同功能的人工智能模型的情况下，可以根据需要应用相同的技术思想。
同时，处理器130可以将包括在第二学习数据中的输入值或标签值中的至少一者与包括在从第一外部电子装置200-1接收的多个学习数据的每一个中的输入值和标签值进行比较，并获取第一学习数据。具体地，在第一外部电子装置200-1是包括大量学习数据的外部服务器的情况下，电子装置100可以在第一外部电子装置200-1的学习数据之中识别用于训练第二人工智能模型的学习数据。在这种情况下，电子装置100可以从第一外部电子装置200-1的多个学习数据之中识别与第二学习数据的输入值和标签值相似的学习数据。
例如，在第一人工智能模型和第二人工智能模型是用于语音识别的人工智能模型的情况下，第一学习数据和第二学习数据可以包括用户语音数据、语音数据的标签值、以及对应于语音数据的用户信息。这里，输入值可以是与声学模型相关的数据，并且标签值可以是与语言模型相关的数据，并且用户信息可以是用户标识信息。具体地，输入值可以是诸如用户语音的波形的数据，并且可以包括诸如语调和音调的数据，并且标签值可以是其中用户语音被转换成文本的文本数据。此外，为了从第一外部电子装置200-1的多个学习数据之中识别与第二学习数据的输入值和标签值相似的学习数据，电子装置100可以识别输入值的波形是否相似，或者以矢量格式表示的标签值的分布是否存在于预定距离内。
同时，处理器130可以通过使用频率滤波器来转换包括在第一学习数据中的语音数据。具体地，处理器130可以获取频率滤波器，该频率滤波器可以基于第一外部电子装置200-1的特征信息和第二外部电子装置200-2的特征信息来生成适于第二外部电子装置200-2的语音数据，并且通过使用所获取的滤波器来获取第三学习数据。
此外，处理器130可以在满足预定时间条件的情况下执行上述操作。例如，处理器130可以在大概黎明时分从第一外部电子装置200-1和第二外部电子装置200-2接收学习数据，并训练第一人工智能模型和第二人工智能模型。
同时，根据本公开的另一实施例，第一人工智能模型和第二人工智能模型可以是用于理解自然语言的人工智能模型。在这种情况下，学习数据可以是与包括在通过语音识别模型获取的语音识别的结果中的用户语音的意图和时隙有关的信息。
图3是示出根据本公开的实施例的电子装置的详细配置的框图。
参照图3，除了存储器110、通信装置120和处理器130之外，电子装置100还可以包括输入装置140、显示器150和音频输出装置160。然而，组件不限于上述组件，并且一些组件可以根据需要添加或省略。
输入装置140是用于接收用户指令的输入的组件。这里，输入装置140可以包括照相机141、麦克风142、触摸面板143等。照相机141是用于获取电子装置100周围的图像数据的组件。照相机141可以拍摄静止图像和运动图像。例如，照相机141可以包括一个或多个图像传感器(例如，正面传感器或背面传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，发光二极管(LED)、氙灯等)。麦克风142是用于获取电子装置100周围的声音的组件。麦克风142可以接收外部的声音信号的输入，并生成电子语音信息。此外，麦克风142可以使用各种噪声消除算法来消除在接收外部声音信号的输入的过程中产生的噪声。触摸面板143是用于接收各种用户输入的组件。触摸面板143可以通过用户操作接收数据的输入。此外，触摸面板143可以与下面将描述的显示器相结合的而构成。同时，显然，除了照相机141、麦克风142和触摸面板143之外，输入装置140可以包括用于接收各种数据输入的各种组件。
上述输入装置140的各种组件可以以各种形式使用。例如，如果第一外部电子装置200-1包括语音识别模型，而第二外部电子装置200-2不包括语音识别模型，且第二外部电子装置200-2需要语音识别的结果，则电子装置100可以将通过麦克风142输入的用户语音输入到从第一外部电子装置200-1接收的第一人工智能模型中，并输出结果值，并且将该值发送到第二外部电子装置200-2。也就是说，电子装置100不仅可以在第一外部电子装置200-1和第二外部电子装置200-2之间共享学习数据，而且还可以替代各外部电子装置获得不包括在相应外部电子装置中的人工智能模型的输入值的结果值，并且发送该结果值。
显示器150是用于输出各种图像的组件。用于提供各种图像的显示器150可以实现为各种形式的显示面板。例如，显示面板可以以各种显示技术实现，例如液晶显示器(LCD)、有机发光二极管(OLED)、有源矩阵有机发光二极管(AM-OLED)、硅上液晶(LCOS)、数字光处理(DLP)等。此外，显示器150可以以柔性显示器形式与电子装置100的前表面区域、侧表面区域或后表面区域中的至少一个组合。
具体地，显示器150可以显示用于在外部电子装置之间共享学习数据的各种设置信息。也就是说，可以自动地执行外部电子装置之间学习数据的共享，但是也可以通过用户指令执行，并且显示器150可以输出用于接收用户指令输入或查询用户指令的各种信息。
音频输出装置160是输出各种类型的通知声音或语音消息以及各种类型的音频数据的组件，音频处理器针对这些音频数据执行各种处理操作，例如解码或放大、噪声滤波等。音频处理器是执行音频数据处理的组件。在音频处理器中，可执行音频数据的各种处理，例如解码或放大、噪声滤波等。在音频处理器中处理的音频数据可以被输出到音频输出装置160。特别地，音频输出装置可以实现为扬声器，但是这仅仅是一个示例，并且音频输出装置可以实现为能够输出音频数据的输出终端。
如上所述，处理器130控制电子装置100的整体操作。处理器130可以包括RAM 131、ROM 132、主CPU 134、图形处理器133、第一接口135-1至第n接口135-n以及总线136。这里，RAM 131、ROM 132、主CPU 134、图形处理器133和第一接口135-1至第n接口135-n可以通过总线136彼此连接。
ROM 132存储用于系统引导的一组指令等。当输入接通指令并供电时，主CPU 134根据存储在ROM 132中的指令将存储在存储器中的操作系统(O/S)复制到RAM 131中，并通过运行O/S来引导系统。当引导完成时，主CPU 134将存储在存储器中的各种类型的应用程序复制到RAM 131中，并通过执行复制到RAM 131中的应用程序来执行各种类型的操作。
具体地，主CPU 134访问存储器110，并通过使用存储在存储器110中的O/S来执行引导。然后，主CPU 134通过使用存储在存储器110中的各种程序、内容、数据等来执行各种操作。
第一接口135-1至第n接口135-n与上述各种组件连接。接口之一可以是通过网络连接到外部电子装置的网络接口。
在下文中，将参考图4至图8描述根据本公开的各种实施例。
图4和图5是示出根据本公开的各种实施例的数据共享方法的图。
具体而言，图4是示出在第一外部电子装置200-1是存储各种大量学习数据的外部服务器的情况下选择训练第二人工智能模型所需的学习数据的方法的图，而图5是示出在第一外部电子装置200-1是存储个性化学习数据的个人终端的情况下选择训练第二人工智能模型所需的学习数据的方法的图。
参照图4，第一外部电子装置200-1可以包括第一人工智能模型和第一数据库，并且第二外部电子装置200-2可以包括第二人工智能模型和第二数据库。这里，第一数据库和第二数据库可以存储多个学习数据。
首先，选择模块可以从第一数据库的多个学习数据中获取与第二数据库的多个学习数据中的包括输入值和标签值的第二学习数据(包括输入值D2输入和标签值D2标签)相似的第一学习数据。具体地，如图4所示，选择模块可以将第二学习数据的输入值D2输入或标签值D2标签中的至少一者与第一数据库的多个学习数据中的每一个的输入值或标签值中的至少一者进行比较，并选择相似的数据。
选择模块可以将包括与第二学习数据相似的输入值D1输入和标签值D1标签的第一学习数据作为输入值来训练第二人工智能模型。
与上述方法一样，电子装置100可以通过从第一数据库获取与第二数据库的多个学习数据中的每一个相似的学习数据来训练第二人工智能模型。
参照图5，电子装置100可以使用第一数据库的多个学习数据中的全部作为用于训练第二人工智能模型的学习数据。也就是说，与图4中的情况不同，在存储在第一外部电子装置200-1和第二外部电子装置200-2中的学习数据都是从用户接收的学习数据的情况下，电子装置100可以通过使用第一数据库的多个学习数据中的全部来训练第二人工智能模型。
图6是示出根据本公开的实施例的转换学习数据的方法的图。
参照图6，选择模块可以从第一数据库的多个学习数据中获取与第二数据库的多个学习数据中的包括输入值和标签值的第二学习数据(包括输入值D2输入和标签值D2标签)相似的第一学习数据。具体地，如图4所示，选择模块可以将第二学习数据的输入值D2输入或标签值D2标签中的至少一者与第一数据库的多个学习数据的每一个的输入值或标签值中的至少一者进行比较，并选择相似的数据。
选择模块可以获取包括与第二学习数据相似的输入值D1输入和标签值D1标签的第一学习数据，且转换模块可以基于输入值D1输入、输入值D2输入和标签值D1获取第三学习数据(输入值D1'输入和标签值D1'标签)。也就是说，可以通过转换第一学习数据来获取适于第二外部电子装置200-2的学习数据，以作为第三学习数据。
作为用于转换学习数据的实施例，在第一学习数据和第二学习数据是用于训练人工智能模型的数据的情况下，D1输入和D2输入可以是与由每个外部电子装置接收的用户语音相关的数据。
具体地，电子装置100可以将第一外部电子装置周围的噪声的数据添加到第二学习数据(具体地，D2输入)，并获取第三学习数据(具体地，D1'输入)。例如，电子装置100可以根据第一外部电子装置200-1的使用环境来获取第一外部电子装置200-1的周围噪声的数据，并且将所获取的第一外部电子装置200-1的周围噪声的数据和D2输入添加到时域中。作为另一个例子，电子装置100可以通过使用用于第一外部电子装置200-1的环境噪声环境的频率滤波器来对频域中的D2输入进行滤波。作为另一个例子，电子装置100可以通过使用语音活动检测(VAD)来获取包括在D1输入中的非语音部分的数据，并且将非语音部分的数据和D2输入添加到时域中。这里，VAD是划分输入用户发声中的包括用户语音的部分和不包括用户语音的部分(静音部分或非语音部分)的技术，并且电子装置100可以通过使用非语音部分来使用包括在第一外部电子装置200-1中的噪声环境信息来获取第三学习数据。
作为另一个例子，电子装置100可以基于第一外部电子装置200-1和第二外部电子装置200-2的特征信息来获取第三学习数据。
具体地，在第一外部电子装置200-1和第二外部电子装置200-2的特征信息是第一外部电子装置200-1和第二外部电子装置200-2的规格信息的情况下，电子装置100可以考虑第一外部电子装置200-1的规格信息和第二外部电子装置200-2的规格信息之间的差异来获取第三学习数据。
替代地，在第一外部电子装置200-1和第二外部电子装置200-2的特征信息是与通过第一外部电子装置200-1和第二外部电子装置200-2输入的噪声相关的特征信息的情况下，电子装置100可以通过使用输入到第一外部电子装置200-1的噪声和输入到第二外部电子装置200-2的噪声之间的差异来获取第三学习数据。
替代地，在第一外部电子装置200-1和第二外部电子装置200-2的特征信息是第一外部电子装置200-1的位置与产生用户语音的位置之间的距离信息以及第二外部电子装置200-2的位置与产生用户语音的位置之间的距离信息的情况下，电子装置100可基于第一外部电子装置200-1的位置与产生用户语音的位置之间的距离信息以及第二外部电子装置200-2的位置与产生用户语音的位置之间的距离信息来获取第三学习数据。例如，可以假定用户语音在短距离内输入到第一外部电子装置200-1中，并且用户语音从远距离输入到第二外部电子装置200-2中。通常，存在的特征是，在从远距离输入用户语音的情况下，在由装置接收的音频信号中，低频部分是加重的，且在短距离输入用户语音的情况下，在由装置接收的音频信号中，高频部分是加重的。因此，为了将与由第一外部电子装置200-1接收的用户语音对应的音频信号转换为适于第二外部电子装置200-2的音频信号，需要诸如减小与由第一外部电子装置200-1接收的用户语音对应的音频信号的高频区域以及增加低频部分等的信号处理。因此，考虑到上述内容，电子装置100可以考虑第一外部电子装置200-1的位置与产生用户语音的位置之间的距离信息以及第二外部电子装置200-2的位置与产生用户语音的位置之间的距离信息来转换第三学习数据。如上所述，为了将第一学习数据转换为第三学习数据，电子装置100可以使用频率滤波器。
同时，如图5所示，电子装置100可以转换第一数据库的多个学习数据中的全部以适应第二外部电子装置200-2的特征信息。即，在图6中，描述了一个实施例，其中获取与第二学习数据相似的数据，并且改变所获取的学习数据，但是本公开不限于此，并且电子装置100可以转换第一数据库的所有学习数据，而不需要获取与第二学习数据相似的学习数据的过程。
图7是用于示出根据本公开的实施例的获取学习数据的方法的图。
参照图7，第一外部电子装置200-1是接收用户的学习数据并且被长时间训练的电子装置，并且可以包括人工智能模型，该人工智能模型包括与多个用户相关的学习数据并且执行大量的学习。第二外部电子装置200-2例如是用户新购买的电子装置，并且可以包括人工智能模型，该人工智能模型具有用户的少量学习数据，并且该人工智能模型尚未经过个性化。
在这种情况下，如图7所示，电子装置100可以将从第二外部电子装置200-2接收的D2输入作为输入值输入到第一人工智能模型中，并输出结果值。这里，当D2输入被输入到第一人工智能模型中时，电子装置100可以输出用于D2输入的标签值D1标签和关于D1标签是否是D2输入的标签值的概率值Prob。在概率值Prob等于或大于预定值的情况下，选择模块可以基于包括D2输入和D1标签的第四学习数据来训练第二人工智能模型。
也就是说，在第二外部电子装置200-2是新购买的电子装置或内部信息已经被初始化的电子装置等的情况下，输入数据的标签值和输出值不正确。因此，电子装置100可以通过使用其中已经进行了大量学习的第一人工智能模型来获取用于第二学习数据的输入值(D2输入)的第四学习数据。
图8是示出根据本公开的实施例的共享学习数据的方法的图。图9是示出根据本公开的实施例的用于第二外部电子装置转换学习数据的方法的图。
参照图8和图9，在第一人工智能模型和第二人工智能模型是用于理解自然语言的人工智能模型的情况下，电子装置100可以通过使用具有相似特性的第一学习数据来训练第二人工智能模型，并且通过使用第二学习数据来训练第一人工智能模型。
具体地，电子装置100可以获取第一学习数据，并且从第二数据库的多个学习数据中获取具有与第一学习数据的标签相同或相似的标签的第二学习数据。替代地，电子装置10 0显然可以获取第二学习数据，并从第一数据库的多个学习数据中获取具有与第二学习数据相同或相似标签的第一学习数据。这里，用于理解语言的人工智能模型中的标签可以是与用于语音识别结果的用户语音的意图和实体相关的标签。
同时，在上述各种实施例中，基于电子装置100从多个外部电子装置接收多个外部电子装置中的每一个的人工智能模型和学习数据并获取适用于另一外部电子装置的学习数据的实施例来进行了描述。然而，本公开不限于上述实施例，并且电子装置100的上述功能和操作可以用于多个外部电子装置中的每一个。
具体地，如图9所示，电子装置100的上述功能和操作可以由第一外部电子装置200-1或第二外部电子装置200-2执行。
例如，第二外部电子装置200-2可以接收存储在第一外部电子装置200-1中的多个学习数据，并且将所接收的学习数据转换为适用于第二外部电子装置200-2的人工智能模型的学习数据。
具体地，第二外部电子装置200-2可以接收存储在第一外部电子装置200-1中的多个学习数据，并且在从第一外部电子装置200-1接收的多个学习数据之中识别与存储在第二外部电子装置200-2中的第二学习数据对应的第一学习数据。
此外，第二外部电子装置200-2可以将包括在第二学习数据中的输入值或标签值中的至少一者与包括在从第一外部电子装置200-1接收的多个学习数据的每一个中的输入值和标签值进行比较，并且识别第一学习数据。
然后，第二外部电子装置200-2可以基于所识别的第一学习数据来训练第二外部电子装置200-2所使用的第二人工智能模型。
具体地，第二外部电子装置200-2可以接收第一外部电子装置200-1的特征信息，并且基于所接收的特征信息将第一学习数据转换为第三学习数据。同时，显然，对于特征信息的类型和转换方法，可以应用与上述各种实施方式相同的方法。也就是说，特征信息可以包括以下项中的至少一者：与包括在第一外部电子装置200-1和第二外部电子装置200-2中的语音输入装置有关的特征信息、与通过第一外部电子装置200-1和第二外部电子装置200-2的语音输入装置输入的噪声有关的特征信息或与产生用户语音的位置和第一外部电子装置200-1之间的距离以及产生用户语音的位置与第二外部电子装置200-2之间的距离有关的特征信息。
图10是示出根据本公开的实施例的电子装置的控制方法的流程图。
参照图10，在操作S1110，电子装置100可以从第一外部电子装置200-1和第二外部电子装置200-2中的每一个接收由第一外部电子装置200-1和第二外部电子装置200-2中的每一个所使用的人工智能模型以及存储在第一外部电子装置200-1和第二外部电子装置200-2中的每一个中的多个学习数据。此外，电子装置100可以接收第一外部电子装置200-1和第二外部电子装置200-2的特征信息并存储该信息。
此外，在操作S1120，电子装置100可以在从第一外部电子装置200-1接收的多个学习数据之中识别与从第二外部电子装置200-2接收的第二学习数据对应的第一学习数据。具体地，电子装置100可以将第一学习数据的输入值和标签值与第二学习数据的输入值和标签值进行比较，并识别第一学习数据。
然后，在操作S1130，电子装置100可以基于所获取的第一学习数据来训练第二外部电子装置200-2所使用的人工智能模型。这里，电子装置100可以基于第三学习数据来训练第二人工智能模型，该第三学习数据是从第一学习数据转换为适用于第二外部电子装置200-2的形式的学习数据。
在操作S1140，电子装置100可以将训练后的人工智能模型发送到第二外部电子装置200-2。通过上述过程，第二外部电子装置200-2可以基于通过各种个性化学习数据训练的第二人工智能模型来输出个性化结果。
同时，本公开中使用的术语“部件”或“模块”包括由硬件、软件或固件组成的单元，并且其可以与诸如逻辑、逻辑块、组件或电路之类的术语互换地使用。此外，“部件”或“模块”可以是由执行一个或多个功能的集成体或最小单元或其一部分组成的组件。例如，模块可以包括专用集成电路(ASIC)。
本公开的各种实施例可以实现为包括存储在机器可读存储介质中的指令的软件，所述指令可以由机器(例如，计算机)读取。所述机器是指调用存储在存储介质中的指令并且可以根据所调用的指令操作的装置，并且所述装置可以包括根据前述实施例的电子装置(例如，电子装置100)。在指令由处理器执行的情况下，处理器本身可以执行与指令相对应的功能，或者通过使用在其控制下的其它组件来执行。指令可以包括由编译器或解释器生成或执行的代码。机器可读的存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性”仅意味着存储介质不包括信号，并且是有形的，但是不指定数据是半永久地还是临时地存储在存储介质中。
此外，根据本公开的实施例，根据本公开中描述的各种实施例的方法可以包括在计算机程序产品中来提供。计算机程序产品是指一种产品，它可以在卖方和买方之间进行交易。计算机程序产品可以以机器可读的存储介质(例如，光盘只读存储器(CD-ROM))的形式在线分发，或者通过应用商城(例如，娱乐商城)分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储在存储介质中，例如制造商的服务器、应用商城的服务器、以及中继服务器的存储器，或者可以被临时生成。
此外，根据前述各种实施方式的组件(例如，模块或程序)中的每一个可以由单个对象或多个对象组成。此外，在上述相应的子组分中，一些子组分可以被省略，或者其他子组分可以进一步包括在各种实施方案中。通常或附加地，一些组件(例如，模块或程序)可被集成为对象，并执行由每个组件在集成之前以相同或类似方式执行的功能。由根据各个实施例的模块、程序或其它组件执行的操作可以顺序地、并行地、反复地或启发式地执行。或者，至少一些操作可以以不同的顺序执行或被省略，或者可以添加其它操作。
虽然已经参考本公开的各种实施例描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置的控制方法，所述控制方法包括：
分别从第一外部电子装置和第二外部电子装置接收所述第一外部电子装置所使用的第一人工智能模型和所述第二外部电子装置所使用的第二人工智能模型、以及存储在所述第一外部电子装置和所述第二外部电子装置中的多个学习数据；
在从所述第一外部电子装置接收的学习数据之中，识别与从所述第二外部电子装置接收的第二学习数据对应的第一学习数据；
基于所述第一学习数据训练所述第二外部电子装置所使用的所述第二人工智能模型；以及
将训练后的第二人工智能模型发送至所述第二外部电子装置。
2.根据权利要求1所述的控制方法，还包括：
分别接收所述第一外部电子装置的第一特征信息和所述第二外部电子装置的第二特征信息；
基于所述第一外部电子装置的所述第一特征信息和所述第二外部电子装置的所述第二特征信息，将所述第一学习数据转换为用于训练所述第二外部电子装置所使用的所述第二人工智能模型的第三学习数据；以及
基于所述第三学习数据训练所述第二外部电子装置所使用的所述第二人工智能模型。
3.根据权利要求1所述的控制方法，其中，识别所述第一学习数据包括：
将包括在所述第二学习数据中的输入值或标签值中的至少一者与包括在从所述第一外部电子装置接收的学习数据中的输入值和标签值进行比较；以及
基于所述比较的结果识别所述第一学习数据。
4.根据权利要求2所述的控制方法，
其中，所述第二人工智能模型包括用于语音识别的人工智能模型，以及
其中，所述多个学习数据包括语音数据、所述语音数据的标签值、以及与所述语音数据对应的用户信息。
5.根据权利要求4所述的控制方法，其中，识别所述第一学习数据包括：
将包括在所述第二学习数据中的第二语音数据、所述第二语音数据的第二标签值或与所述第二语音数据对应的第二用户信息中的至少一者与包括在从所述第一外部电子装置接收的学习数据中的第一语音数据、所述第一语音数据的第一标签值和与所述第一语音数据对应的第一用户信息中的至少一者进行比较；以及
基于所述比较的结果识别所述第一学习数据。
6.根据权利要求4所述的控制方法，其中，所述第一特征信息和所述第二特征信息包括以下项中的至少一者：与包括在所述第一外部电子装置和所述第二外部电子装置中的语音输入装置有关的特征信息、与通过所述第一外部电子装置和所述第二外部电子装置的所述语音输入装置输入的噪声有关的特征信息或与产生用户语音的位置与所述第一外部电子装置和所述第二外部电子装置的位置之间的距离有关的特征信息。
7.根据权利要求4所述的控制方法，其中，将所述第一学习数据转换为所述第三学习数据包括：通过使用频率滤波器来转换包括在所述第一学习数据中的语音数据。
8.根据权利要求1所述的控制方法，其中，接收所述第一人工智能模型和所述第二人工智能模型包括：
基于预定时间条件，分别接收所述第一外部电子装置所使用的所述第一人工智能模型和所述第二外部电子装置所使用的所述第二人工智能模型；
接收来自所述第一外部电子装置和所述第二外部电子装置的所述多个学习数据；以及
分别接收所述第一外部电子装置的第一特征信息和所述第二外部电子装置的第二特征信息。
9.一种电子装置，包括：
存储器；
通信装置；以及
处理器，配置为：
经由所述通信装置分别从第一外部电子装置和第二外部电子装置接收所述第一外部电子装置所使用的第一人工智能模型和所述第二外部电子装置所使用的第二人工智能模型、以及存储在所述第一外部电子装置和所述第二外部电子装置中的多个学习数据，
在从所述第一外部电子装置接收的学习数据之中，识别与从所述第二外部电子装置接收的第二学习数据对应的第一学习数据，
基于所述第一学习数据训练所述第二外部电子装置所使用的所述第二人工智能模型，以及
经由所述通信装置将训练后的第二人工智能模型发送至所述第二外部电子装置。
10.根据权利要求9所述的电子装置，其中，所述处理器进一步配置为：
经由所述通信装置分别接收所述第一外部电子装置的第一特征信息和所述第二外部电子装置的第二特征信息，
基于所述第一外部电子装置的所述第一特征信息和所述第二外部电子装置的所述第二特征信息，将所述第一学习数据转换为用于训练所述第二外部电子装置所使用的所述第二人工智能模型的第三学习数据，以及
基于所述第三学习数据训练所述第二外部电子装置所使用的第二人工智能模型。
11.根据权利要求9所述的电子装置，其中，所述处理器进一步配置为：
将包括在所述第二学习数据中的输入值或标签值中的至少一者与包括在从所述第一外部电子装置接收的学习数据中的输入值和标签值进行比较；以及
基于所述比较的结果识别所述第一学习数据。
12.根据权利要求10所述的电子装置，
其中，所述第二人工智能模型包括用于语音识别的人工智能模型，以及
其中，所述多个学习数据包括语音数据、所述语音数据的标签值、以及与所述语音数据对应的用户信息。
13.根据权利要求12所述的电子装置，其中，所述处理器进一步配置为：
将包括在所述第二学习数据中的第二语音数据、所述第二语音数据的第二标签值或与所述第二语音数据对应的第二用户信息中的至少一者与包括在从所述第一外部电子装置接收的学习数据中的第一语音数据、所述第一语音数据的第一标签值和与所述第一语音数据对应的第一用户信息中的至少一者进行比较；以及
基于所述比较的结果识别所述第一学习数据。
14.根据权利要求12所述的电子装置，其中，所述第一特征信息和所述第二特征信息包括以下项中的至少一者：与包括在所述第一外部电子装置和所述第二外部电子装置中的语音输入装置有关的特征信息、与通过所述第一外部电子装置和所述第二外部电子装置的所述语音输入装置输入的噪声有关的特征信息或与产生用户语音的位置与所述第一外部电子装置和所述第二外部电子装置的位置之间的距离有关的特征信息。
15.一种电子装置，包括：
存储器；
通信装置；以及
处理器，配置为：
经由所述通信装置从外部电子装置接收存储在所述外部电子装置中的多个学习数据，
在从所述外部电子装置接收的所述多个学习数据之中，识别与存储在所述电子装置中的第二学习数据对应的第一学习数据，以及
基于所识别的第一学习数据训练所述电子装置所使用的人工智能模型。
CN201980065502.3A 2018-10-05 2019-10-04 电子装置及其控制方法 Pending CN112789628A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180119054A KR20200044173A (ko) 2018-10-05 2018-10-05 전자 장치 및 그의 제어 방법
KR10-2018-0119054 2018-10-05
PCT/KR2019/013040 WO2020071854A1 (en) 2018-10-05 2019-10-04 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
CN112789628A true CN112789628A (zh) 2021-05-11

Family

ID=70051764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980065502.3A Pending CN112789628A (zh) 2018-10-05 2019-10-04 电子装置及其控制方法

Country Status (5)

Country Link
US (2) US11586977B2 (zh)
EP (1) EP3785180A4 (zh)
KR (1) KR20200044173A (zh)
CN (1) CN112789628A (zh)
WO (1) WO2020071854A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852141B2 (ja) * 2018-11-29 2021-03-31 キヤノン株式会社 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム
US11929079B2 (en) 2020-10-27 2024-03-12 Samsung Electronics Co., Ltd Electronic device for managing user model and operating method thereof
KR102493655B1 (ko) * 2020-12-01 2023-02-07 가천대학교 산학협력단 인공지능 모델 훈련 데이터셋의 관리방법
KR20220121637A (ko) * 2021-02-25 2022-09-01 삼성전자주식회사 전자 장치 및 그 동작방법
WO2024063508A1 (ko) * 2022-09-19 2024-03-28 삼성전자 주식회사 전자 장치 및 복수의 장치들의 동작 상태를 제공하는 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996372B1 (en) * 2012-10-30 2015-03-31 Amazon Technologies, Inc. Using adaptation data with cloud-based speech recognition
US20150279356A1 (en) * 2014-03-31 2015-10-01 Samsung Electronics Co., Ltd. Speech recognition system and method
US20160267380A1 (en) * 2015-03-13 2016-09-15 Nuance Communications, Inc. Method and System for Training a Neural Network
US20180033427A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. Speech recognition transformation system
CN108574773A (zh) * 2017-03-08 2018-09-25 Lg 电子株式会社 用于车辆通信的使用机器学习的终端和移动终端的车辆控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4000828B2 (ja) 2001-11-06 2007-10-31 株式会社デンソー 情報システム、電子機器、プログラム
US7533019B1 (en) 2003-12-23 2009-05-12 At&T Intellectual Property Ii, L.P. System and method for unsupervised and active learning for automatic speech recognition
KR101065188B1 (ko) 2009-07-24 2011-09-19 고려대학교 산학협력단 진화 학습에 의한 화자 적응 장치 및 방법과 이를 이용한 음성인식 시스템
US9620128B2 (en) 2012-05-31 2017-04-11 Elwha Llc Speech recognition adaptation systems based on adaptation data
US9514740B2 (en) 2013-03-13 2016-12-06 Nuance Communications, Inc. Data shredding for speech recognition language model training under data retention restrictions
US20150161986A1 (en) 2013-12-09 2015-06-11 Intel Corporation Device-based personal speech recognition training
US9450978B2 (en) * 2014-01-06 2016-09-20 Cisco Technology, Inc. Hierarchical event detection in a computer network
US9293134B1 (en) 2014-09-30 2016-03-22 Amazon Technologies, Inc. Source-specific speech interactions
WO2016061628A1 (en) 2014-10-24 2016-04-28 National Ict Australia Limited Learning with transformed data
JP5816771B1 (ja) 2015-06-08 2015-11-18 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置ユニット
KR102061935B1 (ko) 2017-02-21 2020-01-02 한국과학기술원 딥 신경망을 이용한 정보 이전 방법 및 그 장치
US10360214B2 (en) 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996372B1 (en) * 2012-10-30 2015-03-31 Amazon Technologies, Inc. Using adaptation data with cloud-based speech recognition
US20150279356A1 (en) * 2014-03-31 2015-10-01 Samsung Electronics Co., Ltd. Speech recognition system and method
US20160267380A1 (en) * 2015-03-13 2016-09-15 Nuance Communications, Inc. Method and System for Training a Neural Network
US20180033427A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. Speech recognition transformation system
CN108574773A (zh) * 2017-03-08 2018-09-25 Lg 电子株式会社 用于车辆通信的使用机器学习的终端和移动终端的车辆控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VADIM MAZALOVH等: "Writing on Clouds", CICM 2012, vol. 2012, 8 July 2012 (2012-07-08), pages 402 - 416, XP047009048 *
韩志艳等: "语音信号鲁棒特征提取及可视化技术研究", 29 February 2012, 东北大学出版社, pages: 60 - 64 *

Also Published As

Publication number Publication date
US20230177398A1 (en) 2023-06-08
EP3785180A1 (en) 2021-03-03
WO2020071854A1 (en) 2020-04-09
US20200111025A1 (en) 2020-04-09
US11880754B2 (en) 2024-01-23
KR20200044173A (ko) 2020-04-29
US11586977B2 (en) 2023-02-21
EP3785180A4 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
US11880754B2 (en) Electronic apparatus and control method thereof
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
US10803319B2 (en) Electronic device for classifying video and operating method thereof
CN110288049B (zh) 用于生成图像识别模型的方法和装置
US20190318545A1 (en) Command displaying method and command displaying device
WO2019184471A1 (zh) 图像标签确定方法、装置及终端
CN109740018B (zh) 用于生成视频标签模型的方法和装置
US11892925B2 (en) Electronic device for reconstructing an artificial intelligence model and a control method thereof
US10887454B2 (en) Electronic apparatus and control method thereof
US11842735B2 (en) Electronic apparatus and control method thereof
US20170148307A1 (en) Electronic device and method for controlling the electronic device
US11449672B2 (en) Method for operating speech recognition service and electronic device and server for supporting the same
US11367441B2 (en) Electronic apparatus and control method thereof
US11631400B2 (en) Electronic apparatus and controlling method thereof
US11741398B2 (en) Multi-layered machine learning system to support ensemble learning
CN110046571B (zh) 用于识别年龄的方法和装置
CN110298850B (zh) 眼底图像的分割方法和装置
CN111539287B (zh) 训练人脸图像生成模型的方法和装置
US20210264905A1 (en) Electronic device and control method therefor
CN111104874A (zh) 人脸年龄预测方法及模型的训练方法、装置及电子设备
US11436215B2 (en) Server and control method thereof
EP3157002A1 (en) Electronic device and method for transforming text to speech utilizing super-clustered common acoustic data set for multi-lingual/speaker
CN110335237B (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
US20220019615A1 (en) Electronic device and control method therefor
KR20200021402A (ko) 전자 장치 및 그의 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination