CN113227962A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN113227962A
CN113227962A CN202080007414.0A CN202080007414A CN113227962A CN 113227962 A CN113227962 A CN 113227962A CN 202080007414 A CN202080007414 A CN 202080007414A CN 113227962 A CN113227962 A CN 113227962A
Authority
CN
China
Prior art keywords
electronic device
operation information
information
processor
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080007414.0A
Other languages
English (en)
Inventor
金材原
李海俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113227962A publication Critical patent/CN113227962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置。所述电子装置包括显示器和处理器，所述处理器被配置为控制所述电子装置以:基于机器阅读理解(MRC)模型获取与输入相对应的文本，通过将所述文本划分为所述电子装置的操作单元来获取多个操作信息，基于所述多个操作信息和所获取的文本获取所述多个操作信息的顺序信息，以及控制所述显示器以提供引导用户界面(UI)，从而基于所述顺序信息顺序执行所述多个操作。

Description

电子装置及其控制方法
技术领域
本公开涉及电子装置及其控制方法。例如，本公开涉及使用机器阅读理解(MRC)模型的电子装置及其控制方法。
背景技术
电子技术的发展导致了各种类型的电子装置的开发和分发。
不仅电子装置的类型已经多样化，而且电子装置可以执行的功能和操作也已经多样化。
然而，由于电子装置的各种功能、操作等有些复杂，因此存在这样的问题，即不熟悉最新电子装置的银发(老)一代用户或者不擅长操作电子装置的用户可能具有各种功能和操作的可访问性变差的问题。
因此，需要通过机器学习算法向用户提供灵活且主动地使用电子装置的方法(例如，执行功能和操作的方法、控制方法或接近方法)，而不是仅仅基于电子装置的手册，固定且形式地简单提供各种功能和操作的执行方法和接近方法。
发明内容
【技术问题】
本公开的实施例提供了一种电子装置及其控制方法，该电子装置用于基于电子装置的手册提供用于引导使用方法的用户界面(UI)。
【技术解决方案】
根据示例实施例的电子装置包括:显示器和处理器，处理器被配置为控制电子装置以:基于机器阅读理解(MRC)模型获取对应于输入的文本，通过将文本划分为电子装置的操作单元来获取多个操作信息，基于所述多个操作信息和所获取的文本来获取所述多个操作信息的顺序信息，以及控制显示器以提供引导UI，从而基于顺序信息顺序地执行多个操作。
操作单元可以基于需要用户触摸输入的上下文。
所述处理器被配置为控制所述电子装置以:获取电子装置上的当前设置状态信息，基于所述当前设置状态信息识别在所述电子装置中预先执行的所述多个操作信息中的至少一个操作信息，并且基于除了所识别的操作信息之外的剩余操作信息获取所述顺序信息。
所述处理器被配置为控制所述电子装置以:获取电子装置的当前设置状态信息；基于所述当前设置状态信息，除了所述多个操作信息之外，还获取执行与所获取的文本相对应的功能所需的附加操作信息；以及基于多个操作信息和附加操作信息获取顺序信息。
所述处理器被配置为控制所述电子装置以:基于所述顺序信息，提供基于与执行所述多个操作信息中的第一操作信息所需的触摸输入相关的信息的第一引导UI；基于基于对应于第一引导UI的触摸输入而改变的电子装置的上下文，控制显示器提供基于与基于改变的上下文和顺序信息在多个操作信息中执行第二操作信息所需的触摸输入相关的信息的第二引导UI。
与触摸输入相关的信息可以包括触摸输入的位置或触摸类型中的至少一个。
所述MRC模型可以包括被配置为获取问题的问题生成(QG)模型和被配置为通过基于包括在所述电子装置的手册中的多个句子执行自然语言处理(NLP)来获取对应于所获取的问题的答案的问题答案(QA)模型。
所述电子装置还可以包括通信器，所述通信器包括通信电路，并且所述处理器被配置为控制所述通信器将所述输入发送到服务器，并且基于从所述服务器接收到与所述输入相对应的文本，基于所接收到的文本获取所述多个操作信息和所述顺序信息，并且所述文本可以基于所述电子装置的手册和MRC模型获取。
所述处理器被配置为基于触摸输入的位置或触摸类型中的至少一个不对应于所述引导UI的识别，控制所述电子装置提供视觉反馈或声音反馈中的至少一个。
所述处理器被配置为控制所述电子装置以:提供用于选择手动模式或自动模式中的任何一种的UI；以及基于选择自动模式，通过执行对应于引导UI的触摸输入功能来顺序地执行多个操作。
所述处理器被配置为控制所述电子装置执行对应于所述引导UI的触摸输入功能，并提供指示执行所述触摸输入功能的视觉反馈。
根据示例实施例，一种控制电子装置的方法包括:基于机器阅读理解(MRC)模型获取对应于输入的文本；通过将文本分成电子装置的操作单元来获取多个操作信息；基于所述多个操作信息和所获取的文本来获取所述多个操作信息的顺序信息；和提供引导用户界面(UI)以基于所述顺序信息顺序执行所述多个操作。
操作单元可以基于需要触摸输入的上下文。
该方法可以包括获取电子装置上的当前设置状态信息，并且获取顺序信息可以包括基于当前设置状态信息识别在电子装置中预先执行的多个操作信息中的至少一个操作信息；以及基于除了所识别的操作信息之外的剩余操作信息来获取顺序信息。
该方法可以包括获取电子装置的当前设置状态信息；以及除了所述多个操作信息之外，基于当前设置状态信息获取执行与所获取的文本相对应的功能所需的附加操作信息，并且获取顺序信息可以包括基于所述多个操作信息和附加操作信息获取顺序信息。
提供引导用户界面可以包括基于所述顺序信息，提供基于与执行所述多个操作信息中的第一操作信息所需的触摸输入相关的信息的第一引导UI；基于基于对应于第一引导UI的触摸输入而改变的电子装置的上下文，控制显示器提供基于与基于改变的上下文和顺序信息在多个操作信息中执行第二操作信息所需的触摸输入相关的信息的第二引导UI。
与触摸输入相关的信息可以包括触摸输入的位置或触摸类型中的至少一个。
该MRC模型可以包括被配置为获得问题的问题生成(QG)模型和被配置为通过基于包括在所述电子装置的手册中的多个句子执行自然语言处理(NLP)来获得对应于所获得的问题的答案的问题答案(QA)模型。
获取文本可以包括将输入发送到服务器，并且可以基于电子装置的手册和MRC模型来获取文本。
该方法可以包括，基于触摸输入的位置或触摸类型中的至少一个不对应于引导UI的识别，提供视觉反馈或声音反馈中的至少一个。
【有利效果】
根据各种示例实施例，可以向用户提供用于与用户输入对应的电子装置的控制方法的直观引导UI，并且可以向用户提供考虑电子装置的当前设置状态的使用方法。
附图说明
结合附图，从以下详细描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中:
图1是示出根据实施例的电子装置的示例配置的框图；
图2是示出根据实施例的图1所示的示例电子装置的示例配置的框图；
图3是示出根据实施例的示例电子装置和用户输入的图；
图4是示出根据实施例的示例操作信息和顺序信息的图；
图5是示出根据实施例的示例当前设置信息的图；
图6是示出根据另一实施例的示例当前设置状态信息的图；
图7是示出根据另一实施例的示例性附加操作信息的图；
图8是示出根据实施例的示例引导UI的图；
图9是示出根据实施例的示例反馈的图；
图10是图示根据实施例的与服务器通信的示例电子装置的图；和
图11是示出根据实施例的用于控制电子装置的示例方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开。
本公开和权利要求中使用的术语是考虑到本公开的各种示例性实施例的功能而识别的通用术语。然而，这些术语可以根据相关领域技术人员的意图、技术解释、新技术的出现等而变化。除非有术语的具体定义，否则该术语可以基于总体内容和相关领域技术人员的技术理解来理解。
在本公开中，表达“具有”、“可以具有”、“包括”或“可以包括”等表示相应特征的存在(例如:诸如数字、功能、操作或部件的组件)，并且不排除附加特征的存在。
表达“A或/和B中的至少一个”应理解为代表“A”或“B”或“A和B”中的任何一个。
如本文所使用的，术语“第一”、“第二”等可以表示各种组件，而不管顺序和/或重要性，并且可以用于将一个组件与另一个组件区分开，并且不限制组件。
此外，本公开中一个元件(例如，第一元件)与另一个元件(例如，第二元件)是“(可操作地或通信地)耦合/耦合到”或“连接到”另一个元件(例如，第二元件)的描述应被解释为包括一个元件直接耦合到另一个元件的情况，以及一个元件通过又一个中间元件(例如，第三元件)耦合到另一个元件的情况。
除非另有说明，单数表达包括复数表达。应当理解，术语如“包括”或“由……组成”在此用于表示特征、数量、步骤、操作、元件、组件或其组合的存在，并且不排除添加一个或多个其他特征、数量、步骤、操作、元件、组件或其组合的存在或可能性。
诸如“模块”、“单元”、“部件”等术语可以用来指执行至少一种功能或操作的元件，并且这种元件可以实现为硬件或软件，或者硬件和软件的组合。此外，除了当多个“模块”、“单元”、“部件”等中的每一个需要在单独的硬件中实现时，组件可以集成在至少一个模块或芯片中，并且在至少一个处理器(未示出)中实现。
在本公开中，术语用户可以指使用电子装置或使用电子装置的装置(例如:人工智能(AI)电子装置)的人。
在下文中，将参照附图更详细地描述本公开的各种示例实施例。
图1是示出根据实施例的电子装置的示例配置的框图。
根据各种实施例的电子装置100可以实现为具有显示功能的设备，例如但不限于，电视、智能手机、平板电脑、便携式多媒体播放器(PMP)、个人数字助理(PDA)、笔记本电脑、智能手表、头戴式显示器(HMD)、近眼显示器(NED)等。电子装置100可以被实现为包括各种类型的显示器110以提供显示功能，例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)、硅上液晶(LCoS)、数字光处理(DLP)、微型LED、量子点(QD)显示面板等。
各种实施例可以通过不包括显示功能的电子装置100来实现。例如，电子装置100可以被实现为向显示设备提供内容的各种类型的源设备，例如但不限于蓝光播放器、数字多功能盘(DVD)播放器、流式内容输出设备、机顶盒等。作为另一个例子，各种类型的家用电器，例如但不限于扬声器、冰箱、洗衣机、空调、空气净化器、各种物联网(IoT)等，可以实现各种实施例。在下文中，为了便于描述，电子装置100将被假设为包括显示器110的用户终端设备。
参考图1，显示装置100包括显示器110和处理器(例如，包括处理电路)120。
显示器110可以提供可以通过电子装置100提供的各种内容屏幕。内容屏幕可以包括例如但不限于应用执行屏幕、各种内容，例如图像、视频、文本、音乐、图形用户界面(GUI)屏幕等。
显示器110可以基于电子装置100的手册(或用户引导)显示对应于用户输入的文本和引导UI，这将在下面更详细地描述。
处理器120可以包括各种处理电路，并且可以例如但不限于用处理数字图像信号的数字信号处理器(DSP)、微处理器和时间控制器(TCON)来实现，但是不限于此。处理器120可以包括例如但不限于中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、图形处理单元(GPU)、通信处理器(CP)、高级精简指令集(RISC)计算机(ARM)处理器等中的一个或多个，或者可以被定义为相应的术语。处理器120可以以片上系统(SoC)类型或大规模集成(LSI)类型实现，其中内置有处理算法，或者以现场可编程门阵列(FPGA)类型实现。处理器120可以包括各种处理电路，并且通过执行存储在存储器中的计算机可执行指令来执行各种功能。
处理器120可以基于机器阅读理解(MRC)模型获取对应于用户输入的文本。例如，MRC模型可以是基于人工智能(AI)算法读取和解释与电子装置100相关的文档和手册的机器阅读模型。例如，MRC模型可以使用基于各种类型的深度学习训练的自然语言处理(NLP)算法来分析文档，例如但不限于，递归神经网络(RNN)和卷积神经网络(CNN)等。与电子装置100相关联的文档、手册等不限于由电子装置100的制造商分发的用户手册，并且可以包括各种类型的数据，各种类型的数据包括操作或使用电子装置100中包括的多个功能的方法。
根据实施例的MRC模型可以包括适用于自然语言评估指标的机器阅读模型，例如但不限于通用语言理解评估(GLUE)或斯坦福问题回答数据集(SCADY)等。根据实施例，MRC模型可以是读取和解释文档并基于该文档找到对应于用户输入(例如，问题)的文本(例如，对应于问题的答案)的模型。除了RNN和CNN之外，根据实施例的MRC模型例如可以是使用基于变形器的神经网络训练的模型。
根据实施例的MRC模型可以包括问题生成(QG)模型和问题回答(QA)模型，用于通过基于电子装置100的手册中包括的多个句子执行NLP来获取对所获取的问题的答案。
例如，包括在MRC数学模型中的QG数学模型可以基于包括在手册中的句子获取相应句子的关键词(或主题)。MRC数学模型可以在相应句子中生成的多个问题中获取问题的最佳形式。QA模型可以将对应的句子识别为对应于所获取的问题的答案。
根据实施例的处理器120可以对电子装置100的手册中包括的多个句子执行预处理，以获取针对每个关键词的多个问题和对应于多个问题中的每个问题的答案。下面将参照图3对其进行更详细的描述。
图3是图示根据实施例的示例电子装置和用户输入的图。
参考图3，根据示例实施例的电子装置100可以接收用户输入。例如，电子装置100可以经由电子装置100中提供的麦克风(未示出)接收用户发出的语音。作为另一示例，电子装置100可以经由电子装置100中提供的各种类型的接口(例如，触摸板)接收用户输入。在以下描述中，为了描述方便，假设通过麦克风接收用户发出的语音作为用户输入。
如图3所示，如果接收到用户输入“打开Wi-Fi和蓝牙”作为用户输入，则处理器120可以获取对应于用户输入的文本。根据示例，处理器120可以基于关于用户输入的NLP算法来识别问题。例如，处理器120可以识别包括在用户输入中的关键词，并基于所识别的关键词为从QG模型获取的每个关键词选择多个问题中的一个。
参考图3，处理器120可以对用户输入执行句法分析。处理器120然后可以对解析的数据执行语义分析，并识别用户输入中包括的关键词(例如，Wi-Fi、蓝牙和开机)。处理器120然后可以在多个问题中获取对应于所识别的关键词的问题。例如，处理器120可以获取“如何打开Wi-Fi？”和“如何打开蓝牙？”
根据实施例的处理器120可以获取对应于所获取的问题的答案。例如，处理器120可以基于MRC模型从电子装置100的手册中包括的句子生成问题，并且获取该句子作为对所生成的问题的回答。例如，处理器120可以获取“如何打开Wi-Fi？”的句子作为问题的答案。该实施例仅仅是一个示例，除了通过对手册执行预处理而获取的多个问题和对多个问题中的每一个的回答之外，处理器120还可以对用户输入执行NLP，以识别关键词并获取对应于所识别的关键词的回答。例如，如果接收到“让我知道如何安装应用程序A”，则处理器120可以基于NLP算法识别应用程序A和安装方法。处理器120可以执行对安装应用程序A的方法的搜索，以从服务器获取答案。同时，为了便于描述，对应于用户输入的问题的答案被统称为对应于用户输入的文本。
根据实施例的处理器120可以基于MRC模型输出对应于用户输入的问题。在一个示例中，当根据用户输入获取“如何打开Wi-Fi？”和“如何打开蓝牙？”时，处理器120可以输出用户输入是否被适当识别的用户界面(UI)，例如“你想知道如何打开Wi-Fi和蓝牙吗？”。当接收到用户对相应UI的确认输入时，可以获取对应于该问题的文本(或答案)。
返回图1，根据实施例的处理器120可以获取对应于用户输入的文本，对获取的文本执行NLP，并且将文本分类到电子装置100的操作单元中以获取多个操作信息。处理器120然后可以基于多个操作信息和所获取的文本来获取多个操作信息的顺序信息。下面将参照图4对其进行更详细的描述。
图4是示出根据实施例的示例操作信息和顺序信息的图。
参考图4，当接收到“请打开Wi-Fi和蓝牙”的用户输入时，根据实施例的处理器120可以在基于包括在电子装置100的手册中的多个句子生成的多个问题中识别问题“如何连接到Wi-Fi？”和“如何连接到蓝牙？”。处理器120然后可以获取对应于所识别的问题的句子作为该问题的答案(或文本)。根据一个示例，处理器120可以获取包括在电子装置100的手册中的句子“按下设置屏幕上的连接按钮→向左滑动Wi-Fi切换按钮”。处理器120可以获取“按下设置屏幕上的连接按钮→向左滑动蓝牙切换按钮”作为对应于用户输入的文本。
处理器120然后可以对获取的文本执行NLP，以便以电子装置100的操作单元进行区分。电子装置100的操作单元可以是基于需要用户触摸输入的上下文的单元。电子装置100的操作单元可以基于是否需要用户的触摸输入，或者电子装置100的操作单元可以是基于电子装置100的设置是否改变、通过显示器110提供的屏幕是否改变或者电子装置100的状态是否根据用户的触摸输入而改变的单元。
例如，如果接收到作为对应于用户输入的文本的“按下设置屏幕上的连接按钮→向左滑动蓝牙切换按钮”，则处理器120可以以电子装置100的操作单元划分文本，并获取多个操作信息，例如设置按钮、连接按钮、Wi-Fi切换按钮等。
处理器120然后可以基于多个操作信息和相应的文本获取顺序信息。例如，处理器120可以基于相应的文本为多个操作信息中的每一个设置顺序。例如，处理器120可以基于在文本中包括多个操作的顺序，按顺序排列设置按钮→连接按钮→Wi-Fi切换按钮。处理器120可以获取多个操作的顺序信息。根据实施例的处理器120可以基于顺序信息对多个操作中的每一个分配Fn1、Fn2、Fn3、Fn4等。
根据实施例的处理器120可以提供用于根据顺序信息顺序执行多个操作的引导用户界面(UI)10。
参考图4，处理器120可以基于对应于用户输入“请打开Wi-Fi和蓝牙”的文本，获取设置按钮、连接按钮、Wi-Fi切换按钮和蓝牙切换按钮作为多个操作。处理器120然后可以为多个操作中的每一个分配顺序，以获取顺序信息。例如，处理器120可以按照设置按钮→连接按钮→Wi-Fi切换按钮→蓝牙切换按钮的顺序获取有序顺序信息。
如图4所示，处理器120可以基于与根据顺序信息执行多个操作信息中的第一操作信息Fn1所需的触摸输入相关的信息，通过显示器110提供第一引导UI。例如，当第一操作信息Fn1是基于顺序信息的设置按钮时，处理器120可以提供引导UI 10来引发对设置按钮的触摸输入。例如，处理器120可以在通过显示器110提供的屏幕上的设置按钮的位置以预定尺寸和颜色显示引导UI 10。
当基于对应于第一引导UI的触摸输入改变电子装置100的上下文时，根据实施例的处理器120可以控制显示器110基于与基于改变的上下文和顺序信息在多个操作信息中执行第二操作信息Fn2所需的触摸输入相关的信息来提供第二引导UI。电子装置100的上下文中的改变可以包括接收触摸输入、改变屏幕或改变电子装置100的设置中的至少一个。
参考图4，当接收到针对第一引导UI的触摸输入而显示设置屏幕时，处理器120可以基于顺序信息，根据第二操作信息Fn2，提供用于将触摸输入引导到屏幕上的连接按钮的位置的第二引导UI。与触摸输入相关的信息不限于触摸输入的位置，并且可以包括触摸类型。例如，处理器120可以显示引导UI 10，用于在屏幕上的特定位置引发用户的点击触摸输入，并且可以提供对应于各种触摸类型的引导UI 10，诸如拖拽触摸、轻击触摸、捏触摸、展开触摸等。其详细描述将在图8中提供。
除了引导UI 10之外，根据实施例的处理器120可以提供脚本20。参考图4，处理器120可以基于所获取的文本、其在屏幕区域上的描述为每个操作信息提供脚本20。例如，处理器120可以提供带有引导UI 10的“按下设置按钮”的脚本20，用于引发设置按钮的触摸。作为另一个例子，处理器120可以提供与获取的文本“按下设置屏幕上的连接按钮→向左滑动Wi-Fi切换按钮”中的第二操作信息Fn2相对应的脚本20“按下连接按钮”，以及用于引发执行第二操作信息Fn2所需的触摸输入的第二引导UI。作为另一个例子，处理器120可以提供对应于第三操作信息Fn3的脚本20“向左滑动Wi-Fi切换按钮”，以及用于引发执行第三操作信息Fn3所需的触摸输入的第三引导UI。作为又一示例，处理器120可以提供对应于第四操作信息Fn4的脚本20“向左滑动蓝牙切换按钮”，以及用于引发执行第四操作信息Fn4所需的触摸输入的第四引导UI。
根据实施例的处理器120可以输出与屏幕上的引导UI一起提供的脚本20作为声音信号。例如，处理器120可以对脚本20执行文本到语音转换(TTS)，以获取对应于脚本20的声音信号，并与引导UI 10一起输出声音信号。
返回图1，根据实施例的处理器120可以获取电子装置100的当前设置状态信息。当前设置状态信息可以指例如电子装置100中包括的多个功能中的每一个的设置值(例如，功能是否打开/关闭)、关于安装在电子装置100中的应用的信息(例如，应用安装状态、应用版本信息、用于执行应用的图标的位置)、通过显示器110显示的屏幕等。根据实施例的处理器120可以在系统级获取当前设置状态信息，或者可以通过应用编程接口(API)调用来获取当前设置状态信息。
根据实施例的处理器120可以通过基于当前设置状态信息从文本获取的多个操作信息中排除一些操作信息来获取顺序信息。作为另一示例，处理器120可以通过添加除了基于当前设置状态信息的多个操作信息之外的其他操作信息来获取顺序信息。这将在下面参照图5、6和7进行更详细的描述。
图5是图示根据实施例的示例当前设置信息的图。
参考图5，根据实施例的处理器120可以基于当前设置状态信息，在通过以电子装置100的操作单元来划分文本而获取的多个操作信息中识别至少一个预先执行的操作信息。
例如，可以获取对应于用户输入(打开Wi-Fi和蓝牙)的文本“在设置屏幕上按下连接按钮→向左滑动Wi-Fi切换按钮”和“在设置屏幕上按下连接按钮→向左滑动蓝牙切换按钮”。
处理器120可以将获取的文本分成操作单元，以获取设置按钮、连接按钮、Wi-Fi切换按钮和蓝牙切换按钮作为多个操作信息。根据实施例的处理器120可以基于电子装置100的当前设置状态信息在多个操作信息中识别先前执行的操作信息。作为示例，如果通过显示器110提供的屏幕是设置屏幕，则处理器120可以识别先前执行了触摸设置按钮的操作。在该示例中，处理器120可以从多个操作信息中排除设置按钮，然后基于剩余的操作信息获取顺序信息。作为另一示例，当基于当前设置状态信息识别出电子装置100的Wi-Fi功能被打开时，处理器120可以从多个操作信息中排除Wi-Fi切换按钮，并且基于剩余的操作信息获取顺序信息。
即使用户输入是以相同的方式“打开Wi-Fi和蓝牙”，参考图5，处理器120也可以不提供用于引导被确定为预先执行的操作信息的Wi-Fi切换按钮的触摸输入的UI，不同于图4所示的示例，并且可以提供用于引导蓝牙切换按钮的触摸输入的UI。
图6是示出根据另一实施例的当前设置状态信息的图。
根据各种实施例的处理器120可以基于用户输入来识别问题，并获取对应于该问题的文本(例如，答案)。参考图6，如果用户输入是“让我知道如何使用导航”，则处理器120可以基于MRC模型在以导航为关键词的多个问题中获取被确定为最接近用户的一个问题和答案。在这里，关键词并不一定意味着该词应该包含在问题或答案中。例如，处理器120可以获取对应于用户输入的一个问题和对应于每个主题的多个问题中的该问题的答案。
参考图6，根据实施例的处理器120可以获取与作为用户输入的“让我知道如何使用导航”相对应的文本“按下地图应用→按下麦克风按钮并让我知道目的地”。然后，处理器120可以获取用于顺序地引起地图应用Fn1和麦克风按钮Fn2的触摸输入的顺序信息，并基于该顺序信息提供引导UI 10和脚本20。
根据另一实施例的处理器120可以基于电子装置100的当前设置状态信息获取包括附加操作信息的顺序信息。附加操作信息可以意味着除了通过以操作单元划分文本而获取的多个操作信息之外的另一个操作信息。这将在下面参考图7进行更详细的描述。
图7是示出根据另一实施例的示例性附加操作信息的图。
参考图7，除了基于当前设置状态信息的多个操作信息之外，处理器120可以获取执行对应于文本的功能所需的附加操作信息。例如，处理器120可以获取用于顺序地引起地图应用Fn1和麦克风按钮Fn2的触摸输入的顺序信息。根据示例实施例，处理器120可以基于当前设置状态信息来识别是否安装了地图应用，以便执行“请按下地图应用→按下麦克风按钮并让我知道目的地”，其是对应于用户输入的文本。作为另一个例子，处理器120可以识别电子装置100是否包括麦克风。
根据实施例，如果基于当前设置状态信息识别出地图应用没有安装在电子装置100上，则处理器120可以获取除了多个操作信息(例如，地图应用Fn1和麦克风按钮Fn2)之外的用于安装地图应用的操作信息作为附加操作信息。处理器120然后可以基于多个操作信息和附加操作信息获取顺序信息。
即使用户输入是同样方式的“让我知道如何使用导航”，参照图7，与图6中所示的例子不同，处理器120可以另外提供用于引起触摸输入以按压存储按钮的引导UI 10和用于引起触摸输入以安装地图应用的引导UI 10。
作为另一示例，除了基于当前设置状态信息的多个操作信息之外，根据实施例的处理器120可以获取执行对应于文本的功能所需的附加操作信息。在一个示例中，处理器120可以在当前设置状态信息中识别所需的附加动作，使得电子装置100对应于用户输入进行操作。例如，如果用户输入是“让我知道如何使用导航”，则处理器120可以获取地图应用Fn1和麦克风按钮Fn2作为操作信息。处理器120然后可以基于电子装置100的当前设置状态信息来识别电子装置100是否处于用于执行地图应用Fn1的合适状态。例如，如果电子装置100的全球定位系统(GPS)功能被关闭，则处理器120可以基于MRC模型获取打开GPS的操作Fn 1-1(未示出)。
根据实施例的处理器120可以识别每个操作的子操作。如上所述，对应于用于执行地图应用的操作Fn1的子操作可以包括用于打开GPS功能的操作Fn 1-1和用于通过地图应用识别电子装置100的当前位置的操作Fn 1-2(未示出)等。处理器120然后可以基于电子装置100的当前设置状态信息将多个子操作中的至少一个子操作识别为附加操作信息。处理器120然后可以基于多个操作信息和附加操作信息获取顺序信息。例如，如果GPS功能被关闭，除了基于对应于用户输入“让我知道如何使用导航”的文本执行地图应用的操作Fn 1和用于引起目的地的话语的操作Fn2之外，处理器120可以获取用于打开GPS功能的操作Fn 1-1作为附加操作信息。处理器120可以按照Fn1→Fn 1-1→Fn2的顺序提供对应于每个操作的引导UI。
作为另一示例(未示出)，根据示例实施例的处理器120可以识别在执行多个操作中的一个操作之前需要执行的附加操作。例如，如果用户输入文本是“让我知道如何使用字典功能”，则处理器120可以获取按下搜索词Fn1、按下选项列表中的字典Fn 2以及检查作为多个操作信息的搜索结果Fn3。处理器120可以将“安装字典应用程序Fn 2-1”识别为需要预先执行以执行按下选项列表中的字典Fn 2的附加操作。然后可以调整顺序信息，使得预先放置所识别的附加操作。例如，对应于每个操作的引导UI可以按以下顺序提供:按下搜索词Fn1→安装词典应用Fn 2-1→按下选项列表中的词典Fn 2→基于操作信息和附加操作检查搜索结果Fn3。根据实施例的处理器120可以基于电子装置100的当前设置状态信息在顺序信息中不包括在前操作。例如，如果基于当前设置状态信息识别出已经安装了词典应用，则处理器120可以生成顺序信息，使得在按下选项列表中的词典Fn 2之前不添加安装词典应用Fn 2-1。
作为又一个实施例(未示出)，根据实施例的处理器120可以在后台状态下自己执行一些操作，而不提供引导UI。例如，当用户输入是“让我知道如何使用字典”时，处理器120可以基于操作信息和基于与其对应的文本的附加操作获取按下搜索词Fn1→安装字典应用Fn2-1→按下选项列表中的字典Fn2→检查搜索结果Fn3，作为顺序信息。在该示例中，处理器120可以在后台状态下由处理器120自身安装字典应用，而不是提供对应于安装字典应用Fn 2-1的引导UI，这是在先的操作。在这个例子中，提供给用户的引导可以是Fn1→Fn2→Fn3的顺序。
图8是示出根据实施例的示例引导UI的图。
根据实施例的引导UI可以引导用户触摸输入的位置并引导触摸类型。例如，处理器120可以识别在通过对所获取的文本执行NLP而获取的多个操作信息中执行任何一个操作信息所需的触摸类型。
例如，如图8所示，用户输入可以是“如何放大照片？”并且处理器120可以获取对应于用户输入“用两个手指按压屏幕并向外展开以调整屏幕放大率”的文本。在该示例中，处理器120可以提供用于引导扩展触摸输入的引导UI 10。如图8所示，处理器120可以提供包括动画效果的引导UI 10，就好像包括在引导UI 10中的第一对象和第二对象彼此隔开一样。
作为又一个例子，当用户输入是“如何放大屏幕？”时，处理器120可以获取对应于用户输入“你可以通过快速按压目标屏幕区域三次来放大屏幕”的文本。在该示例中，处理器120可以提供包括动画效果的引导UI 10，就好像在屏幕的一个区域中执行了三次轻击触摸输入一样。这仅仅是一个例子，并不限于此。
根据实施例的处理器120可以提供用于选择手动模式或自动模式之一的UI。当根据引导UI 10接收到用户的触摸输入时，手动模式可以基于顺序信息提供对应于下一顺序的操作信息的引导UI 10。即使没有接收到对应于引导UI 10的用户触摸输入，自动模式仍可以是用于根据所获取的文本来改变电子装置100的上下文的模式。
例如，当在自动模式下没有接收到用户的触摸输入时，处理器120可以执行对应于引导UI 10的触摸输入功能，并且提供指示触摸输入功能被执行的视觉反馈。例如，处理器120可以改变电子装置100的上下文，并基于顺序信息提供对应于下一操作信息的引导UI10，同时提供动画效果，好像接收到对引导UI 10的触摸输入。
实施例不一定局限于此。例如，处理器120可以基于后台中的顺序信息顺序地改变电子装置100的上下文，而不改变通过显示器110提供的屏幕。例如，如果对应于用户输入的文本是“在调整条上沿+方向拖动以照亮屏幕”，则可以提供用于引导拖动触摸输入的UI(例如，手动模式)，并且处理器120可以利用后台自行调整屏幕的亮度(例如，自动模式)。
返回图1，如果识别出用户触摸输入的位置或触摸类型中的至少一个不对应于引导UI 10，则根据实施例的处理器120可以提供视觉反馈或声音反馈中的至少一个。这将在下面参考图9进行更详细的描述。
图9是示出根据实施例的示例反馈的图。
当识别出用户触摸输入的位置30对应于引导UI 10时，根据实施例的处理器120可以基于顺序信息顺序地提供对应于下一操作信息的引导UI 10。
作为另一个例子，如果识别出用户的触摸输入的位置30不对应于引导UI 10，则处理器120可以提供反馈以引起再次执行触摸输入。参考图9，尽管根据实施例，引导UI 10将轻击触摸输入引入显示器，但是当用户触摸输入的位置30对应于声音和振动时，处理器120可以提供视觉反馈或声音反馈中的至少一个。视觉反馈可以是改变引导UI 10的大小或颜色中的至少一个的反馈。然而，这仅仅是一个例子，并且可以提供各种类型的视觉反馈。
根据示例实施例的声音反馈可以包括音效、嘟嘟声等。作为另一个例子，声音反馈可以是基于对应于引导UI 10的脚本20作为声音信号输出的反馈。例如，参考图9，处理器120可以提供声音反馈以输出作为声音信号的“您按错了按钮，请再次按下显示按钮”。
返回图1，根据示例实施例的电子装置100还可以包括通信器(例如，包括通信电路)(未示出)，并且处理器120可以控制通信器向服务器发送用户输入。如果从服务器接收到对应于用户输入的文本，则处理器120可以基于该文本获取多个操作信息和顺序信息。可以基于电子装置100的手册和MRC模型来获取文本。下面将参照图10对此进行详细描述。
图10是图示根据实施例的与服务器通信的示例电子装置的图。
参考图10，电子装置100可以与服务器200通信。处理器120可以向服务器200发送用户输入，并从服务器200接收对应于用户输入的文本。服务器200可以包括根据基于电子装置100的文档、手册或指令手册的MRC模型的多个问答数据集，但是这仅仅是示例，并且问题和对应于该问题的答案不一定成对出现。例如，服务器200可以通过对用户输入执行NLP来获取关键词、主题等，并且基于获取的关键词、主题等从搜索结果中获取对应于用户输入的文本(或答案)。
图2是示出根据实施例的图1的示例电子装置的示例配置的框图。
参考图2，根据实施例的电子装置100可以包括显示器110、处理器(例如，包括处理电路)120、通信器(例如，包括通信电路)130、存储器140、用户接口(例如，包括用户接口电路)150、输入和输出接口(例如，包括输入和输出电路)160、麦克风170和扬声器180。将不进一步描述与图1的配置重叠的图2的配置。
处理器120可以包括各种处理电路，并且使用存储在存储器140中的各种程序来控制电子装置100的整体操作。
处理器120包括随机存取存储器(RAM)121、只读存储器(ROM)122、主CPU 123、第一至第N接口124-1至124-N和总线135。
这里，RAM 121、ROM 122、主CPU 123、第一至第N接口124-1至124-N等可以通过总线125互连。
ROM 122存储用于引导系统等的命令集。当输入打开命令并供电时，主CPU 133根据存储在ROM 132中的指令将存储在存储器140中的O/S复制到RAM 121，执行O/S以引导系统。当引导完成时，主CPU可以将存储在存储器中的各种程序复制到RAM 121，执行复制到RAM 121的程序，并执行各种操作。
主CPU123访问存储器140，并使用存储在存储器140中的操作系统(OS)执行引导。此外，CPU 123使用存储在存储器140中的各种程序等来执行各种操作。
第一到第n接口124-1到124-n连接到上述各种元件。接口之一可以是通过网络连接到外部设备的网络接口。
处理器120可以执行图形处理功能(视频处理功能)。例如，处理器120可以使用计算器(未示出)和渲染器(未示出)生成包括诸如图标、图像、文本等各种对象的屏幕。这里，计算器(未示出)可以基于接收到的控制命令，根据屏幕的布局来计算要由每个对象显示的属性值，例如坐标值、形状、大小和颜色。渲染器(未示出)可以基于由计算器(未示出)计算的属性值来生成包括对象在内的各种布局的显示屏。处理器120可以对视频数据执行各种图像处理，例如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。
处理器120可以执行音频数据的处理。例如，处理器120可以对音频数据执行各种图像处理，例如但不限于解码、放大、噪声滤波等。
通信器130可以包括各种通信电路，并且被配置为根据各种通信类型与各种类型的其他外部设备通信。通信接口130包括各种模块，每个模块包括各种通信电路，例如但不限于Wi-Fi模块131、蓝牙模块132、红外通信模块133、无线通信模块134、有线通信模块135等。每个通信模块可以实现为至少一种硬件芯片格式。
处理器120可以使用通信器130与各种外部设备通信。外部设备可以包括例如但不限于诸如TV的显示设备、诸如机顶盒的图像处理设备、外部服务器、诸如遥控器的控制设备、诸如蓝牙扬声器的音频输出设备、照明设备、智能吸尘器、诸如智能冰箱的家用电器、诸如物联网(IOT)家庭管理器的服务器等。
Wi-Fi模块131和蓝牙模块132分别使用Wi-Fi方法和蓝牙方法执行通信。当使用Wi-Fi模块131或蓝牙模块132时，可以首先发送和接收诸如服务集标识符(SSID)和会话密钥的各种连接信息，并且可以在通信连接之后发送通信信息。
红外线通信模块133根据红外数据协会(IrDA)技术执行通信，该红外数据协会技术使用可见光和毫米波之间的红外线向局部区域无线传输数据。
除了上述Wi-Fi模块131和蓝牙模块132之外，无线通信模块134可以指例如根据各种通信标准执行通信的模块，所述各种通信标准例如是Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第四代(4G)、第五代(5G)等。
通信器130可以包括使用成对电缆、同轴电缆、光缆等执行通信的局域网(LAN)模块、以太网模块或有线通信模块中的至少一个。
根据实施例，通信器130可以使用相同的通信模块(例如，Wi-Fi模块)来与诸如遥控器和外部服务器的外部设备通信。
根据另一示例，通信器130可以利用不同的通信模块(例如，Wi-Fi模块)来与诸如遥控器和外部服务器的外部设备通信。例如，通信接口130可以使用以太网模块或Wi-Fi模块中的至少一个来与外部服务器通信，并且可以使用蓝牙(BT)模块来与诸如遥控器的外部设备通信。然而，这仅仅是示例，并且当与多个外部设备或外部服务器通信时，通信器130可以使用各种通信模块中的至少一个通信模块。
根据示例，电子装置100可以进一步包括调谐器和解调器。
调谐器(未示出)可以通过调谐用户选择的频道或所有预存频道来从通过天线接收的(RF)广播信号中接收RF广播信号。
解调器(未示出)可以接收和解调由调谐器转换的数字中频(DIF)信号，并执行频道解码等。
存储器140可以实现为包括在处理器120中的内部存储器，例如ROM(例如电可擦除可编程只读存储器(EEPROM))、RAM等，或者与处理器130分离的存储器。在这种情况下，存储器140可以根据数据存储用途被实现为嵌入在电子装置100中的存储器类型，或者可从电子装置100拆卸的存储器类型。例如，用于驱动电子装置100的数据可以存储在嵌入在电子装置100中的存储器中，并且用于扩展电子装置100的数据可以存储在可从电子装置100拆卸的存储器中。嵌入在电子装置100中的存储器可以是：易失性存储器，例如但不限于动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、同步动态随机存取存储器(SDRAM)；或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器、固态驱动器(SSD)等。在存储器可拆卸地安装到电子装置100的情况下，存储器可以实现为例如但不限于存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(micro-SD)、迷你安全数字(mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、可连接到USB端口的外部存储器(例如，USB存储器)等。
用户接口150可以包括各种用户接口电路，并且被实现为例如但不限于按钮、触摸板、鼠标和键盘的设备，或者被实现为能够执行上述显示功能和也操纵输入功能的触摸屏。按钮可以是在电子装置100的主体的任意区域(例如前表面部分、侧表面部分和后表面部分)中形成的各种类型的按钮，例如机械按钮、触摸垫、滚轮等。
输入和输出接口160可以包括各种输入/输出电路，并且是例如但不限于高清晰度多媒体接口(HDMI)、移动高清晰度链路(MHL)、通用串行总线(USB)、显示端口(DP)、迅雷、视频图形阵列(VGA)端口、RGB端口、D-超小型(D-SUB)、数字视觉接口(DVI)等中的至少一个接口。
输入和输出接口160可以输入和输出语音信号和视频信号中的至少一个。
根据实施例，输入和输出接口160可以包括用于仅输入和输出语音信号的端口和用于仅输入和输出视频信号的端口作为单独的端口，或者可以被实现为用于输入和输出语音信号和视频信号的一个端口。
电子装置100可以被实现为不包括显示器的装置，并且将视频信号发送到单独的显示设备。
电子装置100可以从包括麦克风的外部设备接收用户语音信号。在这个例子中，接收的用户语音信号可以是数字语音信号，但是根据实施例，该信号可以是模拟语音信号。例如，电子装置100可以通过诸如蓝牙或Wi-Fi方法的无线通信方法接收用户语音信号。外部设备可以实现为遥控设备或智能手机。
电子装置100可以将相应的语音信号发送到外部服务器，用于从外部设备接收的语音信号的语音识别。
用于与外部设备和外部服务器通信的通信模块可以单独实现。例如，可以通过蓝牙模块执行与外部设备的通信，并且可以通过以太网调制解调器或Wi-Fi模块执行与外部服务器的通信。
根据实施例的电子装置100可以将接收到的数字语音信号发送到语音识别服务器。在这种情况下，语音识别服务器可以使用语音到文本转换(STT)将用户输入转换成文本信息。语音识别服务器可以向另一服务器或电子装置发送文本信息，以执行对应于文本信息的搜索，并且在某些情况下，执行直接搜索。
根据另一实施例的电子装置100可以将语音到文本转换(STT)功能直接应用于用户输入以转换成文本信息，并将转换后的文本信息发送到外部服务器。
电子装置100还可以包括麦克风170。麦克风170可以指例如接收用户语音或其他声音并将接收到的声音转换成音频数据的元件。
麦克风170可以在活动状态下接收用户语音。例如，麦克风170可以整体形成为电子装置100的上侧、前侧方向、侧方向等上的整体单元。麦克风可以包括各种配置，例如用于以模拟格式收集用户语音的麦克风、用于放大所收集的用户语音的放大器电路、用于对放大的用户语音进行采样以转换成数字信号的音频-数字(A/D)转换电路、用于从转换后的数字信号中去除噪声元素的滤波电路等。
根据另一实施例，电子装置100可以从具有麦克风的外部设备(未示出)接收用户语音。例如，外部设备可以用包括但不限于麦克风的遥控设备(遥控器)来实现。当遥控设备(遥控器)通过麦克风接收到用户的模拟语音信号时，遥控设备(遥控器)可以将模拟语音信号转换成数字语音信号。遥控设备(遥控器)可以使用红外、Wi-Fi或蓝牙通信中的至少一种将转换后的数字语音信号发送到电子装置100。当从外部设备接收到数字语音信号时，电子装置100可以基于接收到的数字语音信号执行语音识别，并且基于语音识别结果执行控制操作。根据另一实施例，遥控设备(遥控器)可以对数字语音信号执行语音识别操作，并且将对应于语音识别结果的信息发送到电子装置100。对应于语音识别结果的信息可以是语音识别结果本身或对应于语音识别结果的控制命令中的至少一个。
根据又一实施例，外部设备可以被实现为包括麦克风的智能手机。在该示例中，智能手机可以使用用于执行预先安装的遥控功能的遥控应用来遥控电子装置100。
如果通过麦克风接收到用户的模拟语音信号，智能手机可以将模拟语音信号转换成数字语音信号。在这个例子中，智能手机可以使用语音识别应用对数字语音信号执行语音识别。这里，语音识别应用可以与上述遥控应用相同或不同。当对数字语音信号执行语音识别时，智能手机可以基于语音识别结果使用遥控应用来遥控电子装置100。根据另一实施例，智能手机可以使用红外线、Wi-Fi或蓝牙通信方法中的至少一种将转换后的数字语音信号发送到电子装置100。在这种情况下，当从外部设备接收到数字语音信号时，电子装置100可以基于接收到的数字语音信号执行语音识别，并且基于语音识别结果执行控制操作。
扬声器180可以被配置为输出各种通知声音或语音消息以及由输入和输出接口160处理的各种音频数据。
图11是示出根据实施例的用于控制电子装置的示例方法的流程图。
在操作S1110中，根据实施例的控制电子装置的方法基于机器阅读理解模型(MRC)获取对应于用户输入的文本。
通过以电子装置的操作单元来划分文本，在操作S1120中获取多个操作信息。
在操作S1130中，基于多个操作信息和获取的文本获取多个操作信息的顺序信息。
在操作S1140中，提供用于基于顺序信息顺序执行多个操作的引导UI。
这里，操作单元可以指例如基于需要用户触摸输入的上下文的单元。
根据示例实施例的控制电子装置的方法可以包括获取电子装置的当前设置状态信息的操作，并且在操作S1130中获取顺序信息的操作可以包括基于当前设置状态信息在多个操作信息中识别电子装置中先前执行的至少一个操作信息；以及基于除了所识别的操作信息之外的剩余操作信息来获取顺序信息。
根据示例实施例，该方法可以包括获取电子装置的当前设置状态信息；以及除了基于当前设置状态信息的多个操作信息之外，获取执行对应于所获取的文本的功能所需的附加操作信息，并且在操作S1130中获取顺序信息的步骤可以包括基于多个操作信息和附加操作信息获取顺序信息。
在操作S1140中提供引导UI的操作可以包括:根据顺序信息，基于与执行多个操作信息中的第一操作信息所需的触摸输入相关的信息，提供第一引导UI；以及当基于对应于第一引导UI的触摸输入改变电子装置的上下文时，基于与基于改变的上下文和顺序信息执行多个操作信息中的第二操作信息所需的触摸输入相关的信息，提供第二引导UI。
与触摸输入相关的信息可以包括触摸输入的位置或触摸类型中的至少一个。
根据实施例的MRC模型可以包括用于通过基于包括在电子装置的手册中的多个句子执行NLP来获取问题的QG模型和用于获取对应于所获取的问题的答案的QA模型。
在操作S1110中获取文本的操作可以包括向服务器发送用户输入，并且可以基于电子装置的手册和MRC模型来获取文本。
根据实施例的方法可以基于识别出用户的触摸输入的位置或触摸类型中的至少一个不对应于引导UI，包括提供视觉反馈或声音反馈中的至少一个。
根据如上所述的各种示例实施例的方法可以实现为可以安装在电子装置中的应用格式。
根据如上所述的各种示例实施例的方法可以通过电子装置的软件升级和/或硬件升级来实现。
如上所述的各种示例实施例可以通过电子装置中提供的嵌入式服务器或电子装置的外部服务器来执行。
根据本公开，如上所述的各种示例实施例可以用包括存储在机器(例如，计算机)可读的机器可读存储介质中的指令的软件来实现。根据各种示例实施例，装置可以从存储介质调用指令并根据所调用的指令进行操作，并且可以包括电子装置(例如，电子装置A)。当处理器执行指令时，处理器可以使用其他组件直接或在处理器的控制下执行对应于该指令的功能。指令可以包括由编译器生成的代码或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。
根据本公开的各种示例实施例，可以以计算机程序产品来提供一种方法。计算机程序产品可以作为商品在卖方和买方之间交换。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时或至少临时存储在存储介质中，例如制造商的服务器、应用商店的服务器或中继服务器的存储器。
根据各种示例实施例的每个元件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上述子元件的一些子元件，这些元件可以进一步包括在各种实施例中。替代地或附加地，一些元件(例如，模块或程序)可以被集成到一个实体中，以在集成之前执行由每个相应元件执行的相同或相似的功能。根据各种实施例，由模块、程序或其他元件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者至少一些操作可以以不同的顺序执行、省略或添加其他操作。
虽然已经参照附图图示和描述了各种实施例，但是本公开不限于示例性实施例或附图，并且本领域普通技术人员将理解，在不脱离包括例如以下权利要求及其等同物的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，包括:
显示器；和
处理器，被配置为控制所述电子装置以:
基于机器阅读理解(MRC)模型获取对应于输入的文本，
通过将文本分成电子装置的操作单元来获取多个操作信息，
基于所述多个操作信息和所获取的文本来获取所述多个操作信息的顺序信息，以及
控制所述显示器以提供引导用户界面(UI)来基于所述顺序信息顺序执行所述多个操作。
2.根据权利要求1所述的电子装置，其中，所述操作单元基于需要触摸输入的上下文。
3.根据权利要求1所述的电子装置，其中，所述处理器还被配置为控制所述电子装置以:
获取电子装置上的当前设置状态信息，
基于所述当前设置状态信息，在所述多个操作信息中识别在所述电子装置中预先执行的至少一个操作信息，并且基于除了所识别的操作信息之外的剩余操作信息来获取所述顺序信息。
4.根据权利要求1所述的电子装置，其中，所述处理器还被配置为控制所述电子装置以:
获取电子装置的当前设置状态信息，
基于所述当前设置状态信息，除了所述多个操作信息之外，还获取执行与所获取的文本相对应的功能所需的附加操作信息，以及
基于多个操作信息和附加操作信息获取顺序信息。
5.根据权利要求1所述的电子装置，其中，所述处理器还被配置为控制所述电子装置以:
基于所述顺序信息，提供基于与执行所述多个操作信息中的第一操作信息所需的触摸输入相关的信息的第一引导UI，
基于基于对应于第一引导UI的触摸输入而改变的电子装置的上下文，控制显示器提供基于与基于改变的上下文和顺序信息在多个操作信息中执行第二操作信息所需的触摸输入相关的信息的第二引导UI。
6.根据权利要求5所述的电子装置，其中，与触摸输入相关的信息包括触摸输入的位置或触摸类型中的至少一个。
7.根据权利要求1所述的电子装置，其中，所述MRC模型包括被配置为获取问题的问题生成(QG)模型和被配置为通过基于包括在所述电子装置的手册中的多个句子执行自然语言处理(NLP)来获取对应于所获取的问题的答案的问题答案(QA)模型。
8.根据权利要求1所述的电子装置，进一步包括:
通信器，包括通信电路；
其中所述处理器还被配置成控制所述电子装置以:
控制所述通信器将所述输入发送到服务器，以及
基于从所述服务器接收对应于所述输入的文本，基于所接收的文本获取所述多个操作信息和所述顺序信息，以及
其中所获取的文本是基于电子装置的手册和MRC模型的。
9.根据权利要求1所述的电子装置，其中所述处理器还被配置为基于触摸输入的位置或触摸类型中的至少一个不对应于所述引导UI的识别，控制所述电子装置提供视觉反馈或声音反馈中的至少一个。
10.根据权利要求1所述的电子装置，其中，所述处理器还被配置为控制所述电子装置以:
提供用于选择手动模式或自动模式中的任何一种的UI，以及
基于选择自动模式，通过执行对应于引导UI的触摸输入功能来顺序地执行多个操作。
11.根据权利要求10所述的电子装置，其中，所述处理器还被配置为控制所述电子装置执行对应于所述引导UI的触摸输入功能，并提供指示执行所述触摸输入功能的视觉反馈。
12.一种控制电子装置的方法，该方法包括:
基于机器阅读理解(MRC)模型获取对应于输入的文本；
通过将文本分成电子装置的操作单元来获取多个操作信息；
基于所述多个操作信息和所获取的文本来获取所述多个操作信息的顺序信息；和
提供引导用户界面(UI)以基于所述顺序信息顺序执行所述多个操作。
13.根据权利要求12所述的方法，其中所述操作单元基于需要触摸输入的上下文。
14.根据权利要求12所述的方法，包括:
获取电子装置上的当前设置状态信息，
其中获取顺序信息包括:
基于当前设置状态信息，在多个操作信息中识别在电子装置中预先执行的至少一个操作信息；和
基于除了所识别的操作信息之外的剩余操作信息来获取顺序信息。
15.根据权利要求12所述的方法，包括:
获取电子装置的当前设置状态信息；和
基于当前设置状态信息，除了所述多个操作信息之外，还获取执行与所获取的文本相对应的功能所需的附加操作信息，
其中获取顺序信息包括基于多个操作信息和附加操作信息获取顺序信息。
CN202080007414.0A 2019-03-13 2020-03-09 电子装置及其控制方法 Pending CN113227962A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190028524A KR20200109467A (ko) 2019-03-13 2019-03-13 전자 장치 및 그 제어 방법
KR10-2019-0028524 2019-03-13
PCT/KR2020/003252 WO2020184935A1 (en) 2019-03-13 2020-03-09 Electronic apparatus and method for controlling thereof

Publications (1)

Publication Number Publication Date
CN113227962A true CN113227962A (zh) 2021-08-06

Family

ID=72424239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007414.0A Pending CN113227962A (zh) 2019-03-13 2020-03-09 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11822768B2 (zh)
EP (1) EP3867742A4 (zh)
KR (1) KR20200109467A (zh)
CN (1) CN113227962A (zh)
WO (1) WO2020184935A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651115A (zh) * 2020-06-03 2020-09-11 北京小米移动软件有限公司 数值选择方法及装置、终端设备、存储介质
KR20220071410A (ko) * 2020-11-24 2022-05-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11687583B2 (en) * 2021-05-24 2023-06-27 Samsung Eleotronicc Co., Ltd Information retrieval system and method of information retrieval

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107800866A (zh) * 2016-08-30 2018-03-13 三星电子株式会社 答复提供方法及支持答复提供方法的电子装置
US20180176688A1 (en) * 2016-12-20 2018-06-21 Samsung Electronics Co., Ltd. Content output system, display apparatus and control method thereof
KR20180116725A (ko) * 2017-04-17 2018-10-25 삼성전자주식회사 음성 인식 서비스의 운용 화면 표시 방법 및 이를 지원하는 전자 장치
US20190019078A1 (en) * 2017-07-12 2019-01-17 Minds Lab., Inc. Apparatus and method for distributing a question

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09146671A (ja) 1995-11-17 1997-06-06 Oki Electric Ind Co Ltd 無人化機器の操作ガイダンス表示方法
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
JP3705735B2 (ja) 2000-08-29 2005-10-12 シャープ株式会社 オンデマンド・インタフェース装置とそのウィンドウ表示装置
JP2002230985A (ja) * 2001-02-06 2002-08-16 Sharp Corp 不揮発性半導体記憶装置及びその制御方法
US7162387B2 (en) * 2001-06-29 2007-01-09 National Instruments Corporation Measurement system graphical user interface for easily configuring measurement applications
US8924408B2 (en) * 2001-09-28 2014-12-30 International Business Machines Corporation Automatic generation of database invocation mechanism for external web services
JP3964656B2 (ja) 2001-11-14 2007-08-22 沖電気工業株式会社 電子機器操作手順サービスシステム，これに用いるサーバ，電子機器
JP2005107583A (ja) 2003-09-26 2005-04-21 Toshiba Corp 機器操作ガイダンス装置
US7386436B2 (en) * 2003-12-22 2008-06-10 Inmedius, Inc. Viewing system that supports multiple electronic document types
JP2006293544A (ja) * 2005-04-07 2006-10-26 Fanuc Ltd 数値制御システム
JP4459123B2 (ja) * 2005-07-14 2010-04-28 キヤノン株式会社 情報処理装置及びユーザインターフェース制御方法
US20070118514A1 (en) * 2005-11-19 2007-05-24 Rangaraju Mariappan Command Engine
US8589523B2 (en) * 2006-08-08 2013-11-19 Sharp Laboratories Of America, Inc. Personalized assistance with setup of a media-playing set
US7757013B1 (en) * 2006-10-20 2010-07-13 Emc Corporation Techniques for controlling data storage system performance
US8280935B2 (en) * 2006-12-12 2012-10-02 Casio Computer Co., Ltd. Graphing calculation apparatus and controlling method of graphing calculation apparatus
US20080195946A1 (en) * 2007-02-13 2008-08-14 Cadence Design Systems, Inc. Online personal coach for software applications
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US20130215116A1 (en) * 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ｕｉ 제공방법 및이를 적용한 촬영장치
JP4383496B1 (ja) * 2008-09-29 2009-12-16 Ｎｅｃエレクトロニクス株式会社 マイクロコンピュータ及びその命令実行方法
US9569231B2 (en) * 2009-02-09 2017-02-14 Kryon Systems Ltd. Device, system, and method for providing interactive guidance with execution of operations
US20100221686A1 (en) * 2009-02-27 2010-09-02 Lanita Kay Johnson Educational board game
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
US9098313B2 (en) * 2009-08-24 2015-08-04 Kryon Systems Ltd. Recording display-independent computerized guidance
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
US8332752B2 (en) * 2010-06-18 2012-12-11 Microsoft Corporation Techniques to dynamically modify themes based on messaging
JP5323103B2 (ja) * 2010-09-03 2013-10-23 三菱電機株式会社 グラフィカルユーザインタフェース装置
US8311993B2 (en) * 2010-09-10 2012-11-13 International Business Machines Corporation Controlling and recovering long-lived transactions
KR20120090149A (ko) 2011-02-04 2012-08-17 박지영 사용자 매뉴얼과 단말기 환경 설정 메뉴를 연동한 단말기 환경 설정 방법
JP5676318B2 (ja) 2011-03-10 2015-02-25 株式会社オプティム 端末のリモートサポートシステム、リモートサポート方法
JP5673330B2 (ja) * 2011-04-25 2015-02-18 株式会社デンソー 音声入力装置
CN103748541B (zh) * 2011-06-07 2016-10-12 松下电器（美国）知识产权公司 被支援装置、支援装置、设备间向导系统、记录介质、以及集成电路
US20130061138A1 (en) * 2011-08-31 2013-03-07 Scott L. SPECTOR Method and system for creating a step-by-step instruction guide
US8610835B2 (en) * 2011-12-07 2013-12-17 Sony Corporation Controlling display settings using mobile device
KR101630812B1 (ko) * 2011-12-23 2016-06-27 주식회사 케이티 단말 가이드와 결합되는 휴대 단말 및 자동 환경 설정 방법
US9389872B2 (en) * 2012-03-16 2016-07-12 Vmware, Inc. Software wizard implementation framework
US9348899B2 (en) * 2012-10-31 2016-05-24 Open Text Corporation Auto-classification system and method with dynamic user feedback
US9152304B2 (en) * 2012-12-31 2015-10-06 General Electric Company Systems and methods for virtual control of a non-destructive testing system
US9565226B2 (en) * 2013-02-13 2017-02-07 Guy Ravine Message capturing and seamless message sharing and navigation
US9460155B2 (en) * 2013-03-06 2016-10-04 Kunal Verma Method and system of continuous contextual user engagement
KR102199374B1 (ko) 2013-10-15 2021-01-06 엘지전자 주식회사 공기조화기 및 그 동작방법
US9697522B2 (en) * 2013-11-01 2017-07-04 Plantronics, Inc. Interactive device registration, setup and use
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
TWI566107B (zh) * 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
CN104166498B (zh) 2014-07-08 2018-02-23 惠州Tcl移动通信有限公司 显示用户说明书的方法及移动终端
US10235633B2 (en) * 2014-12-19 2019-03-19 Medidata Solutions, Inc. Method and system for linking heterogeneous data sources
US10893851B2 (en) * 2015-05-07 2021-01-19 Koninklijke Philips N.V. System and method for motion compensation in medical procedures
US10467268B2 (en) * 2015-06-02 2019-11-05 International Business Machines Corporation Utilizing word embeddings for term matching in question answering systems
JP6133460B1 (ja) 2016-02-16 2017-05-24 ソフトバンク株式会社 操作支援システム、操作支援プログラム及び操作支援方法
US10623443B2 (en) * 2016-07-08 2020-04-14 Ulrich Lang Method and system for policy management, testing, simulation, decentralization and analysis
KR101842362B1 (ko) 2016-09-01 2018-03-26 성균관대학교산학협력단 인공 신경망 기반의 문단 생성 방법 및 장치
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
KR102366617B1 (ko) * 2017-03-28 2022-02-23 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US20180300407A1 (en) * 2017-04-13 2018-10-18 Runtime Collective Limited Query Generation for Social Media Data
KR102388539B1 (ko) * 2017-04-30 2022-04-20 삼성전자주식회사 사용자 발화를 처리하는 전자 장치
KR102314683B1 (ko) * 2017-07-12 2021-10-20 삼성전자주식회사 광 커넥터 및 디스플레이 장치의 제어방법
US20200020060A1 (en) * 2017-09-21 2020-01-16 Christopher Avery Systems, methods, and interfaces for collecting, organizing and conveying information and preferences regarding end-of-life issues
US10466962B2 (en) * 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CN110020010A (zh) * 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、装置及电子设备
US10481752B2 (en) * 2017-10-25 2019-11-19 Verizon Patent And Licensing Inc. Method and device for a guided application to enhance a user interface
KR102102388B1 (ko) * 2017-11-20 2020-04-21 주식회사 마인즈랩 학습 문장 생성 시스템 및 이를 이용한 유사 문장 생성 방법
US20190156220A1 (en) * 2017-11-22 2019-05-23 Microsoft Technology Licensing, Llc Using machine comprehension to answer a question
US20190164556A1 (en) * 2017-11-30 2019-05-30 Dean Weber Master-slave personal digital assistant data and knowledge exchange system and method
JP2019105868A (ja) 2017-12-08 2019-06-27 エヌ・ティ・ティ・コムウェア株式会社 入力支援装置、入力支援方法、及びプログラム
US20190213480A1 (en) * 2018-01-11 2019-07-11 Electronics And Telecommunications Research Institute Personalized question-answering system and cloud server for private information protection and method of providing shared neural model thereof
US10997221B2 (en) * 2018-04-07 2021-05-04 Microsoft Technology Licensing, Llc Intelligent question answering using machine reading comprehension
EP3773301B1 (en) * 2018-04-13 2024-03-06 Karl Storz SE & Co. KG Guidance system and associated computer program
US20200250608A1 (en) * 2019-01-31 2020-08-06 Dell Products L.P. Providing feedback by evaluating multi-modal data using machine learning techniques
US11262711B2 (en) * 2019-12-18 2022-03-01 K4Connect Inc. Home automation (HA) system including virtual assistant audible notification based upon learned device operational pattern and related methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107800866A (zh) * 2016-08-30 2018-03-13 三星电子株式会社 答复提供方法及支持答复提供方法的电子装置
US20180176688A1 (en) * 2016-12-20 2018-06-21 Samsung Electronics Co., Ltd. Content output system, display apparatus and control method thereof
KR20180116725A (ko) * 2017-04-17 2018-10-25 삼성전자주식회사 음성 인식 서비스의 운용 화면 표시 방법 및 이를 지원하는 전자 장치
US20190019078A1 (en) * 2017-07-12 2019-01-17 Minds Lab., Inc. Apparatus and method for distributing a question

Also Published As

Publication number Publication date
KR20200109467A (ko) 2020-09-23
EP3867742A4 (en) 2021-12-15
EP3867742A1 (en) 2021-08-25
US11822768B2 (en) 2023-11-21
US20200293168A1 (en) 2020-09-17
WO2020184935A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN108829235B (zh) 语音数据处理方法和支持该方法的电子设备
KR102411619B1 (ko) 전자 장치 및 그 제어 방법
KR102527082B1 (ko) 디스플레이장치 및 그 제어방법
CN113227962A (zh) 电子装置及其控制方法
US11631413B2 (en) Electronic apparatus and controlling method thereof
US11961506B2 (en) Electronic apparatus and controlling method thereof
KR102218640B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US11399216B2 (en) Electronic apparatus and controlling method thereof
US11710498B2 (en) Electronic device and control method therefor
US11159838B2 (en) Electronic apparatus, control method thereof and electronic system
KR20220143622A (ko) 전자 장치 및 그 제어 방법
US20210360312A1 (en) Content playback device using voice assistant service and operation method thereof
CN113160808B (zh) 一种语音控制方法及其系统、语音控制设备
KR102093353B1 (ko) 서비스 제공 장치 및 방법
US20240161752A1 (en) Electronic apparatus and controlling method thereof
US20230180001A1 (en) Electronic apparatus and controlling method thereof
US20240205509A1 (en) Display device and operating method therefor
KR20240069443A (ko) 전자 장치 및 그 제어 방법
KR20240028164A (ko) 전자 장치 및 그 ui 제공 방법
KR20210042277A (ko) 음성 처리 방법 및 장치
KR20200001192A (ko) 전자 장치, 이의 모바일 장치 제어 방법 및 컴퓨터 판독가능 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination