CN111095892B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN111095892B
CN111095892B CN201880055363.1A CN201880055363A CN111095892B CN 111095892 B CN111095892 B CN 111095892B CN 201880055363 A CN201880055363 A CN 201880055363A CN 111095892 B CN111095892 B CN 111095892B
Authority
CN
China
Prior art keywords
user
artificial intelligence
guest
electronic device
intelligence assistant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880055363.1A
Other languages
English (en)
Other versions
CN111095892A (zh
Inventor
尹畅培
金定仁
吴世元
赵效莹
金庆来
金熙净
梁铉真
车智媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202210639432.1A priority Critical patent/CN115016708A/zh
Priority claimed from PCT/KR2018/010921 external-priority patent/WO2019054827A1/ko
Publication of CN111095892A publication Critical patent/CN111095892A/zh
Application granted granted Critical
Publication of CN111095892B publication Critical patent/CN111095892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

公开一种电子装置及其控制方法。所公开的电子装置包括输入部、通信部、处理器以及存储器，其中存储器可以包括用于处理器的指令，用于控制通信部在发生了用于请求配置其中可以使用另一电子装置的人工智能助手功能的第一模式的事件时向另一个电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息，用于控制通信部响应于所述请求通过通信部从另一电子装置接收识别信息，并且如果在人工智能助手的第一模式的操作期间接收到用户命令，则基于识别信息将用户命令发送到另一电子装置。

Description

电子装置及其控制方法
技术领域
本公开涉及一种利用人工智能助手的方法，并且更具体地说，涉及一种在外部装置中提供使用人工智能助手功能的访客模式的电子装置及其控制方法。
背景技术
除了使用键盘或鼠标的传统输入方法外，最近的电子装置还可以支持诸如语音输入的各种输入方法。例如，诸如智能电话、平板计算机和人工智能扬声器的电子装置可以在执行语音辨识服务时辨识用户语音输入，并且执行对应于语音输入的操作或提供对应于语音输入的搜索结果。
语音辨识功能是基于处理自然语言的技术而开发的。处理自然语言的技术是识别用户话语的意图并向用户提供适合意图的结果的技术。
近来，各公司正在提供基于这样的语音辨识功能的人工智能助手功能。
人工智能系统是一种系统，与传统的基于规则的智能系统不同，人工智能系统中机器可以自己学习、进行判断和变得更加智能。人工智能系统随着其被使用得越多，表现出更高的识别率，并且变得能够更正确地理解用户偏好。因此，传统的基于规则的智能系统逐渐被基于深度学习的人工智能系统所取代。
人工智能技术包括机器学习(例如，深度学习)和利用机器学习的基本技术。
机器学习是指通过机器自身对输入数据的特性进行分类/学习的算法技术，并且基本技术是指通过使用机器学习算法(诸如深度学习)来模拟人脑的功能(诸如认知和确定)的技术，并且包括诸如语言理解、视觉理解、推断/预测、知识表示和操作控制的技术领域。
人工智能技术应用的各个领域的示例如下。语言理解是指辨识人类的语言/文字并对其进行应用/处理的技术，包括自然话音处理、机器翻译、通信系统、查询和应答、语音辨识/合成等。视觉理解是指以类似于人类视觉的方式辨识对象并对其进行处理的技术，包括对象的辨识、对象的跟踪、图像的搜索、人的辨识、场景的理解、空间的理解、图像的改善等。推断/预测是指确定出信息然后进行逻辑推断和预测的技术，包括基于知识/概率的推断、优化预测、基于偏好的计划、推荐等。知识表示是指将人类的经验信息自动处理为知识数据的技术，包括知识建构(数据生成/分类)、知识管理(数据利用)等。操作控制是指控制车辆的自主驾驶和机器人的移动的技术，包括移动控制(导航、碰撞、驾驶)、操作控制(行为控制)等。
发明内容
技术问题
传统的人工智能助手功能可以在用户先前注册的装置上执行。因此，存在的一个不便是，用户无法在用户先前未设置的装置或另一人的装置上连续使用适合用户的人工智能助手功能。
另外，存在的一个不便是，用户无法在使用与用户使用的人工智能助手功能不同的人工智能助手功能的装置上使用用户的人工智能助手功能。
本公开提出一种方法，通过该方法，用户可以在用户先前未设置的装置或另一人的装置上使用用户先前使用的人工智能助手功能。此外，本公开旨在提出一种方法，通过该方法，用户可以在提供与用户使用的人工智能助手不同的人工智能助手的装置上使用用户的人工智能助手功能。
技术解决方案
根据本公开的实施方式的电子装置包括输入部、通信部、处理器、存储器，其中存储器可以包括用于处理器的指令，用于控制通信部基于发生用于请求配置其中可以使用另一电子装置的人工智能助手功能的第一模式的事件，向另一电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息，以及响应于请求，通过通信部从另一电子装置接收识别信息，以及基于在人工智能助手的第一模式的操作期间接收到的用户命令，基于识别信息来将用户命令发送到另一电子装置。
另外，根据本公开的实施方式的电子装置包括显示器、通信部、处理器以及存储器，其中存储器可以包括用于处理器指令，基于用于请求发送用于使用通过通信部接收到的人工智能助手功能的、包括呼叫词的识别信息的信号，控制显示器以显示用于请求对发送识别信息进行用户确认的用户界面，以及作为通过用户界面的用户确认的结果来将识别信息发送到另一电子装置。
根据本公开的实施方式的电子装置的控制方法可以包括以下步骤：检测用于请求配置第一模式的事件的发生，在第一模式中可以使用另一电子装置的人工智能助手功能；以及基于检测到用于请求配置第一模式的事件的发生，向另一电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息；响应于请求，从另一电子装置接收识别信息；以及基于在人工智能助手的第一模式的操作期间接收到用户命令，基于识别信息将用户命令发送到另一电子装置。
另外，根据本公开的实施方式的电子装置的控制方法可以包括以下步骤：接收用于请求发送用于使用人工智能助手功能的、包括呼叫词的识别信息的信号；以及基于接收到信号，在显示器上显示用于请求对发送识别信息进行用户确认的用户界面；以及作为用户确认的结果将识别信息发送到另一电子装置。
根据本公开的实施方式的计算机程序产品可以包括用于存储指令的记录介质，该指令配置成执行以下操作：检测用于请求配置其中可以使用另一电子装置的人工智能助手功能的第一模式的事件的发生；以及基于检测到用于请求配置第一模式的事件的发生，向另一电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息；响应于请求，从另一电子装置接收识别信息；以及基于在人工智能助手的第一模式的操作期间接收到用户命令，基于识别信息来将用户命令发送到另一电子装置。
根据本公开的实施方式的计算机程序产品可以包括用于存储指令的记录介质，该指令配置成执行以下操作：接收用于请求发送用于使用人工智能助手功能的、包括呼叫词的识别信息的信号；以及基于接收到信号，在显示器上显示用于请求对发送识别信息进行用户确认的用户界面；以及作为用户确认的结果将识别信息发送到另一电子装置。
发明效果
根据本公开的各种实施方式，用户变得能够在提供不同的人工智能助手功能的装置上使用用户所使用的人工智能助手功能。
另外，根据本公开的各种实施方式，用户变得能够在不是用户使用人工智能助手功能的装置的外部装置上使用适合用户的人工智能助手功能。
附图说明
图1a是用于示出根据本公开的实施方式设置人工智能助手功能中包括的访客模式的过程的示图；
图1b是用于示出根据本公开的实施方式通过使用用户装置来利用人工智能助手的访客模式的情况的示图；
图1c是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的情况的示图；
图1d是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的另一情况的示图；
图1e是用于示出根据本公开的实施方式终止人工智能助手的访客模式的情况的示图；
图2是用于示出根据本公开的实施方式访客装置生成通知人工智能助手功能中包括的访客模式的开始和终止的通知的情况的示图；
图3是用于示出根据本公开的实施方式用户装置请求用户认证以开始人工智能助手的访客模式的情况的示图；
图4是用于示出根据本公开的实施方式用户装置请求用户认证的各种情况的示图；
图5是根据本公开的实施方式的访客装置、用户装置和服务器的示意性框图；
图6是示出根据本公开的实施方式的访客装置向用户装置发送的识别信号的实施方式的示图；
图7是用于示出根据本公开的实施方式在用户装置和访客装置使用相同人工智能助手功能的情况下访客模式的利用的示图；
图8是示出根据本公开的实施方式用于执行人工智能助手功能的访客模式的方法的流程图；
图9a是示出根据本公开的实施方式通过使用用户装置来利用人工智能助手的访客模式的情况的流程图；
图9b是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的情况的流程图；
图9c是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的另一情况的示图；
图10是示出根据本公开的实施方式在访客装置和用户装置使用相同人工智能助手功能的情况下利用访客模式的情况的流程图；
图11a是示出根据本公开的实施方式通过使用访客装置来终止人工智能助手功能的情况的流程图；
图11b是示出根据本公开的实施方式通过使用用户装置来终止人工智能助手功能的情况的流程图；以及
图12是用于示出根据本公开的实施方式用于操作人工智能助手功能的方法的示图。
具体实施方式
根据本公开中描述的各种实施方式的电子装置可以是各种形式的装置。电子装置可以包括例如便携式通信装置(例如：智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器中的至少一个。然而，根据本公开的实施方式的电子装置不限于前述装置。
本公开的各种实施方式和在实施方式中使用的术语不用于将本公开中描述的技术限制为特定的实施方式，而是应当将它们解释为包括对实施方式的各种修改、等同和/或替代。同时，关于附图的详细描述，类似的元件可以用类似的附图标记表示。另外，除非上下文中明显不同地定义，否则单数表达可以包括复数表达。另外，在本公开中，表达“A或B”、“A和/或B中的至少一个”、“A、B或C”或“A、B和/或C中的至少一个”等可以包括所列项目的所有可能组合。另外，诸如“第一”、“第二”等的表达可以用于描述各种元件，而与任何顺序和/或重要性程度无关，并且仅用于将一个元件与另一个元件区分开，并且不旨在限制元件。另外，在本公开中关于一个元件(例如：第一元件)“与另一元件(例如：第二元件)(操作地或连通地)联接/(操作地或连通地)联接到”或“连接到”另一元件(例如：第二元件)的描述应被解释为包括其中一个元件直接联接到另一元件的情况以及其中一个元件通过又一元件(例如：第三元件)联接到另一元件的情况两者。
下文中，将参考附图描述本公开的各种实施方式。
图1a是用于示出根据本公开的实施方式设置人工智能助手功能中包括的访客模式的过程的示图。
根据本公开的实施方式的人工智能助手功能可以通过使用包括访客模式提供装置(在下文中称为访客装置)10或用户装置20中的至少一个的电子装置以及至少一个服务器15、25来实施。服务器15、25可以包括云服务器。然而，本公开不限于此。
电子装置可以包括访客装置10或用户装置20中的至少一个。另外，电子装置可以通过存储在电子装置内部的app(或应用程序)(例如，通知app、消息app、相册app等)提供用户所需的功能或服务。
例如，电子装置可以通过诸如存储在电子装置内部的语音辨识app的智能app来执行和操作另一app。另外，电子装置可以接收用于操作诸如语音辨识app的智能app的用户输入。可以例如通过物理按钮、触摸板、语音输入部、远程输入部等来接收用户输入。
根据本公开的实施方式，电子装置可以包括可以连接到互联网的各种类型的装置，诸如移动电话、智能电话、个人数字助手(PDA)、人工智能(AI)扬声器或笔记本计算机等。
另外，根据本公开的实施方式，电子装置可以接收用户话语作为用户输入。电子装置可以接收用户话语，并基于用户话语生成用于操作app的命令。因此，电子装置可以通过使用生成的命令来操作各种app。
另外，根据本公开的实施方式，服务器15、25可以通过第三装置30从电子装置接收用户语音的输入，并将语音改变为文本数据。第三装置可以是例如接入点(AP)、转发器、共享装置、网关或集线器中的至少一个。
根据本公开的各种实施方式，可以存在多个服务器15、25。例如，A服务器15可以是支持A人工智能助手功能的平台或制造商的服务器，而B服务器25可以是支持B人工智能助手功能的平台或制造商的服务器。然而，本公开不限于此。例如，可以通过使用多个服务器来实施A人工智能助手功能和B人工智能助手功能。
另外，根据本公开的各种实施方式，服务器15、25可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于用于执行app的功能的动作(或操作)的信息或关于执行动作所需的参数的信息。另外，路径规则可以包括app的动作顺序。电子装置可以接收路径规则，根据路径规则选择app，并且在所选择的app中执行包括在路径规则中的动作。
根据本公开的实施方式，服务器15、25可以包括其中存储了用户信息的数据库。服务器15、25可以从电子装置接收用户信息(例如，上下文信息、app执行信息等)，并将信息存储在数据库中。另外，在生成用于用户输入的路径规则的情况下，服务器15、25可以使用数据库中包括的信息。
另外，根据本公开的实施方式，服务器15、25可以包括数据库，其中存储了存储在电子装置中的功能或app的介绍或关于待提供的功能的信息。例如，服务器15、25可以通过使用用户信息来生成用户可以使用的功能的数据库。电子装置可以通过通信网络接收关于可以从服务器15、25提供的功能的信息，并将信息提供给用户。
根据本公开的各种实施方式，服务器15、25或电子装置可以包括通过学习来提高辨识能力的辨识模型(诸如自然语言理解模块、自然语言生成模块等)。在这种情况下，辨识模型可以是通过使用诸如机器学习、神经网络或深度学习算法的人工智能算法训练的模型。在这种情况下，人工智能算法可以用于辨识用户话语并将话语改变为文本数据的前述过程中。稍后将参考图12对此进行说明。
下文中，将参考图1a描述用于设置人工智能助手功能中包括的访客模式的方法。
人工智能助手功能的第一模式(例如，访客模式)可以意指例如这样的模式，其中使用不是用户拥有的电子装置的另一电子装置来执行在用户拥有的电子装置上使用的人工智能助手功能。也就是说，第一模式可以意指其中通过在不是用户拥有的访客装置10处控制用户装置20来使用在用户装置20处使用的人工智能助手功能的模式。
在这种情况下，访客装置10和用户装置20可以使用彼此不同的人工智能助手功能。例如，访客装置10可以使用与A服务器15互锁的A人工智能助手功能，而用户装置20可以使用与B服务器25互锁的B人工智能助手功能。
也就是说，用户可以通过访客模式在访客装置10处使用在用户装置20处使用的B人工智能助手功能。根据本公开的各种实施方式，A服务器15可以是在A制造商或A平台处生成的服务器，而B服务器25可以是在B制造商或B平台处生成的服务器。
根据本公开的实施方式，访客装置10可以通过通信网络从用户装置20或连接到用户装置20的B服务器25接收与用户使用的人工智能助手功能的数据或通过用户的使用而拟合于用户的语音助手数据有关的信息。
在动作①中，访客装置10可以从用户1接收用于请求配置访客模式的命令。例如，用户1可以说出请求配置访客模式。另外，访客装置10可以接收用户1的话语，并且通过使用诸如语音辨识app的智能app来辨识话语中包括的内容。
根据本公开的各种实施方式，访客装置10可以通过使用A服务器15来识别从用户1接收的命令中包括的内容。
例如，在动作②中，访客装置10可以将接收到的命令发送到第三装置30。另外，在动作②’中，A服务器15可以接收用户1的命令。A服务器15可以通过使用诸如语音辨识程序的智能程序来接收用户话语并辨识话语的内容。根据本公开的各种实施方式，访客装置10和服务器15、25可以直接形成网络，而无需使用第三装置30。
在动作③中，A服务器15可以将话语的内容发送到第三装置30。另外，在动作③’中，访客装置10可以接收用于请求配置访客模式的话语内容。
根据本公开的各种实施方式，在访客装置10通过使用诸如语音辨识app的智能app来辨识用户1的话语的情况下，可以省略动作②、②′、③和③′。
在动作④中，访客装置10可以准备配置访客模式。例如，访客装置10可以生成用于搜索通过执行wi-fi直连或自组织功能而位于附近的可通信装置的识别信号，并发送信号。在此，位于附近的装置可以是用户装置20。也就是说，访客装置10可以请求用于使用在用户装置20处使用的人工智能助手功能的识别信息。
在动作⑤中，用户装置20可以从访客装置10接收用于请求用于使用人工智能助手功能的、包括呼叫词(例如，Bixby、Alexa、Cortana等)的识别信息的识别信号。在这种情况下，用户装置20可以显示用于请求由用户1对发送识别信息进行确认的用户界面。
用于使用人工智能助手功能的识别信息可以包括例如可以访问B人工智能助手的账户的信息、B人工智能助手的名称、提供B人工智能助手的制造商的名称、B人工智能助手的统一资源定位符(URL)的信息或提供B人工智能助手的平台中的至少一个。
在此，在识别信息是B人工智能助手的名称、B人工智能助手的制造商、B人工智能助手的统一资源定位符(URL)的信息或提供B人工智能助手的平台的情况下，访客装置10可以存储对应于B人工智能助手的名称、B人工智能助手的制造商、B人工智能的统一资源定位符(URL)的信息或提供B人工智能助手的平台的人工智能助手的呼叫词。
在动作⑥中，在存在由用户1对发送识别信息进行确认的情况下，用户装置20可以将识别信息发送到访客装置10。
在动作⑦中，在从用户装置20接收到识别信息的情况下，访客装置10可以将能够连接到第三装置30的信息发送到用户装置20。例如，在访客装置10和第三装置30通过使用无线保真度(wi-fi)建立通信网络的情况下，可以通过使用有线/无线局域网(LAN)帧中包括的可选字段来定义访客装置10与用户装置20之间的接口。
根据本公开的实施方式，访客装置10和用户装置20可以基于自然语言来定义接口。例如，访客装置10和用户装置20可以以文件的形式发送和从用户接收语音输入。此外，访客装置10和用户装置20可以将语音转换为结构化文本的形式(例如，逗号分隔值(CSV)、可扩展标记语言(XML)、超文本标记语言(HTML)、Java脚本对象符号(JSON)等)，或将语音转换为自然语言形式的文本形式，并且发送和接收文本。
在动作⑧中，访客装置10可以终止wi-fi直连或自组织功能，并生成通知已接入第三装置30并且访客模式已经被执行的用户界面。
例如，在访客装置10是人工智能(AI)扬声器的情况下，访客装置10可以用语音向用户通知访客模式的开始。同时，在访客装置10是智能电话或平板PC的情况下，访客装置10可以在显示器等上显示通知访客模式开始的用户界面。
同时，在前述实施方式中，描述了接收用于请求配置访客模式以进入访客模式的用户命令(例如，用户话语)。然而，这仅是示例，并且在访客装置10接入了用户装置20中包括的网络系统(例如，家庭网络系统)的情况下，访客装置10可以进入访客模式。
图1b是用于示出根据本公开的实施方式使用用户装置来利用人工智能助手的访客模式的情况的示图。
在动作①中，访客装置10可以通过使用B人工智能助手功能来接收用户1的希望播放音乐的命令。下文中，将基于B人工智能助手的呼叫词是“Bixby”的假设进行说明。用户1的命令可以是例如“Bixby，继续播放我昨天听过的歌手的专辑”。访客装置10可以接收用户1的话语，并且通过使用诸如语音辨识app的智能app来辨识接收到的话语中包括的内容。
根据本公开的各种实施方式，访客装置10可以通过使用A服务器15来识别从用户1接收的命令中包括的内容。
例如，在动作②中，访客装置10可以将接收到的命令发送到第三装置30。另外，在动作②’中，A服务器15可以接收用户1的命令。A服务器15可以接收用户1的话语，并且通过使用诸如语音辨识程序的智能程序来并辨识话语的内容。
在动作③中，A服务器15可以将话语的内容发送到第三装置30。另外，在动作③’中，访客装置10可以接收希望播放音乐的话语内容。
根据本公开的各种实施方式，在访客装置10通过使用诸如语音辨识app的智能app来辨识用户1的话语的情况下，可以省略动作②、②′、③和③′。
在动作④中，访客装置10可以将用户1的命令划分为待由访客装置10执行的动作和待由用户装置20执行的动作。例如，访客装置10可以确定播放音乐是访客装置10的动作，并且获取音乐文件(例如：用户昨天听过的歌手的专辑中的音乐文件)是用户装置20的动作。
在动作⑤中，访客装置10可以请求用户装置20向用户发送用户昨天听过的歌手的专辑的音乐文件。例如，访客装置10可以通过使用从用户装置20接收到的识别信息(例如，作为B人工智能助手的呼叫词的Bixby)来将基于自然语言的文本(诸如“Bixby，发送我昨天听过的歌手的专辑中的音乐文件”)发送到第三装置30。根据本公开的另一实施方式，访客装置10可以根据访客装置10与用户装置20之间定义的接口，以文件的形式将输入语音(不是基于自然语言的文本)直接发送到用户装置20，或者将输入语音改变为对应于B人工智能助手功能的结构化文本并将文本发送到用户装置20。
根据本公开的各种实施方式，在识别信息不是“Bixby”而是B人工智能助手的名称、B人工智能助手的制造商、B人工智能助手的统一资源定位符(URL)的信息或提供B人工智能助手的平台的情况下，访客装置10可以执行与通过使用“Bixby”的动作⑤相同的动作，其中“Bixby”是与B人工智能助手的名称、B人工智能助手的制造商、B人工智能的统一资源定位符(URL)的信息或提供B人工智能助手的平台的对应地存储的呼叫词。
在动作⑤中，用户装置20可以从第三装置30接收访客装置10的请求，即“Bixby，发送我昨天听过的歌手的专辑中的音乐文件”。
在动作⑥中，用户装置20可以搜索对应于访客装置10的请求的音乐文件(例如，用户昨天听过的歌手的专辑中的音乐文件)。另外，在动作⑥中，在用户装置20中不存在对应于访客装置10的请求的音乐文件(例如，用户昨天听过的歌手的专辑中的音乐文件)的情况下，用户装置20可以向通过通信网络连接的B服务器25请求发送对应于访客装置10的请求的音乐文件(例如，用户昨天听过的歌手的专辑中的音乐文件)，并且接收文件。
在动作⑦中，用户装置20可以将接收到的音乐文件(例如，用户昨天听过的歌手的专辑中的音乐文件)发送到第三装置30。
另外，在动作⑦中，访客装置10可以接收从第三装置30发送的音乐文件(例如，用户昨天听过的歌手的专辑中的音乐文件)。
在动作⑧中，访客装置10可以执行音乐播放app，并且播放接收到的音乐文件(例如，用户昨天听过的歌手的专辑中的音乐文件)。
根据本公开的各种实施方式，用户1可以通过使用访客模式来控制连接到网络的各种家用电器1000。
例如，访客装置10可以接收用户1的命令，即“打开电视并向我示出1号频道”。访客装置10可以将接收到的命令发送到用户装置20。接着，用户装置20可以根据接收到的命令控制连接到网络的TV 1001并打开TV，并将频道改变为1号。
图1c是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的情况的示图。
例如，情况可以是通过由访客装置10使用的A服务器15使用由B服务器25提供的B人工智能助手功能作为访客模式的情况。
在动作①中，访客装置10可以通过使用B人工智能助手功能来接收用户1的希望播放音乐的命令。下文中，将基于B人工智能助手功能的呼叫词是“Bixby”的假设进行说明。用户1的命令可以是例如“Bixby，播放我听过最多的专辑”。访客装置10可以接收用户1的话语，并且通过使用诸如语音辨识app的智能app来辨识接收到的话语中包括的内容。
根据本公开的各种实施方式，访客装置10可以将从用户1接收到的命令中包括的内容发送到A服务器15，并且可以通过使用A服务器15中包括的语音辨识算法等来识别内容。
在动作②中，访客装置10可以将接收到的命令以语音文件的形式发送到第三装置30。另外，在动作②’中，A服务器15可以从第三装置30接收用户1的命令。
在动作③中，A服务器15可以将用户1的命令划分为由访客装置10执行的动作和由B服务器25执行的动作。例如，A服务器15可以确定播放音乐是访客装置10的动作，并且获取音乐文件(例如：用户听过最多的专辑中的音乐文件)是B服务器25的动作。
在动作④中，A服务器15可以请求B服务器25发送“用户听过最多的专辑”中的音乐文件。例如，A服务器15可以通过使用从用户装置20接收到的识别信息(例如，作为B人工智能助手的呼叫词的Bixby)来将基于自然语言的文本(诸如“Bixby，发送我听过最多的专辑中的音乐文件”)发送到B服务器25，如上文参考图1a所描述。根据本公开的另一实施方式，A服务器15可以根据A服务器15与B服务器25之间定义的接口，以文件的形式将输入语音(而不是基于自然语言的文本)直接发送到B服务器25，或者将输入语音改变为对应于B人工智能助手功能的结构化文本并将文本发送到B服务器25。
在动作⑤中，B服务器25可以搜索对应于A服务器15的请求的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)。另外，在动作⑤中，在B服务器25中不存在对应于A服务器15的请求的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)的情况下，B服务器25可以向通过通信网络连接的用户装置20请求发送对应于A服务器15的请求的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)，并且接收文件。
在动作⑥中，B服务器25可以将接收到的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)发送到A服务器15。
在动作⑦中，A服务器15可以将接收到的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)发送到第三装置30。另外，A服务器15可以命令访客装置10执行音乐播放app。另外，在动作⑦中，访客装置10可以从第三装置30接收第三装置30接收到的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)和命令。
在动作⑧中，访客装置10可以执行音乐播放app，并且播放接收到的音乐文件(例如，用户听过最多的专辑中包括的音乐文件)。
图1d是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的另一情况的示图。
例如，情况可以是访客装置10通过B服务器25将由B服务器25提供的B人工智能助手功能用作访客模式的情况。
在动作①中，访客装置10可以通过使用B人工智能助手功能来接收用户1的希望显示图像的命令。下文中，将基于B人工智能助手的呼叫词是“Bixby”的假设进行说明。用户1的命令可以是例如“Bixby，向我示出我昨天拍摄的图像”。接着，访客装置10可以接收用户1的话语，并且通过使用诸如语音辨识app的智能app来辨识接收到的话语中包括的内容。
根据本公开的各种实施方式，访客装置10可以将从用户1接收到的命令中包括的内容发送到A服务器15，并且可以通过使用A服务器15中包括的语音辨识算法等来识别内容。
在动作②中，访客装置10可以将用户1的命令划分为待由访客装置10执行的动作和待由B服务器25执行的动作。例如，访客装置10可以确定出显示图像是访客装置10的动作，以及获取图像文件(例如：昨天拍摄的图像)是B服务器25的动作。
在动作③中，访客装置10可以将诸如“Bixby，发送我昨天拍摄的图像”的命令发送到第三装置30。另外，在动作③’中，B服务器25可以通过第三装置30接收由访客装置10发送的命令。然而，本公开不限于此，并且访客装置10和B服务器25可以在没有第三装置30的情况下通过通信网络直接发送和接收命令或数据。
在动作④中，B服务器25可以搜索对应于访客装置10的请求的图像文件(例如，昨天拍摄的图像)。另外，在不存在对应于访客装置10的请求的图像文件(例如，昨天拍摄的图像)的情况下，在动作④’中，B服务器25可以请求将对应于访客装置10的请求的图像文件(例如，昨天拍摄的图像)发送到通过通信网络连接的用户装置20，并且接收文件。
在动作⑤中，B服务器25可以将图像文件(例如，昨天拍摄的图像)发送到第三装置30。另外，在动作⑤’中，访客装置10可以从第三装置30接收图像文件(例如，昨天拍摄的图像)。
在动作⑥中，访客装置10可以执行图像播放app，并显示接收到的图像文件(例如，昨天拍摄的图像)。
图1e是用于示出根据本公开的实施方式终止人工智能助手的访客模式的情况的示图。
在动作①中，访客装置10可以从用户1接收请求终止访客模式的命令。例如，用户1可以说出请求终止访客模式。接着，访客装置10可以接收用户1的话语，并且通过使用诸如语音辨识app的智能app来辨识话语中包括的内容。
根据本公开的各种实施方式，访客装置10可以通过使用A服务器15来识别从用户1接收的命令中包括的内容。
例如，在动作②中，访客装置10可以将接收到的命令发送到第三装置30。另外，在动作②’中，A服务器15可以接收用户1的命令。另外，A服务器15可以接收用户1的话语并且通过使用诸如语音辨识程序的智能程序来并辨识话语的内容。
在动作③中，A服务器15可以将话语的内容发送到第三装置30。另外，在动作③’中，访客装置10可以接收请求终止访客模式的话语内容。
根据本公开的各种实施方式，在访客装置10通过使用诸如语音辨识程序的智能程序来辨识用户1的话语的情况下，可以省略动作②、②′、③和③′。
在动作④中，访客装置10可以将关于终止访客模式的通知发送到第三装置30。
另外，在动作④’中，用户装置20可以从第三装置30接收关于终止访客模式的通知。
在动作⑤中，访客装置10可以删除在人工智能助手功能的访客模式的操作期间从用户装置20接收的所有数据和识别信息。因此，用户1可以不会将与用户1有关的信息留在另一人的电子装置(诸如访客装置10)中。另外，访客装置10可以生成通知终止访客模式的用户界面。
根据本公开的各种实施方式，用户1可以通过使用用户装置20来终止访客模式。
在动作⑥中，用户装置20可以接收用户1的请求终止访客模式的命令。例如，用户1可以说出请求终止访客模式。另外，用户装置20可以接收用户1的话语并且通过使用诸如语音辨识程序的智能程序来并辨识话语中包括的内容。
在动作⑦中，用户装置20可以将关于终止访客模式的通知发送到第三装置30。另外，在动作⑦’中，访客装置10可以从第三装置30接收关于终止访客模式的通知。此外，用户装置20可以根据接收到的命令来终止向访客装置10的数据发送。
在接收到关于终止访客模式的通知的情况下，访客装置10可以删除在人工智能助手功能的访客模式的操作期间从用户装置20接收的所有数据和识别信息。因此，用户1可以不会将与用户1有关的信息留在另一人的电子装置(诸如访客装置10)中。
如上文所描述，根据本公开的实施方式，用户1可以通过使用另一电子装置(不是用户使用的电子装置)来使用在用户的电子装置上使用的人工智能助手功能。由此，用户可以在没有单独设置的情况下在另一电子装置处使用根据使用历史优化的人工智能助手功能。
此外，根据本公开的实施方式，支持语音助手访客模式的另一电子装置可以在访客模式终止时删除所有接收到的数据，从而防止用户的信息保留在另一电子装置中。
同时，在前述实施方式中，描述了访客装置10和用户装置20使用彼此不同的人工智能助手功能，但这仅是示例，并且访客装置10和用户装置20可以使用相同的人工智能助手功能。例如，访客装置10和用户装置20都可以使用与A服务器15互锁的人工智能助手功能。在这种情况下，如果在访客装置10处接收到请求配置访客模式的命令，则访客装置10可以从A服务器15获取用户装置20的账户信息。接着，访客装置10可以基于获取的用户装置20的账户信息来访问用户装置20，并且控制用户装置20。
另外，在前述实施方式中，在将使用B人工智能助手的呼叫词的用户话语输入到访客装置10中的情况下，访客装置10将用户话语(或对应于用户话语的文本)发送到用户装置20。然而，这仅是示例，并且在将使用A人工智能助手的呼叫词的用户话语输入到访客装置10的情况下，访客装置10也可以将用户话语(或对应于用户话语的文本)发送到用户装置20。
例如，在A人工智能助手的呼叫词为“Galaxy”，而B人工智能助手的呼叫词为“Bixby”的情况下，可以将“Galaxy，请向我示出我昨天拍摄的图像”的用户语音输入到访客装置10中。在此，访客装置10可以接收用户话语，并且通过使用诸如语音辨识app的智能app来辨识接收到的话语中包括的内容。
访客装置10可以将用户1的命令划分为待由访客装置10执行的动作和待由用户装置20(或B服务器25)执行的动作。例如，访客装置10可以确定显示图像是访客装置10的动作，并且获取图像文件(例如：昨天拍摄的图像)是用户装置20(或B服务器25)的动作。
在此，访客装置10可以使用识别信息中包括的B人工智能助手功能的呼叫词，来发送被确定为用户装置20(或B服务器25)的操作的命令。例如，访客装置10可以生成包括B人工智能助手功能的呼叫词的命令，诸如像“Bixby，发送我昨天拍摄的图像”的文本(或结构化文本)，并将所生成的命令发送到用户装置20(或B服务器25)。
接着，响应于从访客装置10接收的命令，用户装置20(或B服务器25)可以将昨天拍摄的图像发送到访客装置10。
也就是说，即使没有输入包括B人工智能助手功能的呼叫词的用户命令，访客装置10也可以通过使用B人工智能助手功能的呼叫词来将用户命令发送到用户装置20(或B服务器25)。
在本公开的另一实施方式中，访客装置10可以基于用户话语中包括的B人工智能助手功能的呼叫词来确定待由用户装置20执行的动作。例如，在于访客装置10处接收到“Galaxy，请求Bixby发送我昨天拍摄的图像”的用户话语的情况下，访客装置10可以基于用户话语中包括的B人工智能助手的呼叫词“Bixby”确定将由B人工智能助手(即，用户装置20)执行的动作是的“发送昨天拍摄的图像”。
图2是用于示出根据本公开的实施方式的其中访客装置生成通知开始和终止人工智能助手功能中包括的访客模式的通知的情况的示图。
参考图2的(a)，访客装置10可以接收请求配置访客模式的用户命令，并显示“准备配置访客模式”210的通知。
在访客装置10是AI扬声器的情况下，访客装置10可以接收请求配置访客模式的用户话语。AI扬声器可以接收用户话语，并且通过使用诸如语音辨识app的智能app将话语转换为文本形式，并且辨识请求配置访客模式的话语内容。
在访客装置10包括触摸屏或物理键(诸如为智能电话)的情况下，访客装置10可以接收用户的请求配置访客模式的触摸输入或按键输入，并开始访客模式。然而，本公开不限于此，并且智能电话还可以接收用户话语并开始访客模式。
根据本公开的各种实施方式，在访客装置10是AI扬声器的情况下，访客装置10可以生成“准备配置访客模式”的语音。然而，本公开不限于此，并且访客装置10可以通过使用安装在其内部的照明装置生成光来表示准备配置访客模式的步骤。另外，访客装置10可以生成声音来表示准备配置访客模式的步骤。
参考图2的(b)，访客装置10可以通过执行wi-fi直连或自组织功能来发送用于搜索位于附近的可通信装置的识别信号。在此，识别信号可以是例如请求用于使用在用户装置处使用的人工智能助手功能的识别信息的信号。
访客装置10可以发送识别信号，并且在接收识别信息期间，可以在显示器11上显示“识别使用信息”220的通知。
根据本公开的各种实施方式，在访客装置10是AI扬声器的情况下，访客装置10可以生成“识别使用信息”的语音。然而，本公开不限于此，并且访客装置10可以通过使用安装在其内部的照明装置生成光来表示识别使用信息的步骤。另外，访客装置10可以生成声音来表示识别使用信息的步骤。
参考图2的(c)，当访客装置10从用户装置接收到识别信息时，访客装置10可以开始访客模式。例如，访客装置10可以将通信方法改变为wi-fi模式，并且向用户装置提供允许接入第三装置的wi-fi连接信息。当识别出用户装置接入了第三装置时，访客装置10可以在显示器11上显示“开始访客模式”230的通知。
根据本公开的各种实施方式，在访客装置10是AI扬声器的情况下，访客装置10可以生成“开始访客模式”的语音。然而，本公开不限于此，并且访客装置10可以通过使用安装在其内部的照明装置生成光来表示开始访客模式的步骤。另外，访客装置10可以生成声音来表示开始访客模式的步骤。
参考图2的(d)，当访客装置10接收到请求终止访客模式的用户命令时，访客装置10可以终止访客模式。例如，在访客装置10是AI扬声器的情况下，访客装置10可以接收请求终止访客模式的用户话语。访客装置10可以接收用户话语，并且通过使用诸如语音辨识app的智能app来辨识话语的内容。
在访客装置10包括触摸屏或物理键(诸如为智能电话)的情况下，访客装置10可以接收用户的请求终止访客模式的触摸输入或按键输入，并终止访客模式。然而，本公开不限于此，并且智能电话还可以接收用户话语并终止访客模式。
根据本公开的实施方式，访客装置10可以删除在访客模式的执行期间从外部服务器或用户装置接收并存储在访客装置10中的所有数据和识别信息。
在删除数据之后或在删除数据的同时，访客装置10可以在显示器11上显示“终止访客模式”240的通知。在访客装置10是AI扬声器的情况下，访客装置10可以生成“终止访客模式”的语音。然而，本公开不限于此，并且访客装置10可以通过使用安装在其内部的照明装置生成光来表示终止访客模式的步骤。另外，访客装置10可以生成声音来表示终止访客模式的步骤。
图3是用于示出根据本公开的实施方式的其中用户装置请求用户认证以开始人工智能助手的访客模式的情况的示图。
参考图3的(a)，用户装置20可以生成请求用于开始访客模式的用户认证的通知。例如，当从访客装置接收到请求用于执行访客模式的识别信息的识别信号时，用户装置20可以在显示器21上显示“请求访客模式的用户认证”310的用户界面。
参考图3的(b)，用户装置20可以显示请求用于用户认证以发送识别信息的用户话语的用户界面。例如，用户装置20可以显示“三星”以及“读出显示的词”320的用户界面。
根据本公开的实施方式，用户装置20可以接收用户话语并分析语音数据，从而识别用户。也就是说，用户装置20可以将读出显示的词的语音特性(例如，音调、语调等)与在使用人工智能助手功能时积累的用户的语音特性进行比较，并且识别特性是否相同。
参考图3的(c)，在读出话语的语音特性和在使用人工智能助手功能时累积的语音特性相同的情况下，用户装置20可以在显示器21上显示“已完成访客模式的用户认证”340的用户界面。
参考图3的(d)，在读出话语的语音特性和在使用人工智能助手功能时累积的语音特性不相同的情况下，用户装置20可以显示再次请求话语的用户界面。在这种情况下，用户装置20可以设置可以比先前显示的词更容易区分语音特性的词。例如，用户装置可以显示“水煮蛋”以及“读出显示的词”330的用户界面。
同时，在读出话语的语音特性和在使用人工智能助手功能时累积的语音特性相同的情况下，用户装置20可以在显示器21上显示“已完成访客模式的用户认证”340的用户界面，如图3的(c)中一样。
图4是用于示出根据本公开的实施方式用户装置请求用户认证的各种情况的示图。
根据本公开的实施方式，用户装置20可以通过辨识话语之外的各种方法来进行用于发送识别信息的用户确认。
参考图4的(a)至图4的(c)，用户装置20可以在显示器21上显示用于辨识用户的身体的至少一部分的生物辨识用户界面。
参考图4的(a)，用户装置20可以显示虹膜辨识用户界面410。另外，用户装置20可以通过使用安装在用户装置内部的相机(未示出)在用户的两只眼睛位于两个圆中的情况下通过拍摄图像来辨识用户的虹膜。
参考图4的(b)，用户装置20可以显示面部辨识用户界面420。用户装置20可以通过使用安装在用户装置内部的相机(未示出)在用户的面部位于椭圆中的情况下拍摄图像并且辨识用户的面部。
参考图4的(c)，用户装置20可以显示指纹辨识用户界面430。另外，用户装置20可以在显示器21的一部分中包括指纹辨识模块。在这种情况下，用户装置20可以在显示器21的特定区域中显示指纹辨识用户界面。
根据本公开的各种实施方式，用户装置20可以将指纹辨识模块定位在用户装置20的主键或不同区域中。在这种情况下，用户装置20可以在显示器21上显示指导将手指定位在所述区域上的用户界面。
参考图4的(d)，用户装置20可以显示用于输入预定密码的用户界面440。在这种情况下，例如，在用户触摸密码输入用户界面的情况下，用户装置可以在显示器21上显示弹出形式的可以输入字符或数字的用户界面。
图5是根据本公开的实施方式的访客装置、用户装置和服务器的示意性框图。
参考图5的(a)至图5的(c)，访客装置10可以包括处理器510、通信部512、存储器514和输入部516。用户装置20可以包括处理器520、通信部522、存储器524和显示器526。服务器15可以包括处理器530、通信部532和存储器534。然而，本公开不限于此，并且访客装置10、用户装置20和服务器15可以包括更多或更少的部件。
根据本公开的实施方式，处理器510、520、530可以例如操作软件并且控制连接到处理器510、520、530的电子装置的至少一个其他部件(例如：硬件或软件部件)，并执行各种数据处理和操作。另外，处理器510、520、530可以将从另一部件(例如，通信部)接收的命令或数据加载到易失性存储器上并对其进行处理，并将结果数据存储在非易失性存储器中。
另外，根据本公开的实施方式，处理器510、520、530可以包括主处理器(例如：中央处理装置或应用处理器)以及独立于主处理器而操作的并且另外或通常使用功率比主处理器低或专用于指定功能的辅助处理器(例如：图形处理装置、图像信号处理器、传感器集线器处理器或通信处理器)。在此，辅助处理器可以与主处理器分开地操作，或者可以通过嵌入主处理器中来操作。
在这种情况下，辅助处理器可以例如在主处理器处于非活动(例如：休眠)状态时代替主处理器控制，或者在主处理器处于活动(例如：执行应用)状态时与主处理器一起控制与电子装置的部件中的至少一个部件(例如：输入部或通信部)有关的功能或状态中的至少一些。根据本公开的实施方式，辅助处理器(例如：图像信号处理器或通信处理器)可以被实施为在功能方面相关的另一部件的一些部件(例如：通信部、相机模块)。
根据本公开的实施方式，存储器514、524、534可以存储由电子装置的至少一个部件(例如：处理器510、520、530)使用的各种数据(例如软件)和关于与此相关的命令的输入数据或输出数据。另外，存储器514、524、534可以包括易失性存储器或非易失性存储器。
另外，根据本公开的实施方式，通信部512、522、532可以支持与访客装置10、用户装置20和服务器15建立有线或无线通信信道，并且通过建立的通信信道执行通信。另外，通信部512、522、532可以包括独立于处理器510、520、530(例如：应用处理器)而操作的支持有线通信或无线通信的至少一个通信处理器。
另外，根据本公开的实施方式，通信部512、522、532可以包括无线通信模块(例如：蜂窝通信模块、近场无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块(例如：局域网(LAN)通信模块或电力线通信模块)，并且可以通过使用第一网络或第二网络中的相应通信模块通过第一网络(例如：近场通信网络，诸如蓝牙、wi-fi直连或红外线数据协会(IrDA))或第二网络(例如：长距离通信网络，诸如蜂窝网络、互联网或计算机网络(例如：LAN或WAN))与外部电子装置进行通信。前述各种类型的通信模块可以分别实施为一个芯片或实施为单独的芯片。
参考图5的(a)，在通过输入部516接收到请求配置其中可以在外部装置处使用人工智能助手功能的访客模式的命令的情况下，访客装置10的处理器510可以控制通信部512向用户装置20请求用于使用人工智能助手功能的、包括呼叫词的识别信息，并从用户装置20接收识别信息。
根据本公开的实施方式，在访客装置10的存储器514中，可以存储从用户装置20接收的识别信息和在人工智能助手功能的访客模式的操作期间使用的数据。访客装置10的输入部516可以是例如可以接收用户输入的部件，诸如麦克风、触摸面板等。根据本公开的各种实施方式，访客装置10还可以包括：显示器和输出部(例如：扬声器、照明装置等)。
参考图5的(b)，在接收到请求用于使用人工智能助手功能的识别信息的信号的情况下，用户装置20的处理器520可以生成请求用户确认以发送识别信息的用户界面，并且如果存在用户确认，则处理器520可以控制通信部522将识别信息发送到访客装置10。
根据本公开的实施方式，在用户装置20的存储器524中，可以存储生成作为用户使用人工智能助手功能的数据。例如，可以存储调用人工智能助手功能的识别信息、用户的使用历史等。另外，用户装置20的存储器524可以存储使得能够访问从访客装置10接收的第三装置的信息。
用户装置20的显示器526可以根据处理器520的控制来显示请求确认将识别信息发送到访客装置的用户界面。显示器526可以是接收触摸输入的触摸屏的形式。根据本公开的各种实施方式，用户装置20还可以包括输出部(例如：扬声器、照明装置等)、输入部(例如：麦克风)、相机模块等。
参考图5的(c)，服务器15的处理器530可以通过使用语音辨识算法来识别从访客装置10或用户装置20接收的语音文件中包括的内容。另外，服务器15的处理器530可以根据所识别的内容与访客装置10或用户装置20发送和接收数据。
图6是示出根据本公开的实施方式的访客装置向用户装置发送的识别信号的实施方式的示图。
参考图6，访客装置(例如：图1a中的访客装置10)可以例如将通信方法改变为第二通信方法，并且接着生成包括如下文描述的结构的识别信号并搜索用户装置(例如：图1a中的用户装置20)。
由访客装置(例如：图1a中的访客装置10)生成的识别信号可以意指例如通知无线网络的存在并帮助对方装置找到无线网络并定期(例如，每秒10次)广播以参与无线网络的帧。在这种情况下，识别信号可以包括与无线网络有关的各种类型的参数信息。
根据本公开的实施方式的识别信号可以被划分为报头和帧体。
报头可以包括例如帧控制字段、持续时间/ID字段、目的地址(DA)字段和源地址(SA)字段、基本服务集标识符(BSS ID)字段以及序列控制字段。
帧控制字段可以位于帧的第一开始部分，并且可以具有2个字节的大小。另外，帧控制字段可以包含与对在形成网络的每个装置之间发送的帧的控制有关的信息。
持续时间/ID字段是紧接在帧控制字段之后的具有2个字节的大小的字段。另外，持续时间/ID字段可以提供ps轮询帧的网络分配向量(NAV)值或站ID。
目的地址(DA)字段和源地址(SA)字段可以意指在硬件上实施的、具有用于识别电子装置的6个字节大小的物理地址。
基本服务集标识符(BSS ID)字段是数字值，并且可以意指识别基本服务区域或网络ID的6个字节的标识符。当若干基本服务区域共存时，BSS ID字段可以使所述若干基本服务区域彼此识别。
序列控制字段是指导根据设置顺序依次执行控制操作的、具有2个字节大小的字段。
帧检查序列(FCS)字段是位于帧末尾部分中的4个字节的字段，并且是为了帮助检测接收器侧的错误而插入的字段。
根据管理的目的，帧体可以由具有固定或可变长度的若干字段/元素灵活地构成。帧体可以包括例如时间戳字段、信标间隔字段、容量信息字段、SSID字段和可选字段。
时间戳字段是具有8个字节大小的字段，并且是用于基本服务区域中的每个装置之间进行同步的字段。
信标间隔字段具有2个字节大小，并且可以显示信标帧的发送周期(或时间间隔)。
容量信息字段具有2个字节大小，并且可以主要用于信标帧、探测响应帧等。
SSID字段是可变字段，并且具有字符值，并且可以意指服务提供商的名称，所述服务提供商将若干访问点分组并在一个IP子网的控制下对其进行管理。
可选字段可以包括各种信息。根据本公开的实施方式，在本公开中，可选字段可以包括用于访客装置(例如：图1a中的访客装置10)与用户装置(例如：图1b中的访客装置20)之间的接口方法的定义。例如，访客装置(例如：图1a中的访客装置10)和用户装置(例如：图1b中的访客装置20)可以定义基于自然语言的交互式通信方法。
在这种情况下，两个装置(例如：访客装置、用户装置)可以以文件的形式发送和接收用户的语音输入，或将用户的语音输入改变为结构化文本的形式(例如，逗号分隔值(CSV)、可扩展标记语言(XML)、超文本标记语言(HTML)、Java脚本对象符号(JSON)等)，或将用户的语音输入改变为自然语言文本的形式，并且发送和接收文本。
图7是用于示出根据本公开的实施方式在用户装置和访客装置使用相同人工智能助手功能的情况下利用访客模式的示图。
在动作①中，访客装置10可以通过使用人工智能助手功能来接收用户希望显示图像的命令。下文中，将基于人工智能助手的呼叫词是“Bixby”的假设进行说明。用户1的命令可以是例如“Bixby，显示八月份拍摄的图片”。访客装置10可以接收用户1的话语，并且通过使用诸如语音辨识app的智能app来辨识接收到的话语中包括的内容。
根据本公开的各种实施方式，访客装置10可以通过使用A服务器15来识别从用户1接收的命令中包括的内容。
例如，在动作②中，访客装置10可以将接收到的命令发送到第三装置30。另外，在动作②’中，A服务器15可以接收用户的命令。A服务器15可以接收用户1的话语并且通过使用诸如语音辨识程序的智能程序来并辨识话语的内容。
在动作③中，A服务器15可以将话语的内容发送到第三装置30。另外，在动作③’中，访客装置10可以接收希望显示图像的话语内容。
根据本公开的各种实施方式，在访客装置10通过使用诸如语音辨识app的智能app来辨识用户话语的情况下，可以省略动作②、②’、③和③’。
在动作④中，访客装置10可以将用户1的命令划分为待由访客装置10执行的动作和待由服务器15执行的动作。例如，访客装置10可以确定显示图像是访客装置10的动作，并且获取图像文件(例如：八月份拍摄的图像)是服务器15的动作。
在动作⑤中，访客装置10可以请求服务器15发送“八月份拍摄的图像”的文件。例如，访客装置10可以将基于自然语言的文本(诸如“Bixby，发送八月份拍摄的图像文件”)发送到第三装置30。
另外，在动作⑤’中，服务器15可以从第三装置30接收访客装置10的请求“Bixby，发送八月份拍摄的图像文件”。
在动作⑥中，服务器15可以搜索对应于访客装置10的请求的图像文件(例如，八月份拍摄的图像文件)。另外，在服务器15处不存在对应于访客装置10的请求的图像文件(例如，八月份拍摄的图像文件)的情况下，在动作⑥’中，服务器15可以向通过通信网络连接的用户装置20请求与访客装置10的请求对应的图像文件(例如，八月份拍摄的图像文件)，并且接收文件。
在动作⑦中，服务器15可以将图像文件发送到第三装置30。
此外，在动作⑦’中，访客装置10可以从第三装置30接收图像文件。
在动作⑧中，访客装置10可以执行图像播放app，并显示接收到的图像文件(例如，八月份拍摄的图像文件)。
图8是示出根据本公开的实施方式用于执行人工智能助手功能的访客模式的方法的流程图。
参考动作810，访客装置10可以接收请求配置人工智能助手功能的访客模式的命令。另外，访客装置10可以接收用户话语并且通过使用诸如语音辨识app的智能app来辨识话语中包括的内容。在这种情况下，访客装置10可以将接收到的命令发送到建立用于人工智能助手功能的通信网络的服务器，并且辨识话语中包括的内容。
参考动作820，访客装置10可以将第一通信方法改变为第二通信方法。例如，访客装置10可以将Wi-Fi模式改变为自组织(ad-hoc)模式或Wi-Fi直连模式。
参考动作830，访客装置10可以通过使用第二通信方法来向用户装置20请求用于使用人工智能助手功能的识别信息。
参考动作840，用户装置20可以生成请求用户确认以发送识别信息的用户界面并显示用户界面。例如，用户装置20可以通过使用语音辨识功能来接收用户确认。
参考动作850，用户装置20可以将识别信息发送到访客装置10。
参考动作860，接收到识别信息的访客装置10可以将允许连接到第一通信方法的信息发送到用户装置20。
参考动作870，访客装置10可以将第二通信方法改变为第一通信方法。例如，访客装置10可以将自组织模式或Wi-Fi直连模式改变为Wi-Fi模式。
参考动作880，可以通过使用允许连接到第一通信方法的连接信息建立通信网络，从而将用户装置20与访客装置10连接。
参考动作890，用户装置20可以将连接完成消息发送到访客装置10。
图9a是示出根据本公开的实施方式通过使用用户装置来利用人工智能助手的访客模式的情况的流程图。
参考动作910，访客装置10可以接收用户希望使用人工智能助手的命令。
参考动作912，访客装置10可以在接收到的命令中区分出待由访客装置10执行的动作和待由用户装置20执行的动作。例如，在用户命令是“Bixby，告诉我今日行程”的情况下，访客装置10可以确定获取今日行程是用户装置20的动作，而显示接收到的行程是访客装置10的动作。
参考动作914，访客装置10可以通过使用先前接收到的由用户装置20使用的人工智能助手的识别信息来将包括用户装置20的动作的命令发送到用户装置20。例如，访客装置10可以将基于自然语言的文本(诸如“Bixby，向我发送今日行程”)发送到用户装置20。
参考动作916，用户装置20可以根据接收到的命令来获取数据。例如，用户装置20可以获取存储在行程app中的用户的今日行程。根据本公开的各种实施方式，用户装置20可以通过与支持人工智能助手功能的服务器互锁来获取用户的今日行程。
参考动作918，用户装置20可以将数据发送到访客装置10。
参考动作920，访客装置10可以通过使用接收到的数据来执行用户命令。例如，访客装置10可以通过扬声器提供接收到的用户的今日行程，或者通过显示器显示行程。
图9b是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的情况的流程图。
参考动作930，访客装置10可以接收用户希望使用人工智能助手的命令。用户的命令可以是例如“Bixby，告诉我明日行程。”
参考动作932，访客装置10可以将接收到的用户命令发送到A服务器15。
参考动作934，A服务器15可以在接收到的命令中区分出待由访客装置10执行的动作和待由B服务器25执行的动作。例如，A服务器15可以确定获取明日行程是B服务器25的动作，而显示接收到的行程是访客装置10的动作。
参考动作936，A服务器15可以通过使用先前接收到的由B服务器25使用的人工智能助手的识别信息来将包括B服务器25的动作的命令发送到B服务器25。例如，A服务器15可以将基于自然语言的文本(例如“Bixby，向我发送明日行程”)发送到B服务器25。
参考动作938，B服务器25可以根据接收到的命令来获取数据。例如，B服务器25可以获取存储在存储器中的用户的特定文件(例如，用户的明日行程文件)。根据本公开的各种实施方式，B服务器25可以通过与用户装置20互锁来获取用户的特定文件(例如，用户的明日行程文件)。
参考动作940，B服务器25可以将获取的数据发送到A服务器15。
参考动作942，A服务器15可以识别访客装置10的动作。
参考动作944，A服务器15可以将待由访客装置10执行的动作和接收到的数据发送到访客装置10。例如，A服务器15可以命令访客装置10执行行程管理app。
参考动作946，访客装置10可以通过使用接收到的待由访客装置10执行的动作和数据来执行用户命令。例如，访客装置10可以通过扬声器提供接收到的用户的明日行程，或者通过显示器显示行程。
图9c是用于示出根据本公开的实施方式通过使用服务器来利用人工智能助手的访客模式的另一情况的示图。
参考动作950，访客装置10可以接收用户希望使用人工智能助手的命令。
参考动作952，访客装置10可以在接收到的命令中划分待由访客装置10执行的动作和待由B服务器25执行的动作。例如，在用户命令是“Bixby，向我示出我昨日起草的文档”的情况下，访客装置10可以确定获取昨日起草的文档是B服务器25的动作，而显示接收到的文件是访客装置10的动作。
参考动作954，访客装置10可以通过使用先前接收到的由B服务器25使用的人工智能助手的识别信息来将包括B服务器25的动作的命令发送到B服务器25。例如，访客装置10可以将基于自然语言的文本(诸如“Bixby，向我示出我昨日起草的文档”)发送到B服务器25。
参考动作956，B服务器25可以根据接收到的命令来获取数据。例如，B服务器25可以获取存储在文档起草app中的文档文件(例如，用户昨日起草的文档文件)。根据本公开的各种实施方式，B服务器25可以通过与用户装置20互锁来获取文档文件(例如，用户昨日起草的文档文件)。
参考动作958，用户装置20可以将获取的数据发送到访客装置10。
参考动作960，访客装置10可以通过使用接收到的数据来执行用户命令。例如，访客装置10可以通过显示器显示接收到的文档文件(例如，用户昨日起草的文档文件)。
图10是示出根据本公开的实施方式在访客装置和用户装置使用相同人工智能助手功能的情况下利用访客模式的情况的流程图。
参考动作1010，访客装置10可以接收用户希望使用人工智能助手的命令。
参考动作1020，访客装置10可以在接收到的命令中划分待由访客装置执行的动作和待由用户装置执行的动作。例如，在用户命令是“Bixby，播放贝多芬第五交响曲”的情况下，访客装置10可以确定获取贝多芬第五交响曲的音乐文件是A服务器15的动作，而播放接收到的音乐文件是用户装置20的动作。
参考动作1030，访客装置10可以通过使用人工智能助手的识别信息将包括A服务器15的动作的命令发送到用户装置20。例如，访客装置10可以将基于自然语言的文本(诸如“Bixby，向我发送贝多芬第五交响曲的音乐文件”)发送到A服务器15。
参考动作1040，A服务器15可以根据接收到的命令来获取数据。例如，A服务器15可以获取存储在存储器中的音乐文件(例如，贝多芬第五交响曲的音乐文件)。根据本公开的各种实施方式，A服务器15可以通过使用人工智能助手功能与用户装置互锁来获取音乐文件(例如，贝多芬第五交响曲的音乐文件)。
参考动作1050，A服务器15可以将数据(例如，音乐文件)发送到访客装置10。
参考动作1060，访客装置10可以通过使用接收到的数据来执行用户命令。例如，访客装置10可以通过扬声器播放接收到的音乐文件(例如，贝多芬第五交响曲的音乐文件)。
图11a是示出根据本公开的实施方式通过使用访客装置来终止人工智能助手功能的情况的流程图。
参考动作1110，访客装置10可以接收用户希望终止人工智能助手功能的访客模式的命令。
参考动作1112，访客装置10可以向用户装置20通知已经接收到用户请求终止访客模式的命令。例如，访客装置10可以将基于自然语言的文本(诸如“Bixby，终止访客模式”)发送到用户装置20。
参考动作1114，用户装置20可以终止与访客装置10形成通信网络的第一通信方法。
参考动作1116，访客装置10可以删除接收到的数据和识别信息。例如，访客装置10可以执行人工智能助手功能的访客模式，并且删除从用户装置20接收的识别信息以及从用户装置20或外部服务器接收的所有数据。
图11b是示出根据本公开的实施方式通过使用用户装置来终止人工智能助手功能的情况的流程图。
参考动作1120，用户装置20可以接收用户希望终止人工智能助手的访客模式的命令。
参考动作1122，用户装置20可以向访客装置10通知已经接收到用户请求终止访客模式的命令。
参考动作1124，访客装置10可以删除接收到的数据和识别信息。例如，访客装置10可以执行人工智能助手功能的访客模式，并且删除从用户装置20接收的识别信息以及从用户装置20或外部服务器接收的所有数据。
参考动作1126，用户装置20可以终止与访客装置10形成通信网络的第一通信方法。
图12是用于示出根据本公开的实施方式的用于操作人工智能助手功能的方法的示图。
参考图12，人工智能助手功能可以包括包含访客装置10和用户装置20的电子装置1200d、智能服务器1200a、个人信息服务器1200b和建议服务器1200c。根据本公开的各种实施方式，智能服务器1200a、个人信息服务器1200b和建议服务器1200c可以被构造为如图1a中的一个服务器。
智能服务器1200a可以包括自动语音辨识(ASR)模块1210、自然语言理解(NLU)模块1220、路径规划器模块1230、对话管理器(DM)模块1240、自然语言生成器(NLG)模块1250或文本到语音(TTS)模块1260。
智能服务器1200a的自然语言理解模块1220或路径规划器模块1230可以生成路径规则。
根据本公开的实施方式，自动语音辨识(ASR)模块1210可以将从电子装置1200d接收的用户输入转换为文本数据。
根据本公开的实施方式，自动语音辨识模块1210可以将从电子装置1200d接收的用户输入转换为文本数据。例如，自动语音辨识模块1210可以包括话语辨识模块。话语辨识模块可以包括声学模型和语言模型。例如，声学模型可以包括与发声相关的信息，并且语言模型可以包括单元音素信息和关于单元音素信息的组合的信息。话语辨识模块可以通过使用与发声有关的信息和与单元音素信息有关的信息来将用户话语转换为文本数据。关于声学模型和语言模型的信息可以例如存储于自动语音辨识数据库(ASR DB)1211中。
根据本公开的实施方式，自然语言理解模块1220可以通过执行句法分析或语义分析来识别用户意图。句法分析可以将用户输入划分为句法单元(例如：单词、短语、语素等)并识别划分的单元具有哪些句法元素。可以通过使用语义匹配、规则匹配、公式匹配等来执行语义分析。因此，自然语言理解模块1220可以获取用户输入的域和意图，或表达意图所需的参数(或时隙)。
根据本公开的实施方式，自然语言理解模块1220可以通过使用匹配规则来确定用户的意图和参数，所述匹配规则被划分为域、意图和识别意图所需的参数(或时隙)。例如，一个域(例如：通知)可以包括多个意图(例如：通知设置、通知释放等)，并且一个意图可以包括多个参数(例如：时间、重复次数、通知声等)。多个规则可以包括例如至少一个基本元素参数。匹配规则可以存储于自然语言理解数据库(NLU DB)1221中。
根据本公开的实施方式，自然语言理解模块1220可以通过使用诸如语素、短语等语言特性(例如：句法元素)来识别从用户输入中提取的单词的含义以及通过将识别出的单词的含义与域和意图进行匹配，从而确定用户意图。例如，自然语言理解模块1220可以通过计算每个域和意图中包括多少个从用户输入中提取的单词来确定用户意图。根据本公开的实施方式，自然语言理解模块1220可以通过使用成为识别意图的基础的单词来确定用户输入的参数。另外，根据本公开的实施方式，自然语言理解模块1220可以通过使用存储用于识别用户输入的意图的语言特性的自然语言理解数据库1221来确定用户意图。根据本公开的另一实施方式，自然语言理解模块1220可以通过使用个人语言模型(PML)来确定用户意图。例如，自然语言理解模块1220可以通过使用个人信息(例如：联系人列表、音乐列表)来确定用户意图。可以将个人语言模型存储于例如自然语言理解数据库1221中。根据本公开的实施方式，不仅自然语言理解模块1220而且自动语音辨识模块1210也可以通过参考存储在自然语言理解数据库1221中的个人语言模型来辨识用户语音。
根据本公开的实施方式，自然语言理解模块1220可以基于用户输入的意图和参数来生成路径规则。例如，自然语言理解模块1220可以基于用户输入的意图来选择待执行的app，并且确定待在所选择的app处执行的动作。自然语言理解模块1220可以通过确定对应于所确定的动作的参数来生成路径规则。根据本公开的实施方式，由自然语言理解模块1220生成的路径规则可以包括关于待执行的app、待在app处执行的动作和执行动作所需的参数的信息。
根据本公开的实施方式，自然语言理解模块1220可以基于用户输入的意图和参数生成一个路径规则或多个路径规则。例如，自然语言理解模块1220可以从路径规划器模块1230接收对应于电子装置1200d的路径规则集，并且可以利用接收到的路径规则集来映射用户输入的意图和参数，并且由此确定路径规则。
根据本公开的另一实施方式，自然语言理解模块1220可以基于用户输入的意图和参数通过确定待执行的app、待在app处执行的动作以及执行app所需的参数来生成一个路径规则或多个路径规则。例如，自然语言理解模块1220可以通过使用电子装置1200d的信息来以本体或图形模型的形式安排待执行的app和待在app处执行的动作，从而生成路径规则。可以通过路径规划器模块1230将生成的路径规则存储于例如路径规则数据库(PR DB)1231中。另外，所生成的路径规则可以添加到数据集1231的路径规则集。
根据本公开的实施方式，自然语言理解模块1220可以从多个生成的路径规则当中选择至少一个路径规则。例如，自然语言理解模块1220可以选择多个路径规则当中的最优路径规则。作为另一示例，在基于用户话语仅指定一些动作的情况下，自然语言理解模块1220可以选择多个路径规则。另外，自然语言理解模块1220可以通过用户的附加输入来确定多个路径规则当中的一个路径规则。
根据本公开的实施方式，自然语言理解模块1220可以响应于用户输入而将路径规则发送到电子装置1200d。例如，自然语言理解模块1220可以将对应于用户输入的一个路径规则发送到电子装置1200d。在另一示例中，自然语言理解模块1220可以将对应于用户输入的多个路径规则发送到电子装置1200d。在基于用户话语仅指定一些动作的情况下，可以例如通过自然语言理解模块1220生成多个路径规则。
根据本公开的实施方式，路径规划器模块1230可以选择多个路径规则当中的至少一个路径规则。
根据本公开的实施方式，路径规划器模块1230可以将包括多个路径规则的路径规则集发送到自然语言理解模块1220。路径规则集中的多个路径规则可以以表形式存储在连接到路径规划器模块1230的路径规则数据库1231中。例如，路径规划器模块1230可以将对应于电子装置1222d的信息(例如：OS信息、app信息)的路径规则集发送到自然语言理解模块1220。可以例如为每个域或域的每个版本存储在路径规则数据库1231中存储的表。
根据本公开的实施方式，路径规划器模块1230可以在路径规则集中选择一个路径规则或多个路径规则，并且将选定的路径规则发送到自然语言理解模块1220。例如，路径规划器模块1230可以将用户的意图和参数与对应于电子装置1200d的路径规则集进行匹配，并且选择一个路径规则或多个路径规则，并且将选定的路径规则发送到自然语言理解模块1220。
根据本公开的实施方式，路径规划器模块1230可以通过使用用户的意图和参数来生成一个路径规则或多个路径规则。例如，路径规划器模块1230可以基于用户的意图和参数来确定待执行的app和待在app中执行的动作，并且可以生成一个路径规则或多个路径规则。根据本公开的实施方式，路径规划器模块1230可以将所生成的路径规则存储在路径规则数据库1231中。
根据本公开的实施方式，路径规划器模块1230可以将自然语言理解模块1220中生成的路径规则存储在路径规则数据库1231中。可以将所生成的路径规则添加到存储在路径规则数据库1231中的路径规则集。
根据本公开的实施方式，存储在路径规则数据库1231中的表可以包括多个路径规则或多个路径规则集。多个路径规则或多个路径规则集可以反映执行每个路径规则的装置的种类、版本、类型或特性。
根据本公开的实施方式，对话管理器模块1240可以确定由自然语言理解模块1220识别的用户的意图是否明确。例如，对话管理器模块1240可以基于参数的信息是否足够来确定用户意图是否明确。对话管理器模块1240可以确定在自然语言理解模块1220处识别的参数是否足以执行任务。根据本公开的实施方式，在用户的意图不明确的情况下，对话管理器模块1240可以执行向用户请求必要信息的反馈。例如，对话管理器模块1240可以执行请求用于识别用户意图的参数的信息的反馈。
根据本公开的实施方式，对话管理器模块1240可以包括内容提供者模块。如果内容提供者模块可以基于在自然语言理解模块1220处识别的意图和参数来执行动作，则内容提供者模块可以生成执行对应于用户输入的任务的结果。根据本公开的实施方式，对话管理器模块1240可以将在内容提供者模块处生成的结果作为对用户输入的响应发送到电子装置1200d。
根据本公开的实施方式，自然语言生成器(NLG)模块1250可以将指定信息改变为文本形式。改变为文本形式的信息可以呈自然语言话语的形式。指定信息可以是例如关于附加输入的信息、通知对应于用户输入的动作的完成的信息或通知附加用户输入的信息(例如：关于用户输入的反馈的信息)。改变为文本形式的信息可以被发送到电子装置1200d并显示在显示器上，或者可以被发送到文本到语音(TTS)模块1260，并且可以被改变为语音的形式。
根据本公开的实施方式，文本到语音(TTS)模块1260可以将文本形式的信息改变为语音形式的信息。另外，文本到语音模块1260可以从自然语言生成器模块1250接收文本形式的信息，并且将文本形式的信息改变为语音形式的信息，并将信息发送到电子装置1200d。电子装置1200d可以通过扬声器输出语音形式的信息。
根据本公开的实施方式，自然语言理解模块1220、路径规划器模块1230和对话管理器模块1240可以实施为一个模块。例如，自然语言理解模块1220、路径规划器模块1230和对话管理器模块1240可以实施为一个模块，并且确定用户的意图和参数，并生成对应于确定的用户意图和参数的响应(例如：路径规则)。因此，可以将所生成的响应发送到电子装置1200d。
根据本公开的实施方式的电子装置的控制方法如下，其中，电子装置是前述访客装置10，并且另一电子装置是前述用户装置20。
首先，电子装置可以检测请求配置第一模式的事件的发生，在第一模式中可以使用另一电子装置的人工智能助手功能。在此，请求配置第一模式的事件可以包括：接收请求配置第一模式的用户话语(例如，“Bixby，将模式改变为访客模式”)的事件、选择设置在电子装置上的特定按钮的事件、通过在电子装置上显示的菜单屏幕接收请求配置第一模式的用户输入的事件、访问包括另一电子装置的网络系统的事件等。在此，电子装置可以将通信部的第一通信方法改变为第二通信方法，并通过使用第二通信方法向另一电子装置请求识别信息。
电子装置可以向另一电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息。也就是说，电子装置可以向另一电子装置请求用于使用由另一电子装置使用的B人工智能助手功能的识别信息的、包括呼叫词(例如，Bixby)的识别信息。在此，识别信息可以包括人工智能助手的名称、人工智能助手的账户信息、制造人工智能助手的制造商的名称、人工智能助手的URL信息或提供人工智能助手的平台的名称中的至少一个。
电子装置可以从另一电子装置接收识别信息作为对请求的响应。在此，电子装置可以通过使用第二通信方法来接收识别信息。在通过使用第二通信方法接收到识别信息的情况下，电子装置可以将第二通信方法重新改变为第一通信方法。
电子装置可以在以人工智能助手的第一模式操作的同时接收用户命令。在本公开的实施方式中，电子装置可以接收包括在识别信息中包括的呼叫词的用户话语命令。例如，电子装置可以接收包括“Bixby，向我示出我昨天拍摄的照片”的呼叫词的用户话语命令。在本公开的另一实施方式中，电子装置可以包括包含电子装置的人工智能助手功能的呼叫词的用户话语命令。例如，在电子装置的人工智能助手功能的呼叫词是“Galaxy”的情况下，电子装置可以接收包括“Galaxy，向我发送我昨天拍摄的照片”的呼叫词的用户话语命令。
电子装置可以基于识别信息将用户命令发送到另一电子装置。确切地说，电子装置可以在通过使用输入部接收到的用户命令中区分出待由另一电子装置执行的动作，并将包括识别信息的待由另一电子装置执行的动作生成为命令，并且将所生成的命令发送到另一电子装置。
根据本公开的实施方式的电子装置的控制方法如下，其中，电子装置是前述用户装置20，并且另一电子装置是前述访客装置10。
电子装置可以接收请求发送用于使用人工智能助手功能的、包括呼叫词的识别信息的信号。在此，电子装置可以通过使用第一通信方法来接收请求发送识别信息的信号。
电子装置可以在显示器上显示请求用户确认以发送识别信息的用户界面。例如，电子装置可以通过图2至图4中描述的方法经由用户界面接收用户确认。
作为用户确认的结果，电子装置可以将识别信息发送到另一电子装置。在此，电子装置可以通过使用第一通信方法来发送识别信息，并且在发送识别信息之后，电子装置可以将第一通信方法改变为第二通信方法。
本公开的一些实施方式还可以以包括由计算机可执行的指令的记录介质(诸如由计算机执行的程序模块)的形式来实施。计算机可读介质可以是可以由计算机访问的任何可用介质，并且包括易失性和非易失性介质以及可分离和不可分离介质中的全部。另外，计算机可读介质可以包括计算机存储介质和通信介质两者。计算机存储介质包括易失性和/或非易失性介质以及由用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的方法和技术实施的可分离和不可分离介质中的全部。通信介质通常包括将计算机可读指令、数据结构、程序模块或诸如载波的调制数据信号的其他数据，或其他发送机制，并且包括任何信息发送介质。
另外，根据本文中描述的实施方式的方法可以被提供为计算机程序产品。
计算机程序产品可以包括S/W程序、可以由存储S/W程序的计算机读取的存储介质，以及在卖方与买方之间进行交易的产品。
例如，计算机程序产品可以包括通过电子装置或电子装置的制造商或电子市场(例如，谷歌商店、苹果商店)电子地分布的S/W程序形式的产品。对于电子分布，S/W程序的至少一部分可以存储在存储介质中或可以临时生成。在这种情况下，存储介质可以是制造商或电子市场的服务器，或者中继服务器的存储介质。
另外，在此说明书中，“部”可以包括诸如处理器或电路的硬件部件，和/或由诸如处理器的由硬件部件执行的软件部件。
本公开的前述描述是本公开的示例性描述，并且本公开所属的技术领域的普通技术人员将能够理解，在不改变本公开的技术思想或基本特性前提下，可以容易地将本公开修改为另一特定形式。因此，上文描述的实施方式在所有方面均应理解为示例性实施方式，而不应理解为限制性实施方式。例如，描述为单一类型的每个部件可以在分散时实施，并且同样地，描述为分散的部件可以以组合形式实施。
另外，本公开的范围由所附权利要求书而非由上文的详细描述更充分地描述，并且应当解释为，从权利要求的含义和范围及其等效概念得出的所有修改或修改形式均包括在本公开的范围内。

Claims (12)

1.一种电子装置，包括：
输入部；
通信部；
处理器；以及
存储器，
其中所述存储器包括用于所述处理器以执行以下操作的指令：
基于发生了用于请求配置第一模式的事件而将所述通信部的第一通信方法改为第二通信方法，控制所述通信部通过使用所述第二通信方法向另一电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息，在所述第一模式中能够使用所述另一电子装置的人工智能助手功能，
响应于所述请求，通过所述通信部从所述另一电子装置接收所述识别信息，以及
基于在所述人工智能助手的所述第一模式的操作期间接收到用户命令，控制所述通信部基于所述识别信息来将所述用户命令发送到所述另一电子装置。
2.根据权利要求1所述的电子装置，
其中所述存储器包括用于使所述处理器基于由所述通信部通过使用所述第二通信方法接收到所述识别信息而将所述第二通信方法重新改为所述第一通信方法的指令。
3.根据权利要求1所述的电子装置，
其中所述识别信息包括所述人工智能助手的名称、所述人工智能助手的账户信息、制造所述人工智能助手的制造商的名称、所述人工智能助手的URL信息和提供所述人工智能助手的平台的名称中的至少一个。
4.根据权利要求1所述的电子装置，
其中所述存储器包括用于控制所述通信部的指令，使得所述处理器基于在所述人工智能助手的所述第一模式的操作期间通过所述输入部接收到包括所述呼叫词的用户命令，控制所述通信部基于所述识别信息来将所述用户命令发送到所述另一电子装置。
5.根据权利要求1所述的电子装置，
其中所述存储器包括用于控制所述通信部的指令，使得所述处理器在所述人工智能助手的所述第一模式的操作期间在通过使用所述输入部接收到的用户命令中识别出将由所述另一电子装置执行的操作，将所述另一电子装置将执行的操作生成为包括所述识别信息的命令，以及控制所述通信部将所生成的命令发送到所述另一电子装置。
6.根据权利要求1所述的电子装置，
其中所述存储器包括用于使所述处理器执行以下操作的指令：
基于通过所述输入部接收到用于请求终止所述第一模式的命令，删除在所述人工智能助手的所述第一模式的操作期间接收到的所述识别信息和数据。
7.一种用于电子装置的控制方法，包括：
检测用于请求配置第一模式的事件的发生，在所述第一模式中能够使用另一电子装置的人工智能助手功能；
基于检测到用于请求配置所述第一模式的事件的发生，将所述电子装置的第一通信方法改为第二通信方法，通过使用所述第二通信方法向所述另一电子装置请求用于使用人工智能助手功能的、包括呼叫词的识别信息；
响应于所述请求，从所述另一电子装置接收所述识别信息；以及
基于在所述人工智能助手的所述第一模式的操作期间接收到用户命令，基于所述识别信息来将所述用户命令发送到所述另一电子装置。
8.根据权利要求7所述的用于电子装置的控制方法，
其中所述控制方法包括：
基于通过使用所述第二通信方法接收到所述识别信息，将所述第二通信方法重新改为所述第一通信方法。
9.根据权利要求7所述的用于电子装置的控制方法，
其中所述识别信息包括所述人工智能助手的名称、所述人工智能助手的账户信息、制造所述人工智能助手的制造商的名称，和提供所述人工智能助手的平台的名称中的至少一个。
10.根据权利要求7所述的用于电子装置的控制方法，
其中所述控制方法包括：
基于在所述人工智能助手的所述第一模式的操作期间接收到包括所述呼叫词的用户命令，基于所述识别信息来将所述用户命令发送到所述另一电子装置。
11.根据权利要求7所述的用于电子装置的控制方法，
其中所述控制方法包括：
基于在所述人工智能助手的所述第一模式的操作期间接收到用户命令，在所述接收到的用户命令中识别出将由所述另一电子装置执行的操作，将所述另一电子装置将要执行的操作生成为包括所述识别信息的命令，以及将所生成的命令发送到所述另一电子装置。
12.根据权利要求7所述的用于电子装置的控制方法，
其中所述控制方法包括：
基于接收到用于请求终止所述第一模式的命令，删除在所述人工智能助手的所述第一模式的操作期间接收到的所述识别信息和数据。
CN201880055363.1A 2017-09-15 2018-09-17 电子装置及其控制方法 Active CN111095892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210639432.1A CN115016708A (zh) 2017-09-15 2018-09-17 电子装置及其控制方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762559095P 2017-09-15 2017-09-15
US62/559,095 2017-09-15
KR20170156173 2017-11-22
KR10-2017-0156173 2017-11-22
KR1020180109849A KR102489914B1 (ko) 2017-09-15 2018-09-13 전자 장치 및 이의 제어 방법
KR10-2018-0109849 2018-09-13
PCT/KR2018/010921 WO2019054827A1 (ko) 2017-09-15 2018-09-17 전자 장치 및 이의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210639432.1A Division CN115016708A (zh) 2017-09-15 2018-09-17 电子装置及其控制方法

Publications (2)

Publication Number Publication Date
CN111095892A CN111095892A (zh) 2020-05-01
CN111095892B true CN111095892B (zh) 2022-06-24

Family

ID=65907674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055363.1A Active CN111095892B (zh) 2017-09-15 2018-09-17 电子装置及其控制方法

Country Status (4)

Country Link
US (1) US11874904B2 (zh)
EP (1) EP3633947B1 (zh)
KR (1) KR102489914B1 (zh)
CN (1) CN111095892B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343274B2 (en) * 2018-10-05 2022-05-24 Meta Platforms, Inc. Non-spoofable privacy indicator showing disabling of sensors on a network-connected client device
US11467882B2 (en) * 2018-12-21 2022-10-11 Target Brands, Inc. Methods and systems for rapid deployment of configurable computing resources
EP3906508B1 (en) * 2018-12-31 2024-03-13 Intel Corporation Securing systems employing artificial intelligence
WO2020213116A1 (ja) * 2019-04-18 2020-10-22 マクセル株式会社 情報処理装置およびデジタルアシスタントシステム
KR102093430B1 (ko) * 2019-06-24 2020-03-25 박연묵 인공지능 스마트 디바이스의 마이크모듈부 구조 및 이를 포함하는 인공지능 스마트 디바이스
WO2021002611A1 (en) * 2019-07-03 2021-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US20210042398A1 (en) * 2019-08-08 2021-02-11 Pulsepoint, Inc. Validation of Properties of a User Device in a Network
KR102370161B1 (ko) * 2019-09-18 2022-03-03 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버
KR20220149832A (ko) * 2021-04-30 2022-11-09 주식회사 다비다 IoT 스타네트워크를 기반으로 스마트펜과 인공지능 스피커를 이용한 영어 학습 플랫폼 시스템 및 서비스 제공 방법
US11778454B2 (en) * 2021-09-28 2023-10-03 International Business Machines Corporation Service provider independent mobile phone number-based service delivery

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629246A (zh) * 2012-02-10 2012-08-08 北京百纳信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
CN103051734A (zh) * 2013-01-23 2013-04-17 广东志高空调有限公司 家电远程语音控制方法、系统及通信终端
CN103187054A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 电子装置和控制电子装置的方法
CN104978965A (zh) * 2014-04-07 2015-10-14 三星电子株式会社 电子装置及利用电子装置和服务器的语音识别执行方法
CN106326486A (zh) * 2016-09-05 2017-01-11 北京百度网讯科技有限公司 基于人工智能的推送信息的方法和装置
EP3179474A1 (en) * 2015-12-09 2017-06-14 Lenovo (Singapore) Pte. Ltd. User focus activated voice recognition

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073411A1 (en) 2001-10-16 2003-04-17 Meade William K. System and method for automatically applying a user preference from a mobile computing device to an appliance
KR101079066B1 (ko) 2004-03-01 2011-11-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 멀티채널 오디오 코딩
US7562385B2 (en) 2005-04-20 2009-07-14 Fuji Xerox Co., Ltd. Systems and methods for dynamic authentication using physical keys
KR20070015661A (ko) 2005-08-01 2007-02-06 삼성전자주식회사 이동통신 단말기에서 다른 이동통신 단말기의 접근인식을위한 장치 및 방법
KR20090124668A (ko) 2008-05-30 2009-12-03 (주)지란지교소프트 웹 상의 저장공간 공유 방법 및 그 방법을 수행하는 장치
CN102340331A (zh) 2010-07-20 2012-02-01 上海闻泰电子科技有限公司 移动终端蓝牙系统自动识别身份并发出信号的方法
KR20120013864A (ko) 2010-08-05 2012-02-15 오종택 휴대폰 및 사용자 프로파일, 서비스 서버를 이용한 스마트 안심서비스 시스템 및 방법
US9288228B2 (en) * 2011-08-05 2016-03-15 Nokia Technologies Oy Method, apparatus, and computer program product for connection setup in device-to-device communication
US8452597B2 (en) * 2011-09-30 2013-05-28 Google Inc. Systems and methods for continual speech recognition and detection in mobile computing devices
KR101899970B1 (ko) 2011-12-06 2018-09-19 한국전자통신연구원 모바일 클라우드 환경에 적용되는 모바일 단말과 클라우드 서버 및 이를 이용한 모바일 클라우드 컴퓨팅 방법
KR20130116107A (ko) * 2012-04-13 2013-10-23 삼성전자주식회사 단말의 원격 제어 방법 및 장치
US8818276B2 (en) * 2012-05-16 2014-08-26 Nokia Corporation Method, apparatus, and computer program product for controlling network access to guest apparatus based on presence of hosting apparatus
WO2014025990A1 (en) * 2012-08-10 2014-02-13 Nuance Communications, Inc. Virtual agent communication for electronic devices
US9185641B2 (en) * 2013-07-16 2015-11-10 Qualcomm Innovation Center, Inc. Using discoverable peer-to-peer services to allow remote onboarding of headless devices over a Wi-Fi network
US20160227408A1 (en) * 2013-09-12 2016-08-04 Fingi Inc. Systems, methods and devices that allow the hospitality industry and guests to confirm identity and perform identity secure tasks
JP5613314B1 (ja) 2013-11-14 2014-10-22 Ｊｆｅシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム
US20150167995A1 (en) * 2013-12-12 2015-06-18 Google Inc. Safe sandbox mode for a home device
US9804820B2 (en) * 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US20150189504A1 (en) * 2013-12-26 2015-07-02 Yen Hsiang Chew Method and apparatus for secure high-bandwidth ad-hoc networking
US9111214B1 (en) * 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
US9754479B2 (en) 2014-06-25 2017-09-05 Microsoft Technology Licensing, Llc Remote control of a mobile computing device with an auxiliary device
US20160070580A1 (en) * 2014-09-09 2016-03-10 Microsoft Technology Licensing, Llc Digital personal assistant remote invocation
US9424841B2 (en) * 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
CN107209549B (zh) 2014-12-11 2020-04-17 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10021109B2 (en) * 2016-02-24 2018-07-10 Xerox Corporation System and method for automatically providing proximity based guest access to a network of resource devices
US10945129B2 (en) * 2016-04-29 2021-03-09 Microsoft Technology Licensing, Llc Facilitating interaction among digital personal assistants
US10685656B2 (en) * 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
US11663535B2 (en) * 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10853747B2 (en) * 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
US10559309B2 (en) * 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10885219B2 (en) * 2017-02-13 2021-01-05 Microsoft Technology Licensing, Llc Privacy control operation modes
US10438584B2 (en) * 2017-04-07 2019-10-08 Google Llc Multi-user virtual assistant for verbal device control
US11188808B2 (en) * 2017-04-11 2021-11-30 Lenovo (Singapore) Pte. Ltd. Indicating a responding virtual assistant from a plurality of virtual assistants
DK179745B1 (en) * 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US10580098B2 (en) * 2017-05-29 2020-03-03 Virtual OnQ Systems, LLC Voice activated hotel room monitor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187054A (zh) * 2011-12-30 2013-07-03 三星电子株式会社 电子装置和控制电子装置的方法
CN102629246A (zh) * 2012-02-10 2012-08-08 北京百纳信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
CN103051734A (zh) * 2013-01-23 2013-04-17 广东志高空调有限公司 家电远程语音控制方法、系统及通信终端
CN104978965A (zh) * 2014-04-07 2015-10-14 三星电子株式会社 电子装置及利用电子装置和服务器的语音识别执行方法
EP3179474A1 (en) * 2015-12-09 2017-06-14 Lenovo (Singapore) Pte. Ltd. User focus activated voice recognition
CN106326486A (zh) * 2016-09-05 2017-01-11 北京百度网讯科技有限公司 基于人工智能的推送信息的方法和装置

Also Published As

Publication number Publication date
US11874904B2 (en) 2024-01-16
US20200143017A1 (en) 2020-05-07
EP3633947B1 (en) 2022-11-02
CN111095892A (zh) 2020-05-01
EP3633947A1 (en) 2020-04-08
KR102489914B1 (ko) 2023-01-20
EP3633947A4 (en) 2020-05-27
KR20190031167A (ko) 2019-03-25

Similar Documents

Publication Publication Date Title
CN111095892B (zh) 电子装置及其控制方法
US11670302B2 (en) Voice processing method and electronic device supporting the same
US20210104232A1 (en) Electronic device for processing user utterance and method of operating same
US11145302B2 (en) System for processing user utterance and controlling method thereof
US11435980B2 (en) System for processing user utterance and controlling method thereof
CN110998720A (zh) 话音数据处理方法及支持该方法的电子设备
KR20170115501A (ko) 크라우드 소싱에 기초해서 디지털 퍼스널 어시스턴트에 대한 언어 이해 분류기 모델을 업데이트하는 기법
KR102389996B1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
CN110462647B (zh) 电子设备及执行电子设备的功能的方法
US20190019509A1 (en) Voice data processing method and electronic device for supporting the same
KR20210089295A (ko) 인공지능 기반의 정보 처리 방법
US11096112B2 (en) Electronic device for setting up network of external device and method for operating same
US20210149627A1 (en) System for processing user utterance and control method of same
CN112331193A (zh) 语音交互方法及相关装置
KR20210062704A (ko) 인간-컴퓨터 상호작용 방법 및 전자 장치
CN112567718A (zh) 响应用户语音执行包括呼叫的任务的电子装置及操作方法
CN116126509A (zh) 基于多设备提供服务的方法、相关装置及系统
JP6973380B2 (ja) 情報処理装置、および情報処理方法
CN110308886A (zh) 提供与个性化任务相关联的声音命令服务的系统和方法
US20190163436A1 (en) Electronic device and method for controlling the same
US11341965B2 (en) System for processing user utterance and operating method thereof
KR20210066651A (ko) 전자 장치 및 이의 제어 방법
US11972763B2 (en) Method and apparatus for supporting voice agent in which plurality of users participate
CN115016708A (zh) 电子装置及其控制方法
JP2016066983A (ja) 通訳サービスシステム及び通訳サービス方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant