CN112543910A - 用于确认用户的意图的电子装置的反馈方法和设备 - Google Patents

用于确认用户的意图的电子装置的反馈方法和设备 Download PDF

Info

Publication number
CN112543910A
CN112543910A CN201980052580.XA CN201980052580A CN112543910A CN 112543910 A CN112543910 A CN 112543910A CN 201980052580 A CN201980052580 A CN 201980052580A CN 112543910 A CN112543910 A CN 112543910A
Authority
CN
China
Prior art keywords
electronic device
user
feedback
processor
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980052580.XA
Other languages
English (en)
Inventor
郑元喜
尹永旼
爱德华·阿瑟·施韦泽
贾里德·迈克尔·洛德维克
美惠子·海尔
理查德·詹姆斯·沙茨伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112543910A publication Critical patent/CN112543910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Abstract

由电子装置提供一种用于在交互式人工智能(AI)服务(例如，虚拟秘书服务和虚拟朋友服务)期间提供用于确认用户的意图的反馈的方法和设备。所述电子装置包括：输入/输出接口，用于与用户的对话交互；以及至少一个处理器，被配置为基于与用户的对话交互控制执行服务，在所述服务期间监视处理，基于监视的结果检测进入预定阶段，并且输出向用户警告进入所述预定阶段的至少一个反馈。其他实施例是可能的。

Description

用于确认用户的意图的电子装置的反馈方法和设备
技术领域
本公开涉及一种用于在由电子装置提供的交互式人工智能(AI)服务(例如，虚拟秘书服务和虚拟朋友服务)期间提供用于确认用户的意图的反馈的方法和设备。
背景技术
随着数字技术的进步，目前广泛使用各种类型的电子装置。电子装置的示例包括移动通信终端、智能电话、平板个人计算机(PC)、膝上型PC、个人数字助理(PDA)、可穿戴装置和数码相机。
近来，电子装置提供各种基于语音识别技术的服务(功能)。语音识别技术可包括用于将由声音传感器(诸如麦克风)捕获的声学语音信号转换为词语或句子的技术。通常，语音识别技术以这样的方式被执行：提取声音信号，从声音信号消除噪声，提取消除噪声的语音信号的特征，并且将提取的特征与语音模型数据库(DB)进行比较。
近来，已经开发和提供了各种基于语音识别技术的服务(例如，虚拟秘书服务)。例如，电子装置可被设计为允许用户使用语音命令来控制各种生活便利服务(诸如移动搜索、日程管理、打电话、备忘录和音乐回放)。最近，语音识别技术与AI服务融合以实现语音交互服务。例如，可以以这样的方式提供语音交互服务：语音识别使能电子装置收集由用户发出的语音，分析收集的语音以解释用户的意图，生成相应的响应信息，并执行相关功能或向用户提供相关信息。
然而，电子装置缺乏在用户交互服务期间提供用于确认用户的确切意图的反馈的能力。例如，在应被仔细处理的交易操作期间，交互式电子装置甚至处理到交易的最后阶段，也没有确认用户的准确意图。例如，电子装置以日常对话的形式处理对重要用户信息的访问尝试，而没有来自用户的任何确认。即使在最终阶段，这样的处理也可能允许用户的重要信息在用户因与电子装置的语音交互而从交易分心的情况下被无意访问。
以上信息作为背景信息被呈现仅用于帮助理解本公开。至于以上信息中的任何信息是否可应用为针对本公开的现有技术，尚未做出确定并且尚未进行声明。
发明内容
技术问题
本公开的各方面在于至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一方面在于提供一种方法和电子装置，其中，所述方法和所述电子装置能够在交互服务(例如，虚拟秘书服务或虚拟朋友服务)期间提供向用户警告注意交互服务的最终阶段的反馈。
本公开的另一方面在于提供一种方法和电子装置，其中，所述方法和所述电子装置能够在最终阶段监视在电子装置上运行的基于语音的虚拟秘书服务并向用户提供向用户警告进入最终阶段的反馈。
本公开的另一方面在于提供一种方法和电子装置，其中，所述方法和所述电子装置能够提供向用户警告进入服务的最终阶段的反馈以及品牌标识(BI)。
附加的方面将在下面的描述中被部分地阐述，并且部分地，将从描述而清楚，或者可通过本公开的实施例的实践来获知。
技术方案
根据本公开的一方面，提供一种电子装置。所述电子装置包括：输入/输出接口，用于与用户的对话交互；以及至少一个处理器，被配置为控制基于与用户的对话交互执行服务，在所述服务期间监视处理，基于监视的结果检测进入预定阶段，并且输出向用户警告进入所述预定阶段的至少一个反馈。
根据本公开的另一方面，提供一种电子装置的操作方法。所述方法包括：基于与用户的对话交互执行服务，在所述服务期间监视处理，基于监视的结果检测进入预定阶段，并且输出向用户警告进入所述预定阶段的至少一个反馈。
根据本公开的各种实施例，一种计算机可读存储介质存储可由至少一个处理器执行的以实现用于解决上述问题的方法的程序。
根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
有益效果
根据各种实施例的电子装置及其操作方法在提供向用户警告进入交互服务的最终阶段的反馈方面是有利的。根据各种实施例的电子装置能够监视基于语音的虚拟秘书操作以进入最终阶段，以提供向用户警告进入最终阶段的反馈，使得用户对实际预期情况做出最终确认。根据各种实施例的电子装置在通过反映BI来提供向用户警告进入最终阶段的反馈以使用户快速识别最终阶段的类别方面是有利的。根据各种实施例的电子装置在通过提供向用户警告进入交互服务的最终阶段的反馈来提高装置的可用性、便利性、可访问性、安全性、可靠性和竞争力方面是有利的。
附图说明
根据以下结合附图的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加明显，其中：
图1是示出根据本公开的实施例的网络环境中的电子装置的配置的框图；
图2是示出根据本公开的实施例的程序的框图；
图3是示出根据本公开的实施例的电子装置的功能处理模块的配置的框图；
图4是示出根据本公开的实施例的电子装置的操作方法的流程图；
图5是示出根据本公开的实施例的电子装置的操作方法的流程图；
图6A、图6B和图6C是示出根据本公开的实施例的电子装置的操作场景的示图；
图7是示出根据本公开的实施例的电子装置的反馈方法的示图；
图8A、图8B、图8C和图8D是示出根据本公开的各种实施例的电子装置的反馈方法的示图；
图9A和图9B是示出根据本公开的各种实施例的电子装置的反馈方法的示图；
图10是示出根据本公开的实施例的电子装置的反馈方法的示图；
图11是示出根据本公开的实施例的电子装置的操作方法的流程图；
图12是示出根据本公开的实施例的电子装置的操作方法的流程图；
图13是示出根据本公开的实施例的电子装置的反馈方法的示图；以及
图14是示出根据本公开的实施例的电子装置的基于装置类型的反馈确定方法的示图。
在整个附图中，相同的参考标号将被理解为指相同的部件、组件和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些细节仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明，可省略对公知功能和结构的描述。
在以下描述和权利要求书中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员应显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，并且不是为了限制由所附权利要求及其等同物限定的本公开的目的。
将理解，除非上下文另有明确规定，否则单数形式包括复数指示物。因此，例如，提及“组件表面”包括提及一个或更多个这样的表面。
图1是示出根据本公开的实施例的网络环境中的电子装置的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。
根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据本公开的实施例的程序的框图。
参照图2，程序140可包括用于控制电子装置101的一个或更多个资源的操作系统(OS)142、中间件144或可在OS 142中运行的应用146。OS 142可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。例如，可在制造期间将程序140中的至少一部分预载入到电子装置101上，或者可在用户使用期间从外部电子装置(例如，电子装置102或电子装置104，或者服务器108)下载或由外部电子装置更新程序140中的至少一部分。
OS 142可控制电子装置101的一个或更多个系统资源(例如，进程、存储器或电源)的管理(例如，分配或解除分配)。另外或可选地，OS 142可包括用于驱动电子装置101的其它硬件装置(例如，输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块196或天线模块197)的一个或更多个驱动程序。
中间件144可向应用146提供各种功能，使得应用146可使用从电子装置101的一个或更多个资源提供的功能或信息。中间件144可包括例如应用管理器201、窗口管理器203、多媒体管理器205、资源管理器207、电力管理器209、数据库管理器211、包管理器213、连接管理器215、通知管理器217、位置管理器219、图形管理器221、安全管理器223、电话管理器225或语音识别管理器227。
应用管理器201例如可管理应用146的生命周期。窗口管理器203例如可管理在屏幕上使用的一个或更多个图形用户界面(GUI)资源。多媒体管理器205例如可识别将用于播放媒体文件的一个或更多个格式，并可使用适合于从所述一个或更多个格式中选择的相应格式的编解码器对媒体文件之中的相应媒体文件进行编码或解码。资源管理器207例如可管理应用146的源代码或存储器130的存储空间。电力管理器209例如可管理电池189的容量、温度或电力，并可至少部分基于电池189的容量、温度或电力的相应信息来确定或提供将用于电子装置101的操作的相关信息。根据实施例，电力管理器209可与电子装置101的基本输入/输出系统(BIOS)(未示出)协同工作。
数据库管理器211例如可产生、搜索或改变将由应用146使用的数据库。包管理器213例如可管理以包文件的形式分布的应用的安装或更新。连接管理器215例如可管理电子装置101与外部电子装置之间的无线连接或直接连接。通知管理器217例如可提供用于向用户通知发生特定事件(例如，呼入呼叫、消息或警报)的功能。位置管理器219例如可管理关于电子装置101的位置信息。图形管理器221例如可管理将向用户提供的一个或更多个图形效果或与所述一个或更多个图形效果有关的用户界面。
安全管理器223例如可提供系统安全或用户认证。电话管理器225例如可管理由电子装置101提供的语音呼叫功能或视频呼叫功能。语音识别管理器227例如可向服务器108发送用户的语音数据，并从服务器108接收与将至少部分基于语音数据或至少部分基于语音数据而转换的文本数据在电子装置101上运行的功能相应的命令。根据实施例，中间件144可动态地删除一些现有组件或添加新的组件。根据实施例，可包括中间件144中的至少一部分作为OS 142的一部分，或者可将中间件144中的至少一部分实现为与OS 142分离的另一软件。
应用146可包括例如主页251、拨号器253、短消息服务(SMS)/多媒体消息服务(MMS)255、即时消息(IM)257、浏览器259、相机261、闹铃263、联系人265、语音识别267、电子邮件269、日历271、媒体播放器273、相册275、手表277、健康279(例如，用于测量锻炼程度或生物信息(诸如血糖))或环境信息281(例如，用于测量气压、湿度或温度信息)应用。根据实施例，应用146还可包括能够支持电子装置101与外部电子装置之间的信息交换的信息交换应用(未示出)。信息交换应用例如可包括适用于向外部电子装置传送指定信息(例如，呼叫、消息或警报)的通知转发应用或适用于管理外部电子装置的装置管理应用。
通知转发应用可向外部电子装置传送与在电子装置101的另一应用(例如，电子邮件应用269)发生特定事件(例如，接收到电子邮件)相应的通知信息。另外或可选地，通知转发应用可从外部电子装置接收通知信息并向电子装置101的用户提供通知信息。
装置管理应用可控制外部电子装置或外部电子装置的一些组件(例如，外部电子装置的显示装置或相机模块)的电力(例如，开启或关闭)或功能(例如，亮度、分辨率或焦点的调整)。另外或可选地，装置管理应用可支持在外部电子装置上运行的应用的安装、删除或更新。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。
如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行所述多个部件中的每一个部件的一个或更多个功能相同或相似的方式，执行所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图3是示出根据本公开的实施例的电子装置的功能处理模块的配置的框图。
参照图3，功能处理300可以是用于执行提供向用户警告进入用户与电子装置101之间的基于语音的交互(或交互模式)的最终阶段的反馈以提高用户便利性的功能的模块。在图3的实施例中，功能处理模块300监视基于语音的虚拟秘书操作以进入最终阶段，并提供向用户警告进入最终阶段的反馈。根据各种实施例，功能处理模块300可以是包括处理电路并以硬件模块或软件模块的形式实现的处理器(例如，图1中的处理器120)。
参照图3，功能处理模块300可包括虚拟秘书模块310、监视模块320、反馈处理模块330和输出处理模块340。
在各种实施例中，虚拟秘书模块310可执行基于语音的虚拟秘书(或AI秘书或虚拟朋友)或语音代理操作。根据实施例，虚拟秘书模块310可经由语音代理从用户的话语识别用户的意图，并输出与用户的意图相应的响应。例如，虚拟秘书模块310可执行与用户的基于语音的对话交互以处理AI对话。
在各种实施例中，监视模块320可监视虚拟秘书操作的处理。根据实施例，监视模块320可监视与用户的交互以进入与AI服务的执行结果相关的最终阶段(或最终确认阶段)。根据各种实施例，最终阶段是用于确认处理与用户的交互的结果的阶段，例如，用于确认是否执行处理结果的阶段。例如，作为处理交互的结果，最终阶段可包括在执行命令(例如，结算、预约、订票、信息删除以及拨打电话或发送消息)之前确认是否立即执行该命令。根据实施例，如果基于与用户的交互根据虚拟秘书操作场景填写了所有参数(或交互参数)，则监视模块320可确定进入最终阶段。
在各种实施例中，监视模块320可基于处理监视结果来检测进入预定阶段(例如，最终阶段)。根据实施例，监视模块320可监视与用户的交互以进入正在进行的AI服务的最终阶段，并且响应于确定进入最终阶段来生成相关触发(例如，反馈输出触发或中断)。
在各种实施例中，反馈处理模块330可至少基于预定反馈方案来生成相关反馈信息。根据实施例，反馈处理模块330可响应于由监视模块320生成的触发来确定进入用于向用户提供反馈的状态。
根据实施例，反馈处理模块330可生成与向用户警告进入最终阶段相关的反馈信息，以便用户确认最终阶段的状态(或结果)是否与用户的意图匹配。根据实施例，反馈可包括由用户在确定最终阶段的结果(或将被采取的动作(信息)作为结果)是否与用户的意图匹配时使用的信息。根据实施例，反馈处理模块330可根据各种反馈方案中的一种反馈方案生成反馈信息，以在完成最终阶段之前利用视觉元素、听觉元素或触觉元素中的至少一种向用户警告进入最终阶段。
根据各种实施例，反馈处理模块330可基于至少一个条件(例如，装置特性和装置使用状态)来生成反馈信息。根据实施例，反馈处理模块330可通过反映BI来生成反馈信息。
在各种实施例中，BI可以是使用户快速识别(认出)用户在AI服务中预期的目标(或品牌)(例如，目标功能(例如，信息删除功能和消息传输功能)、目标公司和目标产品)的对象。例如，可基于由用户记忆的品牌特有的颜色、图像(或图标或标记)、文本(例如，徽标)或声音(例如，商业广告(CM)歌曲和标志性歌曲)中的至少一个以及相应品牌的字段、理念、目标、活动、表示或图像来生成BI。根据实施例，BI可在电子装置中被预定义，或者经由AI服务通过请求服务器而从品牌服务器获取。
在各种实施例中，输出处理模块340可基于由反馈处理模块330生成的反馈信息，利用视觉元素、听觉元素或触觉元素中的至少一种来处理反馈输出。根据实施例，输出处理模块340可基于语音(或语音警报)、声音(或声音效果)、视觉(或视觉效果)或振动中的至少一个来输出反馈。根据实施例，输出处理模块340可根据关于将输出的反馈的信息的属性来控制与组件(例如，显示器、扬声器和触觉模块(或振动模块))协作地输出反馈。
如上所述，根据各种实施例的电子装置101可包括用于与用户的对话交互的输入/输出接口(例如，输入装置150、声音输出装置155和显示装置160)和处理器(例如，处理器120)，其中，处理器被配置为：基于与用户的基于语音的对话交互执行服务，监视正在进行的服务的处理，基于监视的结果检测进入预定阶段，并输出向用户警告进入预定阶段的至少一个反馈。
根据各种实施例，处理器120可在与用户的对话交互期间确定进入服务的操作场景中的最终阶段。
根据各种实施例，处理器120可基于根据服务的操作场景的所有参数被填写来确定进入最终阶段。
根据各种实施例，处理器120可利用视觉元素、听觉元素或战术元素中的至少一种来输出向用户警告进入最终阶段的至少一个反馈。
根据各种实施例，处理器120可基于语音反馈模式、声音反馈模式、视觉反馈模式或振动反馈模式中的至少一种来输出至少一个反馈。
根据各种实施例，处理器120可基于电子装置的装置属性来确定至少一个反馈的反馈模式。
根据各种实施例，处理器120可基于电子装置101的使用状态来确定至少一个反馈的反馈模式。
根据各种实施例，处理器120可输出反馈以及BI。
根据各种实施例，BI可包括使用户快速识别用户在服务中预期的目标的对象。
根据各种实施例，处理器120可将BI生成为具有与反馈模式相应的视觉、听觉或触觉元素的对象。
图4是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图4，在操作401，电子装置101的处理器120(例如，包括处理电路的至少一个处理器或图3中的功能处理模块)可执行基于语音的虚拟秘书(或虚拟朋友或语音代理)操作。根据实施例，处理器120可从用户的话语识别用户的意图，并输出与用户的意图相的响应。例如，处理器120可执行与用户的基于语音的对话交互以处理AI对话。根据实施例，处理器120可使用被配置用于与用户对话交互的组件(或输入/输出接口)(例如，图1中的输入装置150(例如，麦克风)、图1中的声音输出装置155(例如，扬声器)和图1中的显示装置160(例如，显示器))来执行与虚拟秘书操作(或服务)相关的交互。
根据实施例，用户可控制电子装置101(例如，输入基于语音或基于触摸的唤醒命令)执行AI服务(或唤醒语音代理)来预约餐厅。在执行AI服务时，用户可发出与餐厅预约处理相关的各种询问和指令，并且处理器230可输出与从用户的话语识别出的用户的意图相应的回答(例如，基于语音的输出)，并处理通过与用户的交互收集的预约相关信息。
根据实施例，处理器可在内部或公开地(例如，在显示器上显示信息)利用收集的预约相关信息来填写预约相关信息字段。例如，处理器120可确认将预约的餐厅，并且通过在预约相关信息字段中填写诸如预约日期、预约时间和预约人数的详细预约信息来配置预约信息。根据实施例，电子装置101可以是配备有显示器的装置(诸如智能电话)，并且基于与用户的交互公开地显示正在进行的处理，以便用户通过AP服务在显示器上检查进度进行推进。
根据实施例，电子装置是不配备显示器的装置(诸如智能扬声器)，并且基于与用户的交互的正在进行的处理可在内部被处理和被管理。
在操作403，处理器120可监视虚拟秘书操作的处理(或正在进行的处理)。根据实施例，处理器120可监视与用户的交互，以按照执行AI服务的结果确定进入最终阶段(最终确认阶段)。根据各种实施例，最终阶段可以是用于确认处理与用户的交互的结果的阶段，例如，用于确认是否基于处理结果执行操作的阶段。例如，作为处理交互的结果，最终阶段可包括在执行命令(例如，结算、预约、订票、信息删除和打电话/发送消息)之前确认是否立即执行该命令。
在操作405，处理器120可基于监视处理的结果来检测进入预定阶段。根据实施例，处理器120可通过与用户的交互来监视正在进行的处理以确定进入进行中的AI服务的最终阶段。
在操作407，处理器可基于预定反馈模式来控制反馈输出。根据实施例，在检测到进入最终阶段时，处理器120可输出用于确认最终阶段的状态(或结果)是否与用户预期的情况匹配的反馈。根据实施例，反馈可包括由用户在确定最终阶段的结果(或按照结果将采取的动作(信息))是否与用户的意图匹配时使用的信息。
根据实施例，处理器120可基于视觉元素、听觉元素或触觉元素中的至少一种来控制反馈输出。例如，处理器120可在执行由最终阶段产生的操作之前以各种反馈模式中的一种反馈模式控制输出向用户警告进入最终阶段的反馈。根据各种实施例，处理器120可控制确定用于以基于至少一个条件选择的至少一个反馈模式输出反馈的所述至少一个反馈模式。稍后参照附图对反馈输出方法进行描述。
图5是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图5，在操作501，电子装置101的处理器120(例如，包括处理电路的至少一个处理器或图3中的功能处理模块)可执行基于语音的虚拟秘书(或虚拟朋友或语音代理)操作。
在操作503，处理器120可监视虚拟秘书操作的处理。
在操作505，处理器120可基于监视处理的结果来确定是否检测到最终阶段。
如果在操作505确定未检测到最终阶段(否)，则处理器120可执行操作501的操作和后续操作。
如果在操作505确定检测到最终阶段(是)，则在操作507，处理器120可确定BI。根据各种实施例，BI可以是使用户快速识别(认出)用户在AI服务中预期的目标(或品牌)(例如，目标功能(例如，信息删除功能和消息传输功能)、目标公司和目标产品)的对象。
在操作509，处理器可基于与标识出的BI相应的标识信息控制输出至少一个反馈。根据实施例，处理器120可基于与BI相应的颜色(例如，红色、绿色、白色和黑色)、声音、徽标和图像中的至少一部分来生成标识信息。根据实施例，处理器可在与至少一个标识信息相应的反馈模式下控制输出反馈。根据实施例，处理器120可输出向用户警告进入最终阶段的基于语音的反馈。
根据实施例，处理器120可利用与用于AI服务的交互的语音不同的语音(音调不同、性别不同、重音不同、以及每个字母基于强调话语的独特语音)输出反馈。
根据实施例，处理器120可根据标识信息基于第一信息(例如，颜色(例如，红色))控制显示强调最终阶段确认按钮，并利用与先前使用的语音区别开的语音输出反馈。
根据实施例，处理器120可与区别开的语音相关联(结合区别开的语音)地利用第二信息(例如，CM歌曲)输出反馈。例如，可输出CM歌曲，随后输出区别开的语音，或者与区别开的语音同时输出CM歌曲。根据各种实施例，处理器120可利用多个标识的信息输出反馈。
图6A、图6B和图6C是示出根据本公开的实施例的电子装置的操作场景的示图。
参照图6A、图6B和图6C，用户可在电子装置101上执行虚拟秘书(或语音代理)(例如，AI服务Bixby)。根据实施例，可通过用于执行(或唤醒)虚拟秘书的语音命令来执行虚拟秘书。根据实施例，可基于利用被配置用于执行虚拟秘书的按钮进行的输入来执行虚拟秘书。
根据实施例，电子装置101可响应于来自用户的虚拟秘书执行请求来执行虚拟秘书，并经由显示器(例如，图1中的显示装置160)显示相关界面。另外地或选择性地，电子装置101可利用与虚拟秘书的执行相应的声音(或语音)通知用户虚拟秘书的执行。根据可选的实施例，电子装置101是没有显示器(例如，图1中的显示装置160)的装置(例如，智能扬声器)，并且在这种情况下，它可利用与秘书的执行相应的声音(或语音)通知用户虚拟秘书的执行。在以下描述中，假设电子装置101是具有显示器的智能电话。
根据各种实施例，在执行虚拟秘书之后，电子装置101可执行与用户的对话交互。根据实施例，电子装置101可收集用户的语音话语，分析收集的语音话语以识别用户的意图，生成响应信息，并且经由显示器显示响应信息和/或经由扬声器向用户输出响应信息。
在图6A、图6B和图6C的实施例中，用户可使用作为虚拟秘书的AI服务之一的餐厅预约服务。例如，用户可向电子装置101请求关于餐厅的信息(例如，发出话语“查找巴西牛排馆”以请求搜索)；电子装置101可识别用户请求推荐(或搜索)餐厅的意图，搜索并收集相关信息，并向用户提供(或响应)相关信息。例如，如图6A的示例性屏幕显示所示，电子装置101可显示用于向用户提供通过与用户的交互收集的信息的界面。根据实施例，界面可包括第一区域610(例如，交互区域或交互式区域)、第二区域620(例如，信息区域)或第三区域(例如，面板区域)中的至少一个。
根据实施例，电子装置101可显示第一信息601(例如，推荐类别信息，诸如“这里有加利福尼亚州圣何塞的一些餐厅”)作为对从用户的话语识别出的意图的响应(例如，响应消息)。根据实施例，可通过扬声器以语音的形式输出(或宣布或引导)第一信息601。
根据实施例，电子装置可在第二区域620中显示第二信息602(例如，每个餐厅的代表性图像、餐厅名称和食物类型作为收集的餐厅信息)。根据实施例，第二区域620可被配置为可滚动以对信息进行导航。
根据实施例，第三区域630可以是固定用于或准备用于提供对象的区域，其中，所述对象用于通过与用户的交互来接收用户的数据输入(例如，语音输入执行或文本输入)和/或对处理(或正在进行的处理)的确认。
根据实施例，用户可从通过交互提供的信息选择并指定特定项目。例如，用户可发出用于选择与“披萨”相关的项目603的语音命令。电子装置101可分析与用户的交互以识别用户的意图并提供关于项目603的详细页面，如图6B中所示。根据实施例，电子装置101可执行与用户关于详细页面的基于语音的交互。
如图6B的示例性屏幕显示所示，电子装置101可向用户提供关于根据用户的话语选择的项目603的详细页面。例如，电子装置可向用户提供与项目603相关联地收集(例如，从外部服务器收集)的详细信息(例如，关于用户想要的食物(例如，意大利辣香肠披萨)的代表性图像603A、关于食物的补充信息603B和地址信息603C(例如，地图信息))。
根据实施例，电子装置101可在第三区域630中提供用于接收对进行到下一阶段的确认的对象640(例如，按钮、图标和文本)。用户可通过触摸对象640来做出基于触摸的命令，或者做出基于语音的命令以进行到下一阶段。根据各种实施例，可以以常见的方式提供用于接收对进行到下一阶段的确认的对象640，而在该处理期间没有任何单独的反馈。例如，出现在中间阶段的对象通常可以以一般形式(例如，基本颜色按钮)被提供，以更强调(或突出)出现在最终阶段的对象。
根据实施例，在图6B的示例性屏幕显示中所示的状态下，用户可利用出现在中间阶段的对象640做出进行到下一阶段的命令。例如，用户可输入用于预约餐厅的命令。电子装置可分析与用户的交互来识别用户的意图以提供用于执行用户预期的功能(或服务)(例如，餐厅预约)的页面，如图6C的示例性屏幕显示所示。
如图6C的示例性屏幕显示所示，用户可通过与电子装置101的交互来填写与功能(或服务)(例如，预约)相关的参数607(或字段)(例如，预约人数、预约日期、预约时间和联系人信息)。根据实施例，电子装置101可监视功能(或服务)的进程以进入最终阶段。根据实施例，如果与功能(或服务)相关的所有参数607都被填写，则电子装置可确定进入最终阶段。
根据各种实施例，电子装置101可在检测到进入最终阶段时至少一次向用户提供反馈以向用户警告进入功能(或服务)的最终阶段(例如，实际预约)。
根据实施例，电子装置可输出语音反馈，并且在第一区域610中显示与用于接收对最终阶段的确认的响应(响应消息)相关的第四信息605(例如，提醒用户的信息，诸如“我应该预约吗？”)。根据实施例，电子装置101可通过扬声器利用与通过先前处理中与用户的交互使用的语音在性质(或特性)方面不同的语音输出第四信息605(例如，“我应该预约吗？”)。例如，电子装置101可输出与在先前处理期间用于与用户的交互的语音不同(或有区别)(例如，在音调、性别、重音和每个字母的重读)的语音。
根据实施例，电子装置101可以以强调(或突出)的方式在第三区域630(例如，面板区域)中提供用于接收对最终阶段的确认的对象650(例如，按钮、图标和文本)。
根据各种实施例，可以以与如图6B的屏幕显示中例示的用于接收对进行到下一阶段的确认的对象不同的方式提供用于接收对最终阶段的确认的对象650。根据实施例，电子装置101可在进程期间利用与针对第一对象640共同使用的颜色不同的颜色向用户进行反馈。
根据各种实施例，BI(或服务应用特定标识)可被反映到利用第二对象650做出的反馈。例如，可以以图形形式强调(或突出)第二对象650，以用表示与进行中的功能(或服务)相关的公司的代表性颜色或代表性图像(或图标)向用户警告进入最终阶段。
根据各种实施例，电子装置101可将包括颜色变化的各种效果(例如，图形效果)应用于第二对象650，并且基于屏幕以及第二对象650提供向用户警告进入最终阶段的反馈，其中，该效果未被应用于第一对象640。稍后参照附图进行其详细描述。
图7是示出根据本公开的实施例的电子装置的反馈方法的示图。
参照图7，电子装置101可控制在检测到进入虚拟秘书操作的最终阶段时在反馈模式下输出至少一次反馈。根据各种实施例，可在语音模式710、声音模式720、视觉模式730或振动模式740中的至少一种模式下输出反馈以向用户警告用户必须特别注意的情况。
在各种实施例中，语音模式710可以是用于利用预定语音属性(例如，音调、性别特定的语音、重音、重读发声和字符特定的语音)提供反馈以向用户警告进入最终阶段的反馈模式。根据实施例，电子装置101可利用与在先前处理期间使用的第一语音音调(例如，语音输出的音调)不同的第二语音音调输出向用户警告进入最终阶段的反馈。根据实施例，电子装置101可利用与在先前处理期间使用的第一语音在重音(例如，音高)上不同的第二语音输出向用户警告进入最终阶段的反馈。根据实施例，电子装置101可利用与在先前处理期间使用的第一语音在性别上不同的第二语音输出向用户警告进入最终阶段的反馈。根据实施例，电子装置101可利用与在先前处理期间使用的第一发声不同的第二发声(例如，特征在于重读“D.o.Y.o.u.w.a.n.t.t.o.b.o.o.k”中的每个字母(或词语))输出向用户警告进入最终阶段的反馈。
在各种实施例中，声音模式720可以是用于利用预定声音输出向用户警告进入最终阶段的反馈的反馈模式。根据实施例，预定声音可以是能够利用听觉元素有效地向用户警告或提醒用户进入运行中(或进行中)的处理的最终阶段的各种声音中的一种声音。根据实施例，预定声音可包括旋律、嘟嘟声、警报声、前缀声(例如，基于语音的声音，诸如用户的姓名)和BI的独特声音提醒。
根据实施例，声音模式720可独立地(或单独地)操作或者与语音模式710结合(协调)操作。例如，可以以混合方式输出反馈，使得以背景音乐(MGM)的形式输出预定声音，同时在语音模式710下输出语音警报。例如，可以以这样的方式提供反馈：在输出用于语音模式710下的语音之前利用呼叫用户(或用户的姓名)的语音产生前缀，并且在产生前缀之后在语音模式710下输出语音。
在各种实施例中，视觉模式730可以是用于利用预定视觉效果输出向用户警告进入最终阶段的反馈的反馈模式。根据实施例，预定视觉效果可以是能够利用视觉元素有效地向用户警告或提醒用户进入运行中(或进行中)的处理的最终阶段的各种视觉效果中的一种视觉效果。根据实施例，预定视觉效果可包括屏幕上显示的至少一个对象(例如，用于标识用户的按钮)的图形元素的改变(例如，颜色的改变、形状的改变、图标的添加)、屏幕亮度的改变(例如，局部改变或全局改变)以及通过使用电子装置101的至少一部分的照明效果(例如，LED照明和边缘照明)。根据实施例，视觉模式730可独立地(或单独地)操作或者与视觉模式730、语音模式710和/或声音模式720结合(协作)操作。
在各种实施例中，振动模式740可以是用于利用预定振动效果输出向用户警告进入最终阶段的反馈的反馈模式。根据实施例，预定振动效果可以是能够利用触觉(或触感)元素有效地向用户警告或提醒用户进入处理的最终阶段的各种振动模式中的一种振动模式。根据实施例，振动模式可以是BI的独特振动模式(例如，具有基于BI的CM歌曲(或标志性歌曲)的节拍、强度和步调的模式)。
根据各种实施方式，语音模式710、源模式720、视觉模式730和振动模式740可至少基于电子装置101的配置的模式或装置特性而独立地操作或结合它们中的至少两种模式操作。例如，电子装置101可通过多模态交互提供向用户警告进入最终阶段的反馈。例如，电子装置101可以以多模态方式输出具有语音、图形、音乐(声音)、图像、光或振动中的至少一个的反馈。
图8A、图8B、图8C和图8D是示出根据本公开的各种实施例的电子装置的反馈方法的示图。
参照图8A至图8D，电子装置101包括如图6中例示的显示器；电子装置101的一部分以放大的比例被描绘。例如，图8A至图8D示出在最终阶段使用在面板区域(例如，图6D中的第三区域630)中呈现的对象(例如，图6中的对象650)在视觉模式下提供具有至少一个效果的反馈的示例。
参照图8A，根据实施例，电子装置可提供用于接收对最终阶段的确认的对象800(例如，按钮、图标和文本)(在下文中，被称为确认对象)，其中，该对象的颜色根据阶段而变化。例如，电子装置101可显示利用由参考标号810表示的第一颜色(例如，红色)或由参考标号820表示的第二颜色(例如，绿色)着色的确认对象800。根据实施例，确认对象800可基于相应的BI以相同地表示品牌的颜色被显示。例如，电子装置101可在检测到进入与公司S(或公司S的产品)相关联的服务的最终阶段时，以表示公司S的预定颜色(例如，蓝色)显示确认对象800。
参照图8B，根据实施例，电子装置101可利用视觉效果与先前视觉效果不同的确认对象提供用于接收对最终阶段的确认的反馈，以引起用户的关注。例如，电子装置101可在确认对象800的边界上以辉光淡入/淡出效果强调(或突出)确认对象830。
参照图8C，根据实施例，电子装置101可利用文本属性与先前文本属性不同的确认对象800(例如，按钮)提供用于接收对最终阶段的确认的反馈。例如，电子装置101可将按钮内的文本颜色从由参考标号840表示的第一颜色改变为由第二颜色850表示的第二颜色。例如，电子装置101可利用闪烁效果显示确认对象800，使得确认对象800内的文本正在闪烁。例如，电子装置101可利用反转效果显示确认对象800，使得确认对象800内的文本在对比色之间重复反转。例如，电子装置101可显示确认对象800，使得确认对象800内的文本在由参考标号840表示的第一颜色(例如，白色)与由参考标号850表示的第二颜色(例如，黑色)之间重复反转。
参照图8D，根据实施例，电子装置101可利用确认对象800提供用于接收对最终阶段的确认的反馈，其中，确认对象800的形状与先前的形状不同，或者在确认对象800中，附加的对象(例如，图标、徽标和图像)与先前的对象不同。例如，电子装置101可显示确认对象800，在确认对象800内部，具有能够标识相应品牌(或服务或功能)的代表性对象(例如，徽标、图标和图像)，如参考标号860和870所示。例如，电子装置101可改变确认对象800的形状，以利用改变的形状识别相应品牌(或服务或功能)。根据实施例，确认对象800或添加在确认对象内部的由参考标号860和870表示的对象的形状可被改变为预先配置为识别最终阶段的另一形状或对象。
图9A和图9B是示出根据本公开的各种实施例的电子装置的反馈方法的示图。
图9A和图9B示出电子装置通过调节电子装置101的屏幕亮度来提供向用户警告进入最终阶段的反馈的情况。
参照图9A，根据实施例，电子装置101可通过在检测到进入最终阶段(例如，服务的所有参数都被填写)时将屏幕的至少一个区域(例如，屏幕的全部或一部分)的亮度改变预定亮度(例如，最大亮度)来向用户警告(或强调)进入最终阶段。根据实施例，电子装置101可在检测到进入最终阶段时将屏幕亮度改变为最大亮度，并在预定时间段期间保持最大亮度。根据实施例，电子装置101可在预定时间段期满之后将亮度改变回先前的亮度。根据实施例，电子装置101可全局地或局部地改变屏幕亮度。根据实施例，可以以改变除了面板区域900(或对象950)之外的屏幕的亮度的方式来执行局部亮度改变。
参照图9B，根据实施例，电子装置101可在检测到进入最终阶段(例如，服务的所有参数都被填写)时在屏幕的区域(例如，屏幕的全部或一部分)处利用淡入/淡出效果向用户警告进入最终阶段。根据实施例，电子装置101可通过在屏幕中局部地或全局地应用淡入/淡出效果来提供向用户警告进入最终阶段的反馈。根据实施例，在预定时段期间，可将局部淡入/淡出效果应用于除了面板区域900(或对象950)之外的屏幕。
图10是示出根据本公开的实施例的电子装置的反馈方法的示图。
参照图10，电子装置101可利用发光组件(例如，LED和边缘区域)提供向用户警告进入最终阶段的反馈。
参照图10，根据实施例，电子装置101可在检测到进入最终阶段时在电子装置101的外围(或边缘)周围发射光。根据实施例，电子装置101可使用边缘照明通知来提供向用户警告进入最终阶段的反馈。根据实施例，电子装置101可使用由发光组件(例如，LED)创建的照明效果1000来提供向用户警告进入最终阶段的反馈。
图11是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图11，在操作1101，电子装置101的处理器120(例如，包括处理电路的至少一个处理器)(或图3中的功能处理模块300)可检测基于语音的虚拟秘书操作的预定阶段。根据实施例，处理器120可监视虚拟秘书操作，以基于监视的结果确定进入最终阶段。
在操作1103，处理器120可基于预定阶段的检测来确定BI。在各种实施例中，BI可以是使用户快速识别(认出)用户在AI服务中预期的目标(或品牌)(例如，目标功能(例如，信息删除功能和消息传输功能)、目标公司和目标产品)的对象。
在操作1105，处理器120可确定与反馈相关联的反馈属性。在各种实施例中，处理器120可至少基于装置属性或装置使用状态来确定使用第一属性(例如，显示属性(或图形属性))、第二属性(例如，声音输出属性)、第三属性(例如，视觉(或照明)属性)或第四属性(例如，振动输出属性)中的至少一个。根据实施例，可至少基于电子装置101是否包括特定组件(例如，显示器)或装置类型(例如，智能电话、TV、智能扬声器和冰箱)来确定装置特性。
在操作1107，处理器120可控制基于反馈属性输出包括BI的反馈。
根据实施例，处理器120可在确定使用第一属性时通过利用图形元素强调BI来提供向用户警告进入最终阶段的反馈。根据实施例，处理器120可在确定使用第二属性时通过利用声音效果(例如，CM歌曲)强调BI来提供向用户警告进入最终阶段的反馈。根据实施例，处理器120可在确定使用第三属性时通过利用照明效果(例如，由LED发射的特定颜色光)强调BI来提供向用户警告进入最终阶段的反馈。根据实施例，处理器120可在确定使用第四属性时通过利用振动元素(例如，基于特定模式的振动)强调BI来提供向用户警告进入最终阶段的反馈。
根据各种实施例，处理器120可通过组合与第一属性至第四属性中的至少两个属性相应的多个反馈模式来确定使用所述至少两个属性来提供向用户警告进入最终阶段的反馈。根据各种实施例，处理器120可提供被配置为利用基于BI的反馈向用户警告进入最终阶段的基于语音的反馈。
图12是示出根据本公开的实施例的电子装置的操作方法的流程图。
参照图12，在操作1201，处理器120(例如，包括处理电路的至少一个处理器)(或图3中的功能处理模块300)可检测基于语音的虚拟秘书操作的预定阶段。根据实施例，处理器可基于监视处理的结果来检测进入虚拟秘书操作的最终阶段。根据实施例，如果与相应功能(或服务)相关的所有参数(或字段)(例如，预约人数、预约日期、预约时间和联系人信息)通过与用户的交互被填写，则处理器120可确定进入最终阶段。
在操作1203，处理器可响应于检测到进入预定阶段确定BI。在各种实施例中，BI可包括使用户快速识别(或认出)用户在AI服务中预期的目标(或品牌)(例如，目标功能、目标公司或目标产品)的对象。
在操作1205，处理器可确定装置特性。根据实施例，处理器120可至少基于电子装置101是否包括特定组件(例如，显示器、LED、光学输出组件和振动输出组件)来确定装置特性(例如，反馈输出模式)。根据实施例，处理器120可至少基于装置的类型(例如，智能电话、TV、智能扬声器和冰箱)来确定装置特性。
在操作1207，处理器可至少基于装置特性来确定输出属性(例如，第一属性)。根据实施例，如果电子装置101包括显示器，则处理器120可基于电子装置101包括显示器来确定电子装置101具有能够在屏幕上输出反馈的属性。根据实施例，如果电子装置支持利用边缘照明或LED功能的光发射，则处理器120可确定电子装置101具有能够利用光输出反馈的属性。根据实施例，如果电子装置101支持振动输出，则处理器120可确定电子装置101具有能够利用振动输出反馈的属性。
在操作1209，处理器120可确定装置是否在使用中。根据实施例，处理器可使用各种状况感测技术来确定电子装置101是否在使用中(例如，手持状态和显示器打开状态)。根据实施例，处理器120可确定特定图像是否被显示在显示器上。根据实施例，处理器120可使用各种面部识别技术来确定用户是靠近电子装置101还是注视电子装置。
在操作1211，处理器120可基于装置的使用状态来确定输出属性(例如，第二属性)。根据实施例，如果电子装置在使用中，则处理器120可确定与装置的使用状态相关联的输出反馈的属性。
根据实施例，如果电子装置101正在显示器上显示特定图像，则处理器120可确定与显示器的使用相关联的反馈输出属性。根据实施例，处理器120可根据用户是否靠近电子装置101来确定反馈输出属性。根据实施例，处理器120可根据用户是否正在注视电子装置101来确定反馈输出属性。
在操作1213，处理器120可至少基于输出属性来确定反馈模式。根据实施例，处理器120可最终根据基于装置特性的输出属性和基于装置使用状态的输出属性的组合来确定反馈模式。根据实施例，处理器120可至少基于装置属性或装置使用状态来确定使用第一属性(例如，显示属性(或图形属性))、第二属性(例如，声音输出属性)、第三属性(例如，视觉(或照明)属性)或第四属性(例如，振动输出属性)中的至少一个。
根据实施例，如果处理器120包括具有第一属性至第四属性的用于反馈的所有组件并且电子装置101在使用中，则处理器120可基于第一属性至第四属性来确定反馈模式。
根据实施例，即使电子装置101包括具有第一属性至第四属性的用于反馈的所有组件，如果显示器被关闭或者如果用户既不靠近电子装置101也不注视电子装置101，则处理器120也可基于除了第一属性和第三属性之外的第二属性和第四属性来确定反馈模式。
根据实施例，如果电子装置101不包括显示器、LED和振动输出组件(例如，振动电机)中的至少一个，则处理器120可基于除了与未包括的组件相关联的属性之外的与装置的使用状态相应的至少一个属性来确定反馈模式。
在操作1215，处理器可至少基于BI和反馈模式来控制至少一个反馈的输出。根据实施例，如果所有第一属性至第四属性被确定，则处理器120可使用所有屏幕输出(例如，图形元素改变或屏幕亮度调节)、声音输出(例如，语音输出)、照明输出(例如，LED输出和边缘照明输出)和振动输出(例如，模式化振动输出)来提供反馈。
根据实施例，如果第一属性和第二属性被确定，则处理器120可使用屏幕输出和声音输出来提供反馈。根据实施例，如果第二属性和第四属性被确定，则处理器120可使用声音输出和振动输出来提供反馈。根据实施例，如果第二属性和第三属性被确定，则处理器120可使用声音输出和照明输出来提供反馈。
根据各种实施例，处理器120可通过根据反馈模式动态地反映BI来提供反馈。例如，可以以至少基于视觉元素、听觉元素或触觉元素应用BI的对象的反馈模式提供反馈。
图13是示出根据本公开的实施例的电子装置的反馈方法的示图。
参照图13，假设电子装置101是不具有显示器的装置(在下文中，被称为智能扬声器1300)。
参照图13，如果检测到虚拟秘书操作的最终阶段，则智能扬声器1300可控制在预定反馈模式下输出至少一个反馈。在各种实施例中，可在语音模式1310、声音模式1320、视觉模式1330或振动模式中的至少一种模式下输出反馈以向用户警告用户必须特别注意的情况。
在各种实施例中，语音模式1310可以是智能扬声器1300基于预定语音属性(例如，音调、特定性别的语音、重音、重读发声和字符特定的语音)提供反馈的反馈模式。
在各种实施例中，声音模式1320可以是智能扬声器1300基于预定视觉效果提供反馈的反馈模式。
在各种实施例中，视觉模式1330可以是智能扬声器基于预定视觉效果提供反馈的反馈模式。根据实施例，智能扬声器1300可不包括显示器并且支持具有LED的光发射，如附图中所示。在视觉模式1330下，智能扬声器1300可排除用于改变任何图形元素(例如，改变颜色、改变形状或添加图标)或改变屏幕上的亮度的反馈模式，并且利用使用LED的照明效果提供反馈。
在各种实施例中，振动模式1340可以是智能扬声器1300基于预定振动效果提供反馈的反馈模式。
根据各种实施例，语音模式1310、声音模式1320、视觉模式1330和振动模式1340可根据装置特性以不同的方式操作。根据各种实施例，语音模式1310、声音模式1320、视觉模式1330和振动模式1340可独立地操作或结合它们中的至少两种模式操作。例如，电子装置101可通过多模态交互向用户提供向用户警告进入最终阶段的反馈。
图14是示出根据本公开的实施例的电子装置的基于装置类型的反馈确定方法的示图。
参照图14，电子装置可以是大型装置(例如，冰箱)(在下文中，被称为家电装置1400)。
参照图14，家电装置1400可以是就装置的性质而言不支持振动输出的装置。在各种实施例中，家电装置1400可支持除了振动模式1440之外的语音模式1410、声音模式1420和视觉模式1430。
根据实施例，如果检测到虚拟秘书操作的最终阶段，则家电装置1400基于接近感测技术或面部识别技术来确定用户的接近或注视。根据实施例，如果既不存在用户的接近也不存在用户对装置的注视，则家电装置1400可至少基于除了视觉模式1430之外的语音模式1410和声音模式1420来提供反馈。
如上所述，根据各种实施例的电子装置101的操作可包括：基于与用户的对话交互执行服务，监视服务的处理，基于监视的结果检测进入预定阶段，并且输出向用户警告进入预定阶段的至少一个反馈。
根据各种实施例，监视处理的步骤可包括：在与用户的对话交互期间，确定服务是否进入服务的操作场景中的最终阶段。
根据各种实施例，确定服务是否进入最终阶段的步骤可包括：基于与服务的操作场景相关联的参数全部被填写来确定进入最终阶段。
根据各种实施例，输出至少一个反馈的步骤可包括：至少基于视觉元素、听觉元素或触觉元素来输出向用户警告进入最终阶段的至少一个反馈。
根据各种实施例，输出至少一个反馈的步骤可包括：基于语音模式、声音模式、视觉模式或振动模式中的至少一种来输出至少一个反馈。
根据各种实施例，输出至少一个反馈的步骤可包括：基于电子装置的装置特性来确定用于至少一个反馈的反馈模式。
根据各种实施例，输出至少一个反馈的步骤可包括：基于电子装置的使用状态来确定用于至少一个反馈的反馈模式。
根据各种实施例，输出至少一个反馈的步骤可包括：输出包括品牌标识(BI)的至少一个反馈。
根据各种实施例，BI可包括使用户快速识别用户在服务中预期的目标的对象。
根据各种实施例，输出至少一个反馈的步骤可包括：利用与反馈模式相应的视觉、听觉或触觉元素的对象来配置BI。
尽管已经参照本公开的各种实施例示出和描述了本公开，但本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：
输入/输出接口，用于与用户的对话交互；以及
至少一个处理器，被配置为：
基于与用户的对话交互执行服务，
在所述服务期间监视处理，
基于监视的结果检测进入预定阶段，并且
输出向用户警告进入所述预定阶段的至少一个反馈。
2.如权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：在与用户的对话交互期间，确定所述服务是否进入所述服务的操作场景中的最终阶段。
3.如权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为：基于与所述服务的所述操作场景相关联的参数全部被填写来确定进入所述最终阶段。
4.如权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为：至少基于视觉元素、听觉元素或触觉元素来输出向用户警告进入所述最终阶段的所述至少一个反馈。
5.如权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为：基于语音模式、声音模式、视觉模式或振动模式中的至少一种来控制输出所述至少一个反馈。
6.如权利要求5所述的电子装置，其中，所述至少一个处理器还被配置为：基于所述电子装置的装置特性或所述电子装置的使用状态中的至少一个来确定用于所述至少一个反馈的反馈模式。
7.如权利要求2所述的电子装置，其中，所述至少一个处理器还被配置为：控制输出包括品牌标识BI的所述至少一个反馈，
其中，所述BI包括使用户识别该用户在所述服务中预期的目标的对象。
8.如权利要求7所述的电子装置，其中，所述至少一个处理器还被配置为：利用与反馈模式相应的视觉、听觉或触觉元素的对象来配置所述BI。
9.一种电子装置的操作方法，所述方法包括：
基于与用户的对话交互来执行服务；
在所述服务期间监视处理；
基于监视的结果检测进入预定阶段；并且
输出向用户警告进入所述预定阶段的至少一个反馈。
10.如权利要求9所述的方法，其中，监视处理的步骤包括：在与用户的对话交互期间，确定所述服务是否进入所述服务的操作场景中的最终阶段。
11.如权利要求10所述的方法，其中，确定所述服务是否进入最终阶段的步骤包括：基于与所述服务的所述操作场景相关联的参数全部被填写来确定进入所述最终阶段。
12.如权利要求10所述的方法，其中，输出所述至少一个反馈的步骤包括：
至少基于视觉元素、听觉元素或触觉元素来输出向用户警告进入所述最终阶段的所述至少一个反馈；并且
基于语音模式、声音模式、视觉模式或振动模式中的至少一种来输出所述至少一个反馈。
13.如权利要求12所述的方法，其中，输出所述至少一个反馈的步骤包括：基于所述电子装置的装置特性或所述电子装置的使用状态中的至少一个来确定用于所述至少一个反馈的反馈模式。
14.如权利要求10所述的方法，其中，输出所述至少一个反馈的步骤包括：输出包括品牌标识BI的所述至少一个反馈，
其中，所述BI包括使用户快速识别该用户在所述服务中预期的目标的对象。
15.如权利要求14所述的方法，其中，输出所述至少一个反馈的步骤包括：利用与反馈模式相应的视觉、听觉或触觉元素的对象来配置所述BI。
CN201980052580.XA 2018-08-08 2019-08-08 用于确认用户的意图的电子装置的反馈方法和设备 Pending CN112543910A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180092613A KR102607666B1 (ko) 2018-08-08 2018-08-08 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
KR10-2018-0092613 2018-08-08
PCT/KR2019/009947 WO2020032608A1 (en) 2018-08-08 2019-08-08 Feedback method and apparatus of electronic device for confirming user's intention

Publications (1)

Publication Number Publication Date
CN112543910A true CN112543910A (zh) 2021-03-23

Family

ID=69406723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052580.XA Pending CN112543910A (zh) 2018-08-08 2019-08-08 用于确认用户的意图的电子装置的反馈方法和设备

Country Status (5)

Country Link
US (1) US11714598B2 (zh)
EP (1) EP3799629A4 (zh)
KR (1) KR102607666B1 (zh)
CN (1) CN112543910A (zh)
WO (1) WO2020032608A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US10706096B2 (en) 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
JP6328797B2 (ja) 2014-05-30 2018-05-23 アップル インコーポレイテッド １つのデバイスの使用から別のデバイスの使用への移行
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
KR20240049648A (ko) 2019-05-31 2024-04-16 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
CN111782965B (zh) * 2020-06-29 2023-08-11 北京百度网讯科技有限公司 意图推荐方法、装置、设备及存储介质
US11392291B2 (en) * 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
CN117198286A (zh) * 2022-06-01 2023-12-08 华为技术有限公司 一种语音交互方法及终端
KR102565198B1 (ko) * 2022-11-30 2023-08-11 주식회사 엘젠 사용자 맞춤형 대화를 수행하는 디지털 휴먼 제공 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020082989A1 (en) * 2000-10-04 2002-06-27 Fife John P. System and method for providing feedback in an interactive payment system
US20030018531A1 (en) * 2000-09-08 2003-01-23 Mahaffy Kevin E. Point-of-sale commercial transaction processing system using artificial intelligence assisted by human intervention
US20070061497A1 (en) * 2005-09-14 2007-03-15 Sony Corporation Player and playing method and program
KR20130016024A (ko) * 2011-08-05 2013-02-14 삼성전자주식회사 전자 장치 및 전자 장치의 ｕｉ 제공방법
KR20140115862A (ko) * 2013-03-22 2014-10-01 주식회사 이비카드 모바일 연동 결제 방법 및 시스템
KR20170033641A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 전자 장치 및 전자 장치의 동작 제어 방법
CN107111516A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 数字个人助理内的无头任务完成
CN108090109A (zh) * 2016-11-21 2018-05-29 谷歌有限责任公司 基于先前对话内容在自动化对话会话中提供提示

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643624B2 (en) * 1998-03-09 2003-11-04 Yan Philippe Method and system for integrating transaction mechanisms over multiple internet sites
JP4910563B2 (ja) 2006-08-14 2012-04-04 日産自動車株式会社 音声認識装置
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
KR101474963B1 (ko) 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8386252B2 (en) * 2010-05-17 2013-02-26 Avaya Inc. Estimating a listener's ability to understand a speaker, based on comparisons of their styles of speech
KR101854357B1 (ko) 2011-07-19 2018-06-14 에스케이플래닛 주식회사 사용자 의도에 따른 지능형 정보 제공 시스템, 방법 및 그에 대한 기록매체
WO2013012159A1 (ko) 2011-07-19 2013-01-24 에스케이플래닛 주식회사 지능형 정보 제공 시스템 및 방법
US9024749B2 (en) * 2011-12-20 2015-05-05 Chris Ratajczyk Tactile and visual alert device triggered by received wireless signals
US9818061B1 (en) * 2013-10-22 2017-11-14 Lumin, LLC Collaboration of audio sensors for geo-location and continuous tracking of multiple users in a device-independent artificial intelligence (AI) environment
US10534623B2 (en) * 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US10459608B2 (en) 2014-12-01 2019-10-29 Ebay Inc. Mobile optimized shopping comparison
CN105898584A (zh) 2015-08-12 2016-08-24 乐视致新电子科技（天津）有限公司 一种语音信息反馈方法、装置及一种电视机
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10467615B1 (en) * 2015-09-30 2019-11-05 Square, Inc. Friction-less purchasing technology
US10170116B1 (en) * 2016-09-21 2019-01-01 Amazon Technologies, Inc. Maintaining context for voice processes
KR20180054362A (ko) 2016-11-15 2018-05-24 삼성전자주식회사 사용자의 음성 입력을 인식하는 방법 및 장치
KR20180083587A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20180314532A1 (en) * 2017-04-26 2018-11-01 Google Inc. Organizing messages exchanged in human-to-computer dialogs with automated assistants
US10643618B1 (en) * 2017-06-05 2020-05-05 Project 4011, Llc Speech recognition technology to improve retail store checkout

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018531A1 (en) * 2000-09-08 2003-01-23 Mahaffy Kevin E. Point-of-sale commercial transaction processing system using artificial intelligence assisted by human intervention
US20020082989A1 (en) * 2000-10-04 2002-06-27 Fife John P. System and method for providing feedback in an interactive payment system
US20070061497A1 (en) * 2005-09-14 2007-03-15 Sony Corporation Player and playing method and program
KR20130016024A (ko) * 2011-08-05 2013-02-14 삼성전자주식회사 전자 장치 및 전자 장치의 ｕｉ 제공방법
KR20140115862A (ko) * 2013-03-22 2014-10-01 주식회사 이비카드 모바일 연동 결제 방법 및 시스템
CN107111516A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 数字个人助理内的无头任务完成
KR20170033641A (ko) * 2015-09-17 2017-03-27 삼성전자주식회사 전자 장치 및 전자 장치의 동작 제어 방법
CN108090109A (zh) * 2016-11-21 2018-05-29 谷歌有限责任公司 基于先前对话内容在自动化对话会话中提供提示

Also Published As

Publication number Publication date
US11714598B2 (en) 2023-08-01
WO2020032608A1 (en) 2020-02-13
EP3799629A1 (en) 2021-04-07
KR102607666B1 (ko) 2023-11-29
KR20200017249A (ko) 2020-02-18
EP3799629A4 (en) 2021-08-11
US20200050426A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US11714598B2 (en) Feedback method and apparatus of electronic device for confirming user's intention
US11450315B2 (en) Electronic apparatus and method for operating same
KR102298947B1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US10402625B2 (en) Intelligent electronic device and method of operating the same
US11551682B2 (en) Method of performing function of electronic device and electronic device using same
KR102416782B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US11662976B2 (en) Electronic device and method for sharing voice command thereof
KR20200015267A (ko) 음성 인식을 수행할 전자 장치를 결정하는 전자 장치 및 전자 장치의 동작 방법
CN112331196A (zh) 管理多个智能代理的电子设备及其操作方法
US11198154B2 (en) Method and apparatus for providing vibration in electronic device
US11474780B2 (en) Method of providing speech recognition service and electronic device for same
US11495223B2 (en) Electronic device for executing application by using phoneme information included in audio data and operation method therefor
KR20190122457A (ko) 음성 인식을 수행하는 전자 장치 및 전자 장치의 동작 방법
US10929009B2 (en) Electronic device for outputting graphic indication
US11151995B2 (en) Electronic device for mapping an invoke word to a sequence of inputs for generating a personalized command
US20240071390A1 (en) Electronic device configured to perform action using speech recognition function and method for providing notification related to action using same
KR102616156B1 (ko) 컨텐츠를 생성하기 위한 전자 장치
US20220413988A1 (en) Electronic device and method for processing user input
US20220415325A1 (en) Electronic device and method for processing user input
KR20200100379A (ko) 전자 장치의 단축 기능 제공 방법 및 이를 사용하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination