ES2950974T3 - Dispositivo electrónico para realizar una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario y procedimiento de operación del mismo - Google Patents

Dispositivo electrónico para realizar una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario y procedimiento de operación del mismo Download PDF

Info

Publication number
ES2950974T3
ES2950974T3 ES19846412T ES19846412T ES2950974T3 ES 2950974 T3 ES2950974 T3 ES 2950974T3 ES 19846412 T ES19846412 T ES 19846412T ES 19846412 T ES19846412 T ES 19846412T ES 2950974 T3 ES2950974 T3 ES 2950974T3
Authority
ES
Spain
Prior art keywords
electronic device
information
user
service provider
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19846412T
Other languages
English (en)
Inventor
Kwangyoun Kim
Woochan Kim
Yusic Kim
Juyeoung Kim
Jaeeun Suh
Eunsu Jeong
Jihyun Jung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Application granted granted Critical
Publication of ES2950974T3 publication Critical patent/ES2950974T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5166—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42025—Calling or Called party identification service
    • H04M3/42085—Called party identification service
    • H04M3/42093—Notifying the calling party of information on the called or connected party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/428—Arrangements for placing incoming calls on hold
    • H04M3/4286—Notifying a held subscriber when his held call is removed from hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2027—Live party detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/251—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
    • H04M2203/253—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably where a visual mode is used instead of a voice mode
    • H04M2203/254—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably where a visual mode is used instead of a voice mode where the visual mode comprises menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un dispositivo electrónico incluye: un micrófono; un altavoz; una pantalla táctil; un circuito de comunicación; al menos un procesador; y una memoria que almacena instrucciones que, cuando se ejecutan, hacen que al menos un procesador: reciba una primera entrada del usuario; identificar un proveedor de servicios y un servicio detallado; seleccionar un primer menú correspondiente al servicio detallado de la información del menú; intentar conectar una llamada al proveedor de servicios; cuando se conecta la llamada al proveedor del servicio, transmitir una o más respuestas hasta llegar a un paso correspondiente al primer menú; en respuesta a llegar al primer menú, determine si un asistente está conectado; en respuesta a la finalización de la conexión con el asistente, generar una notificación que indique que se ha completado la conexión con el asistente; y en respuesta a la recepción de una segunda entrada del usuario para la notificación de salida, mostrar una pantalla para una llamada con el proveedor de servicios. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Dispositivo electrónico para realizar una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario y procedimiento de operación del mismo
[Campo técnico]
Varias realizaciones se refieren a un dispositivo electrónico que realiza una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario, y un procedimiento de operación del mismo.
[Técnica antecedente]
A medida que se ha desarrollado la tecnología, ha surgido una tecnología capaz de recibir un pronunciamiento de un usuario para proporcionar diversos servicios de contenido basados en la intención del usuario o para realizar funciones específicas dentro de un dispositivo electrónico mediante un servicio de reconocimiento de voz y una interfaz de reconocimiento de voz. La comprensión lingüística es la tecnología para reconocer, aplicar y procesar el lenguaje/los caracteres humanos e incluye el procesamiento del lenguaje natural, la traducción automática, los sistemas de diálogo, las respuestas a consultas, el reconocimiento/síntesis del habla y similares.
El reconocimiento automático del habla (ASR) puede permitir la recepción de una voz de usuario de entrada, la extracción de un vector de características acústicas a partir de ella y la generación del texto correspondiente a la voz de entrada. Mediante el ASR, un dispositivo electrónico puede recibir lenguaje natural a través de la entrada directa de un usuario. El lenguaje natural es el utilizado habitualmente por los seres humanos, y una máquina es incapaz de entender directamente el lenguaje natural sin un análisis adicional. En general, un procedimiento de comprensión del lenguaje natural (NLU) en un sistema de reconocimiento del habla puede clasificarse en dos tipos. El primero es un procedimiento de comprensión de una lengua hablada mediante una gramática pasiva de nivel semántico, y el otro es un procedimiento de comprensión de una cadena de palabras en relación con una estructura semántica definida a partir de un modelo lingüístico generado por un procedimiento estadístico.
Un dispositivo electrónico puede proporcionar diversas formas de servicios basados en la voz a un usuario mediante el reconocimiento de voz y el procesamiento del lenguaje natural descritos. Por ejemplo, se sabe por el documento US20100303227 proporcionar sistemas y procedimientos para supervisar las llamadas telefónicas que se ponen en espera.
Divulgación de la invención
Problema técnico
Un proveedor de servicios que presta diversos servicios a través de una llamada con un asistente puede solicitar, después de que un cliente que utiliza un servicio realice una llamada, que el cliente pulse un botón para seleccionar el servicio deseado o puede solicitar la autenticación del usuario. El procedimiento de la solicitud por el proveedor de servicios puede llevar un tiempo excesivo. El tiempo de espera para conectar con el asistente puede durar de varios minutos a varias decenas de minutos, lo que supone un tiempo excesivo para que el cliente utilice el servicio.
Solución al Problema
El objetivo anterior se resuelve por la materia objeto de las reivindicaciones independientes. Las realizaciones preferentes se definen en las reivindicaciones dependientes.
Efectos Ventajosos de la Invención
Un dispositivo electrónico según diversas realizaciones puede mejorar una experiencia de usuario mediante la conexión de una llamada a un centro de llamadas en nombre de un usuario del dispositivo electrónico y la ejecución de una aplicación de llamada en segundo plano hasta que se conecte un asistente del centro de llamadas.
Breve descripción de los dibujos
Los anteriores y otros aspectos, características y ventajas de la presente divulgación se harán más evidentes a partir de la siguiente descripción detallada tomada en conjunto con los dibujos adjuntos, en los que:
La FIG. 1 ilustra un diagrama de bloques de un dispositivo electrónico en un entorno de red, de acuerdo con diversas realizaciones;
La FIG. 2 ilustra un diagrama de flujo para explicar un procedimiento de operación del dispositivo electrónico de acuerdo con diversas realizaciones.
La FIG. 3 ilustra diagramas conceptuales para explicar un procedimiento de conexión de una llamada a un dispositivo electrónico externo sobre la base de un pronunciamiento del usuario según diversas realizaciones;
La FIG. 4 ilustra un diagrama de flujo para explicar la operación del dispositivo electrónico y un proveedor de servicios según diversas realizaciones;
La FIG. 5 ilustra una estructura de árbol para la información de menú proporcionada por el proveedor de servicios según varias realizaciones;
La FIG. 6 ilustra un diagrama de flujo para explicar una operación de selección, por el dispositivo electrónico, de un menú correspondiente a un servicio detallado a partir de la información de menú proporcionada por el proveedor de servicios según diversas realizaciones;
La FIG. 7 ilustra un diagrama conceptual para explicar una operación de transmisión, por el dispositivo electrónico, de una respuesta en respuesta a una o más indicaciones de voz proporcionadas por el proveedor de servicios según diversas realizaciones;
La FIG. 8 ilustra un diagrama de flujo para explicar una operación de determinación, por el dispositivo electrónico, de si un asistente está conectado según varias realizaciones;
La FIG. 9 ilustra un diagrama de flujo para explicar una operación de determinación, por el dispositivo electrónico, de si un asistente está conectado según varias realizaciones;
La FIG. 10A ilustra varios diagramas conceptuales para proporcionar una notificación, que indica la conexión con el asistente, por el dispositivo electrónico según varias realizaciones;
La FIG. 10B ilustra varios diagramas conceptuales para proporcionar una notificación, que indica la conexión con el asistente, por el dispositivo electrónico según varias realizaciones;
La FIG. 11 ilustra un diagrama de flujo para explicar una operación de comprobación de la información de usuario del dispositivo electrónico según diversas realizaciones;
La FIG. 12 ilustra un diagrama de flujo para explicar un procedimiento de operación del dispositivo electrónico de acuerdo con diversas realizaciones.
La FIG. 13 ilustra diagramas conceptuales para explicar un modo de espera del dispositivo electrónico que se va a conectar a un asistente según diversas realizaciones;
La FIG. 14 ilustra un diagrama de flujo para explicar un procedimiento de operación del dispositivo electrónico de acuerdo con diversas realizaciones.
La FIG. 15A ilustra un diagrama de flujo para explicar la operación de un servidor, el dispositivo electrónico y el proveedor de servicios según diversas realizaciones;
La FIG. 15B ilustra un diagrama de flujo para explicar la operación del servidor, el dispositivo electrónico y el proveedor de servicios según diversas realizaciones;
La FIG. 16 ilustra diagramas conceptuales para explicar la provisión de información según un pronunciamiento del usuario por el dispositivo electrónico de acuerdo con varias realizaciones;
La FIG. 17 es un diagrama que ilustra un sistema de inteligencia integrado de acuerdo con diversas realizaciones.
La FIG. 18 es un diagrama de bloques que ilustra un terminal de usuario del sistema de inteligencia integrado de acuerdo con una realización.
La FIG. 19 es un diagrama que ilustra la ejecución de una aplicación inteligente por el terminal de usuario según una realización;
La FIG. 20 es un diagrama de bloques que ilustra un servidor del sistema de inteligencia integrado, de acuerdo con una realización.
La FIG. 21 es un diagrama que ilustra un procedimiento de generación de una regla de ruta por un módulo de Comprensión del Lenguaje Natural (NLU) de ruta según una realización;
La FIG. 22 es un diagrama que ilustra la recogida de un estado actual por un módulo de contexto de un procesador según una realización;
La FIG. 23 es un diagrama que ilustra la gestión de la información del usuario por un módulo persona según una realización; y
La FIG. 24 es un diagrama de bloques que ilustra un módulo de sugerencias de acuerdo con una realización.
Modo para la invención
Antes de emprender la siguiente DESCRIPCIÓN DETALLADA, puede ser ventajoso establecer definiciones de determinadas palabras y expresiones utilizadas a lo largo del presente documento de patente: los términos "incluye" y "comprende", así como sus derivados, significan inclusión sin limitación; el término "o" es inclusivo, que significa y/o; las expresiones "asociado con" y "asociado con el mismo", así como sus derivados, pueden significar incluir, estar incluido dentro, interconectar con, contener, estar contenido dentro, conectar a o con, acoplar a o con, ser comunicable con, cooperar con, intercalar, yuxtaponer, estar próximo a, estar vinculado a o con, tener, tener una propiedad de, o similares; y el término "controlador" significa cualquier dispositivo, sistema o parte del mismo que controla al menos una operación, tal como un dispositivo puede estar implementado en hardware, firmware o software, o alguna combinación de al menos dos de los mismos. Se debe señalar que la funcionalidad asociada con cualquier controlador particular puede estar centralizada o distribuida, ya sea de manera local o remota.
Además, diversas funciones descritas a continuación pueden ser implementadas o soportadas por uno o más programas informáticos, cada uno de los cuales está formado por un código de programa legible por ordenador e integrado en un medio legible por ordenador. Los términos "aplicación" y "programa" se refieren a uno o más programas informáticos, componentes de software, conjuntos de instrucciones, procedimientos, funciones, objetos, clases, instancias, datos relacionados, o una porción de los mismos adaptada para su implementación en un código de programa legible por ordenador adecuado. La expresión "código de programa legible por ordenador" incluye cualquier tipo de código de ordenador, incluido el código fuente, código objeto, y código ejecutable. La expresión "medio legible por ordenador" incluye cualquier tipo de medio capaz de ser accedido por un ordenador, tal como una memoria de sólo lectura (ROM), una memoria de acceso aleatorio (RAM), una unidad de disco duro, un disco compacto (CD), un disco de vídeo digital (DVD), o cualquier otro tipo de memoria. Un medio legible por ordenador "no transitorio" excluye los enlaces de comunicación cableados, inalámbricos, ópticos, o de otro tipo que transportan señales eléctricas transitorias u otras señales. Un medio legible por ordenador no transitorio incluye medios en los que los datos se pueden almacenar de manera permanente y medios en los que los datos se pueden almacenar y sobrescribir posteriormente, tal como un disco óptico regrabable o un dispositivo de memoria borrable.
Las definiciones de ciertas palabras y expresiones se proporcionan a lo largo de este documento de patente. Los expertos en la técnica deben comprender que en muchos, si no en la mayoría de los casos, dichas definiciones se aplican tanto a usos anteriores como futuros de dichas palabras y expresiones definidas.
Las FIG. 1 a 24, discutidas a continuación, y las diversas realizaciones utilizadas para describir los principios de la presente divulgación en este documento de patente son solo a modo de ilustración y no deben interpretarse de ninguna manera como limitantes del alcance de la divulgación. Los expertos en la técnica entenderán que los principios de la presente divulgación se pueden implementar en cualquier sistema o dispositivo convenientemente dispuesto.
La FIG. 1 es un diagrama de bloques que ilustra un dispositivo electrónico 101 en un entorno de red 100 de acuerdo con ciertas realizaciones. Refiriéndonos a la FIG. 1, el dispositivo electrónico 101 en el entorno de red 100 se puede comunicar con un dispositivo electrónico 102 a través de una primera red 198 (por ejemplo, una red de comunicación inalámbrica de corto alcance), o un dispositivo electrónico 104 o un servidor 108 a través de una segunda red 199 (por ejemplo, una red de comunicación inalámbrica de largo alcance). De acuerdo con una realización, el dispositivo electrónico 101 se puede comunicar con el dispositivo electrónico 104 a través del servidor 108. De acuerdo con una realización, el dispositivo electrónico 101 puede incluir un procesador 120, una memoria 130, un dispositivo de entrada 150, un dispositivo de salida de sonido 155, un dispositivo de visualización 160, un módulo de audio 170, un módulo de sensor 176, una interfaz 177, un módulo háptico 179, un módulo de cámara 180, un módulo de gestión de la energía 188, una batería 189, un módulo de comunicación 190, un módulo de identificación de suscriptor (SIM) 196 o un módulo de antena 197. En algunas realizaciones, al menos uno (por ejemplo, el dispositivo de visualización 160 o el módulo de cámara 180) de los componentes se puede omitir en el dispositivo electrónico 101, o se pueden añadir uno o más componentes en el dispositivo electrónico 101. En algunas realizaciones, algunos de los componentes se pueden implementar como circuitos integrados individuales. Por ejemplo, el módulo de sensor 176 (por ejemplo, un sensor de huellas dactilares, un sensor de iris o un sensor de iluminancia) se puede implementar como incrustado en el dispositivo de visualización 160 (por ejemplo, una pantalla).
El procesador 120 puede ejecutar, por ejemplo, software (por ejemplo, un programa 140) para controlar al menos otro componente (por ejemplo, un componente de hardware o software) del dispositivo electrónico 101 acoplado al procesador 120, y puede llevar a cabo varios procesamientos de datos o cálculos. De acuerdo con una realización, como al menos parte del procesamiento de datos o del cálculo, el procesador 120 puede cargar una orden o datos recibidos de otro componente (por ejemplo, el módulo de sensor 176 o el módulo de comunicación 190) en la memoria volátil 132, procesar la orden o los datos almacenados en la memoria volátil 132, y almacenar los datos resultantes en la memoria no volátil 134. De acuerdo con una realización, el procesador 120 puede incluir un procesador 121 principal (por ejemplo, una unidad central de procesamiento (CPU) o un procesador de aplicaciones (AP)), y un procesador 123 auxiliar (por ejemplo, una unidad de procesamiento de gráficos (GPU), un procesador de señales de imagen (ISP), un procesador de centros de sensores, o un procesador de comunicaciones (CP)) que es operable independientemente de, o junto con, el procesador 121 principal. Adicional o alternativamente, el procesador 123 auxiliar puede estar adaptado para consumir menos energía que el procesador 121 principal, o para ser específico para una función determinada. El procesador 123 auxiliar se puede implementar de forma separada o como parte del procesador 121 principal.
El procesador auxiliar 123 puede controlar al menos algunas de las funciones o estados relacionados con al menos un componente (por ejemplo, el dispositivo de visualización 160, el módulo de sensor 176 o el módulo de comunicación 190) entre los componentes del dispositivo electrónico 101, en lugar del procesador principal 121 mientras éste se encuentra en un estado inactivo (por ejemplo, de suspensión), o junto con el procesador principal 121 mientras éste se encuentra en un estado activo (por ejemplo, ejecutando una aplicación). De acuerdo con una realización, el procesador auxiliar 123 (por ejemplo, un procesador de señales de imagen o un procesador de comunicación) se puede implementar como parte de otro componente (por ejemplo, el módulo de cámara 180 o el módulo de comunicación 190) relacionado funcionalmente con el procesador auxiliar 123.
La memoria 130 puede almacenar varios datos utilizados por al menos un componente (por ejemplo, el procesador 120 o el módulo de sensor 176) del dispositivo electrónico 101. Los diversos datos pueden incluir, por ejemplo, el software (por ejemplo, el programa 140) y los datos de entrada o de salida de un comando relacionado con el mismo. La memoria 130 puede incluir la memoria volátil 132 o la memoria no volátil 134.
El programa 140 se puede almacenar en la memoria 130 como software, y puede incluir, por ejemplo, un sistema operativo (OS) 142, middleware 144, o una aplicación 146.
El dispositivo 150 de entrada puede recibir una orden o datos para ser utilizados por otro componente (por ejemplo, el procesador 120) del dispositivo 101 electrónico, desde el exterior (por ejemplo, un usuario) del dispositivo 101 electrónico. El dispositivo de entrada 150 puede incluir, por ejemplo, un micrófono, un ratón, un teclado o un lápiz digital (por ejemplo, un lápiz óptico).
El dispositivo de salida de sonido 155 puede emitir señales de sonido hacia el exterior del dispositivo electrónico 101. El dispositivo de salida de sonido 155 puede incluir, por ejemplo, un altavoz o un receptor. El altavoz se puede utilizar para fines generales, tal como la reproducción de multimedia o la reproducción de discos, y el receptor se puede utilizar para una llamada entrante. De acuerdo con una realización, el receptor puede ser implementado como separado o como parte del altavoz.
El dispositivo de visualización 160 puede proporcionar visualmente información al exterior (por ejemplo, un usuario) del dispositivo electrónico 101. El dispositivo de visualización 160 puede incluir, por ejemplo, una pantalla, un dispositivo de hologramas o un proyector y circuitos de control para controlar uno de los correspondientes dispositivos de visualización, holograma y proyector. De acuerdo con una realización, el dispositivo de visualización 160 puede incluir circuitos táctiles adaptados para detectar un toque, o circuitos de sensores (por ejemplo, un sensor de presión) adaptados para medir la intensidad de la fuerza incurrida por el toque.
El módulo de audio 170 puede convertir el sonido en una señal eléctrica y viceversa. De acuerdo con una realización, el módulo de audio 170 puede obtener el sonido a través del dispositivo de entrada 150, o emitir el sonido a través del dispositivo de salida de sonido 155 o un auricular de un dispositivo electrónico externo (por ejemplo, un dispositivo electrónico 102) acoplado directamente (por ejemplo, por cable) o de forma inalámbrica con el dispositivo electrónico 101.
El módulo de sensor 176 puede detectar un estado operacional (por ejemplo, energía o temperatura) del dispositivo electrónico 101 o un estado ambiental (por ejemplo, un estado de un usuario) externo al dispositivo electrónico 101, y posteriormente generar una señal eléctrica o valor de datos correspondiente al estado detectado. De acuerdo con una realización, el módulo de sensor 176 puede incluir, por ejemplo, un sensor gestual, un sensor giroscópico, un sensor de presión atmosférica, un sensor magnético, un sensor de aceleración, un sensor de agarre, un sensor de proximidad, un sensor de color, un sensor de infrarrojos (IR), un sensor biométrico, un sensor de temperatura, un sensor de humedad o un sensor de iluminancia.
La interfaz 177 puede admitir uno o más protocolos especificados para su uso por el dispositivo electrónico 101 para que se acople al dispositivo electrónico externo (por ejemplo, el dispositivo electrónico 102) directamente (por ejemplo, por cable) o de forma inalámbrica. De acuerdo con una realización, la interfaz 177 puede incluir, por ejemplo, una interfaz multimedia de alta definición (HDMI), una interfaz de bus serie universal (USB), una interfaz de tarjeta digital segura (SD) o una interfaz de audio.
Un terminal de conexión 178 puede incluir un conector a través del cual el dispositivo electrónico 101 se puede conectar físicamente con el dispositivo electrónico externo (por ejemplo, el dispositivo electrónico 102). De acuerdo con una realización, el terminal 178 de conexión puede incluir, por ejemplo, un conector HDMI, un conector USB, un conector de tarjeta SD o un conector de audio (por ejemplo, un conector de auriculares).
El módulo háptico 179 puede convertir una señal eléctrica en un estímulo mecánico (por ejemplo, una vibración o un movimiento) o eléctrico que puede ser reconocido por un usuario a través de su sensación táctil o cinestésica. De acuerdo con una realización, el módulo háptico 179 puede incluir, por ejemplo, un motor, un elemento piezoeléctrico o un estimulador eléctrico.
El módulo de cámara 180 puede capturar una imagen fija o imágenes en movimiento. De acuerdo con una realización, el módulo de la cámara 180 puede incluir una o más lentes, sensores de imagen, procesadores de señales de imagen o flashes.
El módulo de gestión de la energía 188 puede gestionar la energía suministrada al dispositivo electrónico 101. De acuerdo con una realización, el módulo de gestión de la energía 188 se puede implementar como al menos una parte de, por ejemplo, un circuito integrado de gestión de energía (PMIC).
La batería 189 puede suministrar energía a al menos un componente del dispositivo electrónico 101. De acuerdo con una realización, la batería 189 puede incluir, por ejemplo, una célula primaria no recargable, una célula secundaria recargable o una célula de combustible.
El módulo 190 de comunicación puede soportar el establecimiento de un canal de comunicación directo (por ejemplo, por cable) o un canal de comunicación inalámbrico entre el dispositivo 101 electrónico y el dispositivo electrónico externo (por ejemplo, el dispositivo 102 electrónico, el dispositivo 104 electrónico, o el servidor 108) y llevar a cabo la comunicación a través del canal de comunicación establecido. El módulo 190 de comunicación puede incluir uno o más procesadores de comunicación que son operables independientemente del procesador 120 (por ejemplo, el procesador de aplicación (AP)) y soporta una comunicación directa (por ejemplo, por cable) o una comunicación inalámbrica. De acuerdo con una realización, el módulo de comunicación 190 puede incluir un módulo de comunicación inalámbrica 192 (por ejemplo, un módulo de comunicación celular, un módulo de comunicación inalámbrica de corto alcance, o un módulo de comunicación del sistema global de navegación por satélite (GNSS)) o un módulo de comunicación por cable 194 (por ejemplo, un módulo de comunicación de red de área local (LAN) o un módulo de comunicación de línea eléctrica (PLC)). Uno correspondiente de estos módulos de comunicación se puede comunicar con el dispositivo electrónico externo a través de la primera red 198 (por ejemplo, una red de comunicación de corto alcance, tal como Bluetooth™, fidelidad inalámbrica (Wi-Fi) directa o asociación de datos por infrarrojos (IrDA)) o la segunda red 199 (por ejemplo, una red de comunicación de largo alcance, tal como una red celular, Internet o una red informática (por ejemplo, LAN o red de área amplia (WAN)). Estos diversos tipos de módulos de comunicación pueden ser implementados como un solo componente (por ejemplo, un solo chip), o pueden ser implementados como múltiples componentes (por ejemplo, múltiples chips) separados entre sí. El módulo de comunicación inalámbrica 192 puede identificar y autenticar el dispositivo electrónico 101 en una red de comunicación, tal como la primera red 198 o la segunda red 199, mediante el uso de la información del abonado (por ejemplo, la identidad de abonado móvil internacional (IMSI)) almacenada en el módulo de identificación del abonado 196.
El módulo 197 de antena puede transmitir o recibir una señal o energía hacia o desde el exterior (por ejemplo, el dispositivo electrónico externo) del dispositivo 101 electrónico. De acuerdo con una realización, el módulo de antena 197 puede incluir una antena que incluye un elemento radiante compuesto por un material conductor o un patrón conductor formado en o sobre un sustrato (por ejemplo, PCB). De acuerdo con una realización, el módulo 197 de antena puede incluir una pluralidad de antenas. En tal caso, al menos una antena apropiada para un esquema de comunicación utilizado en la red de comunicación, tal como la primera red 198 o la segunda red 199, puede ser seleccionada, por ejemplo, por el módulo 190 de comunicación (por ejemplo, el módulo 192 de comunicación inalámbrica) de la pluralidad de antenas. La señal o la potencia se pueden entonces transmitir o recibir entre el módulo 190 de comunicación y el dispositivo electrónico externo a través de la al menos una antena seleccionada. De acuerdo con una realización, otro componente (por ejemplo, un circuito integrado de frecuencia de radio (RFIC)) diferente del elemento radiante puede estar formado adicionalmente como parte del módulo de antena 197.
Al menos algunos de los componentes descritos anteriormente pueden acoplarse entre sí y comunicar señales (por ejemplo, comandos o datos) entre ellos a través de un esquema de comunicación entre periféricos (por ejemplo, un bus, entrada y salida de propósito general (GPIO), interfaz periférica serial (SPI) o interfaz de procesador industrial móvil (MIPI)).
De acuerdo con una realización, se pueden transmitir o recibir comandos o datos entre el dispositivo 101 electrónico y el dispositivo 104 electrónico externo a través del servidor 108 acoplado a la segunda red 199. Cada uno de los dispositivos electrónicos 102 y 104 puede ser un dispositivo del mismo tipo, o de diferentes tipos, que el dispositivo electrónico 101. De acuerdo con una realización, todas o algunas de las operaciones a ser ejecutadas en el dispositivo electrónico 101 se pueden ejecutar en uno o más de los dispositivos electrónicos 102, 104 o 108. Por ejemplo, si el dispositivo electrónico 101 debe llevar a cabo una función o un servicio de forma automática, o en respuesta a una solicitud de un usuario u otro dispositivo, el dispositivo electrónico 101, en lugar de, o además de, ejecutar la función o el servicio, puede solicitar a los uno o más dispositivos electrónicos externos que lleven a cabo al menos parte de la función o el servicio. Los uno o más dispositivos electrónicos externos que reciben la solicitud pueden llevar a cabo al menos una parte de la función o el servicio solicitado, o una función adicional o un servicio adicional relacionado con la solicitud, y transferir un resultado de la realización al dispositivo electrónico 101. El dispositivo electrónico 101 puede proporcionar el resultado, con o sin procesamiento adicional del resultado, como al menos parte de una respuesta a la solicitud. Para este fin, por ejemplo, se pueden utilizar tecnologías de computación en la nube, computación distribuida, o tecnología de computación cliente-servidor, por ejemplo.
La FIG. 2 ilustra un diagrama de flujo 200 para explicar un procedimiento de operación de un dispositivo electrónico según diversas realizaciones. En la realización de la FIG. Esto se describirá en detalle con referencia a las FIG. 3. La FIG. 3 ilustra diagramas conceptuales 300 para explicar un procedimiento de conexión de una llamada a un dispositivo electrónico externo sobre la base de un pronunciamiento del usuario según diversas realizaciones.
En la operación 201, un dispositivo electrónico 101 (por ejemplo, un procesador 120) puede recibir una primera entrada de usuario a través de una pantalla táctil (por ejemplo, un dispositivo de entrada 150 o un dispositivo de visualización 160) o un micrófono (por ejemplo, el dispositivo de entrada 150). La primera entrada del usuario puede incluir una solicitud para realizar una llamada a un dispositivo electrónico externo utilizando el dispositivo electrónico 101. Por ejemplo, como se muestra en la FIG. 3, el dispositivo electrónico 101 puede recibir un pronunciamiento del usuario 301 utilizando el micrófono 150. El dispositivo electrónico 101 puede mostrar una o más pantallas en una pantalla táctil 310. El dispositivo electrónico 101 puede mostrar una pantalla de ejecución 320 para la recepción del pronunciamiento del usuario 301 en al menos una parte de la pantalla táctil 310. El dispositivo electrónico 101 puede procesar el pronunciamiento del usuario mediante una aplicación de llamada (una aplicación de llamada nativa) o una aplicación de llamada mejorada, y la pantalla de ejecución 320 para la recepción del pronunciamiento del usuario 301 puede ser mostrada por la aplicación de llamada nativa o la aplicación de llamada mejorada. La pantalla de ejecución 320 puede incluir un indicador 321 que indica que se está realizando la escucha, un icono OK 322 y una ventana de visualización de texto 323. El dispositivo electrónico 101 puede activar el micrófono 150 y mostrar, por ejemplo, el indicador 321 que indica que se está realizando la escucha. El dispositivo electrónico 101 puede introducir texto o un comando adquirido como resultado del procesamiento del pronunciamiento del usuario 301 en la ventana de texto 323 para mostrarlo. Cuando se designa el icono OK 322, el dispositivo electrónico 101 puede realizar una tarea correspondiente al texto o comando dentro de la ventana de visualización de texto 323. Por ejemplo, el dispositivo electrónico 101 puede recibir el pronunciamiento 301 del usuario "¿A cuánto asciende el pago de la tarjeta Samsung este mes?" a través del micrófono 150. El dispositivo electrónico 101 puede mostrar texto indicando "¿A cuánto asciende el pago de la tarjeta Samsung este mes?" dentro de la ventana de visualización de texto 323, y cuando se selecciona el icono OK 322, el dispositivo electrónico 101 puede realizar una tarea incluida en "¿A cuánto asciende el pago de la tarjeta Samsung este mes?". De acuerdo con el resultado del análisis del reconocimiento de voz, el dispositivo electrónico 101 puede confirmar múltiples tareas de al menos una operación para alcanzar las etapas de ejecutar la aplicación de llamada, introducir un número de teléfono correspondiente a la tarjeta Samsung o conectar una llamada a la tarjeta Samsung, y confirmar un importe de pago después de conectar la llamada. Por ejemplo, el dispositivo electrónico 101 puede confirmar directamente las tareas múltiples, o puede recibir las tareas múltiples de un servidor 108 para el análisis de reconocimiento de voz. En lo sucesivo, la confirmación de información específica por parte del dispositivo electrónico 101 puede entenderse como la confirmación de la información específica sobre la base de la información recibida del servidor 108. El dispositivo electrónico 101 puede dejar de mostrar la pantalla de ejecución 320 en respuesta a la selección del icono Ok 322. Refiriéndonos a la FIG. 3, de acuerdo con la detención de la visualización de la pantalla de ejecución 320, al menos una pantalla visualizada antes de la visualización de la pantalla de ejecución 320 puede visualizarse en la pantalla táctil 310. Por ejemplo, puede mostrarse una pantalla de ejecución 330 de una aplicación de lanzamiento. La pantalla de ejecución 330 de la aplicación lanzadora puede incluir al menos un icono para la ejecución de al menos una aplicación.
En la operación 203, el dispositivo electrónico 101 puede identificar un proveedor de servicios y un servicio detallado sobre la base de la primera entrada de usuario recibida. El proveedor de servicios puede prestar uno o varios servicios mediante una conexión de llamada. Por ejemplo, un centro de atención al cliente de Samsung Card puede proporcionar un servicio, como la solicitud de tarjeta, la confirmación de la información de pago y el informe de pérdida de tarjeta, a través de la conexión de llamada. El servicio detallado puede ser uno de los servicios prestados por el proveedor de servicios. Por ejemplo, basándose en la entrada del usuario "¿A cuánto asciende el importe de pago de la tarjeta Samsung este mes?", el dispositivo electrónico 101 puede identificar el "centro de atención al cliente de Samsung Card" como el proveedor de servicios y puede identificar la "consulta del importe del pago" como el servicio detallado. El dispositivo electrónico 101 puede buscar una o más palabras clave relacionadas con el servicio detallado o el proveedor de servicios a partir de la primera entrada del usuario, en información sobre múltiples proveedores de servicios. Por ejemplo, el dispositivo electrónico 101 puede extraer, como palabra clave, "Samsung", "tarjeta Samsung ", "este mes", "pago", "importe de pago", o "cuanto" de "¿A cuánto asciende el importe de pago de la tarjeta Samsung este mes?". El dispositivo electrónico 101 puede identificar un centro de atención al cliente de Samsung Card como proveedor de servicios utilizando la palabra clave "Samsung Card". El dispositivo electrónico 101 puede almacenar información sobre múltiples proveedores de servicios que proporcionan uno o más servicios, o puede recibir información sobre los múltiples proveedores de servicios desde el servidor externo 108. El ejemplo 101 puede identificar al proveedor de servicios seleccionando "centro de atención al cliente de Samsung Card ", que coincide con la palabra clave "Samsung Card", de entre los múltiples proveedores de servicios. El dispositivo electrónico 101 puede identificar "consulta del importe del pago" como el servicio detallado utilizando la palabra clave "este mes", "importe del pago" o "cuánto".
En la operación 205, el dispositivo electrónico 101 puede adquirir información de menú que incluya uno o más servicios detallados proporcionados por el proveedor de servicios identificado. El dispositivo electrónico 101 puede seleccionar un primer menú correspondiente al servicio detallado identificado a partir de la información del menú del proveedor de servicios identificado. Por ejemplo, el dispositivo electrónico 101 puede seleccionar un elemento de importe de pago de "consulta de información de miembro individual" en respuesta a "consulta de importe de pago" en la información del menú del centro de atención al cliente de Samsung Card.
En la operación 207, el dispositivo electrónico 101 puede intentar conectar una llamada al proveedor de servicios identificado. El dispositivo electrónico 101 puede adquirir un número de teléfono del proveedor de servicios identificado y puede realizar una llamada al proveedor de servicios utilizando el número de teléfono. El dispositivo electrónico 101 puede conectar la llamada a través de la aplicación de llamada o de la aplicación de llamada mejorada en segundo plano. La aplicación de llamada mejorada puede conectar directamente la llamada, o puede conectar la llamada mediante la ejecución de la aplicación de llamada. Por ejemplo, el dispositivo electrónico 101 puede intentar conectar la llamada pulsando un botón proporcionado por la aplicación de llamada, que corresponde a un número correspondiente al número de teléfono, sin entrada separada del usuario. El dispositivo electrónico 101 puede no mostrar una pantalla de ejecución relacionada con la conexión de llamada. El dispositivo electrónico 101 puede limitar las funciones del micrófono 150 y de un altavoz 155 mientras se conecta la llamada en segundo plano. En la operación 209, cuando se conecta la llamada al proveedor de servicios, el dispositivo electrónico 101 puede transmitir una o más respuestas hasta alcanzar una etapa correspondiente al primer menú, en respuesta a una o más indicaciones de voz proporcionadas por el proveedor de servicios. El dispositivo electrónico 101 puede recibir una indicación de voz del proveedor de servicios y transmitir una respuesta correspondiente a la indicación de voz recibida basándose en la información del primer menú. Por ejemplo, el dispositivo electrónico 101 puede recibir una indicación de voz, como "Pulse 1 para miembros individuales, o pulse 2 para miembros corporativos" del proveedor de servicios, y puede transmitir una respuesta de pulsar el botón 1, en base a la cual el primer menú es el elemento de importe de pago en "consulta de información de miembro individual". El dispositivo electrónico 101 puede recibir secuencialmente múltiples indicaciones de voz, y puede determinar y transmitir respuestas correspondientes a las respectivas indicaciones de voz. Por ejemplo, el dispositivo electrónico 101 puede transmitir las respuestas seleccionando al menos algunos números en un teclado proporcionado por la aplicación de llamada o la aplicación de llamada mejorada.
En la operación 211, el dispositivo electrónico 101 puede determinar si un asistente está conectado sobre la base de al menos una voz transmitida por el proveedor de servicios en respuesta a alcanzar el primer menú. El proveedor de servicios puede incluir la conexión con un asistente para prestar un servicio correspondiente al primer menú, y cuando se selecciona un menú correspondiente después de conectar la llamada, el proveedor de servicios puede proceder a la conexión con un asistente. Cuando un asistente no puede conectarse inmediatamente después de seleccionar el menú correspondiente, el proveedor de servicios puede solicitar que se espere hasta que se conecte el asistente. El proveedor de servicios puede transmitir un anuncio relativo a un estado de espera mientras se conecta a un asistente. Cuando finaliza la conexión con un asistente, el proveedor de servicios puede transmitir un pronunciamiento del asistente. El dispositivo electrónico 101 puede determinar, utilizando un modelo de determinación, si la voz transmitida por el proveedor de servicios es un pronunciamiento del asistente o un anuncio previamente almacenado como un Servicio de Respuesta Automática (ARS).
En la operación 213, en respuesta a la finalización de la conexión con el asistente, el dispositivo electrónico 101 puede emitir una notificación, indicando que el asistente se ha conectado, por medio de la pantalla táctil 310 o el altavoz 155. Por ejemplo, como se muestra en la FIG. 3, el dispositivo electrónico 101 puede mostrar una ventana emergente 340 en al menos una parte de la pantalla táctil 310. La ventana emergente 340 puede incluir un texto que indique que se ha conectado un asistente. La ventana emergente 340 puede incluir un icono de OK para la conexión con el asistente y un icono de cancelar para la cancelación de la conexión con el asistente. El dispositivo electrónico 101 puede emitir un sonido de notificación designado utilizando el altavoz 155. El dispositivo electrónico 101 puede mostrar simultáneamente un mensaje de notificación en la ventana emergente 340 y emitir el sonido de notificación. En la operación 215, el dispositivo electrónico 101 puede mostrar una pantalla de llamada 350 para la llamada con el proveedor de servicios en respuesta a la recepción de una segunda entrada de usuario para la notificación de salida. Por ejemplo, en respuesta a la selección del icono OK en la ventana emergente 340 de la FIG. 3, el dispositivo electrónico 101 puede mostrar la pantalla de llamada 350 para la llamada con el proveedor de servicios en la pantalla táctil 310. El dispositivo electrónico 101 puede liberar la limitación de función del micrófono 150 y del altavoz 155 en respuesta a la recepción de la segunda entrada del usuario para la notificación de salida. El dispositivo electrónico 101 puede mostrar la pantalla de llamada 350, puede recibir un pronunciamiento del usuario a través del micrófono 150, y puede emitir, a través del altavoz 155, una voz transmitida desde el proveedor de servicios.
La FIG. 4 ilustra un diagrama de flujo 400 para explicar la operación del dispositivo electrónico 101 y un proveedor de servicios 450 según diversas realizaciones. En varias realizaciones, el dispositivo electrónico 101 puede conectar una llamada al proveedor de servicios 450 en respuesta a una solicitud de conexión de llamada según un pronunciamiento del usuario.
En la operación 401, el dispositivo electrónico 101 (por ejemplo, el procesador 120) puede mostrar una pantalla de ejecución para la recepción de una entrada de usuario. La pantalla de ejecución puede mostrar un icono para la recepción de un pronunciamiento del usuario o puede mostrar una ventana de entrada para la recepción de una entrada de texto.
En la operación 403, el dispositivo electrónico 101 puede recibir una primera entrada del usuario a través de la pantalla táctil 310 o el micrófono 150.
En la operación 405, el dispositivo electrónico 101 puede identificar un proveedor de servicios y un servicio detallado sobre la base de la primera entrada de usuario recibida. El dispositivo electrónico 101 puede identificar un proveedor de servicios y un servicio detallado extrayendo una o más palabras clave de la primera entrada del usuario. Por ejemplo, el dispositivo electrónico 101 puede identificar el proveedor de servicios 450 de una lista de múltiples proveedores de servicios seleccionando un proveedor de servicios que coincida con una o más palabras clave extraídas de la primera entrada del usuario. El dispositivo electrónico 101 puede seleccionar una de entre una o más palabras clave e identificar la palabra clave seleccionada como el servicio detallado.
En la operación 407, el dispositivo electrónico 101 puede adquirir información de menú para el proveedor de servicios 450. La información del menú para el proveedor de servicios 450 puede adquirirse de la memoria 130 del dispositivo electrónico 101 o puede adquirirse del servidor externo 108.
En la operación 409, el dispositivo electrónico 101 puede seleccionar un primer menú correspondiente al servicio detallado a partir de la información del menú para el proveedor de servicios 450.
En la operación 411, el dispositivo electrónico 101 puede solicitar una conexión de llamada del proveedor de servicios identificado 450.
En la operación 413, el proveedor de servicios 450 puede aprobar una conexión de llamada con el dispositivo electrónico 101 en respuesta a la solicitud de conexión de llamada del dispositivo electrónico 101.
En la operación 415, puede establecerse la conexión de llamada entre el dispositivo electrónico 101 y el proveedor de servicios 450.
En la operación 417, el proveedor de servicios 450 puede transmitir secuencialmente determinadas indicaciones de voz basándose en la información del menú. Por ejemplo, tras el establecimiento de la conexión de llamada, el proveedor de servicios 450 puede transmitir indicación de voz de "Por favor, introduzca su número de teléfono móvil" que está configurado para tener la máxima prioridad en el menú de información. El proveedor de servicios 450 puede identificar al usuario del dispositivo electrónico 101 que inició la llamada.
En la operación 419, el dispositivo electrónico 101 puede recibir una indicación de voz y puede transmitir una respuesta correspondiente a la indicación de voz recibida. Por ejemplo, el dispositivo electrónico 101 puede realizar una acción de pulsar secuencialmente los botones correspondientes a un número de teléfono del dispositivo electrónico 101 en respuesta a la indicación de voz, como "Por favor, introduzca su número de teléfono móvil". El dispositivo electrónico 101 puede determinar una respuesta correspondiente a la indicación de voz recibida basándose en la información del primer menú, y puede transmitir la respuesta determinada.
En la operación 421, el proveedor de servicios 450 puede determinar si se ha alcanzado el primer menú en función de la respuesta recibida. El primer menú puede proporcionar un servicio que incluya la conexión con un asistente. Al acceder al primer menú, el proveedor de servicios 450 puede intentar conectar con un asistente. Debido a los recursos limitados, puede llevar tiempo completar la conexión con un asistente. El proveedor de servicios 450 puede transmitir, al dispositivo electrónico 101, una indicación de voz de acuerdo con la respuesta recibida hasta llegar al primer menú. Por ejemplo, el proveedor de servicios 450 puede repetir la operación 417 hasta llegar al primer menú. En la operación 423, el proveedor de servicios 450 puede transmitir una voz. Mientras se intenta conectar con un asistente, el proveedor de servicios 450 puede transmitir una indicación de voz indicando un estado de espera para conectar con el asistente. Aquí, la indicación de voz puede ser un anuncio previamente almacenado como ARS. El anuncio puede ser generado por una máquina. El proveedor de servicios 450 puede transmitir la voz de un asistente en respuesta a la finalización de la conexión con el asistente. El asistente puede ser una persona, y la voz del asistente puede ser diferente de la generada por la máquina.
En la operación 425, el dispositivo electrónico 101 puede determinar si un asistente está conectado en función de la voz recibida. El dispositivo electrónico 101 puede comprobar la correlación con la voz recibida utilizando un modelo de determinación para una voz de asistente, y puede determinar que la señal de voz recibida es la voz de asistente de acuerdo con el resultado de la comprobación cuando la correlación tiene un valor superior a un valor umbral. Por ejemplo, el dispositivo electrónico 101 puede utilizar, como modelo de determinación, un modelo de aprendizaje profundo generado mediante la realización de aprendizaje profundo para múltiples señales de audio prealmacenadas que tengan una etiqueta de una voz de asistente. El dispositivo electrónico 101 puede comparar la voz recibida con el modelo de aprendizaje profundo para determinar si un asistente está conectado.
En la operación 427, si se conecta un asistente, el dispositivo electrónico 101 puede emitir una notificación indicando que se ha establecido la conexión con el asistente. Por ejemplo, el dispositivo electrónico 101 puede emitir un texto, indicando que se ha establecido la conexión con el asistente, a través de la pantalla táctil 310, o puede emitir un sonido de notificación especificado para indicar la conexión con el asistente.
En la operación 429, el dispositivo electrónico 101 puede recibir una segunda entrada del usuario en respuesta a la notificación de salida. Por ejemplo, el dispositivo electrónico 101 puede recibir, a través de la pantalla táctil 310, la segunda entrada del usuario para seleccionar un icono OK mostrado adicionalmente en la ventana de texto de salida.
En la operación 431, el dispositivo electrónico 101 puede mostrar una pantalla de llamada de la llamada con el proveedor de servicios 450. El dispositivo electrónico 101 puede mostrar una pantalla de llamada, puede emitir una señal de voz transmitida desde el proveedor de servicios 450 a través del altavoz 155, y puede recibir una expresión del usuario a través del micrófono 150.
La FIG. 5 ilustra una estructura de árbol 500 para la información de menú proporcionada por el proveedor de servicios según diversas realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede almacenar, en una estructura de árbol, información de menú proporcionada por un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4), o puede recibir la información del menú del servidor externo 108. Por ejemplo, se supone que el proveedor de servicios 450 es un centro de atención al cliente 501 de Samsung Card. La FIG. 5 es una estructura de árbol que indica información de menú de múltiples servicios prestados a través de una conexión de llamada al centro de atención al cliente 501 de Samsung Card. Un nodo raíz en la estructura de árbol para la información del menú puede indicar el proveedor de servicios 450. Refiriéndonos a la FIG. 5, el centro de atención al cliente 501 de Samsung Card puede ser el nodo raíz. El centro de atención al cliente 501 de Samsung Card puede proporcionar servicios para miembros individuales y servicios para miembros corporativos, y un individuo 502 y una corporación 503 pueden incluirse como nodos hijos del nodo raíz en la estructura de árbol para la información del menú. El centro de atención al cliente de Samsung Card 501 puede proporcionar a un miembro individual servicios de denuncia de pérdida de tarjeta, consulta de información, cambio de información, cancelación de tarjeta, solicitud de tarjeta y conexión con el asistente. Cada servicio es un nodo hijo del individuo 502 que indica un miembro individual, y puede incluirse como informe de tarjeta perdida 504, consulta de información 505, cambio de información 506, cancelación de tarjeta 507, solicitud de tarjeta 508 o conexión de asistente 509 en la estructura de árbol para la información del menú.
La FIG. 6 ilustra un diagrama de flujo 600 para explicar una operación de selección, por el dispositivo electrónico, de un menú correspondiente a un servicio detallado de entre la información de menú proporcionada por un proveedor de servicios según diversas realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede identificar un proveedor de servicios (por ejemplo, el proveedor de servicios 450) y un servicio detallado mediante el uso de una o más palabras clave incluidas en un pronunciamiento del usuario. Por ejemplo, cuando se recibe un pronunciamiento del usuario de "Solicitar una nueva tarjeta Samsung Card", el dispositivo electrónico 101 puede extraer palabras clave, como "Samsung Card", "nueva tarjeta" y "solicitar tarjeta". El dispositivo electrónico 101 puede identificar un centro de atención al cliente de Samsung Card (por ejemplo, el centro de atención al cliente de Samsung Card 501 de la FIG. 5) como el proveedor de servicios 450 sobre la base de la palabra clave "Samsung Card", y puede identificar la emisión de una nueva tarjeta como el servicio detallado sobre la base de las palabras clave "nueva tarjeta" y "solicitar tarjeta". El dispositivo electrónico 101 puede realizar la correspondencia con el servicio detallado en la información del menú del proveedor de servicios 450 que tiene la estructura de árbol. Por ejemplo, el dispositivo electrónico 101 puede seleccionar un nodo correspondiente al servicio detallado en la estructura de árbol para la información del menú del centro de atención al cliente 501 de Samsung Card. Operaciones de FIG. 6 se describirá con referencia a la estructura de árbol 500 para la información del menú de la tarjeta Samsung, en la FIG. 5.
En la operación 601, el dispositivo electrónico 101 puede comparar la información de nodo con un servicio detallado en la estructura de árbol de información de menú 500. Por ejemplo, en referencia a la FIG.5, el dispositivo electrónico 101 puede comparar la nueva emisión de tarjetas con la información de cada nodo incluido en la FIG. 5. Por ejemplo, cuando se comparan la emisión de una nueva tarjeta y un nodo de notificación de pérdida de tarjeta 504, el dispositivo electrónico 101 puede determinar que la comparación no da como resultado una coincidencia. Cuando se comparan una nueva emisión de tarjeta, un nodo de solicitud de tarjeta 508 y un nuevo nodo 513, el dispositivo electrónico 101 puede determinar que la comparación da como resultado una coincidencia con el nuevo nodo 513. El dispositivo electrónico 101 puede determinar que existen uno o más nodos hoja coincidentes.
En la operación 603, el dispositivo electrónico 101 puede determinar si hay un nodo hoja coincidente, como resultado de la coincidencia. Por ejemplo, el dispositivo electrónico 101 puede determinar que el nuevo nodo 513 corresponde a una nueva emisión de tarjetas, y el nuevo nodo 513 puede corresponder a un nodo hoja.
En la operación 605, el dispositivo electrónico 101 puede determinar un nodo de hoja coincidente como menú para el servicio detallado. El dispositivo electrónico 101 puede determinar el nuevo nodo 513 como un menú del centro de atención al cliente 501 de Samsung Card. La FIG. 5 es sólo un ejemplo, y la información del menú puede variar en función del proveedor de servicios 450.
En la operación 607, el dispositivo electrónico 101 puede determinar si hay dos nodos hoja coincidentes, como resultado de la coincidencia. Cuando el servicio detallado es la confirmación de la fecha de pago, el dispositivo electrónico 101 puede hacer coincidir dos nodos de hoja con un nodo de fecha de pago 510 y un nodo de fecha de pago 511.
En la operación 609, el dispositivo electrónico 101 puede seleccionar uno de los nodos intermedios, a partir del cual se ramifican los nodos hoja, en respuesta a la determinación de que se han encontrado dos o más nodos hoja coincidentes. El dispositivo electrónico 101 puede identificar nodos ancestros de los dos o más nodos hoja, puede seleccionar nodos intermedios a partir de los cuales se ramifican los dos o más nodos hoja de entre los nodos ancestros, y puede seleccionar uno de entre los nodos intermedios seleccionados. El dispositivo electrónico 101 puede seleccionar uno de entre los nodos intermedios basándose en la entrada del usuario. El dispositivo electrónico 101 puede mostrar información de los nodos intermedios para solicitar una entrada del usuario. Por ejemplo, cuando un elemento de consulta de cuenta coincide con dos nodos hoja, y los nodos intermedios, a partir de los cuales se ramifican los dos nodos hoja, son un elemento de cambio de información personal y un elemento de confirmación de información de pago, el dispositivo electrónico 101 puede proporcionar el texto "Por favor, seleccione si el elemento es una consulta de cuenta basada en el cambio de información personal o un elemento de consulta de cuenta basado en la confirmación de información de pago" para inducir una entrada del usuario.
En la operación 611, el dispositivo electrónico 101 puede determinar un nodo de hoja inferior del nodo intermedio seleccionado como menú para el servicio detallado. Por ejemplo, el dispositivo electrónico 101 puede determinar, como primer menú, un nodo de hoja que coincida con el elemento de consulta de cuenta según el cambio de información personal, en respuesta a la selección del cambio de información personal según la entrada del usuario. En la operación 613, el dispositivo electrónico 101 puede determinar si hay un nodo intermedio coincidente, como resultado de la coincidencia.
En la operación 615, el dispositivo electrónico 101 puede seleccionar uno de entre los nodos hijos del nodo intermedio coincidente. El dispositivo electrónico 101 puede seleccionar uno de entre los nodos hijos de los nodos intermedios basándose en la entrada del usuario.
En la operación 617, el dispositivo electrónico 101 puede determinar si el nodo hijo seleccionado es un nodo hoja. El dispositivo electrónico 101 puede repetir la operación 615 de selección de un nodo hijo hasta llegar al nodo hoja. En la operación 619, cuando el nodo hijo seleccionado corresponde a un nodo hoja, el dispositivo electrónico 101 puede determinar el nodo hijo seleccionado, es decir, el nodo el nodo hoja correspondiente, como el primer elemento del menú.
En la operación 621, el dispositivo electrónico 101 puede determinar si hay dos o más nodos intermedios, como resultado de la coincidencia.
En la operación 623, el dispositivo electrónico 101 puede seleccionar uno de entre los dos o más nodos intermedios. Con respecto al nodo intermedio seleccionado, en la operación 615, puede seleccionarse un nodo hijo del nodo intermedio.
En la operación 625, el dispositivo electrónico 101 puede terminar la operación sin determinar el primer menú, en respuesta a la determinación de que ni un nodo hoja ni un nodo intermedio son coincidentes según el resultado de la coincidencia. El dispositivo electrónico 101 puede mostrar información indicando que el primer menú no está especificado.
La FIG. 7 ilustra el diagrama conceptual 700 para explicar una operación de transmisión, por el dispositivo electrónico, de una respuesta a una o más indicaciones de voz proporcionadas por un proveedor de servicios según diversas realizaciones. Después de conectar una llamada a un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4), el dispositivo electrónico 101 puede transmitir una respuesta correspondiente a una o más indicaciones de voz transmitidas por el proveedor de servicios 450. El proveedor de servicios 450 puede seleccionar una de las informaciones del menú en función de la respuesta recibida, y puede determinar una indicación de voz posterior. En la FIG. 7, se supone que un servicio detallado es una nueva solicitud de tarjeta, y se proporcionará una descripción de la misma con referencia a la información del menú de la FIG. 5. En respuesta al establecimiento de la conexión de llamada, el proveedor de servicios 450 puede solicitar que se seleccione una de las informaciones relativas a los nodos hijos hasta llegar a un nodo hoja del árbol para la información del menú de la FIG. 5. Por ejemplo, en referencia a la FIG. 7, el dispositivo electrónico 101 puede mostrar una pantalla de llamada de una llamada con el centro de atención al cliente 501 de Samsung Card en una pantalla táctil 710 (por ejemplo, la pantalla táctil 310 de la FIG. 3).
El dispositivo electrónico 101 puede transmitir una respuesta de pulsar el botón 1711 en respuesta a una indicación de voz de "Por favor, pulse 1 si es un cliente personal, y pulse 2 si es un cliente corporativo" transmitida por el centro de atención al cliente 501 de Samsung Card. El centro de atención al cliente de Samsung Card 501 puede recibir la respuesta de pulsar el botón 1711, puede identificar que el usuario del dispositivo electrónico 101 es un cliente personal y puede solicitar que se seleccione un nodo hijo del individuo 502 de la FIG. 5. Por ejemplo, el centro de atención al cliente de Samsung Card 501 puede transmitir las indicaciones de voz de la FIG. 5, como "Por favor, pulse 1 para informar de la pérdida de una tarjeta 504, pulse 2 para consulta de información 505, pulse 3 para cambio de información 506, pulse 4 para cancelación de tarjeta 507, pulse 5 para solicitud de tarjeta 508 y pulse 6 para conexión con el asistente 509". Por ejemplo, en referencia a la FIG. 7, el dispositivo electrónico 101 puede transmitir una respuesta de pulsación del botón 5 721 sobre la base de una nueva solicitud de tarjeta.
Posteriormente, el dispositivo electrónico 101 puede recibir una indicación de voz de "Por favor, pulse 1 para solicitar una nueva tarjeta, y pulse 2 para la reemisión de la tarjeta" transmitido desde el centro de atención al cliente de Samsung Card 501, y puede transmitir una respuesta de pulsar el botón 1731. El centro de atención al cliente de Samsung Card 501 puede solicitar que el cliente espere para conectarse con un asistente, en respuesta a alcanzar el nuevo nodo 513 correspondiente al servicio detallado, es decir, la nueva aplicación de tarjeta. Por ejemplo, el dispositivo electrónico 101 puede recibir una o más indicaciones de voz del centro de atención al cliente 501 de Samsung Card hasta que se complete la conexión con el asistente. El dispositivo electrónico 101 puede determinar si se ha completado la conexión con el asistente en función de la o las indicaciones de voz recibidas. El dispositivo electrónico 101 puede mostrar la pantalla de llamada en la pantalla táctil 710 y esperar mientras se conecta el asistente.
Las pantallas mostradas en FIG. 7 puede ejecutarse en segundo plano para que no se muestre en la pantalla táctil 710, o puede mostrarse en la pantalla táctil 710 del dispositivo electrónico 101, dependiendo de la implementación. Incluso en el caso de que se muestren pantallas, como se muestra en la FIG. 7, el dispositivo electrónico 101 puede pulsar secuencialmente el botón 1711, el botón 5721 y el botón 1711 y esperar, sin que el usuario introduzca datos en la pantalla mostrada, hasta que se complete la conexión con el asistente.
La FIG. 8 ilustra un diagrama de flujo 800 para explicar una operación de determinación, por el dispositivo electrónico, de si un asistente está conectado según diversas realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede determinar si un asistente está conectado basándose en una o más voces transmitidas por un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4). Para discriminar una voz del asistente, el dispositivo electrónico 101 puede utilizar un modelo de determinación para la voz del asistente.
En la operación 801, el dispositivo electrónico 101 puede recibir una señal de audio del proveedor de servicios 450. Por ejemplo, el dispositivo electrónico 101 puede recibir, del proveedor de servicios 450, una señal de audio generada por una máquina (o prealmacenada y emitida por ella) o una señal de audio generada por un asistente. Por ejemplo, una señal de audio generada por una máquina puede ser una señal de audio proporcionada por un ARS.
En la operación 803, el dispositivo electrónico 101 puede determinar una correlación entre la señal de audio recibida y el modelo de determinación relacionado con la voz del asistente. El dispositivo electrónico 101 puede utilizar, como modelo de determinación, un modelo de aprendizaje profundo aprendido con respecto a múltiples señales de audio relacionadas con la voz del asistente. El dispositivo electrónico 101 puede extraer características de las múltiples señales de audio relacionadas con la voz del asistente y puede utilizar, como modelo de determinación, un modelo de aprendizaje automático para las características extraídas. Por ejemplo, el dispositivo electrónico 101 puede extraer, como características de la señal de audio, una tasa de cruce por cero, energía, entropía de la energía, centroide espectral/extensión/entropía/flujo/deslizamiento, coeficientes cepstrales en las frecuencias de Mel (MFCC), o vector/desviación del croma, y puede utilizar los mismos.
En la operación 805, el dispositivo electrónico 101 puede determinar si un asistente está conectado basándose en el resultado de la comparación. Por ejemplo, cuando la correlación con el modelo de determinación de la señal de audio muestra similitud y tiene un valor igual o superior a un valor umbral, el dispositivo electrónico 101 puede determinar que hay un asistente conectado.
La FIG. 9 ilustra un diagrama de flujo 900 para explicar una operación de determinación, por el dispositivo electrónico, de si un asistente está conectado según diversas realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120 o 210) puede determinar si un asistente está conectado sobre la base de uno o más transmitidos por un proveedor de servicios (por ejemplo, el proveedor de servicios 450 en la FIG. 4). Para distinguir la voz del asistente, el dispositivo electrónico 101 puede convertir la voz del asistente en texto y determinar la similitud entre el texto convertido y los saludos que pueden pronunciarse cuando un asistente está conectado.
En la operación 901, el dispositivo electrónico 101 puede recibir una señal de audio del proveedor de servicios 450. El proveedor de servicios 450 puede transmitir un anuncio indicando un estado de espera para la conexión con un asistente hasta que se complete la conexión con el asistente. El proveedor de servicios 450 puede transmitir una voz del asistente cuando finaliza la conexión con el asistente. Por ejemplo, después de la conexión con un asistente, el asistente puede pronunciar un mensaje indicando que la conexión con el asistente se ha completado, como "Hola, soy el asistente del centro de atención al cliente de Samsung Card OOO".
En la operación 903, el dispositivo electrónico 101 puede convertir una señal de audio en texto utilizando una tecnología de reconocimiento de voz.
En la operación 905, el dispositivo electrónico 101 puede determinar una correlación entre el texto convertido y un modelo de determinación de corpus para saludos. El dispositivo electrónico 101 puede almacenar el corpus de saludos proporcionado por el proveedor de servicios 450, y puede utilizar un modelo de aprendizaje para el corpus. En la operación 907, el dispositivo electrónico 101 puede determinar si un asistente está conectado basándose en el resultado de la comparación. Por ejemplo, cuando la correlación entre el texto convertido y el corpus para el modelo de determinación tiene un valor superior al valor umbral, el dispositivo electrónico 101 puede determinar que hay un asistente conectado.
Según varias realizaciones, el dispositivo electrónico 101 puede determinar si un asistente está conectado, utilizando al menos uno entre el procedimiento, mostrado en la FIG. 8, de utilizar el modelo de determinación relacionado con una voz del asistente y el procedimiento, mostrados en la FIG. 9, de utilizar el modelo de determinación relacionado con el corpus de saludos. El dispositivo electrónico 101 puede asignar un valor ponderado al al menos un procedimiento y puede finalmente determinar si un asistente está conectado en consideración de un valor calculado según el valor ponderado.
La FIG. 10A ilustra varios diagramas conceptuales 1000 para proporcionar una notificación, que indica la conexión a un asistente, por el dispositivo electrónico según varias realizaciones, y la FIG. 10B ilustra varios diagramas conceptuales 1000 para proporcionar una notificación, que indica la conexión a un asistente, por el dispositivo electrónico según varias realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede ejecutar la conexión de llamada a un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4) en segundo plano y puede mostrar una entre una o más aplicaciones que se ejecutan en una pantalla táctil 1010 (por ejemplo, la pantalla táctil 310 de la FIG. 3 o el dispositivo electrónico 710 de la FIG. 7). Como se muestra en la FIG.
10A, cuando la pantalla táctil 1010 está operativa, el dispositivo electrónico 101 puede proporcionar, a través de una ventana emergente 1020, una notificación indicando la conexión con un asistente. La ventana emergente 1020 puede incluir un texto que indique que se ha conectado un asistente.
Como se muestra en la FIG. 10B, el dispositivo electrónico 101 puede ejecutar la conexión de llamada al proveedor de servicios 450 en segundo plano y puede proporcionar, en un estado en el que la pantalla táctil 1010 no está operativa, una notificación que indica la conexión a un asistente en una pantalla 1030 que muestra una notificación de una llamada entrante.
La FIG. 11 ilustra un diagrama de flujo 1100 para explicar una operación de comprobación de la información de usuario del dispositivo electrónico según diversas realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede proporcionar información de usuario cuando la autenticación de usuario que incluye la información de usuario es necesaria para utilizar un menú de un proveedor de servicios (por ejemplo, el proveedor de servicios 450 en la FIG. 4). El dispositivo electrónico 101 puede almacenar la información de usuario para un procedimiento de autenticación de usuario y puede responder utilizando la información de usuario almacenada en el procedimiento de autenticación de usuario.
En la operación 1101, el dispositivo electrónico 101 puede seleccionar un menú correspondiente a un servicio detallado de un menú proporcionado por el proveedor de servicios 450. Por ejemplo, el dispositivo electrónico 101 puede seleccionar un menú de consulta sobre el importe del pago en respuesta a que el usuario pronuncie "¿Cuál es el importe del pago de este mes?".
En la operación 1103, el dispositivo electrónico 101 puede determinar si es necesaria la autenticación del usuario en relación con el menú seleccionado. La autenticación de usuario puede incluir la solicitud, desde el dispositivo electrónico 101, de información de usuario de al menos un dispositivo electrónico 101. Por ejemplo, el proveedor de servicios 450 puede solicitar un nombre de usuario, un número de teléfono móvil, un número de tarjeta y una contraseña de tarjeta para proporcionar un servicio de consulta de importe de pago. El dispositivo electrónico 101 puede comprobar si se incluye la autenticación del usuario basándose en la información del menú proporcionada por el proveedor de servicios 450.
En la operación 1105, el dispositivo electrónico 101 puede comprobar un elemento de información individual necesario para la autenticación del usuario. El dispositivo electrónico 101 puede comprobar la autenticación de usuario especificada en el menú seleccionado y puede comprobar el elemento de información individual utilizado por la autenticación de usuario. Por ejemplo, el elemento de información individual necesario puede incluir un nombre de usuario, un número de teléfono móvil, un número de tarjeta y una contraseña de tarjeta.
En la operación 1107, el dispositivo electrónico 101 puede determinar si la información personal está almacenada en una base de datos DB almacenada en la memoria 130. La información personal puede almacenarse en un área segura, y puede ser necesaria una autenticación adicional del usuario para que el dispositivo electrónico 101 adquiera la información personal de la base de datos.
En la operación 1109, cuando la información personal necesaria está almacenada en la base de datos, el dispositivo electrónico 101 puede adquirir la información personal de la base de datos. Por ejemplo, el dispositivo electrónico 101 puede solicitar al usuario que introduzca una contraseña preestablecida para obtener la información personal almacenada en la base de datos.
En la operación 1111, cuando la información personal necesaria no se encuentra en la base de datos, el dispositivo electrónico 101 puede recibir la información personal del usuario a través de una interfaz de usuario. El dispositivo electrónico 101 puede mostrar el elemento de información personal a través de la interfaz de usuario y puede recibir contenido correspondiente al elemento de información personal basado en la entrada del usuario.
La FIG. 12 ilustra un diagrama de flujo 1200 para explicar un procedimiento de operación de un dispositivo electrónico según varias realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede ejecutar una aplicación de llamada en un modo de espera hasta que se complete la conexión con un asistente en respuesta a una solicitud del usuario durante una llamada con un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4).
En la operación 1201, el dispositivo electrónico 101 puede ejecutar una aplicación de llamada basada en la entrada del usuario. Por ejemplo, el dispositivo electrónico 101 puede ejecutar la aplicación de llamada en respuesta a la entrada táctil de selección de un icono para la ejecución de la aplicación de llamada.
En la operación 1203, el dispositivo electrónico 101 puede conectar una llamada con el proveedor de servicios 450 en respuesta a la entrada del usuario. Por ejemplo, el dispositivo electrónico 101 puede intentar conectar una llamada a un centro de atención al cliente (el proveedor de servicios 450) en respuesta a una entrada táctil de pulsación secuencial de botones correspondientes a un número de teléfono del centro de atención al cliente en iconos de botones proporcionados por la aplicación de llamada.
En la operación 1205, el dispositivo electrónico 101 puede recibir una entrada para solicitar el modo de espera para la conexión con un asistente del proveedor de servicios 450. Por ejemplo, el dispositivo electrónico 101 puede mostrar, en una pantalla de llamada, un icono para recibir una solicitud para ejecutar la aplicación de llamada en el modo de espera y puede recibir una solicitud de modo de espera en respuesta a la recepción de la entrada táctil del usuario en el icono.
En la operación 1207, el dispositivo electrónico 101 puede ejecutar la aplicación de llamada en el modo de espera en respuesta a la solicitud. El dispositivo electrónico 101 puede ejecutar la aplicación de llamada en el modo de espera en segundo plano. El dispositivo electrónico 101 puede no mostrar una pantalla de ejecución (por ejemplo, una pantalla de llamada) de la aplicación de llamada en el modo de espera en una pantalla táctil (por ejemplo, la pantalla táctil 310 en la FIG. La pantalla 710 de las FIG. 7 o el dispositivo electrónico 1010 de la FIG. 10A), y puede mostrar, en una parte de la pantalla táctil 310, un indicador (o un icono) que indique que la aplicación de llamada se está ejecutando en segundo plano. El dispositivo electrónico 101 puede limitar la función del altavoz 155 o del micrófono 150 durante el modo de espera de la aplicación función del altavoz 155 o del micrófono 150 durante el modo de espera de la función de llamada. Cuando la función del altavoz 155 o del micrófono 150 está limitada, el dispositivo electrónico 101 puede emitir sonido, durante el modo de espera de la aplicación de llamada, utilizando el altavoz 155 según la ejecución de otra aplicación, y puede procesar una entrada de señal a través del micrófono 150 según la ejecución de la otra aplicación. El dispositivo electrónico 101 puede ejecutar la aplicación de llamada en el modo de espera para que un usuario pueda utilizar otra aplicación del dispositivo electrónico 101 sin verse restringido por la ejecución de la aplicación de llamada.
En la operación 1209, durante el modo de espera de la aplicación de llamada, el dispositivo electrónico 101 puede determinar si un asistente está conectado sobre la base de una señal de voz transmitida por el proveedor de servicios 450. Por ejemplo, el dispositivo electrónico 101 puede recibir la voz transmitida por el proveedor de servicios 450 y puede determinar una correlación entre la voz recibida y un modelo de determinación para una voz del asistente a fin de determinar, como resultado de la determinación, si un asistente está conectado.
En la operación 1211, en respuesta a la finalización de la conexión con un asistente, el dispositivo electrónico 101 puede emitir una notificación indicando que el asistente ha sido conectado. El dispositivo electrónico 101 puede proporcionar visualmente, a través de la pantalla táctil 310, información que indique la finalización de la conexión a un asistente, o puede emitir, a través del altavoz, un sonido designado que indique la finalización de la conexión al asistente. El dispositivo electrónico 101 puede configurar la notificación de finalización de la conexión con el asistente para que se emita utilizando una o más piezas de hardware incluidas en el dispositivo electrónico 101. Alternativamente, el dispositivo electrónico 101 puede transmitir la notificación de finalización de la conexión con el asistente a otro dispositivo electrónico conectado al dispositivo electrónico 101 para que el otro dispositivo electrónico pueda emitir información sobre la notificación de finalización de la conexión con el asistente.
En la operación 1213, el dispositivo electrónico 101 puede finalizar el modo de espera en respuesta a la recepción de la entrada del usuario para la notificación de salida. En respuesta a la entrada del usuario recibida a través de la pantalla táctil 310, el dispositivo electrónico 101 puede finalizar el modo de espera de la aplicación de llamada y puede mostrar una pantalla de llamada de la aplicación de llamada en la pantalla táctil 310.
La FIG. 13 ilustra diagramas conceptuales 1300 para explicar un modo de espera del dispositivo electrónico a conectar a un asistente según diversas realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede mostrar una pantalla de ejecución 1310 de la aplicación de llamada. La pantalla de ejecución 1310 de la de ejecución 1310 de la aplicación. La pantalla de ejecución 1310 de la aplicación de llamada puede incluir un icono 1311 correspondiente a una función para solicitar un modo de espera para la conexión con un asistente. El dispositivo electrónico 101 puede cambiar el modo de la aplicación de llamada al modo de espera y puede ejecutar la aplicación de llamada en segundo plano en respuesta a la recepción de la entrada táctil para el icono 1311. El dispositivo electrónico 101 puede mostrar, durante el modo de espera de la aplicación de llamada, una pantalla de ejecución de al menos otra aplicación que se esté ejecutando en una pantalla táctil (por ejemplo, la pantalla táctil 310 de la FIG. La pantalla 710 de las FIG. 7 o el dispositivo electrónico 1010 de la FIG. 10A) y puede mostrar, por ejemplo, una pantalla de ejecución de la aplicación de lanzamiento 1320. El dispositivo electrónico 101 puede mostrar, durante el modo de espera de la aplicación de llamada, un indicador 1321 que indica que la aplicación de llamada está en modo de espera. El indicador 1321 puede corresponder a la visualización semitransparente de un color designado en un área parcial de la pantalla táctil 310. El dispositivo electrónico 101 puede mostrar, mediante una ventana emergente 1330, una notificación indicando la finalización de la conexión con el asistente sobre al menos una parte de una pantalla de ejecución 1320 de otras aplicaciones en respuesta a la determinación de que el asistente se ha conectado al asistente. El dispositivo electrónico 101 puede terminar el modo de espera de la aplicación de llamada y puede volver a mostrar la pantalla de llamada 1310 de la aplicación de llamada, en respuesta a la entrada del usuario para la notificación de la ventana emergente 1330 que indica la finalización de la conexión con el asistente.
La FIG. 14 ilustra un diagrama de flujo 1400 para explicar un procedimiento de operación de un dispositivo electrónico según varias realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede realizar la conexión de tareas, incluida la conexión de llamadas entre otro dispositivo electrónico y un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4) en respuesta a una solicitud del otro dispositivo electrónico. En la operación 1401, el dispositivo electrónico 101 puede recibir una solicitud de conexión de llamada al proveedor de servicios 450 desde un dispositivo electrónico externo (por ejemplo, el dispositivo electrónico 102 o 104 de la FIG.
1). Aquí, la solicitud puede incluir información del usuario del dispositivo electrónico externo 102 o 104 y al menos una pieza de información de palabra clave relacionada con un servicio detallado y el proveedor de servicios 450. En la operación 1403, el dispositivo electrónico 101 puede adquirir un número de identificación para la conexión de llamada al proveedor de servicios 450 en respuesta a la solicitud. El dispositivo electrónico 101 puede adquirir, como número de identificación, un número de teléfono para la conexión con el proveedor de servicios 450.
En la operación 1405, el dispositivo electrónico 101 puede seleccionar un primer elemento del menú, correspondiente al servicio detallado incluido en la solicitud, a partir de la información del menú que incluye uno o más servicios detallados proporcionados por el proveedor de servicios 450. El dispositivo electrónico 101 puede seleccionar el primer elemento del menú correspondiente al servicio detallado utilizando al menos una parte de la información de palabras clave recibida. Por ejemplo, el dispositivo electrónico 101 puede seleccionar un menú correspondiente a la emisión de nuevas tarjetas proporcionado por el centro de atención al cliente de Samsung Card (por ejemplo, el centro de atención al cliente de Samsung Card 501 de la FIG. 5) utilizando la palabra clave "solicitar una tarjeta".
En la operación 1407, el dispositivo electrónico 101 puede intentar una conexión de llamada entre el proveedor de servicios 450 y el dispositivo electrónico externo 102 o 104. El dispositivo electrónico 101 puede llamar al número de identificación del proveedor de servicios 450, y puede transmitir información de usuario del dispositivo electrónico externo 102 o 104 en respuesta a una solicitud de información de usuario.
En la operación 1409, cuando se conecta la llamada al proveedor de servicios 450, el dispositivo electrónico 101 puede transmitir una o más respuestas hasta alcanzar una etapa correspondiente al primer menú en respuesta a una o más indicaciones de voz proporcionadas por el proveedor de servicios 450. El dispositivo electrónico 101 puede determinar las respuestas respectivas a una o más indicaciones de voz basándose en la información de usuario del dispositivo electrónico externo 102 o 104 y en la información del primer menú, y puede transmitir las respuestas determinadas. Por ejemplo, el dispositivo electrónico 101 puede transmitir una respuesta de pulsar un botón hasta alcanzar una etapa de menú correspondiente al primer menú según un anuncio transmitido por el proveedor de servicios 450.
En la operación 1411, el dispositivo electrónico 101 puede determinar si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios 450, en respuesta a alcanzar el primer menú. El dispositivo electrónico 101 puede determinar la correlación con la voz recibida utilizando el modelo de determinación relacionado con una voz del asistente y puede determinar si un asistente está conectado basándose en el resultado de la determinación.
En la operación 1413, en respuesta a la finalización de la conexión con un asistente, el dispositivo electrónico 101 puede proporcionar al dispositivo electrónico externo 102 o 104 información que indique la finalización de la conexión con el asistente del proveedor de servicios 450. El dispositivo electrónico 101 puede proporcionar además información que permita inducir la conexión de llamada entre el proveedor de servicios proveedor de servicios 450 y el dispositivo electrónico externo 102 o 104. El dispositivo electrónico externo 102 o 104 puede recibir la información del dispositivo electrónico 101 y puede realizar una tarea de conexión de llamada al proveedor de servicios 450. En la operación 1415, el dispositivo electrónico 101 puede terminar la conexión de llamada al proveedor de servicios 450 en respuesta a la recepción de un mensaje que indica que la llamada está conectada entre el dispositivo electrónico externo 102 o 104 y el proveedor de servicios 450. El dispositivo electrónico externo 102 o 104 puede realizar la conexión de llamada al proveedor de servicios 450 de acuerdo con la información proporcionada por el dispositivo electrónico 101, y cuando se completa la conexión de llamada, el dispositivo electrónico externo 102 o 104 puede transmitir un mensaje indicando la conexión de llamada al dispositivo electrónico 101. El dispositivo electrónico 101 puede determinar que la llamada está conectada entre el dispositivo electrónico externo 102 o 104 y el proveedor de servicios 450 en respuesta a la recepción del mensaje, y puede terminar la conexión de llamada con el proveedor de servicios 450.
La FIG. 15A ilustra un diagrama de flujo 1500 para explicar la operación de un servidor, el dispositivo electrónico, y un proveedor de servicios de acuerdo con diversas realizaciones, y la FIG. 15B ilustra un diagrama de flujo 1500 para explicar la operación del servidor, el dispositivo electrónico y el proveedor de servicios según diversas realizaciones. De acuerdo con varias realizaciones, el miembro conductor (por ejemplo, el soporte conductor 108 en la FIG. 1) puede recibir una solicitud de conexión de llamada entre el dispositivo electrónico 101 (p. ej., el procesador 120) y el proveedor de servicios 450 desde el dispositivo electrónico 101 y puede realizar la conexión de llamada entre el dispositivo electrónico 101 y el proveedor de servicios 450.
En la operación 1501, el dispositivo electrónico 101 puede mostrar una pantalla de ejecución de una primera aplicación. La primera aplicación puede ser una aplicación de reconocimiento de voz. El dispositivo electrónico 101 puede ejecutar una aplicación de reconocimiento de voz para procesar un pronunciamiento del usuario y puede mostrar la pantalla de ejecución para inducir una entrada del usuario.
En la operación 1503, el dispositivo electrónico 101 puede recibir una primera entrada de usuario. Por ejemplo, el dispositivo electrónico 101 puede recibir un pronunciamiento del usuario a través del micrófono 150 y puede mostrar un resultado de reconocimiento de voz en la pantalla de ejecución en respuesta a la recepción del pronunciamiento del usuario.
En la operación 1505, el dispositivo electrónico 101 puede transmitir la primera entrada de usuario al servidor 1550. El dispositivo electrónico 101 puede transmitir, al servidor 1550, la primera entrada de usuario para solicitar una tarea que incluya la conexión de llamada al proveedor de servicios 450. La primera entrada del usuario puede incluir la solicitud de una llamada con el proveedor de servicios 450. Por ejemplo, la primera entrada del usuario puede ser "Solicitar una nueva tarjeta al centro de atención al cliente de Samsung Card".
En la operación 1507, el servidor 1550 puede identificar el proveedor de servicios 450 y un servicio detallado sobre la base de la primera entrada de usuario recibida. El proveedor de servicios 450 puede prestar diversos servicios a través de la conexión de llamada. El servicio detallado puede ser uno de los servicios prestados por el proveedor de servicios 450. El servidor 1550 puede extraer al menos una palabra clave relacionada con el servicio detallado o el proveedor de servicios 450 de la primera entrada del usuario e identificar el servicio detallado y el proveedor de servicios 450 utilizando la al menos una palabra clave. Por ejemplo, el servidor 1550 puede extraer palabras clave, como "Samsung Card", "centro de atención al cliente", "nueva tarjeta" y "solicitar", de "Solicitar una nueva tarjeta en el centro de atención al cliente de Samsung Card", e identificar el centro de atención al cliente de Samsung Card 501 como el proveedor de servicios 450 mediante "Samsung Card" y "centro de atención al cliente". El servidor 1550 puede identificar la emisión de una nueva tarjeta como el servicio detallado utilizando "nueva tarjeta" y "solicitar". En la operación 1509, el servidor 1550 puede adquirir información de menú para el proveedor de servicios 450. La información del menú puede incluir información sobre uno o más servicios prestados por el proveedor de servicios 450, puede almacenarse en una estructura de árbol y puede incluir información sobre el usuario e información sobre si hay un asistente conectada, etc., que se utilizan para prestar cada servicio.
En la operación 1511, el servidor 1550 puede seleccionar un primer menú correspondiente al servicio detallado a partir de la información de menú para el proveedor de servicios 450. Por ejemplo, el servidor 1550 puede seleccionar un menú de aplicación de tarjeta del centro de atención al cliente de Samsung Card 501 en respuesta a la emisión de una nueva tarjeta.
En la operación 1513, el servidor 1550 puede solicitar conexión de llamada al proveedor de servicios 450.
En la operación 1515, el proveedor de servicios 450 puede aprobar la conexión de llamada al servidor 1550.
En la operación 1517, puede establecerse la conexión de llamada entre el servidor 1550 y el proveedor de servicios 450.
En la operación 1519, el proveedor de servicios 450 puede transmitir, al servidor 1550, una indicación de voz determinada de acuerdo con la conexión de llamada.
En la operación 1521, el servidor 1550 puede transmitir una respuesta correspondiente a la indicación de voz recibida basándose en la información del dispositivo electrónico 101, la información del usuario del dispositivo electrónico 101 y la información del primer elemento del menú. Por ejemplo, el servidor 1550 puede transmitir un número de teléfono del dispositivo electrónico 101 en respuesta a una indicación de voz para solicitar que se introduzca un número de teléfono móvil como información del usuario.
En la operación 1523, el proveedor de servicios 450 puede determinar si se ha alcanzado el primer menú basándose en la respuesta recibida. El proveedor de servicios 450 puede proporcionar indicaciones de voz en un orden determinado para identificar un servicio utilizado por un usuario de entre los servicios prestados y puede seleccionar un menú de acuerdo con una respuesta a la misma. El proveedor de servicios 450 puede transmitir indicaciones de voz hasta llegar al primer menú y puede repetir la operación de recibir una respuesta al mismo.
En la operación 1525, el proveedor de servicios 450 puede transmitir una voz asociada con la conexión a un asistente, que es transmitida por el proveedor de servicios 450, en respuesta a alcanzar el primer menú. El proveedor de servicios 450 puede realizar la conexión con un asistente en respuesta al acceso al primer menú. El proveedor de servicios 450 puede transmitir un asistente al conectarse al asistente. Mientras espera la conexión con un asistente, el proveedor de servicios 450 puede transmitir una voz indicando un estado de espera de conexión con un asistente.
En la operación 1527, el servidor 1550 puede determinar si un asistente está conectado sobre la base de la voz transmitida por el proveedor de servicios 450. El servidor 1550 puede recibir la voz transmitida desde el proveedor de servicios 450 y puede repetir una operación para determinar si un asistente está conectado, hasta que se complete la conexión con un asistente.
En la operación 1529, el servidor 1550 puede solicitar al proveedor de servicios 450 que llame al dispositivo electrónico 101 en respuesta a la determinación de que se ha conectado un asistente. Por ejemplo, el servidor 1550 puede transmitir un mensaje para solicitar al proveedor de servicios 450 que llame al dispositivo electrónico 101. En la operación 1531, el servidor 1550 puede proporcionar al dispositivo electrónico 101 información que indique que se ha completado la conexión con un asistente. La operación 1531 puede realizarse antes de la operación 1529. En la operación 1533, el dispositivo electrónico 101 puede recibir la entrada de usuario para la conexión de llamada a un asistente del proveedor de servicios 450. Por ejemplo, el dispositivo electrónico 101 puede recibir la entrada del usuario de tocar una notificación que muestra información recibida del servidor 1550 y puede realizar la conexión de llamada al proveedor de servicios 450.
En la operación 1535, el proveedor de servicios 450 puede solicitar la conexión de llamada del dispositivo electrónico 101 de acuerdo con la solicitud del servidor 1550. La operación 1535 puede preceder a la operación 1533 o a la operación 1531.
En la operación 1537, el dispositivo electrónico 101 puede aprobar la solicitud de conexión de llamada transmitida por el proveedor de servicios 450.
En la operación 1539, el dispositivo electrónico 101 puede proporcionar al servidor 1550 información que indique la conexión de llamada al proveedor de servicios 450.
4, en la operación 1541, el dispositivo electrónico 101 puede detectar una conexión del dispositivo de suministro de energía externo 450.
En la operación 1543, el servidor 1550 puede terminar la llamada con el proveedor de servicios 450 sobre la base de la recepción, desde el dispositivo electrónico 101, de información sobre la conexión de llamada al proveedor de servicios 450.
La FIG. 16 ilustra diagramas conceptuales 1600 para explicar la provisión de información según un pronunciamiento del usuario por el dispositivo electrónico según varias realizaciones. El dispositivo electrónico 101 (por ejemplo, el procesador 120) puede procesar una tarea incluida en un pronunciamiento del usuario para solicitar un servicio prestado por un proveedor de servicios (por ejemplo, el proveedor de servicios 450 de la FIG. 4) mediante conexión de llamada. Mientras procesa una o más tareas incluidas en el pronunciamiento del usuario, el dispositivo electrónico 101 puede realizar una conexión de llamada al proveedor de servicios 450 y puede proporcionar al usuario información adquirida a través de la conexión de llamada.
El dispositivo electrónico 101 puede mostrar una pantalla de ejecución 1620 para recibir un pronunciamiento del usuario 1601 en una pantalla táctil 1610 (por ejemplo, la pantalla táctil de la FIG. La pantalla 710 de las FIG. 7 o el dispositivo electrónico 1010 de la FIG. 10A). Por ejemplo, el dispositivo electrónico 101 puede mostrar la pantalla de ejecución 1620 según la ejecución de una aplicación de reconocimiento de voz. La pantalla de ejecución 1620 puede incluir un indicador 1621 que indica que se está realizando la escucha, un icono OK 1622 y una ventana de visualización de texto 1623. El dispositivo electrónico 101 puede activar el micrófono 150 y mostrar, por ejemplo, el indicador 1621 que indica que se está realizando la escucha. El dispositivo electrónico 101 puede introducir texto o un comando adquirido como resultado del procesamiento del pronunciamiento del usuario en la ventana de texto procesamiento del pronunciamiento del usuario en la ventana de texto 1623 para mostrar el mismo. Cuando se selecciona el icono OK 1622, el dispositivo electrónico 101 puede realizar una tarea correspondiente al texto o comando dentro de la ventana de visualización de texto 1623. Por ejemplo, el dispositivo electrónico 101 puede recibir un pronunciamiento del usuario 1601 de "¿Cuánto es el pago de la tarjeta Samsung este mes?" a través del micrófono 150. El dispositivo electrónico 101 puede mostrar texto indicando "¿Cuánto es el pago de la tarjeta Samsung este mes?" dentro de la ventana de visualización de texto 1623, y cuando se selecciona el icono OK 1622, el dispositivo electrónico 101 puede realizar una tarea incluida en "¿Cuánto es el pago de la tarjeta Samsung este mes?". De acuerdo con el resultado del análisis del reconocimiento de voz, el dispositivo electrónico 101 puede confirmar múltiples tareas para realizar al menos una operación para alcanzar las etapas de ejecutar la aplicación de llamada, introducir un número de teléfono correspondiente a Samsung Card o conectar una llamada a Samsung Card, y confirmar un importe de pago después de conectar la llamada. Por ejemplo, el dispositivo electrónico 101 puede confirmar directamente las tareas múltiples o puede recibir las tareas múltiples de un servidor 108 para el análisis de reconocimiento de voz. En lo sucesivo, la confirmación de información específica que incluye las múltiples tareas por parte del dispositivo electrónico 101 puede entenderse como la confirmación de la información específica sobre la base de la información recibida del servidor 108.
El dispositivo electrónico 101 puede dejar de mostrar la pantalla de ejecución 1620 en respuesta a la selección del icono OK 1622. De acuerdo con la detención de la visualización de la pantalla de ejecución 1620, al menos una pantalla visualizada antes de la visualización de la pantalla de ejecución 1620 puede visualizarse en la pantalla táctil 1610. Por ejemplo, puede mostrarse una pantalla de ejecución 1630 de una aplicación de lanzamiento.
El dispositivo electrónico 101 puede identificar al proveedor de servicios 450 y un servicio detallado basándose en el pronunciamiento del usuario 1601. El dispositivo electrónico 101 puede seleccionar un menú del proveedor de servicios 450 correspondiente al servicio detallado. Para solicitar un servicio para el menú seleccionado al proveedor de servicios 450, el dispositivo electrónico 101 puede ejecutar una aplicación de llamada para la conexión de una llamada al proveedor de servicios 450. El dispositivo electrónico 101 puede solicitar un servicio para el menú durante la conexión de llamada al proveedor de servicios 450 y puede recibir información sobre el importe del pago como resultado del servicio del proveedor de servicios 450.
El dispositivo electrónico 101 puede proporcionar el resultado del servicio correspondiente al pronunciamiento del usuario 1601 a la pantalla táctil 1610 en una ventana emergente 1640. El dispositivo electrónico 101 puede mostrar un icono de OK 1641 y un icono de cancelar 1642 en la ventana emergente 1640. El dispositivo electrónico 101 puede mostrar una pantalla 1650 que proporciona un resultado de servicio en la pantalla táctil 1610 en respuesta a una entrada táctil para el icono OK 1641.
Un dispositivo electrónico 70 (por ejemplo, el dispositivo electrónico 101 de la FIG. 1) según diversas realizaciones puede incluir: un micrófono (un dispositivo de entrada 150); un altavoz (un dispositivo de salida de voz 155); una pantalla táctil (por ejemplo, un dispositivo de visualización 160); un circuito de comunicación (por ejemplo, un módulo de comunicación 190); al menos un procesador (por ejemplo, el procesador 120) conectado operativamente al micrófono 150, al altavoz 155, a la pantalla táctil 160, y al circuito de comunicación 190; y una memoria (por ejemplo, la memoria 130) conectada operativamente al procesador 120, en la que la memoria 130 almacena instrucciones configuradas para, cuando se ejecutan, hacer que el al menos un procesador 120: reciba una primera entrada de usuario a través de la pantalla táctil 160 o el micrófono 150; identifique un proveedor de servicios y un servicio detallado sobre la base de al menos una parte de la primera entrada de usuario; seleccione un primer menú correspondiente al servicio detallado a partir de información de menú que incluya al menos un servicio detallado proporcionado por el proveedor de servicios; intente conectar una llamada al proveedor de servicios utilizando el circuito de comunicación 190; cuando se conecta la llamada al proveedor de servicios, transmita una o más respuestas hasta alcanzar una etapa correspondiente al primer menú, en respuesta a una o más indicaciones de voz proporcionadas por el proveedor de servicios; en respuesta a la llegada al primer menú, determinar si se ha conectado un asistente, sobre la base de al menos una voz transmitida por el proveedor de servicios; en respuesta a la finalización de la conexión con el asistente, emitir una notificación indicando que se ha completado la conexión con el asistente, utilizando el altavoz 155 o la pantalla táctil 160; y en respuesta a la recepción de una segunda entrada de usuario para la notificación de salida, mostrar una pantalla para una llamada con el proveedor de servicios. De acuerdo con una realización, como al menos una parte de la selección de un primer menú correspondiente al servicio detallado a partir de la información de menú que incluye uno o más servicios proporcionados por el proveedor de servicios, el procesador 120 puede utilizar el circuito de comunicación 190 para solicitar la información de menú a un servidor externo 108, y puede utilizar el circuito de comunicación 190 para recibir la información de menú del servidor externo 108. En una realización, la información del menú puede incluir información de uno o más servicios prestados por el proveedor de servicios en una estructura de árbol. Según una realización, en respuesta al servicio detallado, el procesador 120 puede seleccionar, como primer menú, uno entre uno o más servicios situados en nodos hoja de la estructura de árbol. En la realización, en respuesta a la correspondencia del servicio detallado con un segundo menú ubicado en nodos intermedios de la estructura de árbol, el procesador 120 puede mostrar, a través de la pantalla táctil 160, información de un nodo padre o un nodo hijo del segundo menú, y puede seleccionar el primer nodo ubicado en nodos hoja entre nodos de árbol en respuesta al servicio detallado sobre la base de una tercera entrada de usuario recibida en respuesta a la información mostrada. De acuerdo con una realización, como al menos una parte de la determinación de si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios, el procesador 120 puede utilizar una primera voz de la al menos una voz recibida y un modelo de determinación obtenido mediante el aprendizaje de una voz de asistente, con el fin de comparar para determinar si la primera voz es similar al modelo de determinación por un valor umbral o mayor. De acuerdo con una realización, como al menos una parte de la determinación de si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios, el procesador 120 puede extraer al menos una característica de audio de la primera voz, y puede comparar, utilizando un modelo de determinación obtenido mediante el aprendizaje de la característica de audio extraída de la voz del asistente, para determinar si la primera señal de voz es similar al modelo de determinación por el valor umbral o mayor. De acuerdo con una realización, como al menos una parte de la determinación de si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios, el procesador 120 puede convertir una primera voz de la al menos una señal de voz recibida en texto, y puede determinar una correlación entre el texto convertido y un modelo de determinación obtenido sobre la base de un corpus de aprendizaje para saludos designados, y cuando la correlación tiene un valor igual al valor umbral o mayor, se puede determinar que la primera señal de voz corresponde a la voz del asistente. De acuerdo con una realización, como al menos una parte de la transmisión de una o más respuestas hasta alcanzar una etapa correspondiente al primer menú, en respuesta a una o más indicaciones de voz proporcionadas por el proveedor de servicios, el procesador 120 puede recibir una indicación de voz que solicita información del usuario del dispositivo electrónico al proveedor de servicios, y el procesador 120 puede transmitir, al proveedor de servicios, una respuesta generada en base a la información del usuario del dispositivo electrónico. Según una realización, el procesador 120 puede determinar, en respuesta a la selección del primer elemento del menú, si el proveedor de servicios solicita la información de usuario del dispositivo electrónico 101, con el fin de proporcionar el primer elemento del menú, y el procesador 120 puede adquirir la información de usuario antes de intentar conectar una llamada al proveedor de servicios en respuesta a la solicitud de la información de usuario del dispositivo electrónico 101. Según una realización, el procesador 120 puede realizar la conexión de llamada en segundo plano hasta que se reciba la segunda entrada del usuario. Según una realización, el procesador 120 puede extraer al menos una palabra clave relacionada con el proveedor de servicios y el servicio detallado a partir de la primera entrada del usuario, y puede seleccionar un proveedor de servicios correspondiente a la al menos una palabra clave de entre múltiples proveedores de servicios, cada uno de los cuales proporciona uno o más servicios mediante conexión de llamada, y el procesador 120 puede adquirir un número de identificación para conectar una llamada al proveedor de servicios. Según una realización, después de emitir una notificación indicando que se ha completado la conexión con un asistente, antes de recibir la segunda entrada del usuario para la notificación de salida, el procesador 120 puede transmitir, al proveedor de servicios, un mensaje para solicitar que se mantenga la conexión con el asistente del proveedor de servicios. De acuerdo con una realización, el procesador 120 puede estimar el tiempo necesario para la conexión con un asistente, y puede proporcionar información del tiempo estimado a través de la pantalla táctil.
Un dispositivo electrónico 70 (por ejemplo, el dispositivo electrónico 101 de la FIG. 1) según diversas realizaciones puede incluir: un altavoz (por ejemplo, un dispositivo de salida de voz 155); una pantalla táctil (por ejemplo, un dispositivo de visualización 160); un circuito de comunicación (por ejemplo, un módulo de comunicación 190); al menos un procesador (por ejemplo, el procesador 120) conectado operativamente al altavoz 155, la pantalla táctil 160, y el circuito de comunicación 190; y una memoria (por ejemplo, la memoria 130) conectada operativamente al procesador 120, en la que la memoria 130 almacena instrucciones configuradas para, cuando se ejecutan, hacer que el al menos un procesador 120: ejecute una aplicación de llamada; intente conectar una llamada a un proveedor de servicios utilizando el circuito de comunicación 190; durante la conexión de llamada al proveedor de servicios, reciba una primera entrada de usuario para solicitar un modo de espera para la conexión a un asistente del proveedor de servicios, ejecutándose la aplicación de llamada en segundo plano en el modo de espera; en respuesta a la primera entrada de usuario, ejecute la aplicación de llamada en el modo de espera; mientras la aplicación de llamada se ejecuta en el modo de espera, determinar si el asistente está conectado, sobre la base de una voz transmitida por el proveedor de servicios; en respuesta a la finalización de la conexión con el asistente, emitir una notificación indicando que la conexión con el asistente se ha completado, utilizando el altavoz 155 o la pantalla táctil 160; y en respuesta a la recepción de una segunda entrada de usuario para la notificación de salida, terminar el modo de espera. Según una realización, el procesador 120 puede mostrar, a través de la pantalla táctil 160, un icono que indica una función para proporcionar el modo de espera y puede convertir el modo de la aplicación de llamada al modo de espera en respuesta a una entrada de selección del icono. De acuerdo con una realización, como al menos una parte de la determinación de si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios, el procesador 120 puede utilizar una primera voz de la al menos una voz recibida y un modelo de determinación obtenido mediante el aprendizaje de una voz del asistente, a fin de realizar una comparación para determinar si la primera voz es similar al modelo de determinación en un valor umbral o superior. Según una realización, como al menos una parte de la determinación de si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios, el procesador 120 puede extraer al menos una característica de audio de la primera voz, y puede comparar, utilizando un modelo de determinación obtenido mediante el aprendizaje de las características de audio extraídas de la voz del asistente, para determinar si la primera voz es similar al modelo de determinación por el valor umbral o mayor. De acuerdo con una realización, como al menos una parte de la determinación de si un asistente está conectado, sobre la base de al menos una voz transmitida por el proveedor de servicios, el procesador 120 puede convertir una primera voz de la al menos una voz en texto, y puede determinar una correlación entre el texto convertido y un modelo de determinación obtenido utilizando un corpus de aprendizaje para saludos designados, y cuando la correlación tiene un valor igual al valor umbral o mayor, se puede determinar que la primera voz corresponde a la voz del asistente. Según una realización, mientras se ejecuta la aplicación de llamada en el modo de espera, el procesador 120 puede no mostrar una pantalla de ejecución de la aplicación de llamada en la pantalla táctil, y puede restringir una función del altavoz o del micrófono.
Un dispositivo electrónico 70 (por ejemplo, el dispositivo electrónico 101 de la FIG. 1) según diversas realizaciones puede incluir: un circuito de comunicación (por ejemplo, un módulo de comunicación 190); al menos un procesador (por ejemplo, el procesador 120) conectado operativamente al circuito de comunicación 190; y una memoria (por ejemplo, la memoria 130) conectada operativamente al procesador 120, en la que la memoria 130 almacena instrucciones configuradas para, cuando se ejecutan, hacer que el al menos un procesador 120: reciba una solicitud de conexión de llamada a un proveedor de servicios desde un dispositivo electrónico externo, incluyendo la solicitud información de usuario del dispositivo electrónico externo y al menos una información de palabra clave relacionada con un servicio detallado y el proveedor de servicios; en respuesta a la solicitud, adquiera un número de identificación para la conexión de llamada al proveedor de servicios; seleccione un primer menú correspondiente al servicio detallado incluido en la solicitud a partir de información de menú que incluye uno o más servicios detallados proporcionados por el proveedor de servicios; intente conectar una llamada entre el dispositivo electrónico externo y el proveedor de servicios; cuando se conecta la llamada al proveedor de servicios, transmitir una o más transmitir una o más respuestas hasta alcanzar una etapa correspondiente al primer menú, en respuesta a una o más indicaciones de voz proporcionadas por el proveedor de servicios; en respuesta a alcanzar el primer menú, determinar si se conecta un asistente sobre la base de al menos una voz transmitida por el proveedor de servicios; en respuesta a la finalización de la conexión con el asistente, proporcionar al dispositivo electrónico externo información que indique que se ha establecido la conexión con el asistente del proveedor de servicios, utilizando el circuito de comunicación 190; y en respuesta a la recepción de un mensaje que indique que se ha conectado la llamada entre el dispositivo electrónico externo y el proveedor de servicios, finalizar la conexión de la llamada con el proveedor de servicios.
A continuación, se describirá un sistema de inteligencia integrado al que se puede aplicar una realización.
La FIG. 17 es un diagrama que ilustra un sistema de inteligencia integrado de acuerdo con varias realizaciones. Refiriéndonos a la FIG. 17, un sistema de inteligencia integrado 10 puede incluir un terminal de usuario 3100, un servidor inteligente 3200, un servidor de información de personalización 3300 o un servidor de sugerencias 3400. El terminal de usuario 3100 (por ejemplo, el dispositivo electrónico 101) puede proporcionar un servicio necesario para un usuario a través de una aplicación (o un programa de aplicación [por ejemplo, una aplicación de alarma, una aplicación de mensajes, una aplicación de imágenes (galería), etc.]) almacenada en el terminal de usuario 3100. Por ejemplo, el terminal de usuario 3100 puede ejecutar y operar otra aplicación a través de una aplicación inteligente (o una aplicación de reconocimiento de voz) almacenada en el terminal de usuario 3100. El terminal de usuario 3100 puede recibir entradas del usuario para ejecutar y operar la otra aplicación a través de la aplicación inteligente del terminal de usuario 3100. La entrada del usuario puede ser recibida a través de, por ejemplo, un botón físico, un panel táctil, una entrada de voz, una entrada remota, y similares. Según una realización, el terminal de usuario 3100 puede ser cualquiera de los diversos dispositivos terminales (o dispositivos electrónicos) conectables a Internet, como un teléfono móvil, un teléfono inteligente, un asistente digital personal (PDA) o un ordenador portátil.
Según una realización, el terminal de usuario 3100 puede recibir un pronunciamiento del usuario como entrada del usuario. El terminal de usuario 3100 puede recibir un pronunciamiento del usuario y generar una orden que haga funcionar una aplicación en función del pronunciamiento del usuario. En consecuencia, el terminal de usuario 3100 puede operar la aplicación utilizando el comando.
El servidor inteligente 3200 puede recibir una entrada de voz de usuario del terminal de usuario 3100 a través de una red de comunicación y puede cambiar la entrada de voz de usuario recibida a datos de texto. En otra realización, el servidor inteligente 3200 puede generar (o seleccionar) una regla de ruta basándose en los datos de texto. La regla de ruta puede incluir información de acciones (u operaciones) para realizar una función de una aplicación o información de un parámetro necesario para ejecutar la acción. La regla de ruta puede incluir una secuencia de las operaciones de la aplicación. El terminal de usuario 3100 puede recibir la regla de ruta, puede seleccionar una aplicación de acuerdo con la regla de ruta y puede ejecutar operaciones incluidas en la regla de ruta mediante la aplicación seleccionada.
Por ejemplo, el terminal de usuario 3100 puede ejecutar las operaciones y puede mostrar, en la pantalla, una pantalla correspondiente al estado del terminal de usuario 3100 que ha ejecutado las operaciones. Como otro ejemplo, el terminal de usuario 3100 puede ejecutar las operaciones pero no mostrar los resultados de la ejecución de las operaciones en la pantalla. El terminal de usuario 3100 puede, por ejemplo, ejecutar múltiples operaciones y mostrar sólo algunos resultados de las múltiples operaciones en la pantalla. El terminal de usuario 3100 puede mostrar, en la pantalla, sólo un resultado obtenido al ejecutar la última operación de la secuencia. Como otro ejemplo, el terminal de usuario 3100 puede recibir una entrada de usuario y puede mostrar, en la pantalla, el resultado obtenido mediante la ejecución de las operaciones.
El servidor de información de personalización 3300 puede incluir una base de datos que almacene información del usuario. Por ejemplo, el servidor de información de personalización 3300 puede recibir información de usuario (por ejemplo, información de contexto, ejecución de aplicaciones, etc.) del terminal de usuario 3100, y puede almacenar la información de usuario recibida en la base de datos. El servidor inteligente 3200 puede recibir la información de usuario del servidor de información de personalización 3300 a través de la red de comunicación, y puede utilizar la información de usuario recibida en el caso de generar una regla de ruta para la entrada del usuario. Según una realización, el terminal de usuario 3100 puede recibir información de usuario del servidor de información de personalización 3300 a través de la red de comunicación, y puede utilizar la información de usuario recibida como información para gestionar la base de datos.
El servidor de sugerencias 3400 puede incluir una base de datos dentro del terminal, que almacena una introducción de una aplicación o una función, o información de una función a proporcionar. Por ejemplo, el servidor de sugerencias 3400 puede recibir información de usuario del terminal de usuario 3100 desde el servidor de información de personalización 3300 y puede incluir una base de datos para una función disponible para un usuario. El terminal de usuario 3100 puede recibir información sobre una función que debe proporcionarse desde el servidor de sugerencias 3400 a través de una red de comunicación y puede proporcionar la información recibida al usuario. La FIG. 18 es un diagrama de bloques que muestra un terminal de usuario del sistema de inteligencia integrado de acuerdo con una realización.
Refiriéndonos a la FIG. 18, el terminal de usuario 3100 puede incluir un módulo de entrada 3110, una pantalla 3120, un altavoz 3130, una memoria 3140 o un procesador 3150. El terminal de usuario 3100 puede incluir además una carcasa, y los elementos del terminal de usuario 3100 pueden estar asentados dentro de la carcasa o situados sobre la carcasa.
Según una realización, el módulo de entrada 3110 puede recibir una entrada de un usuario. Por ejemplo, el módulo de carga 3110 puede detectar una señal transmitida desde un dispositivo electrónico externo (por ejemplo, un dispositivo de suministro de potencia inalámbrica). Como otro ejemplo, el módulo de entrada 3110 puede incluir una pantalla táctil (por ejemplo, una pantalla táctil) acoplada a la pantalla 3120. Como otro ejemplo, el módulo de entrada 3110 puede incluir una llave hardware (por ejemplo, 3112 de la FIG. 19) (o una llave física) situada en el terminal de usuario 3100 (o en la carcasa del terminal de usuario 3100).
De acuerdo con una realización, el módulo 3110 de entrada puede incluir un micrófono (p.ej., 3111 en la FIG. 18) capaz de recibir un pronunciamiento del usuario como señal de voz. Por ejemplo, el módulo de entrada 3110 puede incluir un sistema de entrada de pronunciaciones (un sistema de entrada de habla), y puede recibir un pronunciamiento del usuario como una señal de voz a través del sistema de entrada de habla.
Según una realización, la pantalla 3120 puede mostrar una imagen, un vídeo y/o una pantalla de ejecución de una aplicación. Por ejemplo, la pantalla 3120 puede mostrar una interfaz gráfica de usuario (GUI) de una aplicación. Según una realización, el altavoz 3130 puede emitir una señal de voz. Por ejemplo, el altavoz 3130 puede emitir al exterior una señal de voz generada en el interior del terminal de usuario 3100.
De acuerdo con una realización, la memoria 3140 puede almacenar software y/o un programa 3143. Las múltiples aplicaciones 3141 y 3143 almacenadas en la memoria 3140 pueden ser seleccionadas y ejecutadas y pueden operar de acuerdo con la entrada del usuario.
Según una realización, la memoria 3140 puede incluir una base de datos capaz de almacenar la información necesaria para reconocer la entrada del usuario. Por ejemplo, la memoria 3140 puede incluir una base de datos de registro capaz de almacenar información de registro. Como otro ejemplo, la memoria 3140 puede incluir una base de datos de personas capaz de almacenar información del usuario.
De acuerdo con una realización, la memoria 3140 puede almacenar múltiples aplicaciones 3141 y 3143, y las múltiples aplicaciones 3141 y 3143 pueden ser cargadas y operadas. Por ejemplo, las múltiples aplicaciones 3141 y 3143 almacenadas en la memoria 3140 pueden ser cargadas y operadas por un módulo gestor de ejecución 3153 del procesador 3150. Las aplicaciones múltiples 3141 y 3143 pueden incluir operaciones múltiples (u operaciones unitarias) 3141b y 3143b o servicios de ejecución 3141a y 3143a que realizan funciones. Los servicios de ejecución 3141a y 3143a pueden ser generados por un módulo gestor de ejecución 3153 del procesador 3150 y pueden ejecutar las operaciones múltiples 3141b y 3143b.
De acuerdo con una realización, cuando se ejecutan las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143, puede mostrarse en la pantalla 3120 una pantalla de estado de ejecución de acuerdo con la ejecución de las operaciones 3141b y 3143b. La pantalla de estado de ejecución puede ser una pantalla que indique el estado en el que se han completado las operaciones 3141b y 3143b. La pantalla de estado de ejecución puede ser una pantalla de un estado de aterrizaje parcial (por ejemplo, en el caso de que no se introduzca un parámetro necesario para las operaciones 3141b y 3143b) en el que se ha detenido la ejecución de las operaciones 3141b y 3143b.
Según una realización, los servicios de ejecución 3141a y 3143a pueden ejecutar las operaciones 3141b y 3143b de acuerdo con la regla de ruta. Por ejemplo, los servicios de ejecución 3141a y 3143a pueden ser activados por el módulo de gestión de ejecución 3153, pueden recibir una solicitud de ejecución de acuerdo con la regla de ruta del módulo de gestión de ejecución 3153, y pueden ejecutar las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143. Cuando finaliza la ejecución de las operaciones 3141b y 3143b, los servicios de ejecución 3141a y 3143a pueden transmitir información de finalización al módulo gestor de ejecución 3153.
Según una realización, cuando las operaciones múltiples 3141b y 3143b se ejecutan en las aplicaciones 3141 y 3143, las operaciones múltiples 3141b y 3143b pueden ejecutarse secuencialmente. Cuando finaliza la ejecución de una operación (operación 1), los servicios de ejecución 3141a y 3143a pueden abrir una operación posterior (operación 2) y pueden transmitir información de finalización al módulo gestor de ejecución 3153. Aquí, la apertura de una operación arbitraria puede entenderse como el cambio de la operación arbitraria a un estado ejecutable o la preparación para la ejecución de la operación arbitraria. En otras palabras, si no se abre una operación arbitraria, ésta no podrá ejecutarse. El módulo de gestión de ejecución 3153 puede transmitir, cuando se recibe la información de finalización, una solicitud de ejecución para las operaciones subsiguientes 3141b y 3143b al servicio de ejecución (por ejemplo, la operación 2). Según una realización, cuando se ejecutan las aplicaciones múltiples 3141 y 3143, las aplicaciones múltiples 3141 y 3143 pueden ejecutarse secuencialmente. Por ejemplo, cuando se completa la ejecución de una última operación de una primera aplicación 3141 y se recibe la información de finalización, el módulo de gestión de ejecución 3153 puede transmitir una solicitud de ejecución de una primera operación de una segunda aplicación 3143 al servicio de ejecución 3143a.
Según una realización, cuando se ejecutan las operaciones múltiples 3141b y 3143b en las aplicaciones 3141 y 3143, pueden mostrarse en la pantalla 3120 pantallas de estado de ejecución según la ejecución de las operaciones respectivas 3141b y 3143b. Según una realización, sólo algunas de las múltiples pantallas de resultados según la ejecución de las múltiples operaciones ejecutadas 3141b y 3143b pueden mostrarse en la pantalla 3120.
Según una realización, la memoria 3140 puede almacenar una aplicación inteligente (por ejemplo, una aplicación de reconocimiento de voz) vinculada a un agente inteligente 3151. La aplicación vinculada al agente inteligente 3151 puede recibir y procesar un pronunciamiento del usuario como una señal de voz. De acuerdo con una realización, la aplicación vinculada al agente inteligente 3151 puede ser operada por una entrada específica (por ejemplo, una entrada a través de una tecla de hardware, una entrada a través de una pantalla táctil, y una entrada de voz específica) que se introduce a través de un módulo de entrada 3110.
Según una realización, el procesador 3150 puede controlar la operación general del terminal de usuario 3100. Según una realización, el procesador 3150 puede controlar el módulo de entrada 3110 para recibir la entrada del usuario. El procesador 3150 puede controlar la pantalla 3120 para que muestre una imagen. El procesador 3150 puede controlar el altavoz 3130 para que emita una señal de voz. El procesador 3150 puede controlar la memoria 3140 para recuperar o almacenar la información necesaria.
Según una realización, el procesador 3150 puede incluir el agente inteligente 3151, el módulo gestor de ejecución 3153 o un módulo de servicio inteligente 3155. Según una realización, el procesador 3150 puede ejecutar instrucciones almacenadas para operar el agente inteligente 3151, el módulo gestor de ejecución 3153 o el módulo de servicio inteligente 3155. Los diversos módulos a los que se hace referencia en las distintas realizaciones pueden implementarse en hardware o en software. En diversas realizaciones, las operaciones realizadas por el agente inteligente 3151, el módulo gestor de ejecución 3153 o el módulo de servicio inteligente 3155 pueden entenderse como operaciones realizadas por el procesador 3150.
De acuerdo con una realización, el agente inteligente 3151 puede generar una instrucción para operar una aplicación sobre la base de una señal de voz recibida a través de una entrada de usuario. Según una realización, el módulo de gestión de ejecución 3153 puede recibir el comando generado del agente inteligente 3151, y puede seleccionar, ejecutar y operar las aplicaciones 3141 y 3143 almacenadas en la memoria 3140. Según una realización, el módulo de servicio inteligente 3155 puede utilizarse para gestionar la información del usuario y procesar las entradas del usuario.
El agente inteligente 3151 puede transmitir la entrada del usuario recibida a través del módulo de entrada 3110 al servidor inteligente 3200 para procesar la entrada del usuario.
Según una realización, el agente inteligente 3151 puede preprocesar la entrada del usuario antes de transmitirla al servidor inteligente 3200. Según una realización, el agente inteligente 3151 puede incluir un módulo de cancelación de eco adaptativo (AEC), un módulo de supresión de ruido (NS), un módulo de detección de punto final (EPD) o un módulo de control automático de ganancia (AGC) para preprocesar la entrada del usuario. La unidad de cancelación de eco adaptativa puede eliminar un eco incluido en la entrada del usuario. El módulo de supresión de ruido puede suprimir el ruido de fondo incluido en la entrada del usuario. El módulo de detección de punto final puede detectar un punto final de una voz de usuario incluida en la entrada de usuario para encontrar una parte en la que exista la voz de usuario. El módulo de control automático de ganancia puede reconocer la entrada del usuario y puede ajustar el volumen de la entrada del usuario para que sea adecuado para el procesamiento. De acuerdo con una realización, el agente inteligente 3151 puede incluir todas las configuraciones de preprocesamiento para el rendimiento, pero en otra realización, el agente inteligente 3151 puede incluir algunas de las configuraciones de preprocesamiento para permitir la operación a baja potencia.
Según una realización, el agente inteligente 3151 puede incluir un módulo de reconocimiento de llamada que reconoce la llamada de un usuario. El módulo de reconocimiento de despertador puede reconocer una orden de despertador de un usuario a través del módulo de reconocimiento de voz, y puede activar el agente inteligente 3151 para recibir la entrada del usuario cuando se recibe la orden de despertador. Según una realización, el módulo de reconocimiento de despertar del agente inteligente 3151 puede implementarse en un procesador de bajo consumo (por ejemplo, un procesador incluido en un códec de audio). Según una realización, el agente inteligente 3151 puede activarse en respuesta a la entrada del usuario a través de una llave hardware. Cuando se activa el agente inteligente 3151, puede ejecutarse una aplicación inteligente (por ejemplo, una aplicación de reconocimiento de voz) vinculada al agente inteligente 3151.
Según una realización, el agente inteligente 3151 puede incluir un módulo de reconocimiento de voz que realiza la entrada del usuario. El módulo de reconocimiento de voz puede reconocer la entrada del usuario para hacer que una aplicación realice una operación. Por ejemplo, el módulo de reconocimiento de voz puede reconocer una entrada limitada del usuario (voz) (por ejemplo, un sonido, como "clic" para provocar una operación fotográfica mientras se ejecuta una aplicación de cámara) que ejecuta una operación, como el comando de activación en las aplicaciones 3141 y 3143. El módulo de reconocimiento de voz que asiste al servidor inteligente 3200 y reconoce la entrada del usuario puede, por ejemplo, reconocer y procesar rápidamente un comando de usuario que puede ser procesado en el terminal de usuario 3100. Según una realización, el módulo de reconocimiento de voz que ejecuta una entrada de usuario del agente inteligente 3151 puede implementarse en un procesador de aplicación.
De acuerdo con una realización, el módulo de reconocimiento de voz (incluido el módulo de reconocimiento de voz del módulo despertador) del agente inteligente 3151 puede reconocer la entrada del usuario utilizando un algoritmo para el reconocimiento de voz. El algoritmo utilizado para reconocer una voz puede ser, por ejemplo, al menos uno de los siguientes: un algoritmo de modelo de Markov oculto (HMM), un algoritmo de red neuronal artificial (ANN) o un algoritmo de deformación temporal dinámica (DTW).
Según una realización, el agente inteligente 3151 puede convertir una entrada de voz de un usuario en datos de texto. Según una realización, el agente inteligente 3151 puede transferir la voz de un usuario al servidor inteligente 3200 para recibir datos de texto convertidos. En consecuencia, el agente inteligente 3151 puede mostrar los datos de texto en la pantalla 3120.
Según una realización, el agente inteligente 3151 puede recibir una regla de ruta transmitida desde el servidor inteligente 3200. Según una realización, el agente inteligente 3151 puede transmitir la regla de ruta al módulo de gestión de ejecución 3153.
De acuerdo con una realización, el agente inteligente 3151 puede transmitir, al módulo de servicio inteligente 3155, un registro de resultados de ejecución de acuerdo con la regla de ruta recibida del servidor inteligente 3200, y el registro de resultados de ejecución transmitido puede acumularse y gestionarse en la información de preferencias de usuario de un módulo de persona (gestor de persona) 3155b.
Según una realización, el módulo de gestión de ejecución 3153 puede recibir la regla de ruta del agente inteligente 3151 para ejecutar las aplicaciones 3141 y 3143, y puede permitir que las aplicaciones 3141 y 3143 ejecuten las operaciones 3141b y 3143b. Por ejemplo, el módulo de gestión de ejecución 3153 puede transmitir, a las aplicaciones 3141 y 3143, información de comandos para la ejecución de las operaciones 3141b y 3143b, y puede recibir información de finalización de las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143.
Según una realización, el módulo de gestión de ejecución 3153 puede transmitir o recibir la información de comando para la ejecución de las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143 entre el agente inteligente 3151 y las aplicaciones 3141 y 3143. El módulo de gestión de ejecución 3153 puede vincular las aplicaciones 3141 y 3143 para que se ejecuten de acuerdo con la regla de ruta, y puede transmitir la información de comandos de las operaciones 3141b y 3143b, que se incluye en la regla de ruta, a las aplicaciones 3141 y 3143. Por ejemplo, el módulo de gestión de ejecución 3153 puede transmitir secuencialmente las operaciones 3141b y 3143b incluidas en la regla de ruta a las aplicaciones 3141 y 3143 para ejecutar secuencialmente las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143.
Según una realización, el módulo de gestión de ejecución 3153 puede gestionar los estados de ejecución de las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143. Por ejemplo, el módulo de gestión de ejecución 3153 puede recibir información sobre los estados de ejecución de las operaciones 3141b y 3143b de las aplicaciones 3141 y 3143. Cuando los estados de ejecución de las operaciones 3141b y 3143b corresponden, por ejemplo, a un estado de aterrizaje parcial (en el caso de que no se introduzcan los parámetros necesarios para las operaciones 3141b y 3143b), el módulo gestor de ejecución 3153 puede transmitir información del estado de aterrizaje parcial al agente inteligente 3151. El agente inteligente 3151 puede utilizar la información recibida para solicitar a un usuario que introduzca la información necesaria (por ejemplo, información de parámetros). Cuando los estados de ejecución de las operaciones 3141b y 3143b corresponden, como otro ejemplo, a un estado de operación, se puede recibir un pronunciamiento de un usuario, y el módulo de gestión de ejecución 3153 puede transmitir información de las aplicaciones 3141 y 3143 que se están ejecutando e información de los estados de ejecución de las aplicaciones 3141 y 3143 al agente inteligente 3151. El agente inteligente 3151 puede recibir información de parámetros del pronunciamiento del usuario a través del servidor inteligente 3200, y puede transmitir la información de parámetros recibida al módulo de gestión de ejecución 3153. El módulo de gestión de ejecución 3153 puede cambiar los parámetros de las operaciones 3141b y 3143b a nuevos parámetros utilizando la información de parámetros recibida.
Según una realización, el módulo de gestión de ejecución 3153 puede transferir la información de parámetros incluida en la regla de ruta a las aplicaciones 3141 y 3143. Cuando las aplicaciones múltiples 3141 y 3143 se ejecutan secuencialmente según la regla de ruta, el módulo de gestión de ejecución 3153 puede transmitir la información de parámetros incluida en la regla de ruta de una aplicación a otra aplicación.
De acuerdo con una realización, el módulo de gestión de ejecución 3153 puede recibir múltiples reglas de ruta. El módulo de gestión de la ejecución 3153 puede seleccionar varias reglas de ruta en función del pronunciamiento del usuario. Por ejemplo, cuando el pronunciamiento del usuario especifica una aplicación 3141 para ejecutar una operación parcial 3141b pero no especifica otra aplicación 3143 para ejecutar una operación restante 3143b, el módulo de gestión de ejecución 3153 puede recibir diferentes reglas de ruta múltiple en las que una aplicación 3141 idéntica (por ejemplo, una aplicación de galería) para ejecutar la operación parcial 3141b se ejecuta y diferentes aplicaciones 3143 (por ejemplo, una aplicación de mensajes y una aplicación de Telegram) capaces de ejecutar la operación restante 3143b se ejecutan por separado. El módulo gestor de ejecución 3153 puede ejecutar, por ejemplo, operaciones idénticas 3141b y 3143b (por ejemplo, operaciones sucesivas idénticas 3141b y 3143b) de las reglas de ruta múltiple. Cuando se ejecutan las operaciones idénticas, el módulo de gestión de ejecución 3153 puede mostrar, en la pantalla 3120, una pantalla de estado que permite la selección de diferentes aplicaciones 3141 y 3143 incluidas en las respectivas reglas de ruta múltiple.
Según una realización, el módulo de servicio inteligente 3155 puede incluir un módulo de contexto 3155a, un módulo de persona 3155b o un módulo de sugerencia 3155c.
El módulo de contexto 3155a puede recopilar, de las aplicaciones 3141 y 3143, los estados actuales de las aplicaciones 3141 y 3143. Por ejemplo, el módulo de contexto 3155a puede recibir información de contexto que indique los estados actuales de las aplicaciones 3141 y 3143 para recopilar los estados actuales de las aplicaciones 3141 y 3143.
El módulo persona 3155b puede gestionar la información personal de un usuario que utiliza el terminal de usuario 3100. Por ejemplo, el módulo de persona 3155b puede recopilar resultados de rendimiento e información de uso del terminal de usuario 3100 para gestionar la información personal del usuario.
El módulo de sugerencias 3155c puede predecir una intención del usuario y puede recomendar un comando al usuario. Por ejemplo, el módulo de sugerencia 3155c puede recomendar un comando a un usuario en consideración del estado actual del usuario (por ejemplo, tiempo, lugar, situación y aplicación).
La FIG. 19 es un diagrama que ilustra la ejecución de una aplicación inteligente por el terminal de usuario según una realización.
Refiriéndonos a la FIG. 19, el terminal de usuario 3100 recibe una entrada de usuario y ejecuta una aplicación inteligente (por ejemplo, una aplicación de reconocimiento de voz) vinculada al agente inteligente 3151.
Según una realización, el terminal de usuario 3100 puede ejecutar la aplicación inteligente de reconocimiento de voz a través de una llave hardware 3112. Por ejemplo, el terminal de usuario 3100 puede mostrar, en la pantalla 3120, una interfaz de usuario (UI) 3121 de la aplicación inteligente cuando se recibe la entrada del usuario a través de la tecla de hardware 3112. Un usuario puede, por ejemplo, pulsar un botón de la clave de la clave de hardware 3112. Un usuario puede, por ejemplo, presionar un botón de reconocimiento de voz 3121a en la UI 3121 de la aplicación inteligente para introducir
311 lb una voz en un estado en el que la interfaz de usuario 3121 de la aplicación inteligente se muestra en la pantalla 3120. El usuario puede, como otro ejemplo, mantener pulsada la tecla hardware 3112 para introducir 3111b una voz.
Según una realización, el terminal de usuario 3100 puede ejecutar la aplicación inteligente de reconocimiento de voz a través de un micrófono 3114. Por ejemplo, el terminal de usuario 3100 puede mostrar la interfaz de usuario 3121 de la aplicación inteligente en la pantalla 3120 cuando se introduce una voz (por ejemplo, "¡Despierta!") 3111a a través del micrófono 3114.
La FIG. 20 es un diagrama de bloques que ilustra un servidor del sistema de inteligencia integrado, de acuerdo con una realización.
Refiriéndonos a la FIG. 20, el servidor inteligente 3200 puede incluir un módulo 3210 de reconocimiento automático del habla (ASR), un módulo 3220 de comprensión del lenguaje natural (NLU), un módulo 3230 de planificación de rutas, un módulo 3240 de gestión de diálogo (DM), un módulo 3250 de generación de lenguaje natural (NLG) o un módulo 3260 de conversión de texto a habla (TTS).
El módulo de comprensión del lenguaje natural 3220 o el módulo de planificación de rutas 3230 del servidor inteligente 3200 pueden generar una regla de ruta.
Según una realización, el módulo de reconocimiento automático del habla (ASR) 3210 puede convertir una entrada de usuario recibida del terminal de usuario 3100 en datos de texto.
Según una realización, el módulo de reconocimiento automático del habla 3210 puede convertir la entrada de usuario recibida del terminal de usuario 3100 en datos de texto. Por ejemplo, el módulo de reconocimiento automático del habla 3210 puede incluir un módulo de reconocimiento de pronunciaciones. El módulo de reconocimiento del habla puede incluir un modelo acústico y un modelo de lenguaje. Por ejemplo, el modelo acústico puede incluir información relacionada con la vocalización, y el modelo lingüístico puede incluir información sobre fonemas unitarios e información sobre combinaciones de fonemas unitarios. El módulo de reconocimiento del habla puede convertir un pronunciamiento del usuario en datos de texto utilizando información sobre la vocalización e información fonémica de la unidad. La información sobre el modelo acústico y el modelo de lenguaje puede almacenarse, por ejemplo, en una base de datos de reconocimiento automático del habla (ASR DB) 3211.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede realizar un análisis sintáctico o un análisis semántico para identificar la intención del usuario. El análisis sintáctico puede dividir la entrada del usuario en unidades sintácticas (por ejemplo, palabras, expresiones, morfemas, etc.) y puede determinar qué elementos sintácticos tienen las unidades divididas. El análisis semántico puede realizarse mediante concordancia semántica, concordancia de reglas, concordancia de fórmulas o similares. En consecuencia, el módulo de comprensión del lenguaje natural 3220 puede obtener un dominio, una intención o un parámetro (o ranura) necesario para la entrada del usuario con el fin de expresar la intención.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede determinar la intención del usuario y los parámetros utilizando reglas de correspondencia que se dividen en un dominio, una intención y un parámetro (o una ranura) necesario para identificar la intención. Por ejemplo, un dominio (p. ej., alarma) puede incluir múltiples intenciones (p. ej., configuración de alarma, cancelación de alarma, etc.), y una intención puede incluir múltiples parámetros (p. ej., tiempo, número de repeticiones, sonido de alarma, etc.). Las reglas múltiples pueden incluir, por ejemplo, uno o más parámetros de elementos obligatorios. Las reglas de correspondencia pueden almacenarse en una base de datos de comprensión del lenguaje natural (NLU DB) 3221.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede identificar el significado de una palabra extraída de una entrada del usuario utilizando características lingüísticas (por ejemplo, elementos gramaticales), como morfemas, expresiones, etc., y la intención del usuario puede determinarse haciendo coincidir el significado identificado de la palabra con un dominio y una intención. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede determinar la intención del usuario obteniendo cuántas palabras extraídas de la entrada del usuario se incluyen en cada dominio e intención. Según una realización, el módulo de comprensión del lenguaje natural 3220 puede determinar un parámetro de la entrada del usuario utilizando una palabra que es la base para comprender la intención. Según una realización, el módulo de comprensión del lenguaje natural 3220 puede determinar la intención del usuario utilizando la base de datos de reconocimiento del lenguaje natural 3221 en la que se almacena una característica lingüística para identificar la intención de la entrada del usuario. Según otra realización, el módulo de comprensión del lenguaje natural 3220 puede determinar la intención del usuario utilizando un Modelo de Lenguaje Personalizado (PLM). Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede determinar la entrada del usuario utilizando información personalizada (por ejemplo, una lista de contactos y una lista de música). El modelo de lenguaje personalizado puede almacenarse, por ejemplo, en la base de datos de reconocimiento de lenguaje natural 3221. Según una realización, no sólo el módulo de comprensión del lenguaje natural 3220 sino también el módulo de reconocimiento automático del habla 3210 pueden reconocer la voz de un usuario haciendo referencia al modelo de lenguaje personalizado almacenado en la base de datos de reconocimiento del lenguaje natural 3221.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede generar una regla de ruta basándose en un parámetro y en la intención de la entrada del usuario. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede seleccionar una aplicación que se ejecutará basándose en la intención de una entrada del usuario, y puede determinar una operación que se realizará en la aplicación seleccionada. El módulo de comprensión del lenguaje natural 3220 puede generar una regla de ruta determinando un parámetro correspondiente a la operación determinada. Según una realización, la regla de ruta generada por el módulo de comprensión del lenguaje natural 3220 puede incluir una aplicación a ejecutar, una operación a ejecutar por la aplicación e información de un parámetro necesario para ejecutar la operación.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede generar una regla de ruta o múltiples reglas de ruta basándose en la intención del usuario y en un parámetro. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede recibir un conjunto de reglas de ruta correspondiente al terminal de usuario 3100 del módulo de planificación de rutas 3230 y puede asignar el parámetro y la intención de la entrada del usuario al conjunto de reglas de ruta recibido para determinar una regla de ruta.
Según otra realización, el módulo de comprensión del lenguaje natural 3220 puede determinar una aplicación que se ejecutará, una operación que se realizará en la aplicación y un parámetro necesario para realizar la operación sobre la base de un parámetro y la intención de la entrada del usuario para generar una regla de ruta o múltiples reglas de ruta. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede utilizar información del terminal de usuario 3100 para organizar la aplicación que se va a ejecutar y la operación que se va a ejecutar en la aplicación en forma de una ontología o un modelo de grafos de acuerdo con la intención de la entrada del usuario para generar una regla de ruta. La regla de ruta generada puede almacenarse en una base de datos de reglas de ruta (PR DB) 3231 a través, por ejemplo, del módulo planificador de rutas 3230. La regla de ruta generada puede añadirse a un conjunto de reglas de ruta de una base de datos 3231.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede seleccionar al menos una regla de ruta entre las múltiples reglas de ruta generadas. Según una realización, el módulo de comprensión del lenguaje natural 3220 puede seleccionar una regla de ruta óptima de las múltiples reglas de ruta. Como otro ejemplo, el módulo de comprensión del lenguaje natural 3220 puede seleccionar múltiples reglas de ruta cuando sólo se especifican algunas operaciones basadas en un pronunciamiento del usuario. El módulo de comprensión del lenguaje natural 3220 puede determinar una regla de ruta entre las múltiples reglas de ruta basándose en las entradas adicionales de un usuario.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede transmitir una regla de ruta al terminal de usuario 3100 en respuesta a una entrada del usuario. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede transmitir una regla de ruta correspondiente a la entrada del usuario al terminal de usuario 3100. Como otro ejemplo, el módulo de comprensión del lenguaje natural 3220 puede transmitir múltiples reglas de ruta correspondientes a la entrada del usuario al terminal de usuario 3100. Las múltiples reglas de ruta pueden ser generadas por el módulo de comprensión del lenguaje natural 3220, por ejemplo, cuando sólo se especifican algunas operaciones basadas en un pronunciamiento del usuario.
Según una realización, el módulo de planificación de rutas 3230 puede seleccionar al menos una regla de ruta entre múltiples reglas de ruta.
Según una realización, el módulo de planificación de rutas 3230 puede transferir un conjunto de reglas de ruta que incluya múltiples reglas de ruta al módulo de comprensión del lenguaje natural 3220. Las múltiples reglas de ruta del conjunto de reglas de ruta pueden almacenarse en forma de tabla en la base de datos de reglas de ruta 3231 conectada al módulo planificador de rutas 3230. Por ejemplo, el módulo de planificación de rutas 3230 puede transferir un conjunto de reglas de ruta correspondiente a la información (por ejemplo, información del sistema operativo e información de la aplicación) del terminal de usuario 3100, que es
recibido del agente inteligente 3151, al módulo de comprensión del lenguaje natural 3220. Una tabla almacenada en la base de datos de reglas de ruta 3231 puede almacenarse, por ejemplo, para cada dominio o versión de dominio. La planificación de reglas de ruta también puede denominarse planificación de secuencias de acciones, dependiendo de la aplicación.
Según una realización, el módulo 3230 de planificación de rutas puede seleccionar una o varias reglas de ruta de un conjunto de reglas de ruta y puede transferir la regla o reglas de ruta seleccionadas al módulo 3220 de comprensión del lenguaje natural. Por ejemplo, el módulo de planificación de rutas 3230 puede seleccionar una o varias reglas de ruta haciendo coincidir un parámetro y la intención del usuario con el conjunto de reglas de ruta correspondiente al terminal de usuario 3100, y puede transferir la ruta o rutas de regla seleccionadas al módulo de comprensión del lenguaje natural 3220.
De acuerdo con una realización, el módulo de planificación de rutas 3230 puede generar una regla de ruta o múltiples reglas de ruta sobre la base de la intención del usuario y un parámetro. Por ejemplo, el módulo de planificación de rutas 3230 puede generar una regla de ruta o múltiples reglas de ruta determinando una aplicación que se ejecutará y una operación que se ejecutará en la aplicación sobre la base de la intención del usuario y el parámetro. Según una realización, el módulo planificador de rutas 3230 puede almacenar la regla de ruta generada en la base de datos de reglas de ruta 3231.
Según una realización, el módulo de planificación de rutas 3230 puede almacenar una regla de ruta generada en el módulo de comprensión del lenguaje natural 3220 en la base de datos de reglas de ruta 3231. La regla de ruta generada puede añadirse al conjunto de reglas de ruta almacenado en la base de datos de reglas de ruta 3231. Según una realización, la tabla almacenada en la base de datos de reglas de ruta 3231 puede incluir múltiples reglas de ruta o múltiples conjuntos de reglas de ruta. Las múltiples reglas de ruta o los múltiples conjuntos de reglas de ruta pueden reflejar la clase, versión, tipo o característica del dispositivo que ejecuta cada regla de ruta.
Según una realización, el módulo de gestión de diálogo 3240 puede determinar si la intención del usuario identificada por el módulo de comprensión del lenguaje natural 3220 es clara. Por ejemplo, el módulo de gestión de diálogos 3240 puede determinar si la intención del usuario es clara basándose en si la información de los parámetros es suficiente. El módulo de gestión de diálogo 3240 puede determinar si un parámetro identificado en el módulo de comprensión del lenguaje natural 3220 es suficiente para realizar una tarea. De acuerdo con una realización, el módulo de gestión de diálogo 3240 puede realizar una retroalimentación para solicitar información necesaria para un usuario cuando la intención del usuario no es clara. De acuerdo con una realización, el módulo de gestión de diálogo 3240 puede realizar una retroalimentación para solicitar información de parámetros para la identificación de la intención del usuario.
De acuerdo con una realización, el módulo de gestión de diálogo 3240 puede incluir un módulo proveedor de contenidos. Cuando el módulo proveedor de contenidos es capaz de realizar una operación sobre la base de un parámetro y una intención identificada por el
módulo de comprensión del lenguaje natural 3220, el módulo proveedor de contenidos puede generar un resultado de la realización de una tarea correspondiente a una entrada del usuario. Según una realización, el módulo gestor de diálogos 3240 puede transmitir el resultado generado por el módulo proveedor de contenidos al terminal de usuario 3100 en respuesta a la entrada del usuario.
De acuerdo con una realización, el módulo de generación de lenguaje natural (NLG) 3250 puede cambiar la información especificada en forma de texto. La información convertida en texto puede adoptar la forma de un pronunciamiento en lenguaje natural. La información especificada puede ser, por ejemplo, información de una entrada adicional, información que indique la finalización de una operación correspondiente a una entrada de usuario, o información (por ejemplo, información de respuesta para una entrada de usuario) que indique una entrada adicional por parte de un usuario. La información cambiada a forma de texto puede transmitirse al terminal de usuario 3100 y mostrarse en la pantalla 3120, o puede transmitirse al módulo de texto a habla 3260 y cambiarse a forma de voz.
De acuerdo con una realización, el módulo de texto a habla 3260 puede cambiar la información en forma de texto a información en forma de voz. El módulo de texto a habla 3260 puede recibir información en forma de texto del módulo de generación de lenguaje natural 3250, y puede cambiar la información en forma de texto a información en forma de voz para transmitir la información en forma de voz al terminal de usuario 3100. El terminal de usuario 3100 puede enviar la información de voz al altavoz 3130.
Según una realización, el módulo de comprensión del lenguaje natural 3220, el módulo de planificación de rutas 3230 y el módulo de gestión de diálogos 3240 pueden implementarse como un único módulo. Por ejemplo, el módulo de comprensión del lenguaje natural 3220, el módulo de planificación de rutas 3230 y el módulo de gestión de diálogos 3240 pueden implementarse como un único módulo para determinar un parámetro y la intención del usuario, y pueden generar una respuesta (por ejemplo, una regla de ruta) correspondiente al parámetro determinado y a la intención del usuario. En consecuencia, la respuesta generada puede transmitirse al terminal de usuario 3100. La FIG. 21 es un diagrama que ilustra un procedimiento de generación de una regla de ruta por un módulo planificador de rutas según una realización.
Refiriéndonos a la FIG. 21, según una realización, el módulo de comprensión del lenguaje natural 3220 puede dividir las funciones de una aplicación en operaciones unitarias A a F y almacenarlas en la base de datos de reglas de ruta 3231. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede almacenar, en la base de datos de reglas de ruta 3231, un conjunto de reglas de ruta que incluya las múltiples reglas de ruta divididas en operaciones unitarias A-B1-C1, A-B1-C2, A- B1-C3-D-F, y A-B1-C3-D-E-F.
Según una realización, la base de datos de reglas de ruta 3231 del módulo planificador de rutas 3230 puede almacenar un conjunto de reglas de ruta para la ejecución de una función de una aplicación. El conjunto de reglas de ruta puede incluir múltiples reglas de ruta que incluyan múltiples operaciones. En las reglas de rutas múltiples, las operaciones ejecutadas según los parámetros que se introducen en las respectivas operaciones múltiples pueden disponerse secuencialmente. Según una realización, las múltiples reglas de ruta pueden configurarse en forma de ontología o modelo gráfico y almacenarse en la base de datos de reglas de ruta 3231.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede seleccionar una regla de ruta óptima A-B1-C3-D-F de entre las múltiples reglas de ruta A- Bl-Cl, A-B1-C2, A-B1-C3-D-F, y A-B1-C3-D-E-F correspondientes a un parámetro y una intención de entrada del usuario.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede transferir múltiples reglas al terminal de usuario 3100 cuando no hay ninguna regla de ruta que coincida perfectamente con la entrada del usuario. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede seleccionar una regla de ruta (por ejemplo, A-Bl) que corresponda parcialmente a la entrada del usuario. El módulo de comprensión de lenguaje natural 3220 puede seleccionar una o más reglas de ruta (por ejemplo, A-B 1-Cl, A-B1-C2, A-B1-C3-D-F, y A-B1-C3-D-E-F) incluyendo la regla de ruta (por ejemplo, A-Bl) parcialmente correspondiente a la entrada del usuario para transferir las reglas de ruta seleccionadas al terminal de usuario 3100.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede seleccionar una de las múltiples reglas de ruta basándose en una entrada adicional del terminal de usuario 3100 y puede transferir la regla de ruta seleccionada al terminal de usuario 3100. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede seleccionar una regla de ruta (por ejemplo, A-B1-C3-D-F) de entre múltiples reglas de ruta (por ejemplo, A-B1-C1, A-B1-C2, A- B1-C3-D-F, y A-B1-C3-D-E-F) de acuerdo con una entrada adicional del usuario (por ejemplo, una entrada para seleccionar C3) realizada a través del terminal de usuario 3100 y puede transmitir la regla de ruta seleccionada al terminal de usuario 3100.
Según otra realización, el módulo de comprensión de lenguaje natural 3220 puede determinar un parámetro o intención de usuario correspondiente a la entrada de usuario (por ejemplo, una entrada para seleccionar C3) introducida adicionalmente en el terminal de usuario 3100 a través del módulo de comprensión de lenguaje natural 3220 y puede transmitir la intención de usuario y el parámetro determinados al terminal de usuario 3100. El terminal de usuario 3100 puede seleccionar una regla de ruta (por ejemplo, A- B1-C3-D-F) de entre múltiples reglas de ruta (por ejemplo, A-B1-C1, A-B1-C2, A-B1-C3-D-F, y A-B1-C3-D-E-F) sobre la base de la intención o parámetro transmitido.
En consecuencia, el terminal de usuario 3100 puede completar la operación de las aplicaciones 3141 y 3143 mediante la regla de ruta seleccionada.
Según una realización, cuando el servidor inteligente 3200 recibe una entrada de usuario con información insuficiente, el módulo de comprensión del lenguaje natural 3220 puede generar una regla de ruta que se corresponda parcialmente con la entrada de usuario recibida. Por ejemplo, el módulo de comprensión del lenguaje natural 3220 puede transmitir (1) la regla de ruta parcialmente correspondiente al agente inteligente 3151. El agente inteligente 3151 puede transmitir (2) la regla de ruta parcialmente correspondiente al módulo de gestión de ejecución 3153, y el módulo de gestión de ejecución 3153 puede ejecutar una primera aplicación 3141 de acuerdo con la regla de ruta. El módulo gestor de ejecución 3153 puede transmitir (3) información de un parámetro insuficiente al agente inteligente 3151 mientras se ejecuta la primera aplicación 3141. El agente inteligente 3151 puede solicitar información adicional de un usuario utilizando la información del parámetro insuficiente. Cuando se recibe una entrada adicional del usuario (4), el agente inteligente 3151 puede transmitir y procesar la entrada adicional al servidor inteligente 3200. El módulo de comprensión del lenguaje natural 3220 puede generar una regla de ruta añadida basándose en la información de los parámetros y la intención de la entrada adicional del usuario y puede transmitir (5) la regla de ruta añadida generada al agente inteligente 3151. El agente inteligente 3151 puede ejecutar una segunda aplicación 3143 transmitiendo (6) la regla de ruta al módulo gestor de ejecución 3153.
Según una realización, el módulo de comprensión del lenguaje natural 3220 puede transmitir una solicitud de información del usuario al servidor de información de personalización 3300 cuando el servidor inteligente 3200 recibe una entrada de usuario con alguna información omitida. El servidor de información de personalización 3300 puede transmitir, al módulo de comprensión de lenguaje natural 3220, información de usuario obtenida mediante la introducción de la entrada de usuario almacenada en la base de datos de personas. El módulo de comprensión del lenguaje natural 3220 puede utilizar la información del usuario para seleccionar una regla de ruta correspondiente a una entrada del usuario con algunas operaciones omitidas. En consecuencia, incluso si el servidor inteligente 3200 recibe la entrada del usuario con alguna información omitida, el módulo de comprensión del lenguaje natural 3220 puede determinar una regla de ruta correspondiente a la entrada del usuario solicitando la información omitida para recibir información adicional o utilizando información del usuario.
La FIG. 22 es un diagrama que ilustra la recogida de un estado actual por un módulo de contexto de un procesador según una realización.
Refiriéndonos a la FIG. 22, cuando se recibe una solicitud de contexto (1) del agente inteligente 3151, el módulo de contexto 3155a puede solicitar (2), de las aplicaciones 3141 y 3143, información de contexto que indique los estados actuales de las aplicaciones 3141 y 3143. Según una realización, el módulo de contexto 3155a puede recibir (3) la información de contexto de las aplicaciones 3141 y 3143 y puede transmitir (4) la información de contexto recibida al agente inteligente 3151.
De acuerdo con una realización, el módulo de contexto 3155a puede recibir múltiples piezas de información de contexto a través de las aplicaciones 3141 y 3143. Por ejemplo, la información de contexto puede ser información de las últimas aplicaciones ejecutadas 3141 y 3143. Como otro ejemplo, la información de contexto puede ser información (por ejemplo, cuando se ve una imagen en una galería, información de la imagen) de los estados actuales dentro de las aplicaciones 3141 y 3143.
Según una realización, el módulo de contexto 3155a puede recibir información de contexto que indica el estado actual del terminal de usuario 3100 desde una plataforma de dispositivos, así como las aplicaciones 3141 y 3143. La información de contexto puede incluir información de contexto general, información de contexto del usuario o información de contexto del dispositivo.
La información de contexto general puede incluir información general del terminal de usuario 3100. La información de contexto general puede determinarse mediante un algoritmo interno recibiendo datos a través de un concentrador de sensores, etc. de la plataforma del dispositivo. Por ejemplo, la información de contexto general puede incluir información de un tiempo/espacio actual. La información del tiempo/espacio actual puede incluir, por ejemplo, información de la hora actual o de la ubicación actual del terminal de usuario 3100. La hora actual puede determinarse basándose en la hora del terminal de usuario 3100, y la información sobre la ubicación actual puede determinarse utilizando un sistema de posicionamiento global (GPS). Por ejemplo, la información de contexto general puede incluir información sobre el movimiento físico. La información sobre el movimiento físico puede incluir, por ejemplo, información sobre caminar, correr, conducir y similares. La información sobre el movimiento físico puede determinarse mediante un sensor de movimiento. Para la información de conducción, la conducción puede determinarse a través del sensor de movimiento, y el embarque y el estacionamiento pueden determinarse a través de una conexión Bluetooth con un vehículo. Como otro ejemplo, la información de contexto general puede incluir información sobre la actividad del usuario. La información sobre la actividad del usuario puede incluir, por ejemplo, información sobre desplazamientos, compras, viajes y similares. La información sobre la actividad del usuario puede determinarse utilizando información de un lugar registrado en una base de datos por un usuario o una aplicación. La información de contexto del usuario puede incluir información de un usuario. Por ejemplo, la información de contexto del usuario puede incluir información sobre el estado emocional del usuario. La información sobre el estado emocional del usuario puede incluir, por ejemplo, información sobre la felicidad, la tristeza, la ira y similares del usuario. Como otro ejemplo, la información de contexto del usuario puede incluir información sobre el estado actual del usuario. La información sobre el estado actual del usuario puede incluir, por ejemplo, información sobre intereses, intenciones y similares (por ejemplo, compras).
La información de contexto general puede incluir información sobre el estado del terminal de usuario 3100. Por ejemplo, la información de contexto de dispositivo puede incluir información sobre una regla de ruta ejecutada por el módulo de gestión de ejecución 3153. Como otro ejemplo, la información del dispositivo puede incluir información sobre la batería. La información sobre la batería puede determinarse, por ejemplo, mediante el estado de carga o descarga de una batería. Como otro ejemplo, la información del dispositivo puede incluir información del dispositivo conectado e información de la red. La información sobre el dispositivo conectado puede determinarse, por ejemplo, a través de una interfaz de comunicación conectada al dispositivo.
La FIG. 23 es un diagrama que ilustra la gestión de la información del usuario por un módulo persona según una realización.
Refiriéndonos a la FIG. 23, el módulo persona 3155b puede recibir información sobre el terminal de usuario 3100 de las aplicaciones 3141 y 3143, del módulo gestor de ejecución 3153 o del módulo de contexto 3155a. Las aplicaciones 3141 y 3143 y el módulo de gestión de ejecución 3153 pueden almacenar, en una base de datos de registro de operaciones, información sobre los resultados obtenidos al ejecutar las operaciones 3141b y 3143b de las aplicaciones. El módulo de contexto 3155a puede almacenar información sobre el estado actual del terminal de usuario 3100 en una base de datos de contexto. El módulo persona 3155b puede recibir la información almacenada de la base de datos de registro de operaciones o de la base de datos de contexto. Los datos almacenados en la base de datos de registro de operaciones y en la base de datos de contexto pueden ser analizados, por ejemplo, por un motor de análisis y pueden ser transmitidos al módulo de persona 3155b.
Según una realización, el módulo de persona 3155b puede transmitir, al módulo de sugerencia 3155c, información recibida de las aplicaciones 3141 y 3143, el módulo de gestión de ejecución 3153, o el módulo de contexto 3155a. Por ejemplo, el módulo de persona 3155b puede transmitir datos almacenados en la base de datos de registro de operaciones o en la base de datos de contexto al módulo de sugerencia 3155c.
Según una realización, el módulo de persona 3155b puede transmitir, al servidor de información de personalización 3300, información recibida de las aplicaciones 3141 y 3143, el módulo de gestión de ejecución 3153 o el módulo de contexto 3155a. Por ejemplo, el módulo persona 3155b puede transmitir periódicamente, al servidor de información de personalización 3300, datos acumulados y almacenados en la base de datos de registro de operaciones o en la base de datos de contexto.
Según una realización, el módulo de persona 3155b puede transmitir datos almacenados en la base de datos de registro de operaciones o en la base de datos de contexto al módulo de sugerencia 3155c. La información de usuario generada por el módulo persona 3155b puede almacenarse en la base de datos persona. El módulo persona 3155b puede transmitir periódicamente la información de usuario almacenada en la base de datos persona al servidor de información de personalización 3300. Según una realización, la información transmitida por el módulo de persona 3155b al servidor de información de personalización 3300 puede almacenarse en la base de datos de personas. El servidor de información de personalización 3300 puede inferir la información de usuario necesaria para la generación de una regla de ruta del servidor inteligente 3200 utilizando la información almacenada en la base de datos de personas.
Según una realización, la información de usuario inferida utilizando la información transmitida por el módulo de persona 3155b puede incluir información de perfil o información de preferencias. La información sobre el perfil o las preferencias puede deducirse de la cuenta del usuario y de la información acumulada.
La información del perfil puede incluir información personal del usuario. Por ejemplo, la información del perfil puede incluir información demográfica del usuario. La información demográfica puede incluir, por ejemplo, el sexo, la edad, etc. del usuario. Por ejemplo, la información del perfil puede incluir información sobre acontecimientos vitales. La información sobre el acontecimiento vital puede inferirse, por ejemplo, comparando la información de registro con un modelo de acontecimiento vital y puede reforzarse analizando un patrón de comportamiento. Como otro ejemplo, la información del perfil puede incluir información sobre intereses. La información de interés puede incluir, por ejemplo, un artículo de compra de interés, un campo de interés (por ejemplo, deportes, política, etc.), y similares. Como otro ejemplo, la información del perfil puede incluir información del área de actividad. La información del área de actividad puede incluir, por ejemplo, información sobre un hogar, un lugar de trabajo y similares. La información sobre el área de actividad puede incluir no sólo información sobre la ubicación de un lugar, sino también información sobre una región cuya prioridad se registra en función del tiempo de estancia acumulado y del número de visitas. Como otro ejemplo, la información del perfil puede incluir información sobre el tiempo de actividad. La información sobre el tiempo de actividad puede incluir, por ejemplo, información sobre la hora de levantarse, el tiempo de desplazamiento, la hora de dormir, etc. La información sobre el tiempo de desplazamiento puede deducirse utilizando la información del área de actividad (por ejemplo, información sobre el domicilio y el lugar de trabajo). La información del tiempo de sueño puede deducirse basándose en el tiempo durante el cual no se utiliza el terminal de usuario 3100.
La información sobre preferencias puede incluir información sobre preferencias del usuario. Por ejemplo, la información del perfil puede incluir información sobre las preferencias de una aplicación. La preferencia de la aplicación puede deducirse, por ejemplo, de un historial de uso de la aplicación (por ejemplo, registros de uso específicos de tiempo y lugar). La preferencia de aplicación puede utilizarse para determinar una aplicación que se ejecutará según el estado actual (por ejemplo, hora y lugar) del usuario. Como otro ejemplo, la información de preferencia puede incluir información de preferencia de contacto. Una preferencia de contacto puede inferirse, por ejemplo, analizando una frecuencia de contacto para la información de contacto (por ejemplo, una frecuencia de contacto específica de tiempo y una frecuencia de contacto específica de lugar). La preferencia de contacto puede utilizarse para determinar la información de contacto para el contacto según el estado actual del usuario (por ejemplo, contacto para nombres duplicados). Como otro ejemplo, la información de preferencia puede incluir información de configuración. La información de configuración puede inferirse, por ejemplo, analizando la información de frecuencia de configuración (por ejemplo, una frecuencia de realización de la configuración a un valor de ajuste específico de un momento y un lugar) de un valor de ajuste específico. La información de ajuste puede utilizarse para configurar un valor de ajuste específico de acuerdo con el estado actual (por ejemplo, tiempo, lugar o situación) de un usuario. Como otro ejemplo, la información de preferencia puede incluir una preferencia de lugar. La preferencia de lugar puede inferirse, por ejemplo, de un registro de visita (por ejemplo, un registro de visita específico en el tiempo) de un lugar concreto. La preferencia de lugar puede utilizarse para determinar un lugar a visitar en función del estado actual (por ejemplo, la hora) del usuario. Como otro ejemplo, la información de preferencia puede incluir una preferencia de comando. La preferencia de comandos puede deducirse, por ejemplo, de la frecuencia de uso de comandos (por ejemplo, una frecuencia de uso específica de un momento y un lugar). La preferencia de comandos puede utilizarse para determinar un patrón de instrucciones a utilizar según el estado actual (por ejemplo, hora y lugar) del usuario. En particular, la preferencia de comandos puede incluir información de un menú seleccionado con mayor frecuencia por el usuario en el estado actual de la aplicación que se está ejecutando, obteniéndose la información mediante el análisis de la información de registro.
La FIG. 24 es un diagrama de bloques que ilustra un módulo de sugerencias, de acuerdo con una realización de la divulgación.
Refiriéndonos a la FIG. 24, el módulo de sugerencias 3155c puede incluir un módulo de provisión de pistas 3155c_l, un módulo de generación de pistas de contexto 3155c_2, un módulo de comprobación de condiciones 3155c_3, un módulo de modelo de condiciones 3155c_4, un módulo de generación de pistas de reutilización 3155c_5, o un módulo de generación de pistas de introducción 3155c_6.
Según una realización, el módulo de provisión de pistas 3155c_l puede proporcionar una pista a un usuario. Por ejemplo, el módulo generador de pistas 3155c_l puede recibir una pista generada por el módulo generador de pistas de contexto 3155c_2, el módulo generador de pistas de reutilización 3155c_5 o el módulo generador de pistas de introducción 3155c_6 para proporcionar la pista generada al usuario.
Según una realización, el módulo de generación de pistas de contexto 3155c_2 puede generar una pista que puede recomendarse según el estado actual a través del módulo de comprobación de condiciones 3155c_3 o el módulo de modelo de condiciones 3155c_4. El módulo de comprobación de estado 3155c_3 puede recibir información correspondiente al estado actual a través del módulo de servicio inteligente 3155, y el módulo de modelo de estado 3155c_4 puede configurar un modelo de estado utilizando la información recibida. Por ejemplo, el módulo de modelo de condiciones 3155c_4 puede identificar una hora, una ubicación, una situación y una aplicación en uso en el momento de proporcionar una pista al usuario, y puede proporcionar al usuario una pista que probablemente se utilice en las condiciones correspondientes en orden descendente de prioridad.
Según una realización, el módulo de generación de pistas de reutilización 3155c_5 puede generar una pista que puede recomendarse en consideración de una frecuencia de uso según el estado actual. Por ejemplo, el módulo de generación de pistas de reutilización 3155c_5 puede generar una pista teniendo en cuenta un patrón de uso del usuario.
De acuerdo con una realización, el módulo de generación de pistas de introducción 3155c_6 puede generar una pista que introduce, al usuario, una nueva característica o una característica frecuentemente utilizada por otro usuario. Por ejemplo, una pista para introducir la nueva función puede incluir una introducción (por ejemplo, un procedimiento de operación) al agente inteligente 3151.
Según otra realización, el módulo de generación de pistas de contexto 3155c_2, el módulo de comprobación de condiciones 3155c_3, el módulo de modelo de condiciones 3155c_4, el módulo de generación de pistas de reutilización 3155c_5, o el módulo de generación de pistas de introducción 3155c_6 del módulo de sugerencias 3155c pueden incluirse en el servidor de información de personalización 3300. Por ejemplo, el módulo generador de pistas 3155c_l del módulo de sugerencias 3155c puede recibir una pista del módulo generador de pistas de contexto 3155c_2, del módulo generador de pistas de reutilización 3155c_5 o del módulo generador de pistas de introducción 3155c_6 del servidor de información de personalización del usuario 3300 para proporcionar la sugerencia recibida al usuario.
Según una realización, el terminal de usuario 3100 puede proporcionar la sugerencia de acuerdo con la siguiente secuencia de procesos. Por ejemplo, cuando el módulo de generación de pistas 3155c_l recibe (1) una solicitud de generación de pistas del agente inteligente 3151, el módulo de generación de pistas 3155c_l puede transmitir (2) la solicitud de generación de pistas al módulo de generación de pistas contextuales 3155c_2. Al recibir la solicitud de generación de pista, el módulo de generación de pista de contexto 3155c_2 puede recibir (4) información correspondiente al estado actual del módulo de contexto 3155a y del módulo de personas 3155b utilizando (3) el módulo de comprobación de condiciones 3155c_3. El módulo de comprobación de condiciones 3155c_3 puede transmitir (5) la información recibida al módulo de modelo de condiciones 3155c_4, y el módulo de modelo de condiciones 3155c_4 puede asignar, utilizando la información, una prioridad a una sugerencia en un orden descendente de disponibilidad para la condición entre las sugerencias proporcionadas al usuario. El módulo de generación de pistas de contexto 3155c_2 puede confirmar (6) la condición y puede generar una pista correspondiente al estado actual. El módulo generador de pistas de contexto 3155c_2 puede transmitir (7) la pista generada al módulo proveedor de pistas 3155c_l. El módulo de suministro de pistas 3155c_l puede organizar las pistas de acuerdo con una regla especificada y puede transmitir (8) las pistas al agente inteligente 3151.
De acuerdo con una realización, el módulo de provisión de pistas 3155c_l puede generar múltiples pistas de contexto y puede asignar prioridades a las múltiples pistas de contexto de acuerdo con la regla especificada. De acuerdo con una realización, el módulo de provisión de pistas 3155c_l puede proporcionar primero al usuario una pista que tenga una prioridad más alta entre las múltiples pistas de contexto.
Según una realización, el terminal de usuario 3100 puede sugerir una pista de acuerdo con una frecuencia de uso. Por ejemplo, cuando el módulo de provisión de pistas 3155c_l recibe (1) una solicitud de provisión de pistas del agente inteligente 3151, el módulo de provisión de pistas 3155c_l puede transmitir (2) la solicitud de generación de pistas al módulo de generación de pistas de reutilización 3155c_5. Al recibir la solicitud de generación de pistas, el módulo de generación de 'pistas de reutilización 3155c_5 puede recibir (3) información de usuario del módulo de persona 3155b. Por ejemplo, el módulo de generación de pistas de reutilización 3155c_5 puede recibir una regla de ruta incluida en la información de preferencias del usuario del módulo de persona 3155b, un parámetro incluido en la regla de ruta, una frecuencia de ejecución de la aplicación e información de espacio-tiempo utilizada por la aplicación. El módulo de generación de pistas de reutilización 3155c_5 puede generar una pista correspondiente a la información de usuario recibida. El módulo de generación de pistas de texto de reutilización 3155c_5 puede transmitir (4) la pista generada al módulo de provisión de pistas 3155c_l. El módulo de provisión de pistas 3155c_l puede organizar la pista y puede transmitir (®) la pista al agente inteligente 3151.
Según una realización, el terminal de usuario 3100 puede proponer una pista para una nueva función. Por ejemplo, cuando el módulo de provisión de pistas 3155c_l recibe (1) una solicitud de provisión de pistas del agente inteligente 3151, el módulo de provisión de pistas 3155c_l puede transmitir (2) la solicitud de generación de pistas al módulo de generación de pistas de introducción 3155c_6. El módulo de generación de pistas de introducción 3155c_6 puede transmitir (3) una solicitud de provisión de pistas de introducción desde el servidor de sugerencias 3400 para recibir (4) información sobre una función a introducir desde el servidor de sugerencias 3400. Por ejemplo, el servidor de sugerencias 3400 puede almacenar información de la función a introducir, y un asistente de servicios puede actualizar una lista de sugerencias para la función a introducir. El módulo de generación de pistas de introducción 3155c_6 puede transmitir (5) la pista generada al módulo de provisión de pistas 3155c_l. El módulo de provisión de pistas 3155c_l puede organizar la pista y puede transmitir (6) la pista al agente inteligente 3151.
En consecuencia, el módulo de sugerencia 3155c puede proporcionar al usuario la pista generada por el módulo de generación de pistas de contexto 3155c_2, el módulo de generación de pistas de reutilización 3155c_5, o el módulo de generación de pistas de introducción 3155c_6. Por ejemplo, el módulo de sugerencia 3155c puede mostrar la pista generada en una aplicación que opera el agente inteligente 3151 y puede recibir información para seleccionar la pista del usuario a través de la aplicación.
Un procedimiento de operación de un dispositivo electrónico según varias realizaciones puede incluir: recibir una primera entrada de usuario que incluye una solicitud para realizar una tarea utilizando el dispositivo electrónico; transmitir datos asociados con la primera entrada de usuario a un servidor externo; recibir, desde el servidor externo, una respuesta que incluye información de múltiples estados del dispositivo electrónico, que tienen una secuencia y están configurados para realizar la tarea; después de recibir la respuesta, realizar la tarea configurando para tener los múltiples estados que tienen la secuencia; recibir una segunda entrada de usuario que incluye una solicitud para cancelar al menos parte de la tarea realizada; y al menos sobre la base de la segunda entrada de usuario, volver a un estado entre los múltiples estados que tienen la secuencia.
El procedimiento de operación del dispositivo electrónico según diversas realizaciones puede incluir además: transmitir datos para la segunda entrada del usuario; y recibir otra respuesta del servidor externo. La otra respuesta puede permitir que el dispositivo electrónico vuelva al estado entre los múltiples estados que tienen la secuencia. La realización de la tarea configurando para que los múltiples estados tengan la secuencia según varias realizaciones puede incluir mostrar al menos una de una imagen o una pantalla asociada a los estados múltiples que tienen la secuencia.
El procedimiento de operación del dispositivo electrónico según diversas realizaciones puede incluir además, cuando la segunda entrada del usuario incluye una solicitud para cancelar todas las tareas realizadas, volver al estado anterior al dispositivo electrónico que tenía los estados que tienen la secuencia sobre la base de la segunda entrada del usuario.
Un procedimiento de operación de un dispositivo electrónico según varias realizaciones puede incluir: recibir una primera entrada de usuario que incluye una solicitud para realizar una primera tarea; transmitir primeros datos asociados con la primera entrada de usuario a un servidor externo; recibir, desde el servidor externo, una primera respuesta que incluye primera información de primeros estados múltiples del dispositivo electrónico, que tienen una secuencia y están configurados para realizar la tarea; después de recibir la primera respuesta, realizar la primera tarea configurando para tener los primeros estados múltiples que tienen la secuencia; recibir una segunda entrada de usuario que incluye una segunda solicitud para realizar una segunda tarea; y transmitir, al servidor externo, al menos una parte de la primera información y los segundos datos asociados con la segunda entrada de usuario. La segunda entrada del usuario, según diversas realizaciones, puede incluir una solicitud para cancelar al menos una parte de la primera tarea realizada.
El procedimiento de operación del dispositivo electrónico según diversas realizaciones puede incluir además volver a un estado entre los primeros estados múltiples sobre la base de al menos una parte de la segunda entrada del usuario.
Un procedimiento de operación de un dispositivo electrónico según varias realizaciones puede incluir: mostrar una primera pantalla; adquirir un primer pronunciamiento de usuario mientras se muestra la primera pantalla; mostrar, en lugar de la primera pantalla, una segunda pantalla asociada con una primera tarea entre múltiples tareas correspondientes al primer pronunciamiento de usuario; mostrar, en lugar de la segunda pantalla, una tercera pantalla asociada con una segunda tarea entre las múltiples tareas correspondientes al primer pronunciamiento de usuario; mientras se muestra la tercera pantalla, adquirir un comando de cancelación para al menos algunas de las múltiples tareas; y seleccionar una de la primera pantalla o de la segunda pantalla utilizando un resultado de análisis del comando de cancelación, y mostrar la pantalla seleccionada.
La orden de cancelación según varias realizaciones puede incluir una solicitud de cancelación para todas las tareas múltiples. La selección de una de la primera pantalla o de la segunda pantalla utilizando el resultado del análisis del comando de cancelación y la visualización de la pantalla seleccionada según diversas realizaciones puede incluir: cancelar todas las tareas múltiples; y visualizar la primera pantalla.
La orden de cancelación según diversas realizaciones puede incluir además una solicitud para realizar al menos otra tarea que sea al menos parcialmente diferente de las tareas múltiples. La selección de una de la primera pantalla o de la segunda pantalla utilizando el resultado del análisis de la orden de cancelación y la visualización de la pantalla seleccionada según diversas realizaciones puede incluir: cancelar todas las tareas múltiples; y después de visualizar la primera pantalla, visualizar una cuarta pantalla asociada con la al menos otra tarea, en lugar de la primera pantalla.
La orden de cancelación según varias realizaciones puede incluir una solicitud de cancelación para algunas de las múltiples tareas. La selección de una de la primera pantalla o de la segunda pantalla utilizando el resultado del análisis de la orden de cancelación y la visualización de la pantalla seleccionada, de acuerdo con diversas realizaciones, puede incluir: la cancelación de algunas de las tareas múltiples; y la visualización de la segunda pantalla.
La orden de cancelación según diversas realizaciones puede incluir además una solicitud para realizar al menos otra tarea que sea al menos parcialmente diferente de las tareas múltiples. La selección de una de la primera pantalla o de la segunda pantalla utilizando el resultado del análisis de la orden de cancelación y la visualización de la pantalla seleccionada, de acuerdo con diversas realizaciones, puede incluir: cancelar algunas de las múltiples tareas; y después de visualizar la segunda pantalla, visualizar una quinta pantalla asociada con al menos otra tarea, en lugar de la segunda pantalla.
La orden de cancelación según diversas realizaciones puede incluir además una solicitud para realizar al menos otra tarea que sea al menos parcialmente diferente de las tareas múltiples. La selección de una de la primera pantalla o de la segunda pantalla utilizando el resultado del análisis de la orden de cancelación y la visualización de la pantalla seleccionada, de acuerdo con diversas realizaciones, puede incluir: la cancelación de algunas de las múltiples tareas; y mientras se cancelan algunas tareas, la visualización de una sexta pantalla configurada para realizar otra tarea, en lugar de la segunda pantalla.
La segunda pantalla, según diversas realizaciones, puede ser una de las siguientes: una pantalla mostrada inmediatamente antes de que se muestre la tercera pantalla, una pantalla correspondiente a un estado que requiere una entrada adicional del usuario para realizar otra tarea, y una pantalla inmediatamente después de que se cambie una aplicación en uso.
El procedimiento de operación del dispositivo electrónico de acuerdo con varias realizaciones puede incluir además: transmitir datos sobre el primer pronunciamiento del usuario al servidor externo; recibir las tareas múltiples correspondientes al primer pronunciamiento del usuario; transmitir datos sobre el comando de cancelación al servidor externo; y recibir el resultado del análisis del comando de cancelación.
El procedimiento de operación del dispositivo electrónico según diversas realizaciones puede incluir: la adquisición del primer texto mediante el procesamiento del Reconocimiento Automático del Habla (ARS) de los datos del primer pronunciamiento del usuario; y la adquisición de las múltiples tareas mediante el procesamiento de la Comprensión del Lenguaje Natural (NLU) del primer texto.
El dispositivo electrónico de acuerdo con diversas realizaciones puede ser uno de diversos tipos de dispositivos electrónicos. Los dispositivos electrónicos pueden incluir, por ejemplo, un dispositivo de comunicación portátil (por ejemplo, un teléfono inteligente), un dispositivo informático, un dispositivo multimedia portátil, un dispositivo médico portátil, una cámara, un dispositivo vestible o un electrodoméstico. De acuerdo con una realización de la divulgación, los dispositivos electrónicos no se limitan a los descritos anteriormente.
Se debe apreciar que ciertas realizaciones de la presente divulgación y los términos utilizados en ella no pretenden limitar las características tecnológicas expuestas en la presente memoria a realizaciones particulares e incluyen varios cambios, equivalentes o sustituciones de una realización correspondiente. Con respecto a las descripciones de los dibujos, los números de referencia similares se pueden utilizar para referirse a elementos similares o relacionados. Se debe entender que una forma singular de un sustantivo correspondiente a un artículo puede incluir una o más de las cosas, a menos que el contexto pertinente indique claramente lo contrario. Como se utiliza en la presente memoria, cada una de las expresiones tales como "A o B", "al menos una de A y B", "al menos una de A o B", "A, B o C", "al menos una de A, B y C" y "al menos una de A, B o C", puede incluir cualquiera o todas las combinaciones posibles de los elementos enumerados juntos en una de las expresiones correspondientes. Como se utiliza en la presente memoria, términos como "1°" y "2°", o "primero" y "segundo" se pueden utilizar simplemente para distinguir un componente correspondiente de otro, y no limitan los componentes en otro aspecto (por ejemplo, importancia u orden). Se debe entender que si se hace referencia a un elemento (por ejemplo, un primer elemento), con o sin el término "operativamente" o "comunicativamente", como "acoplado con", "acoplado a", "conectado con" o "conectado a" otro elemento (por ejemplo, un segundo elemento), significa que el elemento puede estar acoplado con el otro elemento directamente (por ejemplo, por cable), de forma inalámbrica o a través de un tercer elemento. Como se utiliza en la presente memoria, el término "módulo" puede incluir una unidad implementada en hardware, software o firmware, y se puede utilizar indistintamente con otros términos, por ejemplo, "lógica", "bloque lógico", "pieza" o "circuito". Un módulo puede ser un componente integral único, o una unidad mínima o parte de ella, adaptada para llevar a cabo una o más funciones. Por ejemplo, de acuerdo con una realización, el módulo se puede implementar en forma de un circuito integrado de aplicación específica (ASIC).
Varias realizaciones, como se exponen en la presente memoria, se pueden implementar como software (por ejemplo, el programa 140) que incluye una o más instrucciones que se almacenan en un medio de almacenamiento (por ejemplo, la memoria interna 136 o la memoria externa 138) que es legible por una máquina (por ejemplo, el dispositivo electrónico 101) . Por ejemplo, un procesador (por ejemplo, el procesador 120) de la máquina (por ejemplo, el dispositivo electrónico 101) puede invocar al menos una de las una o más instrucciones almacenadas en el medio de almacenamiento, y ejecutarla, con o sin utilizar uno o más componentes bajo el control del procesador. Esto permite que la máquina sea operada para llevar a cabo al menos una función de acuerdo con la al menos una instrucción invocada. Las una o más instrucciones pueden incluir un código generado por un compilador o un código ejecutable por un intérprete. El medio de almacenamiento legible por máquina se puede proporcionar en forma de un medio de almacenamiento no transitorio. El término "no transitorio" significa simplemente que el medio de almacenamiento es un dispositivo tangible y no incluye una señal (por ejemplo, una onda electromagnética), pero este término no distingue entre los casos en que los datos se almacenan de forma semipermanente en el medio de almacenamiento y los casos en que los datos se almacenan temporalmente en el medio de almacenamiento.
De acuerdo con una realización, un procedimiento de acuerdo con ciertas realizaciones de la divulgación se puede incluir y proporcionar en un producto de programa informático. El producto de programa de ordenador puede ser comercializado como un producto entre un vendedor y un comprador. El producto de programa de ordenador se puede distribuir en forma de un medio de almacenamiento legible por máquina (por ejemplo, una memoria de solo lectura de disco compacto (CD-ROM)), o se puede distribuir (por ejemplo, descargar o cargar) en línea a través de una tienda de aplicaciones (por ejemplo, PlayStore™), o entre dos dispositivos de usuario (por ejemplo, teléfonos inteligentes) directamente. Si se distribuye en línea, al menos una parte del producto de programa de ordenador se puede generar temporalmente o almacenar al menos temporalmente en el medio de almacenamiento legible por máquina, tal como la memoria del servidor del fabricante, un servidor de la tienda de aplicaciones o un servidor de retransmisión.
De acuerdo con ciertas realizaciones, cada componente (por ejemplo, un módulo o un programa) de los componentes descritos anteriormente puede incluir una sola entidad o múltiples entidades. De acuerdo con ciertas realizaciones, uno o más de los componentes descritos anteriormente se pueden omitir, o se pueden añadir uno o más componentes. Alternativa o adicionalmente, una pluralidad de componentes (por ejemplo, módulos o programas) pueden ser integrados en un solo componente. En tal caso, de acuerdo con ciertas realizaciones, el componente integrado puede seguir llevando a cabo una o más funciones de cada una de la pluralidad de componentes de la misma manera o de forma similar a como las lleva a cabo uno de los componentes correspondientes antes de la integración. De acuerdo con ciertas realizaciones, las operaciones llevadas a cabo por el módulo, el programa u otro componente pueden llevar a cabo secuencialmente, en paralelo, repetidamente o heurísticamente, o una o más de las operaciones se pueden ejecutar en un orden diferente u omitirse, o se pueden añadir una o más operaciones.
Aunque la presente divulgación se ha descrito con diversas realizaciones, se pueden sugerir diversos cambios y modificaciones a un experto en la técnica. Se pretende que la presente divulgación abarque tales cambios y modificaciones que caen dentro del alcance de las reivindicaciones adjuntas.

Claims (12)

REIVINDICACIONES
1. Un dispositivo electrónico (101) que comprende:
un altavoz;
una pantalla táctil;
un circuito de comunicación;
al menos un procesador conectado operativamente al altavoz, la pantalla y el circuito de comunicación; y
una memoria conectada operativamente al al menos un procesador y que almacena instrucciones que, cuando son ejecutadas por el al menos un procesador, hacen que el procesador: ejecute una aplicación de llamada;
intente conectar una llamada a un proveedor de servicios utilizando el circuito de comunicación;
durante la conexión de llamada al proveedor de servicios, reciba una primera entrada de usuario solicitando un modo de espera para la conexión con un asistente del proveedor de servicios, en el que la aplicación de llamada es ejecutable en un segundo plano en el modo de espera;
en respuesta a la primera entrada del usuario, ejecute la aplicación de llamada en el modo de espera;
mientras se ejecuta la aplicación de llamada en el modo de espera, determine si el asistente está conectado en función de una voz transmitida por el proveedor de servicios utilizando un modelo de determinación que comprenda un modelo de aprendizaje profundo aprendido para determinar si la voz transmitida por el proveedor de servicios es un pronunciamiento de un asistente o un anuncio almacenado previamente como un servicio de respuesta automática;
emita una notificación, indicando que se ha determinado la conexión con el asistente, utilizando el altavoz o la pantalla táctil, y
en respuesta a la recepción de una segunda entrada de usuario para la notificación de salida, termine el modo de espera.
2. El dispositivo electrónico de la reivindicación 1, en el que la memoria almacena instrucciones que, cuando son ejecutadas por el al menos un procesador, hacen que el al menos un procesador:
muestre un icono que indique una función para proporcionar el modo de espera a través de la pantalla táctil;
en respuesta a una entrada de selección del icono, cambie un modo de la aplicación de llamada al modo de espera; y
mientras se ejecuta la aplicación de llamada en modo de espera:
abstenerse de mostrar una pantalla de ejecución de la aplicación de llamada en la pantalla táctil, y
restrinja una función del altavoz o del micrófono.
3. El dispositivo electrónico de la reivindicación 1, en el que la memoria almacena instrucciones que, cuando son ejecutadas por el al menos un procesador, hacen que el al menos un procesador realice una comparación para determinar si la voz es similar al modelo de determinación en un valor umbral o mayor.
4. El dispositivo electrónico de la reivindicación 1, en el que la memoria almacena instrucciones que, cuando son ejecutadas por el al menos un procesador, hacen que el al menos un procesador:
controle el circuito de comunicación para recibir, desde el proveedor de servicios, una indicación de voz solicitando información del usuario del dispositivo electrónico; y
controle el circuito de comunicación para transmitir, al proveedor de servicios, una respuesta generada en función de la información de usuario del dispositivo electrónico.
5. El dispositivo electrónico de la reivindicación 1, en el que la memoria almacena instrucciones que, cuando son ejecutadas por el al menos un procesador, hacen que el al menos un procesador mantenga una conexión de llamada en segundo plano hasta que se reciba la segunda entrada del usuario.
6. El dispositivo electrónico de la reivindicación 1, en el que la memoria almacena instrucciones que, cuando son ejecutadas por el al menos un procesador, hacen que el al menos un procesador:
estime un tiempo necesario para la conexión con el asistente del proveedor de servicios; y proporcione información del tiempo estimado mediante la pantalla táctil.
7. Un procedimiento de control para un dispositivo electrónico que comprende:
ejecutar una aplicación de llamada;
intentar conectar una llamada a un proveedor de servicios utilizando un circuito de comunicación del dispositivo electrónico;
durante la conexión de llamada al proveedor de servicios, recibir una primera entrada de usuario solicitando un modo de espera para la conexión con un asistente del proveedor de servicios, en el que la aplicación de llamada es ejecutable en segundo plano en el modo de espera; en respuesta a la primera entrada del usuario, ejecutar la aplicación de llamada en el modo de espera;
mientras se ejecuta la aplicación de llamada en el modo de espera, determinar si el asistente está conectado en función de una voz transmitida por el proveedor de servicios utilizando un modelo de determinación que comprenda un modelo de aprendizaje profundo aprendido para determinar si la voz transmitida por el proveedor de servicios es un pronunciamiento de un asistente o un anuncio almacenado previamente como un servicio de respuesta automática;
emitir una notificación, indicando que se ha determinado la conexión con el asistente, utilizando el altavoz o una pantalla táctil del dispositivo electrónico, y
en respuesta a la recepción de una segunda entrada de usuario para la notificación de salida, terminar el modo de espera.
8. El procedimiento de la reivindicación 7, el procedimiento comprende adicionalmente:
representación de un icono que indica una función para proporcionar el modo de espera a través de la pantalla táctil;
en respuesta a una entrada de selección del icono, cambiar un modo de la aplicación de llamada al modo de espera, y
mientras se ejecuta la aplicación de llamada en el modo de espera:
abstenerse de mostrar una pantalla de ejecución de la aplicación de llamada en la pantalla táctil, y
restringir una función de un altavoz del dispositivo electrónico o de un micrófono del dispositivo electrónico.
9. El procedimiento de la reivindicación 7, en el que el procedimiento comprende además realizar una comparación para determinar si la voz es similar al modelo de determinación en un valor umbral o mayor.
10. El procedimiento de la reivindicación 7, en el que procedimiento comprende adicionalmente:
controlar el circuito de comunicación para recibir, desde el proveedor de servicios, una indicación de voz solicitando información del usuario del dispositivo electrónico; y
controlar el circuito de comunicación para transmitir, al proveedor de servicios, una respuesta generada en base a la información de usuario del dispositivo electrónico.
11. El procedimiento de la reivindicación 7, en el que el procedimiento comprende además mantener una conexión de llamada en segundo plano hasta que se reciba la segunda entrada del usuario.
12. El procedimiento de la reivindicación 7, en el que el procedimiento comprende además:
estimar un tiempo necesario para la conexión con el asistente del proveedor de servicios; y proporcionar información del tiempo estimado utilizando la pantalla táctil.
ES19846412T 2018-08-07 2019-08-07 Dispositivo electrónico para realizar una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario y procedimiento de operación del mismo Active ES2950974T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180091964A KR102594838B1 (ko) 2018-08-07 2018-08-07 사용자 발화에 응답하여 통화를 포함하는 태스크를 수행하는 전자 장치 및 그 동작 방법
PCT/KR2019/009864 WO2020032568A1 (en) 2018-08-07 2019-08-07 Electronic device for performing task including call in response to user utterance and operation method thereof

Publications (1)

Publication Number Publication Date
ES2950974T3 true ES2950974T3 (es) 2023-10-17

Family

ID=69406700

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19846412T Active ES2950974T3 (es) 2018-08-07 2019-08-07 Dispositivo electrónico para realizar una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario y procedimiento de operación del mismo

Country Status (7)

Country Link
US (1) US10560576B1 (es)
EP (2) EP3794809B1 (es)
KR (1) KR102594838B1 (es)
CN (1) CN112567718A (es)
AU (2) AU2019319322B2 (es)
ES (1) ES2950974T3 (es)
WO (1) WO2020032568A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD892146S1 (en) * 2017-04-19 2020-08-04 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR20210043107A (ko) * 2019-10-11 2021-04-21 삼성전자주식회사 서로 다른 전자 장치들 사이의 통신 방법, 이를 지원하는 서버 및 전자 장치
KR20220023603A (ko) 2020-08-21 2022-03-02 삼성전자주식회사 충전기와 통신하는 휴대용 장치 및 그것의 동작 방법
WO2022125078A1 (en) * 2020-12-08 2022-06-16 Google Llc Identifying and providing requested user information during voice calls and video calls

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373817B1 (en) * 1999-12-30 2002-04-16 At&T Corp. Chase me system
KR20010102798A (ko) * 2000-05-08 2001-11-16 이주옥 인터넷을 통한 실시간 상담의 예약 방법
KR100458448B1 (ko) * 2002-03-05 2004-12-03 에이블컴(주) 자동 전화 발신 시스템 및 그 방법
KR20040088098A (ko) * 2003-04-08 2004-10-16 주식회사 아이니드 발신중 통화연결 성공음을 알리는 이동통신 단말기 및 그제어방법
JP2005292476A (ja) 2004-03-31 2005-10-20 Jfe Systems Inc 顧客応対方法及び装置
US7634067B1 (en) * 2004-12-17 2009-12-15 Verizon Data Services Llc Methods and systems for visual voice calls
KR20090108821A (ko) * 2008-04-14 2009-10-19 (주)미디어1636 음성인식 및 호 분배를 이용한 정보검색 서비스 시스템 및이를 이용한 정보검색 서비스 방법
US8363818B2 (en) * 2009-05-29 2013-01-29 Apple Inc. On-hold call monitoring systems and methods
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
KR101169045B1 (ko) * 2010-08-24 2012-07-26 (주) 콜게이트 음성-화면 ａｒｓ 서비스 시스템 및 그 제공방법과 컴퓨터 판독 가능한 기록매체
KR20120095626A (ko) * 2011-02-21 2012-08-29 주식회사 케이티 콜 센터 자동 응답에 의한 통화 대기 중 상담원 연결 알림 방법 및 이를 위한 중계 장치
KR101176405B1 (ko) * 2011-12-19 2012-08-28 주식회사 예스피치 상담 안내 시스템 및 방법
CN103369151B (zh) * 2012-03-27 2016-08-17 联想(北京)有限公司 信息输出方法和装置
JP5801865B2 (ja) * 2013-07-10 2015-10-28 エルジー ユープラス コーポレイションＬＧ Ｕｐｌｕｓ Ｃｏｒｐ． 通信端末機及びその制御方法とこのための記録媒体
KR101440527B1 (ko) * 2014-03-07 2014-09-17 (주)에스앤피웍스 음성 안내 절차 없이 고객과 상담원을 직접 연결하는 바로 콜 음성 안내 서비스 시스템 및 이를 이용한 바로 콜 음성 안내 서비스 방법
CN103997575A (zh) * 2014-04-30 2014-08-20 小米科技有限责任公司 获取语音服务的方法和装置
US10091356B2 (en) 2015-01-06 2018-10-02 Cyara Solutions Pty Ltd Interactive voice response system crawler
KR20150121689A (ko) * 2015-10-07 2015-10-29 주식회사 비즈모델라인 가상 콜센터 운영 방법
KR20170060567A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치 및 그 제어 방법
CN106302915A (zh) * 2016-10-18 2017-01-04 深圳市金立通信设备有限公司 一种自助语音服务的智能拨号方法及终端
US10574825B2 (en) * 2017-02-15 2020-02-25 Microsoft Technology Licensing, Llc Assisted-communication with intelligent personal assistant

Also Published As

Publication number Publication date
WO2020032568A1 (en) 2020-02-13
EP3794809B1 (en) 2023-06-14
EP4235652A2 (en) 2023-08-30
US10560576B1 (en) 2020-02-11
AU2019319322A1 (en) 2021-01-14
CN112567718A (zh) 2021-03-26
AU2023203454A1 (en) 2023-06-29
AU2019319322B2 (en) 2023-03-02
KR102594838B1 (ko) 2023-10-30
KR20200016636A (ko) 2020-02-17
EP3794809A1 (en) 2021-03-24
EP3794809C0 (en) 2023-06-14
EP3794809A4 (en) 2021-07-14
US20200053219A1 (en) 2020-02-13
EP4235652A3 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
CN109243432B (zh) 话音处理方法以及支持该话音处理方法的电子设备
US10978048B2 (en) Electronic apparatus for recognizing keyword included in your utterance to change to operating state and controlling method thereof
US10909982B2 (en) Electronic apparatus for processing user utterance and controlling method thereof
ES2950974T3 (es) Dispositivo electrónico para realizar una tarea que incluye una llamada en respuesta al pronunciamiento de un usuario y procedimiento de operación del mismo
KR102339819B1 (ko) 프레임워크를 이용한 자연어 표현 생성 방법 및 장치
KR102347208B1 (ko) 외부 장치를 이용한 태스크 수행 방법 및 이를 지원하는 전자 장치, 서버 및 저장 매체
US11537360B2 (en) System for processing user utterance and control method of same
KR102406718B1 (ko) 컨텍스트 정보에 기반하여 음성 입력을 수신하는 지속 기간을 결정하는 전자 장치 및 시스템
US20190019509A1 (en) Voice data processing method and electronic device for supporting the same
KR102508677B1 (ko) 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US11514890B2 (en) Method for user voice input processing and electronic device supporting same
US11170764B2 (en) Electronic device for processing user utterance
KR20190109916A (ko) 전자 장치 및 상기 전자 장치로부터 수신된 데이터를 처리하는 서버
US11915700B2 (en) Device for processing user voice input
KR20190127372A (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR20190032026A (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
KR20190068133A (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
CN111258529B (zh) 电子设备及其控制方法
KR102419374B1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
US11361750B2 (en) System and electronic device for generating tts model
US10908763B2 (en) Electronic apparatus for processing user utterance and controlling method thereof
KR102426411B1 (ko) 사용자 발화을 처리하는 전자 장치 및 시스템
KR20190101100A (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
CN112219235A (zh) 包括处理用户语音的电子设备和控制电子设备上语音识别的方法的系统
KR20190130202A (ko) 전자 장치 및 전자 장치의 기능 실행 방법