ES2965720T3 - Sugerencias de frases clave basadas en el historial para el control por voz de un sistema domótico - Google Patents
Sugerencias de frases clave basadas en el historial para el control por voz de un sistema domótico Download PDFInfo
- Publication number
- ES2965720T3 ES2965720T3 ES16782362T ES16782362T ES2965720T3 ES 2965720 T3 ES2965720 T3 ES 2965720T3 ES 16782362 T ES16782362 T ES 16782362T ES 16782362 T ES16782362 T ES 16782362T ES 2965720 T3 ES2965720 T3 ES 2965720T3
- Authority
- ES
- Spain
- Prior art keywords
- home automation
- automation system
- intents
- events
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 59
- 230000009471 action Effects 0.000 claims abstract description 46
- 230000000694 effects Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 6
- 238000001816 cooling Methods 0.000 claims description 2
- 238000010438 heat treatment Methods 0.000 claims description 2
- 238000009423 ventilation Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 3
- 241001025261 Neoraja caerulea Species 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/31—Voice input
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2213/00—Indexing scheme relating to selecting arrangements in general and for multiplex systems
- H04Q2213/13103—Memory
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Alarm Systems (AREA)
- Machine Translation (AREA)
Abstract
En una realización, se proporcionan sugerencias de frases clave basadas en historial para el control por voz de un sistema de automatización del hogar. Un controlador de host construye una base de datos histórica que mantiene un historial de eventos, indicando cada evento uno o más servicios activados, una o más escenas activadas o uno o más tipos de contenido multimedia presentado por el sistema de automatización del hogar. Un proceso de predicciones en el controlador principal selecciona un subconjunto de los eventos de la base de datos histórica en función de una condición actual del sistema de automatización del hogar para producir un conjunto de datos de predicción. Un proceso gramatical en un control remoto o dispositivo móvil selecciona una o más intenciones de una lista utilizada por un motor de reconocimiento de voz, según el conjunto de datos de predicción. Cada intención incluye una frase clave combinada con una acción. Un proceso de interfaz de usuario (UI) de voz sugiere frases clave de una o más intenciones seleccionadas en una UI de control de voz en el control remoto o dispositivo móvil. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Sugerencias de frases clave basadas en el historial para el control por voz de un sistema domótico
ANTECEDENTES
Campo técnico
La presente divulgación se refiere en general a sistemas de automatización del hogar y más específicamente al control por voz de sistemas de automatización del hogar.
Información de contexto
Los sistemas de domótica son cada vez más populares tanto en edificios residenciales como comerciales. Dichos sistemas pueden ser capaces de controlar, intercambiar datos e interactuar de otro modo con una amplia variedad de dispositivos, incluidos dispositivos de iluminación, dispositivos de seguridad, dispositivos de audio/vídeo (A/V), dispositivos de calefacción, ventilación y refrigeración (HVAC) y/o u otro tipo de dispositivos. Tradicionalmente, los sistemas de automatización del hogar han proporcionado varios tipos de control centrado en botones o basado en pantalla táctil. Más recientemente, ha habido intentos de proporcionar control por voz. Sin embargo, varias limitaciones del control por voz han obstaculizado su adopción generalizada en los sistemas de automatización del hogar, convirtiéndolo más en una curiosidad que en un reemplazo directo del control centrado en botones o basado en pantalla táctil.
Un problema con el control por voz es que los usuarios a menudo no están seguros de qué decirle al sistema de automatización del hogar para producir el resultado deseado. Muchos sistemas de reconocimiento de voz están configurados para comprender solo un número limitado de frases clave (un léxico de frases clave), cada una de las cuales está asignada para controlar acciones. Para desencadenar una acción, el usuario debe decir una de las fases clave del léxico. A los usuarios se les pueden enseñar inicialmente frases clave a través de un manual de usuario, un tutorial u otro tipo de materiales de capacitación. Sin embargo, con el tiempo pueden olvidar las frases clave de determinadas acciones deseadas y frustrarse cuando no pueden hacer que el sistema domótico responda de la manera deseada. En un intento por solucionar este problema, algunos sistemas de automatización del hogar están configurados para proporcionar una lista bajo demanda de todas las frases clave. Sin embargo, la visualización de todo el léxico a menudo abruma al usuario, enterrando información relevante para sus deseos actuales entre una lista de otras frases clave que son en gran medida irrelevantes para lo que están intentando hacer actualmente.
La publicación:
RASHIDI, P. ET. AL: "Keeping the Resident in the Loop: Adapting the Smart Home to the User", IEEE TRANSACTIONS ON SYSTEMS; MAN AND CYBERNETICS. PART A: SYSTEM AND HUMANS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 39, n.° 5, 1. Septiembre de 2009 (01-09-2009), páginas 949, 959, XP011344768, ISSN: 1083-4427, DOI:10.1 109/TSMCA.2009.2025137 describe un sistema de hogar inteligente adaptativo que utiliza técnicas de aprendizaje automático para descubrir patrones en las actividades diarias de los residentes y generar políticas de automatización que imiten estos patrones. El sistema puede adaptar sus patrones en función de la retroalimentación implícita o explícita residente y puede actualizar automáticamente su modelo para reflejar los cambios.
El documento US 2015/0254057 A1 divulga un sistema para sugerir comandos de voz para controlar la interacción del usuario con el sistema informático. Se selecciona una sugerencia de comando de voz correspondiente a un comando de voz seleccionado y se presenta a través de una pantalla para usuarios individuales.
En consecuencia, existe la necesidad de técnicas mejoradas para implementar el control por voz en un sistema de automatización del hogar.
SUMARIO
El problema se resuelve mediante el objeto de las reivindicaciones independientes.
Se proporcionan técnicas de ejemplo para mejorar el control por voz en un sistema de automatización del hogar proporcionando sugerencias de frases clave basadas en historial en una interfaz de usuario (UI) de control por voz. Dichas sugerencias de frases clave pueden indicar al usuario información sobre la entrada de voz que puede ser apropiada dado el patrón de uso histórico del usuario. Las sugerencias de frases clave pueden ser de número limitado, para no abrumar al usuario con grandes cantidades de información.
En una realización de ejemplo, el software de registro de actividad del anfitrión en un controlador de anfitrión crea una base de datos histórica que mantiene eventos que han ocurrido en el sistema de automatización del hogar. Cada evento indica la hora y uno o más servicios activados, una o más escenas activadas, o uno o más tipos de contenido multimedia presentado y opcionalmente otra información histórica. Un proceso de predicciones en un controlador principal del sistema de automatización del hogar selecciona un subconjunto de los eventos de la base de datos del historial basándose en una comparación del tiempo asociado de cada evento con ventanas de tiempo que abarcan un tiempo presente, seleccionando para producir un conjunto de datos de predicción puntuada. La puntuación de los eventos en el conjunto de datos de predicción puntuada se determina, al menos en parte, en función de la duración de las ventanas de tiempo, donde una ventana de tiempo más corta provoca una puntuación más alta que una ventana de tiempo más larga. El proceso de predicciones selecciona eventos en la base de datos histórica que ocurrieron en una ventana de tiempo que abarca la hora actual del día en un mismo día de la semana como el día actual de la semana. El software de sugerencia de voz en un control remoto o dispositivo móvil selecciona una o más intenciones de una lista de intenciones basándose en el conjunto de datos de predicción, en donde cada intención es una estructura de datos que incluye una frase clave reconocida por un motor de reconocimiento de voz emparejado con una acción realizada en el sistema domótico en respuesta a la frase clave. El software de sugerencias de voz muestra una interfaz de usuario de control de voz en una pantalla del control remoto o dispositivo móvil que presenta una o más frases clave de una o más intenciones seleccionadas como una o más sugerencias de frases clave. En respuesta a dicho mensaje, el usuario puede pronunciar una frase clave. Dada esta entrada de voz del usuario, un motor de reconocimiento de voz en el control remoto o dispositivo móvil puede comparar la entrada de voz con frases clave de la lista de intenciones para encontrar una intención coincidente y desencadenar la acción asociada con la intención coincidente.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La descripción siguiente se refiere a los dibujos adjuntos, de los cuales:
La figura 1 es un diagrama de bloques de un ejemplo de arquitectura de un sistema de automatización del hogar operable para controlar dispositivos alrededor de una estructura;
La figura 2 es un diagrama de bloques que muestra un software de anfitrión de ejemplo, incluido un software de registro de actividad del anfitrión, que puede mantener un registro de la actividad histórica en un sistema de automatización del hogar como eventos en una base de datos histórica;
La figura 3 es un diagrama de bloques que muestra una aplicación de ejemplo, que incluye un motor de reconocimiento de voz, que puede ejecutarse en un control remoto o dispositivo móvil;
La figura 4 es un listado de ejemplo de frases clave de una lista de ejemplo de intenciones que pueden construirse dinámicamente;
La figura 5 es un diagrama de bloques de un software de sugerencia de voz de ejemplo de una aplicación y un proceso de predicciones del software anfitrión;
La figura 6 es una captura de pantalla de un ejemplo de interfaz de usuario de control por voz que puede visualizarse en un control remoto o dispositivo móvil; y
La figura 7 es un diagrama de flujo de una secuencia de etapas que pueden implementarse para proporcionar sugerencias de frases clave basadas en el historial.
DESCRIPCIÓN DETALLADA
Definiciones
Tal como se utiliza en el presente documento, el término "sistema de automatización del hogar" debe interpretarse de manera amplia para abarcar varios tipos de control del hogar, "hogar inteligente" y/o sistemas de control de dispositivos que pueden controlar dispositivos (por ejemplo, dispositivos de iluminación, dispositivos de seguridad, dispositivos A/V, dispositivos HVAC, cerraduras electrónicas y/u otros tipos de dispositivos) dentro de una estructura, como una vivienda residencial o un edificio comercial. Un sistema de automatización del hogar puede controlar una variedad de diferentes tipos de dispositivos, o dispositivos de solo un tipo particular (por ejemplo, solo dispositivos de iluminación, solo dispositivos A/V, etc.).
Tal como se utiliza en el presente documento, el término "dispositivo móvil" se refiere a un dispositivo electrónico que ejecuta un sistema operativo de propósito general y está adaptado para ser transportado por una persona. Dispositivos como teléfonos inteligentes y tabletas deben considerarse dispositivos móviles. Los ordenadores de escritorio, servidores u otros dispositivos informáticos principalmente estacionarios generalmente no deben considerarse dispositivos móviles.
Como se usa en el presente documento, el término "servicio" se refiere a una actividad ofrecida por un sistema de automatización del hogar que implica interacciones entre uno o más dispositivos del sistema de automatización del hogar. Un servicio puede, aunque no es necesario, definir una lista de comandos y comentarios de estado aplicables a la actividad.
Tal como se utiliza en el presente documento, el término "escena" se refiere a un conjunto de instrucciones que, cuando se activan, controlan uno o más dispositivos de un sistema domótico de una manera predefinida. Se puede definir una escena, aunque no es necesario, durante la configuración inicial del sistema de automatización del hogar.
Tal como se utiliza en el presente documento, el término "contenido multimedia" se refiere a audio y/o vídeo grabado, difundido y/o en reproducción contínua. El contenido multimedia puede incluir una estación de televisión por cable o satélite, una estación de transmisión o transmisión de radio, películas o programas de televisión almacenados, música almacenada y similares.
Tal como se utiliza en el presente documento, el término "intención" se refiere a una estructura de datos que es capaz de almacenar una relación entre una frase clave reconocida por un motor de reconocimiento de voz y una acción realizada en respuesta a esa frase clave.
Un ejemplo de sistema de automatización del hogar
La figura 1 es un diagrama de bloques de una arquitectura de ejemplo 100 de un sistema de automatización del hogar operable para controlar dispositivos alrededor de una estructura (por ejemplo, una vivienda residencial o un edificio comercial). En el núcleo del sistema hay un controlador principal 110 acoplado a una red de área local (LAN) doméstica (por ejemplo, una red Wi-Fi) 150. El controlador de anfitrión puede incluir componentes de hardware tales como un procesador, una memoria y un dispositivo de almacenamiento, que colectivamente almacenan y ejecutan software de anfitrión 111 configurado para monitorear el control de las operaciones de los dispositivos 112-122, así como para proporcionar interpretación de UI, administración del sistema y monitoreo, sincronización con servicios en la nube 180 y dispositivos móviles 160, registro de actividad, predicción de actividad y otros tipos de funcionalidad.
El controlador principal 110 puede mantener en su dispositivo de almacenamiento una base de datos local 130 que almacena información de configuración que incluye servicios para los que está configurado el sistema de automatización del hogar, contenido de usuario tal como escenas que están configuradas para un usuario del sistema de automatización del hogar, contenido multimedia asociado con un usuario del sistema de automatización del hogar (por ejemplo, favoritos), información del estado del sistema que indica una condición actual del sistema de automatización del hogar, así como otros tipos de datos. La base de datos local 130 mantiene además un registro de la actividad histórica en el sistema de automatización del hogar. Se puede hacer referencia a dicha porción de la base de datos local como base de datos histórica 132. Debe entenderse que, en ciertas realizaciones alternativas, la base de datos histórica 132 puede ser una base de datos separada, en lugar de una parte de la base de datos local 130, y puede mantenerse en el dispositivo de almacenamiento del controlador principal 110, mediante servicios en la nube 180, o en otra parte.
Los dispositivos 112-122 del sistema de automatización del hogar pueden incluir dispositivos de iluminación 112, tales como controladores de iluminación, módulos de lámpara, módulos de atenuación, interruptores, teclados, controladores de ventilador y similares; dispositivos de seguridad 114, tales como monitores/cámaras domésticas, sensores de movimiento, sensores de atención sanitaria en el hogar, controladores relacionados y similares; dispositivos de audio 116 y dispositivos de vídeo 118 (colectivamente dispositivos A/V), tales como controladores de dispositivos A/V, emisores de infrarrojos (IR), matrices de conmutación, servidores de medios, amplificadores de audio, decodificadores de cable y similares; cerraduras electrónicas para puertas 120 y otros tipos de dispositivos accionados por motor o relé; dispositivos HVAC 122, tales como termostatos; así como otro tipo de dispositivos.
Dependiendo de la implementación, las capacidades de comunicación de los dispositivos 112-122 del sistema domótico pueden variar. Por ejemplo, al menos algunos de los dispositivos pueden incluir una interfaz LAN para permitirles comunicarse con el controlador principal 110 y otros dispositivos a través de la LAN doméstica 150. Del mismo modo, es posible que otros dispositivos solo tengan puertos o transceptores para comunicación por cable o inalámbrica punto a punto (por ejemplo, puertos RS-232, transceptores de infrarrojos (IR), puertos de control de relés, puertos de entrada/salida de uso general (GPIO), etc.) y comunicarse con el controlador principal 110 y otros dispositivos usando dichos puertos. Además, algunos dispositivos pueden incluir una interfaz LAN (por ejemplo, una interfaz Wi-Fi), pero no estar configurados para comunicarse con el controlador principal 110 directamente a través de la LAN doméstica 150, sino que se comunican primero con los servicios en la nube 180 a través de Internet 170 e infraestructura de terceros 190. Debe entenderse que si bien los dispositivos HVAC 122 se muestran en la figura 1 como un ejemplo de un tipo de dispositivo que puede comunicarse de esta manera, otros tipos de dispositivos 112 122 pueden usar alternativamente este procedimiento de comunicación, y viceversa.
Un usuario puede controlar el sistema de automatización del hogar usando un control remoto 140 que se comunica con el controlador principal 110 a través de la LAN interna 150 (por ejemplo, a través de Wi-Fi) o directamente con el controlador principal 110 (por ejemplo, a través de IR o señales de radiofrecuencia RF). El control remoto 140 puede incluir componentes de hardware tales como un procesador, una memoria y un dispositivo de almacenamiento, que almacenan y ejecutan software (por ejemplo, una aplicación (app)) configurado para interactuar con el controlador anfitrión 110 y los servicios en la nube 180, generar y mostrar una interfaz de usuario de control de automatización del hogar (incluida una interfaz de usuario de control de voz) y reconocer la entrada de voz del usuario (por ejemplo, usando un motor de reconocimiento de voz), entre otras funciones. El control remoto 140 puede incluir además una pantalla de visualización (por ejemplo, una pantalla táctil) para mostrar una UI de control de automatización del hogar (que incluye una UI de control de voz) y un micrófono para recibir la entrada de voz del usuario, entre otros componentes.
Un usuario puede controlar además el sistema de automatización del hogar usando un dispositivo móvil 160 que se comunica con el controlador principal 110a través de la LAN doméstica 150 o usando una conexión de datos móviles a Internet 170. El dispositivo móvil 160 puede incluir componentes de hardware tales como un procesador, una memoria y un dispositivo de almacenamiento, que almacenan y ejecutan una aplicación 162 (por ejemplo, una aplicación móvil) configurada para interactuar con el controlador anfitrión 110 y/o servicios en la nube 180, generar y mostrar una UI de control de automatización del hogar (incluyendo una UI de control de voz), y reconocer la entrada de voz del usuario (por ejemplo, usando un motor de reconocimiento de voz), entre otras funciones. El dispositivo móvil 160 puede incluir además una pantalla de visualización (por ejemplo, una pantalla táctil) para mostrar la UI de control de automatización del hogar (incluida la UI de control de voz) y un micrófono para recibir la entrada de voz del usuario, entre otros componentes.
El controlador de anfitrión 110 y el dispositivo móvil 160 pueden comunicarse a través de Internet 170 con los servicios de nube 180 y las interfaces de programa de aplicación (API) del anfitrión 182 y las API móviles 184. Los servicios en la nube 180 pueden proporcionar acceso remoto al control de automatización del hogar, una copia de seguridad persistente de la base de datos del hogar 130 (almacenando datos en una base de datos de configuración 186), interfaces a infraestructura de terceros (a través de adaptadores de terceros 188), perfiles de usuario y seguimiento de uso (almacenando datos en la base de datos de usuarios 189), un mecanismo para actualizaciones inalámbricas, informes de fallos del anfitrión y gestión de licencias, entre otras funciones.
Grabación de actividad
La figura 2 es un diagrama de bloques que muestra un software de anfitrión 111 de ejemplo, incluido el software de registro de actividad del anfitrión 200, que puede mantener un registro de actividad histórica en un sistema de automatización del hogar como eventos en una base de datos de historial 132. El software 200 puede incluir un proceso de actividad 210 que recibe masajes a través de comunicación entre procesos (IPC) desde otro software (por ejemplo, en el controlador principal 110) con respecto a servicios activados, escenas activadas, contenido multimedia presentado por el sistema de automatización del hogar y similares. El proceso de actividad 210 puede pasar estos mensajes a un proceso enrutador de mensajes 220. El proceso de actividad 210 puede recibir del proceso enrutador de mensajes 220 respuestas a solicitudes relacionadas con la actividad en el sistema de automatización del hogar. El proceso de actividad 210 puede pasar estas respuestas a otro software, como un proceso de predicciones, como se analiza más adelante.
El proceso de enrutador de mensajes 220 realiza varias funciones que incluyen transformar mensajes del proceso de actividad 210 en eventos 230, enrutar eventos 230 a interfaces de grabadora 250 y enrutar respuestas a solicitudes de regreso al proceso de actividad 210. Los eventos 230 son objetos que mantienen información que describe la actividad histórica en el sistema de automatización del hogar, incluidos servicios activados, escenas activadas, tipos de contenido multimedia presentado y similares. Cada evento 230 puede incluir una propiedad de usuario que indica el usuario que desencadenó el evento, una propiedad de tipo que describe el tipo de evento, una clave de grupo que agrupa tipos similares de eventos, una propiedad de servicio que describe un servicio activado (o es nulo si el evento no involucra un servicio), una propiedad de tiempo que indica la hora en que ocurrió el evento (incluido el día de la semana y la hora del día) y una propiedad de argumentos que almacena información adicional.
Las solicitudes 240 son objetos que representan consultas de datos de procesos de cliente con respecto a la actividad en el sistema de automatización del hogar que pueden estar disponibles en los registradores 260-270. Un proceso de cliente que puede emitir una solicitud 240 es un proceso de predicciones, como se analiza con más detalle a continuación.
Las interfaces del registrador 250 pueden proporcionar interfaces para procesos del registrador, tales como un proceso de alimentación 260 y un proceso de historial 270, que aceptan eventos 230 y solicitudes 240, entre otros usos. El proceso de alimentación 260 puede generar una alimentación de actividad que proporciona un breve historial de eventos 230 en el sistema de automatización del hogar y lo pasa a los servicios en la nube 180. El proceso de historial 270 puede almacenar eventos 230 en la base de datos de historial 132, registrando propiedades que incluyen usuario, tipo, clave de grupo, servicio, hora y argumentos.
Control de voz
Como se analizó anteriormente, el sistema de automatización del hogar puede controlarse por voz de manera que, en respuesta a la entrada de voz, se active una acción de interfaz de usuario correspondiente. Dicho control de voz puede implementarse mediante un motor de reconocimiento de voz que está configurado para reconocer un número limitado de frases clave, cada una de las cuales está asociada con una acción en el sistema de automatización del hogar (por ejemplo, activar un servicio, activar una escena, presentar contenido multimedia, etc.).
La figura 3 es un diagrama de bloques que muestra una aplicación de ejemplo 162, que incluye un motor de reconocimiento de voz 300, que puede ejecutarse en un control remoto 140 o dispositivo móvil 160. El motor de reconocimiento de voz 300 puede incluir un proceso gramatical 310 que realiza una variedad de funciones diferentes. Una función del proceso gramatical 310 puede ser construir una lista de intenciones 320 (por ejemplo, estructurada como una tabla de búsqueda de intenciones). Cada intención incluye una frase clave que es reconocida por el motor de reconocimiento de voz junto con una acción realizada por el sistema domótico en respuesta a la frase clave. Las acciones pueden incluir acciones de UI 370 que controlan uno o más aspectos de la UI de control del sistema de automatización del hogar, y acciones del sistema 380 que controlan servicios, escenas, contenido multimedia u otras operaciones del sistema de automatización del hogar. La lista de intenciones 320 se puede construir dinámicamente usando datos obtenidos de la base de datos local 130. Los datos pueden incluir información de configuración 330, tal como indicaciones de servicios para los que está configurado el sistema de automatización del hogar; contenido de usuario 340, tal como escenas definidas en el sistema de automatización del hogar o contenido multimedia (por ejemplo, favoritos) asociado con un usuario; y estado del sistema 350, tales como indicaciones de servicios activos. El edificio dinámico puede adaptarse a la identidad del usuario actual y a una habitación de la estructura en la que se encuentra el usuario (por ejemplo, basándose en una ubicación determinada dinámicamente del control remoto 140 o dispositivo móvil 160 como en una habitación particular o una vinculación del control remoto 140 o dispositivo móvil 160 a una habitación particular). El edificio dinámico puede agregar intenciones a la lista que son relevantes para la información de configuración actual 330, contenido de usuario 340, estado del sistema 350, usuario y habitación, mientras omite intenciones que son inaplicables (por ejemplo, intenciones para servicios que no están actualmente configurados en la habitación, para escenas que no están definidas en la habitación, para contenido de usuario que no es favorito del usuario actual, para condiciones de funcionamiento distintas al estado actual del sistema, etc.). El proceso gramatical 310 puede monitorear continuamente la información de configuración 330, el contenido del usuario 340, el estado del sistema 350, el usuario y la habitación, y reconstruir la lista de intenciones según sea necesario. Para mejorar la eficiencia, sólo se pueden reconstruir aquellas porciones de la lista de intenciones que se ven afectadas por un cambio (por ejemplo, una actualización parcial).
Otra función que puede realizar el proceso gramatical 310 es validar las frases clave de las intenciones para garantizar que sean reconocibles por un proceso reconocedor 360. Las intenciones cuyas frases clave no estén validadas pueden eliminarse de la lista de intenciones. Una vez validado, el proceso gramatical 310 puede enviar las intenciones al proceso reconocedor 360. El proceso de reconocimiento 360 puede comparar la entrada de voz (por ejemplo, recibida<a través de un micrófono del control remoto 140 o del dispositivo móvil>160<) con frases clave de la lista de intenciones>y desencadenar la acción correspondiente tras una coincidencia.
Aún más, como se analiza con más detalle a continuación, el proceso gramatical 310 también puede desempeñar un papel en la selección de intenciones cuyas frases clave se mostrarán como sugerencias de frases clave en una interfaz de usuario de control de voz.
La figura 4 es un listado de ejemplo de frases clave 400 de una lista de ejemplo de intenciones que pueden construirse dinámicamente. Las intenciones se pueden clasificar en varias categorías, incluidas intenciones de servicio, intenciones de escena, intenciones favoritas, intenciones de comando e intenciones de navegación. Las intenciones de servicio pueden limitarse a una habitación, incluidas palabras clave combinadas con acciones que afectan un servicio en la habitación. La frase clave de intenciones de servicio puede tener el formato"Servicio",donde el nombre del servicio se proporciona solo (por ejemplo, "Apple TV", "Blueray", "Cable", etc.) o como "VerServicio",donde el nombre del servicio está precedido por el comando "Ver" (por ejemplo, "Ver Apple TV", "Ver Blueray", "Ver Cable", etc.). Estas frases clave pueden estar asociadas con acciones que activan una versión de audio/video del servicio. La frase clave de intenciones de servicio también puede tener el formato "EscucharServicio",donde el nombre del servicio está precedido por el comando "Escuchar" (por ejemplo, "Escuchar Apple TV Live", "Escuchar CD", "Escuchar radio", etc.). Estas frases clave pueden estar asociadas con acciones que activan una versión del servicio de solo audio (si está disponible).
Las intenciones de escena pueden incluir palabras clave combinadas con acciones que activan, programan o no programan una escena para un usuario actual. Las intenciones de la escena pueden limitarse a un usuario actual, incluidas palabras clave combinadas con acciones que afectan una escena asociada con el usuario. La frase clave de intenciones de escena puede tener el formato"Escena",donde el nombre de la escena se proporciona solo (por ejemplo, "Cena", "Buenas noches", "Tiempo de juego", etc.). Estas frases clave pueden estar asociadas con acciones que activan una escena. La frase clave de las intenciones de la escena también puede tener el formato "ProgramarEscena",donde el nombre de la escena está precedido por el comando "Programar" (por ejemplo, "Programar cena", "Programar buenas noches", "Programar hora de reproducción", etc.). Estas frases clave pueden estar asociadas a acciones que activen el cronograma de la escena si así se ha configurado. Además, la frase clave de las intenciones de la escena también puede tener el formato"Escenasin programar", donde el nombre de la escena va precedido del comando "Desprogramar". Estas frases clave pueden estar asociadas con acciones que desactivan el cronograma de una escena si está activa.
Las intenciones favoritas pueden incluir palabras clave combinadas con acciones que presenten uno o más tipos de contenido multimedia seleccionado por un usuario actual. Las intenciones favoritas pueden aplicarse tanto aun usuario actual como a una habitación, incluidas palabras clave combinadas con acciones que afectan el contenido multimedia presente en la habitación y asociado con el usuario. Las acciones de intenciones favoritas pueden primero activar un servicio y luego configurar un canal o seleccionar un archivo multimedia o transmisión utilizada con ese servicio. La frase clave de intenciones favoritas puede tener el formato"Servicio",donde el nombre del servicio se proporciona solo (por ejemplo, "ABC", "CBS", "CNN", etc.) o "VerServicio",donde el nombre del servicio está precedido por el comando "Ver" (por ejemplo, "Ver ABC", "Ver CBS", "Ver CNN", etc.). Estas frases clave pueden estar asociadas con acciones que activan una versión de audio/vídeo del servicio configurada en el canal correspondiente (o utilizando un archivo multimedia o secuencia correspondiente). La frase clave de intenciones favoritas también puede tener el formato "EscucharServicio",donde el nombre del servicio va precedido del comando "Escuchar". Estas frases clave pueden estar asociadas con acciones que activan una versión de solo audio del servicio (si está disponible) configurada en el canal correspondiente (o utilizando un archivo multimedia o secuencia correspondiente).
Las intenciones de los comandos pueden incluir palabras clave combinadas con acciones que envían un único comando que puede estar relacionado con un estado actual del sistema domótico (es decir, un contexto). Las intenciones de comando pueden limitarse a una habitación. La frase clave de las intenciones de los comandos puede ser de una lista predefinida de comandos, incluyendo frases clave como "Más brillante" o "Atenuador" que se combinan con acciones que aumentan o disminuyen el nivel de luz en la habitación o, por ejemplo, incluyendo frases clave como "Tengo calor" o "Tengo frío" que se combinan con acciones que disminuyen o aumentan la temperatura en la habitación.
Las intenciones de navegación pueden incluir palabras clave combinadas con acciones que proporcionan atajos de navegación en una interfaz de usuario de control de automatización del hogar. Las intenciones de navegación pueden variar en ámbito, algunas siendo globales mientras que otras dependen de un servicio o habitación activo. Un ejemplo de intención de navegación puede incluir la frase clave "Teclado" combinada con una acción para cambiar a una pantalla de teclado de un servicio actualmente activo (si está disponible) en la interfaz de usuario de control de automatización del hogar. Otro ejemplo de intención de navegación puede incluir la frase clave "Capturar" combinada con una acción para cambiar a una pantalla de captura de escena en la interfaz de usuario de control de automatización del hogar.
Debe entenderse que se pueden proporcionar una amplia variedad de otros tipos de intenciones en el sistema domótico.
Sugerencias de frases clave basadas en el historial
Según la invención, la base de datos histórica 132 y la lista de intenciones 320 se aprovechan para producir sugerencias de frases clave que probablemente sean útiles para el usuario dado el patrón de uso histórico del usuario. Estas sugerencias de frases clave basadas en el historial se muestran en una interfaz de usuario de control de voz en el control remoto 140 o dispositivo móvil 160 para avisar al usuario sobre la entrada de voz que puede producir un resultado deseado.
La figura 5 es un diagrama de bloques de un software de sugerencia de voz 500 de ejemplo de una aplicación 162 y un proceso de predicciones 510 del software anfitrión 111. Inicialmente, el proceso de predicciones 510 puede emitir una o más solicitudes al proceso de actividad 210 para determinar (basándose en la base de datos histórica 132) una frecuencia de varios tipos de eventos cuando el sistema de automatización del hogar estaba en una condición similar a su condición actual. Dicha similitud puede basarse en el tiempo (por ejemplo, tanto la hora del día como el día de la semana), de modo que las solicitudes busquen la frecuencia de eventos en un mismo día de la semana como el día actual de la semana, en una ventana de tiempo que abarca un hora actual del día en cualquier día de la semana, en una ventana de tiempo que abarca la hora actual del día en un mismo día de la semana, o en base a algún otro criterio relacionado con el tiempo. El proceso de predicciones 510 puede aplicar puntuación a los resultados devueltos en respuesta a las solicitudes. La puntuación se basa en la duración de la ventana de tiempo utilizada para seleccionar los eventos, donde una ventana de tiempo más corta genera una puntuación más alta que una ventana de tiempo más larga. Además, la puntuación se puede ajustar según el tipo de evento, y los tipos de eventos que indican una acción del usuario más específica reciben puntuaciones más altas que los eventos que indican una acción del usuario menos específica. Los resultados puntuados pueden luego proporcionarse como un conjunto de datos de predicción al software de sugerencia de voz 500 en el control remoto 140 o dispositivo móvil 160.
El software de sugerencias de voz 500 puede incluir una API de comunicación 520 utilizada para interactuar con el controlador de anfitrión 110, que pasa el conjunto de datos de predicción a un proceso de sugerencias 530. El proceso de sugerencias 530 toma el conjunto de datos de predicción y lo procesa en una forma útil para el proceso gramatical 310, por ejemplo, seleccionando un número predeterminado de eventos más frecuentes. Tal procesamiento puede transformar el conjunto de datos de predicción en una forma que pueda asociarse fácilmente con intenciones de una lista de intenciones 320. El conjunto de datos de predicción procesado y la lista de intenciones 320 se proporcionan al proceso gramatical 310 que asocia eventos del conjunto de datos de predicción con intenciones de la lista 320, para seleccionar intenciones. Luego, al menos las frases clave de dichas intenciones seleccionadas se proporcionan a un proceso de interfaz de usuario de voz 540. El proceso de UI de voz 540 muestra las frases clave de las intenciones seleccionadas como sugerencias de frases clave en una UI de control de voz en una pantalla de visualización del control remoto 140 o dispositivo móvil 160.
La figura 6 es una captura de pantalla de un ejemplo de control por voz UI 600 que puede mostrarse en el control remoto 140 o en el dispositivo móvil 160. Las sugerencias de frases clave 610 pueden visualizarse en un listado en conexión con una indicación al usuario para que las pruebe como entrada de voz. En algunas implementaciones, la UI 600 de control por voz puede mostrarse en una pantalla táctil del control remoto 140 o del dispositivo móvil 160, y las sugerencias de frases clave también pueden servir como botones seleccionables. Tocar un botón puede considerarse equivalente a pronunciar la frase clave y desencadenar la acción correspondiente de la intención.
Recapitulación y conclusiones
La figura 7 es un diagrama de flujo de una secuencia de etapas que pueden implementarse para proporcionar sugerencias de frases clave basadas en el historial. La secuencia de etapas 700 proporciona un resumen de alto nivel de varias operaciones analizadas anteriormente, pero omite ciertos detalles para ilustrar mejor el flujo general de operaciones. En la etapa 710, el software de registro de actividad del anfitrión 200 en el controlador del anfitrión 110 (específicamente, el registrador de historial 270 que trabaja junto con el proceso de actividad 210 y el proceso de enrutador de mensajes 220) construye la base de datos de historial 132 que mantiene los eventos que han ocurrido. Cada evento indica uno o más servicios activados, una o más escenas activadas o uno o más tipos de contenido multimedia presentado. En la etapa 720, el proceso de predicciones 510 en el controlador principal 110 (trabajando junto con el proceso de actividad 210), selecciona un subconjunto de los eventos de la base de datos de historial 132 basándose en un tiempo presente del sistema de automatización del hogar para producir un conjunto de datos de predicción. En la etapa 730, el software de sugerencias de voz 500 en el control remoto 140 o dispositivo móvil 160 (específicamente, el proceso de sugerencias 530 y el proceso de gramática 310), basándose en el conjunto de datos de predicción, selecciona una o más intenciones de una lista de intenciones, en donde cada intención incluye una frase clave reconocida por el motor de reconocimiento de voz 300 emparejada con una acción realizada en respuesta a la frase clave. En la etapa 740, el software de sugerencia de voz 500 (específicamente, el proceso de UI de voz 540) muestra una UI de control de voz 600 en una pantalla de visualización del control remoto 140 o dispositivo móvil 160 que presenta las frases clave de una o más intenciones seleccionadas como sugerencias de frases clave 610. Finalmente, en la etapa 750, en respuesta a la entrada de voz del usuario, el motor de reconocimiento de voz 300 en el control remoto 140 o dispositivo móvil 160 (específicamente, el proceso de reconocimiento 360) puede comparar la entrada de voz con las frases clave de la lista de intenciones para encontrar una intención coincidente y desencadenar la acción asociada con la intención coincidente.
Debe entenderse que se pueden realizar diversas adaptaciones y modificaciones a la secuencia de etapas analizada anteriormente y a otras porciones de la divulgación proporcionada anteriormente. Si bien las realizaciones proporcionadas anteriormente implican un sistema de automatización del hogar que incluye una variedad de diferentes tipos de dispositivos, tales como dispositivos de iluminación, dispositivos de seguridad, dispositivos A/V, cerraduras electrónicas, dispositivos HVAC, etc., se debe recordar que las presentes técnicas se puede adaptar para su uso con tipos más limitados de sistemas de automatización del hogar. Por ejemplo, las técnicas pueden usarse con un sistema de automatización del hogar que proporciona solo control de iluminación (es decir, un sistema de control de iluminación), un sistema de automatización del hogar que proporciona solo control de A/V (es decir, un sistema de control de A/V), etc. .
Además, si bien la divulgación proporcionada anteriormente sugiere que se pueden ejecutar varios procesos de software en dispositivos particulares (tales como en el controlador 110 de anfitrión, el control 140 remoto o el dispositivo 160 móvil, etc.), se debe entender que los procesos de software se pueden ejecutar en diferentes dispositivos de hardware, incluso en hardware basado en la nube como parte de los servicios en la nube 180.
Además, si bien se describe anteriormente que las sugerencias de frases clave basadas en el historial pueden basarse en un historial de eventos que han ocurrido en el propio sistema de automatización del hogar, se debe entender que pueden considerarse también los eventos que han ocurrido en otros sistemas de automatización del hogar. Por ejemplo, los servicios en la nube 180 pueden agregar eventos de una pluralidad de sistemas de automatización del hogar y se puede aplicar un algoritmo de predicción a este conjunto de eventos combinado para formar sugerencias de frases clave. Al considerar una base de usuarios más grande, varios patrones de uso que pueden no ser discernibles en el caso de un solo sistema de automatización del hogar pueden volverse estadísticamente significativos.
Además, debe entenderse que al menos algunas de las funciones sugeridas anteriormente para implementarse en software pueden implementarse en hardware. En general, la funcionalidad puede implementarse en software, hardware o varias combinaciones de los mismos. Las implementaciones de software pueden incluir instrucciones ejecutables en dispositivos electrónicos (por ejemplo, instrucciones ejecutables por ordenador) almacenadas en un medio no transitorio legible por dispositivo electrónico (por ejemplo, un medio no transitorio legible por ordenador), tal como una memoria volátil o persistente, un disco duro, un disco compacto (CD) u otro medio tangible. Las implementaciones de hardware pueden incluir circuitos lógicos, circuitos integrados de aplicaciones específicas y/u otros tipos de componentes de hardware. Además, las implementaciones combinadas de software/hardware pueden incluir tanto instrucciones ejecutables en dispositivos electrónicos almacenadas en un medio no transitorio legible por dispositivos electrónicos, como uno o más componentes de hardware, por ejemplo, procesadores, memorias, etc. Debe entenderse que las realizaciones anteriores deben tomarse únicamente a modo de ejemplo.
Claims (13)
1. Un procedimiento para proporcionar sugerencias de frases clave basadas en historial para el control por voz de un sistema de automatización del hogar, que comprende
construir una base de datos histórica (132) en un dispositivo de almacenamiento que mantiene eventos que han ocurrido en el sistema domótico, cada evento asociado con un tiempo e indicando uno o más servicios activados, una o más escenas activadas o uno o más tipos de contenido multimedia presentado por el sistema domótico; seleccionar un subconjunto de los eventos de la base de datos de historial basándose en una comparación del tiempo asociado de cada evento con una ventana de tiempo que abarca un tiempo presente, la selección para producir un conjunto de datos de predicción puntuados, en el que la puntuación de eventos en el conjunto de datos de predicción puntuados se determina, al menos en parte, basándose en una duración de la ventana de tiempo, con una ventana de tiempo más corta provocando una puntuación más alta que una ventana de tiempo más larga, en donde la hora actual incluye una hora actual del día y un día actual de la semana y la comparación determina eventos en la base de datos histórica que ocurrieron en una ventana de tiempo que abarca la hora actual del día en un mismo día de la semana como el día actual de la semana;
basado en el conjunto de datos de predicción puntuado, seleccionando una o más intenciones de una lista de intenciones, en donde cada intención es una estructura de datos que incluye una frase clave reconocida por un motor de reconocimiento de voz (300) emparejada con una acción realizada en respuesta a la frase clave ; y mostrar, a un usuario actual en una interfaz de usuario en un control remoto (140) o dispositivo móvil (160) del sistema de automatización del hogar, una o más frases clave de la una o más intenciones seleccionadas como una o más sugerencias de frases clave.
2. El procedimiento de la reivindicación 1, en el que la selección comprende además determinar una frecuencia de diferentes tipos de eventos y la puntuación del evento en el conjunto de datos de predicción puntuado se determina además basándose, al menos en parte, en la frecuencia.
3. El procedimiento de la reivindicación 1, que comprende además: generar dinámicamente la lista de intenciones basándose en al menos una de la información de configuración para el sistema de automatización del hogar, el contenido del usuario definido en el sistema de automatización del hogar o un estado del sistema del sistema de automatización del hogar.
4. El procedimiento de la reivindicación 1, que comprende además: generar dinámicamente la lista de intenciones en función del usuario actual o de una habitación que se está controlando.
5. El procedimiento de la reivindicación 1, en el que la lista de intenciones incluye una o más intenciones de servicio cuya acción, cuando se realiza, activa uno o más servicios dentro de una habitación.
6. El procedimiento de la reivindicación 1, en el que la lista de intenciones incluye una o más intenciones de escenas cuya acción cuando se realiza activa una o más escenas.
7. El procedimiento de la reivindicación 1, en el que la lista de intenciones incluye una o más intenciones favoritas cuya acción, cuando se realiza, presenta uno o más tipos de contenido multimedia asociado con el usuario actual.
8. El procedimiento de la reivindicación 1, que comprende, además:
recibir, en el motor de reconocimiento de voz, entrada de voz desde un micrófono del control remoto o dispositivo móvil;
comparar, mediante el motor de reconocimiento de voz, la entrada de voz con una o más frases clave de la lista de intenciones para encontrar una intención coincidente; y
desencadenar la acción asociada con la intención coincidente.
9. El procedimiento de la reivindicación 8, en el que la acción es una acción del sistema que activa uno o más servicios, activa una o más escenas, o presenta uno o más tipos de contenido multimedia en el sistema de automatización del hogar, o una interfaz de usuario UI, acción que controla uno o más aspectos de una interfaz de usuario de control de un sistema domótico.
10. Un sistema de automatización del hogar configurado para proporcionar sugerencias de frases clave basadas en historial para control por voz, que comprende:
un controlador principal (110) que está acoplado y configurado para controlar uno o más dispositivos de audio/vídeo, A/V, dispositivos de iluminación, calefacción, ventilación y refrigeración, HVAC, dispositivos o dispositivos de seguridad (112-122) dentro de una estructura para proporcionar automatización del hogar, el controlador anfitrión incluye
software de registro de actividad del anfitrión (200) configurado para construir una base de datos histórica (132) que mantiene eventos que han ocurrido en la estructura, cada evento asociado con un tiempo e indicando uno o más servicios activados, una o más escenas activadas o uno o más tipos del contenido multimedia presentado, y
un proceso de predicciones (510) configurado para seleccionar un subconjunto de los eventos de la base de datos de historial en base a una comparación del tiempo asociado de cada evento con una ventana de tiempo que abarca el tiempo presente, el proceso de predicción (510) para producir una predicción puntuada conjunto de datos, en el que la puntuación de eventos en el conjunto de datos de predicción puntuada se determina, al menos en parte, en función de la duración de la ventana de tiempo, provocando una ventana de tiempo más corta una puntuación más alta que una ventana de tiempo más larga, en el que el tiempo presente incluye una hora actual del día y un día actual de la semana y la comparación determina eventos en la base de datos histórica que ocurrieron en una ventana de tiempo que abarca la hora actual del día en un mismo día de la semana como el día actual de la semana; y
un control remoto (140) o dispositivo móvil (160) en comunicación con el controlador principal a través de una red, incluyendo el control remoto o dispositivo móvil
un motor de reconocimiento de voz (300), y
software de sugerencia de voz (500) configurado para, basándose en el conjunto de datos de predicción puntuado, seleccionar una o más intenciones de una lista de intenciones, en el que cada intención es una estructura de datos que incluye una frase clave reconocida por el motor de reconocimiento de voz emparejada con una acción realizada en respuesta a la frase clave, y para mostrar en una pantalla del control remoto o dispositivo móvil a un usuario actual del sistema de automatización del hogar una o más frases clave de una o más intenciones seleccionadas como sugerencias de frases clave.
11. El sistema de automatización del hogar de la reivindicación 10, en el que el software de sugerencia de voz incluye un proceso gramatical que está configurado para generar dinámicamente la lista de intenciones basándose en al menos una de la información de configuración para el sistema de automatización del hogar, el contenido del usuario definido en el sistema de automatización del hogar o un estado del sistema del sistema domótico.
12. El sistema de automatización del hogar de la reivindicación 10, en el que el software de sugerencia de voz incluye un proceso gramatical (310) que está configurado para generar dinámicamente la lista de intenciones en función del usuario actual o de una habitación que se está controlando.
13. El sistema de automatización del hogar de la reivindicación 10, en el que el motor de reconocimiento de voz incluye un proceso de reconocimiento (360) que está configurado para recibir entrada de voz desde un micrófono del control remoto o dispositivo móvil, comparar la entrada de voz con una o más frases clave de la lista de intenciones para encontrar una intención coincidente y desencadenar la acción asociada con la intención coincidente.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/875,210 US10018977B2 (en) | 2015-10-05 | 2015-10-05 | History-based key phrase suggestions for voice control of a home automation system |
| PCT/US2016/055281 WO2017062340A1 (en) | 2015-10-05 | 2016-10-04 | History-based key phrase suggestions for voice control of a home automation system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2965720T3 true ES2965720T3 (es) | 2024-04-16 |
Family
ID=57145052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES16782362T Active ES2965720T3 (es) | 2015-10-05 | 2016-10-04 | Sugerencias de frases clave basadas en el historial para el control por voz de un sistema domótico |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10018977B2 (es) |
| EP (1) | EP3360130B1 (es) |
| JP (1) | JP6808643B2 (es) |
| KR (1) | KR102691850B1 (es) |
| CN (1) | CN107615377B (es) |
| AU (1) | AU2016335982B2 (es) |
| CA (1) | CA2983051A1 (es) |
| ES (1) | ES2965720T3 (es) |
| IL (1) | IL255244B2 (es) |
| WO (1) | WO2017062340A1 (es) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240046928A1 (en) * | 2012-04-13 | 2024-02-08 | View, Inc. | Controlling optically-switchable devices |
| KR102431749B1 (ko) | 2014-03-05 | 2022-08-11 | 뷰, 인크. | 스위칭가능한 광 디바이스들 및 제어기들을 포함하는 사이트들 모니터링 |
| CN105741525B (zh) * | 2016-02-24 | 2019-10-01 | 北京小米移动软件有限公司 | 遥控器绑定的处理方法、装置和设备 |
| US10498552B2 (en) | 2016-06-12 | 2019-12-03 | Apple Inc. | Presenting accessory state |
| US11003147B2 (en) | 2016-06-12 | 2021-05-11 | Apple Inc. | Automatically grouping accessories |
| US10511456B2 (en) | 2016-06-12 | 2019-12-17 | Apple Inc. | Presenting accessory group controls |
| US10310725B2 (en) * | 2016-06-12 | 2019-06-04 | Apple Inc. | Generating scenes based on accessory state |
| US10572530B2 (en) | 2016-07-03 | 2020-02-25 | Apple Inc. | Prefetching accessory data |
| US10608834B2 (en) * | 2016-08-03 | 2020-03-31 | Honeywell International Inc. | Approach and system for avoiding ambiguous action via mobile apps through context based notification |
| US10469281B2 (en) | 2016-09-24 | 2019-11-05 | Apple Inc. | Generating suggestions for scenes and triggers by resident device |
| US10764153B2 (en) | 2016-09-24 | 2020-09-01 | Apple Inc. | Generating suggestions for scenes and triggers |
| US20180101599A1 (en) * | 2016-10-08 | 2018-04-12 | Microsoft Technology Licensing, Llc | Interactive context-based text completions |
| US10746428B2 (en) | 2017-03-09 | 2020-08-18 | Johnson Controls Technology Company | Building automation system with a dynamic cloud based control framework |
| US10547729B2 (en) | 2017-03-27 | 2020-01-28 | Samsung Electronics Co., Ltd. | Electronic device and method of executing function of electronic device |
| US10257629B2 (en) * | 2017-04-18 | 2019-04-09 | Vivint, Inc. | Event detection by microphone |
| KR102417029B1 (ko) * | 2017-07-24 | 2022-07-06 | 삼성전자주식회사 | 자연어 표현 생성 방법 및 전자 장치 |
| US10546023B2 (en) | 2017-10-03 | 2020-01-28 | Google Llc | Providing command bundle suggestions for an automated assistant |
| US20190130898A1 (en) * | 2017-11-02 | 2019-05-02 | GM Global Technology Operations LLC | Wake-up-word detection |
| JP7192208B2 (ja) * | 2017-12-01 | 2022-12-20 | ヤマハ株式会社 | 機器制御システム、デバイス、プログラム、及び機器制御方法 |
| JP6962158B2 (ja) | 2017-12-01 | 2021-11-05 | ヤマハ株式会社 | 機器制御システム、機器制御方法、及びプログラム |
| CN109991858A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市云海物联科技有限公司 | 一种情景配对控制方法、装置及系统 |
| JP7067082B2 (ja) | 2018-01-24 | 2022-05-16 | ヤマハ株式会社 | 機器制御システム、機器制御方法、及びプログラム |
| US10777203B1 (en) * | 2018-03-23 | 2020-09-15 | Amazon Technologies, Inc. | Speech interface device with caching component |
| KR102520069B1 (ko) * | 2018-05-07 | 2023-04-10 | 구글 엘엘씨 | 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공 |
| EP3776253A1 (en) | 2018-05-07 | 2021-02-17 | Google LLC | Recommending automated assistant action for inclusion in automated assistant routine |
| US10805106B2 (en) * | 2018-06-05 | 2020-10-13 | K4Connect Inc. | Home automation system including sleep to awake mode device switching and related methods |
| CN110750626B (zh) * | 2018-07-06 | 2022-05-06 | 中国移动通信有限公司研究院 | 一种基于场景的任务驱动的多轮对话方法及系统 |
| WO2020095633A1 (ja) * | 2018-11-05 | 2020-05-14 | 株式会社Ｎｔｔドコモ | 対話装置及び対話プログラム |
| CN109634693A (zh) * | 2018-11-12 | 2019-04-16 | 东软集团股份有限公司 | 业务操作的执行方法、装置、服务器和存储介质 |
| WO2020105317A1 (ja) * | 2018-11-22 | 2020-05-28 | 株式会社Ｎｔｔドコモ | 対話装置及び対話プログラム |
| CN109616111B (zh) * | 2018-12-24 | 2023-03-14 | 北京恒泰实达科技股份有限公司 | 一种基于语音识别的场景交互控制方法 |
| US11238857B2 (en) * | 2018-12-28 | 2022-02-01 | Google Llc | Supplementing voice inputs to an automated assistant according to selected suggestions |
| WO2020165933A1 (ja) * | 2019-02-12 | 2020-08-20 | 三菱電機株式会社 | 機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラム |
| JP2020140473A (ja) * | 2019-02-28 | 2020-09-03 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、音声認識方法、及び音声認識プログラム |
| CN110136705B (zh) * | 2019-04-10 | 2022-06-14 | 华为技术有限公司 | 一种人机交互的方法和电子设备 |
| JP7275795B2 (ja) * | 2019-04-15 | 2023-05-18 | コニカミノルタ株式会社 | 操作受付装置、制御方法、画像形成システム、及び、プログラム |
| EP3965430A4 (en) * | 2019-04-30 | 2022-11-23 | LG Electronics Inc. | DISPLAY DEVICE FOR PROVIDING VOICE RECOGNITION SERVICE |
| US11170777B2 (en) * | 2019-05-06 | 2021-11-09 | Google Llc | Proactive caching of assistant action content at a client device to enable on-device resolution of spoken or typed utterances |
| CN110327622A (zh) * | 2019-05-09 | 2019-10-15 | 百度在线网络技术（北京）有限公司 | 一种游戏控制方法、装置和终端 |
| US11508375B2 (en) | 2019-07-03 | 2022-11-22 | Samsung Electronics Co., Ltd. | Electronic apparatus including control command identification tool generated by using a control command identified by voice recognition identifying a control command corresponding to a user voice and control method thereof |
| KR102285581B1 (ko) * | 2019-07-05 | 2021-08-03 | 주식회사 에스원 | 인공지능 클라이언트 장치 및 이의 동작 방법 |
| US11974010B2 (en) * | 2019-07-16 | 2024-04-30 | Lg Electronics Inc. | Display device for controlling one or more home appliances in consideration of viewing situation |
| CN110364152B (zh) * | 2019-07-25 | 2022-04-01 | 深圳智慧林网络科技有限公司 | 语音交互方法、设备及计算机可读存储介质 |
| CA3148908A1 (en) * | 2019-07-29 | 2021-02-04 | Siemens Industry, Inc. | Building automation system for controlling conditions of a room |
| CN110517665B (zh) * | 2019-08-29 | 2021-09-03 | 中国银行股份有限公司 | 获取测试样本的方法及装置 |
| CN110718220A (zh) * | 2019-09-30 | 2020-01-21 | 北京澜墨文化传媒有限公司 | 一种家庭互联系统及控制方法 |
| CN116564304A (zh) * | 2019-09-30 | 2023-08-08 | 华为终端有限公司 | 语音交互方法及装置 |
| US11289086B2 (en) * | 2019-11-01 | 2022-03-29 | Microsoft Technology Licensing, Llc | Selective response rendering for virtual assistants |
| KR20210072471A (ko) * | 2019-12-09 | 2021-06-17 | 현대자동차주식회사 | 음성 명령 인식 장치 및 그 방법 |
| US11676586B2 (en) * | 2019-12-10 | 2023-06-13 | Rovi Guides, Inc. | Systems and methods for providing voice command recommendations |
| EP4055593A4 (en) * | 2020-02-10 | 2023-01-04 | Samsung Electronics Co., Ltd. | METHOD AND APPARATUS FOR PROVIDING A VOICE ASSISTANCE SERVICE |
| US11206330B1 (en) | 2020-09-01 | 2021-12-21 | T-Mobile Usa, Inc. | Interactive voice response using intent prediction and a 5G capable device |
| CN114372214A (zh) * | 2020-10-15 | 2022-04-19 | 海信电子科技(武汉)有限公司 | 一种显示设备、服务器和内容展示方法 |
| CN112687269B (zh) * | 2020-12-18 | 2022-11-08 | 山东盛帆蓝海电气有限公司 | 楼宇管理机器人语音自动识别方法及系统 |
| CN112598047A (zh) * | 2020-12-18 | 2021-04-02 | 龙马智芯（珠海横琴）科技有限公司 | 意图识别模型生成方法、装置、服务器及可读存储介质 |
| WO2022265448A1 (ko) * | 2021-06-17 | 2022-12-22 | 삼성전자 주식회사 | 애플리케이션 화면을 탐색하는 전자 장치 및 그 동작 방법 |
| CN113433857A (zh) * | 2021-06-24 | 2021-09-24 | 南京水年数字科技有限公司 | 一种滑轨屏行程控制系统 |
| US20230368785A1 (en) * | 2022-05-13 | 2023-11-16 | Rovi Guides, Inc. | Processing voice input in integrated environment |
| CN114822005B (zh) * | 2022-06-28 | 2022-09-20 | 深圳市矽昊智能科技有限公司 | 基于人工智能的遥控意图预测方法、装置、设备及介质 |
| CN115424624B (zh) * | 2022-11-04 | 2023-01-24 | 深圳市人马互动科技有限公司 | 一种人机互动的服务处理方法、装置及相关设备 |
Family Cites Families (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5454063A (en) * | 1993-11-29 | 1995-09-26 | Rossides; Michael T. | Voice input system for data retrieval |
| US6513006B2 (en) | 1999-08-26 | 2003-01-28 | Matsushita Electronic Industrial Co., Ltd. | Automatic control of household activity using speech recognition and natural language |
| US6792319B1 (en) * | 2000-10-19 | 2004-09-14 | Destiny Networks, Inc. | Home automation system and method |
| US6889191B2 (en) * | 2001-12-03 | 2005-05-03 | Scientific-Atlanta, Inc. | Systems and methods for TV navigation with compressed voice-activated commands |
| US9374451B2 (en) * | 2002-02-04 | 2016-06-21 | Nokia Technologies Oy | System and method for multimodal short-cuts to digital services |
| US7177817B1 (en) * | 2002-12-12 | 2007-02-13 | Tuvox Incorporated | Automatic generation of voice content for a voice response system |
| JP2006033795A (ja) * | 2004-06-15 | 2006-02-02 | Sanyo Electric Co Ltd | リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。 |
| US9153125B2 (en) | 2005-12-20 | 2015-10-06 | Savant Systems, Llc | Programmable multimedia controller with programmable services |
| US20070143801A1 (en) | 2005-12-20 | 2007-06-21 | Madonna Robert P | System and method for a programmable multimedia controller |
| US8332218B2 (en) | 2006-06-13 | 2012-12-11 | Nuance Communications, Inc. | Context-based grammars for automated speech recognition |
| US20110032423A1 (en) * | 2009-08-06 | 2011-02-10 | Sony Corporation | Adaptive user profiling for tv-centric home automation system |
| JP5810759B2 (ja) * | 2011-08-31 | 2015-11-11 | アイシン・エィ・ダブリュ株式会社 | 音声認識装置、音声認識方法、及び音声認識プログラム |
| JP5694102B2 (ja) * | 2011-09-22 | 2015-04-01 | 株式会社東芝 | 音声認識装置、音声認識方法およびプログラム |
| US8825020B2 (en) | 2012-01-12 | 2014-09-02 | Sensory, Incorporated | Information access and device control using mobile phones and audio in the home environment |
| US9685160B2 (en) * | 2012-04-16 | 2017-06-20 | Htc Corporation | Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium |
| US8972858B2 (en) | 2012-04-19 | 2015-03-03 | Savant Systems, Llc | Configuration interface for a programmable multimedia controller |
| JP5925313B2 (ja) * | 2012-07-03 | 2016-05-25 | 三菱電機株式会社 | 音声認識装置 |
| US8831957B2 (en) | 2012-08-01 | 2014-09-09 | Google Inc. | Speech recognition models based on location indicia |
| CN103021403A (zh) * | 2012-12-31 | 2013-04-03 | 威盛电子股份有限公司 | 基于语音识别的选择方法及其移动终端装置及信息系统 |
| KR20140088449A (ko) * | 2013-01-02 | 2014-07-10 | 엘지전자 주식회사 | 중앙 제어 장치 및 그것의 제어 방법 |
| KR20140089871A (ko) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 대화형 서버, 그 제어 방법 및 대화형 시스템 |
| EP2953298B1 (en) * | 2013-01-30 | 2018-03-21 | Nippon Telegraph and Telephone Corporation | Log analysis device, information processing method and program |
| US9864350B2 (en) * | 2013-03-12 | 2018-01-09 | Trane International, Inc. | Events management |
| US20140365213A1 (en) * | 2013-06-07 | 2014-12-11 | Jurgen Totzke | System and Method of Improving Communication in a Speech Communication System |
| US20150053779A1 (en) * | 2013-08-21 | 2015-02-26 | Honeywell International Inc. | Devices and methods for interacting with an hvac controller |
| US9970675B2 (en) * | 2013-11-04 | 2018-05-15 | Honeywell International Inc. | Remote building monitoring system with contractor locator |
| CN104142659B (zh) * | 2013-11-12 | 2017-02-15 | 珠海优特物联科技有限公司 | 一种智能家居场景切换方法及系统 |
| US10079019B2 (en) * | 2013-11-12 | 2018-09-18 | Apple Inc. | Always-on audio control for mobile device |
| US9607608B2 (en) * | 2013-12-09 | 2017-03-28 | Honeywell International Inc. | Voice based diagnostic systems and methods |
| US9900177B2 (en) * | 2013-12-11 | 2018-02-20 | Echostar Technologies International Corporation | Maintaining up-to-date home automation models |
| KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
| US20150241860A1 (en) * | 2014-02-24 | 2015-08-27 | Raid And Raid, Inc., D/B/A Ruminate | Intelligent home and office automation system |
| US9582246B2 (en) * | 2014-03-04 | 2017-02-28 | Microsoft Technology Licensing, Llc | Voice-command suggestions based on computer context |
| US9489171B2 (en) * | 2014-03-04 | 2016-11-08 | Microsoft Technology Licensing, Llc | Voice-command suggestions based on user identity |
| US10481561B2 (en) * | 2014-04-24 | 2019-11-19 | Vivint, Inc. | Managing home automation system based on behavior |
| US9765562B2 (en) * | 2014-05-07 | 2017-09-19 | Vivint, Inc. | Weather based notification systems and methods for home automation |
| US9860076B2 (en) * | 2014-05-07 | 2018-01-02 | Vivint, Inc. | Home automation via voice control |
| US10031721B2 (en) * | 2014-05-15 | 2018-07-24 | Tyco Safety Products Canada Ltd. | System and method for processing control commands in a voice interactive system |
| US9876652B2 (en) | 2014-05-20 | 2018-01-23 | Savant Systems, Llc | Automatic configuration of control device user interface in a home automation system |
| US10133537B2 (en) * | 2014-09-25 | 2018-11-20 | Honeywell International Inc. | Method of integrating a home entertainment system with life style systems which include searching and playing music using voice commands based upon humming or singing |
| US10254724B2 (en) * | 2014-10-31 | 2019-04-09 | Samsung Electronics Co., Ltd. | Method and system for personalized, secure, and intuitive smart home control using a smart hand |
| US20160182247A1 (en) * | 2014-12-19 | 2016-06-23 | Smartlabs, Inc. | Smart home device adaptive configuration systems and methods using cloud data |
| US10178474B2 (en) * | 2015-04-21 | 2019-01-08 | Google Llc | Sound signature database for initialization of noise reduction in recordings |
| US10079012B2 (en) * | 2015-04-21 | 2018-09-18 | Google Llc | Customizing speech-recognition dictionaries in a smart-home environment |
-
2015
- 2015-10-05 US US14/875,210 patent/US10018977B2/en active Active
-
2016
- 2016-10-04 EP EP16782362.4A patent/EP3360130B1/en active Active
- 2016-10-04 AU AU2016335982A patent/AU2016335982B2/en active Active
- 2016-10-04 JP JP2017556619A patent/JP6808643B2/ja active Active
- 2016-10-04 WO PCT/US2016/055281 patent/WO2017062340A1/en active Application Filing
- 2016-10-04 CN CN201680024429.1A patent/CN107615377B/zh active Active
- 2016-10-04 KR KR1020177031179A patent/KR102691850B1/ko active IP Right Grant
- 2016-10-04 ES ES16782362T patent/ES2965720T3/es active Active
- 2016-10-04 CA CA2983051A patent/CA2983051A1/en active Pending
-
2017
- 2017-10-24 IL IL255244A patent/IL255244B2/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018531404A (ja) | 2018-10-25 |
| CA2983051A1 (en) | 2017-04-13 |
| IL255244A0 (en) | 2017-12-31 |
| AU2016335982B2 (en) | 2021-04-29 |
| CN107615377A (zh) | 2018-01-19 |
| KR102691850B1 (ko) | 2024-08-02 |
| KR20180064328A (ko) | 2018-06-14 |
| CN107615377B (zh) | 2021-11-09 |
| EP3360130B1 (en) | 2023-09-20 |
| EP3360130A1 (en) | 2018-08-15 |
| IL255244B1 (en) | 2023-03-01 |
| JP6808643B2 (ja) | 2021-01-06 |
| IL255244B2 (en) | 2023-07-01 |
| AU2016335982A1 (en) | 2017-11-02 |
| US20170097618A1 (en) | 2017-04-06 |
| US10018977B2 (en) | 2018-07-10 |
| WO2017062340A1 (en) | 2017-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2965720T3 (es) | Sugerencias de frases clave basadas en el historial para el control por voz de un sistema domótico | |
| JP6959384B2 (ja) | デバイストポロジーに基づく音声コマンドの処理 | |
| ES2963118T3 (es) | Identificación y control de dispositivos inteligentes | |
| US11429345B2 (en) | Remote execution of secondary-device drivers | |
| JP2018531404A6 (ja) | ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案 | |
| CN108022590B (zh) | 语音接口设备处的聚焦会话 | |
| CN108111948B (zh) | 在语音接口设备处的服务器提供的视觉输出 | |
| WO2017107521A1 (zh) | 智能家居设备的控制方法及装置 | |
| JP6471174B2 (ja) | ホームオートメーションのためのインテリジェントアシスタント | |
| KR102551715B1 (ko) | Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공 | |
| CN108604254A (zh) | 语音控制的隐藏字幕显示 | |
| US20160179087A1 (en) | Activity-centric contextual modes of operation for electronic devices | |
| US11736760B2 (en) | Video integration with home assistant | |
| US10270614B2 (en) | Method and device for controlling timed task | |
| US20190346929A1 (en) | Attention Levels in a Gesture Control System | |
| US20160154481A1 (en) | Intelligent illumination of controllers | |
| WO2019225109A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| US20220217191A1 (en) | Method and device to manage audio and/or video sources during a streaming session | |
| KR102502577B1 (ko) | 외부 전자 장치 내에서 멀티미디어 콘텐트를 이어서 재생하기 위한 전자 장치 및 방법 |