ES2251942T3 - Dispositivo de control remoto basado en la palabra. - Google Patents

Dispositivo de control remoto basado en la palabra.

Info

Publication number
ES2251942T3
ES2251942T3 ES00306975T ES00306975T ES2251942T3 ES 2251942 T3 ES2251942 T3 ES 2251942T3 ES 00306975 T ES00306975 T ES 00306975T ES 00306975 T ES00306975 T ES 00306975T ES 2251942 T3 ES2251942 T3 ES 2251942T3
Authority
ES
Spain
Prior art keywords
remote control
analyzer
data
natural language
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES00306975T
Other languages
English (en)
Inventor
Roland Kuhn
Tony Davis
Jean-Claude Junqua
Weiying Li
Yi Zhao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of ES2251942T3 publication Critical patent/ES2251942T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control
    • H04N21/42209Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/31Voice input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Machine Translation (AREA)
  • Selective Calling Equipment (AREA)
  • Transmitters (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Sistema de mando a distancia que comprende: una caja manual (10) dotada de una interface de comunicación (14) por medio de la cual las instrucciones de mando son transmitidas a un componente remoto (12); una pantalla de visualización (16) dispuesta en dicha caja; un micrófono (26) dispuesto en dicha caja y que sirve para recibir mensajes orales de entrada; un sistema analizador de voz (40) acoplado a dicho micrófono (26) para procesar dichos mensajes orales de entrada ; un fichero de datos históricos de diálogos (167) utilizado para registrar las conversaciones que han tenido lugar en el conjunto del sistema; una memoria que contiene los datos de perfiles de usuarios (56); un administrador de diálogos (54) conectado a dicho sistema analizador de voz (40), a dicha memoria de datos de perfiles de usuarios (56), y a dicha pantalla de visualización (16) para transmitir instrucciones de mando por medio de dicho interface de comunicación (14) y para presentar la información en la pantalla de visualización (16) basada al menos en parte, en la información obtenida de dicha memoria de perfiles de usuarios (56); y un analizador sintáctico de lenguaje natural (42) en comunicación de datos con dicho sistema analizador de voz (40), funcionando el analizador sintáctico (42) para extraer un contenido semántico de dichos mensajes orales de entrada procesados y para acceder a una representación semántica de una guía de programación electrónica (46) y utilizar dicho contenido semántico extraído para generar instrucciones de mando para dicho componente remoto (12), donde el analizador sintáctico de lenguaje natural (42) es un analizador sintáctico basado en la tarea que emplea una gramática que comprende una pluralidad de configuraciones que comportan unas casillas que representan una estructura semántica de dicha guía de programación electrónica (46); el administrador de diálogos (54) igualmente en comunicación con el analizador sintáctico de lenguaje natural (42) y el fichero de datoshistóricos de diálogos (167), siendo el administrador de diálogos (54) adaptado para recibir los mensajes orales de entrada procesados y rellenar casillas de una configuración basada en parte en el mensaje oral de entrada procesado y datos obtenidos del archivo de datos históricos de diálogos (167).

Description

Dispositivo de control remoto basado en la palabra.
Antecedentes y resumen de la invención
El omnipresente mando a distancia, a menudo una infinidad de ellos, se ha instalado prácticamente en todas las mesas donde se mira la televisión en el mundo entero. Son pocos los telespectadores que no hayan experimentado la frustración de tratar de dar una simple orden, tal como encender el televisor y ver una película previamente grabada y no poder hacerlo porque no logran averiguar qué botón tienen que pulsar y en qué mando a distancia.
En un intento de frenar la proliferación de mandos a distancia, muchas empresas ofrecen un mando a distancia universal que pueda accionar una variedad de componentes audiovisuales diferentes. Estos mandos a distancia, necesariamente, presentan un conjunto de botones, muchos de los cuales tienen doble función, para controlar las principales funciones de todos los dispositivos del equipo multimedia del usuario.
Aunque el mando a distancia universal convencional puede eliminar la necesidad de tener varias unidades de mando a distancia sobre la mesa, poco aporta para simplificar la interacción de los usuarios con su sistema audiovisual o multimedia. Por el contrario, la mayoría de las unidades de mando a distancia universal son tan complejas que, de hecho, impiden que el usuario pueda controlar el equipo.
La patente US 5.774.859 describe un sistema de mando a distancia para controlar un componente audiovisual en el cual una caja manual, que tiene un micrófono para recibir la orden oral del usuario y un transmisor para transmitir señales de datos a un dispositivo remoto, incluye un componente analizador de voz para procesar un mensaje oral de entrada y una memoria que almacena una representación de una guía de programación electrónica.
La patente DE19615437C1 describe un dispositivo de mando a distancia que comprende un micrófono, un analizador de voz, un analizar sintáctico de lenguaje natural que utiliza configuraciones de casos semánticos, un administrador de diálogos y una pantalla de visualización.
La presente invención tal como se manifiesta en las reivindicaciones 1-10 soluciona este problema a través de componentes de reconocimiento tecnológico de voz y de análisis sintáctico del lenguaje natural que permiten que simplemente hablando el usuario a la unidad de mando a distancia sus instrucciones se lleven a cabo. Aunque las órdenes orales pueden ser simples órdenes tales como "Encender la grabadora de vídeo" o "Grabar Canal 6", el analizador sintáctico de lenguaje natural ofrece la posibilidad de dar instrucciones mucho más complejas. Por ejemplo, el usuario puede decir: "Quiero ver una película divertida interpretada por Marilyn Monroe". Utilizando los componentes de analizador de voz y de analizador sintáctico, el sistema buscará a través de una guía de programación electrónica o una base de datos de películas y podrá contestar al usuario (por ejemplo) que, el próximo viernes se dará "Some like it hot". El usuario podrá entonces, por ejemplo, dar instrucciones al sistema para que grabe la película cuando la
den.
Las órdenes de grabación no precisan limitarse a la totalidad de la película o del programa. El usuario puede dar instrucciones tales como: "Grabar los últimos cinco minutos del partido de beisbol de esta noche Toronto-Los Angeles". De nuevo, los componentes de analizador de voz y de analizador sintáctico convierten esta orden compleja en una secuencia de acciones que hacen que el dispositivo de grabación del sistema del usuario realice las grabaciones pedidas, en el momento oportuno.
El mando a distancia de la invención puede construirse como una unidad autónoma que contenga todos los componentes de analizador sintáctico y analizador de voz en su interior o puede fabricarse en múltiples componentes que permitan que un procesador situado en un televisor, unidad superior o unidad de control multimedia auxiliar realice algunas de las operaciones informáticas más complejas. En el último caso, el mando a distancia manual y la unidad de mando a distancia comunican entre sí por transmisión inalámbrica. De preferencia, la unidad de mando a distancia manual incluye una entrada de infrarrojos a través de la cual el mando a distancia puede interactuar con elementos más antiguos del equipo multimedia del usuario. De este modo, el mando a distancia de la invención permite asimismo que se den instrucciones orales con lenguaje natural complicado a los elementos audiovisuales más antiguos.
Para una mayor comprensión de la invención, sus objetivos y ventajas, hay que referirse a la descripción siguiente y a los dibujos adjuntos.
Breve descripción de los dibujos
La figura 1 es una vista en planta de un modo de realización del mando a distancia según la invención;
La figura 2 es un esquema de conjunto que ilustra los componentes del modo de realización preferido;
La figura 3 es un esquema de conjunto que representa los componentes del analizador sintáctico de lenguaje natural del modo de realización actualmente preferido de la invención; y
La figura 4 es un esquema de conjunto que representa los componentes del analizador sintáctico local del modo de realización actualmente preferido de la invención.
Descripción del modo de realización preferido
El mando a distancia de la invención puede presentar muchas formas. Un ejemplo de modo de realización está ilustrado en la Figura 1 donde el mando a distancia tiene la referencia numérica 10 y un ejemplo de televisor tiene la referencia numérica 12. En el modo de realización preferido, el mando a distancia 10 y el televisor 12 tienen una comunicación inalámbrica entre sí a través de un enlace de radiofrecuencia o un enlace de infrarrojo adecuado.
El mando a distancia está destinado a funcionar no solamente con la televisión digital más moderna y los equipos de grabación con disco duro sino también con modelos más antiguos de televisores, grabadoras de vídeo, DVD y reproductores de discos láser, procesadores de sonido envolvente, sintonizadores y similares. Por consiguiente, el mando a distancia incluye un transmisor de diodo fotoemisor 14 mediante el cual la unidad puede comunicar con todos los componentes multimedia y de entretenimiento doméstico. El mismo transmisor puede servir de enlace para la comunicación entre el mando a distancia y el televisor (para implementar algunas de las características aquí
descritas).
En un modo de realización alternativo, el mando a distancia 10 y el televisor 12 se comunican por medio de un enlace de comunicación de datos bidireccional que permite que los componentes de análisis de voz y de análisis sintáctico del lenguaje natural estén distribuidos entre el mando a distancia, el televisor y, opcionalmente, otros componentes del sistema multimedia.
Aunque no sea necesario para implementar el sistema de diálogo que permite hablar, el mando a distancia 10 actualmente preferido incluye igualmente una visor luminoso 16 que puede facilitar indicaciones al usuario, así como información extraída de la guía de programación electrónica. La pantalla puede ser sensible al tacto o sensible a la pulsación, permitiendo que el usuario seleccione opciones del menú y proporcione datos de entradas manuscritas a través del puntero 18. Para los usuarios que empleen regularmente asistentes digitales personales basados en una pluma (PDA) la modalidad de datos de entrada por puntero les resultará particularmente útil.
El mando a distancia 10 incluye asimismo un complemento de pulsadores 20, para realizar la selección de canal numérico y otras operaciones que se realizan habitualmente, tales como subir y bajar el volumen. También se puede incluir una "jog shuttle wheel" (rueda basculante de impulsión) 22 para permitir que el usuario utilice esta característica conjuntamente con las grabadoras y tocadiscos.
Debido al enlace bidireccional entre el mando a distancia 10 y el televisor 12, el sistema es capaz de presentar indicaciones e información de la guía de programación en pantalla, tanto en la pantalla del televisor, tal como se ilustra en 24, como en la pantalla de visualización 16 del mando a distancia. Si se desea, puede suprimirse la presentación en pantalla 24, de modo que el usuario pueda utilizar las selecciones del menú y las selecciones de la guía de programación electrónica utilizando la pantalla de mando a distancia, sin necesidad que aparezca la misma información en el televisor mientras se está viendo un programa.
Un aspecto particularmente útil del mando a distancia 10 es su modalidad de mensaje oral de lenguaje natural. El mando a distancia está provisto de un micrófono como en 26. El usuario habla con frases de lenguaje natural y este mensaje oral es recogido por el micrófono 26 y es facilitado a un sistema sofisticado de comprensión del lenguaje hablado. El sistema de comprensión del lenguaje hablado permite que el usuario dé órdenes en lenguaje natural interactivo al televisor y otro equipo asociado (tal como grabadora con disco duro o grabadora de vídeo) para que la búsqueda y grabación.
Como un ejemplo de orden de búsqueda oral, el usuario podría decir en el micrófono "Quiero ver una película divertida interpretada por Marilyn Monroe". Utilizando los componentes de analizador de voz y de analizador sintáctico, el sistema buscará a través de una guía de programación electrónica o una base de datos de películas y podrá contestar al usuario si alguna de las opciones cumplen lo que pide el usuario. El sistema puede contestar, por ejemplo, que el próximo viernes se dará "Some like it hot".
Provisto de esta información, el usuario puede elegir grabar la película, diciendo simplemente "Por favor, graba ``Some Like it Hot''".
Las instrucciones de grabación pueden ser muy explícitas, gracias al sistema sofisticado de lenguaje natural de la invención. De este modo, el usuario podría introducir una orden de grabación compleja tal como: "Grabar los últimos cinco minutos del partido de beisbol de esta noche Toronto-Los Angeles". De nuevo, los componentes de analizador de voz y de analizador sintáctico convierten esta instrucción compleja en una secuencia de acciones que la grabadora, dentro del sistema, llevará a cabo.
A continuación, con referencia a la figura 2, se describirán los componentes funcionales principales del sistema de mando a distancia. En este aspecto, es importante comprender que los componentes del sistema de mando a distancia pueden estar contenidos íntegramente en el interior del propio dispositivo de mando a distancia o bien uno o más de dichos componentes pueden estar distribuidos o implementados en otros componentes en el interior del sistema. Las funciones más intensivas del procesador del sistema pueden ser realizadas por ejemplo por procesadores situados en componentes mayores, más potentes, tales como unidades superiores del televisor, televisores digitales interactivos, sistemas de grabación multimedia y similares.
Por ejemplo, el micrófono y los componentes básicos de analizador de voz pueden estar alojados en la unidad de mando a distancia, estando los demás componentes alojados en otra parte del equipo. Si se desea el propio analizador de voz puede subdividirse en componentes, algunos de los cuales estarán alojados en el mando a distancia y otros estarán alojados en otras partes. A modo de ejemplo, el componente alojado en el mando a distancia puede procesar el mensaje oral de entrada mediante la extracción de características de la voz para las cuales se han formado los modelos de voz. El mando a distancia transmite entonces estas características que ha extraído al componente situado en otra parte para un procesamiento adicional de análisis de voz. Alternativamente, el mensaje oral de entrada puede ser transmitido simplemente por el mando a distancia a un componente analizador de voz del campo de sonido situado en otra parte. Por supuesto estos son solamente unos cuantos ejemplos posibles de como puede desplegarse la funcionalidad de la invención de forma distribuida.
En primer lugar se digitaliza el mensaje oral de entrada facilitado a través del micrófono 26 y se suministra al módulo analizador de voz 40. Los datos de salida del módulo analizador de voz 40 son suministrados al analizador sintáctico de lenguaje natural 42. Este analizador sintáctico trabaja conjuntamente con un juego de gramáticas 44 que permiten que el sistema interprete el significado de las instrucciones orales del usuario. En el modo de realización actualmente preferido, estas gramáticas están orientadas hacia metas que comprenden una colección de sentencias de configuración que tienen una o más casillas que el sistema rellenará basándose en las palabras analizadas del mensaje oral de entrada del usuario. Se presentan a continuación más detalles del analizador sintáctico actualmente preferido y de dichas gramáticas orientadas hacia unas metas.
El analizador sintáctico de lenguaje natural 42 tiene acceso a una representación semántica almacenada de la guía de programación electrónica 46. La guía de programación electrónica puede ser descargada de internet, vía satélite o por el cable. Estas fuentes de información de guía de programación electrónica están designadas con la referencia numérica 50. Normalmente, se puede utilizar el sintonizador del televisor 52 para obtener esta información y facilitarla a la representación semántica almacenada en 46. Alternativamente, podría suministrarse dicha información mediante conexión telefónica a un proveedor reservado para servicios de internet adecuados o a un proveedor de servicios de guía de programación electrónica.
La guía de programación electrónica típica representa una estructura jerárquica compleja que desglosa diferentes tipos de contenidos de programación según los tipos. De este modo, una guía de programación puede dividir programas en diferentes categorías tales como películas, deportes, noticias, meteorología, y similares. Pueden subdividirse adicionalmente dichas categorías. De este modo, pueden subdividirse las películas en diferentes categorías tales como comedia, drama, ciencia ficción y así sucesivamente. Una representación semántica de los contenidos de la guía de programación electrónica está almacenada en 46, basada en la misma estructura de gramática orientada hacia una meta que utiliza el analizador sintáctico de lenguaje natural. Esto permite que el analizador sintáctico encuentre fácilmente información sobre los programas que puedan verse. Si el usuario ha pedido comedias, el analizador sintáctico tiene acceso a la representación semántica de la sección de comedias, y el usuario puede entonces visualizar los programas que entren en esta categoría, tal como se describirá más detalladamente a continuación.
En algunos casos, el analizador sintáctico de lenguaje natural identificará de inmediato un programa que interese al usuario. En otros casos, puede haber múltiples selecciones o bien ninguna. Para acomodar esas numerosas posibilidades, el sistema incluye un administrador de diálogos 54. El administrador de diálogos establece la interconexión con el analizador sintáctico de lenguaje natural 42 y genera indicaciones interactivas para la presentación al usuario de mensajes orales sintetizados o en pantalla. Estas indicaciones están destinadas a solicitar información adicional del usuario, para ayudar a que el analizador sintáctico de lenguaje natural encuentre ofertas de programas en los que el usuario estuviera interesado. El administrador de diálogos tiene una memoria de datos de perfiles de usuario 56, que almacena información acerca de las selecciones anteriores del usuario e igualmente información sobre cómo le gusta al usuario que se le presente la información. Esta memoria de datos ayuda de este modo al administrador de diálogos a seleccionar las indicaciones que mejor se ajusten a lo que el usuario espera recibir.
Se describirá ahora el analizador sintáctico de lenguaje natural preferido. La figura 3 representa más detalladamente componentes de analizador sintáctico de lenguaje natural 42. En particular, el módulo de comprensión del mensaje oral 128 incluye un analizador sintáctico local 160 para identificar fragmentos importantes relacionados con la tarea. El módulo de comprensión de mensaje oral 128 incluye asimismo un analizador sintáctico global 162 para extraer la semántica global de la petición del hablante.
En el modo de realización preferido, el analizador sintáctico local 160 utiliza múltiples gramáticas pequeñas, en varias pasadas, y un mecanismo de anotaciones único para facilitar hipótesis de análisis sintáctico. Por ejemplo, el analizador sintáctico local novedoso 102 reconoce, según su enfoque, datos tales como fechas, nombres de personas y categorías de películas. Si un usuario dice "grábame una comedia en la cual Mel Brooks sea el protagonista y que se representó antes del 23 de enero", el analizador sintáctico reconocerá: "comedia" como categoría de película; "23 de enero" como fecha y "Mel Brooks" como actor. El analizador sintáctico global reúne estos datos (categoría de película, fecha, etc.) conjuntamente y reconoce que el usuario desea grabar una película dentro de ciertos límites.
El módulo de comprensión del mensaje oral 128 incluye una base de datos de conocimientos 163 que codifica la semántica de un campo (por ejemplo meta a alcanzar). En este sentido, la base de datos de conocimientos 163 es de preferencia una base de datos de un campo específico tal como se representa con la referencia numérica 165 y es utilizada por el administrador de diálogos 130 para determinar si una acción en particular está relacionada con la posibilidad de alcanzar una meta predeterminada.
El modo de realización preferido codifica la semántica a través de una estructura de datos de configuración 164. La estructura de datos de configuración 164 contiene casillas vacías 166 que se rellenan cuando la interpretación semántica del analizador sintáctico global 162 combina con la configuración. Por ejemplo, una estructura de datos de configuración (cuyo campo sea las órdenes al sintonizador) incluye una casilla vacía para especificar el canal pedido por el telespectador para un período de tiempo. Si el telespectador 120 facilita el canal, se rellena la casilla vacía con dicha información. No obstante, si esta casilla en particular necesita ser rellenada después de que el telespectador haya facilitado inicialmente su petición, entonces el administrador de diálogos 130 dará instrucciones al módulo de respuesta del ordenador 134 para que pida al telespectador 120 que facilite un canal deseado.
La estructura de datos de configuración 164 incluye de preferencia múltiples configuraciones que, a su vez, tienen, cada una, múltiples casillas. Una configuración puede tener casillas dirigidas para su asignación a una película, director y tipo de película. Otra configuración puede tener casillas dirigidas a asignaciones relativas a la hora en la cual se representa dicha película, el canal y así sucesivamente.
La siguiente referencia se refiere a los analizadores sintácticos globales y configuraciones: R. Kuhn and R.D. Mori, Spoken Dialogues with Computers (Chapter 14: Sentence Interpretation), Academic Press, Boston (1998).
El administrador de diálogos 130 utiliza un archivo de datos históricos de diálogos 167 para ayudar a rellenar las casillas vacías antes de pedir información al usuario. El archivo de datos históricos de diálogos 167 contiene un registro de conversaciones que han tenido lugar a través del dispositivo de la presente invención. Por ejemplo, si un usuario dice "quisiera ver otra película de Marilyn Monroe", el administrador de diálogos 130 examina el archivo de datos históricos de diálogos 167 para comprobar que películas ha visto o rechazado ya el telespectador en un intercambio anterior de diálogos. Si el usuario ya rechazó "Some Like it Hot", entonces el administrador de diálogos 130 rellena la casilla vacía de títulos de películas con un título diferente. Si se ha rellenado un número de casillas suficiente, entonces la presente invención pedirá al usuario que compruebe y confirme la selección de programación. De este modo, si alguna suposición por parte del administrador de diálogos 130 utilizando el archivo de datos históricos de diálogos 167 demostrara ser incorrecta, el usuario puede corregir dicha suposición.
El analizador sintáctico de lenguaje natural 42 analiza y extrae semánticamente los temas importantes y de interés de un texto en lenguaje natural deficientemente estructurado el cual se ha generado como datos de salida de un sistema analizador de voz automático (ASR) utilizado por un sistema de diálogos o de comprensión del mensaje oral. El analizador sintáctico de lenguaje natural 42 traduce el texto de entrada en lenguaje natural a una nueva representación mediante la generación de etiquetas bien estructuradas que contienen datos e información de temas y la asociación de cada etiqueta con los segmentos de texto de entrada que contiene la información que figura en las etiquetas. Asimismo, pueden generarse etiquetas de otras formas tal como en listas aparte o con casilla semánti-
ca.
La solidez es una de las características del analizador sintáctico de lenguaje natural 42 ya que los datos de entrada pueden contener sentencias en inglés que sean gramáticamente incorrectas, debido a los siguientes motivos: los datos de entrada al analizador son informales, con estilo de un diálogo, el lenguaje natural puede contener sentencias cortadas, frases parciales y la inserción, omisión o mal reconocimiento de errores por el analizador de voz incluso cuando se considere que los mensajes orales de entrada son correctos. El analizador sintáctico de lenguaje natural 42 trata con eficacia todos los tipos de mensajes de entrada y extrae tanta información como sea posi-
ble.
La figura 4 representa los diferentes componentes del analizador sintáctico local 160 del analizador sintáctico de lenguaje natural 42. El analizador sintáctico de lenguaje natural 42 utiliza de preferencia técnicas de análisis sintáctico generalizadas en un enfoque de pasadas múltiples como computación de punto fijo. Se describe cada tema como una gramática LR (derivación izquierda-derecha y principalmente hacia la derecha) sensible al contexto, que permite ambigüedades. Las siguientes son referencias relacionadas con las gramáticas LR sensibles al contexto; A. Aho y J.D. Ullman, Principles of Compiler Design, Addison Wesley Publishing Co., Reading, Massachusetts (1977); y N. Tomita, Generalized LR Parsing, Kluwer Academic Publishers, Boston, Massachusetts (1991).
A cada pasada de computación, se utiliza un algoritmo de análisis sintáctico generalizado para generar de preferencia todos los posibles árboles de análisis sintáctico (completos y parciales) independientemente para cada tema objetivo. Cada pasada genera potencialmente varios árboles de análisis sintáctico alternativo, representando cada árbol de análisis sintáctico una posible interpretación diferente de un tema particular. Las múltiples pasadas a través de vías de preferencia paralelas e independientes dan por resultado una eliminación sustancial de ambigüedades y se solapan con otros temas diferentes. El algoritmo de análisis sintáctico generalizado es un modo sistemático de registrar todos los árboles de análisis sintáctico posibles de modo que se seleccionen los mejores candidatos (N) utilizando la información contextual presente en el sistema.
El sistema de análisis sintáctico local 160 se realiza en tres fases: análisis lexical 220; generación de un conjunto de árboles de análisis sintáctico paralelo para cada tema (por ejemplo, generadores 230 y 232); y análisis y síntesis de componentes de análisis sintáctico tal como se representa de forma general con la referencia numérica 234.
Análisis lexical
Un usuario dice una frase que es reconocida por un analizador de voz automático 217 que genera una sentencia de entrada 218. La fase de análisis lexical 220 identifica y genera etiquetas para los temas (que no precisan gramáticas extensas) en la sentencia de entrada 218 utilizando filtros lexicales 226 y 228. Estos incluyen, por ejemplo, nombres de películas; categorías de películas; productores; nombres de actores y actrices; y similares. Normalmente, en este nivel, basta con una exploración corriente de expresión de la sentencia de entrada 218 utilizando las palabras clave implicadas en las mencionadas etiquetas de ejemplos. Asimismo, en esta fase se realiza el etiquetado de palabras de la sentencia de entrada que no formen parte del léxico de la gramática particular. Se indican estas palabras utilizando una etiqueta X de modo que dicho sonido de palabra sea sustituido por la letra "X".
Generación de conjunto de árboles de análisis sintáctico paralelo
El analizador sintáctico 42 utiliza una estrategia de análisis sintáctico general de alto nivel para describir y analizar sintácticamente cada tema por separado y generar etiquetas y organizar su topografía en el flujo de entrada. Debido a la naturaleza del texto de entrada sin estructurar 218, cada analizador sintáctico de temas individuales acepta de preferencia un lenguaje tan amplio como sea posible, ignorándolo todo excepto las palabras importantes, tratando los errores de inserción y de corrección. El análisis sintáctico de cada tema implica la designación de reglas gramaticales sensibles al contexto utilizando un lenguaje de especificación de metanivel, muy similar a los que se utilizan en el análisis sintáctico LR. Entre los ejemplos de gramática se incluye la gramática A 240 y la gramática B 242. Utilizando el enfoque de la presente invención, se describen las gramáticas de temas 240 y 242 como si fueran gramática del tipo LR, que contengan redundancias y no eliminen desviaciones y reduzcan conflictos. El resultado del análisis sintáctico de una sentencia de entrada es el de todos los posibles análisis sintácticos basados en las especificaciones gramaticales.
Los generadores 230 y 232 generan conjuntos de árboles de análisis sintáctico 250 y 252 para sus temas. La generación de etiquetas se realiza sintetizando la información real encontrada en el árbol de análisis sintáctico obtenido durante dicho análisis sintáctico. La generación de etiquetas se realiza por medio de los generadores de etiquetas y de notas 260 y 262 que generan respectivamente las etiquetas 264 y 266. Cada etiqueta identificada lleva igualmente información sobre cual es el juego de palabras de entrada en la sentencia de entrada que está cubierto por la tarjeta. A continuación, la etiqueta sustituye su juego de cobertura. En el modo de realización preferido, se utiliza la información de contexto 267 para generar etiquetas y notas, tal como con los generadores 260 y 262. Se utiliza la información de contexto 267 en las heurísticas de anotación para ajustar las ponderaciones asociadas a la técnica del factor de anotación heurísticas que se indica a continuación. La información sobre el contexto 267 incluye de preferencia el vector de confianza de palabra 268 y las ponderaciones de contexto del diálogo 269. No obstante, debe quedar entendido que el analizador sintáctico 42 no se limita al uso del vector de confianza de palabra 268 y ponderaciones de contexto del diálogo 269 sino que incluye también el uso de uno excluyendo al otro, al igual que no la no utilización de información de contexto 267.
El bloque del proceso de análisis de voz 217 automático genera el vector de confianza de palabras 268 que indica hasta que punto se han reconocido las palabras de la sentencia de entrada 218. El administrador de diálogos 130 genera ponderaciones de contexto de diálogo 269 mediante la determinación del estado del diálogo. Por ejemplo, el administrador de diálogos 130 pregunta al usuario sobre un tema en particular, tal como, que tiempo de visualización es preferible. Debido a esta pregunta, el administrador de diálogos 130 determina que el estado del diálogo está orientado al tiempo. El administrador de diálogos 130 proporciona ponderaciones de contexto de diálogo 269 con el fin de informar de los procesos apropiados que ponderen más a fondo las palabras detectadas orientadas al tiempo.
Síntesis de componentes de etiquetas
El analizador sintáctico de localización de temas de la fase anterior genera una información importante que necesita ser analizada y combinada en conjunto para formar los datos de salida finales del analizador sintáctico local. El analizador sintáctico 42 es preferiblemente tan "agresivo" como sea posible en la localización de cada tema que resulte de la generación de múltiples candidatos a etiquetas. Asimismo, en presencia de ciertos números o palabras clave, tales como "entre", "antes", "y", "o", “aproximadamente”, etc. y, en especial si estas palabras han sido introducidas o se han descartado debido a errores de reconocimiento, es posible construir muchos candidatos a tarjeta alternativos. Por ejemplo, una sentencia de entrada podría tener errores de inserción u omisión. La frase combinada determina que etiquetas forman una interpretación con mayor sentido de los mensajes de entrada. El analizador sintáctico 42 define las heurísticas y realiza una selección basada en éstas utilizando un proceso de selección de mejores candidatos N. Cada etiqueta generada corresponde a un juego de palabras en la lista de palabras de los mensajes de entrada, que se llama el conjunto de cobertura de la etiqueta.
Se utiliza una heurística que tiene en cuenta los juegos de cobertura de las etiquetas utilizadas para generar una anotación. La anotación depende toscamente del tamaño del juego de cobertura, el número de palabras de los segmentos dentro de los temas cubiertos, y las ponderaciones asignadas a la presencia de ciertas palabras clave. En el modo de realización preferido, se utilizan el vector de confianza derivado del ASR y la información sobre el contexto del diálogo para asignar prioridades a las etiquetas. Por ejemplo, al aplicar primeramente el análisis sintáctico de etiquetas de un canal, potencialmente se suprimen los números relacionados con el canal que resulten más fáciles de identificar únicamente desde el flujo de entrada de datos, y deja menos números que creen ambigüedades con otras etiquetas. De preferencia, se utiliza la información del contexto del dialogo para ajustar las prioridades.
Selección de mejores candidatos N
Al final de cada pasada, un procesador de mejores N, 270, selecciona los mejores candidatos N basándose en las anotaciones asociadas a las etiquetas y genera las etiquetas de temas, que representan cada una la información que se encuentra en el árbol de análisis sintáctico correspondiente. En cuanto se han descubierto de este modo los temas, se pueden sustituir las palabras correspondientes de los mensajes de entrada con la información de la etiqueta. Esta transformación por sustitución elimina las palabras correspondientes del texto de entrada. Se retroalimentan los datos de salida 280 de cada pasada a la próxima pasada como nueva entrada ya que las sustituciones pueden ayudar a la eliminación de algunas ambigüedades debidas a gramáticas competidoras o bien ayudar a generar mejores árboles analizadores sintácticos por la filtración de símbolos que se solapen.
Cesa la computación cuando no se genere ninguna etiqueta adicional en la última pasada. Los datos de salida de la pasada final pasan a ser los datos de salida del analizador sintáctico global hacia el analizador sintáctico 162. Como cada fase solamente puede reducir el número de palabras en los mensajes de entrada y la longitud del texto de entrada es finita, el número de pasadas a la computación de punto fijo está linealmente limitado al tamaño de sus mensajes de entrada.
Se utilizan los siguientes factores de anotación para clasificar los árboles analizadores sintácticos alternativos basados en los siguientes atributos de un árbol analizador sintáctico:
\bullet
Número de símbolos terminales
\bullet
Número de símbolos no terminales
\bullet
Tamaño de los segmentos en los símbolos terminales
\bullet
Medidas de confianza ASR asociadas a cada símbolo terminal
\bullet
Ponderaciones ajustables al contexto asociadas a cada símbolo terminal y no terminal.
Cada vía corresponde de preferencia a un tema separado que se puede desarrollar independientemente, al trabajar con una pequeña cantidad de datos de forma computacionalmente económica. La arquitectura del analizador sintáctico 42 es flexible y modular incorporando así vías adicionales y gramáticas, para nuevos temas o el cambio de heurísticas de temas particulares es directo, esto permite igualmente desarrollar componentes reutilizables que se pueden compartir con diferentes sistemas con facilidad.
De lo que antecede, se observará que el sistema de mando a distancia de la invención ofrece una funcionalidad muy grande para el usuario que no se suele encontrar habitualmente en ningún sistema de control de guía de programa electrónico o sistema de mando a distancia. Aunque se ha descrito la invención en su modo de realización actualmente preferido, queda entendido que puede modificarse la invención sin salirse de su ámbito tal como se describe en las reivindicaciones adjuntas.

Claims (10)

1. Sistema de mando a distancia que comprende:
una caja manual (10) dotada de una interface de comunicación (14) por medio de la cual las instrucciones de mando son transmitidas a un componente remoto (12);
una pantalla de visualización (16) dispuesta en dicha caja;
un micrófono (26) dispuesto en dicha caja y que sirve para recibir mensajes orales de entrada;
un sistema analizador de voz (40) acoplado a dicho micrófono (26) para procesar dichos mensajes orales de entrada;
un fichero de datos históricos de diálogos (167) utilizado para registrar las conversaciones que han tenido lugar en el conjunto del sistema;
una memoria que contiene los datos de perfiles de usuarios (56);
un administrador de diálogos (54) conectado a dicho sistema analizador de voz (40), a dicha memoria de datos de perfiles de usuarios (56), y a dicha pantalla de visualización (16) para transmitir instrucciones de mando por medio de dicho interface de comunicación (14) y para presentar la información en la pantalla de visualización (16) basada al menos en parte, en la información obtenida de dicha memoria de perfiles de usuarios (56); y
un analizador sintáctico de lenguaje natural (42) en comunicación de datos con dicho sistema analizador de voz (40), funcionando el analizador sintáctico (42) para extraer un contenido semántico de dichos mensajes orales de entrada procesados y para acceder a una representación semántica de una guía de programación electrónica (46) y utilizar dicho contenido semántico extraído para generar instrucciones de mando para dicho componente remoto (12), donde el analizador sintáctico de lenguaje natural (42) es un analizador sintáctico basado en la tarea que emplea una gramática que comprende una pluralidad de configuraciones que comportan unas casillas que representan una estructura semántica de dicha guía de programación electrónica (46);
el administrador de diálogos (54) igualmente en comunicación con el analizador sintáctico de lenguaje natural (42) y el fichero de datos históricos de diálogos (167), siendo el administrador de diálogos (54) adaptado para recibir los mensajes orales de entrada procesados y rellenar casillas de una configuración basada en parte en el mensaje oral de entrada procesado y datos obtenidos del archivo de datos históricos de diálogos (167).
2. Sistema de mando a distancia según la reivindicación 1, donde dicho sistema analizador de voz incluye dicho analizador sintáctico de lenguaje natural para extraer la información semántica del mensaje oral de entrada a través de dicho micrófono.
3. Sistema de mando a distancia según la reivindicación 1, donde dicho sistema analizador de voz incluye dicho analizador sintáctico de lenguaje natural que tiene una memoria de datos correspondiente que contiene una representación de la guía de programación electrónica, y donde dicho analizador sintáctico extrae selectivamente la información procedente de la guía de programación basada en la información de mensajes orales de entrada a través dicho micrófono.
4. Sistema de mando a distancia según la reivindicación 1, donde dicho sistema analizador de voz incluye una memoria de datos que contiene una representación de dicha guía de programación electrónica y un sistema para actualizar selectivamente el contenido de la memoria de datos.
5. Sistema de mando a distancia según la reivindicación 4, donde dicho sistema para actualizar selectivamente el contenido de dicha memoria incluye un sintonizador que permite acceder a una fuente de información de la guía de programación electrónica.
6. Sistema de mando a distancia según la reivindicación 4, donde dicho sistema para actualizar selectivamente el contenido de dicha memoria incluye un sistema de acceso a internet para acceder a una fuente de información de la guía de programación electrónica.
7. Sistema de mando a distancia según la reivindicación 4, donde dicho sistema analizador de voz presenta un primer componente dispuesto en el interior de dicha caja manual y un segundo componente dispuesto en el exterior de dicha caja manual.
\newpage
8. Sistema de mando a distancia según la reivindicación 7, donde dicho primer componente genera una señal auditiva de campo para su transmisión a dicho segundo componente.
9. Sistema de mando a distancia según la reivindicación 7, donde dicho primer componente extrae parámetros de voz a partir del mensaje oral de entrada de un usuario y transmite estos parámetros a dicho segundo componente para su análisis.
10. Sistema de mando a distancia según la reivindicación 1, donde después de que se hayan rellenado las casillas, se pide al usuario la confirmación de la selección de una programación.
ES00306975T 1999-08-26 2000-08-15 Dispositivo de control remoto basado en la palabra. Expired - Lifetime ES2251942T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/383,762 US6553345B1 (en) 1999-08-26 1999-08-26 Universal remote control allowing natural language modality for television and multimedia searches and requests
US383762 1999-08-26

Publications (1)

Publication Number Publication Date
ES2251942T3 true ES2251942T3 (es) 2006-05-16

Family

ID=23514622

Family Applications (1)

Application Number Title Priority Date Filing Date
ES00306975T Expired - Lifetime ES2251942T3 (es) 1999-08-26 2000-08-15 Dispositivo de control remoto basado en la palabra.

Country Status (5)

Country Link
US (1) US6553345B1 (es)
EP (1) EP1079371B1 (es)
JP (1) JP3554262B2 (es)
DE (1) DE60023613D1 (es)
ES (1) ES2251942T3 (es)

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040160414A1 (en) * 1996-07-05 2004-08-19 Armstrong Brad A. Image controller
CA2748396A1 (en) * 1999-10-19 2001-04-26 Sony Electronics Inc. Natural language interface control system
US6982962B1 (en) * 2000-04-10 2006-01-03 3Com Corporation System and method for selecting a network access provider using a portable information device
DE10021389A1 (de) * 2000-05-03 2001-11-08 Nokia Mobile Phones Ltd Verfahren zum Steuern eines Systems, insbesondere eines elektrischen und/oder elektronischen Systems mit zumindest einer Anwendungseinrichtung
WO2001084539A1 (en) * 2000-05-03 2001-11-08 Koninklijke Philips Electronics N.V. Voice commands depend on semantics of content information
US6711699B1 (en) * 2000-05-04 2004-03-23 International Business Machines Corporation Real time backup system for information based on a user's actions and gestures for computer users
US20020019732A1 (en) * 2000-07-12 2002-02-14 Dan Kikinis Interactivity using voice commands
JP2002055763A (ja) * 2000-08-11 2002-02-20 Alps Electric Co Ltd コントローラ
US7216080B2 (en) 2000-09-29 2007-05-08 Mindfabric Holdings Llc Natural-language voice-activated personal assistant
US7162422B1 (en) * 2000-09-29 2007-01-09 Intel Corporation Apparatus and method for using user context information to improve N-best processing in the presence of speech recognition uncertainty
US6728676B1 (en) * 2000-10-19 2004-04-27 International Business Machines Corporation Using speech recognition to improve efficiency of an inventory task
US6941266B1 (en) * 2000-11-15 2005-09-06 At&T Corp. Method and system for predicting problematic dialog situations in a task classification system
US20040085162A1 (en) * 2000-11-29 2004-05-06 Rajeev Agarwal Method and apparatus for providing a mixed-initiative dialog between a user and a machine
US20020087316A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented grammar-based speech understanding method and system
US7027987B1 (en) * 2001-02-07 2006-04-11 Google Inc. Voice interface for a search engine
US7516076B2 (en) 2001-03-14 2009-04-07 At&T Intellectual Property Ii, L.P. Automated sentence planning in a task classification system
US7574362B2 (en) * 2001-03-14 2009-08-11 At&T Intellectual Property Ii, L.P. Method for automated sentence planning in a task classification system
US7729918B2 (en) 2001-03-14 2010-06-01 At&T Intellectual Property Ii, Lp Trainable sentence planning system
US7039590B2 (en) * 2001-03-30 2006-05-02 Sun Microsystems, Inc. General remote using spoken commands
EP1259069A1 (en) * 2001-05-15 2002-11-20 Deutsche Thomson-Brandt Gmbh Method for modifying a user interface of a consumer electronic apparatus, corresponding consumer electronic apparatus
US6996528B2 (en) * 2001-08-03 2006-02-07 Matsushita Electric Industrial Co., Ltd. Method for efficient, safe and reliable data entry by voice under adverse conditions
US20030061033A1 (en) * 2001-09-26 2003-03-27 Dishert Lee R. Remote control system for translating an utterance to a control parameter for use by an electronic device
US7324947B2 (en) 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7254543B2 (en) 2001-12-18 2007-08-07 Toshio Ibaraki Television apparatus having speech recognition function, and method of controlling the same
US7203644B2 (en) * 2001-12-31 2007-04-10 Intel Corporation Automating tuning of speech recognition systems
US20030191629A1 (en) * 2002-02-04 2003-10-09 Shinichi Yoshizawa Interface apparatus and task control method for assisting in the operation of a device using recognition technology
US8126713B2 (en) * 2002-04-11 2012-02-28 Shengyang Huang Conversation control system and conversation control method
US7007234B2 (en) * 2002-06-05 2006-02-28 Thomson Licensing Method and apparatus for performing a set up operation for a video system
NO318841B1 (no) * 2002-08-20 2005-05-09 Telenor Asa System og fremgangsmate for a gi mobiltjenester hoyere tilgjengelighet
US7774815B1 (en) 2002-09-30 2010-08-10 Arris Group, Inc. Context-sensitive interactive television ticker
US20040064839A1 (en) * 2002-09-30 2004-04-01 Watkins Daniel R. System and method for using speech recognition control unit
US20030115062A1 (en) * 2002-10-29 2003-06-19 Walker Marilyn A. Method for automated sentence planning
US7783486B2 (en) * 2002-11-22 2010-08-24 Roy Jonathan Rosser Response generator for mimicking human-computer natural language conversation
KR100500962B1 (ko) * 2002-11-29 2005-07-14 주식회사 알티캐스트 터치 스크린이 구비된 대화형 텔레비전의 무선 입력 장치
US20060206335A1 (en) * 2003-03-17 2006-09-14 Eric Thelen Method for remote control of an audio device
US7885963B2 (en) * 2003-03-24 2011-02-08 Microsoft Corporation Free text and attribute searching of electronic program guide (EPG) data
US20040203387A1 (en) * 2003-03-31 2004-10-14 Sbc Knowledge Ventures, L.P. System and method for controlling appliances with a wireless data enabled remote control
US8301436B2 (en) * 2003-05-29 2012-10-30 Microsoft Corporation Semantic object synchronous understanding for highly interactive interface
US20050027539A1 (en) * 2003-07-30 2005-02-03 Weber Dean C. Media center controller system and method
CA2537977A1 (en) * 2003-09-05 2005-03-17 Stephen D. Grody Methods and apparatus for providing services using speech recognition
US7349758B2 (en) * 2003-12-18 2008-03-25 Matsushita Electric Industrial Co., Ltd. Interactive personalized robot for home use
US20050146507A1 (en) * 2004-01-06 2005-07-07 Viredaz Marc A. Method and apparatus for interfacing with a graphical user interface using a control interface
EP1562180B1 (en) * 2004-02-06 2015-04-01 Nuance Communications, Inc. Speech dialogue system and method for controlling an electronic device
US20090164215A1 (en) * 2004-02-09 2009-06-25 Delta Electronics, Inc. Device with voice-assisted system
US20050256720A1 (en) * 2004-05-12 2005-11-17 Iorio Laura M Voice-activated audio/visual locator with voice recognition
KR100621593B1 (ko) * 2004-09-24 2006-09-19 삼성전자주식회사 다중양식의 입력을 이용하는 통합 원격 제어 장치 및 방법
US7716056B2 (en) * 2004-09-27 2010-05-11 Robert Bosch Corporation Method and system for interactive conversational dialogue for cognitively overloaded device users
US8015184B2 (en) * 2004-10-26 2011-09-06 Yahoo! Inc. Method and apparatus for a search-enabled remote control device
GB2422700A (en) * 2005-01-27 2006-08-02 Inventec Multimedia & Telecom Digitised wireless remote control of personal video recorder
US20060173681A1 (en) * 2005-02-01 2006-08-03 Bae Systems Information And Electronic Systems Integration Inc Semi-covert emergency transmitter
US20060212899A1 (en) * 2005-03-17 2006-09-21 Ryan Steelberg System and method for broadcast tagging
KR100723404B1 (ko) * 2005-03-29 2007-05-30 삼성전자주식회사 음성 인식 및 반응을 위한 음성 처리 장치와 방법
US20060235701A1 (en) * 2005-04-13 2006-10-19 Cane David A Activity-based control of a set of electronic devices
US20060235698A1 (en) * 2005-04-13 2006-10-19 Cane David A Apparatus for controlling a home theater system by speech commands
US20060253272A1 (en) * 2005-05-06 2006-11-09 International Business Machines Corporation Voice prompts for use in speech-to-speech translation system
US7460996B2 (en) * 2005-06-23 2008-12-02 Microsoft Corporation Using strong data types to express speech recognition grammars in software programs
US8265939B2 (en) * 2005-08-31 2012-09-11 Nuance Communications, Inc. Hierarchical methods and apparatus for extracting user intent from spoken utterances
JP4849662B2 (ja) * 2005-10-21 2012-01-11 株式会社ユニバーサルエンターテインメント 会話制御装置
JP4846336B2 (ja) * 2005-10-21 2011-12-28 株式会社ユニバーサルエンターテインメント 会話制御装置
JP4849663B2 (ja) * 2005-10-21 2012-01-11 株式会社ユニバーサルエンターテインメント 会話制御装置
JP2009009170A (ja) * 2005-10-24 2009-01-15 Advanced Media Inc 情報検索システム及びサーバ装置
US8700403B2 (en) * 2005-11-03 2014-04-15 Robert Bosch Gmbh Unified treatment of data-sparseness and data-overfitting in maximum entropy modeling
JP2007142840A (ja) * 2005-11-18 2007-06-07 Canon Inc 情報処理装置及び情報処理方法
US9247175B2 (en) * 2005-11-30 2016-01-26 Broadcom Corporation Parallel television remote control
US8054294B2 (en) 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US8607281B2 (en) 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US9386269B2 (en) 2006-09-07 2016-07-05 Rateze Remote Mgmt Llc Presentation of data on multiple display devices using a wireless hub
US20080114604A1 (en) * 2006-11-15 2008-05-15 Motorola, Inc. Method and system for a user interface using higher order commands
US7640272B2 (en) * 2006-12-07 2009-12-29 Microsoft Corporation Using automated content analysis for audio/video content consumption
US11316688B2 (en) 2006-12-29 2022-04-26 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US8280978B2 (en) 2006-12-29 2012-10-02 Prodea Systems, Inc. Demarcation between service provider and user in multi-services gateway device at user premises
US20170344703A1 (en) 2006-12-29 2017-11-30 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9602880B2 (en) 2006-12-29 2017-03-21 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US11783925B2 (en) 2006-12-29 2023-10-10 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9569587B2 (en) 2006-12-29 2017-02-14 Kip Prod Pi Lp Multi-services application gateway and system employing the same
US20080235590A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of accessing a multimedia timeline
US20080235595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Device and method for accessing a multimedia timeline
US20080235403A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System, method, and device to wirelessly communicate multimedia timeline data
US20080231595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Remote control apparatus and method of interacting with a multimedia timeline user interface
US20080235247A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of adding data objects to a multimedia timeline
US8745501B2 (en) * 2007-03-20 2014-06-03 At&T Knowledge Ventures, Lp System and method of displaying a multimedia timeline
US20080235763A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of providing security for a multimedia timeline
US8301618B2 (en) * 2008-02-26 2012-10-30 Microsoft Corporation Techniques to consume content and metadata
US8358909B2 (en) * 2008-02-26 2013-01-22 Microsoft Corporation Coordinated output of messages and content
US9264669B2 (en) 2008-02-26 2016-02-16 Microsoft Technology Licensing, Llc Content management that addresses levels of functionality
EP2141674B1 (de) * 2008-07-01 2019-03-06 Deutsche Telekom AG Anordnung mit fernbedienbarem Gerät
US9129008B1 (en) * 2008-11-10 2015-09-08 Google Inc. Sentiment-based classification of media content
US8291459B2 (en) * 2009-07-15 2012-10-16 Comcast Cable Communications, Llc Communication signaling engine
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
US8694313B2 (en) * 2010-05-19 2014-04-08 Google Inc. Disambiguation of contact information using historical data
KR20120020853A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US8897897B2 (en) 2011-05-25 2014-11-25 Remote Technologies, Inc. Companion control interface for smart devices
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8830165B1 (en) * 2012-01-24 2014-09-09 Google Inc. User interface
CN103297725A (zh) * 2012-02-28 2013-09-11 联想(北京)有限公司 一种电子设备控制方法及装置、遥控器
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
WO2013190956A1 (ja) * 2012-06-19 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
US9053708B2 (en) * 2012-07-18 2015-06-09 International Business Machines Corporation System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment
TW201408050A (zh) * 2012-08-09 2014-02-16 Wistron Corp 控制方法與影音播放系統
CN103578472A (zh) * 2012-08-10 2014-02-12 海尔集团公司 电器设备的控制方法和控制装置
US8473300B1 (en) * 2012-09-26 2013-06-25 Google Inc. Log mining to modify grammar-based text processing
US9191707B2 (en) 2012-11-08 2015-11-17 Bank Of America Corporation Automatic display of user-specific financial information based on audio content recognition
US9027048B2 (en) 2012-11-14 2015-05-05 Bank Of America Corporation Automatic deal or promotion offering based on audio cues
KR20140093303A (ko) * 2013-01-07 2014-07-28 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US20150031416A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device For Command Phrase Validation
CN104750257A (zh) * 2013-12-30 2015-07-01 鸿富锦精密工业(武汉)有限公司 键盘组合及语音识别方法
US11314826B2 (en) 2014-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method for searching and device thereof
US9990433B2 (en) 2014-05-23 2018-06-05 Samsung Electronics Co., Ltd. Method for searching and device thereof
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
KR101929372B1 (ko) 2014-05-30 2018-12-17 애플 인크. 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환
DE102014108371B4 (de) * 2014-06-13 2016-04-14 LOEWE Technologies GmbH Verfahren zur Sprachsteuerung von unterhaltungselektronischen Geräten
EP3584671B1 (en) 2014-06-27 2022-04-27 Apple Inc. Manipulation of calendar application in device with touch screen
TWI647608B (zh) 2014-07-21 2019-01-11 美商蘋果公司 遠端使用者介面
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
CN115623117A (zh) 2014-09-02 2023-01-17 苹果公司 电话用户界面
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN107871500B (zh) * 2017-11-16 2021-07-20 百度在线网络技术(北京)有限公司 一种播放多媒体的方法和装置
US10991369B1 (en) * 2018-01-31 2021-04-27 Progress Software Corporation Cognitive flow
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR20220027295A (ko) 2019-05-31 2022-03-07 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5267323A (en) 1989-12-29 1993-11-30 Pioneer Electronic Corporation Voice-operated remote control system
JP3369584B2 (ja) * 1991-11-20 2003-01-20 株式会社シーエスケイ 日本語構文解析装置
JPH06266779A (ja) * 1993-03-15 1994-09-22 Hitachi Ltd 制御装置
US5774859A (en) 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
ATE290293T1 (de) * 1995-10-02 2005-03-15 Starsight Telecast Inc Vorrichtungen und verfahren zur bereitstellung von fernsehprogramminformation
DE19615437C1 (de) * 1996-04-19 1997-07-31 Univ Karlsruhe Verfahren und Einrichtung zur Programmierung eines Videorecorders
JPH09322086A (ja) * 1996-05-31 1997-12-12 Hitachi Ltd 番組予約システム
AU3294997A (en) 1996-06-13 1998-01-07 Starsight Telecast Incorporated Method and apparatus for searching a guide using program characteristics
US5878385A (en) 1996-09-16 1999-03-02 Ergo Linguistic Technologies Method and apparatus for universal parsing of language
JP2001511958A (ja) 1996-10-08 2001-08-14 アレン チャン 音声で知らせる表示付きリモートコントロール
US5889506A (en) * 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
DE69712485T2 (de) * 1997-10-23 2002-12-12 Sony Int Europe Gmbh Sprachschnittstelle für ein Hausnetzwerk
JPH11224179A (ja) * 1998-02-05 1999-08-17 Fujitsu Ltd 対話インタフェース・システム
US6246981B1 (en) * 1998-11-25 2001-06-12 International Business Machines Corporation Natural language task-oriented dialog manager and method
US6314398B1 (en) 1999-03-01 2001-11-06 Matsushita Electric Industrial Co., Ltd. Apparatus and method using speech understanding for automatic channel selection in interactive television
US6643620B1 (en) 1999-03-15 2003-11-04 Matsushita Electric Industrial Co., Ltd. Voice activated controller for recording and retrieving audio/video programs
US6324512B1 (en) * 1999-08-26 2001-11-27 Matsushita Electric Industrial Co., Ltd. System and method for allowing family members to access TV contents and program media recorder over telephone or internet

Also Published As

Publication number Publication date
EP1079371A1 (en) 2001-02-28
EP1079371B1 (en) 2005-11-02
JP2001148814A (ja) 2001-05-29
JP3554262B2 (ja) 2004-08-18
US6553345B1 (en) 2003-04-22
DE60023613D1 (de) 2005-12-08

Similar Documents

Publication Publication Date Title
ES2251942T3 (es) Dispositivo de control remoto basado en la palabra.
US6330537B1 (en) Automatic filtering of TV contents using speech recognition and natural language
ES2225023T3 (es) Metodo y dispositivo de eleccion automatica de canales de television interactiva basado en la comprension del habla.
JP3566194B2 (ja) インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法
US6513006B2 (en) Automatic control of household activity using speech recognition and natural language
JP3577454B2 (ja) 記録されたテレビジョン放送についての情報を記憶するための機構
US6324512B1 (en) System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US6415257B1 (en) System for identifying and adapting a TV-user profile by means of speech technology
ES2207463T3 (es) Busqueda automatica de canales de audio por reconocimiento de palabras pronunciadas por el usuario en el texto oculto o en los contenidos de audio para television interactiva.
US6643620B1 (en) Voice activated controller for recording and retrieving audio/video programs
CN108063969B (zh) 显示设备、控制显示设备的方法、服务器以及控制服务器的方法
EP1079615A2 (en) System for identifying and adapting a TV-user profile by means of speech technology
US20040193426A1 (en) Speech controlled access to content on a presentation medium
US6456978B1 (en) Recording information in response to spoken requests
US20200342033A1 (en) Recommending results in multiple languages for search queries based on user profile
KR101962126B1 (ko) 음성 인식 결과에 따라 데이터베이스에 액세스하는 멀티미디어 디바이스 및 그 제어 방법
WO2001084539A1 (en) Voice commands depend on semantics of content information
KR20070077757A (ko) Dab/dmb 방송 시스템에서 음성 태그가 추가된epg xml을 이용한 음성 epg 서비스 제공 시스템및 방법
EP3625794B1 (en) Recommending results in multiple languages for search queries based on user profile
Gruenstein Toward widely-available and usable multimodal conversational interfaces