ES2235520T3 - Interfaz de usuario interactiva que emplea reconocimiento de voz y tratamiento del lenguaje natural. - Google Patents

Abstract

Un método para interactuar con un ordenador utilizando pronunciaciones, comprendiendo el método los pasos de: - buscar en un primer fichero de gramática (212) una frase de coincidencia para dicha pronunciación; - buscar en un segundo fichero de gramática (214) una frase de coincidencia si dicha frase de coincidencia no ha sido encontrada en dicho primer fichero de gramática; - buscar en una base de datos (218) de procesamiento de lenguaje natural (NLP) una entrada de coincidencia para dicha frase de coincidencia, representando las entradas frases que son conocidas por la base de datos NLP; - realizar una acción asociada con dicha entrada de coincidencia si dicha entrada de coincidencia es encontrada en dicha base de datos.

Description

Interfaz de usuario interactiva que emplea reconocimiento de voz y tratamiento del lenguaje natural.

Antecedentes del invento I. Campo del invento

El presente invento se refiere al reconocimiento de voz para interfaz de usuario de ordenador. Más específicamente, el presente invento se refiere a un sistema y método nuevos para interacción de interfaz de usuario con un ordenador que utiliza reconocimiento de voz y procesamiento de lenguaje natural.

II. Descripción de la técnica relacionada

A medida que los ordenadores se han hecho más usuales en la sociedad se ha comprobado que muchas personas tienen gran dificultad para entenderse y comunicarse con ordenadores. Un usuario a menudo tiene que aprender instrucciones anticuadas y procedimientos no intuitivos con el fin de manejar el ordenador. Por ejemplo, la mayoría de los ordenadores personales utilizan sistemas operativos basados en "windows", que están en gran medida dirigidos por un menú. Esto requiere que el usuario aprenda qué instrucciones de menú o secuencia de instrucciones producen los resultados deseados.

Además, la tradicional interacción con un ordenador a menudo se hace más lenta debido a los dispositivos de entrada de datos tales como teclados o ratones. Muchos usuarios de ordenador no son mecanógrafos rápidos. Como consecuencia, se emplea mucho tiempo en comunicar instrucciones y palabras al ordenador a través de estos dispositivos de introducción manuales. Está claro que se necesita un método más fácil, más rápido y más intuitivo de comunicación con los ordenadores.

Un método propuesto de interacción con ordenador es el de reconocimiento de voz. El reconocimiento de voz implica que el "software" y el "hardware" actúen conjuntamente para detectar por audición la voz humana y traducir la voz detectada en una secuencia de palabras. Como se conoce en la técnica, el reconocimiento de voz funciona descomponiendo sonidos que el "hardware" detecta en sonidos más pequeños no divisibles denominados fonemas. Los fonemas son unidades de sonido diferentes. Por ejemplo, la palabra "those" está compuesta por tres fonemas; el primero es el sonido "th", el segundo es el sonido "o", y el tercero es el sonido "s". El "software" de reconocimiento de voz intenta comparar los fonemas detectados con palabras conocidas procedentes de un diccionario almacenado. En la Patente de EEUU Nº 4.783.803, publicada el 8 de noviembre de 1998, se da un ejemplo de un sistema de reconocimiento de voz denominado "Aparato y método de reconocimiento de voz", propiedad de Dragon Systems, Inc., incorporada aquí como referencia. Actualmente, hay muchos paquetes de "software" de reconocimiento de voz disponibles en compañías tales como Dragon Systems, Inc. e International Business Machines, Inc.

Una limitación de estos paquetes o sistemas de "software" de reconocimiento de voz es que normalmente sólo realizan funciones de instrucción y control o de dictado. Así, el usuario todavía necesita aprender un vocabulario de instrucciones con el fin de manejar el ordenador.

Una mejora propuesta a estos sistemas de reconocimiento de voz es procesar las palabras detectadas utilizando un sistema de procesamiento de lenguaje natural. El procesamiento de lenguaje natural implica determinar un "significado" conceptual (por ejemplo, qué significado intentaba transmitir el orador) de las palabras detectadas analizando sus relaciones gramaticales y el contexto relativo. Por ejemplo, la Patente de EEUU Nº 4.887.212, titulada "Analizador para texto de lenguaje natural", publicada el 12 de diciembre de 1989, propiedad de International Business Machines Corporation, e incorporada como referencia aquí, explica un método para analizar una corriente de entrada de palabras utilizando el aislamiento de la palabra, el análisis morfológico, la consulta al diccionario y el análisis gramatical.

El procesamiento de lenguaje natural utilizado en combinación con el reconocimiento de voz proporciona una poderosa herramienta para manejar un ordenador utilizando palabras habladas en vez de la introducción manual tal como con un teclado alfabético o un ratón. Sin embargo, un inconveniente de un sistema de procesamiento de lenguaje natural consiste en que puede fallar en determinar el "significado" correcto de las palabras detectadas por el sistema de reconocimiento de voz. En tal caso, el usuario es normalmente requerido para recomponer o exponer de nuevo la frase, con la esperanza de que el sistema de procesamiento de lenguaje natural determine el "significado" correcto en intentos sucesivos. Claramente, esto puede acarrear sustanciales retrasos, ya que el usuario es requerido para exponer de nuevo toda la oración o instrucción.

Otro inconveniente de los sistemas convencionales consiste en que el tiempo de procesamiento requerido para el reconocimiento de voz puede ser prohibitivamente largo. Esto es principalmente debido a la velocidad finita de los recursos de procesamiento en comparación con la gran cantidad de información que ha de procesarse. Por ejemplo, en muchos programas convencionales de reconocimiento de voz, el tiempo requerido para reconocer la pronunciación es largo debido al tamaño del fichero del diccionario que se está buscando.

Un inconveniente adicional de los sistemas convencionales de reconocimiento de voz y de procesamiento de lenguaje natural consiste en que no son interactivos. Como consecuencia, no es posible una interacción del estilo conversacional con el ordenador. El usuario es requerido para comunicar al ordenador conceptos completos. El usuario no es capaz de hablar en fragmentos de oración debido a que se perderá el significado de estos fragmentos de oración (que es dependiente del significado de pronunciaciones previas). La patente EP-A-0834862 explica un método de reconocimiento de voz en el que, basado en un conjunto de subgramáticas de frases que contienen frases clave, se detectan partes semánticamente significantes de una oración y se rechazan las partes no pertinentes.

Lo que es necesario es un interfaz de usuario interactivo para un ordenador que utilice procesamiento de lenguaje, lo que evita los inconvenientes mencionados anteriormente.

Resumen del invento

El presente invento es un sistema y método nuevos y mejorados para interactuar con un ordenador que utiliza pronunciaciones, procesamiento de voz y procesamiento de lenguaje natural. Genéricamente, el sistema comprende un procesador de voz para buscar en un primer fichero de gramática una frase de coincidencia para la pronunciación, y para buscar en un segundo fichero de gramática la frase de coincidencia si la frase de coincidencia no se ha encontrado en el primer fichero de gramática. El sistema también incluye un procesador de lenguaje natural para buscar en una base de datos una entrada de coincidencia para la frase de coincidencia; y un interfaz de aplicación para realizar una acción asociada con la entrada de coincidencia si la entrada de coincidencia se ha encontrado en la base de datos.

En la realización preferida el procesador de lenguaje natural actualiza al menos una de las bases de datos, el primer fichero de gramática y el segundo fichero de gramática con la frase de coincidencia si la frase de coincidencia no se encuentra en la base de datos.

El primer fichero de gramática es un fichero de gramática específico de contextos. Un fichero de gramática específico de contextos es uno que contiene palabras y frases que son altamente pertinentes a un sujeto específico. El segundo fichero de gramática es un fichero de gramática general. Un fichero de gramática general es uno que contiene palabras y frases que no necesitan ser interpretadas a la luz de un contexto. Es decir, las palabras y frases del fichero de gramática general no pertenecen a ningún contexto matriz. Buscando el fichero de gramática específico de contextos antes de buscar el fichero de gramática general, el presente invento permite que el usuario se comunique con el ordenador utilizando un estilo más conversacional, en el que las palabras habladas, si se han encontrado en el fichero de gramática de contextos, son interpretadas a la luz de la materia objeto más recientemente discutida.

En un aspecto posterior del presente invento, el procesador de voz busca una gramática de dictado para la frase de coincidencia si la frase de coincidencia no se ha encontrado en el fichero de gramática general. La gramática de dictado es un amplio vocabulario de palabras y frases generales. Buscando primeramente las gramáticas específicas de contextos y generales, se espera que el tiempo de reconocimiento de voz se reduzca en gran medida debido a que las gramáticas específicas de contextos y generales son ficheros físicamente menores que la gramática de dictado.

En otro aspecto del presente invento, el procesador de lenguaje natural sustituye al menos una palabra en la frase de coincidencia antes de buscar la base de datos. Esto puede conseguirse mediante un sustituidor variable en el procesador de lenguaje natural para sustituir un comodín por al menos una palabra en la frase de coincidencia. Sustituyendo un comodín por ciertas palabras (llamadas "variables de palabras") en la frase, el número de entradas en la base de datos puede reducirse de forma significativa. Adicionalmente, un sustituidor de pronombres en el procesador de lenguaje natural puede sustituir un nombre adecuado por pronombres en la frase de coincidencia, lo que permite almacenar hechos específicos del usuario en la base de datos.

En otro aspecto del presente invento, un texto formateador de secuencias de palabras formatea la frase de coincidencia antes de buscar la base de datos. También un ponderador de palabras pondera las palabras individuales en la frase de coincidencia de acuerdo con una significancia relativa de las palabras individuales antes de buscar la base de datos. Estos pasos permiten una búsqueda más rápida y precisa de la
base de datos.

Un motor de búsqueda en el procesador de lenguaje natural genera un valor de confianza de la entrada de coincidencia. El procesador de lenguaje natural compara el valor de confianza con un valor umbral. Un comprobador booleano determina si un número de palabras requerido de la frase de coincidencia están presentes en la entrada de coincidencia. Esta comprobación booleana sirve como verificación de los resultados producidos por el motor de búsqueda.

Con el fin de despejar ambigüedades, el procesador de lenguaje natural pregunta al usuario si la entrada de coincidencia es una interpretación correcta de la pronunciación si el número de palabras requerido de la frase de coincidencia no están presentes en la entrada de coincidencia. El procesador de lenguaje natural también pregunta al usuario información adicional si la entrada de coincidencia no es una interpretación correcta de la pronunciación. Al menos una de las bases de datos, el primer fichero de gramática y el segundo fichero de gramática son actualizados con la información adicional. De esta forma, el presente invento "aprende" adaptativamente el significado de pronunciaciones adicionales, mejorando así la eficiencia del interfaz de usuario.

Finalmente, el procesador de voz facilitará y buscará una gramática específica de contextos asociada con la entrada de coincidencia para una posterior pronunciación. Esto asegura que primeramente se buscarán las palabras y frases más pertinentes, disminuyendo así los tiempos de reconocimiento de voz.

Breve descripción de los dibujos

A partir de la descripción detallada expuesta se apreciarán mejor las características, objetos y ventajas del presente invento al tomarlas conjuntamente con los dibujos en los que caracteres de referencia iguales identifican elementos iguales en todo el texto y en los que:

La Figura 1 es un diagrama de bloques funcional de un sistema de ordenador a modo de ejemplo para ser usado con el presente invento;

la Figura 2 es un diagrama de bloques funcional ampliado del CPU 102 y del medio de almacenamiento 108 del sistema de ordenador de la Figura 1 del presente invento;

las Figuras 3A-3D son un diagrama de flujos del método del presente invento; y

la Figura 4 es un diagrama de columnas seleccionadas de una base de datos de procesador de lenguaje natural (NPL) del presente invento.

Descripción detallada de las realizaciones preferidas

A continuación se describirá el presente invento haciendo referencia a un diagrama de bloques funcional de un sistema de ordenador a modo de ejemplo 100 de la Figura 1. En la Figura 1, el sistema de ordenador 100 incluye una unidad central de proceso (CPU) 102. La CPU 102 puede ser cualquier microprocesador o microcontrolador de tipo general de los conocidos en la técnica, adecuadamente programado para realizar el método descrito aquí con referencia a las Figuras 3A-3D. Por ejemplo, la CPU 102 puede ser un microprocesador convencional tal como el procesador Pentium II fabricado por Intel Corporation o similar.

La CPU 102 se comunica con una pluralidad de equipos periféricos, que incluyen una pantalla 104, introducción manual 106, medio de almacenamiento 108, micrófono 110, altavoz 112, y puerto de introducción de datos 114. La visualización 104 puede ser una pantalla visual tal como una CRT, una pantalla LCD, una pantalla sensible al tacto, u otros monitores de los conocidos en la técnica para que el usuario pueda visualizar imágenes y texto. La introducción manual 106 puede ser teclado alfabético, teclado numérico, ratón, esfera de seguimiento, u otro dispositivo de introducción de los conocidos en la técnica para la introducción manual de datos. El medio de almacenamiento 108 puede ser una memoria convencional leer/escribir tal como una unidad de disco magnético, una unidad de disco flexible, una unidad de CDROM, una memoria de silicio u otro dispositivo de memoria de los conocidos en la técnica para almacenar y recuperar datos. Significativamente, el medio de almacenamiento 108 puede estar situado a distancia de la CPU 102, y puede estar conectado a la CPU por medio de una red tal como una red de área local (LAN), o una red de área amplia (WAN), o Internet. El micrófono 110 puede ser cualquier micrófono adecuado de los conocidos en la técnica para proporcionar señales de audio a la CPU 102. El altavoz 112 puede ser cualquier altavoz adecuado de los conocidos en la técnica para reproducir señales de audio de la CPU 102. Se sobreentiende que el micrófono 110 y el altavoz 112 pueden incluir circuitos de conversión digital a analógica y analógica a digital según proceda. El puerto de introducción 114 puede ser cualquier puerto de datos de los conocidos en la técnica para conectar con cualquier accesorio externo que utilice un protocolo de datos tal como RS-232, Bus Serie Universal, o similar.

Así, la Figura 1 ilustra los elementos funcionales de un sistema de ordenador 100. Cada uno de los elementos del sistema de ordenador 100 pueden ser componentes adecuados disponibles comercialmente como se ha descrito anteriormente. El presente invento proporciona un método y sistema para conectar con el sistema de ordenador 100 utilizando la voz.

Volviendo ahora a la Figura 2, en ella se ilustra un diagrama de bloques funcional ampliado de la CPU 102 y del medio de almacenamiento 108. La CPU 102 incluye un procesador de reconocimiento de voz 220, un procesador de lenguaje natural 202 y un interfaz de aplicación 220. El procesador de lenguaje natural 202 incluye además un sustituidor de variables 204, un formateador de secuencias de caracteres 206, un ponderador de palabras 208, un comprobador booleano 210, un sustituidor de pronombres 211, y un motor de búsqueda 213. El medio de almacenamiento 108 incluye una pluralidad de ficheros gramaticales específicos de contextos 212, un fichero de gramática general 214, una gramática de dictado 216, y una base de datos 218 del procesador de lenguaje natural (NLP). En la realización preferida, los ficheros gramaticales 212, 214, y 216 son ficheros Bakus-Naur Form (BNF) que describen la estructura del lenguaje hablado por el usuario. Los ficheros BNF son bien conocidos en la técnica para describir la estructura del lenguaje, por lo que aquí no se discutirán detalles de los ficheros BNF. Una ventaja de los ficheros BNF consiste en que se pueden utilizar estructuras jerarquizadas de tipo árbol para describir secuencias de frases o de palabras sin la necesidad de recitar explícitamente todas las combinaciones de estas secuencias de palabras. Así, la utilización de ficheros BNF en la realización preferida minimiza los tamaños físicos de los ficheros 212, 214, y 216 en el medio de almacenamiento 108, aumentando la velocidad a la que estos ficheros pueden ser facilitados y buscados tal como se describe más adelante. Sin embargo, en realizaciones alternativas, se utilizan otras estructuras de ficheros.

El funcionamiento e interacción de estos elementos funcionales de la Figura 2 se describirán haciendo referencia al diagrama de flujos de las Figuras 3A-3D. En la Figura 3A, el flujo comienza en el bloque 300 proporcionando una pronunciación al procesador de voz 200. Una pronunciación es una serie de sonidos que tiene un principio y un fin, y puede incluir una o más palabras habladas. El micrófono 110 que capta las palabras habladas puede realizar el paso del bloque 300. Alternativamente, la pronunciación puede proporcionarse al procesador de voz 200 por el puerto de introducción de datos 114, o del medio de almacenamiento 108. Preferiblemente, la pronunciación está en formato digital tal como el formato del fichero de audio ".wav".

El flujo prosigue hasta la decisión 302, en la que el procesador de voz 200 determina si una de las gramáticas específicas de contextos 212 ha sido facilitada. En la realización preferida, las gramáticas específicas de contextos 212 son ficheros BNF que contienen palabras y frases que están relacionadas con un contexto matriz. En general, un contexto es un área objeto. Por ejemplo, en una realización del presente invento aplicable a ordenadores personales, ejemplos de contextos puede ser "noticias", o "clima", o "existencias". En tal caso, las gramáticas específicas de contextos 212 podrían cada una contener instrucciones, palabras de control, descriptores, cualificadores, o parámetros que corresponden a un contexto diferente de estos contextos. El uso de contextos proporciona una estructura jerárquica de tipos de información. Los contextos y su uso se describirán más adelante haciendo referencia a la base de datos NLP 218.

Si una gramática específica de contextos 212 ha sido facilitada, se busca la gramática específica de contextos 212 para una coincidencia con la pronunciación proporcionada en el bloque 300. Sin embargo, si no se ha facilitado una gramática específica de contextos 212, el flujo prosigue hasta el bloque 308 donde se facilita la gramática general 214.

En la realización preferida, la gramática general 214 es un fichero BNF que contiene palabras y frases que, en sí, no pertenecen a un contexto matriz, pero pueden tener un contexto asociado para el que existe un fichero de gramática específica de contextos 212. En otras palabras, las palabras y frases de la gramática general 214 pueden estar en la raíz de la estructura de contextos jerarquizada. Por ejemplo, en una realización aplicable a ordenadores personales, la gramática general 214 contendría instrucciones y frases de control.

En el bloque 310, en la gramática general 214 se busca una palabra o frase de coincidencia para la pronunciación proporcionada en el bloque 300. Si no se encuentra ninguna coincidencia, entonces se facilita la gramática de dictado 216. En la realización preferida, la gramática de dictado 216 es un fichero BNF que contiene una lista de palabras que, en sí, no tienen un contexto matriz o un contexto asociado. Por ejemplo, en una realización aplicable a un ordenador personal, la gramática de dictado 216 contiene una lista relativamente amplia de palabras similar a un diccionario general.

En el bloque 316 se busca en la gramática de dictado palabras coincidentes para cada palabra de la pronunciación proporcionada en el bloque 300. Si no se encuentran palabras coincidentes, opcionalmente se visualiza un mensaje de error en la pantalla 104 o se reproduce opcionalmente por audio un mensaje de error a través del altavoz 112, y el procedimiento termina hasta que se proporciona otra pronunciación al procesador de voz 200 en el bloque 300.

Así, como puede verse a partir de la anterior descripción, cuando se proporciona una pronunciación al procesador de voz 200, se busca primero la gramática específica de contextos 212 facilitada, si la hay. Si no hay coincidencias en la gramática específica de contextos 212, entonces se facilita y busca la gramática general 214. Si no hay coincidencias en la gramática general 214, entonces se facilita y busca la gramática de dictado 316.

En la realización preferida, cuando el procesador de reconocimiento de voz 200 está buscando la gramática específica de contextos o la gramática general 214, se dice que está en el modo "instrucción y control". En este modo, el procesador de reconocimiento de voz 200 compara toda la pronunciación como un conjunto con las entradas de la gramática. Por el contrario, cuando el procesador de reconocimiento de voz 200 está buscando la gramática de dictado, se dice que está en modo "dictado". En este modo, el procesador de reconocimiento de voz 200 compara la pronunciación con las entradas en la gramática de dictado 216 una palabra cada vez. Se espera que la búsqueda de una coincidencia de una pronunciación completa en modo de instrucción y control sea generalmente más rápida que la búsqueda de una palabra a la vez en modo dictado.

Se espera además que cualquier gramática específica de contextos 212 sea de tamaño menor (esto es, menor número total de palabras y frases) que en la gramática general 214, que a su vez será de tamaño menor que la gramática de dictado 216. Así, buscando primeramente cualquier gramática de contextos específicos 212 facilitada, es probable que se encuentre más rápidamente una coincidencia, si la hay, debido al menos en parte al menor tamaño del fichero. Igualmente, buscando la gramática general 214 antes que la gramática de dictado 216, es probable que se encuentre más rápidamente una coincidencia, si la hay.

Adicionalmente, como se explicará posteriormente con respecto a la capacidad del presente invento para añadir adaptativamente tanto a la gramática específica de contextos 212 como a la gramática general 214, éstas contendrán las pronunciaciones más comunes. Como tal, se espera que probablemente se encuentre más rápido una coincidencia en la gramática de contextos específicos 212 o en la gramática general 214 que en la gramática de dictado 216.

Finalmente, como se explicará posteriormente más adelante, es más probable que las palabras y frases de la gramática de contextos específicos 212 sean pronunciadas por el usuario debido a que son palabras altamente pertinentes a la materia objeto sobre la que el usuario estaba hablando recientemente. Esto permite también que el usuario hable en un estilo más conversacional, utilizando fragmentos de oraciones, interpretándose el significado de sus palabras de acuerdo con la gramática de contextos específicos 212 facilitada.

Buscando en la secuencia anteriormente descrita, el presente invento puede buscar más eficientemente que si la búsqueda tuviera que ocurrir una entrada a la vez en una única lista amplia de todas las palabras y frases esperadas.

Con referencia nuevamente a la decisión 306, si se encuentra una coincidencia en la gramática de contextos específicos 212, entonces hay tres posibles pasos siguientes mostrados en la Figura 3A. Para cada entrada de coincidencia en la gramática de contextos específicos 212 facilitada, puede haber una acción asociada que puede realizar el procesador de reconocimiento de voz 200. El bloque 322 muestra que una acción puede ser para dirigir al interfaz de aplicación 220 a que realice la acción con respecto a una aplicación o entidad de "software" independiente. Por ejemplo, el interfaz de aplicación 220 puede utilizar el Interfaz de Aplicación Aplicada a Voz (SAPI) normal de Microsoft para comunicar con una aplicación externa. La aplicación externa puede ser dirigida, por ejemplo, a acceder a un sitio URL de la red de Internet o para expresar una determinada frase convirtiendo texto en voz. Como se discutirá posteriormente, se pueden realizar otras acciones con referencia a la base de datos NLP 218 de la Figura 4.

El bloque 324 muestra que puede realizarse otra acción para acceder directamente a una fila en la base de datos de procesamiento de lenguaje natural (NLP) 218, evitando así los pasos del procesamiento de lenguaje natural descritos más adelante. El bloque 326 muestra que se puede realizar otra acción para considerar una palabra o una frase para el contexto facilitado a la palabra o frase de coincidencia encontrada en la gramática de contextos específicos 306. Por ejemplo, si el contexto facilitado fuera "movies" y la pronunciación de coincidente fuera "8 o'clock", la palabra "movies" sería considerada para la frase "8 o'clock" para formar la frase "movies at 8 o'clock".

Igualmente, si se encuentra una coincidencia en la gramática general 214, entonces el flujo puede seguir su curso hasta el bloque 322 donde el interfaz de aplicación 220 es dirigido a realizar una acción como se ha descrito anteriormente, o al bloque 324 donde se accede directamente a una fila en la base de datos NLP. Sin embargo, si en la gramática general 214 se encuentra una coincidencia, no ocurre la consideración de un contexto debido, tal como se ha dicho anteriormente, debido a que las entradas en la gramática general 214, en sí mismas, no tienen un contexto matriz.

Finalmente, con referencia a la Figura 3A, las palabras pueden ser introducidas manualmente mediante introducción manual 106. En este caso, no se requiere reconocimiento de voz, y además se necesita todavía procesamiento de lenguaje natural de las palabras introducidas. Así, el flujo prosigue hasta la Figura 3B.

En la Figura 3B, en el bloque 328, el procesador de lenguaje natural 202 formatea la frase para el análisis de procesamiento de lenguaje natural. Este formateo es realizado por el formateador de secuencias de palabras 206 y puede incluir tal procesamiento de texto como el de quitar espacios duplicados entre palabras, haciendo todas las letras minúsculas (o mayúsculas), ampliando contracciones (por ejemplo, cambiando "it's" por "it is"), y similares. El objeto de este paso de formateo es preparar la frase para su análisis.

El flujo continúa al bloque 330 donde el sustituidor variables 204 sustituye ciertas "variables de palabra" por una función comodín asociada en preparación para acceder a la base de datos NLP 218. Como se ha utilizado aquí, el término "variables de palabra" se refiere a palabras o frases que representan cantidades, fechas, horas, monedas, y similares. Por ejemplo, en una realización la frase "what movies are playing at 8 o'clock" en el bloque 330 sería transformada en "what movies are playing at \textdollartime" donde "\textdollartime" es una función comodín utilizada para representar cualquier hora. Como otro ejemplo, en una realización la frase "sell IBM stock at 100 dollars" en el bloque 330 sería transformada en "sell IBM a \textdollardollars" donde "\textdollardollars" es una función comodín utilizada para representar cualquier valor en dólares. Este paso puede realizarse por un solo bucle que busca en la frase credenciales testigos de clave tales como las palabras "dollar" u "o'clock" y sustituye las variables de palabra por una función comodín específica. Con el fin de conservar la pista del lugar en la frase en el que se realizó la sustitución, se puede utilizar una matriz. Esto permite la resustitución de la variable de palabra en la frase en la misma posición después de haber buscado en la base de datos NLP 218.

El objeto de sustituir variables de palabra por una función comodín asociada en el bloque 330 es reducir el número de entradas que pueden estar presentes en la base de datos NLP 218. Por ejemplo, la base de datos NLP 218 solamente contendría la frase "what movies are playing at \textdollartime" en vez de una entrada independiente para 8 o'clock, 9 o'clock, 10 o'clock, y así sucesivamente. La base de datos NLP 218 se describirá más adelante.

En el bloque 332, los pronombres en la frase se sustituyen por nombres propios mediante el sustituidor de pronombres 211. Por ejemplo, en una realización los pronombres "I", "my" o "mine" serían sustituidos por el nombre del que habla. El objeto de este paso es permitir que se almacenen y se acceda a hechos específicos del usuario en la base de datos NLP 218. Por ejemplo, la oración "who are my children" se transformaría en "who are Dean's children" donde "Dean" es el nombre propio del que habla. Nuevamente, este paso puede realizarse en un único bucle que busca pronombres en la frase, y sustituye los pronombres encontrados por un nombre propio correspondiente. Se puede utilizar una matriz con el fin de conservar la pista de los lugares de la frase en los que se realizó una sustitución.

En el bloque 334, el ponderador 208 pondera cada una de las palabras en la frase se sopesan de acuerdo con su "importancia" o "significancia" relativa con el significado del conjunto de la frase. Por ejemplo, en una realización hay asignados tres factores de ponderación. El factor de ponderación inferior se asigna a palabras tales como "a", "an", "the" y a otros artículos. El factor de ponderación más alto se da a palabras que probablemente tienen una relación significativa con el significado de la frase. Por ejemplo, éstas pueden incluir todos los verbos, nombres, adjetivos, y nombres propios en la base de datos NLP 218. A todas las otras palabras de la frase se les da un factor de ponderación medio. El objeto de esta ponderación es permitir una búsqueda más potente de la base de datos NLP 218.

En la Figura 4 se muestra un ejemplo de columnas seleccionadas de la base de datos NLP 218. La base de datos NLP 218 comprende una pluralidad de columnas 400-410, y una pluralidad de filas 412A-412N. En la columna 400 las entradas representan frases que son "conocidas" por la base de datos NLP. En la columna 402 se muestra un número de palabras requeridas para cada entrada en la columna 400. En la columna 404 se muestra un contexto o subcontexto asociado para cada entrada en la columna 400. En las columnas 408 y 410 se muestran una o más acciones asociadas para cada entrada en la columna 400. Se debería advertir de que la base de datos NLP 218 mostrada en la Figura 4 solamente es un ejemplo simplificado con el fin de explicar el presente invento. Otras realizaciones pueden tener más o menos columnas con entradas diferentes.

Con referencia nuevamente a la Figura 3B, en el bloque 336, se buscan en la base de datos NLP 218 posibles coincidencias con la frase, basándose en si la entrada en la columna 400 de la base de datos 218 contiene alguna de las palabras de la frase (o sus sinónimos), y el peso relativo de esas palabras. En el bloque 338, se genera un valor de confianza para cada una de las posibles entradas de coincidencia basándose en el número de ocurrencias de cada una de las palabras de la frase y de sus pesos relativos. La búsqueda de una palabra ponderada en una base de datos es bien conocida en la técnica y puede ser realizada por máquinas de búsqueda disponibles comercialmente tales como el producto "dtsearch" de DT Software, Inc. de Arlington, Virginia. Igualmente, es bien conocida en la técnica la búsqueda que utiliza sinónimos y puede ser realizada utilizando herramientas disponibles para el público tales como "WordNet", desarrollada por el Laboratorio de Ciencias del Conocimiento de la Universidad de Princeton, New Jersey. El motor de búsqueda puede ser una parte integrante del procesador de lenguaje natural 202.

En la decisión 340 el procesador de lenguaje natural 202 determina si cualquiera de las posibles entradas de coincidencia tiene un valor de confianza mayor que o igual que algún umbral mínimo predeterminado, T. El umbral T representa el valor de confianza aceptable inferior para el cual puede tomarse una decisión en cuanto a si la frase ha coincidido con alguna de las entradas en la base de datos NLP 218. Si no hay ninguna posible entrada de coincidencia con un valor de confianza mayor que o igual a T, entonces el flujo prosigue hasta el bloque 342 donde para el usuario se visualiza un mensaje de error opcional en la visualización 104 o se reproduce por audio a través del altavoz 112. En una realización, el tipo de mensaje de error, si lo hay, visualizado para el usuario puede depender de cuántos "aciertos" (es decir, cuántas palabras coincidentes de la frase) fueron encontrados en la entrada en la base de datos NLP de la mayor confianza. Se generaría un tipo diferente de mensaje de error según los aciertos fueran cero o uno o bien fueran dos o más aciertos.

Sin embargo, si al menos hay una entrada en la base de datos NLP 218 para la que existe un valor de confianza mayor que o igual a T, entonces el flujo prosigue hasta el bloque 344 donde las palabras "ruido" se descartan de la frase. Las palabras "ruido" incluyen palabras que no contribuyen de forma importante al significado total de la frase con relación a las otras palabras de la frase. Éstas pueden incluir artículos, pronombres, conjunciones, y palabras de una naturaleza similar. Las palabras "sin ruido" incluirían palabras que contribuyen de forma importante al significado total de la frase. Las palabras "sin ruido" incluirían verbos, nombres, adjetivos, nombres propios, y palabras de una naturaleza similar.

El flujo prosigue hasta la Figura 3C donde el requerimiento de palabra sin ruido se recupera de la columna 402 de la base de datos NLP 218 para la entrada de coincidencia de confianza más alta en el bloque 346. Por ejemplo, si la frase de coincidencia de confianza más alta era la entrada en la fila 412A, (por ejemplo, "what movies are playing at \textdollartime"), entonces el número de palabras sin ruido requeridas es 3.

En la decisión 348, se realiza una prueba para determinar si el número de palabras sin ruido requeridas de la frase está actualmente presente en la entrada de confianza más alta recuperada de la base de datos NLP 218. Esta prueba es una verificación de la precisión de la búsqueda de estilo pertinente realizada en el bloque 336, quedando sobreentendido que una entrada puede generar un valor de confianza más alto que el umbral mínimo, T, sin ser una coincidencia aceptable para la frase.

La naturaleza de la prueba realizada en la decisión 348 es una prueba booleana "AND" realizada por el comprobador booleano 210. La prueba determina si cada una de las palabras sin ruido en la frase (o su sinónimo) está actualmente presente en la entrada de confianza más alta. Si hay un número suficiente de palabras requeridas actualmente presentes en la entrada de confianza más alta, entonces el flujo prosigue hasta el bloque 350, donde el procesador de lenguaje natural 202 dirige el interfaz de aplicación 220 hasta realizar una acción asociada de la columna 408 o 410. Se sobreentiende que también pueden estar presentes columnas de acción adicionales.

Por ejemplo, si la entrada de confianza más alta era la entrada en la fila 412A, y la prueba booleana de decisión 348 determinó que actualmente había 3 palabras sin ruido de la frase en la entrada en la columna 400, entonces se debería realizar la acción en la columna 408 (por ejemplo, acceso al sitio "movie" de la red). Otras entradas en la base de datos NLP tienen otras acciones asociadas. Por ejemplo, si la entrada de confianza más alta es la de la fila 412E (por ejemplo, "what time is it"), la acción asociada puede ser para que el procesador de lenguaje natural 202 dirija una aplicación texto a voz (no mostrada) para decir la hora actual al usuario a través del altavoz 112. Como otro ejemplo, si la entrada de confianza más alta es la de la fila 412N (por ejemplo, "show me the news"), la primera acción asociada puede ser acceder a un sitio predeterminado de noticias en Internet, y una segunda acción asociada puede ser dirigir una aplicación de visualización de imagen (no mostrada) para visualizar imágenes asociadas con las noticias. También se pueden realizar acciones diferentes o adicionales.

También, si la entrada de confianza más alta contiene el requerido número de palabras sin ruido de la frase como determinado en la decisión 348, el procesador de lenguaje natural 202 da instrucciones al procesador de reconocimiento de voz 200 para facilitar la gramática específica de contextos 212 para el contexto asociado de la columna 404. Así, para la fila 412A, se facilitaría la gramática de contextos específicos 212 para el contexto "movies". Así, cuando se proporciona la próxima pronunciación al procesador de reconocimiento de voz 200 en el bloque 300 de la Figura 3A, se buscaría en la gramática de contextos específicos 212 facilitada para "movies" antes de buscar la gramática general 214. Como se ha manifestado anteriormente, facilitando la gramática específica de contextos 212 aumenta en gran medida la probabilidad de reconocimiento de voz rápido y con éxito, y mejora la capacidad del usuario de comunicarse con el ordenador en un estilo conversacional.

Sin embargo, si nuevamente en la decisión 348, el número requerido de palabras sin ruido no está presente actualmente en la entrada de confianza más alta recuperada de la base de datos 218, entonces el flujo prosigue hasta el bloque 354 donde se pregunta al usuario a través de la visualización 104 o del altavoz 112 si fue considerada la entrada de confianza más alta. Por ejemplo, si el usuario pronunció "How much is IBM stock selling for today", la entrada de confianza más alta en la base de datos NLP 218 puede ser la entrada en la fila 412B. En este caso, aunque el factor de pertinencia puede ser alto, el número de palabras requeridas (o sus sinónimos) puede no ser suficiente. Así, al usuario le sería preguntado en el bloque 354 si él consideró "what is the price of IBM stock on August 28, 1998".

El usuario puede responder bien afirmativa o negativamente. Si está determinado en la decisión 356 que el usuario tiene que responder afirmativamente, entonces la o las acciones asociadas con la entrada de confianza más alta se realizan en el bloque 350, y la gramática específica de contextos 212 asociada es facilitada en el bloque 352.

Sin embargo, si se ha determinado en la decisión 356 que el usuario ha respondido negativamente, entonces el flujo prosigue hasta la Figura 3D donde se recupera el contexto asociado de la columna 404 de la base de datos NLP 218 para la entrada de confianza más alta, y el usuario es preguntado por información utilizando un diálogo interactivo basado en el contexto en el bloque 360. Por ejemplo, si el usuario pronunció "what is the price of XICOR stock today", y la entrada de confianza más alta de la base de datos NLP 218 fue la fila 412B (por ejemplo, "what is the price of IBM stock on \textdollardate"), entonces el usuario sería avisado en el bloque 354 qué era lo que él pensaba.

Si el usuario responde negativamente, entonces el contexto "stock" se recupera de la columna 404 en el bloque 358, y al usuario se le presenta el diálogo interactivo basado en el contexto para el contexto stock a través de la visualización 104 y el altavoz 112. Tal diálogo interactivo basado en el contexto puede dar lugar a que al usuario le sean preguntados datos del nombre y el símbolo receptor de cotizaciones de las existencias de XICOR. El usuario puede responder a la información requerida hablando. Se puede usar un diálogo interactivo basado en el contexto para cada uno de los contextos posibles. Por ejemplo, el diálogo interactivo basado en el contexto "weather" puede dar lugar a que al usuario le sea preguntado el nombre del lugar cuya información meteorológica se desea. También, el diálogo interactivo basado en el contexto "news" puede dar lugar a que el usuario sea preguntado por los tipos de artículos, fuente de noticias, URL de Internet del lugar de las noticias, u otra información relacionada.

Una vez terminado el diálogo interactivo basado en el contexto, la base de datos NLP 218, gramática general 214, y gramática específica de contextos 212 son actualizadas para incluir la nueva información. De esta forma, la próxima vez que el usuario pregunte por esa información se encontrará una coincidencia adecuada, y se realizará la acción apropiada sin preguntar al usuario más información. Así, el presente invento "aprende" adaptativamente a reconocer frases pronunciadas por el usuario.

En una realización del presente invento, una o más de las bases de datos NLP 218, de la gramática específica de contextos 212, de la gramática general 214, y de la gramática de dictado 216 también contienen valores señal de tiempo (no mostrados) asociados con cada entrada. Cada vez que se utiliza una entrada de coincidencia, se actualiza el valor señal de tiempo asociado con la entrada. A intervalos periódicos, o cuando por iniciativa del usuario, se retiran de sus respectivas bases de datos/gramáticas las entradas que tienen un valor señal de tiempo anteriores a una cierta fecha y hora. De esta forma, las bases de datos/gramáticas pueden ser mantenidas en un tamaño eficiente mediante la "purga" de entradas antiguas o anticuadas. Esto también ayuda a evitar falsas coincidencias.

En resumen, el presente invento proporciona un método y sistema para un interfaz de usuario para un ordenador. Mediante la utilización de gramáticas específicas de contextos, el presente invento disminuye el tiempo de reconocimiento de voz e incrementa la capacidad del usuario para comunicarse con el ordenador en un estilo conversacional. Además, mediante el uso de actualización adaptativa de las diversas gramáticas y de la base de datos NLP, el presente invento aumenta aún más la eficiencia interactiva.

Se proporciona la anterior descripción de las realizaciones preferidas para hacer posible que cualquier persona experta en la materia haga o utilice el presente invento. Las diferentes modificaciones a estas realizaciones resultarán enseguida evidentes a las personas expertas en la materia, y los principios generales definidos aquí pueden ser aplicados a otras realizaciones sin el uso de facultades de invención. Así, se entiende que el presente invento no está limitado a las realizaciones mostradas aquí, pero debe acordarse el alcance de forma consistente con las reivindicaciones anejas.

Claims (34)

1. Un método para interactuar con un ordenador utilizando pronunciaciones, comprendiendo el método los pasos de:

buscar en un primer fichero de gramática (212) una frase de coincidencia para dicha pronunciación;

buscar en un segundo fichero de gramática (214) una frase de coincidencia si dicha frase de coincidencia no ha sido encontrada en dicho primer fichero de gramática;

buscar en una base de datos (218) de procesamiento de lenguaje natural (NLP) una entrada de coincidencia para dicha frase de coincidencia, representando las entradas frases que son conocidas por la base de datos NLP;

realizar una acción asociada con dicha entrada de coincidencia si dicha entrada de coincidencia es encontrada en dicha base de datos.

2. El método de la reivindicación 1 que además comprende el paso de actualización de al menos una de dicha base de datos, de dicho primer fichero de gramática y de dicho segundo fichero de gramática con dicha frase de coincidencia si dicha entrada de coincidencia no ha sido encontrada en dicha base de
datos.

3. El método de la reivindicación 2 en el que dicho primer fichero de gramática es un fichero de gramática específica de contextos.

4. El método de la reivindicación 3 en el que dicho segundo fichero de gramática es un fichero de gramática general.

5. El método de la reivindicación 4 que además incluye el paso de buscar en una gramática de dictado dicha frase de coincidencia si dicha frase de coincidencia no ha sido encontrada en dicho fichero de gramática general.

6. El método de la reivindicación 1 que además comprende el paso de sustituir al menos una palabra en dicha frase de coincidencia antes de dicho paso de búsqueda en dicha base de datos.

7. El método de la reivindicación 6 en el que dicho paso de sustituir dicha al menos una palabra comprende la sustitución de un comodín por dicha al menos una palabra.

8. El método de la reivindicación 6 en el que dicho paso de sustitución de al menos una palabra comprende la sustitución de un nombre propio por dicha al menos una palabra.

9. El método de la reivindicación 1 que además comprende el paso de formateo de texto de dicha frase de coincidencia antes de dicho paso de buscar en dicha base de datos.

10. El método de la reivindicación 1 que además comprende el paso de ponderar palabras individuales en dicha frase de coincidencia de acuerdo con una significancia relativa de dichas palabras individuales antes de dicho paso de buscar en dicha base de datos.

11. El método de la reivindicación 1 que además comprende el paso de generar unos valores de confianza para dicha entrada de coincidencia.

12. El método de la reivindicación 11 que además comprende el paso de comparar dicho valor de confianza con un valor umbral.

13. El método de la reivindicación 12 que además comprende el paso de determinar si un número requerido de palabras de dicha frase de coincidencia está presente en dicha entrada de coincidencia.

14. El método de la reivindicación 13 que además comprende el paso de preguntar a un usuario si dicha entrada de coincidencia es una interpretación correcta de dicha pronunciación si dicho número de palabras requerido de dicha frase de coincidencia no está presente en dicha entrada de coincidencia.

15. El método de la reivindicación 14 que además comprende el paso de preguntar a un usuario información adicional si dicha entrada de coincidencia no es una interpretación correcta de dicha pronunciación.

16. El método de la reivindicación 15 que además comprende el paso de actualizar al menos una de dicha base de datos, de dicho primer fichero de gramática y de dicho segundo fichero de gramática con dicha información adicional.

17. El método de la reivindicación 2 que además comprende el paso de buscar una gramática específica de contextos asociada con dicha entrada de coincidencia para una posterior frase de coincidencia para una pronunciación posterior.

18. Un sistema para interactuar con un ordenador utilizando pronunciaciones, comprendiendo el sistema:

un procesador de voz (200) para buscar en un primer archivo de gramática (212) una frase de coincidencia para dicha pronunciación, y para buscar en un segundo fichero de gramática (214) dicha frase de coincidencia si dicha frase de coincidencia no ha sido encontrada en dicho fichero de gramática;

un procesador de lenguaje natural para buscar en una base de datos de procesamiento de lenguaje natural (NLP) (218) una entrada de coincidencia para dicha frase de coincidencia, representando las entradas frases que son conocidas por la base de datos NLP; y

un interfaz de aplicación (220) para realizar una acción asociada con dicha entrada de coincidencia si dicha entrada de coincidencia es encontrada en dicha base de datos.

19. El sistema de la reivindicación 18 en el que dicho procesador de lenguaje natural actualiza al menos una de dicha base de datos, de dicho primer fichero de gramática y de dicho segundo fichero de gramática con dicha frase de coincidencia si dicha entrada de coincidencia no ha sido encontrada en dicha base de datos.

20. El sistema de la reivindicación 19 en el que dicho primer fichero de gramática es un fichero de gramática específica de contextos.

21. El sistema de la reivindicación 20 en el que dicho segundo fichero de gramática es un fichero de gramática general.

22. El sistema de la reivindicación 21 en el que dicho procesador de voz busca una gramática de dictado para dicha frase de dictado si dicha frase de coincidencia no se encuentra en dicho fichero de gramática general.

23. El sistema de la reivindicación 18 en el que además dicho procesador de lenguaje natural sustituye al menos una palabra en dicha frase de coincidencia antes de buscar en dicha base de datos.

24. El sistema de la reivindicación 23 que además comprende un sustituidor de variable en dicho procesador de lenguaje natural para sustituir un comodín por dicha al menos una palabra en dicha frase de coincidencia.

25. El sistema de la reivindicación 23 que además comprende un sustituidor de pronombres en dicho procesador de lenguaje natural para sustituir por un nombre propio al menos una palabra en dicha frase de coincidencia.

26. El sistema de la reivindicación 18 que además comprende un formateador de secuencias de palabras para formatear el texto de dicha frase de coincidencia antes de buscar en dicha base de datos.

27. El sistema de la reivindicación 18 que además comprende un ponderador de palabras para ponderar palabras individuales en dicha frase de coincidencia de acuerdo con una significancia relativa de dichas palabras individuales antes de buscar en dicha base de datos.

28. El sistema de la reivindicación 18 que además comprende un motor de búsqueda en dicho procesador de lenguaje natural para generar un valor de confianza para dicha entrada de coincidencia.

29. El sistema de la reivindicación 28 en el que dicho procesador de lenguaje natural compara dicho valor de confianza con un valor umbral.

30. El sistema de la reivindicación 29 que además comprende un comprobador booleano para determinar si un número de palabras requerido de dicha frase de coincidencia está presente en dicha entrada de coincidencia.

31. El sistema de la reivindicación 30 en el que dicho procesador de lenguaje natural pregunta a un usuario si dicha entrada de coincidencia es una interpretación correcta de dicha pronunciación si dicho número requerido de palabras de dicha frase de coincidencia no está presente en dicha entrada de coincidencia.

32. El sistema de la reivindicación 30 en el que dicho procesador de lenguaje natural pregunta a un usuario información adicional si dicha entrada de coincidencia no es una interpretación correcta de dicha pronunciación.

33. El sistema de la reivindicación 32 en el que dicho procesador de lenguaje natural actualiza al menos una de dicha base de datos, de dicho primer fichero de gramática y de dicho segundo fichero de gramática con dicha información adicional.

34. El sistema de la reivindicación 19 en el que dicho procesador de voz busca en una gramática específica de contextos asociada con dicha entrada de coincidencia una posterior frase de coincidencia para una posterior pronunciación.