ES2359430T3 - Procedimiento, sistema y dispositivo para la conversión de la voz. - Google Patents

Procedimiento, sistema y dispositivo para la conversión de la voz. Download PDF

Info

Publication number
ES2359430T3
ES2359430T3 ES06743504T ES06743504T ES2359430T3 ES 2359430 T3 ES2359430 T3 ES 2359430T3 ES 06743504 T ES06743504 T ES 06743504T ES 06743504 T ES06743504 T ES 06743504T ES 2359430 T3 ES2359430 T3 ES 2359430T3
Authority
ES
Spain
Prior art keywords
voice
signal
text
mobile device
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES06743504T
Other languages
English (en)
Inventor
Risto Kurki-Suonio
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MOBITER DICTA Oy
Original Assignee
MOBITER DICTA Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38655100&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2359430(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by MOBITER DICTA Oy filed Critical MOBITER DICTA Oy
Application granted granted Critical
Publication of ES2359430T3 publication Critical patent/ES2359430T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

Un dispositivo móvil operable en una red de comunicaciones inalámbricas que comprende: - un medio de entrada de voz para recibir voz y convertir la voz en una señal digital (616) de voz representativa, - un medio de entrada de control para comunicar una orden de edición relativa a la señal digital (608) de voz, - un medio de procesamiento para llevar a cabo una tarea de edición de la señal digital de voz en respuesta a la orden (602) de edición recibida, - al menos parte de un motor de reconocimiento de voz para llevar a cabo tareas de conversión (612) a texto de la señal digital de voz, y - un transceptor para intercambiar información relativa a la señal digital de voz y la conversión de la misma de voz a texto con una entidad externa conectada funcionalmente a dicha red (614) de comunicaciones inalámbricas, en el que dicho dispositivo móvil está configurado opcionalmente para transmitir a otra entidad el texto resultante de la conversión de voz a texto para una tarea ulterior de procesamiento seleccionada del grupo constituido por: revisión ortográfica, traducción automática, traducción humana, verificación de la traducción y síntesis de texto a voz.

Description

CAMPO DE LA INVENCIÓN
La presente invención versa en general acerca de dispositivos móviles y redes de comunicaciones. En particular, la invención se ocupa de una conversión interactiva de voz a texto y de servicios de traducción de idioma.
ANTECEDENTES DE LA INVENCIÓN
La actual tendencia en los terminales portátiles, por ejemplo de mano, conduce la evolución totalmente hacia interfaces de usuario intuitivas y naturales. Además de texto, en un terminal pueden grabarse imágenes y sonido (por ejemplo, voz), ya sea para la transmisión o para controlar una funcionalidad preferida local o remota (es decir, basada en la red). Además, puede transferirse información de carga útil por las redes celulares y fijas adyacentes como Internet como datos binarios que representan el texto, el sonido, las imágenes y el vídeo subyacentes. Así, los artilugios modernos en miniatura, como los terminales móviles o las PDA (agendas electrónicas) pueden tener medios versátiles de entrada de control, como un teclado o una botonera, un micrófono, diferentes sensores de movimiento o presión, etc., para proporcionar a los usuarios de los mismos una IU (interfaz de usuario) verdaderamente capaz de soportar el almacenamiento de datos muy diversificado y mecanismos de comunicaciones.
A pesar de que el salto en curso en la tecnología de las comunicaciones y la información, también algunas soluciones más tradicionales de almacenamiento de datos, como los dictáfonos, parecen mantener un considerable valor de facilidad de empleo, en especial en campos especializados como la ley y las ciencias médicas en los que se crean documentos regularmente en base, por ejemplo, a discusiones y encuentros verbales. Es probable que la comunicación verbal siga siendo el procedimiento más rápido y más cómodo de expresión para la mayoría de la gente, y dictar una nota en vez de mecanografiarla puede lograr ahorros de tiempo considerables. Este asunto también tiene un aspecto dependiente del idioma; por ejemplo, escribir en chino o japonés consume más tiempo, obviamente, que escribir en la mayoría de los idiomas occidentales. Además, los dictáfonos y los homólogos modernos de los mismos, como sofisticados terminales móviles y PDA con opción de grabación del sonido, pueden utilizarse hábilmente en conjunción con otras tareas, por ejemplo mientras se tiene una reunión o se conduce un coche, mientras que el mecanografiado manual normalmente requiere una parte importante de la atención de la persona que la realiza y, desde luego, no puede llevarse a cabo si se está conduciendo un coche, etc.
Hasta hace pocos años, los aparatos de dictado no han servido tan bien todas las necesidades públicas; sin duda, la información puede ser almacenada fácilmente incluso en tiempo real con solo grabar la señal de voz por medio de un micrófono, pero, a menudo, la forma final de archivo es textual y se encarga a alguien, por ejemplo a una secretaria, que manualmente limpie y convierta la señal de sonido grabado sin tratar en un registro final en un medio diferente. Desgraciadamente, tal acomodo requiere mucho trabajo adicional de conversión (consumo de tiempo). Otro problema importante asociado con los dictáfonos surge de sus antecedentes analógicos y de su IU simplista; modificar voz ya almacenada es engorroso y, dado que muchos dispositivos siguen utilizando cinta magnética como medio de almacenamiento, no pueden realizarse ciertas operaciones de edición, como insertar una porción de voz completamente nueva dentro de la señal almacenada originalmente. Por otra parte, los dictáfonos modernos que utilizan chips/tarjetas de memoria pueden incorporar opciones limitadas de edición de voz, pero la posible utilización sigue estando disponible únicamente a través de una IU más bien de difícil manejo que comprende únicamente una pantalla de LCD (pantalla de cristal líquido) de tamaño y calidad mínimos, etc. Transferir los datos almacenados de voz a otro dispositivo requiere a menudo un trasteo manual; es decir, el medio de almacenamiento (casete/tarjeta de memoria) debe ser movido físicamente.
Los sistemas informatizados de reconocimiento de voz llevan ya bastante tiempo a la disposición de una persona versada en la técnica. Típicamente, estos sistemas están implementados como características internas específicas a aplicaciones (integradas en un tratamiento de texto; por ejemplo, Microsoft Word, versión XP), aplicaciones dedicadas o módulos de aplicaciones conectables a un ordenador ordinario de sobremesa. El proceso de reconocimiento de voz implica varias etapas que están básicamente presentes en todos los algoritmos existentes; para una ilustración, véase la Figura 1. Concretamente, la fuente de voz emitida por una persona que habla es capturada 102, en primer lugar, por medio de un micrófono o un correspondiente transductor y convertida a forma digital con un necesario preprocesamiento 104 que puede referirse, por ejemplo, a un procesamiento de la dinámica. A continuación, la señal digitalizada es introducida en un motor 106 de reconocimiento de voz que divide la señal en elementos menores, como fonemas, en base a sofisticados procedimientos de extracción y análisis de características. El soporte lógico de reconocimiento también puede adaptarse 108 a cada usuario; es decir, las configuraciones del soporte lógico son específicas al usuario. Por últimos, los elementos reconocidos que forman la salida del motor de reconocimiento de voz, por ejemplo la información de control y/o el texto, son usados como entrada 110 para otros fines; puede simplemente mostrarse en la pantalla, almacenarse en una base de datos, traducirse a otro idioma, usarse para ejecutar una funcionalidad predeterminada, etc.
La publicación US6266642 da a conocer una unidad portátil dispuesta para llevar a cabo una traducción de lenguaje hablado para facilitar la comunicación entre dos entidades que no tienen ninguna lengua común. O bien el propio dispositivo contiene todos los soportes físicos y lógicos para ejecutar todo el proceso de traducción o meramente actúa como interfaz remota que canaliza inicialmente la voz de entrada, utilizando una llamada ya sea de teléfono o de videoconferencia, a la unidad de traducción para su procesamiento, y después recibe el resultado de la traducción para la síntesis local de voz. La solución también comprende una etapa de procesamiento durante la cual se minimizan los errores de reconocimiento creando varios reconocimientos candidatos o hipótesis de entre las cuales el usuario puede seleccionar, por medio de una IU, la correcta o simplemente confirmar la selección predefinida.
La publicación US2003/0182113 da a conocer una disposición en la que un terminal móvil actúa como una sección de entrada de un sistema de reconocimiento de voz que consiste en el terminal móvil y al menos una entidad remota, como un ordenador de sobremesa conectado a la red, un ordenador central, un servidor de web o una pluralidad de ordenadores interconectados.
La publicación EP 1215659 da a conocer un sistema de reconocimiento de voz para permitir una conversión de (mensajes de) voz a texto. Se proporciona un medio de reconocimiento preliminar, como una red neural, según se integra en un dispositivo móvil que proporciona un código que representa los resultados del reconocimiento preliminar a una entidad remota por medio de una conexión inalámbrica.
A pesar de los muchos avances en las disposiciones mencionadas anteriormente y de que otras de la técnica anterior sugieren la superación de dificultades encontradas en el reconocimiento de voz y/o en los procesos de traducción automática, algunos problemas siguen sin resolver, especialmente en relación con los dispositivos móviles. Los problemas asociados con los dictáfonos tradicionales se ya describieron en lo que antecede del presente documento. Además, los dispositivos móviles como los terminales móviles y las PDA son, a menudo, aparatos de un tamaño relativamente pequeño y ligeros que no pueden incluir una pantalla de gran tamaño, una IU versátil, una capacidad/memoria de proceso de primera ni un transceptor de la más alta velocidad disponible, que están por lo común presentes en muchos dispositivos mayores, como los ordenadores de sobremesa. Tales características, aunque no son absolutamente necesarias para realizar el propósito original de un dispositivo portátil, o sea, transferir voz o almacenar información de calendario u otra información personal, serían beneficiosas desde el punto de vista de las conversiones de voz a texto y de la traducción automática. Las conversiones de formato de datos y las traducciones son muy exigentes en cuanto a las necesidades de cálculo y consumen mucho espacio en memoria; estos factores también llevarán de forma inevitable a un mayor consumo de batería, causando un problema más general de facilidad de uso con dispositivos móviles que siempre debería trabajar de manera ventajosa de forma independiente de su ubicación. Además, las prestaciones existentes de los dispositivos móviles de transferencia de la información pueden ser insuficientes para transferir todos los datos necesarios a la estación remota o desde la misma desde el mismo comienzo, o la capacidad de transferencia, aunque sea adecuada en teoría, puede no estar disponible para ese fin a plena escala debido, por ejemplo, a otra transferencia de información en curso con mayor prioridad.
RESUMEN DE LA INVENCIÓN
El objetivo de la presente invención es aliviar los defectos anteriormente mencionados encontrados en las actuales disposiciones de archivo de la voz y de conversión de la voz a texto. El objetivo se logra mediante una solución en la que un dispositivo móvil electrónico, por ejemplo un terminal móvil como un teléfono GSM/ UMTS/CDMA o una PDA equipada con un adaptador inalámbrico de comunicaciones comprenden una IU que permite al usuario, preferentemente mediante visualización, pero también a través de otros medios, editar la señal de voz antes de que sea expuesta al reconocimiento de voz propiamente dicho y a procesos opcionales, por ejemplo de traducción. Además, en la solución de la invención, la comunicación entre el dispositivo móvil y una entidad externa, por ejemplo un servidor de red que reside en la red a la que tiene acceso el dispositivo móvil, desempeña un papel importante. El dispositivo móvil y la entidad externa pueden estar configurados para dividir la conversión de voz a texto y acciones adicionales en base a varios valores de parámetros definibles por el usuario de forma ventajosa relativos, entre otros factores posibles, a cargas de procesamiento/memoria locales/remotas, estado de la batería, existencia de otras tareas y prioridad de las mismas, ancho de banda disponible para la transmisión, aspectos relativos a los costes, tamaño/duración de la fuente de la señal de voz, etc. El dispositivo móvil y la entidad externa pueden incluso negociar un escenario de cooperación adecuada en tiempo real en base a sus situaciones actuales; es decir, la compartición de tareas es un proceso dinámico. Estos asuntos se exponen con más detalle más adelante. Así, el proceso de conversión en su conjunto es, ventajosamente, interactivo entre el usuario del dispositivo móvil, el propio dispositivo móvil y la entidad externa. Además, el proceso de reconocimiento de voz puede personalizarse en relación con cada usuario; es decir, el motor de reconocimiento puede ser configurado o entrenado por separado para adaptarse a las características de la voz de aquel.
En un aspecto de la invención, un dispositivo móvil operable en una red de comunicaciones inalámbricas comprende:
 un medio de entrada de voz para recibir voz y convertir la voz en una señal digital de voz representativa,
 un medio de entrada de control para comunicar una orden de edición relativa a la señal digital de voz,
 un medio de procesamiento para llevar a cabo una tarea de edición de la señal digital de voz en respuesta a la orden de edición recibida,
 al menos parte de un motor de reconocimiento de voz para llevar a cabo tareas de conversión a texto de la señal digital de voz, y
 un transceptor para intercambiar información relativa a la señal digital de voz y la conversión de la misma de voz a texto con una entidad externa conectada funcionalmente a dicha red de comunicaciones inalámbricas.
En la solución anterior, la orden de edición y la tarea resultante pueden estar relacionados, sin limitación, con una de las siguientes opciones: supresión de una porción de la señal de voz, inserción de una nueva porción de voz en la señal de voz, sustitución de una porción en la señal de voz, cambio de la amplitud de la señal de voz, cambio en el contenido espectral de la señal de voz, regrabación de una porción de la señal de voz. Preferentemente, el dispositivo móvil incluye un medio de visualización para visualizar la señal digital de voz, para que las órdenes de edición puedan relacionarse con la porción o porciones visualizadas de la señal.
El motor de reconocimiento de voz comprende una estructura, por ejemplo lógica de análisis, en forma de un soporte físico y/o lógico hechos a medida que se requieren para ejecutar al menos parte del proceso global de conversión de voz a texto partiendo de la voz en forma digital. Un proceso de reconocimiento de voz se refiere generalmente a un análisis de una señal de audio (que comprende voz) en base al cual la señal puede ser dividida ulteriormente en porciones menores y a la clasificación de las porciones. Así, el reconocimiento de voz permite y forma (al menos) una parte importante del procedimiento global de conversión de voz a texto de la invención, aunque la salida del simple motor de reconocimiento de voz también podría ser algo distinto del texto que representa textualmente la voz hablada; por ejemplo, en las aplicaciones de control de voz, el motor de reconocimiento de la voz asocia la voz de entrada con varias órdenes predeterminadas que el dispositivo anfitrión está configurado para ejecutar. Típicamente, todo el proceso de conversión incluye una pluralidad de etapas y, así, el motor puede llevar a cabo únicamente parte de las etapas o, de forma alternativa, la señal de voz puede ser dividida en “partes”, es decir, bloques, que son convertidas por entidades separadas. Cómo se lleva a cabo la compartición de tareas se expone más adelante. En un escenario mínimo, el dispositivo móvil puede ocuparse únicamente del procesamiento de la voz digital, en cuyo caso el dispositivo externo ejecutará las etapas más exigentes de cálculo, por ejemplo la de fuerza bruta.
En correspondencia con lo anterior, el intercambio de información se refiere a la interacción (recepción y/o transmisión de información) entre el dispositivo móvil y la entidad externa para ejecutar el proceso de conversión y procesos subsiguientes opcionales. Por ejemplo, la señal de voz de entrada puede transferirse, o bien completamente o parcialmente, entre los al menos dos elementos mencionados anteriormente, para que sea compartida la carga global de la tarea y/o las tareas específicas sean gestionadas por cierto elemento, tal como se ha mencionado en el párrafo inmediatamente anterior. Además, pueden transferirse diversos mensajes de parámetros, estado, acuse de recibo y de control durante la etapa de intercambio de información. En la descripción detallada se describen ejemplos adicionales. También se exponen formatos de datos adecuados para contener voz o texto.
En otro aspecto, un servidor operable en una red de comunicaciones comprende:
 un medio de entrada de datos para recibir una señal digital de datos enviada por un dispositivo móvil, representando dicha señal digital de datos voz o, al menos, parte de la misma, y para recibir una orden de edición de la voz a través del dispositivo móvil,
 al menos parte de un motor de reconocimiento de voz para llevar a cabo tareas de conversión a texto de una señal digital de datos,
 una unidad de control para intercambiar información de control con el dispositivo móvil, llevando a cabo una tarea de edición de la señal digital de voz en respuesta a la orden de edición recibida, y para determinar, en base a la información de control, las tareas que deben llevarse a cabo en la señal digital de datos recibida por dicha al menos parte del motor de reconocimiento de voz, y
 un medio de salida de datos para comunicar al menos parte de la salida de las tareas llevadas a cabo a una entidad externa.
En un aspecto adicional de la invención, un sistema para convertir voz a texto comprende un dispositivo móvil operable en una red de comunicaciones inalámbricas y un servidor conectado funcionalmente a dicha red de comunicaciones inalámbricas, en el que:
 dicho dispositivo móvil está configurado para recibir voz y convertir la voz en una señal digital de voz representativa, para recibir una orden de edición relativa a la señal digital de voz, para procesar la señal digital de voz según la orden de edición, para intercambiar información relativa a la señal digital de voz y la conversión de voz a texto de la misma con el servidor, y para ejecutar parte de las tareas requeridas para llevar a cabo una conversión a texto de la señal digital de voz, y
 dicho servidor está configurado para recibir información relativa a la señal digital de voz y la conversión de voz a texto de la misma, y para ejecutar, en base a la información intercambiada, la parte restante de las tareas requeridas para llevar a cabo una conversión a texto de la señal digital de voz.
El “servidor” se refiere a una entidad, por ejemplo un aparato electrónico como un ordenador, que coopera con el dispositivo móvil de la invención para llevar a cabo la conversión de voz a texto y posibles procesos adicionales. La entidad puede estar incluida en otro dispositivo, por ejemplo una pasarela o un encaminador, o puede ser un dispositivo completamente separado o una pluralidad de dispositivos que forman la entidad servidora agregada de la invención.
Además, en otro aspecto, un procedimiento para convertir voz en texto tiene las etapas de:
 recibir, en un dispositivo móvil operable en una red inalámbrica, una fuente de voz, y convertir la fuente de voz en una señal digital de voz representativa,
 recibir una orden de edición relativa a la señal digital de voz por parte del dispositivo móvil,
 procesar la señal digital de voz según la orden de edición,
 intercambiar información relativa a la señal digital de voz y la conversión de voz a texto de la misma, y
 ejecutar, en base a la información intercambiada, al menos parte de las tareas requeridas para llevar a cabo una conversión de voz a texto de la señal digital de voz.
Preferentemente, la señal de voz digitalizada es visualizada en una pantalla del dispositivo móvil para que la edición pueda basarse también en la visualización.
La utilidad de la invención se debe a varios factores. En primer lugar, se pueden generar mensajes de forma textual con facilidad con fines de archivo y/o de comunicaciones hablando al dispositivo móvil de cada cual y, opcionalmente, editando la señal de voz por medio de la IU mientras el dispositivo y la entidad conectada de forma remota se ocupan automáticamente de la conversión exhaustiva de voz a texto. La práctica de la comunicación entre el dispositivo móvil y la entidad puede soportar una pluralidad de medios diferentes (llamadas de voz, mensajes de texto, protocolos móviles de transferencia de datos, etc.), y la selección de un procedimiento actual de intercambio de información puede realizarse incluso dinámicamente en base, por ejemplo, a condiciones de la red. El texto y/o la voz editada resultantes pueden ser remitidos a un destinatario predeterminado utilizando una pluralidad de tecnologías y técnicas de comunicación diferentes, incluyendo Internet y redes móviles, redes informáticas de acceso restringido, correo de voz (síntesis de voz requerida para el texto resultado), correo electrónico, mensajes SMS/MMS, etc. El texto propiamente dicho puede proporcionarse en forma editable o de solo lectura. Los formatos aplicables de texto incluyen, por ejemplo, el ASCII sencillo (y otros juegos de caracteres), el formato Ms Word y el formato Adobe Acrobat.
El dispositivo móvil de la invención es, de forma ventajosa, un dispositivo o, al menos, está incorporado en un dispositivo que el usuario lleva consigo en cualquier ocasión y, por ello, no se introduce una carga adicional. Dado que el texto puede ser sometido ulteriormente a un motor de traducción automática, la invención también facilita la comunicación políglota. La editabilidad manual proporcionada de la señal de voz permite que el usuario verifique y cultive la señal de voz antes de la ejecución y de acciones ulteriores, lo que puede ahorrar al sistema un procesamiento innecesario y, ocasionalmente, mejorar la calidad de la conversión, ya que el usuario puede reconocer, por ejemplo, porciones inarticuladas en la señal de voz grabada y sustituirlas con versiones apropiadas. La compartición de tareas entre el dispositivo móvil y la entidad externa puede ser configurable y/o dinámica, lo que aumenta muchísimo la flexibilidad de la solución global, ya que pueden tenerse en cuenta los recursos disponibles de procesamiento/memoria para la transmisión de datos sin olvidar diversos aspectos adicionales, como el consumo de batería, el precio y los contratos del servicio, las preferencias del usuario, etc., incluso en tiempo real tras el aprovechamiento de la invención, tanto del dispositivo móvil como, específicamente, del usuario. El aspecto de la personalización de la parte del reconocimiento de voz de la invención aumenta, a su vez, la calidad de la conversión.
El núcleo de la presente invención puede ser expandido convenientemente por medio de servicios adicionales. Por ejemplo, pueden introducirse servicios manuales/automáticos de revisión ortográfica o de traducción de idioma/verificación de la traducción del texto, ya sea directamente por parte del operador del servidor o por terceros a los que el dispositivo móvil y/o el servidor transmiten los resultados de la conversión. Además, el lado servidor de la invención puede ser actualizado con los soportes físicos/lógicos más recientes (por ejemplo, soportes lógicos de reconocimiento) sin necesariamente suscitar una necesidad de actualizar el o los dispositivos móviles. En correspondencia con lo anterior, el soporte lógico móvil puede ser actualizado por medio de la comunicación entre el dispositivo móvil y el servidor. Desde un punto de vista del servicio, tal interacción abre nuevas posibilidades para definir una jerarquía exhaustiva de niveles de servicio. Dado que, típicamente, los dispositivos móviles, por ejemplo los terminales móviles, tienen capacidades diferentes y los usuarios de los mismos son capaces de gastar una cantidad variable de dinero (por ejemplo, en forma de costes de transferencia de datos o en tarifas directas por el servicio) para utilizar la invención, puede haber disponibles diversas versiones del soporte lógico móvil; la diferenciación puede implementarse por medio de bloqueo/activación de las características o como aplicaciones completamente separadas para cada nivel de servicio. Por ejemplo, en un nivel las entidades de la red se ocuparán de la mayor parte de las tareas de conversión, y el usuario está dispuesto a pagar por ello, mientras que en otro nivel el dispositivo móvil ejecutará una parte sustantiva del procesamiento, dado que incorpora las prestaciones necesarias y/o el usuario no quiere utilizar recursos externos para ahorrar costos o por alguna otra razón.
En una realización de la invención se presenta una disposición de la conversión de voz a texto siguiendo los principios explicados anteriormente. Una persona habituada a dictar notas utiliza su dispositivo móvil polivalente para capturar/editar una señal de voz y convertirla en texto en cooperación con un servidor de red. Se dan a conocer variaciones de la disposición básica.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
En lo que sigue se describe la invención en más detalle con referencia a los dibujos adjuntos, en los que:
la Fig. 1 ilustra un diagrama de flujo de un escenario típico de la técnica anterior, en el que un ordenador ordinario de sobremesa incluye un componente lógico de reconocimiento de voz;
la Fig. 2 visualiza una disposición de la conversión de voz a texto de la invención que comprende un dispositivo móvil y un servidor de red;
la Fig. 3 da a conocer un diagrama de flujo de una opción para llevar a cabo el procedimiento de la invención;
la Fig. 4 da a conocer un diagrama de señalización que muestra posibilidades de transferencia de información para implementar la presente invención;
la Fig. 5 representa interioridades del motor de reconocimiento de voz con un número de tareas;
la Fig. 6 es un diagrama de bloques de un dispositivo móvil de la invención;
la Fig. 7 es un diagrama de bloques de una entidad servidora de la invención.
DESCRIPCIÓN DETALLADA DE LA REALIZACIÓN DE LA INVENCIÓN
La Figura 1 ya fue objeto de reseña en conjunto con la descripción de la técnica anterior relacionada.
La Figura 2 da a conocer un esbozo de un sistema, únicamente a título de ejemplo, adaptación para llevar a cabo la disposición de conversión de la invención, tal como ha sido descrita en lo que antecede, bajo el control de un usuario que prefiere grabar sus mensajes y sus conversaciones en vez de mecanografiarlas en su dispositivo electrónico móvil polivalente, que proporciona una IU al resto del sistema. El dispositivo electrónico móvil 202, en lo sucesivo dispositivo 202, como un terminal móvil o una PDA con un medio de comunicaciones interno o externo, por ejemplo un transceptor de radiofrecuencia, es operable en una red 204 de comunicaciones inalámbricas, como una red celular o una red WLAN (LAN inalámbrica) capaz de intercambiar información con el dispositivo 202. Típicamente, las redes inalámbricas comprenden transceptores de radio denominados, por ejemplo, estaciones base o puntos de acceso para interconectarse con los dispositivos móviles. La comunicación inalámbrica puede referirse también al intercambio de otros tipos de señales aparte de meras señales de radiofrecuencia, incluyendo dichos tipos adicionales de señales, por ejemplo, las señales infrarrojas. Como término, la operabilidad se refiere en el presente documento a la capacidad de transferir información.
La red 204 de comunicaciones inalámbricas está conectada, además, a otras redes, por ejemplo una red 206 de comunicaciones (por cable), por medio de medios apropiados de interconexión, por ejemplo encaminadores o conmutadores. Conceptualmente, la red inalámbrica 204 puede estar también ubicada directamente en la red 206 de comunicaciones si no consiste más que en una interfaz inalámbrica para comunicarse con los terminales inalámbricos dentro del alcance. Internet es un ejemplo de red 206 de comunicaciones que también abarca una pluralidad de subredes.
Además, una entidad remota denominada servidor 208 reside en la red 206 de comunicaciones, o, al menos, está conectada a la misma a través de redes intermedias. El dispositivo 202 y el servidor 208 intercambian información 210 por medio de las redes 204, 206 para llevar a cabo el proceso global de conversión de voz a texto de la invención. El motor de reconocimiento de voz está situado en el servidor 208 y, opcionalmente al menos, en el dispositivo 202. El texto y/o la voz editada resultantes pueden ser entonces comunicados 212 a un destinatario remoto dentro o fuera de dichas redes de comunicaciones inalámbricas 204 y de comunicaciones 206, a un archivo electrónico (en cualquier red
o dentro del dispositivo 202, por ejemplo en una tarjeta de memoria) o a una entidad de servicio que se ocupa del procesamiento ulterior, por ejemplo de la traducción de los mismos. De forma alternativa o adicional, el procesamiento ulterior puede llevarse a cabo en el servidor 208.
Los bloques 214, 216 representan capturas de pantalla potenciales del dispositivo 202 realizadas tras la ejecución del procedimiento global de conversión de voz. La captura 214 ilustra una opción para presentar visualmente, mediante una aplicación de conversión, la señal de entrada (es decir, la señal de entrada que comprende, al menos, voz) al usuario del dispositivo 202. La señal puede, en efecto, ser visualizada para su repaso o su edición sacando provecho de varios enfoques diferentes: la representación del dominio temporal de la señal puede dibujarse como una envolvente (véase la curva superior en la captura) o como un gráfico más tosco (por ejemplo, del tipo de voz activada/desactivada u otra segmentación del dominio temporal de resolución reducida, en cuyo caso la resolución reducida puede obtenerse de la señal original, por ejemplo, dividiendo el intervalo de los valores originales de la misma en un número menor de subintervalos con valores de umbral limitados) en base a la amplitud o los valores de magnitud de la misma, y/o puede calcularse de la misma un espectro de potencia u otra parametrización de dominio frecuencial o alternativo (véase la curva inferior en la captura).
Incluso pueden aplicarse simultáneamente varias técnicas de visualización, con lo que, por ejemplo, mediante una funcionalidad de acercamiento (/alejamiento) o de otro tipo, pueden mostrarse en otro lugar de la pantalla cierta parte de la señal correspondiente a un intervalo temporal definido por el usuario o un subintervalo de valores preferidos de parámetros (véase las curvas superior e inferior de la captura 214 presentadas simultáneamente) con una resolución aumentada (/disminuida) o mediante una técnica alternativa de representación. Además de la o las representaciones de la señal, la captura 214 muestra diversos valores numéricos determinados durante el análisis de la señal, marcadores (rectángulo) y puntero (flecha, línea vertical) a la señal (porción) y funciones corrientes de edición o visualización de datos aplicadas o disponibles (véase el número de referencia 218). En caso de una pantalla táctil, el usuario, de forma ventajosa, puede pintar con el dedo o un estilete una zona preferida de la porción de señal visualizada (de forma ventajosa, la señal puede ser desplazada por el usuario si no llena la pantalla con una resolución preferida) y/o, presionando otra zona predeterminada, especificar una función que deba ser ejecutada en relación con la porción de la señal subyacente a la zona preferida. Puede proporcionarse al usuario una funcionalidad similar por medio de un medio de control más convencional, por ejemplo un puntero que se mueva por la pantalla en respuesta a la señal de control del dispositivo de entrada creado por un controlador de puntero, un ratón, un botón de botonera/teclado, un controlador direccional, un receptor de órdenes de voz, etc.
A partir de la señal visualizada, el usuario del dispositivo 202 puede reconocer rápidamente, requiriéndose únicamente una experiencia mínima, los sonidos separables, como palabras, y las posibles señales aberrantes (ruidos de fondo, etc.) contenidos en la misma y editar ulteriormente la señal para cultivarla para el subsiguiente proceso de reconocimiento de voz. Por ejemplo, si se muestra una envolvente de la representación del dominio temporal de la señal de voz, las porciones de menor amplitud a lo largo del eje del tiempo corresponden, con mucha probabilidad, al silencio
o el ruino de fondo, mientras que los sonidos de voz contienen más energía. En el dominio frecuencial, los picos dominantes son debidos, a su vez, a los componentes de la señal de voz propiamente dicha.
El usuario puede introducir y comunicar órdenes de edición de la señal al dispositivo 202 por medio de la IU del mismo. Preferentemente, las funciones de edición asociadas con las órdenes permitirán una inspección y una revisión exhaustivas de la señal original, dándose a conocer por ello, a continuación, algunos ejemplos útiles.
La porción de la señal definida por el usuario (por ejemplo, ya sea seleccionada con marcadores/punteros móviles o “pintada” en la IU como en la pantalla táctil, según se ha explicado en lo que antecede) será sustituible con otra porción, ya sea que esté ya almacenada o que sea grabada en tiempo real. Así mismo, una porción será suprimible para que las porciones adyacentes restantes puedan unirse entre sí o para que la porción borrada sea sustituida con unos datos predeterminados que representen, por ejemplo, silencio o ruido de fondo de bajo nivel. En los extremos de la señal capturada es innecesario tal procedimiento de unión. Al usuario puede asignársele una posibilidad de alterar, por ejemplo unificar, la amplitud (relativa al volumen/sonoridad) y el contenido espectral de la señal, lo que puede llevarse a cabo a través de diferentes medios de control de la ganancia, algoritmos de normalización, un ecualizador, un controlador del margen dinámico (incluyendo, por ejemplo, una puerta de ruido, un expansor, un compresor, un limitador), etc. Los algoritmos de reducción de ruido para limpiar la señal de voz degradada del jaleo de fondo son más complejos que el uso de puertas de ruido, pero ventajoso siempre que la señal acústica original haya sido producida en condiciones ruidosas. Preferentemente, el ruido de fondo será al menos pseudoestacionario para garantizar una precisión adecuada de modelado. Los algoritmos modelan el ruido de fondo espectralmente o por medio de un filtro (coeficientes) y restan de la señal microfónica la estimación del ruido modelado ya sea en el dominio temporal o en el espectral. En algunas soluciones, la estimación de ruido se actualiza únicamente cuando un detector de actividad vocal (DAV) aparte notifica que no hay voz en la porción actualmente analizada de la señal. Generalmente, la señal puede clasificarse como que incluye solo ruido, solo voz o ruido + voz.
La aplicación de conversión puede almacenar varias funciones y varios algoritmos diferentes de edición de la señal que son seleccionables por el usuario como tales, y al menos algunos de ellos pueden ser personalizados adicionalmente por el usuario, por ejemplo a través de varios parámetros ajustables.
En la aplicación se incluye, preferentemente, la funcionalidad de cancelación, también denominada funcionalidad de “deshacer”, que se trata, por ejemplo, de una opción de programa para volver al estado de la señal antes de la última operación, para permitir que el usuario experimente sin riesgos con los efectos de diferentes funcionalidades mientras busca una señal editada óptima.
Siempre que la edición ocurre, al menos en parte, simultáneamente con el reconocimiento de voz, puede visualizarse en la pantalla del dispositivo 202 incluso únicamente el texto resultante hasta el momento. Esto puede requerir una transferencia de información entre el servidor 208 y el dispositivo 202, si el servidor 208 ha participado en la conversión de la porción particular de voz de la que se ha originado el texto resultante hasta el momento. Si no, se materializa la captura 216 después de completar la conversión de voz a texto. De manera alternativa, nunca se muestra el texto como tal al usuario del dispositivo 202, ya que, por defecto, es remitida directamente al destino de archivo o a un destinatario remoto, preferentemente dependiendo de las configuraciones definidas por el usuario.
Una configuración puede determinar si el texto es mostrado automáticamente en la pantalla del dispositivo 202 para su revisión, de nuevo opcionalmente junto con la señal de voz original o la editada, es decir, la señal de voz se visualiza como se ha descrito en lo que antecede, mientras que las porciones resultantes de texto, como las palabras, se muestran encima o debajo de la voz alineadas en relación con las correspondientes porciones de voz. Los datos necesarios para el alineamiento se crean como producto secundario en el proceso de reconocimiento de voz durante el cual la señal de voz ya se analiza en porciones. El usuario puede entonces determinar si está satisfecho con el resultado de la conversión o decidir editar adicionalmente las porciones preferidas de voz (incluso regrabarlas) y someterlas a una nueva ronda de reconocimiento mientras que mantiene intactas las porciones restantes, si las hay. Lo cierto es que este tipo de conversión recursiva de voz a texto consume más tiempo y recursos que el tipo de enfoque básico y directo, del tipo “editar una vez y convertir”, pero permite el logro de resultados más precisos. De manera alternativa, al menos parte del texto resultante puede ser corregida introduciendo manualmente correcciones para omitir rondas adicionales de conversión sin auténtica certidumbre de resultados más precisos.
Aunque la señal de audio introducida que comprende la voz es capturada en origen por el dispositivo 202 por medio de un sensor o un transductor como un micrófono y luego es digitalizada por medio de un convertidor A/D para la transmisión y/o el almacenamiento de la forma digital, incluso la fase de edición puede comprender una transferencia de información entre el dispositivo 202 y otras entidades como el servidor 208, tal como se anticipa con el enfoque recursivo anterior. A su vez, la señal digital de voz puede ser de un tamaño tan grande que no pueda ser almacenada de manera sensata en el dispositivo 202 como tal; por lo tanto, tiene que ser comprimida localmente, opcionalmente en tiempo real durante la captura, utilizando un codificador de audio dedicado a la voz o más genérico, como GSM, TETRA, G.711, G.721, G.726, G.728, G.729 o diversos codificadores de la serie MPEG. Además, o de forma alternativa, la señal digital de voz puede, tras la captura, ser transmitida directamente (incluyendo, no obstante, la necesaria acumulación intermedia) a una entidad externa, por ejemplo el servidor 208, para el almacenamiento y, opcionalmente, la codificación, y ser devuelta posteriormente al dispositivo 202 para su edición. En casos extremos, la edición tiene lugar en el servidor 208, de modo que el dispositivo 202 actúa principalmente como una interfaz remota para controlar la ejecución de las funciones de edición en el servidor 208 previamente explicadas. Para ese fin, tienen que transferirse entre las dos entidades 202, 208 tanto los datos de voz (para su visualización en el dispositivo 202) como la información de control (órdenes de edición).
El intercambio 210 de información en conjunto puede incorporar una pluralidad de características diferentes de la disposición de conversión. En un aspecto de la invención, el dispositivo 202 y el servidor 208 comparten las tareas relativas a la conversión de voz a texto. La compartición de tareas implica también inherentemente el intercambio 210 de información, dado que, al menos una porción de la voz (codificada opcionalmente) tiene que ser transferida entre el dispositivo 202 y el servidor 208.
Las aplicaciones de conversión en el dispositivo 202 y, opcionalmente, en el servidor 208 incluyen o, al menos, tienen acceso a configuraciones para la compartición de tareas (por ejemplo, de funciones, algoritmos) con varios parámetros, que pueden ser definibles o fijados por el usuario (o, al menos, no libremente alterables por el usuario). Los parámetros pueden o bien determinar explícitamente cómo se dividen las tareas entre el dispositivo 202 y el servidor 208, o únicamente supervisar el proceso a través de varias reglas más genéricas que han de seguirse. Por ejemplo, ciertas tareas pueden ser llevadas a cabo siempre por el dispositivo 202 o por el servidor 208. Las reglas pueden especificar la compartición de la carga de procesamiento, en la que se determinan umbrales de carga o bien relativos o absolutos con adaptividad/lógica adicional opcional para las cargas tanto del dispositivo 202 como del servidor 208 para transferir generalmente parte del procesamiento y, así, de los datos fuente de la entidad más cargada a la menos cargada. Si el proceso de conversión de voz a texto se implementa como un servicio basado en un abono que incluye varios niveles de servicio, algunas características de conversión pueden estar deshabilitadas a un cierto nivel (inferior) de usuario bloqueándolas, por ejemplo, en la aplicación de conversión. La funcionalidad de bloqueo/desbloqueo puede llevarse a cabo a través de un conjunto de versiones diferentes del soporte lógico, de una característica de códigos de registro, de módulos adicionales descargables de soporte lógico, etc. En el caso de que el servidor 208 no pueda implementar algunas de las tareas permitidas de nivel inferior solicitadas por el dispositivo 202, por ejemplo durante una situación de sobrecarga del servidor o de interrupción del servicio en el servidor, puede enviar un mensaje de “falta de acuse de recibo” u omitir por completo el envío de cualquier respuesta (a menudo, tal como se presenta en la Figura 4, las faltas de acuse de recibo se envían realmente), para que el dispositivo 202 pueda deducir del acuse de recibo negativo o ausente que debe ejecutar las tareas por sí mismo siempre que sea posible.
El dispositivo 202 y el servidor 208 pueden negociar un escenario de cooperación para la compartición de tareas y el intercambio 210 de información resultante. Tales negociaciones pueden ser desencadenadas por el usuario (o sea, seleccionando una acción que lleve al comienzo de las negociaciones), de manera programada (una vez al día, etc.), tras el comienzo de cada conversión, o dinámicamente durante el proceso de conversión transmitiéndose información de parámetros entre sí, por ejemplo en conexión con un cambio en el valor de un parámetro. Los parámetros relativos a la compartición de tareas incluye información, por ejemplo, a uno o más de los siguientes: carga de procesamiento o de memoria actuales, estado de la batería o su capacidad máxima, el número de tareas distintas en ejecución (con prioridad mayor), el ancho de banda disponible para la transmisión, aspectos relacionados con el coste, como la tasa actual de transmisión de datos para la o las rutas de transferencia disponibles o el costo de uso del servidor por tamaño/duración de los datos de voz, el tamaño o la duración de la señal fuente de voz, los procedimientos disponibles de codificación/decodificación, etc.
El servidor 208 es, en la mayoría de los casos, superior al dispositivo 202 en cuanto a la potencia de procesamiento y la capacidad de memoria; por lo tanto, las comparaciones de carga serán relativas o a escala en todo caso. La lógica para llevar a cabo la compartición de tareas puede basarse en simples tablas de valores umbral que incluyan, por ejemplo, diferentes intervalos de valores de parámetros y las decisiones resultantes de la compartición de tareas. En la práctica, la negociación puede realizarse por medio del intercambio 210 de información para que o bien el dispositivo 202 o el servidor 208 transmitan información de estado al otro que determine una escenario optimizado de cooperación y devuelva el resultado del análisis para iniciar el proceso de conversión.
El intercambio 210 de información también cubre la transmisión del estado de la conversión (anuncios de ejecución lista/en curso de la tarea actual, aviso de interrupción del servicio, cifras de carga del servicio, etc.) y mensajes de señalización de acuse de recibo (recepción de datos realizada con/sin éxito, etc.) entre el dispositivo 202 y el servidor
208. Sin embargo, no siempre que se solucionan las asignaciones de compartición de tareas es obligatoria la transferencia de la señalización relacionada.
El intercambio 210 de información puede tener lugar con prácticas diferentes de comunicación, incluso múltiples simultáneamente (transferencia de datos en paralelo) para acelerar las cosas. En una realización, el dispositivo 202 establece una llamada de voz con el servidor 208 por la cual se transmite la señal de voz, o, al menos, parte de ella. La voz puede ser transferida en conexión con la fase de captura, o después de editarla por vez primera en el dispositivo
202. En otra realización, se usa un protocolo dedicado de transferencia de datos, como el GPRS, para la transferencia de voz y de otra información. La información puede ser encapsulada en diversos formatos de paquete/trama y mensajes como SMS, MMS o mensajes de correo electrónico.
Los resultados intermedios proporcionados por el dispositivo 202 y el servidor 208, por ejemplo voz procesada, parámetros de reconocimiento de voz o porciones de texto, se combinarán en cualquiera de los dos dichos dispositivos 202, 208 para crear el texto final. Dependiendo de la naturaleza de la compartición (¿representan los resultados intermedios las porciones correspondientes del texto final?), los resultados intermedios puede ser transmitidos, de manera alternativa, como tales a una entidad receptora adicional, que puede llevar a cabo el proceso final de combinación aplicando información que le proporcionan para ese fin las entidades 202, 208.
Servicios adicionales, como revisión ortográfica, traducción automática/humana, verificación de la traducción o síntesis adicional de texto a voz, pueden localizarse en el servidor 208 o en otra entidad remota a la que se transmite el texto después de completar la conversión de voz a texto. En el caso de que los resultados intermedios anteriormente mencionados se refieran directamente a porciones del texto, las porciones pueden ser transmitidas de manera independiente inmediatamente después de su finalización, con la condición de que la respectiva información adicional para la combinación también se acabe transmitiendo.
En una implementación de la invención, el motor de reconocimiento de voz de la invención, que reside en el servidor 208 y, opcionalmente, en el dispositivo 202 puede ser personalizado para utilizar las características de voz individuales de cada usuario. Esto indica la introducción de las características en una base de datos local o remota accesible por el motor de reconocimiento en base, por ejemplo, a la ID del usuario; las características pueden ser obtenidas, de manera conveniente, entrenando al motor o bien proporcionándose al motor parejas libremente seleccionadas de muestra de voz/texto correspondiente o pronunciando las expresiones que el motor está configurado a solicitar de cada usuario en base a, por ejemplo, un compromiso predefinido (dependiente del idioma) entre maximizar la versatilidad y el valor representativo del espacio de la información y minimizar el tamaño de la misma. En base al análisis de los datos de entrenamiento, el motor determina a continuación las configuraciones personalizadas, por ejemplo los parámetros del reconocimiento, que han de usarse en el reconocimiento. Opcionalmente, el motor ha sido adaptado para actualizar continuamente la información del usuario (~perfiles de usuario) utilizando la información de retorno recogida; pueden analizarse las diferencias entre el texto final corregido por el usuario y al texto final producido automáticamente.
La Figura 3 da a conocer un diagrama de flujo de un procedimiento según la invención. En la etapa 302 de inicio del procedimiento se llevan a cabo las acciones iniciales que permiten la ejecución de las etapas ulteriores del procedimiento. Por ejemplo, se lanzan las aplicaciones necesarias, una o más, relativas al proceso global de conversión de voz a texto, incluyendo la edición, en el dispositivo 202 y se activa el respectivo servicio en el lado del servidor 208. En el supuesto caso de que el usuario del dispositivo 202 deseara una fase de reconocimiento personalizado, la etapa 302 incluye opcionalmente el registro o el inicio de sesión en el servicio. Esto también tiene lugar siempre que el servicio está destinado únicamente a usuarios registrados (servicio privado) y/u ofrece una pluralidad de niveles de servicio. Por ejemplo, en un caso de múltiples usuarios que saquen provecho ocasionalmente de la disposición de conversión por medio del mismo terminal, el registro o el inicio de sesión puede tener lugar tanto en el dispositivo 202 como en el servidor 208, posiblemente automáticamente, en base a la información almacenada en el dispositivo 202 y en las configuraciones actuales. Además, durante la etapa 302 de inicio pueden cambiarse las configuraciones del proceso de conversión y fijarse los valores de los parámetros que determinan, por ejemplo, diversas preferencias del usuario (algoritmos por defecto de procesamiento de voz, procedimiento de codificación, etc.). Además, tal como se ha descrito en lo que antecede, el dispositivo 202 puede negociar con el servidor 208 un escenario preferente de cooperación en la etapa 302.
En la etapa 304 se inicia la captura de la señal de audio, incluyendo la voz que ha de ser convertida, es decir, el o los transductores del dispositivo 202 comienzan a traducir la vibración acústica de entrada a una señal eléctrica digitalizada con un convertidor A/D que puede ser implementado como un chip aparte o combinado con el o los transductores. O bien la señal será capturada en primer lugar localmente en el dispositivo 202 en su conjunto antes de que se ejecute ninguna etapa adicional del procedimiento, o la captura discurre simultáneamente con varias etapas subsiguientes del procedimiento después de que se haya llevado a cabo primer el necesario almacenamiento intermedio mínimo de la señal. La etapa 304 también indica la codificación opcional de la señal y el intercambio de información entre el dispositivo 202 y el servidor 208, si al menos parte de la señal ha de ser almacenada en el servidor 208 y la edición tiene lugar de manera remota con respecto al dispositivo 202, o si la edición se produce en segmentos de datos que son transferidos entre el dispositivo 202 y el servidor 208. Como alternativa al servidor 208, podría usarse alguna entidad distinta como un mero almacenamiento temporal de datos si el dispositivo 202 no contiene suficiente memoria para ese fin. Por lo tanto, aunque no se ilustren en la más amplia extensión por razones de claridad, las etapas 302-310 presentadas en la Figura 3 pueden comprender una transferencia adicional de datos entre el dispositivo 202 y el servidor 208 u otra entidad, y la trayectoria visualiza explícitamente es, simplemente, la opción más directa.
En la etapa 306 la señal se visualiza en la pantalla del dispositivo 202 para su edición. Las técnicas de visualización utilizadas pueden ser alterables por el usuario, como se reseñó en la descripción de la Figura 2. El usuario puede editar la señal para cultivarla para hacerla más relevante al proceso de reconocimiento e introducir funciones preferidas de inspección de la señal (acercamiento/alejamiento, diferentes representaciones paramétricas), funciones/algoritmos de formación de la señal, e incluso regrabar/insertar/borrar por completo las porciones necesarias. Cuando el dispositivo recibe del usuario una orden de edición (véase el número de referencia 308), la acción asociada se lleva a cabo en la etapa 310 del procesamiento, preferentemente incluyendo también la funcionalidad de “deshacer”. Cuando el usuario está satisfecho con el resultado de la edición, queda atrás el bucle de las etapas 306, 308 y 310, y la ejecución del procedimiento continúa a partir de la etapa 312, que indica el intercambio de información entre el dispositivo 202 y el servidor 208. La información se relaciones con el proceso de conversión e incluye, por ejemplo, la voz editada (opcionalmente, también codificada). Además, o de manera alternativa (si, por ejemplo, el dispositivo 202 o el servidor 208 son incapaces de ocuparse de una tarea), durante esta etapa se transfiere la señalización necesaria en cuanto a detalles de la compartición de tareas (negociación ulterior y parámetros relacionados, etc.). En la etapa 314 se llevan a cabo las tareas del proceso de reconocimiento según lo determinado por el escenario de negociación seleccionado. El número 318 se refiere al intercambio opcional de información adicional para transferir resultados intermedios como la voz procesada, los parámetros calculados de reconocimiento de voz, las porciones de texto o señalización adicional entre las entidades 202 y 208. Las porciones separadas de texto que posiblemente resulten de la compartición de tareas se combinarán cuando el dispositivo 202, el servidor 208 o alguna otra entidad estén listos para construir el texto completo. El texto puede ser revisado por el usuario del dispositivo 202 y porciones del mismo ser sometidas a correcciones, o incluso porciones de la voz original correspondientes al texto defectuoso producido pueden seleccionarse para rondas adicionales de conversión con configuraciones opcionalmente corregidas, si el usuario cree que merece la pena intentarlo. Puede considerarse que el texto final es transferido a la ubicación deseada (destinatario, archivo, servicio adicional, etc.) durante la última etapa 316 visualizada, lo que denota también el fin de la ejecución del procedimiento. En el caso de que se remita la salida (texto traducido, voz sintetizada, etc.) desde el servicio adicional, la entidad del servicio adicional la abordará en base al mensaje recibido de petición de servicio desde el remitente, por ejemplo el dispositivo 202 o el servidor 208, o les devolverá la salida para que sea entregada a otra ubicación.
El diagrama de señalización de la Figura 4 da a conocer una opción para la transferencia de información entre el dispositivo 202 y el servidor 404 en el espíritu de la invención. Sin embargo, debería hacerse notar que las señales presentadas reflejan solamente un caso un tanto básico en el que no se utilizan múltiples rondas de conversión, etc. La flecha 402 corresponde a la señal de audio que incluye la voz que ha de ser convertida. La señal 404 está asociada con una solicitud enviada al servidor 208 que indica el escenario preferida de cooperación para el proceso de conversión de voz a texto desde el punto de vista del dispositivo 202. El servidor 208 responde 406 con un acuse de recibo que incluye una confirmación del escenario aceptado, que puede diferir del solicitado, determinado en base, por ejemplo, a los niveles de usuario y a los recursos disponibles. El dispositivo 202 transmite datos o porciones de parámetros de reconocimiento de voz de la señal de voz al servidor 208, tal como se muestra mediante la flecha 408. El servidor 208 lleva a cabo la parte negociada del procesamiento y transmite los resultados al dispositivo 202 o simplemente da acuse de su terminación 410. Acto seguido, el dispositivo 202 transmite un mensaje 412 de aprobación/acuse de recibo que incluye opcionalmente todo el resultado de la conversión para que sea procesado adicionalmente y/o transmitido al destino final. Opcionalmente, el servidor 208 lleva a cabo al menos parte del procesamiento adicional y transmite la salida 414 a la etapa siguiente.
A continuación se presenta una vista previa de un ejemplo no limitante de un proceso de reconocimiento de voz que incluye varias etapas para proporcionar a una persona versada una comprensión en cuanto a la utilización del aspecto de compartición de tareas de la presente invención. La Figura 5 da a conocer tareas ejecutadas por un motor básico de reconocimiento de voz, por ejemplo un módulo de soporte lógico, en forma de un diagrama de flujo y bosquejos ilustrativos relativos a la función de las tareas. Se recalca que la persona versada puede utilizar cualquier técnica adecuada de reconocimiento de voz en el contexto de la presente invención, y no se considerará que el ejemplo representado sea la única opción viable.
El proceso de reconocimiento de voz introduce la señal de voz de formato digital (+ruido adicional, si estaba presente en origen y no se eliminó durante la edición) que ya ha sido editada por el usuario del dispositivo 202. La señal es dividida en tramas de tiempo con una duración de algunas decenas o centenares de milisegundos; por ejemplo, véase el número 502 y las líneas discontinuas. A continuación, la señal es analizada trama a trama utilizando, por ejemplo, un análisis cepstral, durante el cual se calculan varios coeficientes cepstrales determinando una transformada de Fourier de la trama y rompiendo la correlación con una transformada de coseno para recoger los coeficientes dominantes, por ejemplo los 10 primeros coeficientes por trama. También pueden determinarse coeficientes derivados para estimar la dinámica 504 de la voz.
A continuación, el vector de características que comprende los coeficientes obtenidos y que representa la trama de voz es sometido a un clasificador acústico, por ejemplo un clasificador de red neural que asocie los vectores de características con diferentes fonemas 506; es decir, el vector de características es ligado a cada fonema con cierta probabilidad. El clasificador puede ser personalizado mediante configuraciones ajustables o procedimientos de entrenamiento expuestos en lo que antecede.
Acto seguido las secuencias de fonemas que pueden ser construidas concatenando los fonemas que posiblemente subyagan a los vectores de características son analizadas con un decodificador HMM (modelo oculto de Márkov) u otro decodificador adecuado que determine la trayectoria 508 del fonema más probable (y el correspondiente elemento de nivel superior, por ejemplo una palabra) (formando en la figura una frase “esto parece…”) a partir de las secuencias utilizando, por ejemplo, un léxico dependiente del contexto y/o un modelo gramatical de lenguaje y vocabulario relacionado. Tal trayectoria se denomina a menudo trayectoria de Viterbi, y maximiza la probabilidad a posteriori para la secuencia en relación con el modelo probabilístico dado.
Considerando el aspecto de compartición de tareas de la invención, la compartición podría tener lugar entre las etapas 502, 504, 506, 508 y/o incluso dentro de las mismas. En una opción, el dispositivo 202 y el servidor 208 pueden asignar, en base a parámetros/reglas predeterminados o a negociaciones dinámicas/de tiempo real, las tareas tras las etapas 502, 504, 506 y 508 de reconocimiento, de modo que el dispositivo 202 se ocupa de varias etapas (por ejemplo, 502), tras lo cual el servidor 208 ejecuta las restantes etapas (504, 506 y 508, respectivamente). De forma alternativa, el dispositivo 202 y el servidor 208 ejecutarán ambos todas las etapas, pero únicamente en relación con una porción de la señal de voz, en cuyo caso las porciones convertidas de voz a texto serán combinadas finalmente por el dispositivo 202, el servidor 208 o alguna otra entidad para establecer todo el texto. No obstante, en una alternativa, puede sacarse provecho de las dos opciones anteriores simultáneamente; por ejemplo, el dispositivo 202 se ocupa de al menos una tarea para toda la señal de voz (por ejemplo, la etapa 502) debido, por ejemplo, a un nivel de servicio actual que explícitamente así lo define, y también ejecuta las etapas restantes para una porción pequeña de la voz concurrente con la ejecución de las mismas etapas restantes para el resto de la voz por parte del servidor 208. Tal división flexible de tareas puede originarse en la optimización temporal del proceso global de conversión de voz a texto, es decir, se estima que, por la división aplicada, el dispositivo 202 y el servidor 208 terminarán sus tareas de forma sustancialmente simultánea y, así, el tiempo de respuesta percibido por el usuario del dispositivo 202 se minimiza desde el lado del servicio.
Los sistemas modernos de reconocimiento de voz pueden llegar a una tasa de reconocimiento de aproximadamente el 80% si la señal de voz de entrada es de buena calidad (libre de perturbaciones y ruido de fondo, etc.), pero la tasa puede descender hasta el 50% o así en condiciones más exigentes. Por lo tanto, tal como se ha presentado anteriormente, algún tipo de edición puede mejorar notablemente el rendimiento del motor de reconocimiento básico.
La Figura 6 da a conocer una opción de componentes básicos del dispositivo electrónico móvil 202 como un terminal móvil o una PDA dotada de capacidades de comunicaciones, ya sean internas o externas. La memoria 604, dividida entre uno o más chips físicos de memoria, comprende el código necesario, por ejemplo en forma de programa/aplicación informático 612 para permitir la edición de la voz y una conversión al menos parcial de voz a texto (~motor de reconocimiento de voz) y otros datos 610, por ejemplo las configuraciones actuales, voz de forma digital (opcionalmente codificada) y datos de reconocimiento de voz. La memoria 604 puede, además, referirse a una tarjeta de memoria preferentemente extraíble, un disquete, un CD-ROM o un medio fijo de almacenamiento, como un disco duro. La memoria 604 puede ser, por ejemplo, ROM o RAM por naturaleza. Para la ejecución real del código almacenado en la memoria 604 se requiere el medio 602 de procesamiento, por ejemplo una unidad de procesamiento/de control como un microprocesador, un DSP, un microcontrolador o un chip de lógica programable, que opcionalmente comprenda una pluralidad de (sub)unidades cooperantes o paralelas. La pantalla 606 y el teclado o la botonera 608 u otro medio aplicable de entrada de control (por ejemplo, una pantalla táctil o una entrada de control de voz) proporcionan al usuario del dispositivo 202 con un medio de control del dispositivo y de visualización de datos (~interfaz de usuario). El medio 616 de entrada de voz incluye un sensor/transductor, por ejemplo un micrófono y u convertidor A/D para recibir una señal de entrada acústica y para transformar la señal acústica recibida en una señal digital. Se requiere el medio inalámbrico de transferencia de datos 614, por ejemplo un transceptor de radio (GSM, UMTS, WLAN, Bluetooth, infrarrojo, etc.) para la comunicación con otros dispositivos.
La Figura 7 da a conocer un correspondiente diagrama de bloques del servidor 208. El servidor comprende una unidad 702 de control y una memoria 704. La unidad 702 de control para controlar el motor de reconocimiento de voz y otras funcionalidades del servidor 208, incluyendo el intercambio de la información de control, que puede, en la práctica tener lugar a través del medio 714/718 de entrada/salida de datos o de otro medio de comunicaciones, puede ser implementada como una unidad de procesamiento o una pluralidad de unidades cooperantes como el medio 602 de procesamiento del dispositivo electrónico móvil 202. La memoria 704 comprende la aplicación 712 del lado del servidor que debe ser ejecutada por la unidad 702 de control para llevar a cabo al menos algunas tareas del proceso global de conversión de voz a texto, por ejemplo un motor de reconocimiento de voz. Véase el párrafo anterior para ejemplos de
posibles implementaciones de la memoria. Pueden proporcionarse aplicaciones/procesos 716 opcionales para implementar servicios adicionales. Los datos 710 incluyen datos de voz, parámetros de reconocimiento de voz, configuraciones, etc. Es evidente que, al menos, parte de la información requerida puede ubicarse en unas instalaciones de almacenamiento remoto, por ejemplo una base de datos, a las que el servidor 808 tiene acceso, por ejemplo, a 5 través del medio 714 de entrada de datos y del medio 718 de salida de datos. El medio 714 de entrada de datos comprende, por ejemplo, una interfaz o un adaptador de red (Ethernet, WLAN, Token Ring, ATM, etc.) para recibir datos de voz e información de control enviados por el dispositivo 202. Así mismo, se incluye el medio 718 de salida de datos para transmitir, por ejemplo, los resultados de la compartición de tareas a la siguiente etapa. En la práctica, el medio 714 de entrada de datos y el medio 718 de salida de datos pueden combinarse en una única interfaz multidireccional
10 accesible por la unidad 702 de control.
El dispositivo 202 y el servidor 208 pueden ser realizados como una combinación de soporte lógico hecho a medida y un soporte físico más genérico o, de forma alternativa, por medio de un soporte físico más especializado, como chips de lógica programable.
El código de aplicación, por ejemplo la aplicación 612 y/o 712, que define un producto de programa de ordenador 15 para la ejecución de la presente invención, puede ser almacenado y proporcionado en un soporte como un disquete, un CD, un disco duro o una tarjeta de memoria.
El alcance de la presente invención puede encontrarse en las siguientes reivindicaciones. Sin embargo, los dispositivos utilizados, las etapas de los procedimientos, los detalles de la compartición de tareas, etc., pueden depender de un caso de uso particular que, pese a todo, converge en las ideas básicas presentadas en lo que
20 antecede, tal como apreciará un lector experto en la técnica.

Claims (15)

  1. REIVINDICACIONES
    1. Un dispositivo móvil operable en una red de comunicaciones inalámbricas que comprende:
     un medio de entrada de voz para recibir voz y convertir la voz en una señal digital (616) de voz representativa,
     un medio de entrada de control para comunicar una orden de edición relativa a la señal digital (608) de voz,
     un medio de procesamiento para llevar a cabo una tarea de edición de la señal digital de voz en respuesta a la orden (602) de edición recibida,
     al menos parte de un motor de reconocimiento de voz para llevar a cabo tareas de conversión (612) a texto de la señal digital de voz, y
     un transceptor para intercambiar información relativa a la señal digital de voz y la conversión de la misma de voz a texto con una entidad externa conectada funcionalmente a dicha red (614) de comunicaciones inalámbricas, en el que dicho dispositivo móvil está configurado opcionalmente para transmitir a otra entidad el texto resultante de la conversión de voz a texto para una tarea ulterior de procesamiento seleccionada del grupo constituido por: revisión ortográfica, traducción automática, traducción humana, verificación de la traducción y síntesis de texto a voz.
  2. 2.
    El dispositivo móvil según la reivindicación 1 que, además, comprende un medio de visualización para visualizar al menos parte de la señal digital de voz, tras lo cual dicho medio de entrada de control está configurado para comunicar una orden de edición relativa a dicha parte visualizada, en el que la visualización de la señal comprende opcionalmente al menos un elemento seleccionado del grupo constituido por: una representación del dominio temporal de la señal, una representación del dominio frecuencial de la señal, una parametrización de la señal, una operación de acercamiento y alejamiento dirigida a la señal visualizada, un valor numérico determinado a partir de una porción de la señal definida por el usuario, un puntero a una ubicación definida por el usuario en la señal visualizada, y el resalte de una subzona de la señal visualizada definida por el usuario, y en el que dicho dispositivo móvil está configurado opcionalmente, además, para visualizar al menos una porción del texto resultante de la conversión según alinea en relación con la porción correspondiente visualizada de la señal.
  3. 3.
    El dispositivo móvil según la reivindicación 1 en el que dicha tarea de edición está seleccionada del grupo constituido por: una supresión de una porción de la señal, una inserción de una porción de voz en la señal, la regrabación de una porción de la señal, la sustitución de una porción de la señal, el cambio en la amplitud de la señal, el cambio en el contenido espectral de la señal, el cambio de la dinámica de la señal y la ejecución de un algoritmo de reducción de ruido.
  4. 4.
    El dispositivo móvil según la reivindicación 1 en el que dicha al menos parte del motor de reconocimiento de voz comprende un elemento seleccionado del grupo constituido por: un preprocesador para dividir la señal digital de voz en tramas de una longitud predeterminada, un codificador de audio para comprimir la señal digital de voz, un analizador cepstral, un clasificador acústico, un clasificador de red neural, un decodificador de trayectoria óptima, un decodificador HMM (modelo oculto de Márkov), un modelo léxico de lenguaje, un modelo gramatical de lenguaje, un modelo léxico de lenguaje dependiente del contexto, un modelo gramatical de lenguaje dependiente del contexto, configuraciones específicas del usuario y vocabulario.
  5. 5.
    El dispositivo móvil según la reivindicación 1 en el que dicho información intercambiada incluye un elemento seleccionado del grupo constituido por: voz en forma digital, voz digital codificada, información de estado del dispositivo, reconocimiento de mensajes, información de control, orden de edición, datos de negociación de compartición de tareas, el valor de un parámetro relacionado con la compartición de tareas, estado de tareas, aviso de interrupción del servicio, cifra de carga, resultado intermedio de la conversión de voz a texto.
  6. 6.
    El dispositivo móvil según la reivindicación 1 en el que dicha información se intercambia utilizando al menos una práctica se comunicación seleccionada del grupo constituido por: un mensaje SMS (servicio de mensajes cortos), un mensaje MMS (servicio de mensajes multimedia), un correo electrónico, una llamada de datos, una conexión GPRS (servicio general de radiotransmisión por paquetes) y una llamada de voz.
  7. 7.
    El dispositivo móvil según la reivindicación 1 configurado para compartir la ejecución de tareas requeridas para llevar a cabo la conversión de voz a texto con la entidad externa, estando además configurado dicho dispositivo móvil, opcionalmente, para compartir la ejecución de tareas para optimizar un factor según criterios predeterminados, seleccionándose dicho factor del grupo constituido por: tiempo de ejecución de la conversión de voz a texto, costo de la conversión, cantidad de la transferencia de datos requerida, carga de procesamiento y carga de memoria.
  8. 8.
    El dispositivo móvil según la reivindicación 7 en el que la información intercambiada incluye al menos un elemento del grupo constituido por: data para asignar o llevar a cabo las tareas de la conversión de voz a texto, carga de procesamiento, carga de memoria, un estado de batería, una capacidad de batería, información sobre las tareas que se ejecutan con prioridad más elevada, ancho de banda disponible para la transmisión, tasa de transmisión de
    los datos, costo del uso de la entidad externa por tamaño o duración de los datos de voz, tamaño o duración de la señal digital de voz, procedimiento disponible de codificación/decodificación, estado de la conversión, estado de la tarea, aviso de falta de disponibilidad del dispositivo, resultado intermedio de la conversión de voz a texto, voz digital, voz digital codificada, parámetro del reconocimiento de voz, y texto.
  9. 9.
    El dispositivo móvil según la reivindicación 7 configurado para utilizar resultados intermedios de la conversión de voz a texto, proporcionados tanto por el dispositivo como por la entidad externa para producir el texto.
  10. 10.
    El dispositivo móvil según la reivindicación 7 configurado para transmitir resultados intermedios de la conversión de voz a texto a otra entidad, por ejemplo a dicha entidad externa, para habilitar a otra entidad para que lleve a cabo al menos una de las opciones siguientes: combinar los resultados intermedios adquiridos del dispositivo móvil con los resultados obtenidos localmente para producir el texto, someter los resultados intermedios a un procesamiento adicional para producir el texto.
  11. 11.
    Un servidor operable en una red de comunicaciones que comprende:
     un medio de entrada de datos para recibir una señal digital de datos enviada por un dispositivo móvil, representando dicha señal digital de datos voz o, al menos, parte de la misma (714), y para recibir una orden de edición de la voz a través del dispositivo móvil,
     al menos parte de un motor de reconocimiento de voz para llevar a cabo tareas de conversión (712) a texto de una señal digital de datos,
     una unidad de control para intercambiar información de control con el dispositivo móvil, llevando a cabo una tarea de edición de la señal digital de voz en respuesta a la orden de edición recibida, y para determinar, en base a la información de control, las tareas que deben llevarse a cabo en la señal digital de datos recibida por dicha al menos parte del motor (702) de reconocimiento de voz, y
     un medio de salida de datos para comunicar al menos parte de la salida de las tareas llevadas a cabo a una entidad externa (718).
  12. 12. Un sistema para convertir voz a texto que comprende un dispositivo móvil (202) operable en una red de comunicaciones inalámbricas y un servidor (208) conectado funcionalmente a dicha red de comunicaciones inalámbricas, en el que:
     dicho dispositivo móvil (202) está configurado para recibir voz y convertir la voz en una señal digital de voz representativa, para recibir una orden de edición relativa a la señal digital de voz, para procesar la señal digital de voz según la orden de edición, para intercambiar información relativa a la señal digital de voz y la conversión de voz a texto de la misma con el servidor (208), y para ejecutar parte de las tareas requeridas para llevar a cabo una conversión a texto de la señal digital de voz, y
     dicho servidor (208) está configurado para recibir información relativa a la señal digital de voz y la conversión de voz a texto de la misma, y para ejecutar, en base a la información intercambiada, la parte restante de las tareas requeridas para llevar a cabo una conversión a texto de la señal digital de voz.
  13. 13. Un procedimiento para convertir voz en texto que tiene las etapas de:
     recibir, en un dispositivo móvil operable en una red inalámbrica, una fuente de voz, y convertir la fuente de voz en una señal digital (304) de voz representativa,
     recibir una orden de edición relativa a la señal digital (308) de voz por parte del dispositivo móvil,
     procesar la señal digital de voz según la orden (310) de edición,
     intercambiar información relativa a la señal digital de voz y la conversión de voz a texto de la misma (312), y
     ejecutar, en base a la información intercambiada, al menos parte de las tareas requeridas para llevar a cabo una conversión de voz a texto de la señal digital (314) de voz, comprendiendo el procedimiento además, opcionalmente, visualizar al menos parte de la señal digital de voz en una pantalla del dispositivo móvil, tras lo cual la orden de edición recibida se relaciona adicionalmente, de forma opcional, con dicha parte visualizada.
  14. 14.
    Un programa ejecutable en ordenador que comprende medios de código adaptados, cuando se ejecutan en un ordenador, para llevar a cabo las etapas del procedimiento tal como se definen en la reivindicación 13.
  15. 15.
    Un medio de soporte que comprende el programa ejecutable en ordenador de la reivindicación 14, en el que dicho medio de soporte incluye opcionalmente al menos un elemento seleccionado del grupo constituido por: una tarjeta de memoria, un disquete flexible, un CD-ROM y un disco duro.
ES06743504T 2006-04-27 2006-04-27 Procedimiento, sistema y dispositivo para la conversión de la voz. Active ES2359430T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2006/000135 WO2007125151A1 (en) 2006-04-27 2006-04-27 A method, a system and a device for converting speech

Publications (1)

Publication Number Publication Date
ES2359430T3 true ES2359430T3 (es) 2011-05-23

Family

ID=38655100

Family Applications (1)

Application Number Title Priority Date Filing Date
ES06743504T Active ES2359430T3 (es) 2006-04-27 2006-04-27 Procedimiento, sistema y dispositivo para la conversión de la voz.

Country Status (7)

Country Link
US (1) US9123343B2 (es)
EP (1) EP2036079B1 (es)
AT (1) ATE495522T1 (es)
DE (1) DE602006019646D1 (es)
ES (1) ES2359430T3 (es)
HK (1) HK1130935A1 (es)
WO (1) WO2007125151A1 (es)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8917876B2 (en) 2006-06-14 2014-12-23 Personics Holdings, LLC. Earguard monitoring system
EP2044804A4 (en) * 2006-07-08 2013-12-18 Personics Holdings Inc PERSONAL HEARING AID AND METHOD
US11450331B2 (en) 2006-07-08 2022-09-20 Staton Techiya, Llc Personal audio assistant device and method
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8917894B2 (en) 2007-01-22 2014-12-23 Personics Holdings, LLC. Method and device for acute sound detection and reproduction
WO2008095167A2 (en) 2007-02-01 2008-08-07 Personics Holdings Inc. Method and device for audio recording
US10056077B2 (en) * 2007-03-07 2018-08-21 Nuance Communications, Inc. Using speech recognition results based on an unstructured language model with a music system
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US8886545B2 (en) 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
US8111839B2 (en) 2007-04-09 2012-02-07 Personics Holdings Inc. Always on headwear recording system
US11317202B2 (en) 2007-04-13 2022-04-26 Staton Techiya, Llc Method and device for voice operated control
US11856375B2 (en) 2007-05-04 2023-12-26 Staton Techiya Llc Method and device for in-ear echo suppression
US11683643B2 (en) 2007-05-04 2023-06-20 Staton Techiya Llc Method and device for in ear canal echo suppression
US10194032B2 (en) 2007-05-04 2019-01-29 Staton Techiya, Llc Method and apparatus for in-ear canal sound suppression
US10009677B2 (en) 2007-07-09 2018-06-26 Staton Techiya, Llc Methods and mechanisms for inflation
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
JP2009265279A (ja) 2008-04-23 2009-11-12 Sony Ericsson Mobilecommunications Japan Inc 音声合成装置、音声合成方法、音声合成プログラム、携帯情報端末、および音声合成システム
US8600067B2 (en) 2008-09-19 2013-12-03 Personics Holdings Inc. Acoustic sealing analysis system
US9129291B2 (en) 2008-09-22 2015-09-08 Personics Holdings, Llc Personalized sound management and method
US8554350B2 (en) 2008-10-15 2013-10-08 Personics Holdings Inc. Device and method to reduce ear wax clogging of acoustic ports, hearing aid sealing system, and feedback reduction system
US9798381B2 (en) * 2008-11-21 2017-10-24 London Health Sciences Centre Research Inc. Hands-free pointer system
JP2012517865A (ja) 2009-02-13 2012-08-09 パーソニクス ホールディングス インコーポレイテッド 耳栓およびポンピングシステム
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US8346549B2 (en) * 2009-12-04 2013-01-01 At&T Intellectual Property I, L.P. System and method for supplemental speech recognition by identified idle resources
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9461688B2 (en) 2010-03-12 2016-10-04 Sunrise Micro Devices, Inc. Power efficient communications
US10051356B2 (en) 2010-06-26 2018-08-14 Steven W. Goldstein Methods and devices for occluding an ear canal having a predetermined filter characteristic
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
US8791977B2 (en) 2010-10-05 2014-07-29 Fujitsu Limited Method and system for presenting metadata during a videoconference
CA2823346A1 (en) 2010-12-30 2012-07-05 Ambientz Information processing using a population of data acquisition devices
JP6317111B2 (ja) 2011-02-22 2018-04-25 スピーク・ウィズ・ミー・インコーポレイテッドSpeak With Me,Inc. ハイブリッド型クライアントサーバ音声認識
US10356532B2 (en) 2011-03-18 2019-07-16 Staton Techiya, Llc Earpiece and method for forming an earpiece
US10362381B2 (en) 2011-06-01 2019-07-23 Staton Techiya, Llc Methods and devices for radio frequency (RF) mitigation proximate the ear
US9129605B2 (en) 2012-03-30 2015-09-08 Src, Inc. Automated voice and speech labeling
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US8606577B1 (en) * 2012-06-25 2013-12-10 Google Inc. Visual confirmation of voice recognized text input
US10143592B2 (en) 2012-09-04 2018-12-04 Staton Techiya, Llc Occlusion device capable of occluding an ear canal
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9508329B2 (en) * 2012-11-20 2016-11-29 Huawei Technologies Co., Ltd. Method for producing audio file and terminal device
US10043535B2 (en) 2013-01-15 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
CN103971687B (zh) * 2013-02-01 2016-06-29 腾讯科技(深圳)有限公司 一种语音识别系统中的负载均衡实现方法和装置
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US11170089B2 (en) 2013-08-22 2021-11-09 Staton Techiya, Llc Methods and systems for a voice ID verification database and service in social networking and commercial business transactions
US9167082B2 (en) 2013-09-22 2015-10-20 Steven Wayne Goldstein Methods and systems for voice augmented caller ID / ring tone alias
US10405163B2 (en) * 2013-10-06 2019-09-03 Staton Techiya, Llc Methods and systems for establishing and maintaining presence information of neighboring bluetooth devices
US10045135B2 (en) 2013-10-24 2018-08-07 Staton Techiya, Llc Method and device for recognition and arbitration of an input connection
US10043534B2 (en) 2013-12-23 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
CN103915092B (zh) * 2014-04-01 2019-01-25 百度在线网络技术(北京)有限公司 语音识别方法和装置
US9513364B2 (en) * 2014-04-02 2016-12-06 Tyco Fire & Security Gmbh Personnel authentication and tracking system
US9302393B1 (en) * 2014-04-15 2016-04-05 Alan Rosen Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes
EP2933067B1 (en) * 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10163453B2 (en) 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
US10413240B2 (en) 2014-12-10 2019-09-17 Staton Techiya, Llc Membrane and balloon systems and designs for conduits
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10709388B2 (en) 2015-05-08 2020-07-14 Staton Techiya, Llc Biometric, physiological or environmental monitoring using a closed chamber
US10418016B2 (en) 2015-05-29 2019-09-17 Staton Techiya, Llc Methods and devices for attenuating sound in a conduit or chamber
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US9697824B1 (en) 2015-12-30 2017-07-04 Thunder Power New Energy Vehicle Development Company Limited Voice control system with dialect recognition
US9437191B1 (en) * 2015-12-30 2016-09-06 Thunder Power Hong Kong Ltd. Voice control system with dialect recognition
US10616693B2 (en) 2016-01-22 2020-04-07 Staton Techiya Llc System and method for efficiency among devices
CA3017121C (en) * 2016-01-29 2020-12-29 Liquid Analytics, Inc. Systems and methods for dynamic prediction of workflows
DK201670539A1 (en) * 2016-03-14 2017-10-02 Apple Inc Dictation that allows editing
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
KR102577584B1 (ko) * 2016-08-16 2023-09-12 삼성전자주식회사 기계 번역 방법 및 장치
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10708725B2 (en) * 2017-02-03 2020-07-07 T-Mobile Usa, Inc. Automated text-to-speech conversion, such as driving mode voice memo
CN107103903B (zh) * 2017-05-05 2020-05-29 百度在线网络技术(北京)有限公司 基于人工智能的声学模型训练方法、装置及存储介质
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
RU2021116658A (ru) * 2017-05-23 2021-07-05 ГУГЛ ЭлЭлСи Нейронные сети с преобразованием последовательности на основе внимания
CN107240395B (zh) * 2017-06-16 2020-04-28 百度在线网络技术(北京)有限公司 一种声学模型训练方法和装置、计算机设备、存储介质
US10405082B2 (en) 2017-10-23 2019-09-03 Staton Techiya, Llc Automatic keyword pass-through system
US20190147855A1 (en) * 2017-11-13 2019-05-16 GM Global Technology Operations LLC Neural network for use in speech recognition arbitration
US11638084B2 (en) 2018-03-09 2023-04-25 Earsoft, Llc Eartips and earphone devices, and systems and methods therefor
US11607155B2 (en) 2018-03-10 2023-03-21 Staton Techiya, Llc Method to estimate hearing impairment compensation function
US10951994B2 (en) 2018-04-04 2021-03-16 Staton Techiya, Llc Method to acquire preferred dynamic range function for speech enhancement
US11488590B2 (en) 2018-05-09 2022-11-01 Staton Techiya Llc Methods and systems for processing, storing, and publishing data collected by an in-ear device
US11032664B2 (en) 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
US20200042825A1 (en) * 2018-08-02 2020-02-06 Veritone, Inc. Neural network orchestration
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
US11275889B2 (en) * 2019-04-04 2022-03-15 International Business Machines Corporation Artificial intelligence for interactive preparation of electronic documents
CN112671700B (zh) * 2020-10-22 2023-06-20 垒途智能教科技术研究院江苏有限公司 一种企业经济管理信息安全系统
US11620993B2 (en) * 2021-06-09 2023-04-04 Merlyn Mind, Inc. Multimodal intent entity resolver
CN113658592B (zh) * 2021-07-29 2024-04-02 浙江亿秒数字科技有限公司 一种可支持语音识别功能的数据可视化系统
US11915698B1 (en) * 2021-09-29 2024-02-27 Amazon Technologies, Inc. Sound source localization
WO2023101695A1 (en) 2021-12-02 2023-06-08 Google Llc Phrase extraction for asr models
CN116104389A (zh) * 2023-02-24 2023-05-12 山东浪潮科学研究院有限公司 一种光伏百叶窗控制系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266642B1 (en) * 1999-01-29 2001-07-24 Sony Corporation Method and portable apparatus for performing spoken language translation
US20030182113A1 (en) 1999-11-22 2003-09-25 Xuedong Huang Distributed speech recognition for mobile communication devices
US6532446B1 (en) * 1999-11-24 2003-03-11 Openwave Systems Inc. Server based speech recognition user interface for wireless devices
US7027989B1 (en) * 1999-12-17 2006-04-11 Nortel Networks Limited Method and apparatus for transmitting real-time data in multi-access systems
US20030028380A1 (en) * 2000-02-02 2003-02-06 Freeland Warwick Peter Speech system
EP1215659A1 (en) 2000-12-14 2002-06-19 Nokia Corporation Locally distibuted speech recognition system and method of its operation
JP3733322B2 (ja) * 2001-11-21 2006-01-11 キヤノン株式会社 マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム
US6993482B2 (en) 2002-12-18 2006-01-31 Motorola, Inc. Method and apparatus for displaying speech recognition results
US7340397B2 (en) * 2003-03-03 2008-03-04 International Business Machines Corporation Speech recognition optimization tool
US20040243415A1 (en) * 2003-06-02 2004-12-02 International Business Machines Corporation Architecture for a speech input method editor for handheld portable devices
US20050144012A1 (en) * 2003-11-06 2005-06-30 Alireza Afrashteh One button push to translate languages over a wireless cellular radio
US7406414B2 (en) * 2003-12-15 2008-07-29 International Business Machines Corporation Providing translations encoded within embedded digital information
US8589156B2 (en) * 2004-07-12 2013-11-19 Hewlett-Packard Development Company, L.P. Allocation of speech recognition tasks and combination of results thereof
US7643985B2 (en) * 2005-06-27 2010-01-05 Microsoft Corporation Context-sensitive communication and translation methods for enhanced interactions and understanding among speakers of different languages
US20070112571A1 (en) * 2005-11-11 2007-05-17 Murugappan Thirugnana Speech recognition at a mobile terminal

Also Published As

Publication number Publication date
HK1130935A1 (en) 2010-01-08
DE602006019646D1 (de) 2011-02-24
ATE495522T1 (de) 2011-01-15
US9123343B2 (en) 2015-09-01
US20090319267A1 (en) 2009-12-24
EP2036079A4 (en) 2010-04-07
EP2036079A1 (en) 2009-03-18
WO2007125151A1 (en) 2007-11-08
EP2036079B1 (en) 2011-01-12

Similar Documents

Publication Publication Date Title
ES2359430T3 (es) Procedimiento, sistema y dispositivo para la conversión de la voz.
ES2386673T3 (es) Procedimiento y dispositivo de conversión de voz
US20110112837A1 (en) Method and device for converting speech
JP4263614B2 (ja) リモートコントロール装置及び情報端末装置
CN104050966B (zh) 终端设备的语音交互方法和使用该方法的终端设备
KR20190042918A (ko) 전자 장치 및 그의 동작 방법
US8934652B2 (en) Visual presentation of speaker-related information
US20150046164A1 (en) Method, apparatus, and recording medium for text-to-speech conversion
US8370141B2 (en) Device, system and method for enabling speech recognition on a portable data device
JP5094120B2 (ja) 音声認識装置及び音声認識方法
KR20070026452A (ko) 음성 인터랙티브 메시징을 위한 방법 및 장치
CN110149805A (zh) 双向语音翻译系统、双向语音翻译方法和程序
US20050240406A1 (en) Speech recognition computing device display with highlighted text
CN107992485A (zh) 一种同声传译方法及装置
KR102551276B1 (ko) 핫워드 인식 및 수동 어시스턴스
KR20190066401A (ko) 외부 장치의 네트워크 셋업을 위한 전자 장치 및 그의 동작 방법
US10002611B1 (en) Asynchronous audio messaging
JP4905522B2 (ja) 機器制御装置、機器制御方法及びプログラム
JP3477432B2 (ja) 音声認識方法およびサーバならびに音声認識システム
US20210241771A1 (en) Electronic device and method for controlling the electronic device thereof
JP2000259389A (ja) 対話記録システム及び対話記録合成装置
JPWO2005062295A1 (ja) 機器制御装置、音声認識装置、エージェント装置及び機器制御方法
JP2019138989A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2002297502A (ja) 電子メール作成支援方法及び携帯型情報機器並びに電子メール作成支援処理プログラムを記録した記録媒体
KR101404409B1 (ko) 통신 상대방 간에 심리상태를 확인하기 위한 통신 서비스 방법, 이를 위한 단말 장치 및 이를 위한 서비스 장치