ES2218959T3

ES2218959T3 - Sintesis de habla utilizando pastillas prosodicas.

Info

Publication number: ES2218959T3
Application number: ES99309292T
Authority: ES
Inventors: Frode Holm; Kazue Hata
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-11-25
Filing date: 1999-11-22
Publication date: 2004-11-16
Anticipated expiration: 2019-11-22
Also published as: EP1005018B1; DE69917415T2; JP2000172288A; US6260016B1; EP1005018A3; DE69917415D1; EP1005018A2

Abstract

Un método para entrenar una plantilla de prosodia usando habla humana, que comprende: segmentación de las palabras de una oración (32) de habla humana en fonemas asociados con las sílabas de dichas palabras; asignación de niveles de acentuación (36) a dichas sílabas; agrupamiento de dichas palabras (40) de acuerdo con los dichos niveles de acentuación formando de este modo por lo menos un grupo de patrones acentuales; normalización de los datos de entonación (42) para cada palabra de un grupo dado de patrones acentuales con respecto al tiempo, formando de este modo datos de entonación normalizados; ajuste del cambio de tono (46) de dichos datos de entonación normalizados, formando así datos de entonación ajustados; y cálculo de un valor medio de los datos de entonación ajustados y almacenamiento del valor medio en una base de datos prosódica (50) en forma de plantilla.

Description

Síntesis de habla utilizando pastillas prosódicas.

Antecedentes y resumen de la invención

La presente invención está relacionada en general con los sistemas de conversión texto-habla y de síntesis de habla. Más en particular, la invención está relacionada con un sistema destinado a proporcionar una prosodia que suene más natural mediante el uso de plantillas de prosodia.

A lo largo de la historia de estas tecnologías, la tarea de generar una prosodia natural similar a la del habla humana para los sistemas de conversión texto-habla y de síntesis de habla ha sido uno de los problemas más difíciles de resolver al que se han tenido que enfrentar los investigadores y los programadores. Los sistemas texto-habla en general se han ganado su mala fama debido a su entonación "robótica". Para resolver este problema, algunos sistemas anteriores han usado redes neurales y algoritmos de agrupamiento vectorial para intentar simular la prosodia de sonido natural. Además de haber tenido un éxito muy limitado, estas técnicas informáticas de "caja negra" no proporcionan al programador ninguna información sobre cuales son los parámetros cruciales de la prosodia de sonido natural.

La presente invención, tal como se reivindica en la reivindicación 1, utiliza un planteamiento diferente, en el que se utilizan muestras de habla humana para crear plantillas de prosodia. Las plantillas definen una relación entre los patrones acentuales de las sílabas y ciertas variables prosódicas como la entonación (F0) y la duración. Así, a diferencia de los planteamientos algorítmicos anteriores, la invención utiliza los atributos lexicológicos y acústicos del habla natural (por ejemplo, patrón acentual, número de sílabas, entonación, duración) que el investigador y el programador pueden observar y entender directamente.

En el documento EP 083330482 se describe el uso de una base de datos de prosodia que contiene plantillas de frecuencias fundamentales para el uso en la síntesis de habla. Se usa una base de datos de prosodia para contener una secuencia de frecuencias fundamentales ponderadas para las sílabas de una oración.

La realización actualmente preferida almacena las plantillas de prosodia en una base de datos a la que se accede especificando el número de sílabas y el patrón acentual asociado con una palabra determinada. Se incluye un diccionario de palabras para dotar al sistema con la información necesaria relativa a número de sílabas y patrones acentuales. Usando el diccionario de palabras, el procesador de texto identifica el patrón acentual de las palabras introducidas y genera sus representaciones fonémicas. Luego, un módulo de prosodia accede a las plantillas de la base de datos, usando para ello la información de número de sílabas y de patrón acentual. El sistema obtiene en la base de datos un módulo de prosodia para la palabra dada y lo usa para proporcionar información prosódica al módulo de generación de sonido que sintetiza el habla a partir de la representación fonémica y de la información prosódica.

La realización actualmente preferida se centra en el habla a nivel de palabra. Las palabras se dividen en sílabas y así representan la unidad básica de la prosodia. El sistema presupone que el patrón acentual definido por las sílabas determina las características perceptivas más importantes tanto de la entonación (F0) como de la duración. A este nivel de granularidad, el conjunto de plantillas es bastante pequeño y fácil de implementar en los sistemas de conversión texto-habla y de síntesis de habla. Si bien actualmente se prefiere un análisis prosódico a nivel de palabra que use sílabas, las técnicas de plantillas de prosodia de la invención se pueden usar en sistemas con otros niveles de granularidad. Por ejemplo, el conjunto de plantillas se puede ampliar para que admita más determinantes de características, tanto a nivel de sílaba como de palabra. A este respecto, las perturbaciones F0 microscópicas causadas por el tipo de consonante, la sonorización, el tono intrínseco de las vocales y la estructura de segmentación de una sílaba se pueden usar como atributos para clasificar determinados patrones prosódicos. Además, las técnicas se pueden ampliar más allá de los contornos F0 del nivel de palabra y de los patrones de duración a los análisis a nivel de frase o a nivel de oración.

Para una mejor comprensión de la invención, sus objetivos y sus ventajas, hay que referirse a la siguiente especificación y los dibujos que la acompañan.

Breve descripción de los dibujos

La Figura 1 es un diagrama de bloques de un sintetizador de habla que emplea plantillas de prosodia de acuerdo con la invención;

Las Figuras 2A y B son diagramas de bloques que ilustran la manera en que se pueden desarrollar las plantillas de prosodia;

La Figura 3 es un esquema de distribución de un patrón acentual como ejemplo;

La Figura 4 es un gráfico del contorno medio F0 del patrón acentual de la Figura 3;

La Figura 5 es una serie de gráficos que ilustran el contorno medio de unos datos de ejemplo de dos sílabas y de tres sílabas.

La Figura 6 es un diagrama de flujo que ilustra el procedimiento de denormalización empleado por la realización preferida.

La Figura 7 es un diagrama de la base de datos en el que se muestran las relaciones entre las entidades de la base de datos de la realización preferida.

Descripción de la realización preferida

Cuando un hablante humano lee un texto, el tono sube y baja, las sílabas son enunciadas con mayor o menor intensidad, las vocales se alargan y se acortan y se insertan pausas, todo lo cual confiere al pasaje hablado un ritmo definido. Estas características constituyen algunos de los atributos a los que los investigadores del habla dan el nombre de prosodia. Los hablantes humanos añaden información prosódica de manera automática cuando leen un pasaje de texto en voz alta. La información prosódica expresa la interpretación que el lector hace del material. Esta interpretación es un producto de la experiencia humana, ya que el texto impreso contiene poca información prosódica directa.

Cuando un sistema de síntesis de habla implementado en un ordenador lee o recita un pasaje de texto, esta prosodia de sonido humano está ausente en los sistemas convencionales. Es muy simple, el propio texto prácticamente no contiene información prosódica y por ello, el sintetizador de voz convencional tiene poco en lo que basarse para generar la información prosódica que falta. Como ya se ha indicado, los intentos anteriores de añadir información prosódica se han centrado en técnicas basadas en reglas y en técnicas de redes neurales, o en técnicas algorítmicas, como las técnicas de agrupamiento vectorial. El habla generada mediante técnicas basadas en reglas, simplemente no suena natural, y las técnicas algorítmicas y de red neurales no se pueden adaptar ni se pueden usar para extraer las conclusiones necesarias para modificarlas ni para aplicarlas fuera del conjunto de entrenamiento usado para generarlas.

La presente invención aborda el problema de la prosodia mediante el uso de plantillas de prosodia vinculadas a los patrones acentuales de sílabas propios de las palabras habladas. Más concretamente, las plantillas de prosodia almacenan información de entonación F0 e información de duración. Esta información prosódica almacenada se organiza en una base de datos de acuerdo con los patrones acentuales de las sílabas. La realización actualmente preferida define tres niveles diferentes de acentuación. Se designan mediante los números 0, 1 y 2. Los niveles de acentuación son los siguientes:

0 sin acentuación

1 acentuación primaria

2 acentuación secundaria

Según la realización preferida, se considera que las palabras monosilábicas tienen un patrón acentual sencillo que corresponde al nivel de acentuación primaria "1". Las palabras con más de una sílaba pueden tener diferentes combinaciones de patrones de nivel de acentuación. Por ejemplo, las palabras bisílabas pueden tener los patrones acentuales "10", "01" y "12".

La realización actualmente preferida emplea una plantilla de prosodia para cada combinación diferente de patrones acentuales. Así, el patrón acentual "1" tiene una primera plantilla de prosodia, el patrón acentual "10" tiene una plantilla de prosodia diferente, y así sucesivamente. Cada plantilla de prosodia contiene información prosódica como información de entonación y de duración y, opcionalmente, también otra información.

La Figura 1 ilustra un sintetizador de habla que emplea la tecnología de plantillas de prosodia de la presente invención. En el caso de la Figura 1, se suministra un texto de entrada 10 al módulo procesador de texto 12 en forma de secuencia o cadena de letras que define palabras. El procesador de texto 12 tiene diccionario de palabras asociado 14 que contiene información acerca de las palabras almacenadas. En la realización preferida, el diccionario de palabras tiene una estructura de datos que se ilustra en 16 según la cual las palabras se almacenan junto con cierta información de representación fonémica y cierta información de patrones acentuales. Más concretamente, cada palabra del diccionario va acompañada por su representación fonémica, por información que identifica los límites de las sílabas y por información que indica la manera en que la acentuación se asigna a cada sílaba. Así, el diccionario de palabras 14 contiene, en un formato electrónico que permite realizar búsquedas, la información básica necesaria para generar una pronunciación de la palabra.

El procesador de texto 12 se acopla al módulo de prosodia 18 que tiene asociada la base de datos de plantillas de prosodia 20. En la realización actualmente preferida, las plantillas de prosodia almacenan datos de entonación (F0) y de duración para cada uno de una pluralidad de diferentes patrones acentuales. El patrón acentual de una sola palabra "1" constituye una primera plantilla, el patrón de palabras bisílabas "10" constituye una segunda plantilla, el patrón "01" constituye otra plantilla, y así sucesivamente. Las plantillas se almacenan en la base de datos atendiendo al patrón acentual, como se indica en forma de diagrama en la estructura de datos 22 en la Figura 1. El patrón acentual asociado con una palabra dada sirve de clave de acceso a la base de datos con la que el módulo de prosodia 18 recupera la información asociada de entonación y de duración. El módulo de prosodia 18 determina el patrón acentual asociado con una palabra dada por medio de la información que le ha suministrado el procesador de texto 12. El procesador de texto 12 obtiene esta información mediante el diccionario de palabras 14.

Mientras que las plantillas de prosodia actualmente preferidas almacenan información de entonación y de duración, la estructura de las plantillas se puede ampliar fácilmente para que incluya otros atributos prosódicos.

Tanto el procesador de texto 12 como el módulo de prosodia 18, suministran información al módulo de generación de sonido 24. Concretamente, el procesador de texto 12 suministra información fonémica obtenida en el diccionario de palabras 14 y el módulo de prosodia 18 suministra la información prosódica (por ejemplo, sobre entonación y duración). El módulo de generación de sonido genera entonces habla sintetizada basándose en la información fonémica y prosódica.

La realización actualmente preferida codifica la información prosódica a un formato estandarizado en el que la información prosódica es normalizada y parametrizada para simplificar su almacenamiento y su recuperación en la base de datos 20. El módulo de generación de sonido 24 denormaliza y convierte las plantillas estandarizadas a un formato que se puede aplicar a la información fonémica suministrada por el procesador de texto 12. Este proceso se describirá con más detalle más adelante. Sin embargo, primero, se describirán detalladamente las plantillas de prosodia y su elaboración.

En las Figuras 2A y 2B, se explica resumidamente el procedimiento para generar plantillas de prosodia adecuadas. Las plantillas de prosodia se construyen usando habla humana de entrenamiento, que se puede pregrabar y suministrarse en forma de colección de oraciones de habla de entrenamiento 30. Nuestra realización actualmente preferida se construyó usando aproximadamente 3.000 oraciones con nombres propios en la posición inicial de la oración. La colección de habla de entrenamiento 30 se recopiló de un solo hablante femenino de inglés americano. Por supuesto, se pueden usar otras fuentes de habla de entrenamiento.

Los datos del habla de entrenamiento inicialmente se someten a un preproceso que incluye una serie de pasos. Primero, se usa una herramienta de etiquetado 32 para segmentar las oraciones en palabras y segmentar las palabras en sílabas y las sílabas en fonemas que se almacenan en 34. A continuación, se asignan acentuaciones a las sílabas como se ilustra en el paso 36. En la realización actualmente preferida, se realizó una asignación de acentuación de tres niveles en la que "0" representaba sin acentuación, "1" representaba la acentuación primaria y "2" representaba la acentuación secundaria, como se ilustra en el diagrama 38. La división de palabras en sílabas y fonemas y la asignación de niveles de acentuación se puede realizar manualmente o con la ayuda de un rastreador automático o semiautomático que realice la edición F0. A este respecto, el preprocesamiento del habla de entrenamiento es una tarea que requiere bastante tiempo, si bien solamente hay que llevarla a cabo una vez durante el desarrollo de las plantillas de prosodia. Se requiere gran precisión en el etiquetado y en la asignación de acentuaciones a los datos para asegurar la exactitud y reducir el nivel de ruido en el posterior análisis estadístico.

Después de haber etiquetado y asignado acentuaciones a las palabras, se pueden agrupar según sus patrones acentuales. Como se ilustra en 40, las palabras monosílabas constituyen un primer grupo. Las palabras bisílabas constituyen cuatro grupos, el grupo "10", el grupo "01", el grupo "12" y el grupo "21". Las palabras trisílabas, cuatrisílabas,... las palabras de n sílabas se agrupan de manera similar según sus patrones acentuales.

A continuación, para cada grupo de patrones acentuales, se normalizan los datos de tono fundamental o entonación F0 con respecto al tiempo (eliminando así la dimensión temporal específica de esa grabación) como se indica en el paso 42. Esto se puede realizar de distintas maneras. La técnica actualmente preferida, que se describe en 44 remuestrea los datos hasta un número fijo de puntos F0. Por ejemplo, se pueden muestrear los datos hasta incluir 30 muestras por sílaba.

A continuación, se llevan a cabo una serie de pasos de procesamiento para eliminar las desviaciones constantes del tono de base, como se indica en general en 46. El planteamiento actualmente preferido implica la transformación de los puntos F0 de la oración completa al dominio logarítmico como se indica en 48. Una vez que los puntos se hayan transformado al dominio logarítmico, se podrán agregar a la base de datos de plantillas como se ilustra en 50. En la realización actualmente preferida, todos los datos del dominio logarítmico de un grupo determinado se promedian y este promedio se usa para rellenar la plantilla de prosodia. Así, todas las palabras de un grupo dado (por ejemplo, todas las palabras bisílabas del patrón "10") contribuyen al valor promedio único usado para rellenar la plantilla de ese grupo. Si bien el uso de la media aritmética de los datos da buenos resultados, si se desea también se pueden emplear otros procesamientos estadísticos.

Para evaluar la robustez de la plantilla de prosodia, se puede llevar a cabo un procesamiento adicional como se ilustra en la Figura 2B que empieza en el paso 52. Los datos del dominio logarítmico se usan para calcular una línea de regresión lineal para toda la oración. Hay una intersección de la línea de regresión con el límite del extremo de la palabra, como se indica en el paso 54, y esta intersección se usa como punto de elevación para la palabra destino. En el paso 56, el punto de elevación se traslada a un punto de referencia común. La realización preferida traslada los datos arriba o abajo a un punto de referencia común de 100 Hz nominales.

Como ya se ha mencionado, las técnicas de redes neurales anteriores no daban al diseñador del sistema la oportunidad de ajustar los parámetros de manera coherente, ni de descubrir cuáles eran los factores que determinaban el resultado. La presente invención permite al diseñador explorar los parámetros relevantes mediante el análisis estadístico. Esto se ilustra a partir del paso 58. Si se desea, los datos se analizan estadísticamente en 58 por comparación de cada muestra con la media aritmética para calcular una medida de distancia, como la diferencia de áreas, como en 60. Usamos una medida como la diferencia de áreas entre dos vectores tal como se establece en la siguiente ecuación. Hemos descubierto que esta medida suele ser bastante buena porque proporciona información útil acerca de lo similares o diferentes que las muestras son entre sí. Se pueden usar otras medidas de distancia, incluidas medidas ponderadas que tengan en cuenta propiedades psicoacústicas del sistema sensoneural.

d(Y_{i}) = c \sqrt{\sum \limits ^{N}_{k=l} (y _{ik} - \overline{Y}_{k})^{2} v_{ik}}

d = medida de la diferencia entre dos vectores

i = índice del vector que se está comparando

Y_{i} = vector de contorno F0

\overline{Y} = vector de la media aritmética del grupo

N = muestras en un vector

y = valor de la muestra

v_{i}= función de sonorización. 1 si la sonorización está activada, 0 si no lo está.

c = factor de escala (opcional)

Para cada patrón se tabula esta medida de distancia como en 62 y se puede elaborar un histograma como en 64. En la Figura 3 se incluye un ejemplo de histograma de este tipo, que muestra el gráfico de distribución del patrón acentual "1". En el gráfico, el eje de las X está en una escala arbitraria y el eje de las Y es la frecuencia de recuento de una distancia dada. Las disimilitudes empiezan a ser importantes alrededor de 1/3 del eje de las X.

Al elaborar histogramas como se ha explicado, se pueden evaluar las plantillas de prosodia para determinar cuánto se parecen las muestras entre sí y así, la medida en que la plantilla resultante corresponde a una entonación de sonido natural. Dicho de otra forma, el histograma indica si la función de agrupamiento (patrón acentual) representa adecuadamente las formas observadas. Una dispersión amplia indica que no lo representa bien, mientras que una gran concentración cerca del valor medio indica que hemos encontrado un patrón determinado solamente por la acentuación y, por ello, un buen candidato para la plantilla de prosodia. La Figura 4 muestra el gráfico correspondiente al contorno F0 medio para el patrón "1". El gráfico de datos de la Figura 4 corresponde al gráfico de distribución de la Figura 3. Hay que tener en cuenta que el gráfico de la Figura 4 representa las coordenadas logarítmicas normalizadas. Las partes inferior, media y superior corresponden a 50 Hz, 100 Hz y 200 Hz, respectivamente. La Figura 4 muestra el contorno F0 medio para el patrón de palabras monosílabas para que sea un contorno de elevación lenta.

La Figura 5 muestra los resultados de nuestro estudio F0 con respecto a la familia de patrones de palabras bisílabas. En la Figura 5, el patrón "10" se muestra en A, el patrón "01" se muestra en B y el patrón "12" se muestra en C. También en la Figura 5 aparece el patrón de contorno medio del grupo "010" de palabras trisílabas.

Al comparar los patrones de palabras bisílabas de la Figura 5, se observa la ubicación pico difiere al igual que la forma del contorno F0 global. El patrón "10" muestra un ascenso-caída con un pico en alrededor del 80% en la primera sílaba, mientras que el patrón "01" muestra un patrón ascenso-caída plano, con un pico en alrededor del 60% de la segunda sílaba. En estas figuras, la línea vertical denota el límite de la sílaba.

El patrón "12" es muy similar al patrón "10", pero una vez que F0 llega al punto de destino del ascenso, el patrón "12" tiene un tramo más largo en esta región F0 más alta. Esto implica que puede haber una acentuación secundaria.

El patrón "010" de la palabra trisílaba de la ilustración muestra una clara curva acampanada en la distribución y algunas anomalías. El contorno medio es un nivel tramo bajo seguido por un contorno de ascenso-caída con el pico F0 en alrededor del 85% en la segunda sílaba. Hay que tener en cuenta que algunas de las anomalías de esta distribución pueden corresponder a palabras mal pronunciadas en los datos de entrenamiento.

El histograma y las curvas de contorno medio se pueden calcular para todos los patrones diferentes reflejados en los datos de entrenamiento. Nuestros estudios demuestran que los contornos F0 y los patrones de duración producidos de esta manera son muy similares o idénticos a los de un hablante humano. Usando sólo el patrón acentual como característica diferencial, hemos descubierto que casi todos los gráficos de la distribución de similitud de las curvas F0 presentan una forma de curva acampanada diferente. Esto confirma que el patrón acentual es un criterio muy efectivo para asignar la información prosódica.

Con la elaboración de la plantilla de prosodia en mente, el módulo de generación de sonido 24 (Fig. 1) se explicará ahora con más detalle. La información prosódica extraída por el módulo de prosodia 18 se almacena en un formato normalizado de dominio logarítmico y de cambio de tono. Así, para usar las plantillas de prosodia, el módulo de generación de sonido primero debe denormalizar la información como se muestra en la Figura 6 que empieza en el paso 70. El proceso de denormalización primero traslada la plantilla (paso 72) a una altura adaptada al contorno de tonos de la oración modelo. Esta constante se da como parte de los datos recuperados para la oración modelo y se calcula con los coeficientes de la línea de regresión del contorno de tonos de esa oración. (Consulte la Figura 2, pasos 52-56).

Mientras tanto, se accede a la plantilla de duración y se denormaliza la información de duración para determinar el tiempo (en milisegundos) asociado con cada sílaba. Los valores del dominio logarítmico de las plantillas se transforman después en valores lineales en Hz en el paso 74. A continuación, en el paso 76, se remuestrea cada segmento silábico de la plantilla con una duración fija de cada punto (10 ms en la realización actual) de tal forma que la duración total de cada uno se corresponda con el valor del tiempo denormalizado especificado. De esta manera, el contorno de entonación se vuelve a situar en una línea de tiempo física. En este punto, los datos de las plantillas transformados están preparados para ser usados por el módulo de generación de sonido. Naturalmente, los pasos de la denormalización pueden ser llevados a cabo por cualquiera de los módulos que manejan la información prosódica. Así, los pasos de la denormalización que se ilustran en la Figura 6 pueden ser llevados a cabo por el módulo de generación de sonido 24 o por el módulo de prosodia 18.

La realización actualmente preferida almacena información de duración en forma de relaciones de valores de fonemas con respecto a valores de duración determinados globalmente. Los valores determinados globalmente corresponden a los valores de duración media observados en todo el corpus de entrenamiento. Los valores por sílaba representan la suma de las duraciones de los fonemas o grupos de fonemas observados en una sílaba dada. Las relaciones por sílaba/global se calculan y se promedian para rellenar cada elemento de la plantilla de prosodia. Estas relaciones se almacenan en la plantilla de prosodia y se usan para calcular la duración real de cada sílaba.

Obtener patrones prosódicos temporales detallados es algo más complicado que obtener los contornos F0. Esto se deben en gran medida al hecho de que un objetivo prosódico de alto nivel no se puede separar de las restricciones puramente articulatorias, meramente por medio del examen de datos segmentados individuales.

Diseño de la base de datos de prosodia

La estructura y la disposición de la base de datos de prosodia actualmente preferida se describe mejor en el diagrama de relaciones de la Figura 7 y por la siguiente especificación para el diseño de la base de datos. La especificación se incluye para ilustrar la realización preferida de la invención. Existen otras especificaciones posibles para el diseño de la base de datos.

NORMDATA

ND1D-Primary Key

Target-Key (WordID)

Sentence-Key (SentID)

SentencePos-Text

Follow-Key (WordlD)

Session-Key (SessID)

Recording-Text

Attributes-Text

WORD

WordlD-Primary Key

Spelling-Text

Phonemes-Text

Syllables-Number

Stress-Text

Subwords-Number

Origin-Text

Feature1-Number (Submorphs)

Feature2-Number

FRAMESENTENCE

SentID-Primary Key

Text

Type-Number

Syllables-Number

SESSION

SesslD-Primary Key

Speaker-Text

Date Recorded-Date/Time

Tape-Text

F0DATA

NDID-Key

Index-Number

Value-Currency

DURDATA

NDID-Key

Index-Number

Value-Currency

Abs-Currency

PHONDATA

NDID-Key

Phones-Text

Dur-Currency

Stress-Text

SylPos-Number

PhonPos-Number

Rate-Number

Parse-Text

RECORDING

ID

Our

A (y = A + Bx)

B (y = A + Bx)

Descript

GROUP

GrouplD-Primary Key

Syllables-Number

Stress-Text

Feature1-Number

Feature2-Number

SentencePos-Text

TEMPLATEF0

GrouplD-Key

Index-Number

Value-Number

TEMPLATEDUR

GrouplD-Key

Index-Number

Value-Number

DISTRIBUTIONF0

GrouplD-Key

Index-Number

Value-Number

DISTRIBUTIONDUR

GrouplD-Key

Index-Number

Value-Number

GROUPMEMBERS

GrouplD-Key

NDID-Key

DistanceF0-Currency

DistanceDur-Currency

PHONSTAT

Phones-Text

Mean-Curr.

SSD-Curr.

Min-Curr.

Max-Curr.

CoVar-Currency

N-Number

Class-Text

Descripción de los campos

NORMDATA
NDID	Clave primaria
Target	Palabra destino. Clave para la tabla WORD.
Sentence	Oración modelo de origen. Clave para la tabla FRAMESENTENCE.
SentencePos	Posición en la oración. INICIAL, MEDIAL, FINAL.
Follow	Palabra que sigue a la palabra destino. Clave para la tabla WORD o 0 si no hay ninguna.
Session	Sesión a la que pertenecía la grabación. Clave para la tabla SESSION.
Recording	Identificador de grabación en directorios Unix (datos sin formato).
Attributes	Información variada.
	F = Datos F0 considerados anómalos.
	D = Duración de los datos considerados anómalos.
	A = F0 alternativo
	B = Duración alternativa

PHONDATA
NDID	Clave para NORMDATA
Phones	Cadena de 1 ó 2 fonemas
Dur	Duración total de los fonos
Stress	Acentuación de la sílaba a la que pertenecen los fonos
SylPos	Posición de la sílaba que contiene los fonos (contando desde 0)
PhonPos	Posición de los fonos en la sílaba (contando desde 0)
Rate	Medida de velocidad de la emisión
Parse	L = Fonos creados por análisis izquierdo
	R = Fonos creados por análisis derecho

PHONSTAT
Phones	Cadena de 1 ó 2 fonemas
Mean	Media estadística de la duración de los fonos
SSD	Desviación estándar de la muestra
Min	Valor mínimo observado
Max	Valor máximo observado
CoVar	Coeficiente de variación (Desviación estándar de la muestra /Media)
N	Número de muestras para este grupo de fonos
Class	Clasificación
	A = Incluidas todas las muestras

Teniendo en cuenta lo anterior, es fácil de entender que la presente invención proporciona un aparato y un método para generar habla sintetizada, en la que la información prosódica que normalmente falta se aporta desde las plantillas elaboradas a partir de datos extraídos del habla humana. Como hemos demostrado, esta información prosódica se puede seleccionar en una base de datos de plantillas y aplicarse a la información fonémica por medio de un procedimiento de búsqueda basado en patrones acentuales asociados con el testo de las palabras introducidas.

La invención se puede aplicar a una amplia variedad de diferentes aplicaciones de conversión texto-habla y de síntesis de habla, incluidas las aplicaciones de gran dominio como las de lectura de libros de texto, y las aplicaciones de dominios más limitados, como las aplicaciones de navegadores de coche o de traducción de libros de frases. En el caso del dominio limitado, se puede designar al principio un pequeño conjunto de oraciones modelo fijas, y sustituirse una palabra destino en esa frase por una palabra arbitraria (como un nombre propio o el nombre de una calle). En este caso, el tono y el tiempo de las oraciones modelo se puede medir y almacenar desde el habla real, asegurando así una prosodia muy natural para la mayor parte de la oración. La palabra destino es entonces la única en la que hay que controlar el tono y el tiempo usando las plantillas de prosodia de la invención.

Claims

1. Un método para entrenar una plantilla de prosodia usando habla humana, que comprende:

: segmentación de las palabras de una oración (32) de habla humana en fonemas asociados con las sílabas de dichas palabras;

: asignación de niveles de acentuación (36) a dichas sílabas;

: agrupamiento de dichas palabras (40) de acuerdo con los dichos niveles de acentuación formando de este modo por lo menos un grupo de patrones acentuales;

: normalización de los datos de entonación (42) para cada palabra de un grupo dado de patrones acentuales con respecto al tiempo, formando de este modo datos de entonación normalizados;

: ajuste del cambio de tono (46) de dichos datos de entonación normalizados, formando así datos de entonación ajustados; y

: cálculo de un valor medio de los datos de entonación ajustados y almacenamiento del valor medio en una base de datos prosódica (50) en forma de plantilla.

2. El método de la reivindicación 1 en el que los dichos datos de entonación normalizados se basan en el remuestreo de los dichos datos de entonación para una serie de puntos de entonación.

3. El método de la reivindicación 1 en el que el paso de ajustar mejor el cambio del tono consiste en transformar los datos de entonación normalizados a un dominio logarítmico.

4. El método de la reivindicación 1 en el que los datos de entonación se definen mejor como datos de tono fundamental (F0).

5. El método de la reivindicación 3 que además comprende el paso de:

: formación (54) de un punto de elevación para dicha palabra, basándose dicho punto de elevación en regresión lineal de dichos datos transformados y un límite del extremo de la palabra.

6. El método de la reivindicación 5 en el que dicho punto de elevación se ajusta (56) como un punto de referencia común.

7. El método de la reivindicación 6 que consiste en producir una constante que represente una denormalización basada en un coeficiente de regresión lineal de un contorno de tonos de la oración modelo.

8. El método de la reivindicación 6 que además comprende el paso de:

: evaluar una plantilla de duración de manera factible que permita la denormalización de una información de duración, asociando así un valor de tiempo con cada una de dichas sílabas.

9. El método de la reivindicación 8 que además comprende el paso de:

: transformar (74) los valores del dominio logarítmico de dicha plantilla de duración en valores lineales.

10. El método de la reivindicación 8 que además comprende el paso de:

: remuestrear (76) cada segmento silábico de la plantilla para obtener una duración fija tal que la duración total de cada uno de los dichos segmentos silábicos corresponda a los dichos valores de tiempo denormalizados, de manera que un contorno de entonación se asocie con una línea de tiempo física.

11. El método de la reivindicación 9 que además comprende los pasos de:

: almacenar información de duración en forma de relaciones de valores fonémicos con respecto a valores de duración determinados globalmente, estando basados dichos valores de duración determinados globalmente en valores de duración medios a lo largo de todo un corpus completo de entrenamiento.

: basar valores por sílaba en una suma de los fonemas observados; y

: rellenar la dicha plantilla de prosodia con una relación de los dichos valores por sílaba frente a relaciones globales, de tal manera que permita el cálculo de una duración real de cada una de dichas sílabas.