ES2964322T3

ES2964322T3 - Sistema y método de conversión de voz multilingüe

Info

Publication number: ES2964322T3
Application number: ES20217111T
Authority: ES
Inventors: Cevat Yerli
Original assignee: TMRW Foundation IP SARL
Current assignee: TMRW Foundation IP SARL
Priority date: 2019-12-30
Filing date: 2020-12-23
Publication date: 2024-04-05
Anticipated expiration: 2040-12-23
Also published as: JP7152791B2; US20240028843A1; EP3855340A2; KR20210086974A; EP4270255A2; US11797782B2; HUE064070T2; EP4270255A3; EP3855340B1; DK3855340T3; EP3855340A3; JP2021110943A; US20210200965A1; CN113129914A

Abstract

Un sistema y método de conversión de voz entre idiomas comprende un extractor de características de voz configurado para recibir un primer segmento de audio de voz en un primer idioma y un segundo segmento de audio de voz en un segundo idioma, y extraer, respectivamente, características de audio que comprenden la primera voz, el hablante. características acústicas dependientes y características lingüísticas independientes del hablante de la segunda voz. Uno o más generadores están configurados para recibir características extraídas y producir a partir de ahí una tercera voz candidata que mantiene las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz, en donde la tercera voz candidata habla el segundo idioma. . Uno o más discriminadores están configurados para comparar el tercer candidato de voz con los datos reales del terreno y proporcionar los resultados de la comparación al generador para refinar el tercer candidato de voz. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema y método de conversión de voz multilingüe

Referencias cruzadas a solicitudes relacionadas.

La presente solicitud reivindica la prioridad de la solicitud provisional de patente US n.° 62/955227, presentada el 30 de diciembre de 2019.

Antecedentes

Normalmente, las producciones multimedia que incluyen voz, p. ej., aplicaciones, películas, audiolibros y juegos, se crean con actores reales que interpretan las actuaciones guionizadas. Con frecuencia, las voces se traducen con ayuda de "actores de doblaje" a diferentes idiomas. Muchas audiencias necesitan recurrir a actores de doblaje alternativos para diferentes idiomas, ya que los actores originales normalmente no hablan todos los idiomas en los que se ofrecen estas producciones.

La conversión de voz (CV) convierte la voz de un hablante para que suene como la de otro hablante. Más específicamente, la mayoría de técnicas de CV se centran en conseguir que un hablante original suene como un hablante objetivo, lo que implica llevar a cabo un mapeado de características espectrales de ambos hablantes, el original y el idioma objetivo. La mayoría de las técnicas de CV actuales está diseñada para la CV monolingüe, es decir, el idioma de los hablantes fuente y objetivo es el mismo. La CV multilingüe puede resultar más dificultosa que la CV monolingüe debido a que no siempre se encuentran disponibles en la práctica datos paralelos (es decir, datos que comprendan el contenido hablando en ambos idiomas). Por lo tanto, las técnicas de CV multilingüe que pueden funcionar con datos no paralelos podrían utilizarse para una CV multilingüe que podría utilizarse en doblajes de producciones multimedia.

Según la solicitud de patente US n.° 2018/342256A1, es conocido un método para la conversión de voz que utiliza una red adversarial generativa. Según la solicitud de patente n.° US2015/127349A1, es conocido un método para la conversión multilingüe que se basa en un modelo de lenguaje hablado basado en un modelo de Markov oculto.

Resumen

Este resumen se proporciona para presentar conceptos seleccionados en forma simplificada que se describen en mayor detalle posteriormente, en la descripción detallada. Este resumen no pretende identificar características clave del objeto reivindicado, ni pretende ser utilizado como ayuda para determinar el alcance del objeto reivindicado.

La presente divulgación se refiere de manera general a la conversión de voz, y más específicamente se refiere a un método y a un sistema que permiten la conversión de voz multilingüe con datos no paralelos. La presente invención proporciona un método de conversión de voz multilingüe según la reivindicación 1, un sistema de aprendizaje automático según la reivindicación 10 y un programa informático según la reivindicación 13. En las reivindicaciones dependientes se divulgan realizaciones adicionales.

De acuerdo con realizaciones de la presente divulgación, un método de conversión de voz multilingüe llevado a cabo por un sistema de aprendizaje automático, esto es un sistema de “machine leaming”, (p. ej., un sistema de red adversarial generativa (GAN, por sus siglas en inglés, generative adversarial network)) comprende recibir, por parte de un extractor de características de voz, un primer segmento de audio de voz en un primer idioma y un segundo segmento de audio de voz en un segundo idioma. El método extrae, a través del extractor de características de voz, del primer segmento de audio de voz y del segundo segmento de audio de voz, respectivamente, características de audio que comprenden características acústicas dependientes del hablante de primera voz y características lingüísticas independientes del hablante de segunda voz. El método genera mediante uno o más generadores a partir del conjunto de datos de entrenamiento, un candidato de tercera voz que presenta las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz, en donde el candidato de tercera voz habla el segundo idioma. El método transcurre por la comparación por uno o más discriminadores del candidato de tercera voz con los datos de realidad de campo (“ground truth data”) que comprenden las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz. El sistema proporciona resultados de la etapa de comparación de vuelta al generador para el refinado del candidato de tercera voz.

El resumen anteriormente proporcionado no incluye una lista exhaustiva de todos los aspectos de la presente divulgación. Se contempla que la divulgación incluya todos los sistemas y métodos que pueden ponerse en práctica a partir de todas las combinaciones adecuadas de los diversos aspectos compendiados anteriormente, así como los dados a conocer en el apartado de descripción detallada, a continuación, comprendidos dentro del alcance según las reivindicaciones adjuntas. Dichas combinaciones poseen ventajas particulares no específicamente mencionadas en el resumen anteriormente proporcionado. Resultarán evidentes otras características y ventajas a partir de los dibujos adjuntos y a partir de la descripción detallada que sigue a continuación.

Descripción de los dibujos

Los aspectos anteriormente proporcionados y muchas otras ventajas asociadas se apreciarán más fácilmente a medida que se entiendan mejor, en referencia a la descripción detallada, posteriormente, considerada junto con los dibujos adjuntos, en los que:

la FIG. 1A ilustra una representación esquemática de un sistema que permite la conversión de voz multilingüe con datos no paralelos, según una realización.

La FIG. 1B ilustra otra realización del sistema que permite la conversión de voz multilingüe con datos no paralelos.

La FIG. 2 ilustra una representación esquemática de un sistema que permite la conversión de voz multilingüe con datos no paralelos utilizando un algoritmo de GAN de Wasserstein autocodificante variacional (VAW-GAN, por sus siglas en inglés, “variational autoencoding wasserstein GAN”), según una realización.

La FIG. 3A ilustra una representación esquemática de una función de mapeado directo que utiliza un algoritmo de GAN de ciclo consistente ("CycleGAN"), según una realización.

La FIG. 3B ilustra una representación esquemática de una función de mapeado inverso que utiliza un algoritmo de GAN de ciclo consistente ("CycleGAN"), según una realización.

La FIG. 4 ilustra una representación esquemática de una plataforma de transmisión de películas en línea de muestra que implementa un sistema de conversión de voz multilingüe entrenado, según una realización.

La FIG. 5 ilustra una representación esquemática de un método que permite la conversión de voz multilingüe con datos no paralelos, según una realización.

La FIG. 6 ilustra una representación esquemática de un método que describe una función de mapeado directo que permite la conversión de voz multilingüe con datos no paralelos mediante la utilización de un algoritmo de GAN de ciclo consistente (CycleGAN), según una realización.

La FIG. 7 ilustra una representación esquemática de un método que describe una función de mapeado inverso que permite una conversión de voz multilingüe con datos no paralelos mediante la utilización de un algoritmo de GAN de ciclo consistente ("Cycle GAN"), según una realización.

Descripción detallada

En la descripción a continuación se hace referencia a dibujos que muestran a título ilustrativo diversas realizaciones. Además, se describen posteriormente diversas realizaciones en referencia a varios ejemplos. Debe entenderse que las realizaciones pueden incluir cambios en el diseño y estructura sin apartarse del alcance del objeto reivindicado.

En algunos aspectos de la presente divulgación, un sistema de conversión de voz multilingüe con datos no paralelos permite una conversión en tiempo real o prácticamente en tiempo real y el doblaje de lenguaje hablado mediante la combinación de características de sonido de una primera voz en un primer idioma y de una segunda voz en un segundo idioma para generar candidatos de tercera voz en el segundo idioma. Los candidatos de tercera voz generados comprenden características acústicas dependientes del hablante de primera voz y características lingüísticas independientes del hablante de segunda voz, de manera que los candidatos de tercera voz suenan como si la primera voz estuviese hablando en el segundo idioma, manteniendo simultáneamente las características lingüísticas típicas del segundo idioma. Con estos objetivos, el sistema comprende un sistema de aprendizaje automático (p. ej., un sistema de red neuronal profunda (DNN, por sus siglas en inglés, “deep neural network”), o un sistema basado en una red neuronal competitiva o adversarial, tal como un sistema de red adversarial generativa (GAN, por sus siglas en inglés, “generative adversarial network”)) que es entrenado con una pluralidad de muestras de voz de cada uno de los hablantes antes de estar preparado para generar un candidato de tercera voz para el uso en la conversión de habla multilingüe en tiempo real o prácticamente en tiempo real. El sistema de conversión de voz multilingüe está configurado para extraer características de sonido de cada una de las voces y aplicarlas durante el entrenamiento del sistema de aprendizaje automático para la generación de candidatos de tercera voz.

En realizaciones que utilizan sistemas de GAN, entre algunas ventajas de dichos sistemas se incluyen que no se basan en datos bilingües y su alineación, ni en ningún proceso externo, tal como el reconocimiento automático del habla (ASR, por sus siglas en inglés, “automatic speech recognition”). En dichas realizaciones, el sistema de GAN también puede entrenarse con una cantidad limitada de datos de entrenamiento no paralelos de dos idiomas cualesquiera. En algunas realizaciones, la función objetiva optimizada por los GAN da como resultado la generación de datos artificiales que son indistinguibles de los datos reales o de realidad de campo. Los datos paralelos son datos que comprenden expresiones que presentan el mismo contenido lingüístico en ambos idiomas, que habitualmente resultan difíciles de recoger, mientras que los datos no paralelos son datos que comprenden expresiones que contienen un contenido lingüístico diferente en ambos idiomas.

La FIG. 1A ilustra una representación esquemática de un sistema de conversión de voz multilingüe 100a con datos no paralelos, según una realización.

La FIG. 1A ilustra una primera fuente de voz 102 que produce un primer segmento de audio de voz 104 en un primer idioma y una segunda fuente de voz 106 que produce un segundo segmento de audio de voz 108 en un segundo idioma. El primer segmento de audio de voz 104 y el segundo segmento de audio de voz 108 se envían mediante una red 110, tal como Internet, a un servidor 112 que almacena un sistema de aprendizaje automático 114 en la memoria 116. El servidor 112 comprende, además, por lo menos un procesador 118 configurado para procesar los datos comprendidos en el primer y segundo segmentos de audio 104-106 con instrucciones comprendidas en el sistema de aprendizaje automático 114. El procesador o procesadores 118 ejecutan código informático comprendido en el sistema de aprendizaje automático 114 para generar por lo menos un candidato de tercera voz 120 en el segundo idioma. Aunque para facilitar la ilustración en la presente memoria se describen ejemplos en referencia a un único servidor, debe entenderse que cualquier funcionalidad descrita en la presente memoria como proporcionada por un servidor puede ser proporcionada por un sistema informático de servidor que comprenda uno o más ordenadores servidores.

En algunas realizaciones, el primer y segundo segmentos de audio de voz 104 y 108 se transfieren al sistema de aprendizaje automático 114 mediante una interfaz de usuario a la que pueden acceder los usuarios mediante dispositivos de usuario electrónicos (p. ej., un ordenador, tal como un PC o teléfono móvil) conectados a una red. Los dispositivos de usuario pueden presentar un micrófono integrado o auxiliar a través del que los usuarios pueden grabar los segmentos de voz. En otras realizaciones, los segmentos de voz pueden cargarse en forma de archivos digitales pregrabados. En otras realizaciones, se producen sintéticamente uno o más de los segmentos de audio y, de esta manera, no se necesita un usuario humano para producir las señales de audio grabadas en los segmentos de audio.

En algunas realizaciones, el sistema de conversión de voz multilingüe 100a comprende, además, una base de datos de voces 122 conectada al sistema de aprendizaje automático 114. La base de datos de voces 122 está configurada para almacenar uno o más candidatos seleccionados de tercera voz y comprende una pluralidad de terceras voces entrenadas. El sistema 100a puede entrenar, de esta manera, el sistema de conversión multilingüe 114 con el primer y segundo segmentos de audio de voz y generar una cantidad adecuada de segmentos de audio de tercera voz en el segundo idioma 120, lo que puede permitir la selección de una tercera voz que está almacenada en la base de datos de voces 122 para el uso en el futuro durante la conversión y doblaje de voz. Dichas terceras voces seleccionadas pueden utilizarse para una pluralidad de aplicaciones, tales como para la producción multimedia que podría requerir la conversión y doblaje de voz, incluyendo películas, audiolibros, juegos y otras aplicaciones.

La FIG. 1B ilustra otra realización de un sistema de conversión multilingüe 100b con datos no paralelos. El sistema de conversión multilingüe 100b incluye datos adicionales sobre las características de audio de voz de cada uno de los segmentos de audio de voz 104 y 108. De esta manera, en las realizaciones de la FIG. 1B, el sistema de aprendizaje automático 114 está configurado para ser entrenado para la conversión de voz multilingüe con datos que comprenden características acústicas dependientes del hablante 124 extraídas del primer segmento de audio 104 y características lingüísticas independientes del hablante 126 extraídas del segundo segmento de audio de voz 108. La conversión multilingüe resulta en un candidato de tercera voz 120 en el segundo idioma que comprende características acústicas dependientes del hablante y características lingüísticas independientes del hablante.

Las características acústicas dependientes del hablante 124 extraídas se refieren a características de voz que caracterizan el sonido real de la voz de un hablante y permiten a los oyentes distinguir entre hablantes que dicen las mismas palabras, p. ej., en el mismo tono, acento, amplitud y cadencia. En algunas realizaciones, las características acústicas dependientes del hablante 124 comprenden características del segmento que son de corto plazo (p. ej., características que pueden determinarse a partir de segmentos de audio cortos) relacionadas con características de tracto vocal, tales como el timbre, la resonancia, envolvente espectral e intensidad media de tono. Las características lingüísticas independientes del hablante 126 podrían comprender características suprasegmentarias relacionadas con propiedades acústicas del dominio en más de un segmento y se relacionan con características tales como el contorno del tono, la duración de las palabras, el ritmo, la articulación, las sílabas, los fonemas, los contornos de entonación o los patrones de estrés. Dichas características suprasegmentarias podrían presentar una elevada correlación con características lingüísticas típicas de un lenguaje o dialecto específico, tales como características que definen el acento del lenguaje o dialecto.

A título de ejemplo, el timbre puede considerarse una característica acústica dependiente del hablante 124 que es una propiedad fisiológica que resulta del conjunto de componentes de frecuencia realizados por un hablante para emitir un sonido particular. De esta manera, por ejemplo, el candidato de tercera voz 120 puede comprender, entre otros, el timbre de la fuente de la primera voz 102 y el acento de la fuente de la segunda voz 106, manteniendo simultáneamente el mismo contenido lingüístico del primer segmento de audio de voz en el primer idioma 104 y estando sometido a una conversión de idioma del primer al segundo idioma.

En algunas realizaciones, el sistema de aprendizaje automático 114 es un sistema basado en redes neuronales, tal como un sistema de red neuronal profunda (DNN), o un sistema basado en una red neuronal competitiva o adversarial, tal como un sistema de red adversarial generativa (GAN) que comprende, por ejemplo, un sistema de GAN de Wasserstein autocodificante variacional (VAW-GAN) o un sistema de GAN de ciclo consistente (CycleGAN). El sistema de aprendizaje automático 114 puede utilizar los sistemas de red anteriormente mencionados u otros basados en aprendizaje automático similar para el entrenamiento basado en conjuntos de datos de la primera y segunda voz para generar uno o más candidatos de tercera voz como parte del resultado aprendido.

La FIG. 2 ilustra otra realización de un sistema de conversión multilingüe 200 que utiliza un sistema de conversión multilingüe de GAN de Wasserstein autocodificante variacional (VAW-GAN) con datos no paralelos.

El sistema 200 procesa el segmento de audio 104 de la primera voz en el primer idioma y el segmento de audio 108 de la segunda voz en el segundo idioma, los cuales se envían al sistema de aprendizaje automático 114.

El sistema de aprendizaje automático 114 puede configurarse para el entrenamiento con expresiones producidas a partir tanto de la primera como la segunda fuente de voz, de manera que puede generarse un segmento de voz 120 de tercera voz en el segundo idioma. Tal como se da a conocer, el algoritmo de entrenamiento utilizado en el sistema de aprendizaje automático 114 de la FIG. 2 puede ser, por ejemplo, un algoritmo VAW-GAN, que no requiera corpus paralelos alineados durante el entrenamiento.

En el ejemplo mostrado en la FIG. 2, el sistema de aprendizaje automático 114 comprende un extractor de características de voz 202 configurado para realizar un mapeado 204 del perfil de voz con el fin de producir un mapa de los segmentos de audio 104 y 108 tanto de la primera como de la segunda voz y extraer los componentes de frecuencia asociados a cada sonido realizado por cada voz. La función del extractor de características de voz 202 es similar a la de un codificador o reconocedor de teléfono. El extractor de características de voz 202 puede extraer, de esta manera, relaciones entre la amplitud de las frecuencias en los segmentos de audio 104 y 108 de la primera y segunda voz para aprender las características de voz pertenecientes a cada una y permitir un mapeado exacto de las voces. Dicha extracción puede implicar la extracción, en particular, características espectrales, tono (frecuencia fundamental (f0)), energía, parámetros relacionados con la aperiodicidad, y similares. Por ejemplo, pueden mapearse las voces en un espacio vectorial una respecto a la otra basándose en los componentes de frecuencia extraídos, lo que permite la extrapolación de componentes de frecuencia sintéticos para sonidos no proporcionados en los segmentos de audio de voz. En la publicación de patente US n.° 2018/0342256 se da a conocer información adicional sobre el mapeado de voces en un espacio vectorial.

El mapeado de una representación de los segmentos de audio 104 y 108 de la primera y segunda voz se lleva a cabo para separar las características acústicas dependientes del hablante 124 respecto de las características lingüísticas independientes del hablante 126 de cada uno de los segmentos de audio 108 y 104 de la primera y segunda voz. El extractor de características de voz 202 extrae de esta manera dichas características de voz a partir de los componentes de frecuencia para el entrenamiento del sistema de aprendizaje automático 114 de una manera que permite generar un candidato 120 de tercera voz que comprende las características acústicas dependientes del hablante 124 de la primera voz y las características lingüísticas independientes del hablante 126 de la segunda voz.

En algunas realizaciones, el sistema de aprendizaje automático 114 filtra el primer segmento de audio de voz en el primer idioma 104 y el segundo segmento de audio de voz en el segundo idioma 108 en segmentos de audio analíticos utilizando, por ejemplo, un filtro receptor temporal. En dichas realizaciones, el extractor 202 de características de voz extrae los componentes de frecuencia a partir de los segmentos de audio analíticos para el posterior mapeado de una representación de cada voz en un espacio vectorial.

El sistema de aprendizaje automático 114 comprende, además, por lo menos un generador 206 y por lo menos un<discriminador 208, que son dos redes neuronales que se entrenan conjuntamente en un sistema de>GAn.<El generador>206 estima la función de mapeado entre las características acústicas dependientes del hablante 124 de la primera voz y las características lingüísticas independientes del hablante 126 de la segunda voz, comprendidas en el primer y segundo segmentos de audio 104 y 108, respectivamente, y utiliza los datos para generar un candidato 120 de tercera voz que se envía al discriminador 208. El generador 206 actúa como un descodificador o sintetizador. El discriminador 208 actúa como un clasificador binario que acepta los datos de realidad de campo procedentes del extractor 202 de características de voz que comprende la primera voz generada originalmente, características acústicas dependientes del hablante 124 y características lingüísticas independientes del hablante 126 de la segunda voz, y compara los datos de realidad de campo con los candidatos 120 de tercera voz generados sintéticamente que ha producido el generador 206. El discriminador 208 determina, además, si existe por lo menos una inconsistencia entre el candidato 120 de tercera voz, las características acústicas dependientes del hablante 124 de la primera voz y las características lingüísticas independientes del hablante 126 de la segunda voz. En una realización, en el caso de que exista por lo menos una inconsistencia, el discriminador 208 producirá información de la inconsistencia relacionada con la pérdida de consistencia entre el candidato 120 de tercera voz, las características acústicas dependientes del hablante 124 de la primera voz y las características lingüísticas independientes del hablante 126 de la segunda voz. Finalmente, el discriminador 208 proporciona la información sobre la inconsistencia de vuelta al generador 206 para el refinado del candidato 120 de tercera voz.

En algunas realizaciones, el sistema de aprendizaje automático 114 está configurado para generar una pluralidad de candidatos 120 de tercera voz, cada uno de los cuales comprende un nivel diferente de características acústicas dependientes del hablante 124 y características lingüísticas independientes del hablante 126. Por ejemplo, cada uno de los candidatos 120 de tercera voz puede mostrar una variación en el timbre o presentar un acento más fuerte/más débil, lo que puede proporcionar a un ser humano o a un programa informático diversas opciones de selección de una tercera voz óptima. En realizaciones todavía adicionales, el sistema de aprendizaje automático 114 está adicionalmente configurado para seleccionar uno o más de la pluralidad de candidatos 120 de tercera voz para el uso durante el doblaje de la voz. En realizaciones todavía adicionales, el sistema de aprendizaje automático 114 está adicionalmente configurado para almacenar la tercera o terceras voces en una base de datos (p. ej., la base de datos de voces 122 de la FIG. 1A) conectada al sistema de aprendizaje automático 114, en donde la base de datos comprende una pluralidad de redes neuronales GAN entrenadas que corresponden a las terceras voces seleccionadas.

Las FIGS. 3A-3B ilustran realizaciones (no comprendidas en la invención reivindicada) de un sistema de conversión multilingüe 300 que utiliza un algoritmo de GAN de ciclo consistente (CycleGAN), que comprende simultáneamente funciones de mapeado directa e inversa que utiliza por lo menos funciones de pérdida adversarial y de pérdida de consistencia de ciclo. La pérdida adversarial se utiliza para conseguir que la distribución de los datos generados (p. ej., un candidato de tercera voz generado) y la de los datos objetivo reales (p. ej., las características acústicas dependientes del hablante real y las características lingüísticas independientes del hablante) sean indistinguibles. La pérdida de consistencia de ciclo, por otra parte, puede introducirse para restringir parte de la información de entrada de manera que esta sea invariante al ser procesada en toda la red. Lo anterior permite encontrar una pseudopareja óptima a partir de datos multilingüe no emparejados. Además, la pérdida adversarial contribuye a reducir el suavizado excesivo de la secuencia de características convertida. Es conocido que CycleGAN consigue resultados notables en varias tareas en las que no existen datos de entrenamiento emparejados. En algunas de dichas realizaciones, también puede considerarse una pérdida de mapeado de identidad durante el entrenamiento de CycleGAN, que proporciona ayuda para preservar las características relacionadas con la identidad de cada uno de los segmentos de audio de la primera y segunda voz que deben utilizarse en el tercer candidato convertido. Mediante la combinación de dichas pérdidas, puede aprenderse un modelo a partir de muestras de entrenamiento no emparejadas y los mapeados aprendidos son capaces de asociar una entrada a un resultado deseado.

La FIG. 3A ilustra una representación esquemática de una función de mapeado directo 302 utilizando un algoritmo de CycleGAN 300 que puede utilizarse en un sistema de aprendizaje automático 114 según una realización (no comprendida en la invención reivindicada). La función de mapeado directo 302 recibe, del extractor de características 202, un primer segmento de audio de voz en el primer idioma 102 y continúa mediante la extracción, por el extractor de características de voz 202, de las características acústicas dependientes del hablante 124 de la primera voz. Debido a que las características acústicas dependientes del hablante 124 de la primera voz se extraen directamente del primer segmento de audio de voz en el primer idioma 102, estas características también se denominan en el presente documento, características acústicas dependientes del hablante 124 de primera voz de realidad de campo, a fin de diferenciarlas de las características acústicas dependientes del hablante de primera voz creada que se generan posteriormente en el procedimiento.

La función de mapeado directo 302 continúa mediante el envío de las características acústicas dependientes del hablante 124 de la primera voz de realidad de campo a un generador 302 de candidatos de primera a tercera voces, que es parte de un primer generador 306. A continuación, la función de mapeado directo 302 recibe, por parte del generador 304 de candidatos de primera a tercera voces, características lingüísticas independientes del hablante 126 de la segunda voz de realidad de campo extraídas de la función de mapeado inverso 380A. Seguidamente, la función de mapeado directo 302 genera, mediante el generador 302 de candidatos de primera a tercera voces, un candidato 310 de tercera voz en el segundo idioma utilizando las características acústicas dependientes del hablante 124 de la primera voz de realidad de campo extraídas del primer segmento de audio de voz 104 en el primer idioma, y las características acústicas independientes del hablante 126 de la segunda voz de realidad de campo recibidas de la función de mapeado inverso 308A. De esta manera, las características acústicas dependientes del hablante de primera voz creada que están comprendidas en el candidato 310 de tercera voz junto con el contenido lingüístico comprendido en el primer segmento de audio de voz en el primer idioma 104 deberían ser indistinguibles de las características acústicas dependientes del hablante 124 de realidad de campo, aunque presenten la diferencia de que el candidato 310 de tercera voz comprende las características lingüísticas independientes del hablante 126 de la segunda voz típicas del segundo idioma y de que el mensaje resultante se haya traducido al segundo idioma.

La función de mapeado directo 302, mediante un primer discriminador 312, realiza una determinación 314 de si existe una inconsistencia entre las características acústicas dependientes del hablante de primera voz creada comprendidas en el candidato 310 de tercera voz y las características acústicas dependientes del hablante 124 de la primera voz de realidad de campo, en cuyo caso, el primer discriminador 312 produce información de inconsistencia 316 relacionada con la pérdida de consistencia. El primer discriminador 312 proporciona la información de inconsistencia 316 de vuelta al generador 304 de candidatos de primera a tercera voz para el refinado del candidato 310 de tercera voz.

El candidato 308 de tercera voz seguidamente se envía a un generador 318 de tercero a primer hablante, que es parte del primer generador 306, que utiliza el candidato 310 de tercera voz para generar características acústicas dependientes del hablante 320 de la primera voz convertida como parte de la etapa de entrenamiento que utiliza el procedimiento de pérdida adversarial, lo que contribuye a reducir el suavizado excesivo de las características convertidas. Las características acústicas dependientes del hablante 320 de la primera voz convertida seguidamente se envían de vuelta al generador 304 de candidatos de primera a tercera voz para continuar el procedimiento de entrenamiento con el fin de refinar adicionalmente el candidato 310 de tercera voz. En el caso de que el candidato 310 de tercera voz sea consistente con las características acústicas dependientes del hablante 124 de la primera voz, la función de mapeado directo 302 podrá finalizar 322.

La función de mapeado directo 302 se lleva a cabo en paralelo a la función de mapeado inverso 308, que está representada mediante líneas paralelas 324 ilustradas en la FIG. 3A.

La FIG. 3B ilustra una representación esquemática de una función de mapeado inverso 310 utilizando un algoritmo de GAN de ciclo consistente (CycleGAN), según una realización (no comprendida en la invención reivindicada).

La función de mapeado inverso 308 recibe, del extractor de características 202, un segmento de audio de segunda voz en el segundo idioma 108 y continúa mediante la extracción, por parte del extractor 202 de características de voz, las características lingüísticas independientes del hablante 126. Debido a que las características lingüísticas independientes del hablante 126 de la segunda voz se extraen directamente del segundo segmento de audio de voz en el segundo idioma 104, estas características también se denominan en el presente documento, características lingüísticas independientes del hablante 126 de segunda voz de realidad de campo, a fin de diferenciarlas de las características lingüísticas independientes del hablante de segunda voz generadas posteriormente en el procedimiento.

La función de mapeado inverso 308 continúa mediante el envío de las características lingüísticas independientes del hablante 126 de la segunda voz de realidad de campo a un generador 326 de candidatos de segunda a tercera voz que es parte de un segundo generador 328. A continuación, la función de mapeado inverso 308 recibe, por el generador 326 de candidatos de segunda a tercera voz, características acústicas dependientes del hablante 125 de la primera voz de realidad de campo procedentes de la función de mapeado directo 302B. A continuación, la función de mapeado inverso 308 genera, mediante el generador 326 de candidatos de segunda a tercera voz, un candidato 330 de tercera voz en el segundo idioma utilizando las características acústicas independientes del hablante 126 de la segunda voz de realidad de campo extraídas del segmento de audio 108 de la segunda voz en el segundo idioma y las características acústicas dependientes del hablante 124 de la primera voz de realidad de campo recibidas de la función de mapeado directo 302A. De esta manera, las características lingüísticas independientes del hablante de segunda voz creada comprendidas en el candidato 330 de tercera voz deberían ser indistinguibles de las características lingüísticas independientes del hablante 126 de la segunda voz de realidad de campo, aunque presenta las diferencias de que el candidato 330 de tercera voz comprende las características acústicas dependientes del hablante 124 de la primera voz, típicas del primer segmento de audio de voz en el primer idioma 104, transmite el contenido lingüístico original del mensaje generado por el primer segmento de audio de voz en el primer idioma 104 y el mensaje resultante ha sido traducido al segundo idioma.

La función de mapeado inverso 308, mediante un segundo discriminador 322, realiza una determinación 334 de si existe una inconsistencia entre las características acústicas independientes del hablante de segunda voz creada comprendida en el candidato 330 de tercera voz y la segunda voz de realidad de campo, características acústicas independientes del hablante 126, en cuyo caso el segundo discriminador 332 produce información de inconsistencia 336 relacionada con la pérdida de consistencia. El segundo discriminador 332 proporciona la información de inconsistencia 336 de vuelta al generador 326 de candidatos de segunda a tercera voz para el refinado del candidato 330 de tercera voz.

A continuación, el candidato 330 de tercera voz envía a un generador 338 de tercer a segundo hablante que es parte del segundo generador 328 que utiliza el candidato 330 de tercera voz para generar características lingüísticas independientes del hablante 340 de la segunda voz convertida, como parte de la etapa de entrenamiento que utiliza el procedimiento de pérdida adversarial, contribuyendo a reducir el suavizado excesivo de las características convertidas, Las características lingüísticas independientes del hablante 340 de la segunda voz convertida seguidamente se envían de vuelta al generador 326 de candidatos de segunda a tercera voz para continuar el procedimiento de entrenamiento con el fin de refinar adicionalmente el candidato 330 de tercera voz. En el caso de que el candidato 330 de tercera voz sea consistente con las características acústicas independientes del hablante 126 de la segunda voz, la función de mapeado inverso 308 podrá finalizar 342.

La FIG. 4 ilustra una representación esquemática de una plataforma de transmisión de películas en línea de muestra 400 que implementa un sistema de conversión de voz multilingüe entrenado, según una realización.

La plataforma de transmisión de películas en línea 400 permite al usuario seleccionar una película 402 que comprende un menú de idiomas 404 que permite la selección de diversas opciones, tales como recibir el audio de la película 402 en una versión original 406; una versión doblada en un segundo idioma con la voz del actor original 408 y una versión doblada en el segundo idioma con una voz de actor 410. Puede utilizarse para la versión original 406 un primer audio de voz producido por un actor de doblaje original que habla el primer idioma y puede producirse un segundo audio de voz producido por un actor de doblaje que habla el segundo idioma para la opción de selección de idiomas 404 que incluye el segundo idioma con el actor de doblaje 410. La traducción del audio original en el segundo idioma y la conversión de características entre un primer y un segundo hablante implica la implementación del sistema de conversión de voz multilingüe de la presente divulgación para hacer posible la versión doblada en el segundo idioma con un actor de doblaje 410, tal como mediante los sistemas ilustrados en los sistemas 100a-300 de las FIGS. 1A-3B.

De esta manera, los sistemas de conversión multilingüe de 100a-300 de las FIGS. 1A-3B de la presente divulgación pueden configurarse para proporcionar a los espectadores una versión de la película en la que la voz del actor original se ha traducido a un idioma deseado. A título de ejemplo, y haciendo referencia a la FIG. 1B, la voz del actor original transmite las características acústicas dependientes del hablante 124 junto con contenido lingüístico relacionado con, por ejemplo, el guión de una película en la que el actor original interpreta un papel, y un segmento de audio 108 de una segunda voz producido por el actor de doblaje que sirve para entrenar el sistema de aprendizaje automático 114 con las características lingüísticas independientes del actor de doblaje 126. La combinación de las características acústicas dependientes del hablante 124 y las características lingüísticas independientes del hablante 126 genera uno o más candidatos de tercera voz que, tras suficientes rondas de entrenamiento y refinado, pueden utilizarse como un candidato seleccionado 120 de tercera voz en el segundo idioma para servir como la versión doblada con la voz del actor original 408. En algunas realizaciones, puede utilizarse una pluralidad de terceras voces generadas en la generación de una pluralidad de archivos de audio de versión doblada que comprenden diferentes niveles de las características acústicas dependientes del hablante de primera voz y de las características lingüísticas independientes del hablante de segunda voz, permitiendo ofrecer un amplio abanico de opciones para seleccionar un archivo de audio de versión doblada óptimo. La selección puede llevarse a cabo manualmente, por un ser humano (p. ej., un administrador del sistema), o automáticamente por código informático (p. ej., un programa de inteligencia artificial).

La FIG. 5 ilustra una representación esquemática de un método 500 que permite la conversión de voz multilingüe con datos no paralelos, según una realización.

El método 500 se inicia en las etapas 502 y 504 mediante la recepción, por un extracto de características de voz, de un segmento de audio de primera voz en un primer idioma y un segmento de audio de segunda voz en un segundo idioma. El método 500 continúa en la etapa 506 mediante la extracción, por el extractor de características de voz, a partir del primer segmento de audio de voz en el primer idioma y del segundo segmento de audio de voz en el segundo idioma, respectivamente, de características de audio que comprenden características acústicas dependientes del hablante de primera voz y características lingüísticas independientes del hablante de segunda voz, en la presente memoria denominadas también datos de realidad de campo, a fin de establecer una diferencia con los datos generados sintéticamente por un generador en etapas posteriores. En la etapa 508, el método 500 entrena al generador con las características acústicas independientes del hablante de primera voz y con las características lingüísticas independientes del hablante de segunda voz. En la etapa 510, el método genera a partir del conjunto de datos entrenados, un candidato de tercera voz que mantiene las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz, en donde el candidato de la tercera voz habla el segundo idioma.

Seguidamente, el método 50 continúa en la etapa 512 con la comparación por uno o más discriminadores del candidato de tercera voz con los datos de realidad de campo que comprenden las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz. Mediante esta comparación, el discriminador o discriminadores determinan en la comprobación 514 si existe por lo menos una inconsistencia entre el candidato de tercera voz y las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz. En el caso de que exista por lo menos una inconsistencia, el discriminador produce, en la etapa 516, información de inconsistencias relacionada con la pérdida de consistencia entre el candidato de tercera voz, las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz. En la etapa 518, el discriminador proporciona la información de inconsistencias de vuelta al generador para el refinado del candidato de tercera voz, volviendo nuevamente a la etapa 510. En el caso de que el candidato de tercera voz sea consistente con los datos de realidad de campo que comprenden las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz, el método podrá finalizar 520.

En algunas realizaciones, el método 500 se implementa utilizando un algoritmo de GAN de Wasserstein autocodificante variacional (VAW-GAN).

La FIG. 6 ilustra una representación esquemática de un método 600 que describe una función de mapeado directo que permite la conversión de voz multilingüe con datos no paralelos mediante la utilización de un algoritmo de GAN de ciclo consistente (CycleGAN), según una realización (no comprendida en la invención reivindicada). La función de mapeado directo se lleva a cabo simultáneamente con una función de mapeado inverso descrita en el método 700 en referencia a la FIG. 7.

La función de mapeado directo del método 600 se inicia en las etapas 602 y 604 mediante la recepción, por el extractor de características, de un primer segmento de audio de voz en un primer idioma y sigue en la etapa 606 mediante la extracción, por el extractor de características, de las características acústicas dependientes del hablante de primera voz. La función de mapeado directo continúa en la etapa 608 mediante el envío de las características acústicas dependientes del hablante de primera voz a un generador de primer a tercer hablante que es parte de un primer generador. Seguidamente, la función de mapeado directo continúa en la etapa 610 mediante la recepción, por el generador de primer a tercer hablante, de características independientes del hablante de segunda voz en un segundo idioma a partir de la función de mapeado inverso. Las características acústicas dependientes del hablante de primera voz extraídas del primer segmento de audio de voz y las características lingüísticas independientes del hablante de segunda voz de la función de mapeado inverso se denominan en la presente memoria datos de realidad de campo para establecer una diferencia con los datos generados sintéticamente por un generador en etapas posteriores. Seguidamente, la función de mapeado directo genera en la etapa 612, a través del primer generador, un candidato de tercera voz utilizando los datos de realidad de campo que comprenden características acústicas dependientes del hablando de la primera voz y características lingüísticas independientes del hablante de segunda voz.

La función de mapeado directo determina en la comprobación 614, por parte de un primer discriminador, si existe una discrepancia entre el candidato de tercera voz y las características acústicas dependientes del hablante de primera voz de realidad de campo, en cuyo caso el primer discriminador produce, en la etapa 616, información sobre inconsistencias relacionada con la pérdida de consistencia. En la etapa 618, el primer discriminador proporciona la información sobre inconsistencias de vuelta al generador de candidato de primera a tercera voz para el refinado del candidato de tercera voz. El método continúa en la etapa 620, por parte del primer discriminador, enviando el candidato de tercera voz a un generador de tercer a primer hablante que es parte del primer generador. El generador de tercer a primer hablante utiliza el candidato de tercera voz para generar, en la etapa 622, características acústicas dependientes del hablante de primera voz convertida como parte de la etapa de entrenamiento utilizando el procedimiento de pérdida adversarial, contribuyendo a reducir el suavizado excesivo de las características convertidas. Las características acústicas dependientes del hablante de primera voz convertida seguidamente se envían de vuelta al generador de candidatos de primera a tercera voz para continuar el procedimiento de entrenamiento con el fin de refinar adicionalmente el candidato de tercera voz, tal como se observa en la etapa 624, volviendo nuevamente a la etapa 612. En el caso de que el candidato de tercera voz sea consistente con las características acústicas dependientes del hablante de primera voz, la función de mapeado directo podrá finalizar 626.

La FIG. 7 ilustra una representación esquemática de un método 700 que describe una función de mapeado inverso que permite una conversión de voz multilingüe con datos no paralelos mediante la utilización de un algoritmo de CycleGAN, según una realización (no comprendida en la invención reivindicada). Tanto la función de mapeado directo del método 600 como la función de mapeado inverso del método 700 se llevan a cabo simultáneamente como parte del entrenamiento del algoritmo de CycleGAN.

La función de mapeado inverso del método 700 se inicia en las etapas 702 y 704 mediante la recepción, por el extractor de características, de un segundo segmento de audio de voz en el segundo idioma, y continúa en la etapa 706 mediante la extracción, por el extractor de características, de las características lingüísticas independientes del hablante de segunda voz. A continuación, la función de mapeado inverso continúa en la etapa 708 mediante el envío de las características lingüísticas independientes del hablante de segunda voz a un generador de candidatos de segunda a tercera voz que es parte de un segundo generador. Seguidamente, en la etapa 710, la función de mapeado inverso recibe, por parte del generador de candidatos de la segunda a tercera voz, características acústicas dependientes del hablante de primera voz procedentes de la función de mapeado directo. Las características lingüísticas independientes del hablante de segunda voz extraídas del segundo segmento de audio de voz y las características acústicas dependientes del hablante de primera voz procedentes de la función de mapeado directo se denominan en la presente memoria datos de realidad de campo para establecer una diferencia con los datos generados sintéticamente por un generador en etapas posteriores. La función de mapeado inverso continúa en la etapa 712 mediante la generación, por parte del generador de candidatos de la segunda a tercera voz, de un candidato de tercera voz utilizando las características acústicas dependientes del hablante de la segunda voz y las características acústicas dependientes del hablante de primera voz.

La función de mapeado inverso continúa en la comprobación 714 mediante la determinación, por un segundo discriminador, de si existe una discrepancia entre el candidato de tercera voz y las características lingüísticas independientes del hablante de segunda voz, en cuyo caso el segundo discriminador produce, en la etapa 716, información sobre inconsistencias relacionada con la pérdida de consistencia. En la etapa 718, el segundo discriminador proporciona la información sobre inconsistencias de vuelta al generador de candidato de segunda a tercera voz para el refinado del candidato de tercera voz. A continuación, se envía el candidato de tercera voz, en la etapa 720, a un generador de tercer a segundo hablante que es parte del segundo generador. El generador de tercer a segundo hablante utiliza el candidato de tercera voz para generar, en la etapa 722, características lingüísticas independientes del hablante de segunda voz convertida como parte de la etapa de entrenamiento utilizando el procedimiento de pérdida adversarial, contribuyendo a reducir el suavizado excesivo de las características convertidas. Las características lingüísticas independientes del hablante de segunda voz convertida seguidamente, en la etapa 724, se envían de vuelta al generador de candidatos de segunda a tercera voz para continuar el procedimiento de entrenamiento con el fin de refinar adicionalmente el candidato de tercera voz, volviendo de vuelta a la etapa 712. En el caso de que el candidato de tercera voz sea consistente con las características acústicas independientes del hablante de segunda voz, la función de mapeado inverso podrá finalizar 726.

El sistema de aprendizaje automático 114 ilustrado en las FIGS. 1A-3B y los diversos elementos comprendidos en el mismo (p. ej., uno o más extractores 202 de características de la voz, generadores 206 o discriminadores 208), que permiten la implementación de los métodos 500-700 de las FIGS. 5-7, pueden ser implementados por como mínimo un procesador 118 utilizando una pluralidad de microprocesadores que ejecutan software o firmware, o pueden implementarse utilizando uno o más circuitos integrados específicos de aplicación (ASIC, por sus siglas en inglés) y software relacionado. En otros ejemplos, el sistema de aprendizaje automático 114 y los diversos elementos comprendidos en el mismo, que permiten la implementación de los métodos 500-700 de las FIGS. 5-7, pueden implementarse utilizando una combinación de ASIC, componentes electrónicos discretos (p. ej., transistores) y microprocesadores. En algunas realizaciones, el sistema de aprendizaje automático 114 puede distribuirse en una pluralidad de diferentes máquinas. En algunas realizaciones, los componentes mostrados como separados pueden sustituirse por un único componente. Además, algunos de los componentes mostrados pueden ser adicionales o pueden sustituirse por otros componentes.

También se describen medios legibles por ordenador en los que hay almacenadas instrucciones configuradas para causar que uno o más ordenadores lleven a cabo cualquiera de los métodos descritos en la presente memoria. Un medio legible por ordenador puede incluir medios volátiles o no volátiles, extraíbles o no extraíbles, implementados en cualquier método o tecnología capaz de almacenar información, tal como instrucciones legibles por ordenador, estructuras de datos, módulos de programa u otros datos. En general, la funcionalidad de los dispositivos informáticos indicados en la presente memoria puede implementarse en lógica informática realizada en hardware o instrucciones de software, que pueden escribirse en un lenguaje de programación, tal como los lenguajes C, C++, COBOL, JAVA™, PHP, Perl, Python, Ruby, HTML, CSS, JavaScript, VBScript, ASPX, o lenguajes de Microsoft .NET™ tales como C#, y/o similares. La lógica de computación puede compilarse en programas ejecutables o escribirse en lenguajes de programación interpretados. Generalmente, las funcionalidades descritas en la presente memoria pueden implementarse en forma de módulos lógicos que pueden duplicarse para proporcionar mayor capacidad de procesamiento, fusionarse con otros módulos o dividirse en submódulos. La lógica de computación puede almacenarse en cualquier tipo de medio legible por ordenador (p. ej., un medio no transitorio, tal como una memoria o medio de almacenamiento) o dispositivo de almacenamiento informático y almacenarse y ejecutarse en uno o más procesadores de uso general o de uso específico, creando de esta manera un dispositivo informático de uso especial configurado para proporcionar funcionalidades descritas en la presente memoria.

Aunque determinadas realizaciones se han descrito y mostrado en los dibujos adjuntos, debe entenderse que dichas realizaciones son meramente ilustrativos y que no son limitativos de la invención en sentido general, y que la invención no se encuentra limitada a las construcciones y dispositivos específicos mostrados y descritos, ya que el experto ordinario en la materia podría concebir otras diversas modificaciones. De esta manera, la descripción debe considerarse ilustrativa y no limitativa. El alcance de protección se define mediante las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

i.Un método de conversión de voz multilingüe ejecutado por un sistema de aprendizaje automático, en el que el método comprende:

recibir, por un extractor de características de voz, un primer segmento de audio de voz en un primer idioma y un segundo segmento de audio de voz en un segundo idioma,

extraer, por el extractor de características de voz a partir del primer segmento de audio de voz y del segundo segmento de audio de voz, respectivamente, características de audio que comprenden características acústicas dependientes del hablante de primera voz y características lingüísticas independientes del hablante de segunda voz,

generar, mediante un generador de un sistema de red adversarial generativa, GAN, a partir de un conjunto de datos de entrenamiento, un candidato de tercera voz que presenta las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz, en donde el candidato de tercera voz habla el segundo idioma,

comparar, mediante uno o más discriminadores del sistema GAN, el candidato de tercera voz con datos de realidad de campo que comprenden las características acústicas dependientes del hablante de primera voz y las características lingüísticas independientes del hablante de segunda voz, y

proporcionar resultados de la etapa de comparación de vuelta al generador para el refinado del candidato de tercera voz.
2. El método según la reivindicación 1, en el que las características acústicas dependientes del hablante incluyen características segmentarias de corto plazo relacionadas con características de tracto vocal y las características lingüísticas independientes del hablante comprenden características suprasegmentarias relacionadas con propiedades acústicas en más de un segmento.
3. El método según la reivindicación 1 o 2, que comprende, además, generar una pluralidad de candidatos de tercera voz, en el que cada candidato de tercera voz comprende un nivel diferente de características acústicas dependientes del hablante de primera voz y de características lingüísticas independientes del hablante de segunda voz.
4. El método según la reivindicación 3, que comprende, además, seleccionar uno o más de entre la pluralidad de candidatos de tercera voz para la utilización durante la traducción de voz.
5. El método según la reivindicación 4, que comprende, además, almacenar el candidato o candidatos de tercera voz en una base de datos conectada al sistema de aprendizaje automático y que comprende una pluralidad de terceras voces entrenadas diferentes.
6. El método según cualquiera de las reivindicaciones anteriores, en el que el sistema GAN es un sistema GAN de Wasserstein autocodificante variacional, VAW-GAN, o un sistema GAN de ciclo consistente, CycleGAN.
7. El método según cualquiera de las reivindicaciones anteriores, en el que la primera voz es una voz de actor original que habla el primer idioma y en el que la segunda voz es un actor de doblaje que habla el segundo idioma.
8. El método según la reivindicación 7 que se implementa durante la traducción de voz de una película que permite la selección de una versión original, una versión doblada con la voz del actor original o una versión doblada con la voz del actor de doblaje.
9. Método según la reivindicación 8, que comprende, además:

generar una pluralidad de candidatos de tercera voz, en el que cada candidato de tercera voz comprende un nivel diferente de características acústicas dependientes del hablante de primera voz y de características lingüísticas independientes del hablante,

utilizar candidatos de tercera voz generados para generar de una pluralidad de archivos de audio de versión doblada que comprenden diferentes niveles de las características acústicas dependientes del hablante de primera voz y de las características lingüísticas independientes del hablante de segunda voz.
10. Un sistema de aprendizaje automático, en el que el sistema de aprendizaje automático comprende:

un extractor de características de voz y

una red adversarial generativa (GAN) que comprende uno o más generadores y uno o más discriminadores, en el que el extractor de características de voz y el GAN están configurados para llevar a cabo el método según cualquiera de las reivindicaciones 1 a 9.
11.El sistema según la reivindicación 10, en el que el generador o generadores están configurados adicionalmente para generar una pluralidad de candidatos de tercera voz seleccionables.
12. El sistema según la reivindicación 10 o 11, en el que el sistema de aprendizaje automático está configurado adicionalmente para:

generar una pluralidad de archivos de audio de versión doblada que comprenden diferentes niveles de características acústicas dependientes del hablante de primera voz y de características lingüísticas independientes del hablante de segunda voz.
13. Un programa informático que comprende instrucciones que, al ser ejecutadas por un ordenador, causan que el ordenador lleve a cabo el método según cualquiera de las reivindicaciones 1 a 9.