ES2266254T3 - Procedimiento de busqueda de una base de datos de audio. - Google Patents

Abstract

Un procedimiento para identificar una muestra de audio, caracterizado por: para la muestra, generar pares de hito / huella de la muestra, en donde cada hito se presenta en una ubicación temporal específica dentro de la muestra de audio, calculándose la ubicación con respecto al contenido de la muestra de audio, y en donde cada huella caracteriza uno o más rasgos de la muestra de audio en, o cerca de, la ubicación específica; para cada uno o más de los ficheros de audio, generar pares de hito / huella del fichero, en donde cada hito aparece en una ubicación temporal específica dentro del fichero de audio, calculándose la ubicación con respecto al contenido del fichero de audio, y en donde cada huella caracteriza uno o más rasgos del fichero de audio en, o cerca de, la ubicación específica; identificar correspondencias esencialmente lineales entre los respectivos pares de hito / huella de la muestra y los pares de hito / huella de ficheros previamente generados; e identificar un fichero ganador como aquél que tiene un número significativo de correspondencias esencialmente lineales.

Description

Procedimiento de búsqueda de una base de datos de audio.

Campo de la invención

Esta invención se refiere, en general, a la recuperación de información basada en su contenido. Más en particular, se refiere al reconocimiento de una señal de audio, incluyendo sonido o música, que está sumamente distorsionada o que contiene un alto nivel de ruido.

Técnica anterior

Hay una necesidad creciente de reconocimiento automático de música o de otras señales de audio, generadas por diversas fuentes. Por ejemplo, los propietarios de obras sujetas a derechos de autor, o los publicistas, están interesados en obtener datos acerca de la frecuencia de transmisión de su material. Los servicios de rastreo de música proporcionan listas de difusión de las principales estaciones de radio en los grandes mercados. Los consumidores desearían identificar canciones o transmisiones publicitarias en la radio, a fin de poder adquirir música nueva e interesante, u otros productos y servicios. Toda clase de reconocimiento de sonido, continuo o a pedido, es ineficiente y onerosa en términos de mano de obra cuando es realizada por seres humanos. Un método automatizado para reconocer música o sonido proporcionaría, por lo tanto, un significativo beneficio a los consumidores, a los artistas y a una gran diversidad de industrias. Según el paradigma de la distribución de música se desplaza desde las compras en tiendas a la descarga a través de Internet, es bastante factible enlazar directamente el reconocimiento de música, implementado por ordenador, con la adquisición por Internet y otros servicios basados en Internet.

Tradicionalmente, el reconocimiento de canciones reproducidas en la radio ha sido realizado apareando las estaciones de radio y las horas a las cuales las canciones se reproducían con las listas de difusión proporcionadas ya sea por las estaciones de radio o por terceras fuentes. Este método está inherentemente limitado sólo a las estaciones de radio para las cuales está disponible la información. Otros métodos se apoyan en la inserción de códigos inaudibles dentro de las señales transmitidas. Las señales insertadas son descodificadas en el receptor a fin de extraer información de identificación acerca de la señal transmitida. La desventaja de este procedimiento es que se requieren dispositivos especiales de descodificación para identificar señales, y sólo pueden identificarse aquellas canciones con códigos insertados.

Todo reconocimiento de audio a gran escala requiere alguna clase de recuperación de audio basada en contenidos, en la cual una señal transmitida no identificada es comparada con una base de datos de señales conocidas a fin de identificar señales de la base de datos, similares o idénticas. Observe que la recuperación de audio basada en contenidos es distinta a la recuperación de audio existente, por medio de motores de búsqueda en Internet, en los cuales sólo se busca el texto de metadatos que rodea a, o que está asociado con, los ficheros de audio. Observe también que, mientras que el reconocimiento de voz es útil para convertir señales de voz en texto, que luego puede indizarse e consultarse empleando técnicas bien conocidas, no es aplicable a la gran mayoría de señales de audio que contienen música y sonidos. De alguna manera, la recuperación de información de audio es análoga a la recuperación de información basada en texto, proporcionada por los motores de búsqueda. En otros casos, sin embargo, el reconocimiento de audio no es análogo: las señales de audio carecen de entidades fácilmente identificables, tales como las palabras, que proporcionen identificadores para la búsqueda y para la indización. De tal manera, los métodos actuales de recuperación de audio indizan las señales de audio por medio de características perceptivas computadas que representan diversas cualidades o rasgos de la señal.

La recuperación de audio basada en contenidos se realiza, típicamente, analizando una señal de consulta, a fin de obtener un cierto número de características representativas, y aplicando luego una medida similar a las características derivadas a fin de localizar ficheros de base de datos que sean lo más similares que sea posible a la señal de consulta. La similitud de los objetos recibidos es necesariamente un reflejo de las características perceptivas seleccionadas. Se dispone en la técnica de un cierto número de procedimientos de recuperación basados en el contenido. Por ejemplo, la Patente Estadounidense Nº 5.210.820, concedida a Kenyon, revela un procedimiento de reconocimiento de señales en el cual las señales recibidas son procesadas y muestreadas para obtener valores de la señal en cada punto de muestreo. Los momentos estadísticos de los valores muestreados se computan luego para generar un vector de características que puede compararse con los identificadores de las señales almacenadas a fin de extraer señales similares. Las Patentes Estadounidenses Nº 4.450.531 y 4.843.562, concedidas ambas a Kenyon et al, revelan procedimientos similares de clasificación de información transmitida, en los cuales se calculan las correlaciones cruzadas entre las señales no identificadas y las señales de referencia almacenadas.

Un sistema para recuperar documentos de audio según la similitud acústica se revela en el artículo de J. T. Foote, "Content-Based Retrieval of Music and Audio" ["Recuperación de Música y de Audio Basada en el Contenido"], en Multimedia Storage and Archiving Systems II, Proc. of SPIE [Sistemas de Almacenamiento y Archivo II, Anales de SPIE], de C.-C.J. Kuo et al, editor, volumen 3229, páginas 138-147, 1997. Los vectores de características se calculan parametrizando cada fichero de audio en coeficientes cepstrales de la escala Mel, y se genera un árbol de cuantización a partir de los datos de parametrización. Para realizar una consulta, se parametriza una señal desconocida a fin de obtener vectores de características que se clasifican luego como extremos terminales del árbol. Se compila un histograma para cada extremo terminal, generando de tal forma un vector N-dimensional que representa la señal desconocida. La distancia entre dos tales vectores da una indicación de la similitud entre dos ficheros de sonido. En este procedimiento, el método de cuantización supervisada reconoce las características distintivas del audio, ignorando a la vez las variaciones sin importancia, basándose en clases en las cuales los datos de aprendizaje son asignados por un ser humano. Según el sistema de clasificación, se escogen como importantes distintos rasgos acústicos. Por ello, este procedimiento es más adecuado para hallar similitudes entre canciones y para clasificar música en clases que para reconocer música.

Un procedimiento para el análisis, el almacenamiento, la recuperación y la segmentación, basados en el contenido, de información de audio, se revela en la Patente Estadounidense Nº 5.918.223, concedida a Blum et al. En este procedimiento, un cierto número de características acústicas, tales como el volumen, los graves, el grado, el realce, el ancho de banda y los coeficientes cepstrales de frecuencia de escala Mel, se miden a intervalos periódicos en cada fichero. Las mediciones estadísticas de las características se toman y se combinan para formar un vector de características. Los ficheros de datos de audio dentro de una base de datos se extraen sobre la base de la similitud de sus vectores de características con el vector de características de un fichero no identificado.

El artículo "Landmark detection for distinctive feature-based speech recognition", S.A. Liu, J.A.S.A., 100(5) Nov. 1996, revela un sistema de reconocimiento de voz que utiliza hitos para guiar la búsqueda de características distintivas.

Un problema clave de todos los procedimientos precedentes de reconocimiento de audio de la tecnología anterior es que tienden a fallar cuando las señales por reconocer están sometidas a distorsión lineal y no lineal, causada, por ejemplo, por ruido de fondo, errores y caídas de la transmisión, interferencia, filtrado limitado por la banda, cuantización, deformación temporal, y compresión digital de la calidad de voz. En los procedimientos de la tecnología anterior, cuando se procesa una muestra de sonido distorsionado para obtener las características acústicas, sólo se halla una fracción de las características derivadas para la grabación original. El vector de características resultante, por lo tanto, no es muy similar al vector de características de la grabación original, y es improbable que pueda llevarse a cabo el reconocimiento correcto. Subsiste una necesidad de un sistema de reconocimiento de sonido que funcione bien bajo condiciones de ruido y distorsión altos.

Otro problema con los procedimientos de la tecnología anterior es que son onerosos en cómputos, y no se modifican bien a escala. El reconocimiento en tiempo real, pues, no es posible utilizando procedimientos de la tecnología anterior con grandes bases de datos. En tales sistemas, es inviable tener una base de datos de más de unos pocos cientos o miles de grabaciones. El tiempo de búsqueda en los procedimientos de la tecnología anterior tiende a crecer linealmente con el tamaño de la base de datos, haciendo que la modificación a escala de millones de grabaciones sonoras sea económicamente inviable. Los procedimientos de Kenyon también requieren grandes bancos de hardware especializado de procesamiento de señales digitales.

Los procedimientos comerciales existentes con frecuencia tienen requisitos estrictos sobre la muestra de entrada para poder realizar el reconocimiento. Por ejemplo, requieren que se muestree la canción entera, o al menos 30 segundos de la canción, o requieren que la canción sea muestreada desde el comienzo. También tienen dificultades para reconocer canciones múltiples mezcladas entre sí en un único flujo. Todas estas desventajas hacen inviables los procedimientos de la tecnología anterior para su empleo en muchas aplicaciones prácticas.

Objetos y ventajas

En consecuencia, es un objeto principal de la presente invención proporcionar un procedimiento para reconocer una señal de audio sometida a un alto nivel de ruido y de distorsión.

Es un objeto adicional de la invención proporcionar un procedimiento de reconocimiento que pueda ser llevado a cabo en tiempo real, basado sólo en unos pocos segundos de la señal a identificar.

Es otro objeto de la invención proporcionar un procedimiento de reconocimiento que pueda reconocer sonidos basándose en muestras provenientes de prácticamente cualquier posición dentro del sonido, no solo del comienzo.

Es un objeto adicional de la invención proporcionar un procedimiento de reconocimiento que no requiera que las muestras de sonido estén codificadas o correlacionadas con estaciones de radio o listas de difusión específicas.

Es un objetivo adicional de la invención proporcionar un procedimiento de reconocimiento que pueda reconocer cada una de las múltiples grabaciones de sonido mezcladas entre sí en un único flujo.

Es otro objeto de la invención proporcionar un sistema de reconocimiento de sonido en el cual el sonido desconocido pueda suministrarse al sistema desde cualquier entorno, por medio de prácticamente cualquier procedimiento conocido.

Resumen

Estos objetos y ventajas son logrados por un procedimiento, según lo reivindicado en la reivindicación 1, para reconocer una muestra de cierto medio, tal como una muestra de audio, dado un índice de base de datos de un gran número de ficheros de medios conocidos. El índice de la base de datos contiene huellas que representan características en ubicaciones particulares de los ficheros de medios indizados. La muestra de medios desconocida se identifica por un fichero de medios en la base de datos (el fichero de medios ganador) cuyas ubicaciones relativas de huellas coinciden lo más estrechamente posible con las ubicaciones relativas de las huellas de la muestra. En el caso de los ficheros de audio, la evolución temporal de las huellas del fichero ganador coincide con la evolución temporal de las huellas en la muestra.

El procedimiento se implementa, preferiblemente, en un sistema informático distribuido, y contiene las siguientes etapas: determinar un conjunto de huellas en ubicaciones específicas de la muestra; localizar huellas coincidentes en el índice de la base de datos; generar correspondencias entre ubicaciones en la muestra y ubicaciones en el fichero que tiene huellas equivalentes; e identificar ficheros de medios para los cuales un número significativo de las correspondencias está vinculado de manera esencialmente lineal. El fichero que tenga el mayor número de correspondencias linealmente vinculadas es considerado el fichero de medios ganador. Un procedimiento para identificar ficheros con un gran número de correspondencias es llevar a cabo el equivalente de escanear una línea diagonal en un gráfico de dispersión generado a partir de los pares de correspondencias. En una realización, la identificación de los ficheros de medios con un gran número de correspondencias lineales implica buscar sólo un primer subconjunto de los ficheros de medios. Los ficheros en el primer subconjunto tienen una mayor probabilidad de ser identificados que los ficheros que no están en el primer subconjunto. La probabilidad de identificación se basa, preferiblemente, en medidas de la frecuencia empírica o de la reciente ocurrencia de las identificaciones previas, junto con proyecciones a priori de la frecuencia de identificación. Si no se identifica ningún fichero de medios en el primer subconjunto, se rastrea entonces el segundo subconjunto, que contiene los ficheros restantes. Alternativamente, los ficheros pueden clasificarse según la probabilidad, y rastrearse según el orden de categorización. La búsqueda se termina cuando se halla un fichero.

Preferiblemente, las ubicaciones específicas dentro de la muestra se calculan de manera reproducible, según la muestra. Tales ubicaciones calculables de manera reproducible se llaman "hitos". Las huellas son, preferiblemente, valores numéricos. En una realización, cada huella representa un cierto número de características de la muestra de medios en cada ubicación, o ligeramente desplazada a partir de la ubicación.

El procedimiento es especialmente útil para reconocer muestras de audio, en cuyo caso las ubicaciones específicas son instantes dentro de la muestra de audio. Estos instantes tienen lugar, por ejemplo, en los máximos locales de las normas Lp espectrales de la muestra de audio. Las huellas pueden calcularse por medio de cualquier análisis de la muestra de audio, y son preferiblemente invariables con respecto a la dilatación temporal de la muestra. Los ejemplos de huellas incluyen huellas de tajadas espectrales, huellas multitajada, coeficientes de LPC, coeficientes cepstrales y componentes de frecuencia de los picos del espectrograma.

La presente invención brinda también un sistema para implementar el procedimiento precedente, que contiene un objeto generador de hitos para calcular las ubicaciones específicas, un objeto generador de huellas para calcular las huellas, un índice de base de datos que contiene las ubicaciones de ficheros y las huellas para los ficheros de medios, y un objeto generador de análisis. El objeto generador de análisis implementa el procedimiento ubicando las huellas coincidentes en el índice de la base de datos, generando correspondencias y analizando las correspondencias a fin de seleccionar el fichero de medios ganador.

También se proporciona un dispositivo de almacenamiento de programas, accesible desde un ordenador, que realiza tangiblemente un programa de instrucciones ejecutable por el ordenador a fin de llevar a cabo las etapas de procedimiento para el procedimiento precedente.

Además, la invención proporciona un procedimiento para crear un índice de un cierto número de ficheros de audio en una base de datos, que contiene las siguientes etapas: cálculo de un conjunto de huellas en ubicaciones específicas de cada fichero; y almacenamiento de las huellas, las ubicaciones y los identificadores de los ficheros en una memoria. Una huella, una ubicación y un identificador correspondientes se asocian en la memoria a fin de formar una triplete. Preferiblemente, las ubicaciones, que pueden ser instantes dentro del fichero de audio, se calculan en correspondencia con el fichero, y son reproducibles. Por ejemplo, los instantes pueden tener lugar en los máximos locales de las normas Lp espectrales del fichero de audio. En algunos casos, cada huella, que es, preferiblemente, un valor numérico, representa un cierto número de características del fichero cerca de la ubicación específica. Las huellas pueden calcularse a partir de cualquier análisis o procesamiento de señales digitales del fichero de audio. Los ejemplos de huellas incluyen huellas de tajadas espectrales, huellas multitajada, coeficientes de LPC, coeficientes cepstrales, componentes de frecuencia de picos del espectrograma y picos enlazados del espectrograma.

Finalmente, la invención proporciona procedimientos para identificar muestras de audio, que incorporan huellas invariables por dilatación temporal, y diversas búsquedas jerárquicas.

Breve descripción de las figuras

La Fig. 1 es un diagrama de flujo de un procedimiento de la invención para reconocer una muestra de sonido.

La Fig. 2 es un diagrama de bloques de un ejemplo de sistema informático distribuido para implementar el procedimiento de la Fig. 1.

La Fig. 3 es un diagrama de flujo de un procedimiento para construir un índice de base de datos de ficheros de sonidos empleados en el procedimiento de la Fig. 1.

La Fig. 4 ilustra esquemáticamente los hitos y las huellas calculadas para una muestra de sonido.

La Fig. 5 es un gráfico de normas L4 para una muestra de sonido, que ilustra la selección de hitos.

La Fig. 6 es un diagrama de flujo de una realización alternativa para construir un índice de base de datos de ficheros de sonido empleados en el procedimiento de la Fig. 1.

Las Figs. 7A-7C muestran un espectrograma, con indicación de puntos salientes y de puntos salientes enlazados.

Las Figs. 8A-8C ilustran conjuntos de índices, una lista de índices y una lista del índice maestro del procedimiento de la Fig. 3.

Las Figs. 9A-9C ilustran una lista de índices, una lista de candidatos y una lista de dispersión del procedimiento de la Fig. 1.

Las Figs. 10A-10B son gráficos de dispersión que ilustran la identificación correcta y la falta de identificación, respectivamente, de una muestra de sonido desconocido.

Descripción detallada

La presente invención proporciona un procedimiento para reconocer una muestra de medios exógenos, dada una base de datos que contiene un gran número de ficheros de medios conocidos. También proporciona un procedimiento para generar un índice de base de datos que permite una búsqueda eficiente utilizando el procedimiento de reconocimiento de la invención. Mientras que la siguiente exposición se refiere, principalmente, a datos de audio, ha de entenderse que el procedimiento de la presente invención puede aplicarse a cualquier tipo de muestras de medios y de ficheros de medios, incluyendo, pero sin limitarse a, el texto, el audio, el vídeo, la imagen, y cualesquiera combinaciones de multimedios de tipos de medios individuales. En el caso del audio, la presente invención es especialmente útil para reconocer muestras que contengan altos niveles de distorsión lineal y no lineal, causada, por ejemplo, por ruidos de fondo, errores de transmisión y tramos de silencio, interferencia, filtrado limitado por banda, cuantización, deformación temporal, y compresión digital de calidad de voz. Como se hará evidente a partir de la descripción siguiente, la invención funciona bajo tales condiciones porque puede reconocer correctamente una señal distorsionada, incluso si sólo una pequeña fracción de las características calculadas sobrevive a la distorsión. Cualquier tipo de audio, incluyendo el sonido, la voz, la música, o las combinaciones de tipos, puede ser reconocido por la presente invención. Los ejemplos de muestras de audio incluyen música grabada, programas transmitidos por radio y anuncios.

Según se utiliza aquí, una muestra de medios exógenos es un segmento de datos de medios de cualquier tamaño, obtenido de una gran variedad de fuentes, según se describe a continuación. A fin de que pueda efectuarse el reconocimiento, la muestra debe ser una versión de parte de un fichero de medios indizado en una base de datos utilizada por la presente invención. El fichero de medios indizado puede concebirse como una grabación original, y la muestra, como una versión, distorsionada y/o abreviada, de la grabación original. Típicamente, la muestra corresponde sólo a una pequeña porción del fichero indizado. Por ejemplo, el reconocimiento puede realizarse sobre un segmento de diez segundos de una canción de cinco minutos, indizada en la base de datos. Aunque el término "fichero" se emplea para describir la entidad indizada, la entidad puede estar en cualquier formato para el cual puedan obtenerse los valores necesarios (descritos a continuación). Además, no hay ninguna necesidad de almacenar o de tener acceso al fichero después de que se han obtenido los valores.

Un diagrama de bloques, que ilustra conceptualmente las etapas generales de un procedimiento 10 de la presente invención, se muestra en la Fig. 1. Las etapas individuales se describen a continuación más detalladamente. El procedimiento identifica un fichero de medios ganador, un fichero de medios cuyas ubicaciones relativas de huellas características coinciden en mayor grado con las ubicaciones relativas de las mismas huellas de la muestra exógena. Después de que se ha capturado una muestra exógena en la etapa 12, los hitos y las huellas se calculan en la etapa 14. Los hitos aparecen en ubicaciones específicas, p. ej., instantes temporales, dentro de la muestra. La ubicación dentro de la muestra de los hitos está preferiblemente determinada por la misma muestra, es decir, depende de las cualidades de la muestra, y es reproducible. Es decir, se calculan los mismos hitos para la misma señal cada vez que se repite el proceso. Para cada hito, se obtiene una huella que caracteriza uno o más rasgos de la muestra en, o cerca de, el hito. La cercanía de un rasgo a un hito está definida por el procedimiento empleado de determinación de huellas. En algunos casos, se considera que un rasgo está cerca de un hito si corresponde claramente al hito y no a un hito anterior o subsiguiente. En otros casos, los rasgos corresponden a múltiples hitos adyacentes. Por ejemplo, las huellas textuales pueden ser cadenas de palabras, las huellas de audio pueden ser componentes espectrales, y las huellas de imágenes pueden ser valores pixelados de colores RGB. Dos realizaciones generales de la etapa 14 se describen a continuación: una en la cual los hitos y huellas se calculan secuencialmente, y una en la cual se calculan simultáneamente.

En la etapa 16, las huellas de muestra se emplean para recuperar conjuntos de huellas coincidentes almacenadas en un índice 18 de base de datos, en los cuales las huellas coincidentes están asociadas a hitos e identificadores de un conjunto de ficheros de medios. El conjunto de identificadores de ficheros y valores de hitos recuperados se utiliza luego para generar los pares de correspondencias (etapa 20), que contienen los hitos de la muestra (calculados en la etapa 14) y los hitos de ficheros recuperados, en los cuales se calcularon las mismas huellas. Los pares de correspondencias calculados se clasifican luego según el identificador de canción, generando conjuntos de correspondencias entre hitos de muestras e hitos de ficheros para cada fichero relevante. Cada conjunto es examinado buscando la alineación entre los hitos de fichero y los hitos de muestra. Esto es, se identifican correspondencias lineales en los pares de hitos, y el conjunto se califica según el número de pares que estén linealmente vinculados. Tiene lugar una correspondencia lineal cuando un gran número de ubicaciones correspondientes de muestra y de ubicaciones de ficheros puede describirse, esencialmente, con la misma ecuación lineal, dentro de una tolerancia admitida. Por ejemplo, si las pendientes de un cierto número de ecuaciones, que describen un conjunto de pares de correspondencias, varía en \pm 5%, entonces se considera que todo el conjunto de correspondencias está linealmente vinculado. Por supuesto, puede seleccionarse cualquier tolerancia adecuada. El identificador del conjunto con la mayor puntuación, es decir, con el mayor número de correspondencias linealmente vinculadas, es el identificador del fichero ganador, que se ubica y se genera en la etapa 22.

Como se describe adicionalmente a continuación, el reconocimiento puede llevarse a cabo con un componente temporal proporcional al logaritmo del número de entradas en la base de datos. El reconocimiento puede llevarse a cabo, esencialmente, en tiempo real, incluso con una base de datos muy grande. Es decir, una muestra puede ser reconocida según se está recuperando, con un pequeño desfase temporal. El procedimiento puede identificar un sonido basándose en segmentos de entre 5 y 10 segundos, e incluso de hasta entre 1 y 3 segundos. En una realización preferida, el análisis de hitos y de huellas, en la etapa 14, se realiza en tiempo real, según la muestra está siendo capturada en la etapa 12. Las consultas a la base de datos (etapa 16) se llevan a cabo según se va disponiendo de las huellas de la muestra, y los resultados de la correspondencia se acumulan y se examinan periódicamente, buscando correspondencias lineales. De esta manera, todos las etapas del procedimiento tienen lugar simultáneamente, y no en el estilo lineal secuencial sugerido en la Fig. 1. Observe que el procedimiento es parcialmente análogo a un motor de búsqueda de texto: un usuario despacha una muestra de consulta, y se devuelve un fichero correspondiente, indizado en la base de datos.

El procedimiento, típicamente, se implementa en forma de software que se ejecuta sobre un sistema informático, con las etapas individuales implementadas, de manera sumamente eficiente, como módulos de software independientes. De esta manera, puede considerarse que un sistema que implementa la presente invención consiste en un objeto de determinación de hitos y de huellas, una base de datos indizada y un objeto analizador para buscar en el índice de la base de datos, calcular correspondencias e identificar el fichero ganador. En el caso de determinación secuencial de hitos y de huellas, el objeto de determinación de hitos y de huellas puede considerarse como dos objetos distintos de determinación de hitos y de huellas. El código de instrucciones de ordenador para los distintos objetos se almacena en una memoria de uno o más ordenadores, y es ejecutado por uno o más procesadores de ordenador. En una realización, los objetos de código se concentran en un único sistema informático, tal como un ordenador personal basado en hardware de Intel, o bien otras estaciones de trabajo. En una realización preferida, el procedimiento es implementado por una agrupación en red de unidades centrales de procesamiento (UCP), en las cuales distintos objetos de software son ejecutados por distintos procesadores, a fin de distribuir la carga de trabajo informático. Alternativamente, cada UCP puede tener una copia de todos los objetos de software, lo que permite una red homogénea de elementos idénticamente configurados. En esta última configuración, cada UCP tiene un subconjunto del índice de la base de datos, y es responsable de buscar su propio subconjunto de ficheros de medios.

Aunque la invención no está limitada a ningún sistema de hardware en particular, un ejemplo de una realización preferida de un sistema informático distribuido 30 se ilustra esquemáticamente en la Fig. 2. El sistema 30 contiene una agrupación de procesadores 32a-32f basados en Linux, conectados por una arquitectura 34 de bus multiprocesador, o por un protocolo de red tal como el protocolo Beowulf de cálculo de agrupaciones, o por una mezcla de los dos. En tal disposición, el índice de la base de datos se almacena, preferiblemente, en una memoria de acceso aleatorio (RAM) en al menos un extremo 32a en la agrupación, garantizando que la búsqueda de huellas se realiza muy rápidamente. Los extremos encargados de los cálculos, correspondientes a los otros objetos, tales como los extremos 32c y 32f de determinación de hitos, los extremos 32b y 32e de determinación de huellas, y el extremo 32d de rastreo de alineaciones, no requieren tanta memoria RAM en bruto como el extremo o extremos 32a que dan soporte al índice de la base de datos. El número de extremos encargados de los cálculos, asignados a cada objeto, puede, por lo tanto, modificarse a escala según la necesidad, de manera tal que ningún objeto individual se convierta en un cuello de botella. La red encargada de los cálculos, por lo tanto, es sumamente paralelizable, y puede procesar adicionalmente múltiples consultas simultáneas de reconocimiento de señales que estén distribuidas entre los recursos informáticos disponibles. Observe que esto posibilita aplicaciones en las cuales grandes números de usuarios pueden solicitar el reconocimiento y recibir resultados en tiempo aproximadamente real.

En una realización alternativa, ciertos objetos funcionales están más estrechamente acoplados entre sí, estando a la vez menos estrechamente acoplados con otros objetos. Por ejemplo, el objeto de determinación de hitos y de huellas puede residir en una ubicación físicamente separada del resto de los objetos encargados de los cálculos. Un ejemplo de esto es una asociación estrecha de los objetos de determinación de hitos y de huellas con el proceso de captura de señales. En esta disposición, el objeto de determinación de hitos y de huellas puede incorporarse como hardware o software adicional empotrado, por ejemplo, en un teléfono móvil, un explorador del Protocolo de Aplicaciones Inalámbricas (WAP), una agenda electrónica (PDA) u otro terminal remoto, tal como el extremo cliente de un motor de búsqueda de audio. En un servicio de búsqueda de audio basado en Internet, tal como un servicio de identificación de contenido, el objeto determinante de hitos y de huellas puede incorporarse a la aplicación exploradora cliente como un conjunto vinculado de instrucciones de software, o como un módulo acoplable de software, tal como una biblioteca de enlace dinámico (DLL) de Microsoft. En estas realizaciones, el objeto combinado de captura de señales, determinación de hitos y de huellas constituye el extremo cliente del servicio. El extremo cliente envía un resumen, extraído de las características, de la muestra de señal capturada, que contiene pares de hitos y de huellas, al extremo servidor, el cual realiza el reconocimiento. El envío de este resumen extraído de las características al servidor, en lugar de la señal capturada en bruto, es ventajoso, porque la magnitud de datos se reduce enormemente, a menudo en un factor de 500 o más. Tal información puede enviarse en tiempo real por un canal lateral de bajo ancho de banda, junto con, o en lugar de, por ejemplo, un flujo de audio transmitido al servidor. Esto permite la realización de la invención sobre redes públicas de comunicación, que ofrecen anchos de banda relativamente reducidos a cada usuario.

Se describirá ahora en detalle el procedimiento con referencia a muestras de audio y a ficheros de audio indizados en una base de datos de sonidos. El procedimiento consiste en dos componentes generales, la construcción del índice de la base de datos de sonidos y el reconocimiento de muestras.

Construcción del índice de la base de datos

Antes de que pueda llevarse a cabo el reconocimiento del sonido, debe construirse un índice de la base de datos de sonidos rastreables. Según se utiliza aquí, una base de datos es cualquier colección indizada de datos, y no se limita a las bases de datos comercialmente disponibles. En el índice de la base de datos, los elementos de datos vinculados se asocian entre sí, y los elementos individuales pueden emplearse para recuperar datos asociados. El índice de la base de datos sonoros contiene un conjunto de índices para cada fichero o grabación en la colección seleccionada o en la biblioteca de grabaciones, que puede incluir voz, música, anuncios, rúbricas de sonar, u otros sonidos. Cada grabación también tiene un único identificador, Identificador_de_sonido. La base de datos de sonidos, en sí misma, no necesariamente almacena los ficheros de audio para cada grabación, pero los Identificadores_de_sonido pueden emplearse para extraer los ficheros de audio de otros sitios. Se espera que el índice de la base de datos sonoros sea muy grande, y que contenga índices para millones e incluso millardos de ficheros. Las nuevas grabaciones, preferiblemente, se añaden incrementalmente al índice de la base de datos.

Un diagrama en bloques de un procedimiento preferido 40 para la construcción del índice rastreable de la base de datos sonoros, según una primera realización, se muestra en la Fig. 3. En esta realización, se calculan primero los hitos, y luego se calculan las huellas en, o cerca de, los hitos. Como será evidente para alguien medianamente avezado en la tecnología, pueden concebirse procedimientos alternativos para construir el índice de la base de datos. En particular, muchas de las etapas enumeradas a continuación son optativas, pero sirven para generar un índice de base de datos que sea rastreado más eficientemente. Si bien la eficiencia de rastreo es importante para el reconocimiento del sonido en tiempo real a partir de grandes bases de datos; las bases de datos pequeñas pueden rastrearse con rapidez relativa, incluso si no han sido óptimamente clasificadas.

A fin de indizar la base de datos sonoros, cada grabación en la colección se somete a un análisis de hitos y de huellas que genera un conjunto de índices para cada fichero de audio. La Fig. 4 ilustra esquemáticamente un segmento de una grabación sonora para la cual se han calculado los hitos y las huellas. Los hitos aparecen en instantes específicos del sonido, y toman valores de unidades temporales desplazadas a partir del comienzo del fichero, mientras que las huellas caracterizan el sonido en, o cerca de, un hito específico. De esta manera, en esta realización, cada hito para un fichero particular es único, mientras que la misma huella puede aparecer numerosas veces dentro de un fichero individual, o de ficheros múltiples.

En la etapa 42, a cada grabación sonora se asigna un hito utilizando procedimientos para hallar ubicaciones distinguibles y reproducibles dentro de la grabación sonora. Un algoritmo preferido de determinación de hitos es capaz de marcar los mismos instantes dentro de una grabación sonora, a pesar de la presencia del ruido y de otra distorsión lineal y no lineal. Algunos procedimientos de determinación de hitos son conceptualmente independientes del proceso de determinación de huellas descrito a continuación, pero pueden escogerse para que optimicen las prestaciones de éste último. La determinación de hitos da como resultado una lista de instantes (hito_{k}) dentro de la grabación sonora en la cual se calculan subsiguientemente las huellas. Un buen método de determinación de hitos marca entre 5 y 10 hitos por segundo de grabación sonora; por supuesto, la densidad de los hitos depende de la magnitud de la actividad dentro de la grabación sonora.

Es posible una gran variedad de técnicas para calcular hitos, todas las cuales están dentro del ámbito de la presente invención. Los procesos técnicos específicos empleados para implementar los métodos de determinación de hitos de la invención son conocidos en la técnica, y no se expondrán en detalle. Una sencilla técnica de determinación de hitos, conocida como la Norma de Potencia, es calcular la potencia instantánea en cada instante posible en la grabación, y seleccionar los máximos locales. Una manera de hacer esto es calcular la envolvente rectificando y filtrando directamente la onda. Otra manera es calcular la transformada (cuadratura) de Hilbert de la señal, y utilizar la suma del cuadrado de las magnitudes de la transformada de Hilbert y de la señal original.

El procedimiento de la Norma de Potencia para la determinación de hitos es bueno para hallar componentes transitorias en la señal sonora. La Norma de Potencia, efectivamente, es un caso especial de la Norma Lp Espectral, más general, en la cual p = 2. La Norma Lp Espectral general se calcula en cada momento a lo largo de la señal sonora, calculando un espectro de tiempo reducido, por ejemplo, por medio de una Transformada Rápida de Fourier (FFT) con ventanas de Hanning. Una realización preferida utiliza una velocidad de muestreo de 8000 Hz, un tamaño de trama FFT de 1024 muestras y un tranco de 64 muestras para cada tajada temporal. La norma Lp para cada tajada temporal se calcula entonces como la suma de la potencia p-ésima de los valores absolutos de los componentes espectrales, tras lo cual, optativamente, se extrae la raíz p-ésima. Igual que antes, los hitos se escogen como los máximos locales de los valores resultantes a lo largo del tiempo. Un ejemplo del procedimiento de la Norma Lp Espectral se muestra en la Fig. 5: un gráfico de la norma L4 como función del tiempo para una señal sonora particular. Las líneas de puntos en los máximos locales indican la ubicación de los hitos escogidos.

Cuando p = \infty, la norma L\infty es, en efecto, la norma máxima. Esto es, el valor de la norma es el valor absoluto del mayor componente espectral en la tajada espectral. Esta norma da como resultado hitos robustos y buenas prestaciones generales de reconocimiento, y es la preferida para la música tonal.

Alternativamente, los hitos espectrales de "multitajada" pueden calcularse tomando la suma de las potencias p-ésimas de los valores absolutos de los componentes espectrales sobre las múltiples tajadas temporales, con desplazamientos fijos o variables entre sí, en lugar de una única tajada. Hallar los máximos locales de esta suma extendida permite la optimización de la localización de las huellas multitajada, descritas a continuación.

Una vez que se han calculado los hitos, se calcula una huella en cada instante de hito en la grabación, en la etapa 44. La huella es generalmente un valor, o un conjunto de valores, que resume un conjunto de características en la grabación en, o cerca de, el instante temporal. En una realización actualmente preferida, cada huella es un valor numérico individual que es una función de refundición de rasgos múltiples. Los tipos posibles de huellas incluyen las huellas de tajada espectral, las huellas multitajada, los coeficientes de LPC y los coeficientes cepstrales. Por supuesto, cualquier tipo de huellas que caracterice la señal, o los rasgos de la señal, cerca de un hito, está dentro del ámbito de la presente invención. Las huellas pueden ser calculadas por cualquier tipo de procesamiento de señales digitales o de análisis de frecuencia de la señal.

Para generar huellas de tajada espectral, se realiza un análisis espectral en la vecindad de cada instante temporal de un hito, a fin de extraer los varios picos espectrales máximos. Un valor sencillo de huella es tan sólo el valor individual de frecuencia del pico espectral más fuerte. El empleo de un pico tan sencillo da como resultado un reconocimiento sorprendentemente bueno en presencia del ruido; sin embargo, las huellas de tajada espectral de frecuencia individual tienden a generar más falsos valores positivos que otros métodos de determinación de huellas, porque no son únicas. El número de falsos valores positivos puede reducirse utilizando huellas que consistan en una función de los dos o tres picos espectrales más fuertes. Sin embargo, puede haber una mayor susceptibilidad al ruido si el segundo pico espectral más fuerte no es lo suficientemente fuerte como para distinguirlo de sus competidores en presencia de ruido. Es decir, el valor calculado de la huella puede no ser lo suficientemente robusto como para ser reproducible de manera fiable. A pesar de esto, las prestaciones de este caso también son buenas.

A fin de aprovechar la evolución temporal de muchos sonidos, se determina un conjunto de tajadas temporales, añadiendo un conjunto de desplazamientos temporales a un instante de hito. En cada tajada temporal resultante, se calcula una huella de tajada espectral. El conjunto resultante de información de huellas se combina luego para formar una huella multitonal o multitajada. Cada huella multitajada es mucho más específica que la huella de tajada espectral individual, porque rastrea la evolución temporal, lo que da como resultado menos falsas coincidencias en la búsqueda del índice de la base de datos, descrita a continuación. Los experimentos indican que, debido a su unicidad aumentada, las huellas multitajada calculadas a partir del pico espectral individual más fuerte en cada una de las dos tajadas temporales dan como resultado un cálculo mucho más rápido (alrededor de 100 veces más rápido) en la búsqueda subsiguiente del índice de la base de datos, pero con algo de degradación en el porcentaje de reconocimiento, en presencia de ruido significativo.

Alternativamente, en lugar de utilizar uno o más desplazamientos fijos a partir de una tajada temporal dada, a fin de calcular una huella multitajada, pueden emplearse desplazamientos variables. El desplazamiento variable con respecto a la tajada escogida es el desplazamiento hasta el próximo hito, o un hito en un cierto entorno de desplazamiento desde el hito de "anclaje" para la huella. En este caso, la diferencia de tiempo entre los hitos también se codifica en la huella, junto con información de multifrecuencia. Añadiendo más dimensiones a las huellas, devienen más específicas y tienen una menor probabilidad de una falsa coincidencia.

Además de los componentes espectrales, pueden extraerse y utilizarse otros rasgos espectrales como huellas. El análisis de codificación predictiva lineal (LPC) extrae los rasgos linealmente predecibles de una señal, tal como los picos espectrales, así como la forma espectral. La LPC es bien conocida en la técnica del procesamiento de señales digitales. Para la presente invención, los coeficientes de LPC de las tajadas de ondas ancladas en las posiciones de hitos pueden emplearse como huellas refundiendo los coeficientes cuantizados de LPC en un valor de índice.

Los coeficientes cepstrales son útiles como medida de periodicidad, y pueden utilizarse para caracterizar señales que son armónicas, tales como las voces o muchos instrumentos musicales. El análisis cepstral es bien conocido en la técnica del procesamiento de señales digitales. Para la presente invención, se refunden juntos un cierto número de coeficientes cepstrales en un índice, y se utilizan como huella.

Una realización alternativa 50, en la cual se calculan simultáneamente hitos y huellas, se muestra en la Fig. 6. Las etapas 42 y 44 de la Fig. 3 son reemplazadas por las etapas 52, 54 y 56. Como se describe a continuación, se calcula una función multidimensional a partir de la grabación sonora en la etapa 52, y se extraen los hitos (54) y las huellas (56) de la función.

En una implementación de la realización de la Fig. 6, se calculan hitos y huellas a partir de un espectrograma de la grabación sonora. Un espectrograma es un análisis de frecuencia temporal de una grabación sonora en la cual se analizan espectralmente las tramas solapadas y dispuestas en ventanas de las muestras sonoras, utilizando, típicamente, una Transformada Rápida de Fourier (FFT). Igual que antes, una realización preferida utiliza una tasa de muestreo de 8000 Hz, un tamaño de trama FFT de 1024 muestras, y un tranco de 64 muestras para cada tajada temporal. Un ejemplo de un espectrograma se muestra en la Fig. 7A. El tiempo está en el eje horizontal, y la frecuencia está en el eje vertical. Cada trama secuencial FFT se apila verticalmente a intervalos correspondientes, igualmente espaciados, a lo largo del eje del tiempo. Un gráfico del espectrograma ilustra la densidad de energía en cada punto de frecuencia temporal; las áreas más oscuras en el gráfico representan la mayor densidad de energía. Los espectrogramas son bien conocidos en la técnica del procesamiento de señales digitales. Para la presente invención, los hitos y huellas pueden obtenerse a partir de los puntos salientes, tales como los máximos locales del espectrograma, marcados con un círculo en el espectrograma de la Fig. 7B. Por ejemplo, se obtienen las coordenadas de tiempo y frecuencia de cada pico, se toma el tiempo a utilizar como hito, y se emplea la frecuencia para calcular la huella correspondiente. Este hito de pico de espectrograma es similar a la norma L\infty, en la cual el valor absoluto máximo de la norma determina la ubicación del hito. En el espectrograma, sin embargo, la búsqueda del máximo local se hace sobre tramos del plano tiempo-frecuencia, en lugar de sobre una tajada temporal entera.

En este contexto, el conjunto de puntos salientes que resultan del análisis de extracción de puntos de una grabación sonora se denomina una constelación. Para una constelación que consiste en máximos locales, un análisis preferido es seleccionar puntos que sean máximos de energía del plano tiempo-frecuencia en una vecindad alrededor de cada punto seleccionado. Por ejemplo, un punto de coordenadas (t_{0},f_{0}) es seleccionado si es el punto de energía máxima dentro de un rectángulo con vértices (t_{0}-T,f_{0}-F), (t_{0}-T,f_{0}+F), (t_{0}+T,f_{0}-F) y (t_{0}+T,f_{0}+F), es decir, un rectángulo con lados de longitud 2T y 2F, con T y F escogidos a fin de proporcionar un número adecuado de puntos de constelación. Los límites del rectángulo también pueden variar de tamaño según el valor de frecuencia. Por supuesto, puede utilizarse una región de cualquier forma. El criterio de máxima energía también puede ponderarse de manera tal que un pico energético que compite en términos de tiempo y frecuencia sea ponderado en relación inversa con respecto a una métrica de distancia en el plano tiempo-frecuencia, es decir, los puntos más distantes tienen una ponderación inferior. Por ejemplo, la energía puede ponderarse como

\frac{S(t,f)}{1 + C_{t} (t - t_{0})^{2} + C_{f} (f - f_{0})^{2}},

donde S(t,f) es el cuadrado del valor de la magnitud del espectrograma en el punto (t,f), y C_{t} y C_{f} son valores positivos (no necesariamente constantes). Son posibles otras funciones de ponderación de distancias. Las restricciones de selección de máximos locales pueden aplicarse a otros métodos de extracción de características de puntos salientes (no máximos), y están dentro del ámbito de la invención.

Este procedimiento da como resultado pares de valores que son muy similares a la huella espectral de frecuencia única descrita anteriormente, con muchas de las mismas propiedades. El procedimiento del tiempo-frecuencia del espectrograma genera más pares de hitos/huellas que el procedimiento de frecuencia única, pero también puede producir muchas falsas coincidencias en la etapa de apareo descrita a continuación. Sin embargo, proporciona una determinación más robusta de hitos y de huellas que la huella espectral de frecuencia única, porque el ruido dominante en la muestra sonora puede no extenderse a todas las partes del espectro en cada tajada. Esto es, hay, muy probablemente, algunos pares de hitos y huellas en partes del espectro que no están afectados por el ruido dominante.

Este procedimiento de determinación de hitos y huellas del espectrograma es un caso especial de los procedimientos de análisis de rasgos que calculan una función multidimensional de la señal sonora, en los cuales una de las dimensiones es el tiempo, y que localizan puntos salientes en los valores funcionales. Los puntos salientes pueden ser máximos locales, mínimos locales, valores con ordenada nula, u otros rasgos distintivos. Los hitos se toman como las coordenadas temporales de los puntos salientes, y las huellas correspondientes se calculan a partir de al menos una de las coordenadas restantes. Por ejemplo, la(s) coordenada(s) no temporal(es) del punto saliente multidimensional puede(n) refundirse entre sí para formar una huella funcional multidimensional.

El procedimiento de desplazamiento variable descrito anteriormente para las huellas espectrales multitajada puede aplicarse al espectrograma o a otras huellas de funciones multidimensionales. En este caso, los puntos en una constelación se vinculan entre sí para formar puntos enlazados, según se ilustra en el espectrograma mostrado en la Fig. 7C. Cada punto en la constelación sirve como un punto de anclaje que define el momento del hito, y los valores de las coordenadas restantes de los otros puntos se combinan para formar la huella enlazada. Los puntos que están cercanos entre sí, por ejemplo, como se define a continuación, se enlazan entre sí para formar huellas más complejas de rasgos compuestos, que pueden distinguirse y buscarse más fácilmente. Como ocurre con las huellas espectrales multitajada, el objetivo de combinar información de múltiples puntos salientes enlazados en una única huella es crear una mayor diversidad de posibles valores de huellas, disminuyendo por ello la probabilidad de una falsa coincidencia, es decir, disminuyendo la probabilidad de que la misma huella describa dos muestras musicales distintas.

En principio, cada uno de los N puntos salientes puede enlazarse con todo otro punto en un método de enlace de dos puntos, produciendo alrededor de N^{2}/2 combinaciones. De manera similar, para un enlace de K puntos, el número de posibles combinaciones resultantes de una constelación es del orden de N^{K}. A fin de evitar tal explosión combinatoria, es deseable restringir la vecindad de puntos que se enlazan entre sí. Una manera de lograr tal restricción es definir una "zona objetivo" para cada punto de anclaje. Un punto de anclaje se enlaza luego con puntos en su zona objetivo. Es posible seleccionar un subconjunto de puntos dentro de la zona objetivo con los cuales enlazarse - no todo punto requiere ser enlazado. Por ejemplo, sólo los puntos asociados a los picos más fuertes en la zona objetivo pueden enlazarse. Una zona objetivo puede tener una forma fija o bien variar según las características del punto de anclaje. Un ejemplo sencillo de una zona objetivo de un punto de anclaje (t_{0},f_{0}) para una constelación de picos de espectrograma es el conjunto de puntos (t,f) en la tira del espectrograma, tales que t está en el intervalo [t_{0}+L,t_{0}+L+W], donde L es el avance temporal y W es el ancho de la zona objetivo. En este método, se permiten todas las frecuencias en la zona objetivo. L o W pueden ser variables, por ejemplo, si se emplea un mecanismo de control de velocidad para modular el número de combinaciones de enlace que se producen. Alternativamente, pueden implementarse restricciones de frecuencia, por ejemplo, restringiendo la zona objetivo de manera tal que la frecuencia f esté en el intervalo [f_{0}-F,f_{0}+F], donde F es un parámetro de acotación. Una ventaja de una restricción de frecuencia es que en sicoacústica se sabe que las melodías tienden a cohesionarse mejor cuando las secuencias de notas tienen frecuencias que están cercanas entre sí. Tal restricción puede permitir prestaciones de reconocimiento más "sicoacústicamente realistas", aunque la modelización de la sicoacústica no es necesariamente un objetivo de esta invención. También es posible considerar la regla opuesta, en la cual f se escoge fuera de la región [f_{0}-F,f_{0}+F]. Esto fuerza el enlace de puntos que son distintos entre sí en frecuencia, evitando, posiblemente, casos en los cuales los artificios de extracción de constelaciones producen secuencias entrecortadas de puntos de valores de tiempo y frecuencia que están cercanos en el tiempo y tienen la misma frecuencia. Como ocurre con otros parámetros de localidad, F no es necesariamente constante y puede, por ejemplo, ser una función de f_{0}.

Al incluir coordenadas temporales de puntos salientes no de anclaje en los valores de huellas, deben emplearse valores temporales relativos para permitir que las huellas sean invariantes en el tiempo. Por ejemplo, las huellas pueden ser una función de (i) valores de coordenadas no temporales y/o (ii) la(s) diferencia(s) de los correspondientes valores de las coordenadas temporales de los puntos salientes. La(s) diferencia(s) temporal(es) puede(n) tomarse, por ejemplo, con respecto al punto de anclaje o como diferencias sucesivas entre los puntos salientes secuenciales en el conjunto enlazado. Los valores de coordenadas y diferencias pueden empaquetarse en campos de bits concatenados a fin de formar la huella refundida. Como será evidente a alguien medianamente versado en la tecnología, existen muchas otras formas de establecer correspondencias entre valores de coordenadas y un valor de huella, y están dentro del ámbito de la presente invención.

Una instanciación concreta de este método utiliza N > 1 picos enlazados del espectrograma con coordenadas (t_{k},f_{k}), k=1,...,N. Luego, (i) se toma el tiempo t_{1} del primer pico como el tiempo del hito, y (ii) las diferencias temporales \Deltat_{k} = t_{k} - t_{1}, k=2,...,N, más las frecuencias f_{k}, k=1,...,N, de los picos enlazados, se refunden entre sí para formar un valor de huella. La huella puede calcularse a partir de todas, o de un subconjunto de, las coordenadas \Deltat_{k} y f_{k} disponibles. Por ejemplo, algunas, o todas, las coordenadas de diferencias temporales pueden omitirse si se desea.

Otra ventaja de utilizar puntos múltiples para formar la huella es que la codificación de la huella puede hacerse invariante con respecto a la dilatación temporal, p. ej., cuando una grabación sonora se reproduce a una velocidad distinta a la velocidad original de grabación. Esta ventaja se aplica tanto al procedimiento del espectrograma como al de la tajada temporal. Observe que en una señal de tiempo dilatado, las diferencias temporales y la frecuencia tienen una relación recíproca (p. ej., la disminución de la diferencia temporal entre dos puntos en un factor de dos duplica la frecuencia). Este procedimiento se aprovecha de ese hecho combinando diferencias temporales y frecuencias, de una manera que excluye la dilatación temporal de la huella.

Por ejemplo, en un caso de picos de un espectrograma de N puntos con valores de coordenadas (t_{k},f_{k}), k=1,...,N, los valores intermedios disponibles para refundirse en una huella son \Deltat_{k} = t_{k} - t_{1}, k=2,...,N, y f_{k}, k=1,...,N. Los valores intermedios pueden hacerse luego invariantes con respecto a la dilatación temporal, tomando una de las frecuencias como frecuencia de referencia, digamos f_{1}, y formando (i) cocientes con las frecuencias restantes y (ii) productos con las diferencias temporales. Por ejemplo, los valores intermedios pueden ser g_{k} = f_{k}/f_{1}, k=2,...,N y s_{k} = \Deltat_{k} f_{1},k=2,...,N. Si la muestra se acelera en un factor \alpha, entonces la frecuencia f_{k} se convierte en \Deltaf_{k}, y la diferencia temporal \Deltat_{k} se convierte en \Deltat_{k}/\alpha, de manera que g_{k} = \Deltaf_{k}/\Deltaf_{1} = f_{k}/f_{1}, y s_{k} = (\Deltat_{k}/\alpha) (\alphaf_{1}) = \Deltat_{k} f_{1}. Estos nuevos valores intermedios se combinan luego utilizando una función para formar un valor de huella refundida que es independiente de la dilatación temporal. Por ejemplo, los valores g_{k} y s_{k} pueden ser refundidos empaquetándolos en campos de bits concatenados.

Alternativamente, en lugar de una frecuencia de referencia, puede utilizarse una diferencia temporal de referencia, p. ej., \Deltat_{2}. En este caso, los nuevos valores intermedios se calculan como (i) los cocientes \Deltat_{k}/\Deltat_{2} de las restantes diferencias temporales, y (ii) los productos \Deltat_{2} f_{k} con las frecuencias. Este caso es equivalente a emplear una frecuencia de referencia, porque los valores resultantes pueden formarse a partir de productos y cocientes de los valores precedentes g_{k} y s_{k}. Los recíprocos de los ratios de frecuencia pueden utilizarse de manera igualmente efectiva; las sumas y diferencias de valores logarítmicos de los valores intermedios originales también pueden sustituir los productos y diferencias, respectivamente. Todo valor de huella independiente de la dilatación temporal, obtenido por medio de tales conmutaciones, sustituciones y permutaciones de operaciones matemáticas, está dentro del ámbito de la invención. Además, pueden emplearse múltiples frecuencias de referencia o diferencias temporales de referencia, que también relativizan las diferencias temporales. El empleo de múltiples frecuencias de referencia o de diferencias temporales de referencia es equivalente al empleo de una única referencia, porque puede lograrse el mismo resultado por la manipulación aritmética de los valores g_{k} y s_{k}.

Volviendo ahora a las Figs. 3 y 6, los análisis de determinación de hitos y huellas, por cualquiera de los procedimientos precedentes, dan como resultado un conjunto de índices para cada Identificador_de_sonido, según se muestra en la Fig. 8A. Un conjunto de índices para una grabación sonora dada es una lista de pares de valores (huella, hito). Cada grabación indizada, típicamente, tiene en el orden de mil pares (huella, hito) en su conjunto de índices. En la primera realización anteriormente descrita, en la cual las técnicas de determinación de hitos y huellas son esencialmente independientes, pueden tratarse como módulos separados e intercambiables. Según el sistema, la calidad de la señal, o el tipo de sonido a reconocer, puede emplearse uno de varios módulos distintos de determinación de hitos o huellas. En efecto, debido a que el conjunto de índices está compuesto simplemente de pares de valores, es posible, y a menudo preferible, utilizar simultáneamente métodos de determinación múltiple de hitos y huellas. Por ejemplo, un método de determinación de hitos y huellas puede ser bueno para detectar patrones tonales únicos, pero deficiente para identificar la percusión, mientras que un algoritmo distinto puede tener los atributos opuestos. El empleo de estrategias múltiples de determinación de hitos/huellas da como resultado una gama más robusta y rica de prestaciones de reconocimiento. Pueden utilizarse conjuntamente distintas técnicas de determinación de huellas, reservando ciertas gamas de valores de huellas para ciertas clases de huellas. Por ejemplo, en un valor de huella de 32 bits, los primeros 3 bits pueden utilizarse para especificar cuáles de los 8 métodos de determinación de huellas están codificando los siguientes 29 bits.

Después de que se han generado conjuntos de índices para cada grabación sonora a indizar en la base de datos de sonidos, se construye un índice de base de datos rastreable, de tal manera que permita búsquedas rápidas (es decir, de tiempos logarítmicos). Esto se logra en la etapa 46 construyendo una lista de tripletes (huella, hito, identificador_de_sonido), obtenidas añadiendo el correspondiente identificador_de_sonido a cada dupla dentro de cada conjunto de índices. Todas tales tripletes, para todas las grabaciones sonoras, se recogen en una gran lista de índices, un ejemplo de la cual se muestra en la Fig. 8B. A fin de optimizar el subsiguiente proceso de búsqueda, la lista de tripletes se clasifica luego con respecto a la huella. Los algoritmos de clasificación rápida son bien conocidos en la técnica, y se exponen en detalle en The Art of Computer Programming, Volume 3: Sorting and Searching [El Arte de Programar Ordenadores, Volumen 3: Clasificación y Búsqueda], de D. E. Knuth, Reading, Massachusetts: Addison-Wesley, 1998, incorporado a la presente por referencia. Los algoritmos de clasificación de altas prestaciones pueden emplearse para clasificar la lista en un tiempo equivalente a N log N, donde N es el número de elementos en la lista.

Una vez que la lista de índices está clasificada, se procesa adicionalmente en la etapa 48, segmentándola de tal manera que cada huella única en la lista se recoge en una nueva lista del índice maestro, un ejemplo de la cual se muestra en la Fig. 8C. Cada elemento en la lista del índice maestro contiene un valor de huella y un puntero a una lista de pares (hito, identificador_de_sonido). Según el número y carácter de los registros indizados, una huella dada puede aparecer cientos de veces, o más, dentro de la colección completa. El reordenamiento de la lista de índices en una lista del índice maestro es optativo, pero ahorra memoria, porque cada valor de huella aparece sólo una vez. También acelera la búsqueda subsiguiente en la base de datos, dado que el número efectivo de elementos en la lista se reduce enormemente, hasta una lista de valores únicos. Alternativamente, la lista del índice maestro puede construirse insertando cada triplete en un árbol B. Existen otras posibilidades para construir la lista del índice maestro, como es sabido por aquellos medianamente versados en la tecnología. La lista del índice maestro se mantiene, preferiblemente, en la memoria del sistema, tal como en memoria DRAM, para un rápido acceso durante el reconocimiento de señales. La lista del índice maestro puede mantenerse en la memoria de un único extremo dentro del sistema, según se ilustra en la Fig. 2. Alternativamente, la lista del índice maestro puede descomponerse en trozos distribuidos entre múltiples extremos de cómputo. Preferiblemente, el índice de la base de datos sonoros mencionado anteriormente es la lista del índice maestro ilustrada en la Fig. 8C.

El índice de la base de datos sonoros se construye, preferiblemente, fuera de línea, y se actualiza incrementalmente según se incorporan nuevos sonidos al sistema de reconocimiento. Para actualizar la lista, pueden insertarse nuevas huellas en la ubicación adecuada en la lista maestra. Si las nuevas grabaciones contienen huellas existentes, los correspondientes pares (hito, identificador_de_sonido) se añaden a las listas existentes para esas huellas.

Sistema de reconocimiento

Utilizando la lista del índice maestro generada según lo anteriormente descrito, el reconocimiento de sonidos se lleva a cabo sobre una muestra sonora exógena, típicamente proporcionada por un usuario interesado en identificar la muestra. Por ejemplo, el usuario oye una nueva canción en la radio y desea conocer el artista y el título de la canción. La muestra puede originarse en cualquier tipo de entorno, tal como una transmisión radial, un disco, un pub, un submarino, un fichero de sonido, un segmento de audio transmitido, o un sistema estéreo, y puede contener ruido de fondo, tramos de silencio o voces. El usuario puede almacenar la muestra de audio en un dispositivo de almacenamiento tal como un contestador, un fichero de ordenador, una grabadora de cinta, o un sistema de correo de voz de teléfono fijo o móvil, antes de proporcionarlo al sistema para su reconocimiento. Basándose en la configuración del sistema y las restricciones del usuario, la muestra de audio se proporciona al sistema de reconocimiento de la presente invención a partir de cualquier número de fuentes analógicas o digitales, tales como un sistema estéreo, un televisor, un reproductor de discos compactos, una transmisión de radio, un contestador, un teléfono fijo, un teléfono móvil, una transmisión en vivo por Internet, el FTP, un fichero de ordenador como anexo de correo electrónico, o cualquier otro medio adecuado para transmitir tal material grabado. Según la fuente, la muestra puede estar en forma de ondas acústicas, ondas de radio, un flujo PCM de audio digital, un flujo de audio digital comprimido (tal como Dolby Digital o MP3), o una transmisión en vivo por Internet. Un usuario interactúa con el sistema de reconocimiento a través de una interfaz estándar tal como un teléfono fijo, un teléfono móvil, un explorador de Internet, o el correo electrónico. La muestra puede ser capturada por el sistema y procesada en tiempo real, o puede reproducirse para su procesamiento a partir de un sonido previamente capturado (p. ej., un fichero de sonido). Durante la captura, la muestra de audio es muestreada digitalmente y enviada al sistema por un dispositivo de muestreo, tal como un micrófono. Según sea el procedimiento de captura, es probable que la muestra sea sometida a una degradación adicional, debida a las limitaciones del canal o del dispositivo de captura de sonido.

Una vez que la señal sonora ha sido convertida en su forma digital, se procesa para su reconocimiento. Como en la construcción de conjuntos de índices para los ficheros de base de datos, los hitos y las huellas se calculan para la muestra utilizando el mismo algoritmo que se empleó para procesar la base de datos de grabaciones sonoras. El procedimiento funciona óptimamente si el procesamiento de una versión sumamente distorsionada del fichero sonoro original produce el conjunto idéntico, o similar, de pares de hitos y huellas que se obtuvo para la grabación original. El conjunto resultante de índices para la muestra sonora es un conjunto de pares de valores analizados, (huella, hito), mostrados en la Fig. 9A.

Dados los pares para la muestra sonora, se busca en el índice de la base de datos a fin de localizar los ficheros potencialmente coincidentes. La búsqueda se lleva a cabo de la siguiente manera: cada par (huella_{k}, hito_{k}) en el conjunto de índices de la muestra desconocida se procesa buscando la huella_{k} en la lista del índice maestro. Los algoritmos de búsqueda rápida en una lista ordenada son bien conocidos en la técnica y se exponen ampliamente en The Art of Computer Programming, Volume 3: Sorting and Searching [El Arte de Programar Ordenadores, Volumen 3: Clasificación y Búsqueda], de D. E. Knuth, Reading, Massachusetts: Addison-Wesley, 1998. Si la huella_{k} se halla en la lista del índice maestro, entonces su lista correspondiente de pares coincidentes (hito*_{j}, identificador_de_sonido_{j}) se copia y se amplía con el hito_{k} para formar un conjunto de tripletes de la forma (hito_{k}, hito*_{j}, identificador_de_sonido_{j}). En esta notación, un asterisco (*) indica un hito de uno de los ficheros indizados en la base de datos, mientras que un hito sin asterisco se refiere a la muestra. En algunos casos, es preferible que las huellas coincidentes no sean necesariamente idénticas, pero que sean similares; por ejemplo, que difieran dentro de un umbral previamente determinado. Las huellas coincidentes, ya sean idénticas o similares, se denominan equivalentes. El identificador_de_sonido_{j} en la triplete corresponde al fichero que tiene el hito marcado con asterisco. De esta manera, cada triplete contiene dos hitos distintos, uno en el índice de la base de datos y uno en la muestra, en los cuales se han calculado huellas equivalentes. Este proceso se repite para todo k que varíe dentro del conjunto de índices de la muestra de entrada. Todas las tripletes resultantes se recogen en una gran lista de candidatos, ilustrada en la Fig. 9B. La lista de candidatos se denomina así porque contiene los identificadores_de_sonido de los ficheros sonoros que, en virtud de sus huellas coincidentes, son candidatos para su identificación con la muestra sonora exógena.

Una vez que se ha compilado la lista de candidatos, se procesa adicionalmente segmentándola según el identificador_de_sonido. Una manera conveniente de hacer esto es clasificar la lista de candidatos por su identificador_de_sonido, o insertarla en un árbol B. Se dispone de un gran número de algoritmos de clasificación en la técnica, como se ha expuesto anteriormente. El resultado de este proceso es una lista de identificadores_de_sonido candidatos, cada uno de los cuales tiene una lista de dispersión de pares de hitos temporales puntuales de la muestra y del fichero, con los identificadores_de_sonido optativamente retirados, (hito_{k}, hito*_{j}), como se muestra en la Fig. 9C. Cada lista de dispersión contiene, por ello, un conjunto de hitos correspondientes, en virtud de estar caracterizados por el valor de la huella equivalente.

La lista de dispersión para cada identificador_de_sonido candidato se analiza luego a fin de determinar si el identificador_de_sonido corresponde a la muestra. Puede emplearse primero una etapa optativa de determinación de umbral a fin de eliminar un número potencialmente alto de candidatos que tienen listas de dispersión muy pequeñas. Obviamente, los candidatos que tengan sólo una entrada en sus listas de dispersión, es decir, sólo una huella en común con la muestra, no corresponden a la muestra. Puede emplearse cualquier número adecuado de umbral, mayor o igual que uno.

Una vez que se ha determinado el número final de candidatos, se localiza el candidato ganador. Si el siguiente algoritmo no localiza un candidato ganador, entonces se devuelve un mensaje de fracaso. Un concepto clave del proceso de apareo es que la evolución temporal en el apareo de sonidos debe seguir una correspondencia lineal, suponiendo que las bases temporales en ambos lados son constantes. Esto es cierto casi siempre, a menos que uno de los sonidos haya sido deliberadamente deformado no linealmente, o sometido a equipos de reproducción defectuosos, tales como una consola de cinta con un problema de irregularidad en la velocidad de reproducción. De esta manera, los pares correctos de hitos (hito_{n},hito*_{n}) en la lista de dispersión de un identificador_de_sonido dado deben tener una correspondencia lineal de la forma

hito*_{n} = m*hito_{n} + desplazamiento,

donde m es la pendiente, que debería estar cerca del uno; hito_{n} es el instante dentro de la muestra exógena; hito*_{n} es el correspondiente instante dentro de la grabación sonora indizada por el identificador_de_sonido; y el desplazamiento es el desplazamiento temporal dentro de la grabación sonora correspondiente al comienzo de la muestra sonora exógena. Los pares de hitos que pueden satisfacer la ecuación anterior para valores particulares de m y del desplazamiento se dicen linealmente relacionados. Obviamente, el concepto de estar linealmente relacionado es sólo válido para más de un par de hitos correspondientes. Observe que esta relación lineal identifica el fichero sonoro correcto con alta probabilidad, excluyendo a la vez pares de hitos externos que no son significativos. Si bien es posible que dos señales distintas contengan un cierto número de huellas idénticas, es muy improbable que estas huellas tengan las mismas evoluciones temporales relativas. El requisito de las correspondencias lineales es una característica clave de la presente invención, y proporciona un reconocimiento significativamente mejor que las técnicas que simplemente cuentan el número total de características en común o que miden la similitud entre las características. En efecto, debido a este aspecto de la invención, los sonidos pueden reconocerse incluso si aparece menos del 1% de las huellas de la grabación original en la muestra sonora exógena, es decir, si la muestra sonora es muy breve o si está significativamente distorsionada.

El problema de determinar si existe una correspondencia para la muestra exógena se reduce así al equivalente de hallar una línea diagonal con pendiente cercana a uno dentro de un gráfico de dispersión de los puntos de hitos de una lista de dispersión dada. Dos ejemplos de gráficos de dispersión se muestran en las Figs. 10A y 10B, con hitos de ficheros sonoros sobre el eje horizontal e hitos de muestras sonoras exógenas sobre el eje vertical. En la Fig. 10A, se identifica una línea diagonal de pendiente aproximadamente igual a uno, que indica que la canción, efectivamente, corresponde a la muestra, es decir, que el fichero de sonido es un fichero ganador. La interceptación en el eje horizontal indica el desplazamiento dentro del fichero de audio donde comienza la muestra. No se halla ninguna línea diagonal estadísticamente significativa en el gráfico de dispersión de la Fig. 10B, lo que indica que el fichero de sonido no corresponde a la muestra exógena.

Hay muchas maneras de hallar una línea diagonal en un gráfico de dispersión, todas las cuales están dentro del ámbito de la presente invención. Ha de entenderse que la frase "localizar una línea diagonal" se refiere a todos los procedimientos que sean equivalentes a localizar una línea diagonal sin producir explícitamente una línea diagonal. Un procedimiento preferido comienza restando m*hito_{n} de ambos lados de la ecuación anterior, para obtener

(hito*_{n} - m*hito_{n}) = desplazamiento.

Suponiendo que m es aproximadamente igual a uno, es decir, suponiendo que no hay dilatación temporal, llegamos a

(hito*_{n} - hito_{n}) = desplazamiento.

El problema de hallar la diagonal se reduce entonces a hallar múltiples pares de hitos para un identificador_de_
sonido dado que se agrupen cerca del mismo valor del desplazamiento. Esto puede lograrse fácilmente restando un hito al otro y recogiendo un histograma de los valores de desplazamiento resultantes. El histograma puede prepararse clasificando los valores de desplazamiento resultantes, utilizando un algoritmo de clasificación rápida o bien creando entradas de arcas con contadores e insertándolas en un árbol B. El arca de desplazamientos ganador en el histograma contiene el mayor número de puntos. Este arca se denomina aquí el pico del histograma. Como el desplazamiento debe ser positivo si la señal sonora exógena está totalmente contenida dentro del fichero sonoro de la biblioteca correcta, los pares de hitos que dan como resultado un desplazamiento negativo pueden excluirse. De manera similar, los desplazamientos más allá del fin del fichero también pueden excluirse. Se toma nota del número de puntos en el arca de desplazamientos ganador del histograma para cada identificador_de_sonido admitido. Este número se convierte en la puntuación para cada grabación sonora. La grabación sonora en la lista de candidatos con la más alta puntuación se escoge como la ganadora. El identificador_de_sonido ganador se revela a un usuario según se describe a continuación para indicar el éxito de la identificación. A fin de evitar la falsa identificación, puede utilizarse una puntuación de umbral mínimo para controlar el éxito del proceso de identificación. Si ningún sonido de biblioteca tiene una puntuación que exceda el umbral, entonces no hay reconocimiento, y así se informa al usuario.

Si la señal sonora exógena contiene múltiples sonidos, entonces puede reconocerse cada sonido individual. En este caso, los múltiples ganadores se localizan en el escaneo de alineación. No es necesario conocer que la señal sonora contiene múltiples ganadores, porque el escaneo de alineación localizará más de un identificador_de_sonido con una puntuación que es mucho más alta que las puntuaciones restantes. El procedimiento de determinación de huellas utilizado muestra, preferiblemente, una buena superposición lineal, para que puedan extraerse huellas individuales. Por ejemplo, un procedimiento de determinación de huellas de espectrograma muestra superposición lineal.

Si la muestra sonora ha sido sometida a dilatación temporal, entonces la pendiente no es idénticamente igual a uno. El resultado de suponer una pendiente igual a la unidad en una muestra temporalmente dilatada (suponiendo que las huellas son invariantes para dilataciones temporales) es que los valores de desplazamiento calculados no son iguales. Una manera de abordar esto y de asimilar una moderada dilatación temporal es aumentar el tamaño de las arcas de desplazamiento, es decir, considerar como iguales una gama de desplazamientos. En general, si los puntos no caen sobre una línea recta, entonces los valores de desplazamiento calculados son significativamente distintos, y un leve aumento en el tamaño de las arcas de desplazamiento no produce un número significativo de falsos valores positivos.

Son posibles otras estrategias de búsqueda de líneas. Por ejemplo, puede emplearse una transformación de Radon o de Hough, descrita en "Hough Transform for Line Recognition" ["Transformada de Hough para el Reconocimiento de Líneas"] de T. Risse, en Computer Vision and Image Processing [Visión por Ordenador y Procesamiento de Imágenes], 46,.327-345, 1989, que son bien conocidas en las tecnologías de visión por máquinas e investigación gráfica. En la transformada de Hough, cada punto del gráfico de dispersión se proyecta sobre una línea en el espacio de pares (pendiente, desplazamiento). El conjunto de puntos en el gráfico de dispersión se proyecta así sobre el espacio dual de líneas en la transformada de Hough. Los picos en la transformada de Hough corresponden a las intersecciones de las líneas de parámetros. El pico global de tal transformada de un gráfico de dispersión dado indica el mayor número de líneas intersecantes en la transformada de Hough y, por ello, el mayor número de puntos colineales. Para permitir una variación de velocidad del 5%, por ejemplo, la construcción de la transformada de Hough puede restringirse a la región donde el parámetro de la pendiente varía entre 0,95 y 1,05, ahorrando así algún esfuerzo de cálculo.

Búsqueda jerárquica

Además de la etapa de determinación de umbral que elimina candidatos con listas de dispersión muy pequeñas, pueden hacerse mejoras adicionales a la eficiencia. En una tal mejora, el índice de la base de datos se segmenta en al menos dos partes, según la probabilidad de ocurrencia, y sólo se buscan inicialmente los ficheros de sonido con la más alta probabilidad de corresponder a la muestra. La división puede tener lugar en diversas etapas del proceso. Por ejemplo, la lista del índice maestro (Fig. 8C) puede segmentarse en dos o más partes, de manera tal que las etapas 16 y 20 se llevan primero a cabo sobre uno de los segmentos. Esto es, los ficheros correspondientes a las huellas coincidentes se extraen sólo de una fracción del índice de la base de datos, y se genera una lista de dispersión a partir de esta fracción. Si no se localiza un fichero sonoro ganador, entonces se repite el proceso sobre el resto del índice de la base de datos. En otra implementación, se extraen todos los ficheros del índice de la base de datos, pero el escaneo de la línea diagonal se lleva a cabo por separado sobre los distintos segmentos.

Utilizando esta técnica, el escaneo de la línea diagonal, una parte muy onerosa en cálculos del procedimiento, se realiza primero sobre un pequeño subconjunto de los ficheros de sonido en el índice de la base de datos. Debido a que el escaneo de la línea diagonal tiene un componente temporal que es aproximadamente lineal con respecto al número de ficheros de sonido que se escanean, la realización de tal búsqueda jerárquica es sumamente conveniente. Por ejemplo, supongamos que el índice de la base de datos de sonido contiene huellas que representan a 1.000.000 de ficheros de sonido, pero que sólo alrededor de 1000 ficheros corresponden a las consultas de muestras con alta frecuencia, p. ej., el 95% de las consultas son para 1000 ficheros, mientras que sólo el 5% de las consultas son para los restantes 999.000 ficheros. Suponiendo una dependencia lineal del coste de cálculo con respecto al número de ficheros, el coste es proporcional a 1000 el 95% del tiempo, y proporcional a 999.000 sólo el 5% del tiempo. El coste promedio es, por lo tanto, proporcional a alrededor de 50.900. Una búsqueda jerárquica, por lo tanto, produce ahorros de alrededor de un factor de 20 en la carga de cálculo. Por supuesto, el índice de la base de datos puede segmentarse en más de dos niveles de jerarquía, p. ej., un grupo de novedades, un grupo de canciones editadas recientemente, y un grupo de canciones más antiguas y menos populares.

Como se ha descrito anteriormente, la búsqueda se lleva primero a cabo sobre un primer subconjunto de ficheros de sonido, los ficheros de alta probabilidad, y luego, sólo si fracasa la primera búsqueda, se realiza sobre un segundo subconjunto que contiene los ficheros restantes. El fracaso del escaneo de la línea diagonal ocurre si el número de puntos en cada arca de desplazamiento no alcanza a un valor de umbral predeterminado. Alternativamente, las dos búsquedas pueden llevarse a cabo en paralelo (simultáneamente). Si el fichero de sonido correcto es localizado en una búsqueda del primer subconjunto, entonces se envía una señal para terminar la búsqueda del segundo subconjunto. Si el fichero de sonido correcto no es localizado en la primera búsqueda, entonces la segunda búsqueda continúa hasta que se localiza un fichero ganador. Estas dos implementaciones distintas involucran compromisos recíprocos entre el esfuerzo y el tiempo de cálculo. La primera implementación es más eficiente en términos de cálculo, pero introduce una leve latencia si fracasa la primera búsqueda, mientras que la segunda implementación malgasta esfuerzo de cálculo si el fichero ganador está en el primer subconjunto, pero minimiza la latencia si no lo está.

El objeto de segmentar la lista es estimar la probabilidad de que un fichero de sonido sea el objetivo de una consulta y limitar la búsqueda a aquellos ficheros que tengan la mayor probabilidad de corresponder a la muestra de la consulta. Hay diversas maneras posibles de asignar probabilidades y de clasificar los sonidos en la base de datos, todas las cuales están dentro del ámbito de la presente invención. Preferiblemente, las probabilidades se asignan basándose en lo reciente o lo frecuente que sea su identificación como el fichero de sonido ganador. El criterio de identificación reciente es una medida útil, en particular para las canciones populares, porque los intereses musicales cambian bastante rápidamente a lo largo del tiempo, según se editan nuevas canciones. Después de que se han calculado las puntuaciones de probabilidad, se asignan categorías a los ficheros, y la lista se autoclasifica según la categoría. La lista clasificada se segmenta luego en dos o más subconjuntos para la búsqueda. El subconjunto más pequeño puede contener un número predeterminado de ficheros. Por ejemplo, si la categorización localiza un fichero dentro de los primeros 1000 ficheros, digamos, entonces el fichero se coloca en la búsqueda más pequeña y rápida. Alternativamente, los puntos de corte para los dos subconjuntos pueden ajustarse dinámicamente. Por ejemplo, todos los ficheros con una puntuación que exceda un valor de umbral específico pueden colocarse dentro del primer subconjunto, y así el número de ficheros en cada subconjunto cambia continuamente.

Una manera particular de calcular la probabilidad es incrementar en uno la puntuación de un fichero de sonido cada vez que sea identificado como correspondiente a la muestra de consulta. A fin de tomar en cuenta el criterio de identificación reciente, todas las puntuaciones se reducen periódicamente, para que las consultas más recientes tengan un mayor efecto sobre la categorización que las consultas más antiguas. Por ejemplo, todas las puntuaciones pueden graduarse a la baja por un factor constante en cada consulta, lo que da como resultado una decadencia exponencial de la puntuación si no se actualiza. Según el número de ficheros en la base de datos, que puede fácilmente ser de un millón, este procedimiento puede requerir actualizar un gran número de puntuaciones en cada consulta, haciéndolo potencialmente indeseable. Alternativamente, las puntuaciones pueden ajustarse a la baja a intervalos relativamente infrecuentes, tal como una vez por día. El ordenamiento resultante de un ajuste menos frecuente es efectivamente similar, pero no exactamente idéntico, al ordenamiento que resulta del ajuste en cada consulta. Sin embargo, la carga de cálculo para actualizar las categorizaciones es mucho menor.

Una leve variación de este ajuste del criterio de identificación reciente, que preserva más exactamente la puntuación de identificaciones recientes, es añadir una actualización de puntuación a^{t}, de crecimiento exponencial, al fichero de sonido ganador por consulta, donde t es el lapso transcurrido desde la última actualización global. Todas las puntuaciones se ajustan luego a la baja dividiendo entre a^{T} en cada actualización global, donde T es el tiempo total transcurrido desde la última actualización global. En esta variación, a es el factor de identificación reciente, que es mayor
que uno.

Además de la categorización descrita anteriormente, puede introducirse algún conocimiento a priori para ayudar a hacer más fructífero el elenco de grabaciones de sonido. Por ejemplo, es probable que las novedades tengan números mayores de consultas que las canciones más antiguas. De esta manera, las novedades pueden colocarse automáticamente en el primer subconjunto, que contiene canciones con una mayor probabilidad de corresponder a las consultas. Esto puede llevarse a cabo independientemente del algoritmo de autocategorización descrito anteriormente. Si también se emplea la característica de autocategorización, a las novedades pueden asignarse categorizaciones iniciales que las coloquen en algún sitio dentro del primer subconjunto. Las novedades pueden diseminarse en el mismo tope de la lista, en el extremo inferior de la lista de canciones de alta probabilidad, o en algún sitio por el medio. Para los fines de la búsqueda, la ubicación inicial no importa, porque la categorización converge a lo largo del tiempo para reflejar el verdadero nivel de interés.

En una realización alternativa, la búsqueda se realiza en el orden de categorizaciones de identificación reciente y se termina cuando una puntuación del identificador_de_sonido excede un valor umbral predeterminado. Esto es equivalente al método precedente, en el cual cada segmento contiene sólo un identificador_de_sonido. Los experimentos muestran que la puntuación de un sonido ganador es mucho más alta que las puntuaciones de todos los otros ficheros de sonido y, por ello, puede escogerse un umbral adecuado con una experimentación mínima. Una forma de implementar esta realización es clasificar todos los identificadores_de_sonido en el índice de la base de datos según lo reciente de la identificación, con un desempate arbitrario en el caso de puntuaciones idénticas. Debido a que cada categorización de lo reciente de la identificación es única, hay una correspondencia biunívoca entre la puntuación de lo reciente de la identificación y el identificador_de_sonido. La categorización puede emplearse luego en lugar del identificador_de_sonido al clasificar por identificador_de_sonido a fin de formar la lista de identificadores_de_sonido candidatos y sus listas de dispersión asociadas (Fig. 9C). Los números de categorización pueden vincularse al índice cuando se genera la lista del índice de tripletes (huella, hito, identificador_de_sonido), y antes de que se clasifique la lista del índice dentro de la lista del índice maestro. La categorización ocupa luego el lugar del identificador_de_sonido. Alternativamente, puede utilizarse una función de búsqueda y reemplazo para reemplazar el identificador_de_sonido por la categorización. Según se actualizan las categorizaciones, las nuevas categorizaciones se mapean sobre las viejas, suponiendo que se mantenga la integridad de mapeo.

Alternativamente, las categorizaciones pueden vincularse más adelante en el proceso. Una vez que las listas de dispersión están creadas, puede asociarse una categorización a cada identificador_de_sonido. Los conjuntos se clasifican luego por categorización. En esta implementación, sólo es necesario modificar los punteros a las listas de dispersión; no es necesario repetir el agrupamiento en listas de dispersión. La ventaja de las vinculaciones posteriores es que no es necesario recrear todo el índice de la base de datos cada vez que se actualizan las categorizaciones.

Observe que la categoría de popularidad, en sí misma, puede ser de interés como un objeto de valor económico. Esto es, la categoría refleja la deseabilidad de los consumidores para obtener una identificación de una muestra de sonido desconocida. En muchos casos, la consulta está incentivada por un deseo de adquirir una grabación de la canción. En efecto, si se conoce la información demográfica acerca del usuario, entonces pueden implementarse métodos de categorización alternativa para cada grupo demográfico deseado. El grupo demográfico de un usuario puede obtenerse a partir de información de perfil solicitada cuando el usuario se registra para el servicio de reconocimiento. También puede determinarse dinámicamente por medio de técnicas estándar de filtración colaborativa.

En un sistema de tiempo real, el sonido se suministra al sistema de reconocimiento incrementalmente a lo largo del tiempo, lo que permite el reconocimiento encadenado. En este caso, es posible procesar los datos entrantes en segmentos y actualizar incrementalmente el conjunto de índices de la muestra. Después de cada periodo de actualización, se utiliza el conjunto de índices recientemente aumentado para extraer grabaciones sonoras candidatas de biblioteca, utilizando las etapas precedentes de búsqueda y escaneo. El índice de la base de datos es examinado en busca de huellas que coincidan con las huellas de muestras recientemente obtenidas, y se generan nuevas tripletes (hito_{k}, hito*_{j}, identificador_de_sonido_{j}). Se añaden nuevos pares a las listas de dispersión, y se aumentan los histogramas. La ventaja de este enfoque es que si se han recogido suficientes datos como para identificar sin ambigüedad la grabación sonora, p. ej., si el número de puntos en un arca de desplazamiento de uno de los ficheros de sonido excede un umbral alto, o bien excede la siguiente puntuación más alta de fichero de sonido, entonces puede concluir la adquisición de datos y anunciarse el resultado.

Una vez que se ha identificado el sonido correcto, el resultado se informa al usuario o al sistema por cualquier procedimiento adecuado. Por ejemplo, el resultado puede informarse por medio de una impresora de ordenador, un correo electrónico, una página de resultados de búsqueda en web, un mensaje de texto SMS (servicio de mensajes breves) a un teléfono móvil, un mensaje de voz generado por ordenador hacia un teléfono fijo, o bien despachando el resultado a una sede o cuenta de Internet a la que el usuario pueda acceder más tarde. Los resultados informados pueden incluir información de identificación del sonido, tal como el nombre e intérprete de una canción; el compositor, nombre, y atributos de grabación (p. ej., intérpretes, director, escenario) de una pieza clásica; la empresa y el producto de un anuncio; o cualesquiera otros identificadores adecuados. Además, puede proporcionarse información biográfica, información acerca de conciertos en la vecindad, y otra información de interés para los aficionados; pueden proporcionarse hiperenlaces a tales datos. Los resultados informados pueden incluir también la puntuación absoluta del fichero de sonido o su puntuación en comparación con el siguiente fichero de más alta puntuación.

Una consecuencia útil del procedimiento de reconocimiento es que no confunde dos versiones distintas del mismo sonido. Por ejemplo, no se considera que distintas interpretaciones de la misma pieza de música clásica sean la misma, incluso si un ser humano no puede detectar una diferencia entre las dos. Esto es porque es sumamente improbable que los pares de hitos/huellas y su evolución temporal coincidan exactamente para dos interpretaciones distintas. En una realización actual, los pares hito/huella deben estar dentro de un entorno de 10 ms entre sí para que se identifique una correspondencia lineal. Como resultado de esto, el reconocimiento automático realizado por la presente invención hace posible que se acredite la debida interpretación/banda sonora y artista/sello en todos los casos.

Ejemplo de implementación

A continuación se describe una implementación preferida de la invención, el reconocimiento de audio por ventana deslizante continua. Un micrófono u otra fuente de sonido se muestrea continuamente en un almacén de datos a fin de obtener un registro de los N segundos previos de sonido. El contenido del almacén de datos sonoros se analiza periódicamente a fin de verificar la identidad del contenido sonoro. El almacén de datos sonoros puede tener un tamaño fijo o bien puede crecer de tamaño según se muestrea el sonido, denominado aquí como segmentos secuencialmente crecientes de la muestra de audio. Se produce un informe para indicar la presencia de grabaciones sonoras identificadas. Por ejemplo, puede compilarse un fichero de registro, o bien puede mostrarse un visor en un dispositivo que indica la información acerca de la música, tal como el título, el intérprete, la imagen de la cubierta del álbum, las letras, o la información de compra. Para evitar la redundancia, puede producirse un informe sólo cuando cambia la identidad del sonido reconocido; por ejemplo, después de un cambio de programa en una fonola. Tal dispositivo puede utilizarse para crear una lista de música reproducida desde cualquier fuente de sonido (radio, radio transmitida por Internet, micrófono oculto, llamada telefónica, etc.). Además de la identidad de la música, puede registrarse información tal como la hora del reconocimiento. Si se dispone de información de localización (p. ej., de GPS), también puede registrarse tal información.

Para lograr la identificación, cada almacén de datos puede ser identificado de nuevo cada vez. Alternativamente, pueden extraerse parámetros del sonido, por ejemplo, en huellas u otras formas intermedias de características extraídas, y almacenarse en un segundo almacén de datos. Pueden añadirse nuevas huellas al principio del segundo almacén, desechándose las viejas huellas del final del almacén. La ventaja de tal método de almacén circular es que no es necesario realizar redundantemente el mismo análisis de los viejos segmentos solapados de las muestras sonoras, ahorrando así esfuerzo de cálculo. El proceso de identificación se lleva a cabo periódicamente sobre el contenido del almacén circular de huellas. En el caso de un pequeño dispositivo portátil, el análisis de huellas puede realizarse en el dispositivo, y transmitirse los resultados a un servidor de reconocimiento que emplea un canal de datos de ancho de banda relativamente bajo, ya que el flujo de huellas no tiene mucha carga de datos. El almacén circular de huellas puede mantenerse en el dispositivo portátil y transferirse cada vez al servidor de reconocimiento, o bien puede mantenerse en el servidor de reconocimiento, en cuyo caso se almacena una sesión de reconocimiento continuo en la memoria caché del servidor.

En tal sistema de reconocimiento de almacén circular, pueden reconocerse nuevas grabaciones de sonido tan pronto como se disponga de información suficiente para su reconocimiento. La información suficiente puede ocupar menos que la longitud del almacén. Por ejemplo, si una canción distinguible puede reconocerse individualmente después de un segundo de reproducción, y el sistema tiene una periodicidad de reconocimiento de un segundo, entonces la canción puede ser reconocida inmediatamente, aunque el almacén de datos puede tener una longitud de entre 15 y 30 segundos. Viceversa, si una canción menos distinguible requiere más segundos de muestreo para ser reconocida, el sistema debe esperar durante un periodo más largo antes de declarar la identidad de la canción. En este método de reconocimiento de ventana deslizante, los sonidos se reconocen tan pronto como pueden ser identificados.

Es importante observar que, si bien la presente invención ha sido descrita en el contexto de un sistema y procedimiento de reconocimiento totalmente funcionales, aquellos versados en la técnica apreciarán que el mecanismo de la presente invención es capaz de ser distribuido en forma de un medio, legible por ordenador, con instrucciones en diversas formas, y que la presente invención se aplica igualmente, no importa el tipo particular de medio portador de señales utilizado para llevar a cabo efectivamente la distribución. Los ejemplos de tales dispositivos accesibles por ordenador incluyen la memoria de ordenador (RAM o ROM), disquetes y discos CD-ROM, así como medios de tipo de transmisión tales como enlaces de comunicación digital y analógica.

Claims (28)

1. Un procedimiento para identificar una muestra de audio, caracterizado por:

para la muestra, generar pares de hito/huella de la muestra, en donde cada hito se presenta en una ubicación temporal específica dentro de la muestra de audio, calculándose la ubicación con respecto al contenido de la muestra de audio, y en donde cada huella caracteriza uno o más rasgos de la muestra de audio en, o cerca de, la ubicación específica;

para cada uno o más de los ficheros de audio, generar pares de hito/huella del fichero, en donde cada hito aparece en una ubicación temporal específica dentro del fichero de audio, calculándose la ubicación con respecto al contenido del fichero de audio, y en donde cada huella caracteriza uno o más rasgos del fichero de audio en, o cerca de, la ubicación específica;

identificar correspondencias esencialmente lineales entre los respectivos pares de hito/huella de la muestra y los pares de hito/huella de ficheros previamente generados; e

identificar un fichero ganador como aquél que tiene un número significativo de correspondencias esencialmente lineales.

2. Un procedimiento según la reivindicación 1, en el cual cada huella representa un cierto número de rasgos del audio en cada ubicación de hito, o bien desplazados levemente desde dicha ubicación.

3. Un procedimiento según cualquier reivindicación precedente, en el cual cada huella se calcula por medio de un procedimiento tal que es invariante ante la dilatación temporal de la muestra.

4. Un procedimiento según cualquier reivindicación precedente, en el cual cada huella se calcula como una entre: una huella de tajada espectral, una huella multitajada, un coeficiente de LPC, un coeficiente cepstral, y un componente de frecuencia de picos de espectrograma.

5. Un procedimiento según la reivindicación 4, en el cual se calcula una huella de tajada espectral en un conjunto de desplazamientos temporales a partir de un instante de hito temporal.

6. Un procedimiento según cualquier reivindicación precedente, en el cual la posición de cada hito se identifica utilizando un procedimiento de determinación de hitos que halla ubicaciones distinguibles y reproducibles dentro de la grabación sonora.

7. Un procedimiento según la reivindicación 6, en el cual el procedimiento de determinación de hitos utiliza una norma Lp espectral para calcular la potencia instantánea en todo instante temporal posible en la grabación, y selecciona los máximos locales como los hitos.

8. Un procedimiento según la reivindicación 6 o la reivindicación 7, en el cual uno o más hitos son hitos multitajada derivados de componentes espectrales a lo largo de múltiples tajadas temporales, con desplazamientos fijos o variables entre sí.

9. Un procedimiento según cualquier reivindicación precedente, en el cual los pares de hito/huella del fichero se almacenan en una base de datos, estando indizado cada fichero dentro de la base de datos por las huellas de ese fichero.

10. Un procedimiento según la reivindicación 9, en el cual los índices se clasifican según las huellas.

11. Un procedimiento según la reivindicación 10, en el cual se compila una lista del índice maestro que tiene una entrada para cada huella única, y un puntero a una lista de los correspondientes hitos.

12. Un procedimiento según cualquiera de las reivindicaciones 9 a 11, en el cual cada fichero está identificado por un IDENTIFICADOR_DE_SONIDO, y la base de datos almacena una pluralidad de tripletes de huella, hito, IDENTIFICADOR_DE_SONIDO.

13. Un procedimiento según cualquier reivindicación precedente, en el cual el fichero con los pares de correspondencias linealmente vinculadas, estadísticamente más significativos, se selecciona como el fichero ganador.

14. Un procedimiento según cualquier reivindicación precedente, en el cual una correspondencia lineal entre los hitos (hito_{n}, hito*_{n}) de muestra y de fichero tiene lugar cuando una pareja de hito/huella de la muestra se corresponde con una pareja de hito/huella del fichero, dentro de un entorno de tolerancia.

15. Un procedimiento según cualquier reivindicación precedente, en el cual una correspondencia lineal entre una pareja de hito/huella de una muestra y una pareja de hito/huella de un fichero tiene lugar cuando se corresponden las respectivas huellas y los respectivos hitos están vinculados por una relación lineal.

16. Un procedimiento según la reivindicación 15, en el cual las huellas se corresponden cuando son idénticas o cuando difieren dentro de una tolerancia previamente determinada.

17. Un procedimiento según la reivindicación 15 o la reivindicación 16, en el cual una correspondencia lineal tiene lugar si el par de hitos (hito_{n}, hito*_{n}) de la muestra y del fichero, dentro de la lista, están vinculados según la relación: hito*_{n} = m*hito_{n} + desplazamiento.

18. Un procedimiento según cualquier reivindicación precedente, en el cual la muestra tiene la forma de ondas acústicas, ondas de radio, un flujo PCM de audio digital, un flujo de audio digital comprimido, o una transmisión continua por Internet.

19. Un procedimiento según cualquier reivindicación precedente, en el cual las huellas de la muestra se almacenan en un almacén circular de datos.

20. Un procedimiento según la reivindicación 19, en el cual la etapa de identificación puede llevarse a cabo periódicamente sobre el contenido del almacén circular de datos de huellas.

21. Un procedimiento según la reivindicación 19 o la reivindicación 20, en el cual la etapa de identificación puede llevarse a cabo tan pronto como se dispone en el almacén de información suficiente para el reconocimiento.

22. Un procedimiento según cualquier reivindicación precedente, en el cual la etapa de identificación se lleva primero a cabo sobre un subconjunto de ficheros y, si no se identifica ningún fichero ganador en el primer subconjunto, se registra un segundo subconjunto, que contiene los ficheros restantes.

23. Un procedimiento según la reivindicación 22, en el cual el primer subconjunto contiene ficheros que tienen una probabilidad, a priori o empírica, más alta de ser identificados que los ficheros que no están en el primer subconjunto.

24. Un procedimiento según la reivindicación 1, en el cual dicha etapa de identificar correspondencias lineales comprende la localización de una línea diagonal dentro de un gráfico de dispersión de dichas ubicaciones correspondientes, formando las diferencias entre dichas ubicaciones correspondientes y calculando un pico de un histograma de dichas diferencias.

25. Un procedimiento según la reivindicación 1, en el cual dicha etapa de identificar un fichero ganador comprende adicionalmente proporcionar un indicador de un desplazamiento con respecto a una ubicación en dicho fichero ganador, donde tiene lugar dicho número significativo de correspondencias.

26. Un procedimiento para identificar una muestra de audio, que comprende las etapas de:

como respuesta a una solicitud desde un cliente, retransmitir al menos una porción de la muestra de audio a un servidor, realizando dicho servidor las etapas del procedimiento de la reivindicación 1; y

como respuesta a la identificación de un fichero ganador por dicho servidor, responder a dicho cliente en consecuencia.

27. Un producto de programa de ordenador que realiza todas las etapas de un procedimiento según cualquier reivindicación precedente, cuando se carga en un ordenador.

28. Un sistema informático dispuesto para llevar a cabo un procedimiento según cualquiera de las reivindicaciones 1 a 25, que incluye un extremo cliente que envía un resumen de rasgos extraídos de la muestra de señal capturada, que contiene pares de hitos y huellas, a un extremo servidor, el cual realiza el reconocimiento.