BRPI0617432A2

BRPI0617432A2 - mÉtodos para calcular uma mÉtrica de similaridade, e um fator de ponderaÇço, software, e, dispositivo eletrânico para calcular uma mÉtrica de similaridade

Info

Publication number: BRPI0617432A2
Application number: BRPI0617432-9A
Authority: BR
Inventors: Martin F Mckinney; Dirk J Breebaart
Original assignee: Koninkl Philips Electronics Nv
Priority date: 2005-10-17
Filing date: 2006-10-16
Publication date: 2011-07-26
Also published as: EP1941400A1; JP2009511981A; CN101292241A; US20080281895A1; WO2007046049A1; CN101292241B; US8214304B2; RU2008119231A; JP5498017B2; RU2451332C2

Abstract

<B>MÉTODOS PARA CALCULAR UMA METRICA DE SIMILARIDADE, E UM FATOR DE PONDERAÇçO, SOFTWARE, E, DISPOSITIVO ELETRâNICO PARA CALCULAR UMA METRICA DE SIMILARIDADE <D>O método para calcular uma métrica de similaridade entre um primeiro vetor de característica de um primeiro sinal de áudio e/ou vídeo e um segundo vetor de característica de um segundo sinal de áudio e/ou vídeo, da invenção, compreende a etapa de calcular uma distância entre o primeiro vetor de característica e o segundo vetor de característica, ambos primeiro vetor de característica e segundo vetor de característica compreendendo um valor de característica de uma segunda dimensão, onde é usado um fator de ponderação que produz um peso mais forte para a primeira dimensão do que para a segunda dimensão. O dispositivo eletrônico da invenção compreende circuitos eletrônicos, que são operativos para executar o método da invenção. O software da invenção toma um dispositivo programável operativo para executar o método da invenção.

Description

"MÉTODOS PARA CALCULAR UMA MÉTRICA DE SIMILARIDADE, EUM FATOR DE PONDERAÇÃO, SOFTWARE, E, DISPOSITIVOELETRÔNICO PARA CALCULAR UMA MÉTRICA DESIMILARIDADE"

A invenção relaciona-se a um método de calcular uma métricade similaridade entre um primeiro vetor de característica de um primeiro sinalde áudio e/ou vídeo e um segundo vetor de característica de um segundo sinalde áudio e/ou vídeo.

A invenção relaciona-se adicionalmente a um dispositivoeletrônico para calcular uma métrica de similaridade entre um primeiro vetorde característica de um primeiro sinal de áudio e/ou vídeo e um segundo vetorde característica de um segundo sinal de áudio e/ou vídeo.

A invenção ainda relaciona-se a software para produzir umdispositivo programável operativo para realizar um método para calcular umamétrica de similaridade entre primeiro vetor de característica de um primeirosinal de vídeo/áudio e um segundo vetor de característica de um segundo sinalde vídeo/áudio.

Uma realização deste método é conhecida a partir deW02004/095315. O método conhecido para encontrar sinais de áudiosimilares tem a deficiência de que a métrica de similaridade calculada não éótima no sentido de que nem todos os sinais de áudio similares sãoencontrados ou nem todos os sinais de áudio determinados como sendosimilares são suficientemente similares.

É um primeiro objetivo da invenção prover um método do tipodescrito no parágrafo de abertura, que proveja um cálculo de métrica desimilaridade mais preciso.

É um segundo objetivo da invenção prover um dispositivoeletrônico do tipo descrito no parágrafo de abertura, que fornece um cálculométrico de similaridade mais preciso.De acordo com a invenção, o primeiro objetivo é realizadopelo método compreendendo a etapa de calcular uma distância entre oprimeiro vetor de característica e o segundo vetor de característica, ambosprimeiro vetor de característica e segundo vetor de característicacompreendendo um valor de característica de uma segunda dimensão, onde éusado um fator de ponderação que produz um peso mais forte para a primeiradimensão do que para a segunda dimensão. Experimentos mostraram que umcálculo de métrica de similaridade mais preciso pode ser obtido atribuindo umpeso mais forte a certas dimensões (características), especialmente aquelasdimensões que são importantes para classificação (música).

O sinal de áudio e/ou vídeo pode se originar de qualquer fonteadequada. Mais geralmente, um sinal de áudio pode se originar de um arquivode áudio, que pode ter qualquer um de um número de formatos. Exemplos dosformatos de arquivo de áudio são não comprimidos, por exemplo (WAV),comprimidos sem perdas, por exemplo Audio de Windows Media (WMA) eformatos comprimidos com perdas, tais como arquivo MP3 (Camada deÁudio 3 MPEG), AAC (Codec de Áudio Avançado), etc. Igualmente, o sinalde entrada de áudio pode ser obtido digitalizando um sinal de áudio usandoqualquer técnica adequada, o que será de conhecimento de uma pessoaespecialista na técnica.

Em uma realização do método da invenção, o fator deponderação de uma das características específicas depende da variância novalor da característica específica para uma coleta de sinais (isto é, a variânciaglobal de todos os valores de todas as classes em uma dimensão) e/ou avariância no valor médio de uma característica específica por classe de sinais(isto é, a variância de diversos valores médios em uma dimensão, os valoresmédios sendo determinados por classe). Deste modo, aquelas dimensões quesão importantes para classificação (música) recebem um peso mais forte. Asvariâncias podem ser calculadas em um espaço multidimensional. A coleta desinais pode ser uma coleta de propriedade de uma companhia ou organizaçãoou uma coleta pessoal. Se a coleta de sinais é uma coleta de propriedade deuma companhia ou organização, o fator de ponderação pode ser préconfigurado em hardware ou em software ou pode ser obtenível a partir dacompanhia ou organização através da Internet.

O fator de ponderação pode depender da variância no valormédio da característica específica por classe de sinais dividida pela variânciano valor de uma característica específica para uma coleta de sinais.

O fator de ponderação pode depender de uma classificação(por exemplo, gênero, disposição e/ou artista) do primeiro ou segundo sinalde áudio e/ou vídeo. A classificação pode ser recuperada, por exemplo, apartir de uma marcação ID3 de um arquivo de áudio. Por exemplo, a matrizde covariância ponderada usada quando um usuário seleciona uma canção derock como valor inicial de canção pode ser diferente da matriz de covariânciausada quando este seleciona uma peça de música clássica como valor inicialde canção.

De acordo com a invenção, o segundo objetivo é realizadopelo dispositivo eletrônico compreendendo circuitos eletrônicos, os circuitoseletrônicos sendo operativos para calcular uma distância entre o primeirovetor de característica compreendendo um valor de característica de umasegunda dimensão, onde um fator de ponderação é usado para produzir umpeso mais forte para a primeira dimensão do que para a segunda dimensão.

Estes e outros aspectos da invenção são aparentes e serãoadicionalmente elucidados, por meio de exemplo, com referência aosdesenhos, nos quais:

Figura 1 mostra três equações usadas em uma realização dainvenção;

Figura 2 mostra exemplos de valores de característica em umespaço de característica bidimensional no qual os valores de característicapodem ser classificados em dois gêneros.

Elementos correspondentes nos desenhos são denotados pelomesmo numerai de referência.

O método da invenção pode ser usado para encontrar músicasimilar a uma canção alvo ou seleção de reprodução corrente. Se, porexemplo, um ouvinte tem uma grande coleta de música e está ouvindo umatrilha de que ele gosta especialmente, poderia simplesmente pressionar umatecla que iniciaria uma busca através de toda a coleta de música e retornaruma lista das canções mais similares e então sugeri-las para reprodução. Talfunção é referida como LikeMusic™ em certos dispositivos de consumidorPhilips. Esta função é visualizada em reprodutores mp3 portáteis, rádios decarro e sistemas de entretenimento doméstico e é aplicável a grandes coletaslocais de música, fluxos de música e áudio, bem como música e áudio deradiodifusão. Em adição, os usuários poderiam ouvir o rádio e ter a tecla debusca para canções similares em sua coleta privada ou vice-versa. Oalgoritmo LikeMusic™ opera em características (estatísticas de sinal) que sãoautomaticamente extraídas da própria forma de onda de áudio, e assim nãosão necessários metadados externos ou anotados. O primeiro algoritmoLikeMusic™ utilizou uma medida de distância estatística padrão (distância deMahalanobis) para calcular as distâncias entre canções.

Uma vez que a similaridade de música pode ser descrita aolongo de múltiplas dimensões, é freqüentemente de interesse isolar umadimensão específica de similaridade. O método da invenção provê umamaneira eficiente para calcular a distância de similaridade a partir deparâmetros acústicos ao longo de uma dimensão de similaridade perceptualespecífica, modificando o primeiro algoritmo LikeMusic™ para ponderar asdimensões de característica que são importantes para classificação de música.A ponderação de dimensões de característica poderia ser baseada, porexemplo, na classificação de gênero, artista e/ou disposição.Em uma realização do método da invenção, o método extraiprimeiramente características (estatísticas de sinal de áudio descritivas) decada canção e gera uma listagem com cada nome de trilha e característicasassociadas. As características poderiam provir de uma ampla faixa deestatísticas. Em um PC moderno, estas características são extraídas váriascentenas de vezes em tempo real. Quando uma canção está sendoreproduzida, o método poderia extrair características daquela canção emtempo real ou pesquisar na listagem da base de dados se esta provêm da basede dados. A diferença entre estas abordagens é que as características listadasna base de dados são submetidas a média através de toda a canção, enquantoas características extraídas em tempo real representam apenas uma seção dacanção (estas acumulariam por uma quantidade específica de tempo e entãoseriam submetidas a média ao longo do tempo). Ambos os métodos possuemprós e contras que dependem do tipo de música sendo analisada: (porexemplo, se uma canção contém uma variedade de estilos e alguém estáinteressado apenas em um destes estilos particulares, então para aquelafinalidade, uma análise local é melhor do que uma submetida à média aolongo de toda a canção). Na maioria dos casos, entretanto, o estilo da cançãonão varia muito e ambos os métodos fornecem os mesmos resultados.

O procedimento de recomendação executado automaticamenteou pressionando uma tecla, pesquisaria ou calcularia as características daseleção correntemente reproduzida, calcularia uma medida de distância, D,entre a canção corrente e toda a canção na base de dados, e entãorecomendaria as 20 canções mais próximas. O usuário poderia ajustar onúmero de canções recomendadas e o sistema poderia automaticamentesugerir e reproduzir as canções recomendadas (similares). A medida dedistância, D, é uma forma modificada da distância de Mahalanobis entrevetores de característica no espaço de característica multidimensional, comum fator de ponderação que dá um peso mais forte a dimensões(características) que são importantes para classificação de música. Este espaçode característica é, por exemplo, um espaço em 20 dimensões.

A distância, D, entre uma trilha de áudio 1 e uma trilha deáudio 2 pode ser calculada com a equação (1) da Figura 1, onde μι e μ2 são osvetores da trilha 1 e 2 respectivamente e W é a matriz de covariânciaponderada de todos os vetores de característica na base de dados. A matriz decovariância ponderada, W, é uma constante que não muda a partir de umarecomendação para a próxima. Pode ser determinado a partir de uma coleta detrilhas de áudio de propriedade de uma companhia ou organização ou pode serdeterminado a partir de uma coleta pessoal do usuário de trilhas de áudio. Wpode ser calculado pela equação (2) da Figura 1, onde C é a matriz decovariância de todas as características de uma base de dados (por exemplo, detreinamento) e gw é o vetor de ponderação do gênero definido na equação (3)da Figura 1, onde (Jy é o vetor de variâncias de característica global (adiagonal da matriz de covariância C, por exemplo, compreendendo asvariâncias em valores de característica de gêneros 11 e 13 para a característica1 e as variâncias em valores de característica de gêneros 11 e 13 para acaracterística 2, ver Figura 2) e CJ ^^ é o vetor de variâncias de valores decaracterística médios por gênero (por exemplo, compreendendo a variânciaentre o valor de característica médio 15 do gênero 11 e o valor decaracterística médio 17 do gênero 13 para a característica 1, e a variânciaentre o valor de característica médio 15 do gênero 11 e o valor decaracterística médio 17 do gênero 13 para a característica 2, ver Figura 2).

Este mesmo tipo de cálculo poderia ser efetuado para classes de artista demúsica, disposição de música ou classes de música pessoal ao invés do gênerode música. Cada variação calcularia então a distância ao longo de umadimensão diferente ou similaridade.

O método pode ser executado em hardware ou software, porexemplo, em um processador específico de aplicação ou em um processadorde finalidade geral, tal como o processador Pentium Intel ou AMD Athlon. Odispositivo eletrônico executando o método pode ser um dispositivo portátilou um dispositivo estacionário tal como um PC/dispositivo central de mídia.

Embora a invenção tenha sido descrita em conexão comrealizações preferidas, será entendido que modificações desta dentro dosprincípios delineados acima serão evidentes aos especialistas na técnica, eentão a invenção não está limitada às realizações preferidas, porém édestinada a abranger tais modificações. A invenção reside em cada e todanova característica e cada e toda combinação de características. Numerais dereferência nas reivindicações não limitam seu escopo protetor. O uso do verbo"compreender" e suas conjugações não exclui a presença de elementosdiferentes daqueles relatados nas reivindicações. O uso do artigo "um" ou"uma" precedendo um elemento, não exclui a presença de diversos de taiselementos.

"Meios", como será aparente a uma pessoa especialista natécnica, são destinados a incluir qualquer hardware (tal como circuitosseparados ou integrados ou elementos eletrônicos) ou software (tais comoprogramas ou partes de programas) que executam em operação ou sãoprojetados para efetuar uma função específica, seja isoladamente ou emconjunto com outras funções, seja isoladamente ou em cooperação com outroselementos. A invenção pode ser implementada por meio de hardwarecompreendendo vários elementos distintos, e por meio de um computadoradequadamente programado. Na reivindicação do aparelho enumerandovários meios, vários destes meios podem ser realizados por um e pelo menositem de hardware. "Software" deve ser entendido como significando qualquerproduto de software armazenado em um meio legível por computador, talcomo um disquete, transferível através de uma rede, tal como Internet oucomercializável de qualquer outra maneira.

Claims

1. Método para calcular uma métrica de similaridade entre umprimeiro vetor de característica de um primeiro sinal de áudio e/ou vídeo e umsegundo vetor de característica de um segundo sinal de áudio e/ou vídeo,caracterizado pelo fato de compreender a etapa de:- calcular uma distância entre o primeiro vetor de característicae o segundo vetor de característica, ambos primeiro vetor de característica esegundo vetor de característica compreendendo um valor de característica deuma segunda dimensão, onde é usado um fator de ponderação que produz umpeso mais forte para a primeira dimensão do que para a segunda dimensão.

2. Método de acordo com a reivindicação 1, caracterizado pelofato de que o fator de ponderação de uma específica das característicasdepende da variância no valor da uma característica específica para umacoleta de sinais e/ou da variância do valor médio da uma característicaespecífica por classe de sinais.

3. Método de acordo com a reivindicação 2, caracterizado pelofato de que o fator de ponderação depende da variância no valor médio dauma característica específica por classe de sinais, dividido pela variância novalor da uma característica específica para uma coleta de sinais.

4. Método de acordo com a reivindicação 1, caracterizado pelofato de que o fator de ponderação depende de uma classificação do primeiroou segundo sinal de áudio e/ou vídeo.

5. Método para calcular um fator de ponderação para uso nométodo de acordo com a reivindicação 1, caracterizado pelo fato de que ofator de ponderação de uma específica das características depende davariância no valor da uma característica específica para uma coleta de sinaise/ou da variância no valor médio da uma característica específica por classede sinais.

6. Método de acordo com a reivindicação 5 caracterizado pelofato de que o fator de ponderação depende da variância no valor médio dauma característica específica por classe de sinais, dividida pela variância novalor da uma característica específica para uma coleta de sinais.

7. Software, caracterizado pelo fato de tornar um dispositivoprogramável operativo para executar o método como definido nareivindicação 1 ou reivindicação 2.

8. Dispositivo eletrônico para calcular uma métrica desimilaridade entre um primeiro vetor de característica e um segundo vetor decaracterística de um sinal de áudio e/ou vídeo, caracterizado pelo fato decompreender circuitos eletrônicos, os circuitos eletrônicos sendo operativospara:- calcular uma distância entre o primeiro vetor de característicae o segundo vetor de característica, ambos primeiro vetor de característica esegundo vetor de característica compreendendo um valor de característica deuma segunda dimensão, onde é usado um fator de ponderação que produz umpeso mais forte para a primeira dimensão do que para a segunda dimensão.