BR112013005958B1

BR112013005958B1 - método para misturar dois sinais de entrada de áudio em um único sinal de áudio misturado, dispositivo para misturar sinais, meio de armazenamento legível por processador e dispositivo para misturar sinais de entrada de áudio em um único sinal de áudio misturado

Info

Publication number: BR112013005958B1
Application number: BR112013005958-3A
Authority: BR
Inventors: Alexander Groeschel; Philip A. Williams; Jarret A. Cooper; Wolfgang A. Schildbach
Original assignee: Dolby Laboratories Licensing Corporation; Dolby International Ab
Priority date: 2010-09-22
Filing date: 2011-09-06
Publication date: 2021-04-20
Also published as: CA2809040C; SG188470A1; US9136881B2; EP2619904B1; CA2809040A1; US20130170672A1; RU2526746C1; MX2013002878A; KR101538623B1; ES2502468T3; HK1186585A1; AU2011305913A1; WO2012039918A1; UA105590C2; EP2619904A1; KR20130060334A; JP2013543599A; CN103119846A; IL224868A; BR112013005958A2

Abstract

MISTURA DE FLUXO DE ÁUDIO COM NORMALIZAÇÃO DO NÍVEL DE DIÁLOGO. A presente invenção refere-se a um método para misturar sinais de áudio que permite a manutenção de um nível consistente de som percebido para o sinal misturado, conservando o nível de som do sinal dominante da mistura constante através do ajuste do nível de som do(s) sinal (is) não dominante(s) em relação ao sinal dominante. Inclui ainda a recepção de uma entrada de equilíbrio de mistura, o que indica o balanço ajustável entre o sinal principal e os sinais associados. Inclui ainda a identificação do sinal dominante a partir da entrada de equilíbrio de mistura e metadados de mistura, a partir do qual um fator de redução adequado para o sinal não dominante também pode ser determinado diretamente a partir da informação de redução, sem a necessidade de qualquer análise ou medição dos sinais de áudio a serem misturados. Inclui ainda sintetizar o sinal não dominante em relação ao sinal dominante e combinar o sinal não dominante reduzido com o sinal dominante em um sinal misturado.

Description

REFERÊNCIA CRUZADA PARA APLICAÇÕES RELACIONADAS

[0001] Este pedido reivindica prioridade ao Pedido Provisório de Patente dos Estados Unidos No. 61/385.428, depositado em 22 de setembro de 2010, incorporado aqui por referência na sua totalidade.

ÁREA TÉCNICA

[0002] Este pedido se refere ao campo dos sinais de áudio. Em particular, ele se refere à mistura de sinais de áudio.

ANTECEDENTES

[0003] A inclusão de metadados juntamente com sinais de áudio permitiu melhorias significativas na experiência de escuta do usuário. Para uma experiência agradável do usuário, geralmente é desejável que o nível de som geral ou sonoridade de diferentes programas seja consistente. No entanto, os sinais de áudio de diferentes programas normalmente se originam de fontes diferentes, são masterizados por diferentes produtores e podem conter conteúdos diversos que vão desde diálogo de fala a música para trilhas sonoras de filmes com efeitos de baixa frequência. Esta possibilidade para a variação no nível de som torna um desafio manter o mesmo nível de som geral através de uma variedade de programas durante a reprodução de gravação fonográfica. Em termos práticos, é indesejável que o ouvinte sinta a necessidade de ajustar o volume de reprodução de gravação fonográfica quando muda de um programa para outro, a fim de ajustar um programa para que seja mais alto ou mais calmo em relação a outro programa por causa de diferenças no nível de som percebido dos diferentes programas. As técnicas para alterar os sinais de áudio a fim de manter um nível consistente de som entre programas são geralmente conhecidas como nivelamento de sinal. No contexto das faixas de áudio de diálogo, uma medição relativa ao nível de som percebido é conhecida como o nível de diálogo, que se baseia em um nível ponderado médio do sinal de áudio. Nível de diálogo é frequentemente especificado usando-se um parâmetro dialnorm, que indica um nível em decibéis (dB) com relação à dimensionamento digital total.

[0004] No passado, as emissoras que trabalhavam com sinais de áudio tiveram problemas particulares com os sinais de áudio, tais como trilhas sonoras cujos níveis de áudio caíam acima ou abaixo daquele de outro programa, particularmente áudio que pode variar substancialmente ao longo do tempo, tal como diálogo. Com o desenvolvimento do áudio digital, áudio multicanal e, particularmente, a capacidade de incluir metadados juntamente com o sinal de áudio, os produtores e engenheiros de áudio têm agora uma ampla gama de opções para especificar configurações, que podem estar incorporadas no sinal como metadados a fim especificar com precisão os níveis de reprodução de gravação fonográfica para diversos sistemas de reprodução de gravação fonográfica. Estas configurações podem até ser providas no estágio de pós-produção, assim as emissoras podem distribuir um sinal de áudio muito consistente e garantir que os elementos de áudio mais importantes sejam perceptíveis para o usuário final.

[0005] Da mesma forma, ao misturar sinais de áudio, também é desejável para uma experiência agradável do usuário manter também o mesmo nível de som percebido ao misturar sinais de entrada de áudio em um sinal único. Uma técnica para realizar este objetivo é que os sinais de entrada incluam metadados de mistura que especificam como o sinal deveria ser dimensionado quando misturado.

[0006] Muitos dos atuais padrões de áudio permitem que o produtor de conteúdo inclua sinais de áudio associados acoplados com o sinal de áudio principal, incluindo metadados variáveis com o tempo juntamente com os sinais de áudio associados. Por exemplo, um produtor de conteúdo poderia prover uma faixa com comentários do diretor com tal sinal de áudio associado. Os metadados que acompanham o sinal associado especificam exatamente como o produtor de conteúdo deseja que o sinal de áudio na faixa principal seja ajustado durante a mistura para reprodução de gravação fonográfica combinada. Por exemplo, E-AC-3 (Dolby Digital Plus) e Codificação de Audio Avançada de Alta Eficiência (HE-AAC) são dois exemplos de padrões que fornecem tais metadados de mistura. Para detalhes, consulte "ETSI TS 102 366 v1. 2.1 (2008-08): Digital Audio Compression (AC-3, Enhanced-AC-3) Standard", que descreve E-AC-3 (Dolby Digital Plus); ou consulte "ETSI TS 101 154 V1. 9.1 (2009-09): Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream", que descreve Codificação de Audio Avançada de Alta Eficiência (HE-AAC). Ambos estão aqui incorporados na sua totalidade por referência.

[0007] No entanto, um usuário pode desejar divergir das configurações providas pelo produtor, que são ditadas pelos metadados transmitidos juntamente com o sinal associado. Por exemplo, um usuário que ative os comentários do diretor enquanto assiste a um filme pode, em algum ponto durante a reprodução da gravação fonográfica, decidir que ele preferiria ouvir o diálogo original que o produtor pode ter indicado nos metadados para ser atenuado na mistura, a fim de não sobrepujar os comentários do diretor.

[0008] Assim, existe uma necessidade de prover um ajuste que permita ao usuário ajustar a mistura dos sinais de entrada de áudio provendo ao mesmo tempo uma experiência agradável do usuário mantendo também o nível de som percebido do sinal misturado. Além disso, existe também uma necessidade de prover o ajustamento da mistura dos sinais de entrada de áudio enquanto se mantém um nível consistente de som percebido para o sinal misturado, mesmo que a informação de dimensionamento a partir dos metadados e uma entrada de usuário externa possam ser variáveis com o tempo, de modo que não haja necessidade de realizar nivelamento adicional no sinal misturado.

SUMÁRIO

[0009] O uso de metadados de mistura permite que o produtor de conteúdo controle e especificar com precisão como os sinais deveriam ser combinados durante a reprodução de gravação fonográfica. Deste modo, o nível de som ou o nível de diálogo dos sinais de entrada de áudio podem ser normalizados antes de serem misturados pela informação de dimensionamento provida pelos metadados, de tal modo que cada sinal de entrada para o misturador é apropriadamente dimensionado para atingir um nível consistente de som percebido. Desta forma, o nível relativo de cada sinal de entrada contribuindo para o sinal misturado é controlado durante a mistura pela informação de dimensionamento contida nos metadados, a qual é fornecida com o sinal. Na prática, esta técnica geralmente envolve a identificação de um sinal principal e um ou mais sinais associados a serem misturados. Como os nomes sugerem, o sinal principal é o sinal padrão e um sinal associado é um sinal de alguma forma relacionado com o seu respectivo sinal principal. Por conseguinte, os metadados fornecem então a informação de dimensionamento para o sinal principal relacionada ao sinal associado quando eles são misturados.

[00010] Por exemplo, frequentemente como uma característica especial, um produtor pode incluir uma faixa de voz adicional "comentários do diretor" como um sinal associado juntamente com um filme, em que o usuário pode ouvir o comentário do diretor sobreposto em tempo real sobre o filme. Assim, o usuário pode assistir ao filme com seu áudio original e os comentários do diretor, ao mesmo tempo. Durante a reprodução de gravação fonográfica, tal sinal associado destina-se a ser misturado com o sinal de áudio principal do filme original, por exemplo, em um dispositivo do usuário final, tal como um conversor. No entanto, outro diálogo, efeitos e música do sinal de áudio principal do filme podem ser muito altos e, assim, mascarar o áudio associado. Assim, é geralmente desejável que o sinal de áudio principal do filme seja dimensionado, ou atenuado, em algumas vezes, de modo que o comentário do diretor possa ser adequadamente compreendido sobre o áudio principal. Esta atenuação do sinal de áudio principal pode ser realizada, por exemplo, através do provimento de metadados acompanhando o sinal de áudio associado adicional, no qual os metadados especificam exatamente de que forma e por quanto o sinal principal deveria ser atenuado.

[00011] Além disso, esta atenuação pode precisar ser variável com o tempo. Por exemplo, em um filme de ação, pode ser necessário na mistura dos sinais atenuar fortemente o sinal de áudio principal durante cenas muito estrondosas, que pode incluir aspectos tais como carros em alta velocidade com pneus cantando ou aviões e mísseis explodindo, sobre os quais seria difícil para o usuário final ouvir suficientemente os comentários do diretor a partir do sinal associado. Por exemplo, o diretor pode querer explicar como a grande explosão na cena de ação foi realizada incluindo fios metálicos de comando e câmeras remotas especiais e como os aspectos foram sincronizados, tudo enquanto a cena corre em segundo plano. Neste caso, o produtor de conteúdo pode até querer atenuar mais fortemente os efeitos de baixa frequência enquanto mantém o nível de som normal do diálogo. Em outras palavras, níveis sonoros elevados de certos tipos do áudio principal podem, por vezes, bloquear os comentários do diretor. Em outros momentos, tais como uma cena intimista calma em um filme, o diretor pode querer manter o nível de som máximo do filme, por exemplo, de modo que o usuário final possa ouvir precisamente o sussurro de uma mensagem importante em uma cena crucial do filme.

[00012] No entanto, o usuário pode querer a capacidade de ajustar as configurações providas pelo produtor de conteúdo. Por exemplo, um usuário que vê um filme com comentários do diretor ativado pode, em algum ponto durante a reprodução de gravação fonográfica, decidir que ele preferiria dar mais importância em ouvir o diálogo original, música, sons e efeitos do que os comentários do diretor. No entanto, como as configurações de metadados do produtor podem indicar que o sinal principal deveria ser fortemente atenuado na mistura no sentido de não sobrepujar os comentários do diretor, o usuário não tem nenhuma maneira direta para modificar as configurações de mistura providas pelo produtor de conteúdo (o usuário poderia, naturalmente, aumentar o volume a fim de ouvir melhor os sons atenuados, mas com o efeito indesejável de que os outros sons não atenuados também estarão mais altos). Assim, existe uma necessidade de prover um modo para personalizar a mistura dos sinais de entrada de áudio.

[00013] Para conseguir esta função, o usuário poderia ser provido com um controle de entrada para regular o equilíbrio entre o sinal principal e os sinais associados. No entanto, como a mistura claramente influencia o nível de som, sem medições adicionais o nível de som poderia facilmente ser desajustado no processo, levando a saltos de sonoridade quando se muda de um programa com um sinal misturado regulado por uma entrada de usuário para um programa com um sinal de áudio não misturado. Além disso, porque os metadados e a entrada de usuário podem ambos ser variáveis no tempo, sem manuseio cuidadoso, o nível de som percebido do sinal misturado também pode ser variável no tempo. Assim, existe uma necessidade adicional para sintetização dos sinais de entrada principal e associados durante a mistura de tal modo que o nível de som percebido do sinal misturado de um programa permaneça constante.

[00014] De acordo com um aspecto, é divulgado um método que permite a manutenção de um nível consistente de som percebido para o sinal misturado, pela conservação do nível de som do sinal dominante na mistura constante e ajustando o nível de som do sinal não dominante em relação ao sinal dominante. O método inclui ainda a recepção de uma entrada de equilíbrio de mistura que indica o balanço ajustável entre o sinal principal e os sinais associados. O método inclui ainda a identificação do sinal dominante com base na entrada de equilíbrio de mistura e os metadados de mistura. O método também pode incluir ainda a determinação de um fator de dimensionamento adequado para o sinal não dominante diretamente a partir da informação de dimensionamento, sem a necessidade de qualquer análise ou medição dos sinais de áudio a serem misturados. Como estas técnicas não requerem qualquer análise ou medição dos sinais de áudio, o hardware necessário para executar as técnicas pode ser muito mais simples em comparação com os sistemas de hardware que devem testar o sinal ou executar cálculos computacionais intensivos. Da mesma forma, a mistura em tempo real pode ser conseguida com relativa facilidade, já que todos os dados estão disponíveis, sem ter que testar ou analisar grandes quantidades de dados em tempo real.

[00015] De acordo com o primeiro aspecto, um método para a mistura de dois sinais de entrada de áudio em um único sinal de áudio misturado com um nível consistente de som percebido é provido. As primeiras etapas deste método de mistura envolve a recepção de um sinal de áudio de entrada principal, a recepção de um sinal de áudio de entrada associado, o recebimento de metadados de mistura, que contém informação de dimensionamento e a recepção de uma entrada de equilíbrio de mistura, o que denota um balanço ajustável entre o sinal principal e os sinais associados. A partir destas entradas, o sinal dominante é identificado com base na informação de dimensionamento provida pelos metadados de mistura e entrada de equilíbrio de mistura. Em seguida, o sinal não dominante é dimensionado em relação ao sinal dominante. Finalmente, o sinal não dominante dimensionado é combinado com o sinal dominante em um sinal misturado. Assim, através da utilização da entrada de equilíbrio de mistura, o método faz com que seja possível para o usuário influenciar a mistura, permitindo ao usuário escolher o sinal dominante, bem como o nível de dimensionamento do sinal não dominante em relação ao sinal dominante, enquanto o nível de som percebido do sinal misturado é mantido constante através do dimensionamento do sinal não dominante em relação ao sinal dominante.

[00016] De acordo com outro aspecto, o nível de som pode ser representado por um nível ponderado médio dos sinais. O nível de som pode ainda ser expresso como o nível de diálogo do sinal. Assim, o método pode referir-se à mistura de dois sinais de áudio de entrada em um único sinal de áudio misturado com um nível de diálogo percebido consistente. Além disso, o nível de diálogo pode ser medido por um valor dialnorm associado com cada sinal. Dialnorm muitas vezes é provido como um parâmetro de metadados para controlar o ganho de decodificador. De acordo com o documento de padrões ETSI TS 102 366 v1. 2.1, o parâmetro de metadados "dialnorm"é um código de 5bits que varia de 1 a 31 (o valor 0 é reservado). O código deveria ser interpretado como um nível variando de -1 dB a -31 dB em relação à dimensionamento máxima. A partir do parâmetro de metadados dialnorm, um fator de dimensionamento pode ser determinado. O fator de dimensionamento é equivalente a (31 - dialnorm) dB. Assim, um valor dialnorm de 31 indica um fator de dimensionamento de 0 dB, enquanto um valor dialnorm de 1 indica um fator de dimensionamento de -30 dB. Em suma, dialnorm é um valor inteiro de 31 a 1, em que um valor de 31 indica que o ganho de decodificador permanece na unidade e um valor de 1 indica que o ganho de decodificador deve ser dimensionado em 30 dB.

[00017] Desde que o nível de som do sinal dominante permaneça consistente, quaisquer variações nos níveis dos sinais não dominantes serão menos perceptíveis e o nível de som percebido, bem como o nível de diálogo percebido, do sinal misturado deve permanecer consistente. De preferência, os sinais de entrada deveriam ser adequadamente normalizados. Além disso, deveria ser dada atenção ao conteúdo dialnorm dos sinais de entrada ao ser feita a mistura para manter um nível de diálogo percebido consistente. Para melhores resultados, o conteúdo dialnorm para os sinais de entrada deveriam ser apropriadamente ajustados, geralmente a um valor dialnorm de 31, indicando ganho de unidade. No entanto, o dialnorm nem sempre precisa ser ajustado para 31, mas a normalização do diálogo deveria, de preferência, já ter sido aplicada em ambos os sinais de entrada. Durante a mistura, o sinal dominante é geralmente não dimensionado, enquanto que o sinal de entrada não dominante é dimensionado pelo fator de dimensionamento determinado. Portanto, após a mistura de áudio de diálogo de acordo com os métodos descritos, o nível de diálogo do sinal dominante permanecerá consistente enquanto o nível de diálogo do sinal não dominante em relação ao sinal dominante será adequado, tendo em conta a informação de dimensionamento a partir dos metadados de mistura e da entrada de equilíbrio de mistura.

[00018] De acordo com outro aspecto, a entrada de equilíbrio de mistura pode compreender ainda uma entrada de usuário externa provendo um valor a partir de valores negativos muito grandes para valores positivos muito grandes, permitindo assim que a mistura favoreça tanto o sinal associado ou o sinal principal durante o processo de mistura pela quantidade desejada. Em geral, a entrada de equilíbrio de mistura pode ser um número real positivo ou negativo. Esta entrada de equilíbrio de mistura permite ao usuário ajustar o sinal desejado em destaque como desejado ao se misturar dois sinais de entrada. Além disso, a entrada de equilíbrio de mistura permite ao usuário especificar precisamente a atenuação do sinal não dominante em relação ao sinal dominante no processo de mistura, normalmente permitindo ao usuário escolher a partir de uma gama completa desde nenhuma atenuação até atenuação máxima. A aplicação dos métodos descritos neste documento permite ao usuário mudar sem problemas a mistura de atenuação máxima do sinal principal para atenuação máxima do sinal associado.

[00019] De acordo com um aspecto, o método pode ainda compreender a etapa de determinar um fator de dimensionamento com o qual sintetização o sinal não dominante, em que o fator de dimensionamento é determinado diretamente a partir da informação de dimensionamento contida nos metadados de mistura e na entrada de equilíbrio de mistura. O método pode então incluir ainda o dimensionamento do sinal não dominante através do fator de dimensionamento determinado. Além disso, os metadados de mistura podem compreender um fator de dimensionamento de metadados para o sinal principal, indicando um fator de dimensionamento para sintetização o sinal principal em relação ao sinal associado e os metadados de mistura podem compreender opcionalmente um fator de dimensionamento de metadados para o sinal associado, indicando um fator de dimensionamento para o dimensionamento do sinal associado em relação ao sinal principal. Os fatores de dimensionamento podem ainda compreender valores de dB. Como o nível de som de referência para sinais normalmente é especificado como uma configuração dialnorm de 31, para obter os melhores resultados, os sinais de entrada também deveriam ter configurações dialnorm de 31.

[00020] O método também pode incluir ainda a etapa de identificar o sinal dominante excetuando a comparação seguinte, dado que não há nenhum fator de dimensionamento de metadados para o sinal associado: no caso em que o valor da entrada de equilíbrio de mistura for maior do que o fator de dimensionamento de metadados para o sinal principal a partir dos metadados de mistura, então, o sinal associado é determinado como sendo o sinal dominante; de outro modo, o sinal principal é determinado como sendo o sinal dominante. Se o sinal associado é identificado como sendo o sinal dominante, o método pode ainda compreender a determinação de um fator de dimensionamento para o sinal principal, que é calculado como a diferença entre o fator de dimensionamento de metadados para o sinal principal a partir dos metadados de mistura e a entrada de equilíbrio de mistura. Alternativamente, se o sinal principal é identificado como sendo o sinal dominante, o método pode ainda compreender a determinação de um fator de dimensionamento para o sinal associado, que é calculado como a diferença entre a entrada de equilíbrio de mistura e o fator de dimensionamento de metadados a partir dos metadados de mistura para o sinal principal.

[00021] No caso em que há também um fator de dimensionamento de metadados para o sinal associado, o método também pode ainda incluir a etapa de identificar o sinal dominante excetuando a comparação seguinte. O fator de dimensionamento de metadados para o sinal principal a partir dos metadados de mistura pode ser ajustado pelo fator de dimensionamento de metadados para o sinal associado a partir dos metadados de mistura, subtraindo-se o fator de dimensionamento de metadados para o sinal associado do fator de dimensionamento de metadados para o sinal principal. No caso em que o valor da entrada de equilíbrio de mistura for maior do que o fator de dimensionamento ajustado, então, o sinal associado é determinado como sendo o sinal dominante; de outro modo, o sinal principal é determinado como sendo o sinal dominante. Se o sinal associado é identificado como sendo o sinal dominante, o método pode compreender ainda a determinação de um fator de dimensionamento para o sinal principal, que é calculado como a diferença entre o fator de dimensionamento ajustado e a entrada de equilíbrio de mistura. Alternativamente, se o sinal principal é identificado como sendo o sinal dominante, o método pode compreender ainda a determinação de um fator de dimensionamento para o sinal associado, que é calculado como a diferença entre a entrada de equilíbrio de mistura e o fator de dimensionamento ajustado.

[00022] Através da determinação do fator de dimensionamento para o sinal não dominante e misturar os sinais de entrada com base em qual sinal é determinado para ser o sinal dominante, o nível de som percebido do sinal misturado pode ser mantido constante enquanto ainda permite tanto o ajuste do sinal em destaque, bem como a dimensionamento correspondente do sinal não dominante. Em outras palavras, pelo menos um dos sinais é sempre o sinal dominante, que é o sinal em destaque. Como o sinal dominante é geralmente não dimensionado, o nível de som do sinal misturado é mantido em relação a outros programas, independentemente do quanto o sinal não dominante é atenuado em relação ao sinal dominante baseado na combinação da entrada de equilíbrio de mistura e dos fatores de dimensionamento de mistura providos pelos metadados.

[00023] Em alguns casos, os sinais de entrada podem consistir de múltiplos canais de dados de áudio. Em uma modalidade alternativa, fatores de dimensionamento distintos podem ser determinados para cada canal do sinal de entrada principal. Durante a mistura, cada canal do sinal não dominante pode então ser dimensionado por seu fator dimensionamento correspondentemente determinado e, tal como na modalidade anterior, o sinal dominante permanece não dimensionado. Assim, os sinais também podem compreender múltiplos canais, em que os metadados de mistura podem, então, compreender ainda um fator de dimensionamento de metadados primário para o sinal principal em relação ao sinal associado e um fator de dimensionamento de metadados para cada canal do sinal principal em relação ao sinal associado.

[00024] Os múltiplos canais dos sinais podem incluir canais fechados com canais esquerdo, direito, central, fechado esquerdo, fechado direito e de efeitos de baixa frequência (LFE). Os múltiplos canais podem, por exemplo, compreender sinais multicanais 5.1, sinais multicanais 3.1, sinais multicanais 13.1 ou outros sinais multicanais.

[00025] Para sinais multicanais que compreendem um canal de efeito de baixa frequência (LFE), o método pode ainda compreender o cálculo do fator de dimensionamento para o canal LFE como o mínimo do fator de dimensionamento de metadados LFE e o fator de dimensionamento de metadados máximo dos outros canais do sinal principal. Este recurso destina-se a impedir que o canal LFE domine fortemente o sinal misturado.

[00026] Particularmente útil para os sinais de entrada que compreendem múltiplos canais, o método pode ainda incluir a identificação do sinal dominante a partir da entrada de equilíbrio de mistura e os fatores de dimensionamento de metadados para o sinal principal e o fator de dimensionamento de metadados para o sinal associado, como se segue. Este método envolve a determinação do fator de dimensionamento de metadados secundário máximo como o máximo de todos os fatores de dimensionamento de metadados para todos os canais do sinal principal, exceto para o canal de efeitos de baixa frequência (LFE). Assim, o canal LFE, caso presente, não é utilizado na determinação do fator de dimensionamento de metadados secundário máximo. O método inclui ainda o cálculo da soma deste fator de dimensionamento de metadados secundário máximo e do fator de dimensionamento de metadados primário para o sinal principal. Então, se o valor da entrada de equilíbrio de mistura for maior do que esta soma, então, o sinal associado é determinado como sendo o sinal dominante; de outro modo, o sinal principal é determinado como sendo o sinal dominante. Alternativamente, no caso em que houver também um fator de dimensionamento de metadados para o sinal associado, a determinação acima do sinal dominante é feita comparando se o valor da entrada de equilíbrio de mistura é maior do que esta soma menos o fator de dimensionamento de metadados para o sinal associado.

[00027] Além disso, no caso em que o sinal associado é determinado como sendo o sinal dominante, o método pode incluir ainda o cálculo de um fator de dimensionamento para cada canal do sinal principal, calculado como o fator de dimensionamento de metadados primário para o sinal principal mais o fator de dimensionamento de metadados para o canal principal correspondente menos a entrada de equilíbrio de mistura.

[00028] No caso em que o sinal principal é determinado como sendo o sinal dominante e não há nenhum fator de dimensionamento de metadados para o sinal associado, o método pode incluir ainda a determinação de um fator de dimensionamento para o sinal associado, calculado como o valor da entrada de equilíbrio de mistura menos a soma do fator de dimensionamento de metadados primário para o sinal principal e o fator de dimensionamento de metadados máximo secundário, o qual é o máximo de todos os fatores de dimensionamento de metadados para todos os canais do sinal principal, exceto para o canal de efeitos de baixa frequência (LFE), caso presente.

[00029] No caso em que o sinal principal é determinad0 como sendo o sinal dominante e há um fator de dimensionamento de metadados para o sinal associado, o método pode incluir ainda a determinação de um fator de dimensionamento para o sinal associado, calculado como o valor da entrada de equilíbrio de mistura mais o fator de dimensionamento de metadados para o sinal associado menos a soma do fator de dimensionamento de metadados primário para o sinal principal e o fator de dimensionamento de metadados máximo secundário, que é o máximo de todos os fatores de dimensionamento de metadados para todos os canais do sinal principal, exceto para o canal de efeitos de baixa frequência (LFE), se estiver presente.

[00030] Este método pode compreender ainda a determinação de um fator de dimensionamento para cada canal do sinal principal, calculado como o fator de dimensionamento primário para o canal principal mais o fator de dimensionamento para o canal principal menos a soma do fator de dimensionamento principal primário e fator de dimensionamento de metadados secundário máximo, que é o máximo de todos os fatores de dimensionamento para os canais do sinal principal, exceto para o canal de efeitos de baixa frequência (LFE), se estiver presente.

[00031] De acordo com um aspecto adicional, os sinais podem compreender sinais Dolby Digital Plus (DD+) ou sinais Dolby Pulso. Da mesma forma, os sinais podem ser codificados como 3-E-AC, MPEG-4 HE-AAC, aacPlus, AC-3, MPEG-1 Camada 2, MPEG-4 AAC, qualquer derivação de sinais de áudio MPEG-4 ou outros formatos de codificação de áudio semelhantes. Assim, os metadados podem compreender metadados de mistura nível ES (Fluxos Elementares) para misturar sinais DD+, por exemplo, mistura de metadados de acordo com ETSI TS 102 366 V1.2.1 Ch. E.1.2.2. Esses metadados nível ES podem incluir ainda fatores de dimensionamento para os canais de um sinal multicanal: extpgmscl, extpgmlscl, extpgmrscl, extpgmcscl, extpgmlsscl, extpgmrsscl, extpgmlfescl, correspondentes ao fator de dimensionamento primário e fatores de dimensionamento para o canal esquerdo, o canal direito, o canal central, o canal fechado esquerdo, o canal fechado direito, e canal de efeitos de baixa frequência (LFE). Os metadados nível ES podem, opcionalmente, compreender ainda um valor panoramização média. Os metadados nível ES podem, opcionalmente, compreender ainda um valor pgmscl correspondente ao fator de dimensionamento para o sinal associado. Em muitos casos relacionados com sinais DD+, os metadados de mistura podem ser codificados com ou incorporados no sinal associado, embora os vários padrões de metadados e aplicações variem. Por exemplo, com MPEG-4 HE-AAC, os metadados de mistura viajam ao lado, mas não estritamente dentro, dos dados de áudio. Consequentemente, a aplicação das técnicas acima não deveria ser limitada apenas aos casos em que os metadados de mistura estão contidos no sinal associado.

[00032] De acordo com outro aspecto, os metadados podem compreender metadados de mistura nível PES (Fluxos Elementares Empacotados) para misturar sinais pulso/HE-AAC, bem como E-AC-3, MPEG-4 HE-AAC, aacPlus, AC-3, MPEG-1 camada 2, MPEG-4 AAC ou qualquer derivação de sinais de áudio MPEG-4, por exemplo, metadados de mistura de acordo com ETSI TS 101 154 V1.9.1 Annex E2. Estes metadados nível PES podem compreender ainda fatores de dimensionamento para os canais de um sinal multicanal: AD_fade_byte, AD_gain_byte_center, AD_gain_byte_front, AD_gain_byte_fechado ou AD_pan_byte, correspondentes ao fator de dimensionamento primário e fatores de dimensionamento para o central, o frontal, o fechado e panoramizado . Em muitos casos envolvendo sinais pulso, os metadados de mistura podem ser diretamente associados com o sinal associado. Por exemplo, os metadados de mistura e o sinal associado podem ser transmitidos conjuntamente nos mesmos fluxos ou nos fluxos relacionados. No entanto, a aplicação das técnicas aqui descritas não deveria ser de forma alguma limitada a tais casos e as técnicas descritas requerem apenas o recebimento de metadados de mistura que forneçam a informação de dimensionamento para o sinal principal em relação ao sinal associado.

[00033] De acordo com outro aspecto, o método pode incluir ainda a restrição de que o sinal associado não contenha canais que não estejam presentes no sinal principal, a não ser que o sinal associado seja mono. Um sinal mono pode ser indicado, por exemplo, por um "modo de codificação de áudio"ou valor acmod de 1, que indica que o sinal tem apenas um canal central. No entanto, o sinal associado pode compreender ainda canais mono e LFE, em que o canal LFE do sinal associado é misturado com o canal LFE do sinal principal, e o canal mono do sinal associado é panoramizado nos canais principais do sinal principal, em que panoramizar envolve a divisão ou a distribuição do sinal em múltiplos canais de acordo com um valor que especifica a forma como o sinal deveria ser distribuído, por exemplo, um valor "panoramização média".

[00034] De acordo com outro aspecto, quando o canal principal não é mono e tem, então, canais esquerdo e direito, mas o sinal associado é mono (ou seja, não tem estéreo, fechado ou componentes esquerdo- direito), os metadados para o sinal associado podem compreender ainda informações de metadados de panoramização. Por exemplo, tal informação de metadados de panoramização pode ser provida pelo código de metadados "panoramização média"nos metadados de mistura. O método inclui então a utilização do valor de panoramização para panoramizar o sinal associado mono para os correspondentes canais esquerdo e direito do sinal misturado, em que o valor panoramização média especifica uma direção a partir da qual fatores de dimensionamento para cada canal podem ser calculados. A seção "E.4.3.5 Panning" do padrão ETSI TS 102 366 v1.2.1 provê mais detalhes para a aplicação do valor panoramização média. De acordo com esta especificação, panoramização média determina o ângulo efetivo no qual o sinal associado mono deve aparecer dentro do "espaço"do sinal principal decodificado, com 0 grau sendo o centro, +/-90 indicando panoramização completa para a esquerda ou para a direita. Panoramização pode ser aplicada aos vários sinais de canais múltiplos, tais como 3.1, 5.1 e 13.1. O intervalo exato para panoramização média é de 0 a 239, o que representa 0 a 358,5 graus em passos de grau 1.5, e em que 0 graus é a direção do alto-falante central. Por exemplo, um valor panoramização média de 121 seria aplicado com os seguintes fatores de dimensionamento nos cinco canais não-LFE de um sinal multicanal 5.1: esquerdo 0.078, central 0.997, direito 0, fechado esquerdo 0.734 e fechado direito 0.679.

[00035] Ainda em outra modalidade alternativa, um fator de dimensionamento adicional pode ser aplicado ao sinal dominante. Este fator de dimensionamento pode ser determinado a partir dos metadados, a partir de um controle de entrada adicional ou a partir de um valor fixo no dispositivo de mistura. No entanto, este fator de dimensionamento também poderia ser determinado a partir de análises em tempo real dos sinais de entrada para melhorar ainda mais a manutenção de um nível de som percebido constante. Outra alternativa é que um fator de dimensionamento adicional poderia ser derivado a partir do fluxo de bits de metadados, por exemplo, usando dialnorm. Em alguns casos, o fator de dimensionamento é a unidade, tornando a saída do sinal misturado desta modalidade idêntica à saída das modalidades anteriores. No entanto, em outros casos, o fator de dimensionamento não é a unidade e a saída do sinal misturado a partir desta modalidade irá diferir da saída de modalidades anteriores. No entanto, independentemente da modalidade utilizada o nível de diálogo do fluxo dominante permanecerá constante, assegurando que o nível de diálogo percebido do sinal misturado permaneça consistente. Assim, de acordo com outro aspecto, o sinal dominante também pode ser dimensionado pela aplicação de um fator de dimensionamento ao sinal dominante. Este dimensionamento adicional do sinal dominante pode servir, por exemplo, para permitir a integração da normalização dos sinais de áudio de entrada no interior do dispositivo de mistura no caso em que os sinais de entrada não são normalizados antes da mistura.

[00036] De acordo com outro aspecto, o método pode incluir ainda a etapa de verificar que o conteúdo dialnorm para os sinais de entrada esteja ajustado de forma adequada e, possivelmente, prover uma indicação quando esta condição não está satisfeita.

[00037] De acordo com outro aspecto, um dispositivo para misturar sinais também é provido que aplica o método para misturar sinais, descrito acima. Da mesma forma, um decodificador também é provido que aplica o método para misturar sinais, descrito acima.

[00038] De acordo com outro aspecto, um meio de armazenamento legível por processador também é provido que armazena instruções legíveis por computador para executar as etapas de qualquer um dos métodos descritos acima. Da mesma forma, um produto de programa legível por processador também é provido compreendendo instruções executáveis para executar qualquer um dos métodos descritos acima, quando executados em um processador.

[00039] De acordo com outro aspecto, um dispositivo também é provido para misturar sinais de áudio de entrada em um único sinal de áudio misturado com um nível de som percebido consistente. O dispositivo compreende um receptor para receber um sinal de áudio de entrada principal, um sinal de áudio de entrada associado e metadados de mistura com informação de dimensionamento. O dispositivo compreende ainda uma entrada de equilíbrio de mistura, que indica o balanço ajustável entre o sinal principal e os sinais associados. O dispositivo compreende ainda um misturador configurado para identificar o sinal dominante, sintetizar os sinais de entrada e combinar os sinais em um sinal misturado. O sinal dominante é identificado através da análise da informação de dimensionamento provida pelos metadados de mistura e pela entrada de equilíbrio de mistura e o sinal não dominante é dimensionado em relação ao sinal dominante. Além disso, um dispositivo também é provido para misturar os sinais de áudio de entrada em um único sinal de áudio misturado com um nível de som percebido consistente, em que o fator de dimensionamento para o sinal não dominante é determinado diretamente a partir da informação de dimensionamento dos metadados de mistura e entrada de equilíbrio de mistura. O sinal não dominante é dimensionado utilizando o fator de dimensionamento determinado e o sinal não dominante dimensionado é combinado com o sinal dominante em um sinal misturado.

[00040] De acordo com outro aspecto, um dispositivo também é provido para misturar sinais de áudio de entrada em um único sinal de áudio misturado com um nível de som percebido consistente, que é ainda configurado para receber metadados de mistura que são integrados com o sinal de áudio de entrada associado. A entrada de mistura de equilíbrio do dispositivo pode ainda compreender uma entrada de usuário externa provendo um valor a partir de valores negativos muito grandes para valores positivos muito grandes. O receptor do dispositivo pode ser ainda configurado para receber sinais de múltiplos canais, em que a unidade de mistura é configurada para misturar os sinais de múltiplos canais.

[00041] As técnicas descritas acima são concebidas para manter um nível de som percebido consistente para o sinal misturado. Como estas técnicas também podem ser descritas como nivelamento de sinal, as técnicas descritas acima que escalonam os sinais também podem ser vistas em termos de nivelamento e ajuste do nível de sinal. Em consequência, para generalizar o assunto dos métodos para mistura de sinais com base no resultado que este atinge, os sinais de entrada deveriam ser dimensionados de tal modo que a diferença de nível de dimensionamento resultante entre o dimensionamento do sinal principal e o dimensionamento do sinal associado é essencialmente a soma do fator de dimensionamento de metadados de mistura para o sinal principal e o valor da entrada de mistura de equilíbrio. De igual modo, se houver um fator de dimensionamento de metadados de mistura para o sinal associado, então a diferença de nível de dimensionamento resultante entre a dimensionamento do sinal principal e a dimensionamento do sinal associado é essencialmente a soma da diferença entre os fatores de dimensionamento de metadados de mistura para o sinal principal e para o sinal associado e o valor da entrada de mistura de equilíbrio.

[00042] Com os métodos descritos acima, o autor do conteúdo pode influenciar a diferença de nível entre o sinal principal e os sinais associados, em todos os momentos. Consequentemente, o usuário final também pode influenciar a diferença de nível entre o sinal principal e os sinais associados, em todos os momentos. Além disso, quando a entrada de equilíbrio de mistura encontra-se na configuração neutra de zero, os sinais estão misturando exatamente conforme especificado pelo autor do conteúdo. As técnicas aqui descritas fornecem um controle fácil ao longo de toda a gama da entrada de equilíbrio de mistura, todo o caminho desde o sinal principal como o único sinal (em que o sinal associado está completamente atenuado) para o outro extremo, em que o sinal associado é o único sinal presente na reprodução de gravação fonográfica (em que o sinal principal está completamente atenuado). No entanto, o sinal dominante é nivelado, o que significa que, independentemente dos valores para os metadados de mistura ou entrada de equilíbrio de mistura, o ouvinte não deveria perceber uma alteração significativa no nível de som quando muda para, ou a partir de, outro programa. Assim, para áudio de diálogo, o diálogo em destaque pode ser selecionado pelo usuário e o diálogo dominante é sempre nivelado, uma vez que o diálogo dominante está associado com o sinal dominante.

[00043] Os métodos e dispositivos, incluindo exemplos e modalidades conforme delineados no presente pedido de patente podem ser usados sozinhos ou em combinação com outros métodos e dispositivos divulgados neste documento. Além disso, todos os aspectos dos métodos e dispositivos delineados no presente pedido de patente podem ser arbitrariamente combinados. Em particular, as características das concretizações podem ser combinadas umas com as outras de uma maneira arbitrária como fica evidente para um perito na técnica.

BREVE DESCRIÇÃO DAS FIGURAS

[00044] A invenção é explicada a seguir através do uso de exemplos com referência aos desenhos anexos, em que os exemplos são ilustrados pelas figuras seguintes:

[00045] A FIG. 1A: mostra os níveis de som de diferentes programas de áudio.

[00046] A FIG. 1B: mostra os níveis de som de diferentes programas de áudio após nivelamento.

[00047] A FIG. 2: mostra um diagrama de blocos de um conversor com um misturador.

[00048] A FIG. 3: mostra um diagrama de processo para a identificação do sinal dominante e mistura dos sinais de entrada.

[00049] A FIG. 4: mostra um fluxograma para identificar o sinal dominante e misturar.

[00050] A FIG. 5A: mostra uma representação gráfica dos fatores de dimensionamento para o sinal principal e os sinais associados, em que para o caso em que o fator de dimensionamento de metadados de mistura é -10 dB.

[00051] A FIG. 5B: mostra um exemplo para a leitura dos fatores de dimensionamento da FIG. 5A do sinal principal e dos sinais associados, em que o fator de dimensionamento de metadados de mistura é -10 dB para o caso em que a entrada de equilíbrio de mistura é + 5 dB.

[00052] FIG. 5C: mostra um exemplo para a leitura dos fatores de dimensionamento da FIG. 5A do sinal principal e dos sinais associados, em que o fator de dimensionamento de metadados de mistura é -10 dB para o caso em que a entrada de equilíbrio de mistura é - 15 dB.

[00053] FIG. 6: mostra um diagrama de blocos de sinal para a mistura de sinais multicanais 5.1.

[00054] FIG. 7A: mostra um fluxograma de um exemplo para a mistura de sinais multicanais 5.1.

[00055] FIG. 7B: mostra um fluxograma para determinar o fator de dimensionamento para o canal LFE para a etapa 703 da FIG. 7.

[00056] FIG. 8: mostra um diagrama de blocos de sinal para a mistura de sinal principal multicanal 5.1 com um sinal associado 1.1 (mono + LFE).

DESCRIÇÃO DETALHADA

[00057] É um conceito comum incorporar metadados de áudio em um fluxo digital de áudio, por exemplo, em ambientes de transmissão digital. Tais metadados são "dados sobre dados", ou seja, dados sobre o áudio digital no fluxo. Os metadados podem prover informações para um decodificador de áudio sobre como reproduzir o áudio. Tais metadados são normalmente transmitidos juntamente com um fluxo de bits de áudio digital. Estes metadados provêm capacidade sem precedentes para que os produtores de conteúdo distribuam o áudio de mais alta qualidade para os consumidores em uma variedade de ambientes de audição. Também oferecem opções que permitem aos consumidores ajustarem suas configurações para melhor se adequarem aos seus ambientes de audição.

[00058] As técnicas aqui descritas podem ser aplicadas a uma grande variedade de formatos de sinal de áudio e sistemas de codificação. A fim de aplicar os métodos, os sinais precisam apenas ter metadados acompanhando o sinal de áudio que provê a informação de mistura. Os sinais de entrada podem ser canal único, mas, muitas vezes, terão múltiplos canais, por exemplo, os sinais multicanais 5.1 com seis canais bem conhecidos: esquerdo, direito, central, esquerdo fechado, direito fechado e LFE (efeitos de baixa frequência). Dois exemplos de tal formato de sinal de áudio que permitem esses metadados de mistura são Dolby Digital Plus (DD+ ou E-AC-3 (AC-3 Enhanced)) e Codificação de Audio de Alta Eficiência (HE-AAC).

[00059] Dolby Digital Plus (DD+ ou E-AC-3 (AC-3 Melhorado)) é um sistema de compressão de áudio digital, que é um sistema de codificação avançado com base no codec AC-3. E-AC-3 suporta até 13 canais de áudio de variação completa em uma taxa de bits codificada de 6.144 Mbit/s de pico. Por exemplo, o documento ETSI TS 102 366 v1.2.1 descreve os metadados DD+ em detalhes, por exemplo, "El.3.1.17 extpgmscl: External Programme Scale Factor - 6 bits: In some applications, two bit streams may be decoded and mixed together. This field specifies a scale factor that should be applied to the external programme (i.e., a program that is carried in a separate bit stream or independent substream) during mixing. This field uses the same scale as pgmscl." Os metadados de mistura mais relevantes compreendem os seguintes códigos de metadados: extpgmscl, extpgmlscl, extpgmrscl, extpgmcscl, extpgmlsscl, extpgmrsscl, extpgmlfescl, pgmscl. Em alguns casos, por exemplo, quando o sinal de áudio associado é mono, o código de metadados panoramização média também pode ser usado.

[00060] Codificação de Áudio de Alta Eficiência (HE-AAC) é um sistema de compressão de dados com perdas para áudio digital definido como um perfil de Audio MPEG-4 na ISO/IEC 14496-3. É uma extensão de Baixa Complexidade AAC (AAC LC) otimizada para aplicações de baixa taxa de bits tais como fluxo de áudio. O perfil HE- AAC versão 1 (HE-AAC v1) utiliza a replicação de banda espectral (SBR) para melhorar a eficiência de compressão no domínio da frequência. O perfil HE-AAC versão 2 (HE-AAC v2) acopla SBR com Estéreo Paramétrico (PS) para melhorar a eficiência de compressão de sinais estéreos. É uma versão padronizada e melhorada do codec aacPlus. Os metadados de mistura mais relevantes compreendem os seguintes códigos de metadados: AD_fade_byte, AD_gain_byte_center, AD_gain_byte_front, AD_gain_byte_fechado e AD_pan_byte. O HE-AAC é usado em padrões de rádio digital como DAB+ e Digital Radio Mondiale.

[00061] A fim de tirar o máximo de vantagem das suas capacidades, autores de conteúdo ou produtores deveriam ter uma sólida compreensão dos metadados de áudio, que são normalmente adicionados durante a produção ou pós-produção.

[00062] Tal como descrito na seção de fundamentos, a fim de manter consistentes níveis de som de diferentes programas, os sinais de áudio mais modernos incluem metadados, tais como um nível de diálogo, que são usados para sintetizar o sinal de áudio. Tal dimensionamento permite que cada sinal seja apropriadamente representado sob uma forma que possibilite alta qualidade e boa compressão e ao mesmo tempo mantenha o mesmo nível de som. A Figura 1a mostra um exemplo de diferentes programas sem tal nivelamento ou normalização do nível de diálogo. Como pode ser visto a partir do diagrama, o nível de som dos programas difere, de tal modo que o ouvinte pode perceber um nível de som diferente ao mudar de um programa para outro. A Figura 1a ilustra os níveis de som de quatro programas diferentes S1, S2, S3 e S4, por exemplo, nos casos em que o usuário muda o canal ou um novo programa é transmitido nos tempos t0, t1, t2 e t3. A progressão do tempo está mostrada no eixo geométrico horizontal e o nível de som no eixo geométrico vertical. A linha horizontal A1 mostra o nível de som do programa S1, que corre do tempo t0 para T1. As linhas horizontais A2, A3 e A4 mostram igualmente os níveis de som dos programas S2, S3 e S4, respectivamente, que correm dos tempos t1 para t2, t2 para t3 e t3 para t4. Como pode ser observado, o nível de som A1 é mais elevado que os níveis de som A2, A3 e A4.

[00063] Para corrigir tal diferença no nível de som, os sinais de programa são nivelados ou dimensionados para um nível de referência comum. Assim, a Figura 1b mostra os sinais de programa após serem nivelados para um nível de som de referência comum. O nível de som de referência para sinais é geralmente representado como um nível ponderado médio, que é frequentemente especificado nos metadados como uma configuração dialnorm de 31. Como pode ser visto na Figura 1b, o níveis de som A1’, A2', A3' e A4 e são todos iguais. Assim, o usuário não percebe uma alteração significativa no nível de som ao alternar entre programas.

[00064] Muitos novos formatos de sinal de áudio agora também permitem a um ou mais sinais associados serem agrupados com o sinal principal. Estes sinais de áudio podem ser ativados com base tanto na configuração do dispositivo ou nas seleções do usuário, por exemplo, durante a reprodução de gravação fonográfica. Normalmente esta ativação envolve a combinação do sinal associado com o seu sinal principal correspondente. Esta combinação dos sinais em um sinal é referida como mistura. Por exemplo, um produtor pode prover uma faixa de comentários do diretor sobre uma trilha sonora, por exemplo, em um vídeo DVD. O ouvinte pode então usar o conversor ou leitor de DVD para ativar esta faixa associada, que então é sobreposta e misturada com o sinal principal. A fim de manter o mesmo nível de som percebido como em outros programas, tal sinal associado geralmente contém metadados que especificam como os sinais deveriam ser misturados. Estes metadados de mistura permitem que o produtor controle a mistura dos sinais com precisão, provendo detalhes específicos para como misturar os sinais, muitas vezes incluindo também a opção de especificar detalhes para misturar sinais de múltiplos canais.

[00065] Embora os metadados de mistura descrevam os níveis de mistura vislumbrados pelo produtor, o ouvinte pode, em algum momento, ter um desejo diferente a respeito de como os sinais deveriam ser misturados. Assim, o ouvinte pode decidir que ele gostaria que o outro sinal fosse o "diálogo em destaque". Assim, o "diálogo em destaque"é o sinal que deveria dominar no sinal misturado. No entanto, este "diálogo em destaque"é um pouco subjetivo. O autor de conteúdo tem uma ideia de qual sinal deveria estar em destaque, mas também é desejável que o usuário tenha igualmente algum controle sobre ele. De acordo com os ensinamentos deste pedido, a indicação de "destaque do usuário"pode ser alcançada através da oferta de um balanço de uma entrada de controle equilíbrio de mistura para ajustar a mistura do sinal principal e sinais associados.

[00066] Assim, para o caso em que o usuário gostaria de desviar do sinal de ponderação especificado pelos metadados, ajustando o sinal misturado para favorecer um sinal ou outro, uma modalidade inclui o fornecimento de um controle de equilíbrio de mistura para permitir a entrada da entrada de equilíbrio de mistura. Este controle de equilíbrio de mistura permite que o usuário indique que um dos sinais deveria estar mais presente no sinal misturado e em que medida o sinal deveria ser mais prevalente. Além disso, esta entrada de equilíbrio de mistura dá ao usuário o controle imediato sobre o sinal em destaque. Na posição padrão, o controle de equilíbrio de mistura é neutro, o que indica que a mistura deveria ocorrer tal como especificado nos metadados. Quando o controle de equilíbrio de mistura é girado em um sentido (nesta modalidade, no sentido negativo), o sinal principal é feito mais alto em relação ao sinal associado. Quando o controle de equilíbrio é girado na outra direção (nesta modalidade, no sentido positivo), o sinal associado é feito mais alto em relação ao sinal principal.

[00067] No entanto, quando tal controle de equilíbrio de mistura ou entrada de equilíbrio de mistura é, então, utilizado para aumentar ou diminuir os níveis do sinal principal e dos sinais associados, é provável que o nível de som ou o nível de diálogo percebido do sinal misturado seja, desse modo, alterado. Assim, é provável que a comutação entre programas com e sem um sinal associado ativado resultaria novamente em uma situação indesejável, como aquela descrita na Figura 1a. Assim, existe uma necessidade de prover uma técnica de mistura dos sinais associados e sinais principais sob a influência de uma entrada de equilíbrio de mistura, de modo que o nível de som percebido do sinal misturado também é mantido constante.

[00068] As técnicas descritas aqui podem ser executadas em muitas modalidades, tais como um conversor, um tocador de áudio portátil ou não portátil, um dispositivo de mistura, um leitor de DVD, uma televisão, um telefone inteligente ou um dispositivo de recepção de TV para um sistema de computador. Além disso, os aspectos individuais podem ser executados em uma combinação de sistemas de hardware e de software. Os componentes de uma modalidade concreta serão descritos em mais detalhes com base em um conversor incluindo um misturador de acordo com as técnicas aqui descritas. Este conversor da modalidade está ilustrado na Figura 2. O conversor 200 compreende um receptor 209, um misturador 204 e um processador 205. Embora este exemplo seja mostrado com estes componentes a aplicação das técnicas aqui descritas não deveria estar limitada a esta exata configuração. Por exemplo, o receptor 209 poderia ser integrado ao misturador 204; além disso, o conversor 200 não precisaria ter um processador, já que a funcionalidade poderia ser executada por circuitos eletrônicos tradicionais. Neste exemplo, o receptor 209 do conversor 200 está configurado para receber o sinal de entrada principal 201 e o sinal de áudio de entrada associado 202, incluindo os metadados correspondentes. Em alguns casos, o receptor pode ter de ser adicionalmente adaptado para receber os metadados de mistura que podem ser transmitidos ou codificados separadamente. Se necessário, o receptor 209 pode ser ainda configurado para decodificar os sinais de entrada 201, 202 e os metadados de mistura correspondentes 202a de acordo com a codificação dos sinais. Além disso, o conversor 200 e o misturador 204 também são configurados para receber a entrada de controle de equilíbrio de mistura 203. Opcionalmente, o receptor 209 também pode ser configurado para realizar a decodificação especial da entrada de controle de equilíbrio de mistura 203. Há várias opções para as características adicionais e execução exata da entrada de controle de equilíbrio de mistura 203. Por exemplo, o conversor 200 poderia vincular esta entrada com um dispositivo de controle remoto para permitir que o usuário defina este nível de equilíbrio de mistura através de um cardápio acessado por um dispositivo de controle remoto. Naturalmente, o conversor 200 ou o seu controle remoto poderia executar a entrada de controle de equilíbrio de mistura com um elemento dedicado, tal como um indicador de entrada, teclas de mais ou de menos ou um dispositivo de entrada semelhante. O conversor 200 e misturador 204 também poderiam, naturalmente, ser configurados para receber a entrada de equilíbrio de mistura 203 como um sinal a partir de outro sistema ou dispositivo. Em qualquer caso, o sinal dominante 206 é o sinal de entrada que é identificado pelo processador 204 do misturador 205 com base no sinal de entrada principal 201, o sinal de áudio de entrada associado 202, os metadados de mistura 202a e a entrada de controle de equilíbrio de mistura 203. Deste modo, o sinal não dominante 207 é o outro sinal de entrada que não é determinado como sendo o sinal dominante 206. Então, o sinal não dominante dimensionado 207s é o sinal não dominante 207 depois de ser dimensionado. Finalmente, o sinal dominante 206 e o sinal não dominante dimensionado 207s são misturados como o sinal misturado 208.

[00069] Uma solução exemplificativa para atingir este objetivo para a mistura dos sinais de áudio com base na configuração da Figura 2 está ilustrada na Figura 3. Assim, as entradas consistem de um sinal de entrada principal 201, um sinal de entrada associado 202 e uma entrada de controle de equilíbrio de mistura 203. Em primeiro lugar, na etapa 301 o sinal de entrada principal 201 é recebido pelo misturador 204, conversor 200 e/ou receptor 209. Na etapa 302, o sinal de entrada associado 202 é recebido, incluindo os metadados de mistura 202a. Nota-se que a inclusão dos metadados de mistura 202a no sinal associado 202 é apenas para este exemplo e não deveria ser interpretada como limitante à aplicação das técnicas já que outros padrões e formatos de codificação de sinal podem diferir. Na etapa 303, a entrada de equilíbrio de mistura 203 é recebida. Estas etapas incluem qualquer decodificação especial que o formato dos sinais possa exigir. Em seguida, na etapa 304 a informação de dimensionamento a partir dos metadados de mistura 202a e a entrada de controle de equilíbrio de mistura 203 são utilizadas para identificar o sinal dominante 206 a partir dos sinais de entrada 201, 202 a serem misturados. Esta etapa pode ser executada por um dispositivo eletrônico comum ou circuito, uma vez que não requer qualquer computação de alta potência, medição, análise em profundidade ou amostragem dos sinais de entrada. Então, na etapa opcional 305, um fator de dimensionamento para o sinal não dominante 207 pode ser determinado diretamente a partir dos metadados de mistura 202a e da entrada de equilíbrio de mistura 203. Na etapa 306, o sinal não dominante 207 é dimensionado. No caso em que um fator de dimensionamento para o sinal não dominante 207 foi determinado na etapa 305 com base nos metadados de mistura 202a e na entrada de equilíbrio de mistura 203, a etapa 306 inclui o dimensionamento do sinal não dominante 207 de acordo com o fator de dimensionamento determinado na etapa 305. Finalmente, na etapa 307 o sinal não dominante dimensionado 207s é combinado com o sinal dominante 206 como o sinal misturado 208 da etapa final 308.

[00070] Uma modalidade adicional inclui a etapa opcional 305 para a determinação do fator de dimensionamento para o sinal não dominante 207 baseada diretamente nos metadados de mistura 202a e na entrada de equilíbrio de mistura 203. A Figura 4 mostra um fluxograma para esta determinação para esta modalidade adicional. A identificação do sinal dominante 206 baseia-se na entrada de equilíbrio de mistura 203 e metadados de mistura 202a. Em alguns casos, os metadados de mistura também podem conter um fator de dimensionamento para o sinal associado. Se este valor de metadados está presente, então ele pode ser usado para ajustar o fator de metadados para misturar os sinais. Assim, na etapa opcional 401, o fator de dimensionamento para o sinal principal pode ser ajustado pela subtração do fator de dimensionamento para o sinal associado do fator de dimensionamento para o sinal principal. Na etapa 402, o valor da entrada de equilíbrio de mistura 203 é comparado com o fator de dimensionamento de metadados ajustado. No caso em que o fator de dimensionamento não é ajustado na etapa 401, o valor da entrada de equilíbrio de mistura 203 é comparado com o fator de dimensionamento para o sinal principal a partir dos metadados de mistura 202a. Para o caso do "sim" em que a entrada de equilíbrio de mistura 203 é maior do que o fator de dimensionamento dos metadados de mistura 202a, então, na etapa 403y o sinal associado 202 é determinado como sendo o sinal dominante 206 e o sinal principal 201 é o sinal não dominante 207. De outro modo, para o caso do "não"em que o valor da entrada de equilíbrio de mistura 203 é menor que ou igual ao fator de dimensionamento dos metadados de mistura 202a, então, na etapa 403y o sinal principal 201 é determinado como sendo o sinal dominante 207 e o sinal associado 202 é o sinal não dominante 207. Ambas as etapas 403y e 403n são seguidas pela etapa 404, em que o sinal não dominante 207 é então dimensionado. Na etapa 405, o sinal dominante 206 é combinado com o sinal não dominante dimensionado 207s, para formar o sinal misturado 208 da etapa 406.

[00071] A Figura 5 mostra uma representação gráfica que ilustra um exemplo concreto dos fatores de dimensionamento que devem ser aplicados ao sinal principal e aos sinais associados 201, 202, quando da mistura do sinal associado 202 com o sinal principal 201. Neste exemplo, o fator de dimensionamento dos metadados de mistura 202a do sinal associado 202 especifica que o sinal principal 201 deveria ser dimensionado por -10 dB. Este fator de dimensionamento de -10 dB para o dimensionamento do sinal principal 201 quando misturado com o sinal associado 202 indica a relação de mistura desejada definida pelo produtor de conteúdo durante a masterização. O eixo geométrico horizontal da Figura 5 mostra a entrada de equilíbrio de mistura 203 como varia do infinito negativo até ao infinito positivo. O eixo geométrico vertical indica o fator de dimensionamento em dB de -» dB a 0 dB de baixo para cima. As duas representações gráficas da Figura 5 mostram os fatores de dimensionamento para os dois sinais de entrada plotados para todos os valores da entrada de equilíbrio de mistura de -» dB a +~ dB (os valores da entrada de equilíbrio de mistura estão no eixo geométrico horizontal). As duas representações gráficas de linha, uma com uma linha tracejada e a outra com uma linha pontilhada, representam os fatores de dimensionamento para o sinal principal 201 e o sinal associado 202, respectivamente. Assim, a representação gráfica com a linha tracejada 501a, 501b mostra o sinal principal e a representação gráfica com a linha pontilhada 502a, 502b mostra o sinal associado. Como pode ser visto, quando a entrada de equilíbrio de mistura 203 está na sua configuração neutra, isto é, de zero dB, a entrada de equilíbrio 203 não tem nenhum efeito e o fator de dimensionamento é como especificado nos metadados 202a: neste exemplo em que o fator de dimensionamento de metadados determinado é -10 dB, indicando a quantidade de atenuação do sinal principal em relação aos sinais associados, o sinal associado 202 é, portanto, o sinal dominante 206 e não é dimensionado e o sinal principal 201 é dimensionado de acordo com o fator de dimensionamento de metadados de -10 dB. No entanto, como pode ser visto a partir da figura, se a entrada de equilíbrio 203 torna-se mais negativa do que o fator de dimensionamento de metadados de mistura, ou seja, inferior a -10 dB, então, o sinal principal 201 torna-se o sinal dominante 206. Além disso, qual dos sinais de entrada é o sinal dominante também está indicado na Figura 5 pelas etiquetas 501a, 501b e 502a, 502b, em que a linha horizontal 501a representa o sinal de entrada principal 201, quando este é o sinal dominante 206, a linha diagonal 501b representa o sinal de entrada principal 201, quando este é o sinal não dominante 207, a linha horizontal 502b representa o sinal de entrada associado 202, quando este é o sinal dominante 206 e a linha diagonal 502a representa o sinal de entrada associado 202, quando este é o sinal não dominante 207.

[00072] Para um exemplo específico para a leitura dos fatores de dimensionamento do caso da Figura 5, a Figura 5a mostra os fatores de dimensionamento para o caso em que a entrada de equilíbrio de mistura 203 tem um valor de +5 dB e, como na Figura 5, o fator de dimensionamento de metadados de mistura para o sinal principal é de -10 db. A partir da figura, o fator de dimensionamento 501a para o sinal principal 201 pode ser visto como sendo -15 dB, que é -10 dB -5 dB = -15 dB. O fator de dimensionamento 502a para o sinal associado 202 é 0 dB. Uma vez que o sinal associado 202 é o sinal dominante 206, espera-se que o fator de dimensionamento para o sinal associado 202 deveria ser a unidade. Assim, se a entrada de equilíbrio 203 é aumentada para favorecer o sinal associado 202, então o sinal associado 202 continua a ser o sinal dominante 206, o sinal associado 202 não é dimensionado e apenas o sinal principal 201 é dimensionado.

[00073] Por outro lado, a Figura 5b mostra os fatores de dimensionamento para o caso da Figura 5, em que a entrada de equilíbrio de mistura 203 tem um valor de -15 dB e, como na Figura 5, o fator de dimensionamento de metadados de mistura para o sinal principal é de -10 dB . A partir da figura pode ser visto que o fator de dimensionamento para o sinal principal 501b é de 0 dB, portanto o sinal principal 201 não é dimensionado uma vez que é o sinal dominante 206, e que o sinal associado 202 é dimensionado pelo fator de dimensionamento associado 502b de -5 dB, que é -15 dB -(-10 dB) = -5 dB.

[00074] Além disso, a partir das Figuras 5A, 5B e 5C, pode ser visto que quando a entrada de equilíbrio de mistura 203 é configurada para mais infinito, o sinal principal 201 é completamente atenuado e o sinal associado 202 não é dimensionado. Inversamente, quando a entrada de equilíbrio de mistura 203 é configurada como infinito negativo, o sinal principal 201 não é dimensionado e o sinal associado 202 é completamente atenuado.

[00075] Os métodos aqui descritos também podem ser aplicados para misturar sinais multicanais. Como os metadados de mistura para sinais multicanais podem ter muitas formas diferentes, como pode haver de 2 a 14 canais diferentes em sinais multicanais comuns (por exemplo, 2 canais para estéreo, 2 canais para mono+LFE, 4 canais para 3.1, 6 canais para 5.1 e 14 canais para 13.1), o método será descrito aqui através do uso de códigos de metadados genéricos. Na prática, a pessoa com habilidade na técnica terá que substituir os metadados genéricos listados abaixo por aqueles adequados para a codificação específica utilizada pelos sinais. Assim, os termos genéricos "sclmain", "scl [ch]" e "pan"são usados abaixo, em que "sclmain"é o fator de dimensionamento primário", "scl [ch]"é o fator de dimensionamento para cada canal individual em que [ch] é um índice para o canal e "pan"é um valor opcional que indica como os canais deveriam ser aplicados a uma mistura com um número diferente de canais (por exemplo, como um sinal mono deveria ser aplicado a um sinal 5.1, por exemplo, como 50% do sinal mono no canal esquerdo, 50% no canal direito ou 0% nos outros canais, ou 60% no canal esquerdo, 40% no canal central e 0% à direita, LFE e canais fechados).

[00076] A Tabela 1 mostra uma representação generalizada dos metadados de mistura (comuns para ES e PES), com a coluna um mostrando os códigos de metadados genéricos, a coluna dois mostrando os metadados correspondentes para ES (por exemplo, Dolby Digital Plus ou DD+) e a coluna três mostrando os metadados para correspondentes PES (por exemplo, Dolby Pulso ou DVB):

[00077] Para a seção seguinte e o pseudocódigo abaixo, a expressão "pref"indica o valor da entrada de equilíbrio de mistura 203 para ajustar o equilíbrio entre o sinal principal 201 e os sinais associados 202. O valor da entrada de controle de equilíbrio de mistura 203 deve ter um intervalo de [-*...+*], com -* levando à atenuação total do sinal associado 202, 0 sendo um valor neutro levando à mistura de acordo com os metadados de mistura 202a , e » levando à atenuação total do sinal principal 201.

[00078] Para este exemplo, envolvendo um sinal principal multicanal 5.1 201 e um sinal associado multicanal 5.1 202, a aplicação das técnicas para um sinal multicanal resulta no pseudocódigo que segue, com gainA e gainM[ch] sendo os ganhos efetivos ou fatores de dimensionamento aplicados sobre o sinal associado 202 e os canais do sinal principal 201, respectivamente.

[00079] O pseudocódigo abaixo opera no domínio dB.

[00080] Este pseudocódigo é executado para cada um dos canais dos sinais de entrada.

[00081] Assim, quando o equilíbrio de mistura está no seu valor máximo de +~ dB, o sinal associado 201 é o sinal dominante 206, de modo que o sinal principal 201 é totalmente atenuado e o sinal misturado 208 é essencialmente o sinal associado 202 não dimensionado. Em contraste, quando o equilíbrio de mistura 203 está no seu valor mínimo de -» dB, o sinal principal 201 é o sinal dominante 206, de modo que o sinal associado 202 é completamente atenuado e o sinal misturado 208 é essencialmente o sinal principal 201 não dimensionado.

[00082] Nota-se que, neste exemplo particular, o sinal dominante também pode ser ligeiramente dimensionado no caso em que o sinal principal é o sinal dominante (linha gainM [ch] = sclmain + scl [ch] - mainscltotal na outra condição). Isto permite que o algoritmo evite que o ganho positivo seja aplicado ao sinal principal, o que é possível com metadados DD+. O resultado final deveria ser que o canal mais alto do principal é limitado a 0 dB, o que corresponde aproximadamente ao princípio geral de que o sinal dominante deveria ter um ganho de unidade.

[00083] Para aplicar este pseudocódigo para um padrão específico de metadados, os termos de metadados adequados devem ser substituídos para as variáveis gerais tais como scl [ch]. Assim, com base na forma específica dos sinais, incluindo o número de canais, o tipo de codificação e os metadados disponíveis nos sinais, a pessoa com habilidade na técnica deveria ser capaz de mapear os códigos de metadados generalizados apropriados para um caso específico. Para alguns casos específicos, nem todos os códigos de metadados listados acima devem ser relevantes. Por exemplo, para misturar dois sinais de canais múltiplos 5.1, a pessoa com habilidade na técnica deveria ser capaz de determinar que os metadados de panoramização não estejam presentes ou que deveriam ser ignorados uma vez que o sinal associado já contém os exatos mesmos canais que o sinal principal.

[00084] Para o caso em que o sinal associado 202 é mono e o sinal principal 201 não é, os ganhos de panoramização podem ter que ser aplicados ao sinal associado 201. Neste caso, se o sinal associado 201 tem um canal LFE, o canal LFE pode ser misturado tal como descrito no pseudocódigo acima como scl [lfe].

[00085] Para misturar DD+ usando metadados de mistura de nível ES, os seguintes códigos de metadados de mistura de nível ES devem ser utilizados: extpgmscl, panmean, extpgmlscl, extpgmrscl, extpgmcscl, extpgmlsscl, extpgmrsscl, extpgmlfescl, pgmscl.

[00086] Em geral, todos os outros metadados de mistura não são necessários na mistura. O código de metadados dmxscl pode ser adicionalmente utilizado para sintetização, em que sintetização é a correspondência do sinal para um formato com um número diferente de canais. O código de metadados pgmscl, que representa um fator de dimensionamento para o sinal associado, pode ser adicionalmente utilizado para ajustar os fatores de dimensionamento de metadados para o canal principal durante a mistura. Para o pseudocódigo acima, a variável sclasso representa pgmscl. A partir da linha de pseudocódigo, se (pref > mainscltotal - sclasso), pode ser visto que sclasso, que representa o código de metadados pgmscl em DD+, então, influencia a comparação se em que o sinal dominante é determinado, porque sclasso é subtraído de mainscltotal antes da comparação com pref. O uso de sclasso, no entanto, é opcional e se sclasso não está presente ou não se deseja utilizar o valor, então, pref é simplesmente comparado com mainscltotal.

[00087] Para misturar Dolby Pulso/HE-AAC usando metadados de mistura de nível PES, por exemplo, em DVB, os seguintes códigos de metadados de mistura de nível ES podem ser utilizados: AD_gain_byte_center, AD_gain_byte_front, AD_gain_byte_fechado.

[00088] Para melhores resultados, o ganho máximo resultante de cada [+ AD_gain_byte_center AD_fade_byte], [+ AD_gain_byte_front AD_fade_byte], [+ AD_gain_byte_fechado AD_fade_byte] não deve ser superior a +12 dB e estes ganhos efetivos deveriam ser normalizados em um modo em que o maior ganho não exceda 12 dB, enquanto que as relações entre AD_gain_byte_center, AD_gain_byte_front, AD_gain_byte_fechado devem ser mantidas, ou seja, AD_fade_byte = min (12 dB, AD_fade_byte + max (AD_gain_byte_center, AD_gain_byte_front, AD_gain_byte_fechado)).

[00089] A Figura 6 mostra outra modalidade de um misturador 600 para a mistura de um sinal principal multicanal 5.1 610 com um sinal associado multicanal 5.1 620 incluindo metadados de mistura 640, por exemplo, sinais Dolby Digital Plus (DD+ ou E-AC-3 (Enhanced AC sinais -3)). As entradas incluem uma entrada de equilíbrio de mistura 601, um sinal principal 610 e um sinal associado 620 com metadados de mistura 640. Neste exemplo, o sinal principal de entrada 610 e o sinal misturado de saída 630 são sinais multicanais 5.1 que contêm seis canais: esquerdo, direito, central, esquerdo fechado, direito fechado e LFE (efeitos de baixa frequência). Assim, o sinal de entrada principal 610 compreende os seis canais: esquerdo 611, direito 612, central 613, esquerdo fechado 614, direito fechado 615 e LFE (efeitos de baixa frequência) 616. O sinal associado 620 também compreende seis canais: esquerdo 621, direito 622, central 623, esquerdo fechado 624, direito fechado 625 e LFE (efeitos de baixa frequência) 626. Os metadados de mistura 640 também incluem um fator de dimensionamento primário 647 e fatores de dimensionamento para os seis canais: esquerdo 641, direito 642, central 643, esquerdo fechado 644, direito fechado 645 e LFE (efeitos de baixa frequência) 646. Em alguns casos, os metadados de mistura podem ainda compreender um fator de dimensionamento para o sinal associado 648. Se este fator de dimensionamento para o sinal associado não está presente, então ele é ignorado ou tratado como unidade ou 0 dB. O misturador 600 também está configurado para receber a entrada a partir da entrada de equilíbrio de mistura 601. Com base nos metadados de mistura 640 e a entrada de equilíbrio de mistura 601, fatores de dimensionamento para cada canal 651, 652, 653, 654, 655, 656 são determinados com base na lógica no pseudocódigo acima e também mostrados na Figura 7A, que é um fluxograma descrevendo como o fator de dimensionamento para cada canal é determinado. A partir dos fatores de dimensionamento de mistura 651, 652, 653, 654, 655, 656, cada canal dos sinais de entrada é dimensionado, em que o dimensionamento primário ocorre no sinal não dominante e o sinal dominante é apenas minimamente dimensionado ou não dimensionado de forma alguma. Finalmente, os canais correspondentes dos sinais de canal dimensionados 660, 670 são combinados em canais misturados e os seis canais misturados 631, 632, 633, 634, 635, 636 incluem, então, o sinal de saída misturado 5.1 630. Assim, o sinal 5.1 misturado de saída 630 também compreende seis canais, esquerdo 631, direito 632, central 633, esquerdo fechado 634, direito fechado 635 e LFE (efeitos de baixa frequência) 616, que são, cada um, calculados de acordo com a lógica da Figura 7A.

[00090] A Figura 7A mostra um fluxograma que descreve o exemplo da Figura 6 para a mistura de um sinal principal de entrada multicanal 5.1 610 com um sinal associado de entrada multicanal 5.1 620, em que o sinal dominante 206 também pode ser ligeiramente dimensionado se o sinal principal 610 for o sinal dominante 206. Como mostrado na Figura 6, as entradas compreendem uma entrada de equilíbrio de mistura 601, um sinal principal 610 e um sinal associado 620 com metadados de mistura 640, em que os sinais de entrada e o sinal de saída misturado 630 são sinais multicanais 5.1. Assim, os sinais 610, 620, 630 compreendem seis canais e os metadados de mistura 640 compreendem um fator de dimensionamento primário 647 e fatores de dimensionamento para os seis canais: esquerdo 641, direito 642, central 643, esquerdo fechado 644, direito fechado 654 e LFE (efeitos de baixa frequência) 646. Em alguns casos, os metadados de mistura 640 podem ainda compreender um fator de dimensionamento para o sinal associado, sclasso 648. Se sclasso 648 não está presente ou não é desejado para ser utilizado na mistura, um valor de 0 dB é utilizado para sclasso 648 e nenhum ajuste dos outros fatores de dimensionamento é feito. Na etapa 701, o fator de dimensionamento máximo dos cinco "canais normais", esquerdo 641, direito 642, central 643, esquerdo fechado 644 e direito fechado 645, é determinado como "maxscl". Em seguida, na etapa 702, mainscltotalé calculado como a soma de sclmain 647 e maxscl, em que sclmain 647 é o fator de dimensionamento primário dos metadados de mistura, maxsclé o máximo dos fatores de dimensionamento dos canais normais 641, 642, 643, 644, 645. A etapa 703 em que o fator de dimensionamento LFE é determinado está descrita em maior detalhe na Figura 7a.

[00091] A Figura 7B mostra um fluxograma provendo detalhes para a etapa 703 da Figura 7A, para a determinação do fator de dimensionamento para o canal LFE relativo ao exemplo da Figura 7A para a mistura de dois sinais de múltiplos canais 5.1. Na etapa 703a, os metadados de mistura para o canal LFE 646 são comparados com o fator de dimensionamento máximo para os outros canais, maxscl, determinado na etapa 701 da Figura 7A. Se o fator de dimensionamento LFE 646 for maior do que ou igual a maxscl, então, na etapa 703y, o fator de dimensionamento para o canal LFE, gain [lfe] 656, é determinado para ser maxscl. De outro modo, para o caso negativo, na etapa 703n o fator de dimensionamento para o canal LFE, gain [lfe] 656, é determinado para ser o fator de dimensionamento dos metadados de mistura para o canal LFE 646. Então, na etapa 703c, gain [lfe] 656 é determinado a partir dos valores calculados nas etapas 703y ou 703n. O gain [lfe] 656, que é o fator de dimensionamento a ser aplicado ao canal LFE para misturar os sinais, será então utilizado posteriormente nas etapas 707n e 707y da Figura 7A.

[00092] Então, continuando com a figura 7A, na etapa 704, pref, que é o valor da entrada de controle de equilíbrio de mistura 601, é comparado com mainscltotal menos sclasso 648, em que sclasso 648 é o fator de dimensionamento para o sinal associado. Note-se que sclasso 648 pode não estar presente ou pode ser ignorado, caso em que prefé simplesmente comparado com mainscltotal. Por exemplo, para sinais DD+, o código de metadados pgmscl corresponde a sclasso 648. Se pref 602 for maior do que mainscltotal menos sclasso 648, então, na etapa 705y o sinal associado 620 é determinado como sendo o sinal dominante 206. Então, em 706y não há nenhum ganho para o sinal associado, como este é o sinal dominante, de modo que o ganho para o sinal associado é unidade, ou zero dB, indicando que o canal associado não é dimensionado. Então, em 707y o ganho para cada canal do sinal principal para todos os canais (esquerdo, direito, central, esquerdo fechado, direito fechado e Ife), gainM [ch] 651, 652, 653, 654, 655 é determinado como a soma do fator de dimensionamento primário, sclmain 647, e os fatores de dimensionamento para os canais normais scl [ch] 641, 642, 643, 644, 645 menos pref 602 menos sclasso. O cálculo em 707y é repetido para todos os seis canais do sinal principal.

[00093] Se a decisão na etapa 704 for negativa uma vez que pref 602 não é maior do que mainscltotal, então, na etapa 705n o sinal principal é determinado como sendo o sinal dominante. Então, em 706n, o fator de ganho para o sinal associado, gainA, é determinado como pref 602 menos mainscltotal mais sclasso 648. Neste caso especial deste exemplo em particular, o sinal principal 610 também é dimensionado, mesmo que este seja determinado como sendo o sinal dominante e os fatores de dimensionamento 651, 652, 653, 654, 655, 656 para cada canal do sinal principal 620 são calculados como sclmain 647 mais o fator de dimensionamento para os canais correspondentes, scl [ch] 641, 642, 643, 644, 645, menos mainscltotal. Assim, na etapa 707n, o ganho para cada canal do sinal principal para todos os canais (esquerdo, direito, central, esquerdo fechado, direito fechado e Ife), gainM [ch] 651, 652, 653, 654, 655 é determinado como a soma de sclmain 647 e scl [ch] 641, 642, 643, 644, 645 menos mainscltotal. O cálculo em 707n é repetido para todos os seis canais. Os ganhos a partir das etapas 706y, 707y, 706n e 707n, bem como os sinais de entrada 620, 610 são então alimentados na etapa 708, em que cada canal do sinal principal 611, 612, 613, 614, 615, 616 e dos sinais associados 621, 622, 623, 624, 625, 626 é dimensionado de acordo com os fatores de dimensionamento 651, 652, 653, 654, 655, 656 determinados. Note-se que no caso comum apenas o sinal dominante é dimensionado, mas neste caso especial, o sinal não dominante também pode ser dimensionado. Em seguida, na etapa 709, que é repetida para cada um dos seis canais, o sinal associado dimensionado 670 e sinais principais dimensionados 660 para cada canal são misturados em seis canais misturados 631, 632, 633, 634, 635, 636. Finalmente, na etapa 710 os seis canais misturados 631, 632, 633, 634, 635, 636 são combinados em um único sinal para compreender o sinal de saída misturado 5.1 630 da etapa 711.

[00094] A Figura 8 mostra outra modalidade de um misturador 800 para a mistura de um sinal principal multicanal 5.1 810 com um sinal associado de dois canais mono + LFE 820 incluindo metadados de mistura 840, por exemplo, sinais Dolby Digital Plus (DD+ ou E-AC-3 (Enhanced AC-3)). A entrada inclui uma entrada de equilíbrio de mistura 801, um sinal principal 810 e um sinal associado 820 com metadados de mistura 840. Neste exemplo, o sinal principal de entrada 810 e o sinal misturado de saída 830 são sinais multicanais 5.1 que contêm seis canais: esquerdo, direito, central, esquerdo fechado, direito fechado e LFE (efeitos de baixa frequência). Assim, o sinal de entrada principal 810 compreende os seis canais: esquerdo 811, direito 812, central 813, esquerdo fechado 814, direito fechado 815 e LFE (efeitos de baixa frequência) 816. O sinal associado mono+LFE 820 compreende apenas dois canais: central 823 e LFE (efeitos de baixa frequência) 826. Os metadados de mistura 840 também incluem metadados com valores de dimensionamento para o fator de dimensionamento primário 847 e os seis canais: esquerdo 841, direito 842, central 843, esquerdo fechado 844, direito fechado 845 e LFE (efeitos de baixa frequência) 846. O misturador 800 também está configurado para receber a entrada a partir da entrada de equilíbrio de mistura 801. Com base nos metadados de mistura 840 e na entrada de controle de equilíbrio de mistura 801, um fator de dimensionamento para cada canal 851, 852, 853, 854, 855, 856 é determinado com base na lógica no pseudocódigo acima e também mostrada na Figura 7, que é um fluxograma que descreve como a dimensionamento para cada canal é determinada. A partir dos fatores de dimensionamento de mistura, cada canal do sinal de entrada não dominante 207 é dimensionado, em que o sinal dominante 206 geralmente não é dimensionado de todo ou, em casos especiais, é apenas minimamente dimensionado. O valor panoramização média é usado para a panoramização do canal mono do canal mono+LFE do sinal associado sobre os canais 5.1. Panoramização média é um valor de 0 a 239 representando 0 a 358.5 graus em passos de grau de 1.5, em que 0 graus é a direção do alto-falante central. Para mais detalhes sobre a aplicação de panoramização média, consulte a Seção "E.4.3.5 Panning" de ETSI TS 102 366 v1.2.1. Finalmente, os seis pares de canais para os dois sinais de entrada dimensionados são combinados aos pares para cada canal em seis canais misturados 831, 832, 833, 834, 835, 836. Os seis canais misturados 831, 832, 833, 834, 835, 836, então, compreendem o sinal de saída misturado 5.1 830. Assim, o sinal 5.1 misturado de saída 830 também compreende seis canais, esquerdo 831, direita 832, central 833, esquerdo fechado 834, direito fechado 835 e LFE (efeitos de baixa frequência) 836, que são, cada um, calculados de acordo com a lógica da Figura 7.

[00095] Em geral, para melhores resultados, o modo do canal do sinal misturado deverá ser o mesmo que o sinal de áudio principal decodificado, embora ele possa, evidentemente, ser alterado em um estágio posterior, por exemplo, sintetizado. Para a maioria dos casos, o valor da entrada de equilíbrio de mistura deverá ser pequeno, geralmente até 10 dB, embora a técnica suporte arbitrariamente valores grandes (e pequenos).

[00096] Em alguns casos, o número de canais do sinal principal e dos sinais associados pode ser diferente. Em tal caso, as técnicas aqui descritas podem ainda ser aplicadas, em que alguns dos canais de entrada podem ter de serem correspondidos aos canais do sinal misturado, que podem ou não estar presentes no sinal de entrada. Para melhores resultados, o sinal associado só deveria conter localizações de canal que também estejam presentes no sinal principal, a não ser que o sinal associado seja mono (acmod 1), ou os canais do sinal associado podem ser, de outro modo, apropriadamente correspondidos aos canais do sinal principal. Do mesmo modo, um canal de efeitos de baixa frequência (LFE) deveria, de preferência, só estar presente no sinal associado se o sinal principal também contiver um canal LFE. Caso contrário, o canal LFE do sinal associado deveria ser ignorado no processo de mistura. Da mesma forma, se o sinal associado for mono+LFE, o LFE deveria ser preferencialmente misturado no áudio principal LFE e o mono deveria, de preferência, ser panoramizado nos canais principais do sinal de áudio principal.

[00097] Em geral, é preferível para o processo de mistura que os sinais de entrada sejam normalizados. A normalização pode ser aplicada tanto antes como após a determinação do sinal dominante, uma vez que os resultados serão os mesmos. Na prática, é preferível assegurar que o valor dialnorm do conteúdo dos sinais de entrada seja ajustado de forma correta e para ambos, o sinal principal e os sinais associados, para estar no nível de diálogo 31 antes da mistura. Posteriormente, o nível do sinal dominante, que é considerado o "sinal em destaque", também deve idealmente sair do misturador em dialnorm 31. Se os sinais de entrada não são normalizados, então, a normalização deveria geralmente ser executada antes da mistura, embora as técnicas também possam ser aplicadas sem normalização e o sinal misturado então normalizado, se necessário.

[00098] Ao misturar sinais de múltiplos canais, as relações entre scl [ch] devem ser preferencialmente mantidas no sinal que sai. No entanto, se scl [lfe] tiver um valor mais alto do que todos os outros scl [ch] (transmitidos ou zero por padrão), estas devem ser modificadas em direção ao valor máximo do outro scl [ch].

[00099] Nota-se que para os sinais Dolby Pulso os metadados de mistura são normalmente incluídos no Subfluxo de áudio, como definido na Seção "E.2" do ETSI TS 101 154 V1.9.1 e ETSI TS 102 366 V1.2.1, Anexo E. (veja também o livro azul de DVB A0001 r8). Independentemente da forma como os metadados são transmitidos ou empacotados no sinal de fluxo, as técnicas aqui descritas ainda podem ser aplicadas, desde que os metadados de mistura estejam disponíveis. Assim, as modalidades e exemplos descritos podem ter de ser adaptados de forma adequada para lidar com tal situação.

[000100] O exemplo acima com uma faixa associada contendo comentários do diretor é apenas um exemplo. As técnicas descritas podem, contudo, ser aplicadas a qualquer mistura de sinais principal e associados, independentemente do conteúdo contido nos sinais. Por exemplo, o primeiro sinal poderia conter um programa de esportes ao vivo, em que o segundo sinal provê comentários locais e/ou comentários em um idioma alternativo. Aqui existem múltiplas possibilidades de como os sinais poderiam ser distribuídos. Por exemplo, o primeiro sinal poderia ser a trilha sonora geral sem comentários e o segundo sinal poderia ser comentário local.

[000101] Um caso de uso adicional para as técnicas descritas aqui poderia se relacionar com uma faixa separada para aqueles com dificuldade de audição, em que o sinal associado contém aprimoramentos especiais para melhorar o entendimento do diálogo. Da mesma forma, como uma ajuda para os telespectadores com deficiência visual, o sinal associado poderia conter explicação falada dos conteúdos de cena.

[000102] No entanto, as técnicas aqui descritas não estão limitadas apenas a diálogo, mas também podem ser aplicadas a todos os tipos de sinais de áudio, tais como música, uma vez que as técnicas são baseadas no nível de som percebido. Por exemplo, em relação com a música uma faixa associada poderia conter uma voz ou trilha de instrumento de sobreposição adicional para a música; em outras palavras, a faixa principal poderia ser a trilha instrumental básica vamos dizer apenas piano e guitarra acústica, uma primeira faixa associada poderia conter uma sobreposição de voz, uma segunda faixa associada música de rock com a guitarra elétrica e baixo e uma terceira faixa com uma sobreposição de techno com uma batida de graves rápida e forte. Neste caso, o autor do conteúdo teria a oportunidade de especificar as características de mistura desejadas, especificando como cada faixa associada deve ser misturada e as técnicas aqui descritas permitiriam ao ouvinte personalizar essas configurações, ajustando a entrada de equilíbrio para os sinais misturados. Como outro exemplo, as técnicas também poderiam ser aplicadas a um sinal musical em que diferentes canais contêm diferentes aspectos musicais, tais como instrumentos de corda ou percussão e vocais, em que diferentes canais são misturados por meio de metadados e uma entrada de equilíbrio de mistura.

[000103] As técnicas aqui descritas dependem da determinação do sinal dominante no sinal misturado. Assim, o sinal que é determinado como sendo o sinal dominante recebe o maior ganho da composição. Além de manter constante um nível de som percebido do sinal misturado através da utilização do controle de entrada de equilíbrio de mistura, o usuário pode controlar o equilíbrio de mistura em todos os momentos. Além disso, variações de ganho são também suaves em toda a gama.

[000104] Embora as técnicas aqui descritas tenham sido ilustradas com exemplos específicos, tais como a mistura de sinais de múltiplos canais que contêm faixas de diálogo, estas técnicas não deveriam ser limitadas a estes exemplos ou modalidades uma vez que as técnicas podem ser igualmente aplicadas a uma situação em que o sinal principal e os sinais associados tenham uma composição muito diferente, desde que os metadados de mistura e a entrada de equilíbrio de mistura possam ser usados para determinar o sinal dominante para o sinal misturado.

[000105] No presente documento, vários métodos e disposições para misturar sinais de áudio foram descritos. Usando estes métodos e/ou dispositivos, tais como misturadores de sinal, é possível manter um nível de som percebido consistente para um sinal misturado, enquanto se permite ajustar o equilíbrio entre o sinal principal e o sinal associado. Os métodos podem ser executados sem a amostragem ou análise dos sinais de entrada ou processamento de alta potência, dado que os cálculos podem ser facilmente executados em tempo real utilizando os metadados que acompanham os sinais de entrada por dispositivos eletrônicos relativamente simples e básicos.

[000106] Deve-se observar que a descrição e os desenhos apenas ilustram os princípios dos métodos e sistemas propostos. Assim, será apreciado que aqueles com habilidade na técnica serão capazes de conceber disposições diferentes que, embora não explicitamente descritas ou apresentadas aqui, abranjam os princípios dos métodos e sistemas propostos e sejam consideradas como parte da divulgação deste documento. Além disso, todas as declarações relatando aqui princípios, aspectos e modalidades dos métodos e dispositivos propostos, bem como exemplos específicos dos mesmos, destinam-se a abranger seus equivalentes.

[000107] Além disso, todos os exemplos relatados aqui são principalmente destinados de forma expressa para ser apenas para fins pedagógicos, para ajudar o leitor a compreender os princípios dos métodos propostos e dispositivos e os conceitos apontados pelos inventores para favorecer a técnica e devem ser interpretados como sendo sem limitação para tais exemplos e condições especificamente relatados.

[000108] Além disso, deve-se observar que quaisquer diagramas de blocos representam, neste documento, vistas conceituais de dispositivos ilustrativos que incorporam os princípios da invenção. Do mesmo modo, faz-se observar que quaisquer gráficos de fluxo, diagramas de fluxo, diagramas de transição de estado, pseudocódigo e semelhantes representam vários processos que podem ser substancialmente representados em meio legível por computador e por isso executados por um computador ou processador, esteja tal computador ou processador explicitamente mostrado ou não.

Claims

1. Método para misturar dois sinais de entrada de áudio em um único sinal de áudio misturado enquanto mantém um nível de som percebido do sinal de áudio misturado, o método caracterizado pelo fato de que compreende as etapas de: receber um sinal de áudio de entrada principal; receber um sinal de áudio de entrada associado; em que o sinal de áudio de entrada associado é acoplado com o sinal de áudio de entrada principal; receber metadados de mistura, que contêm informações de dimensionamento para dimensionar o sinal de áudio de entrada principal e que especifica como o sinal de áudio de entrada principal e o sinal de áudio de entrada associado deveriam ser misturados, de modo a gerar um sinal de áudio misturado no nível de som percebido; em que a informação de dimensionamento a partir dos metadados de mistura compreende um fator de dimensionamento de metadados para o sinal de áudio de entrada principal, para dimensionar o sinal de áudio de entrada principal em relação ao sinal de áudio de entrada associado; receber uma entrada de equilíbrio de mistura, que denota um equilíbrio ajustável entre o sinal de áudio de entrada principal e o sinal de áudio de entrada associado, em que a entrada de equilíbrio de mistura compreende informação de dimensionamento que possibilita um desvio a partir de uma ponderação do sinal de áudio de entrada principal e do sinal de áudio de entrada associado no sinal de áudio misturado como especificado nos metadados de mistura; identificar um sinal dominante tanto como sendo o sinal de áudio de entrada principal ou o sinal de áudio de entrada associado a partir da informação de dimensionamento provida pelos metadados de mistura e da entrada de equilíbrio de mistura, em que o outro sinal de áudio de entrada respectivo é então identificado como um sinal não dominante; e em que o sinal dominante é identificado comparando a entrada de equilíbrio de mistura com o fator de dimensionamento de metadados para o sinal de áudio de entrada principal; dimensionar o sinal não dominante em relação ao sinal dominante; e combinar o sinal não dominante dimensionado com o sinal dominante para produzir o sinal misturado.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: determinar um fator de dimensionamento para o dimensionamento do sinal não dominante com base nas informações de dimensionamento a partir dos metadados de mistura e com base na entrada de equilíbrio de mistura; em que o fator de dimensionamento determinado é utilizado para o dimensionamento do sinal não dominante.

3. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que se o valor da entrada de equilíbrio de mistura for maior do que o fator de dimensionamento de metadados para o sinal de áudio de entrada principal a partir dos metadados de mistura, então, o sinal associado é determinado como sendo o sinal dominante; de outro modo, o sinal de áudio de entrada principal é determinado como sendo o sinal dominante.

4. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que se o sinal de áudio de entrada associado é identificado como sendo o sinal dominante, o método compreende ainda: calcular o fator de dimensionamento para o sinal de áudio de entrada principal como o fator de dimensionamento de metadados para o sinal de áudio de entrada principal a partir dos metadados de mistura menos o valor da entrada de equilíbrio de mistura.

5. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que se o sinal de áudio de entrada principal é identificado como sendo o sinal dominante, o método compreende ainda: calcular o fator de dimensionamento para o sinal de áudio de entrada associado como o valor da entrada de equilíbrio de mistura menos o fator de dimensionamento de metadados a partir dos metadados de mistura para o sinal de áudio de entrada principal.

6. Método, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado pelo fato de que os metadados de mistura estão contidos no sinal de áudio de entrada associado.

7. Método, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que o nível de som percebido é baseado em um nível ponderado médio dos sinais de áudio de entrada principal e do sinal de áudio de entrada associado.

8. Método, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que a entrada de equilíbrio de mistura compreende uma entrada de usuário externa provendo um valor a partir de valores negativos a valores positivos.

9. Dispositivo para misturar sinais, caracterizado pelo fato de que aplica o método de mistura de sinais conforme definido em qualquer uma das reivindicações 1 a 8.

10. Meio de armazenamento legível por processador caracterizado pelo fato de que armazena em um computador o método conforme definido em qualquer uma das reivindicações 1 a 8.

11. Dispositivo para misturar sinais de entrada de áudio em um único sinal de áudio misturado enquanto mantém um nível consistente de som percebido do sinal de áudio misturado, caracterizado pelo fato de que compreende: um receptor para receber um sinal de áudio de entrada principal, um sinal de áudio de entrada associado e os metadados de mistura; em que o sinal de áudio de entrada associado é acoplado com o sinal de áudio de entrada principal; em que os metadados de mistura contêm informação de dimensionamento para dimensionar o sinal de áudio de entrada principal; em que a informação de dimensionamento especifica como o sinal de áudio de entrada principal e o sinal de áudio de entrada associado deveriam ser misturados, a fim de gerar um sinal de áudio misturado no nível de som percebido; em que a informação de dimensionamento a partir dos metadados de mistura compreende um fator de dimensionamento de metadados para o sinal de áudio de entrada principal, para dimensionar o sinal de áudio de entrada principal em relação ao sinal de áudio de entrada associado; uma entrada de equilíbrio de mistura, que indica o balanço ajustável entre o sinal de áudio de entrada principal e o sinal de áudio de entrada associado; em que a entrada de equilíbrio de mistura compreende informação de dimensionamento que permite um desvio a partir de uma ponderação do sinal de áudio de entrada principal e do sinal de áudio de entrada associado no sinal de áudio misturado tal como especificado nos metadados de mistura; e uma unidade de mistura configurada para identificar um sinal dominante tanto como sendo o sinal de áudio de entrada principal ou o sinal de áudio de entrada associado a partir da informação de dimensionamento provida pelos metadados de mistura e da entrada de equilíbrio de mistura, em que o outro sinal de áudio de entrada respectivo é então identificado como um sinal não dominante; e em que o sinal dominante é identificado pela comparação da entrada de equilíbrio de mistura com o fator de dimensionamento de metadados para o sinal de áudio de entrada principal; em que a unidade de mistura é ainda configurada para dimensionar o sinal não dominante em relação ao sinal dominante; e para combinar o sinal não dominante dimensionado com o sinal dominante para produzir o sinal de áudio misturado.

12. Dispositivo, de acordo com a reivindicação 11, caracterizado pelo fato de que o fator de dimensionamento para o sinal não dominante é determinado diretamente a partir da informação de dimensionamento a partir dos metadados de mistura e da entrada de equilíbrio de mistura; o sinal não dominante é dimensionado utilizando-se o fator de dimensionamento determinado; e o sinal não dominante dimensionado é combinado com o sinal dominante no sinal misturado.

13. Dispositivo, de acordo com a reivindicação 11 ou 12, caracterizado pelo fato de que os metadados de mistura são integrados com o sinal de áudio de entrada associado.

14. Dispositivo, de acordo com qualquer uma das reivindicações 11 a 13, caracterizado pelo fato de que a entrada de equilíbrio de mistura compreende ainda uma entrada de usuário externa provendo um valor a partir de valores negativos a valores positivos.

15. Dispositivo, de acordo com qualquer uma das reivindicações 11 a 14, caracterizado pelo fato de que o receptor está ainda configurado para receber sinais de áudio de entrada principal e sinais de áudio de entrada associado de múltiplos canais e a unidade de mistura está configurada para misturar os sinais de áudio de entrada principal e sinais de áudio de entrada associado de múltiplos canais.