BR112019018592A2

BR112019018592A2 - aparelho e método para fornecer uma medida de espacialidade associada a um fluxo de áudio

Info

Publication number: BR112019018592A2
Application number: BR112019018592A
Authority: BR
Inventors: Scuda Ulli
Original assignee: Fraunhofer Ges Forschung
Priority date: 2017-03-08
Filing date: 2018-03-06
Publication date: 2020-04-07
Also published as: RU2019131467A3; JP6908718B2; CN110603820A; US20200021934A1; WO2018162487A1; US10952003B2; EP3593544B1; EP3373604A1; RU2019131467A; EP3593544A1; JP2020509429A; EP3373604B1; RU2762232C2; CN110603820B

Abstract

trata-se de um aparelho para avaliar um fluxo de áudio, em que o fluxo de áudio compreende canais de áudio a serem reproduzidos em pelo menos duas camadas espaciais diferentes, sendo que as duas camadas espaciais estão dispostas de uma maneira afastada ao longo de um eixo geométrico espacial, o aparelho é configurado para avaliar os canais de áudio do fluxo de áudio de modo a fornecer uma medida de espacialidade associada ao fluxo de áudio.

Description

APARELHO E MÉTODO PARA FORNECER UMA MEDIDA DE ESPACIALIDADE ASSOCIADA A UM FLUXO DE ÁUDIO

DESCRIÇÃO

CAMPO DA TÉCNICA [0001] Modalidades da presente invenção referem-se à avaliação de uma característica espacial associada a um fluxo de áudio, a saber, uma medida de espacialidade.

ANTECEDENTES [0002] A avaliação de conteúdo de áudio 3D com foco em sua qualidade 3D é um trabalho tedioso que necessita de uma sala de escuta específica e um engenheiro de áudio experiente que ouve a todo o conteúdo.

[0003] Ao trabalhar com áudio em um nível profissional, cada estágio de produção é específico e necessita de especialistas naquele campo específico. Uma pessoa recebe o conteúdo de estágios de produção anteriores para editar o mesmo. Finalmente, o mesmo é passado para o seguinte estágio de produção ou distribuição. Ao receber conteúdo, normalmente uma verificação de qualidade é realizada para garantir que o material é bom para trabalhar e corresponde aos dados padrões. Por exemplo, estações de difusão realizam uma verificação em todo o material recebido para ver se o nível geral ou a faixa dinâmica estão dentro da faixa desejada [1, 2, 3] . Portanto, existe um desejo por automatizar os processos descritos o máximo possível para reduzir os recursos necessários.

[0004] Ao lidar com áudio 3D, novos aspectos se somam à situação existente. Não somente isso, há mais

Petição 870190093974, de 19/09/2019, pág. 4/52

2/42 canais para supervisionar quanto à avaliação de ruído e possibilidade de mixagem de redução, mas também a questão de que em quais posições no tempo efeitos 3D ocorrem e quão fortes são. 0 último é de interesse pela seguinte razão. Até o momento, 5.1 tem sido o formato de som padrão para filmes e longas metragens no mercado doméstico. Todos os fluxos de trabalho e segmentos da cadeia de produção e distribuição (por exemplo, mixagem, masterização, plataforma de transmissão contínua, difusores, receptores A/V,...) têm capacidade para passar por som 5.1, que não é o caso para o áudio 3D, pois esse método de reprodução surgiu nos últimos cinco anos. Produtores de conteúdo estão melhorando a produção para esse formato nesse momento.

[0005] Se o conteúdo de áudio 3D estiver envolvido, mais fontes foram fornecidas em todos os pontos da cadeia de produção em comparação com o conteúdo dado. No máximo, estúdios de edição de som, estúdios de mixagem e estúdios de masterização são fatores de custo significativos pois seus ambientes de trabalho necessitam de modernizações consideráveis através da construção de salas maiores com uma acústica melhor, mais alto-falantes e fluxos de sinal estendidos de modo a se ter capacidade para trabalhar em conteúdo de áudio 3D. É por isso que decisões cuidadosas são realizadas, tal como se a produção receberá orçamentos maiores e trabalho extra a ser levado ao consumidor em áudio 3D.

[0006] Até o momento, a avaliação de conteúdo de áudio 3D e a realização de uma declaração sobre quão

Petição 870190093974, de 19/09/2019, pág. 5/52

3/42 impressionante os efeitos de áudio 3D são, foram realizadas apenas ouvindo-se o mesmo. Isso é realizado normalmente por um engenheiro de som experiente ou tonmeister e consome pelo menos o tempo do programa inteiro, se não mais. Devido aos custos extras elevados para instalações de audição de áudio 3D, a audição e avaliação devem ser eficientes.

[0007] Um método comum para analisar sinais de áudio de múltiplos canais é monitor de nível e ruído [4, 5, 6] . Um nível de um sinal é medido com o uso de um medidor de pico ou um medidor de pico verdadeiro com indicador de sobrecarga. Uma medida que está mais próxima da percepção humana é o ruído. Ruído integrado (BS.1770-3), faixa de ruído (EBU R 128 LRA) , ruído após ATSC A/85 (ato CALM), ruído momentâneo e de curto prazo, variância de ruído ou histórico de ruído são as medidas de ruído usadas com mais frequência. Todas essas medidas são bastante usadas para sinais estéreo e 5.1. O ruído para áudio 3D está atualmente sob investigação pela ITU.

[0008] Para comparar a relação de fase de dois (estéreo) ou cinco (5.1) sinais, goniômetro, vectorescopo e medidores de correlação estão disponíveis. A distribuição espectral de energia pode ser analisada com o uso de um analisador em tempo real (RTA) ou um espectrógrafo. Também há um analisador de som surround disponível para medir o equilíbrio dentro de um sinal 5.1.

[0009] Um método para visualizar um efeito 3D para um vídeo estereoscópico ao longo do tempo é o roteiro de profundidade, gráfico de profundidade ou plotagem de

Petição 870190093974, de 19/09/2019, pág. 6/52

4/42 profundidade [7, 8].

[0010] Todos esses métodos têm dois aspectos em comum. Todos falham em analisar áudio 3D pois foram desenvolvidos para sinais estéreo e 5.1. Além disso, não têm capacidade para dar informações sobre a qualidade 3D de um sinal de áudio 3D.

[0011] Portanto, existe um desejo por um conceito melhorado para obter uma medida de espacialidade para fluxos de áudio.

SUMÁRIO DA INVENÇÃO [0012] Modalidades da invenção fornecem um aparelho para avaliar um fluxo de áudio, em que o fluxo de áudio compreende canais de áudio a serem reproduzidos em pelo menos duas camadas espaciais diferentes. As duas camadas espaciais estão dispostas de uma maneira afastada ao longo de um eixo geométrico espacial. O aparelho é configurado adicionalmente para avaliar os canais de áudio do fluxo de áudio de modo a fornecer uma medida de espacialidade associada ao fluxo de áudio.

[0013] A modalidade descrita busca fornecer um conceito para avaliar a espacialidade associada a um fluxo de áudio, isto é, uma medida para uma espacialidade da cena de áudio descrita por canais de áudio compreendidos pelo fluxo de áudio. Tal conceito torna a avaliação mais demorada e onerosa do que uma avaliação por um engenheiro de som. Em particular, a avaliação de fluxos de áudio que compreendem canais de áudio que podem ser atribuídos a alto-falantes em diferentes camadas espaciais exige um

Petição 870190093974, de 19/09/2019, pág. 7/52

5/42 equipamento de sala de escuta caro ao avaliar o fluxo de áudio manualmente. Os canais de áudio dos fluxos de áudio pode ser atribuído aos alto-falantes dispostos em camadas espaciais, em que as camadas espaciais podem ser formadas por alto-falantes que estão dispostos em frente a e/ou atrás de um ouvinte, isto é, podem ser camadas frontais e/ou traseiras, e/ou as camadas espaciais também podem ser camadas horizontais, tal como uma na qual a cabeça de um ouvinte está localizada e/ou uma disposta mais alta ou mais abaixo da cabeça de um ouvinte, as quais são todas configurações típicas para áudio 3D. Portanto, o conceito oferece a vantagem de avaliar os ditos fluxos de áudio sem ter a necessidade de uma configuração de reprodução. Além disso, o tempo que um engenheiro de som teria que investir para avaliar um fluxo de áudio ouvindo ao mesmo pode ser economizado. A modalidade descrita pode, por exemplo, fornecer ao engenheiro de som ou outra pessoa versada na técnica, uma indicação de quais intervalos de tempo são de interesse especial do fluxo de áudio. Desse modo, o engenheiro de som pode precisar apenas ouvir a esses intervalos de tempo indicados do fluxo de áudio para validar um resultado da avaliação do aparelho, que resulta em uma redução significativa em custo de trabalho.

[0014] Em algumas modalidades, o eixo geométrico espacial é orientado horizontalmente ou o eixo geométrico espacial é orientado verticalmente. Ao ter o eixo geométrico espacial orientado horizontalmente, uma primeira camada pode estar localizada em frente a um ouvinte e uma

Petição 870190093974, de 19/09/2019, pág. 8/52

6/42 segunda camada pode estar localizada atrás de um ouvinte.

Para um eixo geométrico espacial orientado verticalmente, uma primeira camada pode estar localizada acima do ouvinte e uma segunda camada pode estar na mesma camada que o ouvinte ou abaixo do ouvinte.

[0015] Em algumas modalidades, o aparelho é configurado para obter uma informação de primeiro nível com base em um primeiro conjunto de canais de áudio do fluxo de áudio e para obter uma informação de segundo nível com base em um segundo conjunto de canais de áudio do fluxo de áudio. Adicionalmente, o aparelho é configurado para determinar um nível espacial de informações com base no primeiro nível de informações e no segundo nível de informações e para determinar o nível de espacialidade com base na informação de nível espacial. Para agrupamento, canais que devem ser reproduzidos em alto-falantes próximos uns dos outros podem ser usados para formar um grupo. Ademais, para avaliar a espacialidade ou obter a informação de nível espacial, preferencialmente, grupos que são atribuídos a alto-falantes são usados, em que os altofalantes de um grupo estão localizados afastados dos altofalantes de outro grupo. Desse modo, quando um som é, eventualmente, reproduzido apenas em um lado de um ouvinte, por exemplo, a partir de um grupo de alto-falantes acima do ouvinte, e nenhum som ou apenas um som com um volume baixo é reproduzido a partir do outro lado, por exemplo, a partir de um grupo de alto-falantes abaixo do ouvinte, um forte efeito espacial pode ser observado e determinado.

Petição 870190093974, de 19/09/2019, pág. 9/52

7/42 [0016] Em algumas modalidades, o primeiro conjunto de canais de áudio do fluxo de áudio é disjunto do segundo conjunto de canais de áudio do fluxo de áudio. Usar conjuntos disjuntos permite uma determinação de uma informação de nível espacial mais significativa, por exemplo, ao usar canais de alto-falantes que estão dispostos de maneira oposta. Como conjuntos disjuntos são preferencialmente reproduzidos em alto-falantes que são orientados em direções diferentes a partir do ouvinte uma medida de espacialidade melhorada pode ser obtida com base na informação de nível espacial obtida a partir da mesma.

[0017] Em algumas modalidades, o primeiro conjunto dos canais de áudio do fluxo de áudio tem que ser reproduzido em alto-falantes em uma ou mais primeiras camadas espaciais e o segundo conjunto dos canais de áudio do fluxo de áudio tem que ser reproduzido em alto-falantes em uma ou mais segundas camadas espaciais. A uma ou mais primeiras camadas e a uma ou mais segundas camadas são espacialmente afastadas, por exemplo, de modo que sejam conjuntos disjuntos. Com o uso, por exemplo, de uma primeira camada acima e uma segunda camada abaixo de um ouvinte, uma camada especial de informações pode ser derivada quando uma fonte de som é mais proeminente a partir dos alto-falantes superiores e os alto-falantes no fundo ou na camada média fornecem um som ambiente ou de fundo que tem um nível inferior.

[0018] Em algumas modalidades, o aparelho é configurado para determinar um limiar de mascaramento com

Petição 870190093974, de 19/09/2019, pág. 10/52

8/42 base em uma informação de nível do primeiro conjunto de canais de áudio e para comparar o limiar de mascaramento com uma informação de nível do segundo conjunto de canais de áudio. Adicionalmente, o aparelho é configurado para aumentar uma informação de nível espacial quando a comparação indica que o limiar de mascaramento é excedido pela informação de nível do segundo conjunto de canais de áudio. Uma informação de nível pode ser um nível de som que pode ser obtido através de uma estimativa instantânea ou promediada de um nível de som de um canal de áudio. A informação de nível também pode, por exemplo, descrever uma energia que podería ser estimada por valores quadrados (por exemplo, promediados) de um sinal de um canal de áudio. Alternativamente, a informação de nível também pode ser obtida com o uso de valores absolutos ou valores máximos de um período de tempo de um sinal de áudio. A modalidade descrita, pode usar, por exemplo, um limiar de percepção psicoacústica para definir o limiar de mascaramento. Com base no limiar de mascaramento, uma decisão pode ser tomada, com relação a se um sinal ou uma fonte de som é percebida proveniente apenas de um conjunto de canais de áudio, por exemplo, o segundo conjunto de canais de áudio.

[0019] Em algumas modalidades, o aparelho é configurado para determinar uma medida de similaridade entre um primeiro conjunto de canais de áudio do fluxo de áudio a ser reproduzido em uma ou mais primeiras camadas espaciais e um segundo conjunto de canais de áudio do fluxo de áudio a ser reproduzido em uma ou mais segundas camadas

Petição 870190093974, de 19/09/2019, pág. 11/52

9/42 espaciais. Adicionalmente, o aparelho é configurado para determinar a medida de espacialidade com base na medida de similaridade. Quando componentes de sinal a serem reproduzidos no primeiro conjunto de canais de áudio não estão correlacionados com componentes de sinal a serem reproduzidos no segundo conjunto de canais de áudio, é possível assumir que dois objetos de áudio diferentes são reproduzidos em cada conjunto de canais de áudio, em que os canais são atribuídos a diferentes alto-falantes. Em outras palavras, sinais não correlacionados indicam conteúdo de áudio não similar a ser reproduzido em diferentes canais. Desse modo, uma forte impressão espacial pode ser entregue a um ouvinte conforme objetos diferentes podem ser percebidos a partir de conjuntos de canais variados. Além disso, uma correlação cruzada pode ser obtida com o uso de sinais individuais do grupo de canais ou através de correlação cruzada de sinais de soma. Os sinais de soma podem ser obtidos resumindo-se sinais individuais de um grupo de canais ou pares de canais. Assim, uma avaliação de similaridade pode ocorrer com base em correlação cruzada média entre grupos de canais ou pares de canais.

[0020] Em algumas modalidades, o aparelho é configurado para determinar a medida de espacialidade de modo que quanto menor a medida de similaridade maior a medida de espacialidade. Usar a relação simples descrita (por exemplo, proporcionalidade inversa) entre a medida de similaridade e a medida de espacialidade permite uma simples determinação da medida de espacialidade com base na

Petição 870190093974, de 19/09/2019, pág. 12/52

10/42 medida de similaridade.

[0021]	Em algumas	modalidades,	o	aparelho	é
configurado	para determinar	um limiar de	mascaramento	com
base em uma	informação de	nível do primeiro	conjunto	de

canais de áudio e para comparar o limiar de mascaramento com uma informação de nível do segundo conjunto de canais de áudio. Adicionalmente, o aparelho é configurado para aumentar a medida de espacialidade quando a comparação indica que o limiar de mascaramento está excedido (por exemplo, apenas levemente excedido) através da informação de nível do segundo conjunto de canais de áudio e uma medida de similaridade indica uma baixa similaridade entre o primeiro conjunto de canais de áudio e o segundo conjunto de canais de áudio. Usar a informação de nível espacial e a medida de similaridade em combinação permite uma determinação mais precisa e confiável da medida de espacialidade. Além disso, quando um indicador (por exemplo, a informação de nível espacial ou a medida de similaridade) indica uma espacialidade neutra, o outro indicador pode ser usado para se orientar em relação a decisão por espacialidade alta ou baixa do fluxo de áudio.

[0022] Em algumas modalidades, o aparelho é configurado para analisar os canais de áudio do fluxo de áudio com relação a uma variação temporal de um posicionamento panorâmico de uma fonte de som nos canais de áudio. Analisar os canais de áudio com relação a uma alteração do posicionamento panorâmico permite o rastreamento simples de objetos de áudio sobre os canais de

Petição 870190093974, de 19/09/2019, pág. 13/52

11/42 áudio. Mover objetos de áudio entre os canais de áudio ao longo do tempo produz uma impressão espacial percebida aumentada e, portanto, analisar o dito posicionamento panorâmico é útil para uma medida de espacialidade significativa.

[0023] Em algumas modalidades, o aparelho é configurado para obter uma estimativa de origem de mixagem de aumento com base em uma medida de similaridade entre um primeiro conjunto de canais de áudio do fluxo de áudio e um segundo conjunto de canais de áudio do fluxo de áudio. Adicionalmente, o aparelho é configurado para determinar a medida de espacialidade com base na estimativa de origem de mixagem de aumento. Uma estimativa de origem de mixagem de aumento pode indicar se um fluxo de áudio é obtido a partir de um fluxo de áudio que tem menos canais de áudio (por exemplo, mixagem de aumento de estéreo para 5.1 ou 7.1, ou um fluxo de áudio para 22.2 com base em um fluxo de áudio 5.1). Portanto, quando um fluxo de áudio é com base em uma mixagem de aumento, componentes de sinal dos canais de áudio terão uma similaridade superior na medida em que são, de modo geral, derivados de um número inferior de sinais de fonte. Alternativamente, uma mixagem de aumento pode ser detectada quando, por exemplo, se detecta que em uma primeira camada, principalmente, um som direto de uma fonte de som é reproduzido (por exemplo, sem reverberação ou pouca reverberação) e em uma segunda camada um componente difuso da fonte de som é reproduzido (por exemplo, reverberação tardia). Um fluxo de áudio que ocorre com base

Petição 870190093974, de 19/09/2019, pág. 14/52

12/42 em uma mixagem de aumento tem uma influência sobre uma qualidade de uma impressão espacial e, portanto, é útil para determinar a medida de espacialidade.

[0024] Em algumas modalidades o aparelho é configurado para diminuir a medida de espacialidade com base na estimativa de origem de mixagem de aumento quando a estimativa de origem de mixagem de aumento indica que os canais de áudio do fluxo de áudio são derivados de um fluxo de áudio com menos canais de áudio. De modo geral, um fluxo de áudio obtido a partir de um fluxo de áudio com menos canais de áudio será percebido com menos qualidade em termos de impressão espacial. Portanto, é adequado diminuir a medida de espacialidade se for detectado que o fluxo de

áudio ocorre com	base em um	fluxo de áudio com menos
canais .
[0025]	Em	algumas modalidades, o aparelho	é
configurado	para	emitir a	medida de espacialidade
acompanhada	pela	estimativa	de origem de mixagem	de
aumento. Emitir separadamente	a estimativa de origem	de
mixagem de	aument	o pode ser	útil na medida em que	um

engenheiro de som pode usar a mesma como uma informação secundária importante. O engenheiro de som pode usar a estimativa de origem de mixagem de aumento como uma informação significativa para, por exemplo, avaliação da espacialidade do fluxo de áudio.

[0026] Em algumas modalidades, o aparelho é configurado para fornecer a medida de espacialidade com base em uma ponderação de pelo menos dois dos seguintes

Petição 870190093974, de 19/09/2019, pág. 15/52

13/42 parâmetros: uma informação de nível espacial do fluxo de áudio e/ou uma medida de similaridade do fluxo de áudio, e/ou uma informação de posicionamento panorâmico do fluxo de áudio e/ou uma estimativa de origem de mixagem de aumento do fluxo de áudio. 0 aparelho descrito pode ponderar beneficamente os fatores individuais de acordo com a importância em obter a medida de espacialidade. A medida de espacialidade obtida a partir dessa ponderação pode ser melhorada, isto é, mais significativa, do que uma medida de

espacialidade	obtida	apenas	a partir de um	dos	indicadores
descritos.
[0027]	Em	algumas	modalidades,	o	aparelho	é
configurado	para	emitir	visualmente	a	medida	de

espacialidade. Com o uso de uma saída visual, um engenheiro de som pode decidir sobre a espacialidade do fluxo de áudio com base na inspeção visual da saída visual.

[0028] Em algumas modalidades, o parelho é configurado para fornecer a medida de espacialidade como um gráfico, em que o gráfico é configurado para fornecer informações da medida de espacialidade ao longo do tempo. O eixo geométrico de tempo do gráfico é preferencialmente alinhado com um eixo geométrico de tempo do fluxo de áudio. Fornecer informações sobre a medida de espacialidade ao longo do tempo pode ser útil para engenheiros de som, na medida em que um engenheiro de som pode inspecionar (por exemplo, escutar) seções do fluxo de áudio que são indicadas pelo gráfico da medida de espacialidade, de modo a conter conteúdo espacialmente impressionante. Desse modo,

Petição 870190093974, de 19/09/2019, pág. 16/52

14/42 o engenheiro de som pode extrair cena de áudio espacialmente impressionante rapidamente a partir do fluxo de áudio ou verificar uma medida de espacialidade determinada.

[0029] Em algumas modalidades, o aparelho é configurado para fornecer a medida de espacialidade como um valor numérico, em que o valor numérico representa o fluxo de áudio inteiro. Um simples valor numérico pode, por exemplo, ser usado para classificação rápida e pontuação de diferentes fluxos de áudio.

[0030] Em algumas modalidades, o aparelho é configurado para gravar a medida de espacialidade em um arquivo de registro. Usar arquivos de registro pode ser especialmente benéfico para avaliação automática.

[0031] Modalidades da invenção fornecem um método para avaliar um fluxo de áudio. O método compreende avaliar canais de áudio do fluxo de áudio de modo a fornecer uma medida de espacialidade associada ao fluxo de áudio. Adicionalmente, o fluxo de áudio compreende canais de áudio a serem reproduzidos em pelo menos duas camadas espaciais diferentes, sendo que as duas camadas espaciais estão dispostas de uma maneira afastada ao longo de um eixo geométrico espacial.

BREVE DESCRIÇÃO DAS FIGURAS [0032] A seguir, modalidades preferenciais da presente invenção serão explicadas com referência aos desenhos anexos, nos quais:

A Figura 1 mostra um diagrama de blocos de

Petição 870190093974, de 19/09/2019, pág. 17/52

15/42 um aparelho, de acordo com modalidades da invenção;

A Figura 2 mostra um diagrama de blocos de um aparelho, de acordo com modalidades da invenção;

A Figura 3 mostra um diagrama de blocos de um aparelho, de acordo com modalidades da invenção;

A Figura 4 mostra uma configuração de altofalante de áudio 3D;

A Figura 5 mostra um fluxograma de um método, de acordo com modalidades da invenção.

DESCRIÇÃO DETALHADA DAS MODALIDADES [0033] A Figura 1 mostra um diagrama de blocos de um aparelho 100, de acordo com modalidades da invenção. O aparelho 100 compreende um avaliador 110.

[0034] O aparelho 100 assume como entrada um fluxo de áudio 105 com base em quais canais de áudio 106 são fornecidos ao avaliador 110. O avaliador 110 avalia os canais de áudio 106 e com base na avaliação o aparelho 100 fornece uma medida de espacialidade 115.

[0035] A medida de espacialidade 115 descreve uma impressão espacial subjetiva do fluxo de áudio 105. De maneira convencional, uma pessoa, preferencialmente um engenheiro de som, deveria ter que escutar ao fluxo de áudio para fornecer uma medida de espacialidade associada ao fluxo de áudio. Desse modo, o aparelho 100 evita, de maneira vantajosa, a necessidade de uma pessoa habilidosa ter que escutar ao fluxo de áudio para avaliação. Além disso, para fins de confiabilidade um engenheiro de som pode escutar apenas partes específicas do fluxo de áudio

Petição 870190093974, de 19/09/2019, pág. 18/52

16/42 para verificação, o que podem ter sido indicadas com uma alta medida de espacialidade pelo aparelho 100. Desse modo, o tempo pode ser economizado na medida em que o engenheiro de áudio pode ter que escutar apenas às seções ou aos intervalos de tempo indicados. Por exemplo, a medida de espacialidade 115 pode ser usada por um engenheiro de som para inspecionar apenas seções ou intervalos de tempo do fluxo de áudio que são indicados pela medida de espacialidade 115 com um efeito de áudio 3D impressionante, isto é, são, de modo subjetivo, espacialmente impressionantes. Com base nessa indicação, um engenheiro de som ou um ouvinte habilidoso pode precisar escutar apenas às seções especificadas para encontrar ou verificar seções adequadas do fluxo de áudio. Além disso, o aparelho 100 pode evitar a aquisição de um equipamento caro ou reduzir tempo de utilização do equipamento caro. Por exemplo, um laboratório de som (por exemplo, caro) que seria um ambiente de reprodução necessário para escutar aos canais de áudio 106 pode ser usado apenas para verificação da medida de espacialidade obtida. Desse modo, um laboratório de som pode ser usado de maneira mais eficiente ou pode nem ser necessário quando a avaliação é completamente com base no aparelho 100.

[0036] A Figura 2 mostra um diagrama de blocos de um aparelho 200, de acordo com modalidades da invenção; Em outras palavras, a Figura 2 pode ser interpretada como um fluxo de sinal com diferentes estágios (por exemplo, estágios de análise). As linhas sólidas indicam sinais de

Petição 870190093974, de 19/09/2019, pág. 19/52 / 42 áudio; as linhas tracejadas (negrito) representam valores usados para estimar uma qualidade 3D (por exemplo, medida de espacialidade) e linhas tracejadas pequenas (ou finas) podem indicar uma troca de informações entre os diferentes estágios. 0 aparelho 200 compreende recursos e funções que podem ser incluídos seja individualmente ou em combinação no aparelho 100. O aparelho 200 compreende um alinhador/agrupador de sinal ou canal opcional 210, um analisador de nível opcional 220a, um analisador de correlação opcional 220b, um analisador de posicionamento panorâmico dinâmico opcional 220c e um estimador de mixagem de aumento opcional 220d. Adicionalmente, o aparelho 200 compreende um ponderador opcional 230. Os componentes individuais 210, 220a ade 230 podem ser compreendidos individualmente ou em combinação no avaliador 110 e os canais de áudio 206 podem ser obtidos a partir do fluxo de áudio 105, de maneira similar aos canais de áudio 106.

[0037] O aparelho 200 assume como entrada um sinal de áudio de um sinal de áudio de múltiplos canais 206, com base nisso o mesmo fornece uma medida de espacialidade 235 como saída. O aparelho 200 compreende um avaliador 204, de acordo com o avaliador 110 que será descrito em mais detalhes a seguir. No alinhador/agrupador 210, sinais ou canais são alinhados (por exemplo, por tempo) e agrupados em canais que podem ser, por exemplo, reproduzidos em

camadas espaciais	diferentes	(por	exemplo,	espacialmente
agrupados) . Desse	modo, pares	ou	grupos sao obtidos, os
quais são, então,	fornecidos	aos	estágios	de análise e

Petição 870190093974, de 19/09/2019, pág. 20/52

18/42 estimativa 220a a d. O agrupamento pode ser diferente para o estágio 220a-d e detalhes com relação ao mesmo são determinados abaixo. Por exemplo, grupos podem ser com base em camadas conforme representadas na Figura 4, onde uma configuração de alto-falante com duas camadas é mostrada. Um primeiro grupo pode ser com base em canais de áudio associados à camada 410 e um segundo grupo pode ser com base em canais de áudio associados à camada 420. Alternativamente, um primeiro grupo pode ser com base em canais atribuídos aos alto-falantes da esquerda e um segundo grupo pode ser com base em canais atribuídos aos alto-falantes da direita. Agrupamentos possíveis adicionais são determinados em mais detalhes abaixo.

[0038] No estágio de análise de nível 220a, um nível de som de diferentes grupos é comparado, em que um grupo pode consistir em um ou mais canais. Um nível de som pode, por exemplo, ser estimado com base em um valor de sinal espontâneo, um valor de sinal promediado, um valor de sinal máximo ou um valor de energia de um sinal. O valor médio, valor máximo ou valor de energia pode ser obtido a partir e períodos de tempo de sinais de áudio dos canais 206 ou pode ser obtido com o uso de estimativa recursiva. Se um primeiro grupo é determinado de modo a ter um nível superior (por exemplo, nível médio ou nível máximo) a um segundo grupo, em que o primeiro grupo é espacialmente disjunto do segundo grupo, uma informação de nível espacial 220a' é obtida, a qual indica uma alta espacialidade dos canais de áudio 206. Essa informação de nível espacial

Petição 870190093974, de 19/09/2019, pág. 21/52

19/42

220a' é, então, fornecida ao estágio de ponderação 230. A informação de nível espacial 220a' contribui para a computação de uma medida de espacialidade final, conforme estabelecidos nos detalhes abaixo. Além disso, o estágio de análise de nível 220a pode determinar um limiar de mascaramento com base em um primeiro grupo de canais de áudio e obter uma informação de alto nível espacial 220a' quando um segundo grupo de canais tem um nível superior ao limiar de mascaramento determinado.

[0039] Adicionalmente, grupos ou pares de canais conforme emitidos por agrupador/alinhador 210, são fornecidos ao estágio de análise de correlação 220b que podem computar correlações (por exemplo, correlações cruzadas) entre sinais individuais, isto é, sinais de canais, de diferentes grupos ou pares para avaliar similaridade. Alternativamente, o estágio de análise de correlação pode determinar uma correlação cruzada entre sinais de soma. Os sinais de soma podem ser obtidos a partir de diferentes grupos adicionando-se os sinais individuais em cada grupo, desse modo, uma correlação cruzada média entre grupos pode ser obtida, que caracteriza uma similaridade média entre grupos. Se o estágio de análise de correlação 220b determina uma alta similaridade entre os grupos ou pares, um valor de similaridade 220b' é fornecido ao estágio de ponderação 230 que indica uma baixa espacialidade dos canais de áudio 206. A correlação pode ser estimada no estágio de análise de correlação 220b em base por amostra ou correlacionando-se períodos de tempo de

Petição 870190093974, de 19/09/2019, pág. 22/52

20/42 sinais dos canais, grupos de canais ou pares de canais. Ademais, o estágio de análise de correlação 220b pode usar uma informação de nível 220a'' para realizar uma análise de correlação com base em informações fornecidas pelo estágio de análise de nível 220a. Por exemplo, envelopes de sinal de diferentes canais, grupos de canais ou pares de canais, obtidos a partir do estágio de análise de nível 220a, podem ser compreendidos na informação de nível 220a''. Com base nos envelopes uma correlação pode ser realizada para obter informações sobre similaridade entre canais individuais, grupos de canais ou pares de canais. Adicionalmente, o estágio de análise de correlação 220b pode usar o mesmo agrupamento de canal, conforme fornecido para o estágio de análise de nível 220a ou pode usar um agrupamento completamente diferente.

[0040] Além disso, o aparelho 200 pode realizar uma análise/detecção de posicionamento panorâmico dinâmico 220c com base nos pares ou grupos. A detecção de posicionamento panorâmico dinâmico 220c pode detectar objetos de som que se movem de um par ou grupo de canais para outro par ou grupo de canais, por exemplo, uma evolução de nível de um primeiro grupo de canais para um segundo grupo de canais. Ter objetos de som que se movem através de diferentes pares ou grupos, fornece uma impressão espacial elevada. Portanto, uma informação de posicionamento panorâmico dinâmico 220c' é fornecida ao estágio de ponderação 230 que indica uma alta espacialidade se fontes móveis forem detectadas pelo estágio de análise

Petição 870190093974, de 19/09/2019, pág. 23/52

21/42 de posicionamento panorâmico 220c. Adicionalmente, a informação de posicionamento panorâmico dinâmico 220c' pode indicar uma baixa espacialidade caso nenhum movimento (ou apenas pequenos movimentos, por exemplo, dentro de um grupo de canais apenas) de fontes de som entre pares ou grupos de canais seja detectado. O estágio de detecção de posicionamento panorâmico 220c pode realizar análise de posicionamento panorâmico em um sentido de amostra ou de uma maneira de imagem por imagem. Além disso, o estágio de detecção de posicionamento panorâmico dinâmico 220c pode usar informação de nível 220a''' obtida a partir do estágio de análise de nível 220a, para detectar um posicionamento panorâmico. Alternativamente, o estágio de detecção de posicionamento panorâmico 220d pode estimar a informação de nível por si só para realizar detecção de posicionamento panorâmico. A detecção de posicionamento panorâmico dinâmico 220c pode usar os mesmos grupos que os estágios de análise de nível 220a ou o estágio de análise de correlação 220b ou diferentes grupos fornecidos pelo agrupador/alinhador 210.

[0041] Ademais, o estágio de estimativa de mixagem de aumento 220d pode usar informações de correlação 220b'' do estágio de análise de correlação 220b ou realizar análise de correlação adicional para detectar se os canais 206 foram formados com o uso de um fluxo de áudio com menos canais de áudio. Por exemplo, o estágio de estimativa de mixagem de aumento 220d pode avaliar se os canais 206 são com base em uma mixagem de aumento diretamente das

Petição 870190093974, de 19/09/2019, pág. 24/52

22/42 informações de correlação 220b''. Alternativamente, a correlação cruzada entre canais individuais pode ser realizada no estágio de estimativa de mixagem de aumento 220d, por exemplo, com base em uma alta correlação indicada pelas informações de correlação 220b'', para avaliar se os canais 206 se originam de uma mixagem de aumento. A análise de correlação seja realizada por estágio de análise de correlação 220b ou pelo estágio de estimativa de mixagem de aumento 220c, é uma informação útil para detecção de origem de mixagem de aumento como uma maneira comum para produzir uma mixagem de aumento é por meio de descorrelacionados de sinal. A estimativa de origem de mixagem de aumento 220d' é fornecida pelo estágio de estimativa de mixagem de aumento 220d para o estágio de ponderação 230. Se a estimativa de origem de mixagem de aumento 220d' indica que os canais 206 são derivados de um fluxo de áudio com menos canais, a estimativa de origem de mixagem de aumento 220d' pode fornecer uma contribuição negativa ou pequena ao ponderador 235. O estágio de estimativa de mixagem de aumento 220d pode usar os mesmos grupos que os estágios de análise de nível 220a, o estágio de análise de correlação 220b ou o estágio de detecção de posicionamento panorâmico dinâmico 220c ou diferentes grupos fornecidos pelo agrupador/alinhador 210.

[0042] O estágio de ponderação 235, por exemplo, pode promediar contribuições para a medida de espacialidade obter a medida de espacialidade. As contribuições podem ser com base em uma combinação dos fatores 220a', 220b', 220c'

Petição 870190093974, de 19/09/2019, pág. 25/52

23/42 e/ou 220d'. A promediação pode ser uniforme ou ponderada, em que uma ponderação pode ser realizada com base em um significado de um fator.

[0043] Em algumas modalidades, a medida de espacialidade pode ser obtida com base apenas em um ou mais dentre os estágios de análise 220a a c. Adicionalmente, o agrupador/alinhador pode ser integrado em qualquer um dos estágios de análise 220a a c, por exemplo, de modo que cada estágio de análise realize um agrupamento por si só.

[0044] A Figura 3 mostra um diagrama de blocos de um aparelho 300, de acordo com modalidades da invenção; Em outras palavras, a Figura 3 mostra um fluxo de sinal geral para um medidor de qualidade 3D 304. O aparelho 300 é comparável com os aparelhos 100 e 200 e assume como entrada um sinal de áudio de múltiplos canais 305, que também pode emitir não alterado. O medidor de qualidade 3D 304 é um avaliador de acordo com o avaliador 110 e o avaliador 204. Com base no sinal de áudio de múltiplos canais 305, a medida de espacialidade pode ser emitida graficamente com o uso de uma saída gráfica ou visor 310 (por exemplo, um gráfico), com o uso de uma saída numérica ou visor 320 (por exemplo, com o uso de um valor em escala numérica para um fluxo de áudio inteiro) e/ou com o uso de um arquivo de registro 330 no qual, por exemplo, o gráfico ou a escala pode ser gravado. Adicionalmente, o aparelho 300 pode fornecer metadados adicionais 340 que podem ser incluídos nos sinais de áudio 305 ou um fluxo de áudio que inclui os sinais de áudio 305, em que os metadados podem compreender

Petição 870190093974, de 19/09/2019, pág. 26/52

24/42 a medida de espacialidade. Ademais, os metadados adicionais podem compreender a estimativa de origem de mixagem de aumento ou qualquer uma das saídas dos estágios de análise no aparelho 200.

[0045] A Figura 4 mostra uma configuração de altofalante de áudio 3D 400. Em outras palavras, a Figura 4 ilustra um modelo de reprodução de áudio 3D em uma configuração 5+4. Os alto-falantes de camada média são indicados com a letra M e alto-falantes de camada superior são identificados como U. O número se refere ao azimute de um alto-falante com relação a um ouvinte (por exemplo, M30 é um alto-falante localizado na camada média em azimute de 30° graus) . A configuração de alto-falante 400 pode ser usada atribuindo-se canais de áudio de um fluxo de áudio (por exemplo, fluxo 105, canais de áudio 106, 206 ou 305) para reproduzir o fluxo de áudio. A configuração de altofalante compreende uma primeira camada de alto-falantes 410 e a segunda camada de alto-falantes 420 que está disposta verticalmente afastada da primeira camada de alto-falantes 410. A primeira camada de alto-falantes compreende cinco alto-falantes, isto é, central M0, frontal direito M-30, frontal esquerdo M30, surround direito M-110 e surround esquerdo M110. Adicionalmente, a segunda camada de altofalantes 420 compreende quatro alto-falantes, isto é, superior esquerdo U30, superior direito U-30, superior traseiro direito U-110 e superior traseiro esquerdo U110. Para análise com o uso dos aparelhos 100, 200 ou 300, agrupamentos podem ser fornecidos com base nas camadas,

Petição 870190093974, de 19/09/2019, pág. 27/52

25/42 isto é, a camada 410 e a camada 420. Além disso, grupos podem ser formados através das camadas, por exemplo, com o uso de alto-falantes na esquerda de um ouvinte para formar um primeiro grupo e alto-falantes na direita de um ouvinte para obter um segundo grupo. Alternativamente, um primeiro grupo pode ser com base em alto-falantes localizados em frente de um ouvinte e um segundo grupo pode ser com base em alto-falante localizados atrás de um ouvinte, em que o primeiro grupo ou o segundo grupo compreendem alto-falantes que estão verticalmente afastados, isto é, os grupos podem ser formados com camadas verticais. Além disso, agrupamentos arbitrários adicionais são definíveis e configurações de alto-falante podem ser consideradas.

[0046] A Figura 5 mostra um fluxograma de um método 500, de acordo com modalidades da invenção. O método compreende avaliar 510 canais de áudio do fluxo de áudio de modo a fornecer uma medida de espacialidade associada ao fluxo de áudio. Adicionalmente, o fluxo de áudio compreende canais de áudio a serem reproduzidos em pelo menos duas camadas espaciais diferentes, sendo que as duas camadas espaciais estão dispostas de uma maneira afastada ao longo de um eixo geométrico espacial.

[0047] A seguir, detalhes adicionais com referência à Figura 2 são fornecidos:

Modalidades descrevem um método para medir a potência (ou intensidade) de um efeito de áudio 3D para um dado sinal de áudio 3D. Constatou-se que observar o conteúdo de áudio 3D, encontrar seções no material que

Petição 870190093974, de 19/09/2019, pág. 28/52

26/42 apresentam efeitos 3D e avaliar sua potência foi uma tarefa subjetiva que precisou ser realizada manualmente. Modalidades descrevem um medidor de qualidade 3D que pode ser usado para sustentar esse processo e podem acelerar o mesmo indicando-se, em que momento os efeitos 3D ocorrem e avaliando-se a força dos efeitos 3D.

[0048] O termo 'qualidade 3D' não foi usado até aqui para a força dos efeitos de áudio 3D no campo acadêmico, pois o mesmo cobre uma faixa muito ampla de significados. Portanto, termos e definições mais precisas foram elaborados [9,10]. Esses termos se aplicam apenas a um aspecto específico do áudio reproduzido, não à impressão inteira. Para impressão geral, os termos experiência sonora geral (OLE) ou qualidade de experiência (QoE) foram introduzidos [11] . Os últimos termos não são limitados a áudio 3D. Para separar a força de efeito de áudio 3D dos termos como OLE e QoE, o termo qualidade 3D é usado algumas vezes neste documento.

[0049] Em geral, um sistema de reprodução pode ser denominado áudio 3D ou 'imersivo' se tiver capacidade para produzir fontes de som em pelo menos duas camadas verticais diferentes (consultar a Figura 4). Modelos de reprodução de áudio 3D são 5.1+4, 7.1+4 ou 22.2 [12].

[0050] Efeitos que são específicos para áudio 3D são:

• Percepção de fontes de som elevadas • Precisão de localização (azimute, elevação, distância) [9]

Petição 870190093974, de 19/09/2019, pág. 29/52

27/42 • Precisão de localização dinâmica (para objetos móveis) [9] • Engolfamento (no sentido de ser coberto por som) [13,14,15] • Clareza espacial (quão clara a capacidade para perceber a cena espacial) [14,15] [0051] Esses efeitos são denominados recursos de qualidade [9] ou categorias para atributos [10,16] para áudio 3D. Nota-se que a potência de efeitos de áudio 3D não se correlaciona diretamente com a OLE ou a QoE.

[0052] Para gerar exemplos práticos de qualidade 3D, algumas situações são listadas:

• Uma fonte de som se move através de diferentes camadas verticais, por exemplo, um efeito sonoro de whoosh se move da camada média (ou horizontal) para a camada superior.

• Fontes de som são reproduzidas pela camada média e superior, por exemplo, o som principal é percebido na camada média e uma voz aparece vindo de acima ou som direto é reproduzido pela camada média e som ambiente é reproduzido pela camada superior.

[0053] Ademais, no lado de produção, uma demanda para medir a qualidade 3D pode ocorrer em instalações de mixagem de som de filme quando a trilha sonora é finalizada. Quando o conteúdo é preparado para ser distribuído em Blu-ray ou serviços de transmissão contínua, o monitoramento de qualidade 3D também é interessante. Distribuidoras de conteúdo, tal como estações de difusão,

Petição 870190093974, de 19/09/2019, pág. 30/52

28/42 serviços de transferência por download e transmissão continua over the top (OTT) [17] necessitam medir a qualidade 3D para ter capacidade para decidir qual conteúdo promover como programa de destaque de áudio 3D. Pesquisa, instituições de educação e criticas cinematográficas são outras entidades que têm interesse em medir qualidade 3D por diferentes razões.

[0054] Métodos convencionais não são adequados para medir a qualidade 3D de um sinal de áudio 3D. Portanto, um medidor de qualidade 3D foi proposto no presente documento. De modo geral, um sinal de áudio de múltiplos canais é alimentado no medidor onde a análise de áudio acontece (consultar a Figura 3) . Uma saída pode ser um conteúdo de áudio não processado e inalterado juntamente com medidas de qualidade 3D em várias representações. O medidor de qualidade 3D pode exibir a qualidade 3D como uma função de tempo graficamente. Alternativamente, pode expressar suas medições numericamente e computar estatísticas para tornar materiais diferentes comparáveis. Todos os resultados também podem ser exportados para um arquivo de registro ou podem ser adicionados ao áudio original (fluxo) em um formato de metadados adequado. Para áudio em uma forma de representação com base em objeto ou com base em cena, por exemplo, ambisonics de primeira ordem (FOA) ou ambisonics de ordem superior (HOA), canais de áudio podem ser avaliados primeiro tornando-os um modelo de alto-falante de referência.

[0055] Em modalidades, um modo de operação do

Petição 870190093974, de 19/09/2019, pág. 31/52

29/42 medidor de qualidade 3D é compartilhado através de estágios de análise diferentes, em funcionamento paralelo. Cada estágio pode detectar características do sinal de áudio que são específicas para determinados efeitos de áudio 3D (consultar a Figura 2). Os resultados dos estágios de análise podem ser ponderados, resumidos e exibidos. Finalmente, em um visor, um engenheiro de som pode ser dotado de um indicador de qualidade 3D total (por exemplo, a medida de espacialidade) e alguns dos sub resultados mais significativos (por exemplo, os resultados dos estágios de análise individuais). Desse modo, um engenheiro de som tem vários dados que podem sustentá-lo no encontro de seções de interesse ou realização de decisões sobre a qualidade 3D. Um indicador de qualidade 3D total pode estar em uma escala linear, com uma faixa de zero a duas (0...2), em que uma qualidade 3D = 0 significa que não há efeito de áudio 3D, ou nenhum efeito de áudio 3D significativo, exceto no fluxo de áudio avaliado. Um valor máximo de qualidade 3D = 2 pode indicar que efeitos de áudio 3D muito fortes ocorrem no fluxo de áudio. A faixa, assim como as unidades da escala de indicador de qualidade 3D total podem ser predeterminadas e poderíam usar outros valores, unidades ou faixas (por exemplo, -1....1, 0....10, etc.) .

[0056] Em uma etapa, canais de entrada podem ser atribuídos a pares de canais ou grupos de canal específicos. Possíveis pares de canais são:

• Camada média esquerda e camada superior esquerda

Petição 870190093974, de 19/09/2019, pág. 32/52

30/42 • Camada média esquerda surround e camada superior esquerda surround • Camada média central e camada superior esquerda •

[0057] Possíveis agrupamentos de canal são:

• Camada média e camada superior • Camada média esquerda e direita e camada superior esquerda e direita •

[0058] A seguir, parâmetros que podem ser usados e/ou determinados em modalidades são descritos. Ademais, nos seguintes agrupamentos de canais em camadas é principalmente considerado que, no entanto, outros agrupamentos possam ser usados em outras modalidades.

ESTÁGIO DE ANÁLISE DE NÍVEL [0059] Um estágio de análise de nível 220a pode monitorar se há nível em uma camada superior de uma forma geral e se houver, quão alto está em relação a uma camada média. Uma medida importante pode ser um limiar de mascaramento para fontes de som verticais [18, 19] . Esse estágio de análise pode detectar apenas a qualidade 3D, quando o limiar de mascaramento de um sinal de camada média é excedido significativamente pela camada superior ou viceversa. Quando não há sinal (ou nível) medido na camada superior ou quando o nível é muito baixo em relação ao sinal de camada média correspondido naquele momento, um medidor de qualidade 3D pode relatar um valor de qualidade

Petição 870190093974, de 19/09/2019, pág. 33/52

31/42

3D baixo (por exemplo, com base em informações obtidas do estágio de análise de nível).

[0060] Em modalidades, um medidor de qualidade 3D pode ser configurado (i) para comparar o nível da camada superior com o limiar de mascaramento da camada média, (ii) para comparar o nível de camada média com o limiar de mascaramento de camada superior ou (iii) para comparar todas as dadas camadas e para examinar o nível da camada de nível inferior (por exemplo, camada que tem o nível mais baixo) com as outras camadas correspondentes.

ESTÁGIO DE CORRELAÇÃO

[0061]		Em	modalidades,	um estágio	de	correlação
2 2 0b é	usado	para	analisar pares de canais	ou	grupos de
canais	para	sua	correlação	cruzada de	curto prazo

normalizada. Essa medida expressa quão similar dois sinais são e pode ser derivada de uma diferença em energia ao longo do tempo. Uma similaridade muito alta do sinal de camada superior indica que provavelmente os elementos do sinal de camada média, ou o sinal de camada média inteiro, também são alimentados na camada superior. Isso pode produzir um determinado envolvimento percebido ou uma cena de som levemente movida para cima.

[0062] Uma baixa correlação indica que os sinais na camada média e superior não são similares, que resultaria em efeitos de áudio 3D mais fortes. O estágio de correlação e o estágio de análise de nível podem trocar informações (consultar as linhas tracejadas na Figura 2) . Quando o nível da camada superior, por exemplo, está apenas

Petição 870190093974, de 19/09/2019, pág. 34/52

32/42 próximo ao ou levemente acima do limiar de mascaramento, uma qualidade 3D indicada pode ser baixa quando o estágio de correlação sinaliza um alto grau de correlação. No entanto, se, em vez disso, para a mesma relação de nível a correlação for baixa, uma qualidade 3D indicada pode ser superior.

DETECÇÃO DE POSICIONAMENTO PANORÂMICO

DINÂMICO [0063] Em modalidades, um estágio de detecção de posicionamento panorâmico 220c busca por elementos de som que aparecem em momentos diferentes em diferentes posições. Posicionamento panorâmico dinâmico é caracterizado por um sinal que pode se mover através do espaço, tal como um helicóptero que voa da posição frontal esquerda da camada média para a posição traseira direita da camada superior. No sentido do sinal, um movimento de posicionamento panorâmico resulta em transições de um canal ou grupo de canais para outro. Se tais transições forem detectadas dentro dos sinais, um efeito de posicionamento panorâmico é propenso a produzir um efeito de áudio 3D (por exemplo, uma alta espacialidade percebida). Informações de nível do estágio de análise de nível podem ser processadas em mais detalhes e com outras constantes de tempo (por exemplo, que resultam em janelas de ponderação mais longas).

ESTIMATIVA DE MIXAGEM DE AUMENTO [0064] Algoritmos de mixagem de aumento são bem estabelecidos em processamento de som. Normalmente, podem usar descorrelação e separação de sinal para aumentar o

Petição 870190093974, de 19/09/2019, pág. 35/52

33/42 número de canais usados para uma reprodução de som mais ampla, mais envolvente e mais excitante.

[0065] Um estágio de detecção de mixagem de aumento 220d examina se uma dada descorrelação pode ser um resultado de uma mixagem de aumento automática anteriormente aplicada. Portanto, os dados de um estágio de correlação (por exemplo, 220a) são usados. Adicionalmente, os sinais podem ser analisados para encontrar artefatos e resultados que podem ser originados a partir dos métodos de mixagem de aumento mais comuns.

[0066] A possibilidade de sugestões para uma mixagem de aumento automática poderem ser encontradas pode ser uma informação importante pois possíveis mixagens de redução seguintes podem provocar coloração de som. Ademais, uma mixagem de aumento automática podería ser considerada menos valiosa em comparação com uma mixagem de áudio 3D artisticamente criada. Portanto, uma baixa espacialidade pode ser indicada a partir de uma medida de espacialidade obtida, se for estimado que o fluxo de áudio é com base em uma mixagem de aumento.

APLICAÇÕES ADICIONAIS [0067] De modo a ilustrar a utilidade de modalidades da invenção, alguns casos de uso prático de um medidor de qualidade 3D são apresentados.

SITUAÇÃO 1:

[0068] Pede-se que um engenheiro de som diga se uma dada mixagem de filme contém ou não áudio 3D. Sem um medidor de qualidade 3D, o engenheiro precisa escutar à

Petição 870190093974, de 19/09/2019, pág. 36/52

34/42 trilha sonora inteira para ver se ocorre algum efeito 3D relevante. Com um medidor de qualidade 3D, o áudio pode ser analisado offline - o que significa muito mais rápido do que em tempo real - e seções nas quais efeitos 3D ocorrem sao [0069] marcadas. Olhando-se para os resultados, um engenheiro pode dizer se o material contém efeitos de áudio 3D.

SITUAÇÃO 2:

[0070] Pede-se que um engenheiro encontre as seções de áudio 3D mais impressionantes de uma trilha sonora. Olhando-se para os resultados do medidor de qualidade 3D é muito mais rápido identificar pontos com efeitos 3D. Apenas seções que foram apontadas pelo medidor de qualidade 3D precisam ser escutadas.

SITUAÇÃO 3:

[0071] Uma empresa de produção precisa decidir qual dentre dois títulos possíveis deve liberado em Blu-ray com uma trilha de áudio 3D adicional. Os resultados do medidor de qualidade 3D indicam qual título usa efeitos de áudio 3D com mais frequência e pode ser uma base para decisões econômicas.

SITUAÇÃO 4:

[0072] Uma produção de áudio 3D é mixada. O medidor de qualidade 3D pode monitorar o sinal e indicar ao engenheiro de mixagem, quando um efeito 3D desejado é muito forte e assim pode ser distrativo. Ou o engenheiro deseja criar um efeito 3D e o medidor de qualidade 3D indica que o

Petição 870190093974, de 19/09/2019, pág. 37/52

35/42 efeito nao é forte o suficiente para ser percebido facilmente.

SITUAÇÃO 5:

[0073] Uma mixagem de áudio 3D foi entregue e o cliente deseja examinar se a mixagem foi criada por um engenheiro com intenção artística ou se é apenas uma mixagem de aumento automática. O medidor de qualidade 3D pode dar indicações, se a mixagem de aumento automática foi aplicada.

[0074] Em modalidades, o conceito do medidor de qualidade 3D não só inclui a representação gráfica ou numérica dos parâmetros medidos, mas o processo inteiro de determinar a existência e quantidade de efeitos 3D auditivos em sinais de áudio 3D.

[0075] Ademais, o método do medidor de qualidade

3D também pode ser usado para conteúdo de áudio não 3D ou conteúdo surround 2D de múltiplos canais para indicar quanto de efeito surround se espera e em que momento do programa estão localizados. Para isso, em vez de comparar [0076] dois canais verticalmente separados ou grupos de canais, canais horizontalmente separados ou grupos de canais podem ser comparados, por exemplo, canais frontais e canais surround.

[0077] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é evidente que esses aspectos também representam uma descrição do método correspondente, em que um bloco ou um dispositivo corresponde a uma etapa do método ou um recurso de uma

Petição 870190093974, de 19/09/2019, pág. 38/52

36/42 etapa do método. De modo análogo, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco ou item ou recurso correspondente de um aparelho correspondente. Algumas ou todas as etapas do método podem ser executadas por (ou com o uso de) um aparelho de hardware, como, por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas modalidades, uma ou mais das etapas mais importantes do método podem ser executadas por tal aparelho.

[0078] Dependendo das determinadas necessidades de implantação, as modalidades da invenção podem ser implantadas em hardware ou em software. A implantação pode ser realizada com o uso de um meio de armazenamento digital, por exemplo, um disquete, um DVD, um Blu-Ray, um CD, um ROM, um PROM, um EPROM, um EEPROM ou uma memória FLASH, que têm sinais de controle eletronicamente legíveis armazenados no mesmo, que cooperam (ou têm capacidade de cooperar) com um sistema de computador programável de modo que o respectivo método seja realizado. Portanto, o meio de armazenamento digital pode ser legível em computador.

[0079] Algumas modalidades de acordo com a invenção compreendem uma portadora de dados que tem sinais de controle eletronicamente legíveis, que têm capacidade de cooperar com um sistema de computador programável, de modo que um dos métodos descritos no presente documento seja realizado.

[0080] Em geral, modalidades da presente invenção

Petição 870190093974, de 19/09/2019, pág. 39/52 / 42 podem ser implantadas como um produto de programa de computador com um código de programa, sendo que o código de programa é operativo para realizar um dos métodos quando o produto de programa de computador é executado em um computador. 0 código de programa pode ser, por exemplo, armazenado em uma portadora legível em máquina.

[0081] Outras modalidades compreendem o programa de computador para realizar um dos métodos descritos no presente documento armazenado em uma portadora legível por máquina.

[0082] Em outras palavras, uma modalidade do método inventivo é, portanto, um programa de computador que tem um código de programa para realizar um dos métodos descritos no presente documento, quando o programa de computador é executado em um computador.

[0083] Uma modalidade adicional dos métodos inventivos é, portanto, uma portadora de dados (ou um meio de armazenamento digital, ou um meio legível em computador) que compreende, registrado no mesmo, o programa de computador para realizar um dos métodos descritos no presente documento. A portadora de dados, a mídia de armazenamento digital ou a mídia gravada são tipicamente tangíveis e/ou não transitórias.

[0084] Uma modalidade adicional do método da invenção é, portanto, um fluxo de dados ou uma sequência de sinais que representa o programa de computador para realizar um dos métodos descritos no presente documento. O fluxo de dados ou a sequência de sinais pode ser

Petição 870190093974, de 19/09/2019, pág. 40/52

38/42 configurado, por exemplo, para ser transferido por meio de uma conexão de comunicação de dados, por exemplo, por meio da internet.

[0085] Uma modalidade adicional compreende meios de processamento, por exemplo, um computador ou um dispositivo de lógica programável, configurados ou

adaptados	para realizar um	dos	métodos	descritos	no
presente	documento.
[0086]	Uma modalidade	adicional	compreende	um
computado	r que tem instalado	no	mesmo o programa	de
computado	r para realizar um	dos	métodos	descritos	no
presente	documento.
[0087]	Uma modalidade	adie	ional de	acordo com	a

invenção compreende um aparelho ou a sistema configurado para transferir (por exemplo, de modo eletrônico ou óptico) um programa de computador para realizar um dos métodos descritos no presente documento a um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel,

um dispositivo	de	memória	ou semelhantes.	0 aparelho	ou
sistema	pode	compreender,	por exemplo	r	um servidor	de
arquivos	para	transferir	o programa	de	computador	ao
receptor	•
[0088]		Em	algumas	modalidades,	um	dispositivo	de

lógica programável (por exemplo, uma matriz de portas programável em campo) pode ser usado para realizar algumas ou todas as funcionalidades dos métodos descritos no presente documento. Em algumas modalidades, um arranjo de porta programável de campo pode cooperar com um

Petição 870190093974, de 19/09/2019, pág. 41/52

39/42 microprocessador de modo a realizar um dos métodos descritos no presente documento. Em geral, os métodos são de preferência realizados por qualquer aparelho de hardware.

[0089] O aparelho descrito no presente documento pode ser implantado com o uso de um aparelho de hardware, ou com o uso de um computador, ou com o uso de uma combinação de um aparelho de hardware e um computador.

[0090] O aparelho descrito no presente documento, ou qualquer componente do aparelho descrito no presente documento, podem ser implantados pelo menos parcialmente em hardware e/ou em software.

[0091] Os métodos descritos no presente documento podem ser realizados com o uso de um aparelho de hardware, ou com o uso de um computador, ou com o uso de uma combinação de um aparelho de hardware e um computador.

[0092] Os métodos descritos no presente documento, ou quaisquer componentes do aparelho descritos no presente documento, podem ser realizados pelo menos parcialmente por hardware e/ou por software.

[0093] As modalidades descritas acima são meramente ilustrativas para os princípios da presente invenção. Entende-se que as modificações e as variações das disposições e os detalhes descritos no presente documento serão evidentes para outras pessoas versadas na técnica. Portanto, pretende-se que as mesmas sejam limitadas apenas pelo escopo das reivindicações da patente iminentes e não pelos detalhes específicos apresentados a título de

Petição 870190093974, de 19/09/2019, pág. 42/52

40/42 descrição e explicação das modalidades no presente documento.

REFERÊNCIAS:

[1] EBU. EBU TECH 3344: Practical guidelines for distribution systems in accordance with EBU R 128. Genebra, 2011.

[2] IRT. Technische Richtlinien - HDTV. Zur Herstellung von Fernsehprodukt ionen für ARD, ZDF und ORF. Frankfurt a.M., 2011.

[3] ARTE. Allgemeine technische Richtlinien. ARTE, Kehl, 2013.

[4] Gerhard Spikofski e Siegfried Klar. Levelling and Loudness in Radio and Television Broadcasting. European Broadcast Union, Genebra, 2004.

[5] ITU. ITU-R BS.2054-2: Audio Levels and Loudness, volume 2. International Telecommunication Union, Genebra, 2 011.

[6] Robin Gareus e Chris Goddard. Audio Signal Visualisation and Measurement. In International Computer Music and Sound & Music Computing Conference, Atenas, 2 014.

[7] B Mendiburu. 3D Movie Making Stereoscopic Digital Cinema from Script to Screen. Focal Press, 2009.

[8] B. Mendiburu. 3D TV and 3D Cinema. Tools and Processes for Creative Stereoscopy. Focal Press, 2011.

[9] Andreas Silzle. 3D Audio Quality

Petição 870190093974, de 19/09/2019, pág. 43/52

41/42

Evaluation: Theory and Practice. In International Conference on Spatial Audio, Erlangen, 2014. VDT.

[10] Nick Zacharov e Torben Holm Pedersen. Spatial sound attributes - development of a common lexicon. In AES 139th Convention, Nova Iorque, 2015. Audio Engineering Society.

[11] Michael Schoeffler, Sarah Conrad e Jürgen Herre. The Inuence of the Single / Multi-ChannelSystem on the Overall Listening Experience. In AES 55th Conference, Helsinki, 2014.

[12] Ulli Scuda. Comparison of Multichannel Surround Speaker Setups in 2D and 3D. In Malte Kob, editor, International Conference on Spatial Audio, Erlangen, 2014. VDT .

[13] R Sazdov, G Paine e K Stevens. Perceptual Investigation into Envelopment, Spatial Clarity and Engulfment in Reproduced Multi-Channel Audio. In AES 31st Conference, Londres, 2007. Audio Engineering Society.

[14] R Sazdov. The effect of elevated loudspeakers on the perception of engulfment, and the effect of horizontal loudspeakers on the perception of envelopment. In ICSA 2011. VDT.

[15] Robert Sazdov. Envelopment vs. Engulfment: Multidimensional scaling on the effect of spectral content and spatial dimension within a threedimensional loudspeaker setup. In International Conference on Spatial Audio, Graz, 2015. VdT.

[16] Torben Holm Pedersen e Nick Zacharov.

Petição 870190093974, de 19/09/2019, pág. 44/52

42/42

The development of a Sound Wheel for Reproduced Sound. In AES 138th Convention, Varsdvia, 2015. AES.

[17] AES. Technical Document AESTD1005.1.16-09: Audio Guidelines for Over the Top Television and Video Streaming. AES, Nova Iorque, 2016.

[18] Hyunkook Lee. The Relationship between Interchannel Time and Level Differences in Vertical Sound Localisation and Masking. In AES 131^st Convention, number Icld, páginas 1 a 13, 2011.

[19] Hanne Stenzel, Ulli Scuda e Hyunkook Lee. Localization and Masking Thresholds of Diagonally Positioned Sound Sources and Their Relationship to Interchannel Time and Level Differences. In International Conference on Spatial Audio, Erlangen, 2014. VDT.

Claims

1 ou 2, em que o aparelho é caracterizado por ser configurado para obter uma informação de primeiro nível com. base em um. primeiro conjunto de canais de áudio do fluxo de áudio e para obter uma informação de segundo nível com base em um segundo conjunto de canais de áudio do fluxo de áudio em que o aparelho é configurado para determinar uma informação de nível espacial (220a^?) com base na informação de primeiro nível e na informação de segundo nível e para determinar a medida de espacialidade com base na informação de nível espacial.

Petição 870190088259, de 06/09/2019, pág. 11/17

1. Aparelho (100; 200; 304) caracterizado por avaliar ura fluxo de áudio, em que o fluxo de áudio (105) compreende canais de áudio (106; 206; 305) a serem reproduzidos em pelo menos duas camadas espaciais diferentes (420 410), sendo que as duas camadas espaciais estão dispostas de uma maneira afastada ao longo de um eixo geométrico espacial, em que o aparelho é configurado para avaliar os canais de áudio do fluxo de áudio para fornecer uma medida de espacialidade (115; 235) associada ao fluxo de áudio.

2 . Ap 3. .1? Θ .1. Π c •, de d CO rdo com a re ivindicação 1, c a r a. c t e r i z a d o pelo í eixo ge< ométrico es] pacial ser o r i e n t a d o h o r i z o n t. dllTient Θ _f ou em que o eixo geométrico

espacial é orientado verticalmente.

3 / 6 fluxo de áudio a ser reproduzido em uma ou mais primeiras camadas espaciais e um segundo conjunto de canais de áudio do fluxo de áudio a ser reproduzido em uma ou mais segundas camadas espaciais, e para determinar a medida de espacialidade com base na medida de similaridade.

3 ou 4, caracterizado pelo primeiro conjunto de canais de áudio do fluxo de áudio ter que ser reproduzido em altofalantes em uma ou mais primeiras camadas espaciais e em que o segundo conjunto de canais de áudio do fluxo de áudio tem que ser reproduzido em alto-falantes em uma ou mais segundas camadas espacials, em que a uma ou mais primeiras camadas e a uma ou mais segundas camadas são espacialmente afastadas.

3, caracterizado pelo primeiro conjunto de canais de áudio do fluxo de áudio ser disjunto do segundo conjunto de canais de áudio do fluxo de áudio.

3. Aparelho, de acordo com a reivindicação

4. Aparelho, de acordo com a reivindicação

5. Aparelho, de acordo com a reivindicação

6 / 6 avaliar (510) canais de áudio do fluxo de áudio para fornecer uma medida de espacialidade associada ao fluxo de áudio;

em que o fluxo de áudio compreende canais de áudio a serem reproduzidos em pelo menos duas camadas espaciais diferentes, sendo que as duas camadas espaciais estão dispostas de uma maneira afastada ao longo de um eixo geométrico espacial,

6. Aparelho, de acordo com a reivindicação 5, em que o aparelho é caracterizado por ser configurado para determinar um limiar de mascaramento com base em uma informação de nível do primeiro conjunto de canais de áudio e para comparar o limiar de mascaramento com uma informação de nível do segundo conjunto de canais de áudio e em. que o aparelho é configurado para aumentar uma informação de nível espacial quando a comparação indica que o limiar de mascaramento é excedido pela informação de nível do segundo conjunto de canais de

/. Aparelho, de acordo com qualquer uma das reivindicações 1 a 6, em que o aparelho é caracterizado por ser configurado para determinar uma medida de similaridade (220b^?) entre um primeiro conjunto de canais de áudio do

Petição 870190088259, de 06/09/2019, pág. 12/17

7 ou 8, em que o aparelho é caracterizado por ser configurado para determinar um limiar de mascaramento com. base em uma informação de nível do primeiro conjunto de canais de áudio e para comparar o limiar de mascaramento com uma informação de nível do segundo conjunto de canais de áudio e em. que o aparelho é configurado para aumentar a medida de espacialidade quando a comparação indica que o limiar de mascaramento é excedido pela informação de nível do segundo conjunto de canais de áudio e a medida de similaridade indica uma menor similaridade entre o primeiro conjunto e o segundo conjunto.

7, em que o aparelho é caracterizado por ser configurado para determinar a medida de espacialidade de modo que quanto menor a medida de similaridade maior a medida de espacialidade.

8. Aparelho, de acordo com a reivindicação

9. Aparelho, de acordo com a reivindicação

10. Aparelho, de acordo com qualquer uma das reivindicações 1 a 9, em que o aparelho é caracterizado por ser configurado para analisar os canais de áudio do fluxo de áudio com relação a uma variação temporal de um posicionamento panorâmico de uma fonte de som nos canais de

Petição 870190088259, de 06/09/2019, pág. 13/17

11, em que o aparelho é caracterizado por ser configurado para diminuir a medida de espacialidade com base na estimativa de origem, de mixagem de aumento quando estimativa de origem de mixagem de aumento indica que os canais de áudio do fluxo de áudio são derivados de um fluxo de áudio com menos canais de áudio.

11 . Αρ a r e 1 ϊ i o, de acordo com qualquer uma das reivindicações 1 a 10, em que o aparelho é caracterizado por ser configurado para obter uma estimativa de origem de mixagem de aumento (220d^?) com base em uma medida de similaridade entre um primeiro conjunto de canais de áudio do fluxo de áudio e um segundo conjunto de canais de áudio do fluxo de áudio, e para determinar a medida de espacialidade com base na estimativa de origem de mixagem de aumento.

12. Aparelho, de acordo com a reivindicação

13. Aparelho, de acordo com a reivindicação ou 12, em que o aparelho é caracterizado por ser configurado para emitir medida de espacialidade acompanhada da estimativa de origem de mixagem. de aumento.

14. Aparelho, de acordo com qualquer reivindicações a 13, em que o aparelho é caracterizado por ser configurado para fornecer a medida de espacialidade com base em uma ponderação (230) de pelo menos dois dos seguintes parâmetros:

uma informação de nível espacial do fluxo de áudio, e/ou

Petição 870190088259, de 06/09/2019, pág. 14/17 uma medida de similaridade do fluxo de áudio, e/ou uma informação de posicionamento panorâmico do fluxo de áudio, e/ou uma estimativa de origem de mixagem de aumento do fluxo de áudio.

15, em que o aparelho é caracterizado por ser configurado para fornecer a medida de espacialidade como um. gráfico (310), em. que o gráfico é configurado para fornecer uma i n f o r m a ç ã o s o b r e a medida de espacialidade ao longo do tempo, em. que um. eixo geométrico temporal do gráfico está alinhado ao fluxo de áudio.

15. Aparelho, de acordo com qualquer uma das reivindicações 1 a 14, em que o aparelho é caracterizado por ser configurado para emitir visualmente (320) a medida de espacialidade.

16. Aparelh de acordo com a reivindicação

17. Aparelho, de acordo com. qualquer uma das reivindicações 1 a. 16, em que o aparelho é caracterizado por ser configurado para fornecer a. medida de espacialidade como um. valor numérico (320), numérico representa o fluxo de áudio inteiro.

18. Aparelho, de acordo com qualquer das reivindicações 1 a 17, em que o aparelho é caracterizado por ser configurado para gravar a medida de espacialidade em um arquivo de registro (330).

19. Método (500) para avaliar um fluxo de áudio, sendo que o método é caracterizado por compreender:

Petição 870190088259, de 06/09/2019, pág. 15/17

20. Programa de computador com um código de programa caracterizado por realizar um método, de acordo com a reivindicação 19, quando o programa de computador é executado em um computador ou um microcontrolador.