BR112016001757B1 - Métodos para reduzir complexidade computacional de participantes em um cenário de comunicação em conferência de voz sobre ip - Google Patents

Abstract

métodos para reduzir complexidade computacional de participantes em um cenário de comunicação em conferência de voz sobre ip. um sistema e método são apresentados para a codificação de participantes em um cenário de conferência. em uma modalidade, áudio de participantes de conferência em um cenário de voz sobre ip pode ser recebido e processado pelo sistema. em uma modalidade, áudio pode ser recebido em uma forma comprimida e descomprimida para processamento. para cada participante, é gerado áudio de retorno, comprimido (se aplicável) e transmitido ao participante. o sistema pode reconhecer quando participantes estão usando o mesmo formato de codificação de áudio e estão, portanto, recebendo áudios que podem ser similares ou idênticos. o áudio pode apenas ser codificado uma vez ao invés de para cada participante. portanto, codificações redundantes são reconhecidas e eliminadas, resultando em menos uso da cpu.

Description

FUNDAMENTOS

[0001] A presente invenção, em geral, refere-se a métodos e sistemas de telecomunicações, bem como chamadas de conferência voz sobre IP. Mais especificamente, a presente invenção diz respeito a reconhecer e eliminar operações redundantes, tais como codificações, de participantes de conferência.

RESUMO

[0002] Um sistema e método são apresentados para a codificação de participantes em um cenário de conferência. Em uma modalidade, áudio de participantes de conferência em um cenário de voz sobre IP pode ser recebido e processado pelo sistema. Em uma modalidade, áudio pode ser recebido em uma forma comprimida e descomprimida para processamento. Para cada participante, é gerado áudio de retorno, comprimido (se aplicável) e transmitido ao participante. O sistema pode reconhecer quando participantes estão usando o mesmo formato de codificação de áudio e estão, portanto, recebendo áudios que podem ser similares ou idênticos. O áudio pode ser codificado apenas uma vez ao invés de para cada participante. Portanto, codificações redundantes são reconhecidas e eliminadas resultando em menos uso de CPU.

[0003] Em uma modalidade, um método é apresentado para reduzir complexidade computacional de participantes em um cenário de comunicação em conferência através de reconhecimento e eliminação de operações redundantes, caracterizado pelo fato de que dito método compreende as etapas de: a) receber áudios para participantes do cenário de comunicação em conferência por meio de processamento de sinais; b) determinar um estado para cada participante, por meio de processamento de sinais; c) processar, pelo sistema de conferência, dito áudio para gerar áudio de retorno para cada participante, caracterizado pelo fato de que dito processamento compreende: reconhecer os participantes de conferência usando formatos de codificação de áudio similares e que estejam recebendo áudio similar; e codificar dito áudio similar para participantes que tenham atributos similares, pelos quais as operações redundantes são eliminadas; e d) transmitir, pelo sistema de conferência, dito áudio de retorno a ditos participantes, caracterizado pelo fato de que ditos participantes tendo atributos similares recebem o áudio de retorno com operações redundantes eliminadas.

[0004] Em outra modalidade, um método é apresentado para reduzir complexidade computacional de participantes em um cenário de chamada de conferência voz sobre IP através de reconhecimento e eliminação de codificações redundantes, caracterizado pelo fato de que dito método compreende as etapas de: a) receber um alerta do processador de sinal quando o participante começa a produzir som; b) adicionar dito participante, pelo processador de sinal, à listagem de participantes ativos, caracterizada pelo fato de que dito participantes ativos estão produzindo sons; c) determinar, pelo processador de sinal, se o som de dito participante é um discurso, caracterizado pelo fato de que o participante é removido da listagem se dito som é determinado como não sendo um discurso; d) reconhecer, pelo sistema de conferência, se participantes que são determinados como não sendo ativos estão usando um formato similar de codificação de áudio e estão recebendo áudio similar; e) codificar, pelo sistema de conferência, dito áudio similar para todos participantes que não estão ativos para reduzir redundância; e f) preparar e escrever, pelo sistema de conferência, dito áudio codificado a cada participante associado com uma instância de codificador.

BREVE DESCRIÇÃO DAS FIGURAS

[0005] Figura 1 é um diagrama ilustrando uma modalidade de um sistema.

[0006] Figura 2 é um fluxograma ilustrando uma modalidade de um processo para associar o participante com uma instância de codificador.

DESCRIÇÃO DETALHADA

[0007] Para os propósitos de promover um entendimento dos princípios da invenção, será feita, agora, referência à modalidade ilustrada nas figuras e linguagem específica será usada para descrever a mesma. Será, não obstante, entendido que nenhuma limitação do escopo da invenção é aqui pretendida. Quaisquer alterações e modificações adicionais nas modalidades descritas, e quaisquer aplicações adicionais dos princípios da invenção como descritas aqui são contempladas como ocorreria normalmente a alguém versado na técnica a quem a invenção destina-se.

[0008] Uma conferência de áudio pode ser uma comunicação, tais como uma chamada de voz ou uma videoconferência, por exemplo, com pelo menos dois participantes. Qualquer participante pode falar e cada participante pode ouvir o áudio combinado de todos os outros participantes de conferência. Combinar o áudio de todos os participantes não é desejado porque pode ser apenas um pequeno número de participantes falando em um dado tempo. Os participantes não falantes podem apenas estar contribuindo com ruído de fundo. Como o número de participantes de conferência aumenta, tal ruído de fundo pode se tornar mais notável. Implementações de conferência modernas pode combinar apenas os participantes falantes, determinado pela aplicação de um algoritmo de detecção de atividade de voz para cada participante. Como tais, todos os participantes não falando no momento irão receber o mesmo áudio.

[0009] Limitar o áudio de conferência a um conjunto de participantes no momento fala pode resultar no efeito que todos os participantes não falantes receberem exatamente o mesmo áudio (a combinação de participantes falantes). Por exemplo, em um cenário de conferência com dez grupos, todos os grupos, exceto o décimo, são silenciosos. Portanto, grupos de um a nove ouvem o mesmo áudio (do grupo dez). Em outro exemplo, se todos os grupos fossem silenciosos exceto nove e dez, os grupos de um a oito ouviriam o mesmo áudio (uma combinação de grupos nove e dez). Participantes usando o mesmo formato de codificação de áudio, e recebem áudio idêntico, são reconhecidos e o áudio é codificado uma vez ao invés de para cada participante. Em uma modalidade, operações redundantes, tais como codificações, podem ser reconhecidas e eliminadas em um processo pacote por pacote para participantes em um cenário de conferência de voz sobre IP.

[00010]Áudio codificado pode apenas ser compartilhado por participantes recebendo o mesmo áudio de conferência. Em uma modalidade, participantes de conferência compartilhando o mesmo áudio codificado devem estar usando os mesmos atributos, tais como formato de compressão, tamanho de empacotamento, ajuste de ganho, e entrada de áudio IVR. As escolhas possíveis para cada um desses atributos pode ser codificada em um número inteiro identificando o valor de atributo. O número inteiro para esses atributos pode ser combinado para formar uma assinatura de atributo. Participantes que recebem o mesmo áudio de conferência e possuem uma assinatura de atributo similar, e/ou a mesma, irão receber o mesmo áudio codificado. A assinatura pode ser formada como um número inteiro não assinado de 64 bits com alcance de bits reservado para cada atributo. Enquanto qualquer ordem e alcance de bits está dentro do escopo de uma modalidade, os seguintes são exemplos não limitativos:

[00011]IVR/fonte de áudio auxiliar para bits 0-15;

[00012]Ajuste de ganho para bits 16-23;

[00013]Tamanho de empacotamento para bits 24-27;

[00014] Opções de formato de compressão de áudio para bits 28-35;

[00015]Identificador de formato de compressão de áudio para bits 3651; e

[00016] Reservado para bits 52-65.

[00017] Figura 1 ilustra uma modalidade de um cenário de conferência, indicado, em geral, a 100. Participantes 105 podem fornecer Entrada de Áudio 106 no sistema de conferência 115. A entrada passa através do Processador de Sinal 110. Enquanto três participantes são mostrados para simplicidade, isso é válido para qualquer número de participantes presentes. Em geral, participantes podem ser ativos ou passivos na conferência (p.ex., falantes ou não falantes).

[00018] O Processador de Sinal 110 compreende meios que executam diversas funções. Em uma modalidade, o Processador de Sinal 110 usa Detecção de Atividade de Voz para detectar a presença de discursos a fim de determinar quais grupos estão falando no momento. Deve ser notado que o estado de fala pode ser diferente que o estado instantâneo do Processador de Sinal 110. Por exemplo, quando o participante para de produzir áudio, o sistema de conferência pode ainda considerar o participante um falante ativo for a pequeno conjunto de tempo (tal como 1-2 segundos). Detecção de fala pode ser executada individualmente para cada grupo. Em outra modalidade, o processador de sinal remove eco. Especificamente, o eco do áudio enviado ao participante pode ser removido. Em outra modalidade, controle automático de nível pode ser usado para impulsionar o volume de grupos mais baixos e reduzir o volume de grupos mais altos. Ainda em outra modalidade, pode ser executada a redução de barulho. Barulhos que não sejam discurso podem ser filtrados fora de um grupo de áudio a fim de melhorar a qualidade de conferências em geral. Áudio Processado 111 é enviado ao Sistema de Conferência 115.

[00019] O Sistema de Conferência 115 pode compreender um Codificador 120, um Misturador 125, e Seletor Alto Falante Ativo 130. O Codificador 120 pode comprimir áudio recebido de Participantes 105. Em uma modalidade, compressão de áudio é executada para reduzir o tamanho dos áudios transmitidos.

[00020] O Misturador 125 pode operar em um intervalo de tempo definido, que pode ser determinado em tempo de execução. Em uma modalidade, o intervalo de tempo pode ser em milissegundos (ms), tais como 10 ms ou 20 ms. O Misturador 125 compreende meios que podem associar participantes, ambos falantes e não falantes com uma instância de codificador, como descritas em maiores detalhes na Figura 2 abaixo.

[00021] O Seletor de Participante Ativo 130 determina o estado dos Participantes 105 em um cenário de conferência. Em uma modalidade, participantes de conferência podem ser ativos, bem como por fala, ou não ativo na comunicação. A determinação pode ser feita, por exemplo, baseada em segmentos de áudio(s), no estado atual de um participante, no estado anterior de um participante, no estado anterior de um participante relacionado ao estado de fala de outro participante, e um cenário de conferências.

[00022] Um segmento de áudio pode compreender o áudio contido em um intervalo sendo processado no momento. O segmento de áudio é um resultado da detecção de atividade de voz do processador de sinal para um intervalo de tempo, tal como 10 ou 20 ms. O estado atual de um participante pode compreender se o participante está falando ou não no intervalo de tempo, enquanto o estado anterior de um participante pode compreender se um participante estava ou não falando em um intervalo de tempo anterior. Quando há mais participantes no estado de fala do que o cenário de conferências permite, deve ser determinado quais dos participantes falantes contribuem para o áudio de autofalante combinado. A determinação pode ser feita comparando os estados de participantes atual e anterior, incluindo por quanto tempo os participantes estão em seus respectivos estados. Em uma modalidade, se a conferência é limitada em um máximo de três falantes ativos, e quatro participantes estão falando no momento, os três que estão falando por mais tempo podem ser selecionados para o áudio combinado. O cenário de conferências pode compreender os cenários necessários para selecionar os participantes corretos em cada intervalo misturador, tais como o mínimo e máximo número de falante ativos, quanto tempo um falante permanece nos variados estados, etc.

[00023] Saída de Áudio 135 é enviada do sistema de Conferência 115 aos Participantes 140. A Saída de Áudio 135 pode conter áudio codificado com instâncias de codificador únicas. Os Participantes 140 podem compreender participantes não falantes. Enquanto apenas três participantes 140 são mostrados para simplicidade, está dentro do escopo para qualquer número de participantes presentes. Deve ser notado, também, que participantes podem transitar de falantes a não falantes e vice versa.

[00024] Figura 2 descreve o processo 200 de associar o participante com uma instância de codificador. Esse processo pode ser operável no misturador de conferência 125 do sistema 100.

[00025] Na operação 205, áudio é recebido. Por exemplo, um segmento de áudio é lido de cada participante. O segmento de áudio pode ser igual a um intervalo de tempo predeterminado. Controle é passado à operação 210 e processo 200 continua.

[00026] Na operação 210, o áudio e formato de codificação são analisados para determinar estado de fala. Por exemplo, o estado de fala de um participante de conferência é determinado baseado na análise do segmento de áudio e o estado anterior do participante. Controle é passado à operação 215 e processo 200 continua.

[00027] Na operação 215, ocorre seleção de falantes. Por exemplo, todos os grupos em conferência e o cenário de conferência são examinados para decidir quais grupos são tratados como falantes ativos para um dado intervalo como determinado pelo processador de sinal. Os participantes de conferência podem ser divididos em um número de conjuntos baseado na detecção ou não de discurso. Em uma modalidade, pode haver dois conjuntos compreendendo participantes falantes e participantes não falantes. Os conjuntos podem também ser referidos como contribuintes e não contribuintes. Em uma modalidade, um participante pode contribuir sem falar a fim de encontrar o mínimo de participantes contribuintes em um cenário de conferência. Em outra modalidade, participantes que estão falando podem não ser considerados contribuintes devido ao cenário máximo de falantes ativos no cenário de conferência. Controle é passado à operação 220 e processo 200 continua.

[00028] Na operação 220, codificadores são atribuídos. Por exemplo, instâncias de codificador são atribuídas baseadas no conjunto formado na operação 215 (p.ex. contribuintes, não contribuintes, etc.). Em uma modalidade, instâncias de codificador podem ser atribuídas baseadas em se participante é um contribuinte (ou falante) participante ou um participante não contribuintes (ou não falantes). Se o participante está no conjunto falante, ou no estado de fala, e é atribuído, no momento, uma instância de codificador que é compartilhada com outros participantes, então ao participante pode ser atribuído uma nova, não compartilhada, instância de codificador com o estado copiado do codificador anterior para manter a continuidade de áudio. Participantes no conjunto de não falantes, ou estado de não falantes, pode ser agrupadas por sua assinatura de atributo de participante e atribuídas a um codificador de correspondência, que pode ser compartilhado por outros participantes não falantes.

[00029] Em uma modalidade, quando o participante transita do estado de fala para estado de não fala, este participante pode ser atribuído um estado de codificador compartilhado. Continuidade não é garantida nessa instância para codificadores monitorados, tais como G.729, por exemplo, e um pequeno artefato audível pode ser introduzido na chamada, entretanto, esse efeito é insignificante. Controle é passado à operação 220 e processo 200 continua.

[00030] Na operação 225, misturas únicas são produzidas. Por exemplo, o misturador pode criar áudio para todos os participantes. Todos os participantes não falantes ouvem o mesmo áudio e portanto, eles recebem a mistura de todos participantes falantes. Para cada dos participantes falantes, a mistura é criada de todos os outros participantes falantes, p.ex., cada falante recebe uma mistura comum menos sua entrada de áudio. Controle é passado à operação 230 e processo 200 continua.

[00031] Na operação 230, áudio é codificado para cada grupo e enviado. Por exemplo, o áudio apropriado de conferência é preparado e escrito a cada instância de codificador único. O áudio codificado é, então, escrito a cada participante associado com aquela instância de codificador. O áudio codificado é, então, enviado. Para grupos não contribuintes que compartilham a mesma assinatura de codificador, uma codificação única da mistura é produzida e enviado àqueles grupos. Portanto, os codificadores atribuídos são usados para fornecer um número mínimo de codificações para satisfazer tosos os grupos na conferência. O processo 200 termina.

[00032] Enquanto a invenção foi ilustrada e descrita em detalhes nas figuras e descrição acima, a mesma deve ser considerada como ilustrativa e não restritiva em caráter, sendo entendido que apenas modalidades preferidas foram mostradas e descritas, e que todas as equivalentes, mudanças e modificações que venham com o espírito da invenção como descritas aqui e/ou pelas reivindicações seguintes são desejados a serem protegidos.

[00033] Portanto, o escopo adequado da presente invenção deve ser determinado apenas pela interpretação mais ampla das reivindicações anexadas de modo a abranger tais modificações bem como todas as relações equivalentes àquelas ilustradas nas figuras e descritas no relatório descritivo.

Claims (22)

1. Método para reduzir complexidade computacional de participantes em um cenário de comunicação em conferência através de reconhecimento e eliminação de codificação de sinais redundantes, caracterizado pelo fato de que dito método compreende as etapas de: a. receber áudio para participantes do cenário de comunicação em conferência por meio de processamento de sinais;b. determinar um estado contribuinte ou um estado não contribuinte para cada participante, por meio de processamento de sinais usando uma detecção de atividade de voz, em que a cada participante é atribuído um estado contribuinte ou um estado não contribuinte;c. processar, por um sistema de conferência, dito áudio para gerar áudio de retorno para cada participante, em que melhorias a dito processamento compreendem:i. reconhecer os participantes não contribuinte que estejam recebendo áudio similar com formatos de codificação de áudio similares; eii. remover áudio redundante do áudio similar para os participantes não contribuinte;iii. associar participantes contribuinte e não contribuinte com uma instância de codificador; eiv. codificar dito áudio similar com remoção de áudio redundante para os participantes não contribuinte com atributos similares por uma instância de codificador único compartilhado para eliminar codificação redundante e gerar dito áudio de retorno; ed. transmitir, pelo sistema de conferência, dito áudio de retorno a ditos participantes, em que ditos participantes não contribuintes, tendo atributos similares, recebem o áudio de retorno com sinais de codificação redundantes eliminados.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os atributos compreendem um ou mais dentre: formatos de compressão, tamanho de empacotamento, ajuste de ganho, áudio IVR, e áudio auxiliar.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a codificação de dito áudio similar para participantes tendo atributos similares compreende:a. codificar um padrão de bits identificando atributos de umparticipante; eb. combinar ditos padrões de bits para todos os atributos paraformar uma assinatura.

4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que a assinatura é formada como um número inteiro não assinado de 64 bits com um alcance de bits reservado para um atributo.

5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que o alcance de bits compreende: 0-15, 16-23, 24-27, 28-35, 36-51 e 52-64.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa (c.i) é executada por meio de misturador de conferência, compreendendo, adicionalmente, as etapas de:a. ler um segmento de áudio igual a um intervalo de tempo para cada participante;b. determinar quais participantes contribuem para o áudio em dito intervalo de tempo e atribuir a pelo menos dois conjuntos de participantes;c. atribuir uma instância de codificador único a cada conjunto de participantes;d. preparar o áudio e escrever o áudio para uma instância de codificador único, em que:i. o áudio é analisado para determinar quais entradas contribuem para o áudio; ii. uma lista de saída de participante é formada a partir da análise;iii. um codificador é atribuído a cada saída de participante; eiv. o número necessário de misturas únicas é produzido por um método de mistura; ee. escrever dito áudio codificado a cada participante associado com uma instância de codificador.

7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que o intervalo de tempo é 10 milissegundos.

8. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que o intervalo de tempo é 20 milissegundos.

9. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a determinação da etapa (b) é feita baseada em pelo menos um dentre: o segmento de áudio, o estado atual do participante, o estado anterior do participante, o estado anterior do participante quanto ao estado de fala de um outro participante, e cenários de conferência.

10. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a atribuição de participantes na etapa b) é executada de acordo com participantes ativos e participantes não ativos.

11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que os participantes ativos estão falando.

12. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a instância de codificador é atribuída por critérios designados.

13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que os critérios designados compreendem:a. determinar se um participante está contribuindo para o intervalo de tempo e,i. se o participante está contribuindo para dito intervalo de tempo e possui uma instância de codificador atribuída compartilhada com pelo menos um outro participante, ao participante é atribuído a nova instância de codificador único com o estado copiado da instância de codificador anterior para manter a continuidade de áudio; eii. se o participante não está contribuindo para dito intervalo de tempo, agrupar o participante com quaisquer outros participantes baseado no atributo assinatura, e atribuir aos participantes no grupo um codificador de correspondência.

14. Método, de acordo com a reivindicação 13, caracterizado pelo fato de que o número de instâncias de codificador é igual ao número de participantes.

15. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o participante é determinado como contribuinte por um alerta enviado por um processador de sinal quando o participante começa a produzir sons desejados.

16. Método, de acordo com a reivindicação 15, caracterizado pelo fato de que ditos sons desejados compreendem discursos.

17. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que existe um número máximo de participantes da conferência configurado que contribuem e dita configuração é capaz de ser temporariamente excedida.

18. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que dito áudio similar compreende formatos de codificação idênticos.

19. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que dito cenário de comunicação em conferência compreende uma videoconferência.

20. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que processar compreende adicionalmente: a. receber um alerta do meio de processamento de sinal quando um participante começa a produzir som;b. adicionar dito participante, pelo meio de processamento de sinal, a uma listagem de participantes ativos, em que ditos participantes ativos estão produzindo som;c. determinar, pelo meio de processamento de sinal, se o som de dito participante é um discurso, em que o participante é removido da listagem se dito som for determinado como não sendo discurso;d. reconhecer, pelo sistema de conferência, se participantes que são determinados como não sendo ativos estão usando um formato similar de codificação de áudio e estão recebendo áudio similar;e. codificar, pelo sistema de conferência, dito áudio similar para todos os participantes que são não ativos para reduzir redundância; ef. preparar e escrever, pelo sistema de conferência, dito áudiocodificado a cada participante associado com uma instância de codificador.

21. Método, de acordo com a reivindicação 20, caracterizado pelo fato de que etapa de reconhecimento compreende as etapas de:a. identificar atributos de um participante e codificar um padrão de bits identificando um valor atribuído a ditos atributos; eb. combinar ditos padrões de bits para atributos para formar uma assinatura com alcances de bits reservado para cada atributo, em que participantes estão usando um formato similar de codificação de áudio e recebendo áudio similar se eles possuírem a mesma assinatura e eles não estiverem na listagem de participantes ativos.

22. Método, de acordo com a reivindicação 20, caracterizado pelo fato de que etapa de preparar e escrever compreende, adicionalmente, as etapas de:a. preparar um buffer de áudio contendo uma soma da entrada de áudio por participantes ativos; e b. preparar um buffer contendo áudio do buffer preparado na etapa (a) menos o áudio de participantes não ativos.

Images