BR102018075377A2 - Dispositivo e método para interação vocal com preservação da privacidade - Google Patents

Dispositivo e método para interação vocal com preservação da privacidade Download PDF

Info

Publication number
BR102018075377A2
BR102018075377A2 BR102018075377-0A BR102018075377A BR102018075377A2 BR 102018075377 A2 BR102018075377 A2 BR 102018075377A2 BR 102018075377 A BR102018075377 A BR 102018075377A BR 102018075377 A2 BR102018075377 A2 BR 102018075377A2
Authority
BR
Brazil
Prior art keywords
speaker
name
response
obfuscated
audio signal
Prior art date
Application number
BR102018075377-0A
Other languages
English (en)
Other versions
BR102018075377B1 (pt
Inventor
Patrick Fontaine
Christoph Neumann
Original Assignee
Interdigital Ce Patent Holdings
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interdigital Ce Patent Holdings filed Critical Interdigital Ce Patent Holdings
Publication of BR102018075377A2 publication Critical patent/BR102018075377A2/pt
Publication of BR102018075377B1 publication Critical patent/BR102018075377B1/pt

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42008Systems for anonymous communication between parties, e.g. by use of disposal contact identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Respiratory Apparatuses And Protective Means (AREA)

Abstract

a presente invenção refere-se a um assistente doméstico (100?) e a um método para interações vocais com preservação da privacidade. um microfone (102) captura um sinal de áudio (102) correspondente a uma consulta de voz do usuário. a identidade (122) do falante é determinada, e um nome ofuscado (126) é gerado correspondente ao falante identificado. o sinal de áudio é analisado para determinar a intenção (123) do usuário, e uma resposta personalizada (124) é gerada em combinação com o nome ofuscado. essa resposta é, então, desofuscada pela reintrodução do nome de falante. a resposta desofuscada (127) é renderizada para o falante.

Description

“DISPOSITIVO E MÉTODO PARA INTERAÇÃO VOCAL COM PRESERVAÇÃO DA PRIVACIDADE” CAMPO TÉCNICO
[001]A presente invenção refere-se ao domínio de interações vocais e, mais particularmente, preserva a privacidade de usuários em um ambiente de assistente doméstico com múltiplos usuários.
FUNDAMENTO
[002]Esta seção destina-se a apresentar ao leitor vários aspectos da técnica, que podem estar relacionados a vários aspectos da presente invenção que são descritos e/ou reivindicados abaixo. Acredita-se que esta discussão seja útil ao prover ao leitor informações de fundamento para facilitar uma melhor compreensão dos vários aspectos da presente invenção. Neste sentido, deve-se entender as essas afirmações devem ser lidas sob esta ótica, e não como admissões da técnica anterior.
[003]O uso de controle de voz no ambiente residencial através de assistentes domésticos, tais como o Amazon Echo ou Google Home, bem como serviços de assistente doméstico, tais como Microsoft Cortana ou Apple Siri, se tornou uma realidade do mercado de massa; tais dispositivos ou serviços são usados em milhões de residências. Um assistente doméstico captura a fala natural de usuários da residência através de microfones, analisa a consulta de usuário e fornece resposta ou serviço apropriado. As consultas a serem executadas podem fazer uso de dispositivos domésticos (por exemplo: silenciar o som da TV, fechar janelas etc.), mas também serviços não domésticos (por exemplo: informar a previsão do tempo ou valores de ações, obter ajuda sobre falha de um dispositivo etc.). Além disso, a última geração de assistentes domésticos também realiza reconhecimento de falante. Tal reconhecimento possibilita múltiplas funcionalidades, como o controle de acesso (por exemplo: uma criança não pode configurar a rede doméstica, não pode acessar filmes adultos etc.), personalização das interações (por exemplo: o vocabulário da interação pode ser adaptado à categoria de falante escolhida entre jovens, adolescentes, adultos ou idosos). No entanto, isso vem com o custo de diminuição da privacidade do usuário. De fato, a análise de fala e a lógica de conversação que são usadas nesses ecossistemas de interação vocal são convencionalmente operadas fora do ambiente doméstico, tipicamente na nuvem.
[004]Portanto, pode ser observado que há necessidade de uma solução para o reconhecimento de falante residencial que aborde pelo menos alguns dos problemas da técnica anterior. A presente invenção fornece tal solução.
SUMÁRIO
[005]A presente invenção descreve um assistente doméstico e um método para interações vocais com preservação da privacidade. Um microfone captura um sinal de áudio correspondente a uma consulta de voz do usuário. A identidade do falante é determinada, e um nome ofuscado é gerado correspondente ao falante identificado. O sinal de áudio é analisado para determinar a intenção do usuário e uma resposta personalizada é gerada em combinação com o nome ofuscado. Essa resposta é, então, desofuscada pela reintrodução do nome de falante. A resposta desofuscada é, então, renderizada para o falante.
[006]Em um primeiro aspecto, a invenção refere-se a um dispositivo para realizar interações vocais com preservação da privacidade compreendendo: um microfone configurado para capturar um sinal de áudio representativo de uma expressão vocal relativa a uma consulta de um falante; um identificador de falante configurado para determinar a identidade de um falante a partir do sinal de áudio capturado; um reforçador de privacidade configurado para gerar um nome de falante ofuscado correspondente ao falante identificado e armazenar uma lista de correspondências entre nomes de falantes e nomes de falantes ofuscados; uma interface de comunicação configurada para prover a um dispositivo externo o sinal de áudio capturado e o nome de falante ofuscado; para receber de um dispositivo externo uma resposta à consulta do falante; em que o reforçador de privacidade é ainda configurado para determinar se a resposta recebida contém um nome de falante ofuscado da lista e, neste caso, para substituir, na resposta recebida, o nome de falante ofuscado pelo nome correspondente, gerando assim uma resposta desofuscada.
[007]Em uma primeira variante do primeiro aspecto, a resposta recebida é em formato de texto e o dispositivo ainda compreende um conversor de texto em fala configurado para transformar a resposta desofuscada do formato de texto em um sinal de áudio.
[008]Em uma segunda variante do primeiro aspecto, a resposta recebida é em formato de áudio e o reforçador de privacidade é ainda configurado para ocultar o sinal de áudio capturado por detecção de um nome de falante da lista e substituição deste por um sinal de áudio representativo do nome de falante ofuscado correspondente.
[009]Em uma terceira variante do primeiro aspecto, o reforçador de privacidade ainda compreende uma configuração para ativar ou desativar um modo de navegação anônima em que, no primeiro caso, o reforçador de privacidade ofusca o nome de falante antes de fornecê-lo e desofusca a resposta recebida quando ela contém um nome de falante ofuscado e, no segundo caso, o reforçador de privacidade não ofusca mais o nome de falante e não determina mais se a resposta recebida contém um nome de falante ofuscado.
[010]Em um segundo aspecto, a invenção refere-se a um método para realizar interações vocais com preservação da privacidade compreendendo: capturar um sinal de áudio representativo de uma expressão vocal relativa a uma consulta de um falante; identificar o falante a partir do sinal de áudio capturado; gerar um nome de falante ofuscado correspondente ao falante identificado e armazenar uma lista de correspondências entre nomes de falantes e nomes de falantes ofuscados; prover a um dispositivo externo o sinal de áudio capturado e o nome de falante ofuscado; obter de um dispositivo externo uma resposta à consulta; determinar se a resposta recebida contém um nome de falante ofuscado da lista e, neste caso, substituir, na resposta recebida, o nome de falante ofuscado pelo nome correspondente, gerando assim uma resposta desofuscada; e prover a resposta ao falante.
[011]Em uma primeira variante do segundo aspecto, a resposta recebida é em formato de texto e o método ainda compreende detectar um nome de falante da lista e substituição deste por um sinal de áudio representativo do nome de falante ofuscado correspondente.
[012]Uma segunda variante do segundo aspecto ainda compreende uma configuração para ativar ou desativar um modo de navegação anônima, em que, no primeiro caso, ofusca-se o nome de falante antes de fornecê-lo e desofusca-se a resposta recebida quando ela contém um nome de falante ofuscado e, no segundo caso, não mais ofusca-se o nome de falante e não mais determina-se se a resposta recebida contém um nome de falante ofuscado.
[013]Uma terceira variante do segundo aspecto compreende renovar os nomes de falantes ofuscados.
[014]Em um terceiro aspecto, a invenção refere-se a um programa de computador compreendendo instruções de código de programa executáveis por um processador para implementar qualquer modalidade do método do segundo aspecto.
[015]Em um quarto aspecto, a invenção refere-se a um produto de programa de computador que é armazenado em um meio legível por computador não transitório e compreende instruções de código de programa executáveis por um processador para implementar qualquer modalidade do método do segundo aspecto.
BREVE DESCRIÇÃO DOS DESENHOS
[016]Características preferidas da presente invenção serão agora descritas, por meio de exemplos não limitantes, com referência aos desenhos anexos, em que: [017]A Figura 1A ilustra um ecossistema de assistente doméstico exemplificativo de acordo com a técnica anterior;
[018]A Figura 1B ilustra um ecossistema de assistente doméstico exemplificativo em que pelo menos parte da invenção pode ser implementada;
[019]A Figura 2 ilustra um fluxograma exemplificativo de um método de interação vocal com preservação da privacidade de acordo com uma modalidade da invenção.
DESCRIÇÃO DE MODALIDADES
[020]A Figura 1A ilustra um ecossistema de assistente doméstico exemplificativo de acordo com a técnica anterior. A pessoa versada na técnica irá apreciar que o dispositivo ilustrado é simplificado para fins de clareza. O ecossistema de assistente doméstico compreende pelo menos um assistente doméstico 100 que interage com provedores de serviço através de uma interface de comunicação 120. Os provedores de serviço propõem uma pluralidade de serviços ao usuário, com a particularidade de que os serviços são com base em interações vocais e personalizados para usuários individuais. Os serviços são providos por aplicativos de software dedicados que colaboram para responder à requisição do falante. Esses aplicativos de software são convencionalmente executados em dispositivos não domésticos (out-of-the-home), tipicamente na nuvem, e podem ser operados por um único operador de serviços 140, como ilustrado na Figura 1A, ou podem ser divididos entre uma pluralidade de provedores de serviço em colaboração.
[021]O assistente doméstico compreende um microfone 102 para capturar as expressões vocais geradas pelo usuário fazendo uma consulta de voz e para gerar o sinal de áudio correspondente 121. Um módulo identificador de falante 104 analisa o sinal de áudio 121 para identificar o falante entre o conjunto de usuários da residência e fornece a identidade do falante 122 ao provedor de serviços 140. A função de conversão de fala em intenção 150 recebe o sinal de áudio 121, o analisa, o transforma em texto e gera uma intenção. Uma função de “conversão de fala em intenção” é diferente de uma função de “conversão de fala em texto”. De fato, uma intenção corresponde a um conceito e é mais geral do que uma simples palavra reconhecida. Por exemplo, a intenção pode ser “olá” quando os falantes dizem “guten Tag”, “bonjour”, “oi” etc... A lógica de conversação 160 recebe a intenção 123 e a identidade do falante 122. Estando ciente das interações prévias com o falante, a lógica de conversação 160 gera uma resposta apropriada 124, em resposta à última intenção. Uma vez que a lógica de conversação está ciente da identidade do falante, ela personaliza a resposta, por exemplo, inserindo o nome do falante na resposta. A resposta 124 é uma sequência de texto e é provida à função de conversão de texto em fala 160 que a transforma em um sinal de áudio 125 enviado ao assistente doméstico e renderizado no alto-falante 110.
[022]Por exemplo, como ilustrado na Figura 1A, quando o usuário Bob deseja interagir com o ecossistema, ele começa por uma consulta simples “Alexa, bonjour!”, no caso do ecossistema da Amazon. O ecossistema responderá dizendo “Bonjour Bob”, personalizando, assim, a resposta ao inserir o nome do falante reconhecido.
[023]Com essa configuração, o assistente doméstico 100 fornece aos provedores de serviço a identidade do falante. No entanto, os usuários nem sempre desejam que sua identidade seja divulgada e esperam melhorias em relação à sua privacidade.
[024]A Figura 1B ilustra um ecossistema de assistente doméstico exemplificativo em que pelo menos parte da invenção pode ser implementada. O ecossistema de assistente doméstico compreende um assistente doméstico favorável à privacidade 100' e pode operar com exatamente o mesmo ambiente de operador de serviços 140 como no sistema da técnica anterior descrito na Figura 1â, melhorando ao mesmo tempo a privacidade do falante.
[025]O assistente doméstico 100' compreende um microfone 102 configurado para capturar áudio de usuários, um identificador de falante 104 configurado para detectar a identidade do falante entre os usuários da residência, um reforçador de privacidade 106 configurado para ocultar a identidade do falante nos dados de saída pela substituição do nome de falante por um nome temporário e inserção dele de volta nos dados de entrada, um conversor de texto em fala opcional 108 configurado para transformar as respostas textuais em sinal de voz, um alto-falante 110 configurado para emitir o sinal de áudio e uma interface de comunicação 120. O assistente doméstico 100' também compreende outros elementos que não são ilustrados uma vez que não são relevantes para a invenção (tais como botões para configurar o sistema, fonte de energia para operar os componentes eletrônicos, amplificador de áudio para acionar o alto-falante etc.), mas essenciais para operar o dispositivo. O assistente doméstico 100' pode ser implementado como um dispositivo autônomo ou pode ser integrado em um dispositivo de consumidor convencional, tal como uma settop box, uma porta de conversão, uma televisão, um computador, um smartphone, um tablet etc.
[026]A interface de comunicação 120 é configurada para interagir com dispositivos não domésticos, tais como servidores de dados e processadores na nuvem executando pelo menos a função de conversão de fala em intenção e as funções lógicas de conversação. ADSL, modem a cabo, 3G ou 4G são exemplos de interfaces de comunicação que podem ser usadas para este propósito. Outras interfaces de comunicação podem ser usadas.
[027]O assistente doméstico 100' opera em um de dois modos, dependendo no tipo de resposta provido pela lógica de conversação ao assistente doméstico 100'. Um primeiro modo é usado quando a lógica de conversação 160 entrega a resposta em formato de texto. Neste caso, o conversor de texto em fala 170 do provedor de serviços 140 não é usado e a conversão em áudio é feita dentro do assistente doméstico 100' pelo conversor de texto em fala 108. Um segundo modo é usado com provedores de serviço herdados, em que a resposta é entregue como um sinal de áudio, usando assim o conversor de texto em fala 170 do provedor de serviços 140.
[028]De acordo com uma modalidade preferida, o ecossistema de assistente doméstico opera no primeiro modo. O falante gera uma expressão vocal para fazer uma pergunta de voz, tal como “Alexa, como está o tempo hoje?”. O microfone 102 captura esta expressão vocal e gera o sinal de áudio correspondente 121. O módulo identificador de falante 104 analisa o sinal de áudio 121 e identifica o falante como sendo o falante cujo identificador é XYZ-002 e cujo nome é Bob. Tal identificação é, por exemplo, feita usando tecnologias de reconhecimento de falante convencionais, tais como classificação usando modelos GMM-UBM (Modelo de Misturas de Gaussianas - Modelo de Fundamento Universal). Uma vez que um falante tenha sido identificado, o nome de falante 122 é provido ao reforçador de privacidade 106 que gera um nome temporário 126 (no exemplo da Figura 1B: “tak”) e o fornece ao provedor de serviços 140, ofuscando assim o nome real e identidade do falante. O reforçador de privacidade 106 armazena o relacionamento entre o identificador de falante e o nome ofuscado 126. Isso é feito, por exemplo, pelo armazenamento da associação entre o nome do falante identificado (ou seu perfil/identificador local) e o nome ofuscado em uma tabela de mapeamento. A tabela 1 mostra um exemplo dessa tabela de mapeamento.____________________________________________________ Tabela 1: tabela de mapeamento [029]Várias técnicas podem ser usadas para gerar o nome ofuscado, tais como a geração de uma sequência de texto aleatória ou seleção aleatória de um elemento em uma lista de textos aleatórios que são diferentes dos nomes da residência. Um nome ofuscado preferencialmente não corresponde a um nome comum ou uma palavra comum. Para assegurar isso, um texto aleatório gerado pode ser usado apenas se não fizer parte de um dicionário de nomes e um dicionário convencional. Quando este não é o caso, uma nova geração deve ser feita.
[030]O reforçador de privacidade 106, então, fornece o sinal de áudio 121' e o nome ofuscado 126 ao operador de serviços 140. A função de conversão de fala em intenção 150 analisa o sinal de áudio recebido 121' e gera uma intenção correspondente 123. A lógica de conversação 160, então, analisa a intenção 123 e gera uma resposta personalizada 124, por exemplo, compreendendo o nome ofuscado. Essa resposta é, então, diretamente enviada de volta ao assistente doméstico 100' em formato de texto. O reforçador de privacidade 106 analisa a resposta recebida 124 e verifica se ela contém um nome ofuscado da lista de nomes ofuscados da tabela de mapeamento. Quando este é o caso, o nome ofuscado detectado é substituído pelo nome de falante correspondente, gerando assim a resposta desofuscada 124' que é transformada, pelo conversor de texto em fala 108, em um sinal de áudio 127 renderizado pelo alto-falante 110.
[031]No exemplo ilustrado na Figura 1B, Bob diz “Alexa, como está o tempo hoje?” O falante é identificado como “Bob” e, assim, o nome correspondente ofuscado é “tak”. A análise de áudio revela que a intenção era “meteorologia hoje”. O relatório meteorológico de hoje é, então, pesquisado e carregado e a resposta é personalizada pela adição do nome do falante: “Olá, tak. O tempo hoje está ...”, compreendendo ainda o nome de falante ofuscado. Quando a resposta é analisada, um dos nomes de falante ofuscados da lista (“tak”) é detectado. Ele é substituído pelo nome de falante real correspondente “Bob”, portanto, gerando a resposta final “Olá, Bob. O tempo hoje está ...”. O resultado é que o nome de falante não foi divulgado fora do assistente doméstico 100', preservando, portanto, a privacidade da pluralidade de usuários do assistente doméstico.
[032]De acordo com uma modalidade alternativa, o ecossistema de assistente doméstico opera no segundo modo. A diferença do primeiro modo é que, quando a lógica de conversação gera a resposta 124, essa resposta não é provida ao assistente doméstico 100' diretamente em formato de texto, mas em um formato de áudio, uma vez que um sinal de áudio 125 é gerado pelo conversor de texto em fala 170 do provedor de serviços 140. Portanto, quando o assistente doméstico 100' recebe a resposta 125, o reforçador de privacidade 106 analisa o sinal de áudio 125 para detectar o nome ofuscado. Para tal propósito, o reforçador de privacidade obtém representações de áudio dos nomes ofuscados e procura essas representações dentro do sinal de áudio 125 no domínio de áudio, por exemplo, usando uma correlação cruzada dos dois sinais de áudio. Quando um nome ofuscado é encontrado, ele é substituído pelo nome de falante correspondente, gerando assim a resposta desofuscada 127 que é renderizada pelo alto-falante 110.
[033]Neste segundo modo, o nome ofuscado escolhido pode ter comprimento similar ao nome de falante, como ilustrado na tabela 1. Alternativamente, ele pode também ter um comprimento fixo para evitar o fornecimento de informações que possam ser usadas para determinar o número de pessoas da residência. Um exemplo de técnica para geração de tal nome ofuscado é alternar uma consonante aleatória e uma vogal aleatória em um número fixo de letras. Nesse caso, exemplo de nomes ofuscados para a tabela 1 poderiam ser “kadopabo”, “jilybelo”, “gatekomu” e “dagopasa”.
[034]Em uma modalidade alternativa, para maior privacidade, o sinal de áudio gravado 121 é modificado pelo reforçador de privacidade em outro sinal de áudio 121', de modo que as características vocais da voz gravada não possam ser reconhecidas. Isso é feito usando qualquer algoritmo de transformação de voz (mutação de voz, modificações prosódicas, ou ainda aplicação de função de conversão de fala em texto seguida por função de conversão de texto em fala etc.), assim, transformando as características sem alterar o texto que é falado. O resultado dessa transformação seria que todas as vozes saindo da rede doméstica fossem as mesmas e, assim, se tornassem indistinguíveis. Essa salvaguarda adicional se aplica a ambos os modos.
[035]Em uma modalidade alternativa, o reforçador de privacidade também ofusca o texto do sinal de áudio de saída 121' a partir do sinal de áudio do gravador 121. Isso é feito pela detecção, dentro do sinal de áudio, de um dos nomes dos falantes da residência, conforme listado, por exemplo, na tabela de mapeamento de tabela 1. Quando um nome de falante é encontrado, ele é substituído pelo nome correspondente ofuscado. Esta modalidade é opcional, uma vez que pode levar a consultas malsucedidas em algumas situações. Por exemplo, se esse recurso estiver ativado, com a tabela 1 acima, não seria possível assistir ao filme “Alice no país das maravilhas” uma vez que a consulta seria transformada em “okul no país das maravilhas”.
[036]Em uma modalidade alternativa, a ofuscação é renovada periodicamente sob o controle de uma configuração padrão, uma escolha de usuário ou uma configuração nas preferências de usuário, por exemplo, a cada inicialização do dispositivo, todos os dias, a cada 15 minutos, para cada consulta etc. O caso em que a ofuscação é renovada para cada consulta melhora a não capacidade de conexão entre duas requisições sucessivas. No entanto, isso agrega a desvantagem de contextualização reduzida da consulta, uma vez que a lógica de conversação sempre iniciará de um contexto vazio após cada renovação, uma vez que é executada por um suposto novo falante.
[037]De acordo com uma modalidade, o reforçador de privacidade 106 pode ser ativado ou desativado, por exemplo, sob o controle de uma escolha de usuário ou uma configuração nas preferências de usuário. Isso controla o nível de privacidade provida pelo reforçador de privacidade e, assim, é denominado configuração de nível de privacidade. Quando a configuração de nível de privacidade é “NO_PRIVACY”, o reforçador de privacidade 106 é completamente transparente: ele não impacta as consultas de saída do assistente doméstico 100' e não modifica os resultados de entrada. Quando a configuração de nível de privacidade é “INCOGNITO”, o reforçador de privacidade 106 está totalmente ativo: ele analisa as consultas de saída para ofuscar o nome de falante na consulta, remove qualquer nome de falante do áudio, transforma a consulta de voz de saída, e restaura o nome de falante nos resultados de entrada. Outras configurações intermediárias de nível de privacidade são também possíveis, por exemplo, sem executar a transformação de voz.
[038]De acordo com uma modalidade, a configuração de nível de privacidade pode ser ajustada usando uma própria consulta de áudio, tal como “iniciar modo privado”, “iniciar modo incógnito”, “ocultar minha identidade” etc. para ativar o reforçador de privacidade e “parar modo privado”, “parar modo incógnito” etc. para ignorar o reforçador de privacidade. Essa consulta é detectada pelo reforçador de privacidade, que ajusta seu comportamento em conformidade.
[039]A Figura 2 ilustra um fluxograma exemplificativo de um método de interação vocal com preservação da privacidade de acordo com uma modalidade da invenção. Na etapa 200, o microfone captura as expressões vocais executadas pelo usuário formando uma pergunta de voz e gera o sinal de áudio correspondente. Na etapa 202, o identificador de falante identifica a identidade do falante do sinal de áudio capturado e, na etapa 204, o reforçador de privacidade gera um nome de falante ofuscado. Opcionalmente, na etapa paralela 206, o reforçador de privacidade ofusca o sinal de áudio. Na etapa 208, o sinal de áudio é obtido, analisado e a intenção correspondente é gerada. Na etapa 210, uma resposta personalizada é gerada após obtenção do nome de falante ofuscado. Na etapa 212, a resposta é analisada pelo reforçador de privacidade que substitui os nomes ofuscados da resposta pelos nomes de falante correspondentes. Na etapa 214, os alto-falantes renderizam a resposta desofuscada. As etapas de ofuscação 204 e 206 e a etapa de desofuscação 212 estão sob o controle das configurações de nível de privacidade e são ignoradas quando as configurações são “NO_PRIVACY”.
[040]Como será apreciado por um versado na técnica, aspectos dos presentes princípios e características descritos acima podem ter a forma de uma modalidade totalmente de hardware, uma modalidade totalmente de software (incluindo firmware, software residente, microcódigo etc.), ou uma modalidade que combina aspectos de hardware e software. Por exemplo, embora a descrição seja feita usando componentes de hardware para o identificador de falante 104, reforçador de privacidade 106 e conversor de texto em fala 108, esses elementos podem ser implementados como componentes de software usando pelo menos um processador de hardware configurado para executar um método de pelo menos uma modalidade da presente invenção, memória configurada para armazenar dados necessários para executar um método de pelo menos uma modalidade da presente invenção e código de programa legível por computador executável pelo processador para realizar pelo menos uma modalidade da presente invenção. Dessa forma, em tal implementação, o processador de hardware é configurado para implementar pelo menos as funções do identificador de falante 104, reforçador de privacidade 106 e conversor de texto em fala 108 e para fazer interface com o provedor de serviços através da interface de comunicação 120. Para tal propósito, o processador de hardware é configurado para implementar pelo menos as etapas da Figura 2 compreendendo a etapa de identificação de usuário 202, etapa de ofuscação de nome 204, etapa de ofuscação de consulta de áudio 206, etapa de desofuscação 212 e etapa de renderização de resposta 214.
[041]Além disso, embora as diferentes modalidades alternativas tenham sido descritas separadamente, elas podem ser combinadas de qualquer forma.
REIVINDICAÇÕES

Claims (15)

1. Dispositivo (100') para realizar interações vocais com preservação da privacidade, CARACTERIZADO pelo fato de que compreende: - um microfone (102) configurado para capturar um sinal de áudio (121) representativo de uma expressão vocal relativa a uma consulta de um falante; - um identificador de falante (104) configurado para determinar a identidade de um falante a partir do sinal de áudio capturado (121); - um reforçador de privacidade (106) configurado para prover um nome de falante ofuscado (122) correspondente ao falante identificado e armazenar uma lista de correspondências entre nomes de falantes e nomes de falantes ofuscados; - uma interface de comunicação (120) configurada para: - prover a um dispositivo externo o sinal de áudio capturado (121) e o nome de falante ofuscado (122); - receber de um dispositivo externo uma resposta (124, 125) à consulta do falante; em que o reforçador de privacidade é ainda configurado para determinar se a resposta recebida contém um nome de falante ofuscado da lista e, neste caso, para substituir, na resposta recebida, o nome de falante ofuscado pelo nome correspondente.
2. Dispositivo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que compreende ainda prover a resposta ao falante.
3. Dispositivo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a resposta recebida (124) é em formato de texto.
4. Dispositivo, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que compreende ainda um conversor de texto em fala (108) configurado para transformar a resposta desofuscada (124') do formato de texto em um sinal de áudio (127).
5. Dispositivo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a resposta recebida (124) é em formato de áudio.
6. Dispositivo, de acordo com a reivindicação 1 CARACTERIZADO pelo fato de que o reforçador de privacidade é ainda configurado para ocultar o sinal de áudio capturado (121) por detecção de um nome de falante da lista e substituição deste por um sinal de áudio representativo do nome de falante ofuscado correspondente.
7. Dispositivo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o reforçador de privacidade ainda compreende uma configuração para ativar ou desativar um modo de navegação anônima, em que, no primeiro caso, o reforçador de privacidade ofusca o nome de falante antes de fornecê-lo e desofusca a resposta recebida quando ela contém um nome de falante ofuscado e, no segundo caso, o reforçador de privacidade não ofusca mais o nome de falante e não determina mais se a resposta recebida contém um nome de falante ofuscado.
8. Método para realizar interações vocais com preservação da privacidade, CARACTERIZADO pelo fato de que compreende: - capturar (200) um sinal de áudio representativo de uma expressão vocal relativa a uma consulta de um falante; - identificar (202) o falante a partir do sinal de áudio capturado; - gerar (204) um nome de falante ofuscado correspondente ao falante identificado e armazenar uma lista de correspondências entre nomes de falantes e nomes de falantes ofuscados; - prover a um dispositivo externo o sinal de áudio capturado e o nome de falante ofuscado; - obter de um dispositivo externo uma resposta à consulta; e - determinar (212) se a resposta recebida contém um nome de falante ofuscado da lista e, neste caso, substituir, na resposta recebida, o nome de falante ofuscado pelo nome correspondente.
9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que compreende ainda prover a resposta ao falante.
10. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que a resposta recebida (124) é em formato de texto ou em formato de áudio.
11. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que compreende ainda ofuscar o sinal de áudio capturado (121) por detecção de um nome de falante da lista e substituí-lo por um sinal de áudio representativo do nome de falante ofuscado correspondente.
12. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que compreende ainda uma configuração para ativar ou desativar um modo de navegação anônima, em que, no primeiro caso, ofusca-se o nome de falante antes de fornecê-lo e desofusca-se a resposta recebida quando ela contém um nome de falante ofuscado e, no segundo caso, não mais ofusca-se o nome de falante e não mais determina-se se a resposta recebida contém um nome de falante ofuscado.
13. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que compreende ainda renovar os nomes de falantes ofuscados da lista.
14. Programa de computador, CARACTERIZADO pelo fato de que compreende instruções de código de programa executáveis por um processador para implementar as etapas de um método, de acordo com pelo menos uma das reivindicações 8 a 13.
15. Produto de programa de computador, CARACTERIZADO pelo fato de que é armazenado em um meio legível por computador não transitório e compreende instruções de código de programa executáveis por um processador para implementar as etapas de um método, de acordo com pelo menos uma das reivindicações 8 a 13.
BR102018075377-0A 2017-12-07 2018-12-07 Dispositivo e método para interação vocal com preservação da privacidade e meio legível por computador BR102018075377B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17306719.0A EP3496090A1 (en) 2017-12-07 2017-12-07 Device and method for privacy-preserving vocal interaction
EM17306719.0 2017-12-07

Publications (2)

Publication Number Publication Date
BR102018075377A2 true BR102018075377A2 (pt) 2019-06-25
BR102018075377B1 BR102018075377B1 (pt) 2022-08-02

Family

ID=60811978

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102018075377-0A BR102018075377B1 (pt) 2017-12-07 2018-12-07 Dispositivo e método para interação vocal com preservação da privacidade e meio legível por computador

Country Status (8)

Country Link
US (1) US11069362B2 (pt)
EP (2) EP3496090A1 (pt)
JP (1) JP7166900B2 (pt)
KR (1) KR20190067697A (pt)
BR (1) BR102018075377B1 (pt)
CA (1) CA3026205A1 (pt)
MX (1) MX2018015218A (pt)
RU (1) RU2768506C2 (pt)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909978B2 (en) * 2017-06-28 2021-02-02 Amazon Technologies, Inc. Secure utterance storage
EP3496090A1 (en) * 2017-12-07 2019-06-12 Thomson Licensing Device and method for privacy-preserving vocal interaction
DE102018202018B3 (de) * 2018-02-09 2019-05-09 Siemens Schweiz Ag Verfahren und System zum Bereitstellen eines sprachbasierten Dienstes, insbesondere für die Ansteuerung von Raumbedienelementen in Gebäuden
US11769496B1 (en) * 2019-12-12 2023-09-26 Amazon Technologies, Inc. Predictive deletion of user input
EP4136637A4 (en) * 2020-04-15 2024-04-17 Pindrop Security, Inc. PASSIVE, CONTINUOUS MULTI-SPEAKER VOICE BIOMETRICS
US11217223B2 (en) * 2020-04-28 2022-01-04 International Business Machines Corporation Speaker identity and content de-identification
US11449674B2 (en) 2020-04-28 2022-09-20 International Business Machines Corporation Utility-preserving text de-identification with privacy guarantees
EP3905631B1 (en) * 2020-05-01 2024-05-29 Avago Technologies International Sales Pte. Limited Systems and methods for speaker anonymization
CN111597580B (zh) * 2020-05-13 2023-04-14 贵州大学 机器人听觉隐私信息监听处理方法
CN113066485B (zh) * 2021-03-25 2024-05-17 支付宝(杭州)信息技术有限公司 一种语音数据处理方法、装置及设备
US20220399009A1 (en) * 2021-06-09 2022-12-15 International Business Machines Corporation Protecting sensitive information in conversational exchanges
CN113782027B (zh) * 2021-09-01 2024-06-21 维沃移动通信(杭州)有限公司 音频处理方法及音频处理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050977B1 (en) * 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7920682B2 (en) * 2001-08-21 2011-04-05 Byrne William J Dynamic interactive voice interface
US6839417B2 (en) * 2002-09-10 2005-01-04 Myriad Entertainment, Inc. Method and apparatus for improved conference call management
US8473451B1 (en) 2004-07-30 2013-06-25 At&T Intellectual Property I, L.P. Preserving privacy in natural language databases
CA2618623C (en) * 2005-08-09 2015-01-06 Mobilevoicecontrol, Inc. Control center for a voice controlled wireless communication device system
US9330668B2 (en) * 2005-12-20 2016-05-03 International Business Machines Corporation Sharing voice application processing via markup
RU2337020C1 (ru) * 2007-09-26 2008-10-27 Общество с ограниченной ответственностью "АЛЬТОНИКА" (ООО"АЛЬТОНИКА") Система голосового распознавания пользователя транспортного средства
JP5621993B2 (ja) 2009-10-28 2014-11-12 日本電気株式会社 音声認識システム、音声認識要求装置、音声認識方法、及び音声認識用プログラム
US9542956B1 (en) * 2012-01-09 2017-01-10 Interactive Voice, Inc. Systems and methods for responding to human spoken audio
US9131369B2 (en) 2013-01-24 2015-09-08 Nuance Communications, Inc. Protection of private information in a client/server automatic speech recognition system
US9437207B2 (en) 2013-03-12 2016-09-06 Pullstring, Inc. Feature extraction for anonymized speech recognition
US9514741B2 (en) 2013-03-13 2016-12-06 Nuance Communications, Inc. Data shredding for speech recognition acoustic model training under data retention restrictions
US9472206B2 (en) 2013-06-17 2016-10-18 Google Technology Holdings LLC Privacy mode for always-on voice-activated information assistant
US9881613B2 (en) 2015-06-29 2018-01-30 Google Llc Privacy-preserving training corpus selection
US10333904B2 (en) * 2015-08-08 2019-06-25 Peter J. Tormey Voice access and control
US20180053504A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company Intention recognition for triggering voice recognition system
EP3577646B1 (en) * 2017-05-16 2021-07-21 Google LLC Handling calls on a shared speech-enabled device
EP3496090A1 (en) * 2017-12-07 2019-06-12 Thomson Licensing Device and method for privacy-preserving vocal interaction

Also Published As

Publication number Publication date
JP2019109503A (ja) 2019-07-04
RU2018142910A3 (pt) 2021-08-17
CA3026205A1 (en) 2019-06-07
US20190180759A1 (en) 2019-06-13
CN110033774A (zh) 2019-07-19
BR102018075377B1 (pt) 2022-08-02
MX2018015218A (es) 2019-07-04
US11069362B2 (en) 2021-07-20
RU2768506C2 (ru) 2022-03-24
EP3496091B1 (en) 2020-07-01
EP3496090A1 (en) 2019-06-12
EP3496091A1 (en) 2019-06-12
KR20190067697A (ko) 2019-06-17
JP7166900B2 (ja) 2022-11-08
RU2018142910A (ru) 2020-06-05

Similar Documents

Publication Publication Date Title
BR102018075377A2 (pt) Dispositivo e método para interação vocal com preservação da privacidade
US10777203B1 (en) Speech interface device with caching component
US11094219B2 (en) Portable computing device having a color detection mode and a game mode for learning colors
US20220246140A1 (en) Dynamic and/or context-specific hot words to invoke automated assistant
US10860289B2 (en) Flexible voice-based information retrieval system for virtual assistant
US10289433B2 (en) Domain specific language for encoding assistant dialog
US10950254B2 (en) Producing comprehensible subtitles and captions for an effective group viewing experience
JP2022539675A (ja) 自動アシスタントによって応答アクションをトリガするためのホットコマンドの検出および/または登録
US20160336024A1 (en) Electronic device and method for controlling the same
US20210110727A1 (en) Language learning and speech enhancement through natural language processing
US11789695B2 (en) Automatic adjustment of muted response setting
KR20220025118A (ko) 개인 데이터 보호를 위해 자동 어시스턴트와 인간 대 컴퓨터 대화에 대해 분산 상태 머신을 사용
US11817106B2 (en) Selectively storing, with multiple user accounts and/or to a shared assistant device: speech recognition biasing, NLU biasing, and/or other data
JP2020027132A (ja) 情報処理装置およびプログラム
US11769425B2 (en) Enhancing video language learning by providing catered context sensitive expressions
CN110033774B (zh) 用于隐私保护型语音交互的设备和方法
Nguyen et al. Optimizing FM systems: Verification of device function at fitting and follow-up preserves advantages of use
JP2020119043A (ja) 音声翻訳システムおよび音声翻訳方法
JP2013238986A (ja) 処理装置、処理システム、出力方法及びプログラム
KR20150083971A (ko) Mpeg-ud 시스템에서 사용자의 언어특성 표현 방법 및 장치
JP2020030246A (ja) 決定装置、決定方法及び決定プログラム
WO2023178006A1 (en) Emotionally intelligent responses to information seeking questions
JP2015076039A (ja) 情報処理方法、情報処理装置、及びプログラム
Hansson et al. Voice-operated Home Automation Affordable System using Open-source Toolkits
Žilavec et al. Improving Accessibility of IPTV and Mobile Applications

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 07/12/2018, OBSERVADAS AS CONDICOES LEGAIS