BRPI0401850B1 - compreensão síncrona de objeto semântico, implementada com identificadores de linguagem para aplicativos de fala - Google Patents

Abstract

"compreensão síncrona de objeto semântico, implementada com identificadores de linguagem para aplicativos de fala". trata-se de um sistema de compreensão de fala que inclui um modelo de linguagem que compreende uma combinação de um modelo de linguagem n-grama e um modelo de linguagem de gramática livre de contexto. o modelo de linguagem armazena informações relacionadas a palavras e informações semânticas para serem reconhecidas. um módulo é adaptado para receber entrada proveniente de um usuário e capturar a entrada para processamento. o módulo é adicionalmente adaptado para receber interfaces de programa aplicativo salt referentes a reconhecimento da entrada. o módulo é configurado para processar as interfaces de programa aplicativo salt e a entrada para verificar a informação semântica referente a uma primeira parte da entrada e liberar um objeto semântico compreendendo texto e informação semântica para a primeira parte por meio do acesso ao modelo de linguagem, em que a realização de reconhecimento e liberação do objeto semântico são executadas enquanto continua a captura por partes subseqüentes da entrada.

Description

(54) Título: COMPREENSÃO SÍNCRONA DE OBJETO SEMÂNTICO, IMPLEMENTADA COM IDENTIFICADORES DE LINGUAGEM PARA APLICATIVOS DE FALA (51) Int.CI.: G10L 15/22 (30) Prioridade Unionista: 29/05/2003 US 10/448.018 (73) Titular(es): MICROSOFT TECHNOLOGY LICENSING, LLC (72) Inventor(es): KUANSAN WANG (85) Data do Início da Fase Nacional: 27/05/2004

SÍNCRONA DE

COMPREENSÃO

IMPLEMENTADA COM IDENTIFICADORES

APLICATIVOS DE FALA

OBJETO SEMÂNTICO,

DE LI NGUAGEM PARA

Fundamentos da Invenção

A presente invenção refere-se a acesso e apresentação de informações em um sistema computacional. Mais particularmente, a presente invenção se refere a acesso de informações com o uso de reconhecimento e compreensão.

Recentemente, a tecnologia tem avançado de modo que permita que o usuário tenha acesso a informações em um sistema computacional ao fornecer comandos de fala. Quando

da	recepção	do comando de um	usuário,	o	sistema	computacio-
nal	realiza	o reconhecimento	de fala	na	entrada	do usuário
e,	adicionalmente, processa a	entrada	de	modo a	averiguar a

intenção do usuário, de modo que o sistema computacional realize a ação desejada.

Em algumas situações, a entrada fornecida pelo usuário é incompleta ou indefinida, o que irá requerer que o sistema computacional solicite mais informações do usuário, seja na forma de solicitações visuais, seja na forma de solicitações audíveis. Deste modo, pode ser estabelecido um diálogo entre o usuário e o sistema computacional, onde cada um reveza fazendo perguntas, dando respostas e/ou autorizações até a intenção do usuário ser determinada e uma ação poder ser realizada. Em outras situações, criar tal diálogo é o modo preferido para interagir com o sistema computacional .

Os Identificadores de Linguagem para Aplicativos

e de Fala (SALT - Speech Application Language Tags) foram introduzidos para facilitar a fala como uma modalidade viável de entrada/saída para projetos modernos de interface com o usuário. A meta de projeto para SALT é tornar simples a programação de tarefas de fala comuns, permitindo ainda capacidades avançadas com realização direta. SALT foi projetado para muitos aplicativos. Um deles é, por exemplo, um aplicativo apenas de fala baseado em telefone que apenas interage com usuários exclusivamente através de diálogo falado.

SALT inclui objetos de entrada e saída de fala (ouvir e solicitar), os quais têm um projeto de modo para incorporar tecnologias para detectar o início e o fim da vez do usuário. Sendo assim, muitos aplicativos de fala empregam interfaces com o usuário que requerem que o usuário sinalize o início da vez do usuário. Alguns sistemas computacionais incluem dispositivos utilizáveis por computadores, modais habilitados por fala ou multimodais (entrada de fala fornecida a campos selecionados por um dispositivo de entrada, tal como um mouse) , e outros aplicativos livres de olhos. No entanto, em cada um destes ambientes, uma definição de corte clara no usuário versus a vez do sistema computacional no diálogo, ainda está presente.

Entretanto, a conversação humana não segue, de modo geral, um diálogo de revezamento com corte claro entre os participantes. Ao invés disso, as conversações podem incluir reconhecimentos, confirmações, perguntas de um participante, etc., enquanto o outro está fornecendo informações que podem afetar drasticamente, afetar levemente ou nem mesmo afetar a

• « · · · maneira pela qual o interlocutor está fornecendo informações. Interlocutores humanos desfrutam desta forma natural de conversação. De modo similar, sistemas telefônicos empregam tecnologia duplex completa de modo a permitir que ocorra tal conversação.

Por outro lado, interfaces baseadas em diálogo empregam um modo de operação de revezamento rígido entre um usuário e um sistema computacional, o que faz com que o sistema computacional espere pelo final do diálogo do usuário antes de processar e realizar a ação subsequente. Embora retornos simples, tais como indicações visuais como uma série de pontos progredindo pela tela de um computador, possam proporcionar ao usuário alguma garantia de que o sistema computacional está pelo menos processando algo, até o usuá15 rio terminar sua vez e o sistema computacional responder, não se sabe a extensão de compreensão do sistema computacional .

Por conseguinte, existe a necessidade de melhorias em um sistema computacional que sejam baseadas em reconhecimento e compreensão. Tais aperfeiçoamentos proporcionariam um sistema ou método para acesso a informações que seria mais fácil de usar por ser mais natural para o usuário. Sumário da Invenção

Um método e sistema proporcionam um modo de entrada de fala que registra dinamicamente análises semânticas parciais, enquanto a captura auditiva ainda está em progresso. A análise gramatical pode ser avaliada com um resultado imediatamente relatado de volta ao usuário.

• · · • · « · · * · · · ·

Em um aspecto, um sistema de compreensão de fala inclui um modelo de linguagem que compreende uma combinação de um modelo de linguagem N gram e um modelo de linguagem gramatical livre de contexto. 0 modelo de linguagem armazena informações relacionadas a palavras e informações semânticas a serem reconhecidas. Um módulo é adaptado para receber entradas provenientes de um usuário e capturar a entrada para processamento. O módulo é adaptado ainda para receber interfaces de programas aplicativos SALT que dizem respeito ao reconhecimento da entrada. O módulo é configurado para processar as interfaces de programa aplicativo SALT e a entrada para averiguar informações semânticas relativas a uma primeira parte da entrada e dar liberar um objeto semântico compreendendo texto e informações semânticas para a primeira parte por meio de acesso ao modelo de linguagem, em que o reconhecimento e a liberação do objeto semântico são feitos enquanto continua a captura por partes subsequentes da entrada .

Breve Descrição dos Desenhos

A Figura 1 é um diagrama de bloco de um sistema de apresentação de dados.

A Figura 2 é uma vista plana de um ambiente de operação de dispositivo de computação.

A Figura 3 é um diagrama de bloco do dispositivo de computação da Figura 2.

A Figura 4 é uma vista plana de um telefone.

A Figura 5 é um diagrama de bloco de um computador para fins gerais.

·· ···· ·a • · * « « •a aaa a a • a aaa • a a a a a • · aa a a

A Figura 6 é um diagrama de bloco de uma arquitetura para um sistema cliente/servidor.

A Figura 7 é um diagrama de bloco de um módulo de reconhecimento e compreensão de fala.

Descrição Detalhada de Modalidades Ilustrativas

A Figura 1 é um diagrama de bloco de um sistema de apresentação de dados 10 para apresentação de dados baseados em entrada de voz. 0 sistema 10 inclui um módulo de interface de fala 12, um módulo de reconhecimento e compreensão de fala 14 e um módulo de apresentação de dados 16. Um usuário fornece entradas na forma de uma consulta de voz ao módulo de interface de fala 12. 0 módulo de interface de fala 12 reúne as informações de fala oriundas de um usuário e fornece um sinal indicativo. Depois de a fala de entrada ter sido agrupada pelo módulo de interface de fala 12, o módulo de reconhecimento e compreensão de fala 14 reconhece a fala visando um reconhecedor de fala e também realiza a compreensão de fala, em que, em um aspecto da presente invenção, proporciona análises semânticas parciais da entrada até então recebida, enquanto a entrada de fala de áudio ainda está sendo capturada.

A análise semântica parcial, que tipicamente inclui o texto para a entrada recebida (ou outro dado indicativo do texto da entrada), como também informações semânti25 cas averiguadas, é fornecida a um módulo de aplicativo 16 que pode ter muitas formas diferentes. Por exemplo, em uma modalidade, o módulo de aplicativo 16 pode ser um gerenciador de informação pessoal que é usado para enviar, receber e ·· ··· · · • · · ·

• · · • · · · ······ responder a e-mails, marcar reuniões e coisas do gênero. Desta maneira, o usuário pode fornecer comandos audíveis para realizar estas tarefas. No entanto, o mais importante é que o módulo de aplicativo 16 pode fornecer retorno interativo e/ou agir sobre as informações das análises semânticas parciais conforme elas são recebidas, deste modo, proporcionando ao usuário uma interface altamente interativa para o módulo de aplicativo 16. Por exemplo, em um modo de operação apenas de voz, uma saída 20 pode incluir declarações audíveis de retorno ao usuário, enquanto, obviamente, possívelmente realiza outras tarefas relacionadas ao aplicativo. As análises semânticas parciais ou objetos semânticos podem ser usados para executar lógica de diálogo no aplicativo. Por exemplo, a lógica de diálogo pode apresentar uma opção ou uma pluralidade ou lista de opções para o usuário, com base em um ou mais objetos semânticos.

Isso permite que o sistema registre imediatamente saídas com base em uma expressão vocal parcial, a saber, antes de a vez do usuário ter terminado. Em outras palavras, usando-se comunicação por canal de retorno para registrar e realizar tarefas normalmente associadas a uma vez do sistema, a definição de uma vez do usuário e uma vez do sistema é obscurecida. Os estudos mais convencionais sobre diálogo, especialmente aqueles baseados em diálogos de humanos com humanos, com freqüência vêem as comunicações por canal de retorno como retorno não intrusivo, que transporta apenas sinais simples, tais como recebimento positivo, negativo ou neutro. No entanto, o retorno proporcionado pela saída 20

Ί \1/ ' · · · · • ♦ « ♦ « • · · • · · · ·· I pode potencialmente carregar mais informações de modo a ser algo intrusivo à expressão verbal em progresso do usuário, o que pode ou não fazer com que o usuário esclareça a intenção ou direção do usuário. No entanto, esta abordagem proporciona um diálogo humano mais real entre o usuário e o sistema 10, o que, em muitos casos, não será considerado perturbador, mas, ao invés disso, mais confortável para o usuário, além de inspirar a confiança de que os desejos do usuário serão atendidos.

Neste ponto, deve-se notar que a presente invenção não está limitada a um ambiente operacional apenas de voz, mas ao invés disso, pode incluir outras formas de retorno para o usuário com base no processamento de análises semânticas parciais ou objetos. Por exemplo, no aplicativo discutido acima, onde o módulo de aplicativo 16 realiza tarefas de e-mail, a saída 20 pode incluir retorno visual, como por exemplo ativando um módulo de e-mail baseado apenas na recepção de uma sentença, tal como Enviar e-mail em um comando ininterrupto proveniente do usuário, compreendendo Enviar e-mail para Bob, onde o processamento da sentença para Bob pode fazer com que o módulo de aplicativo acesse outras informações no armazenamento de dados 18 e apresente uma lista de pessoas que têm Bob como primeiro nome. Ao ver a lista, o usuário simplesmente identifica o destinatário pretendido como Bob Green, que pode então ser selecionado porque o sistema forneceu um outro objeto semântico para a expressão verbal parcial Bob Green que, quando da re8

• · · • · * · • · ♦ · » • ······ • · · · • · · cepção pelo aplicativo e processamento, faria com que Bob Green fosse selecionado.

Conforme indicado acima, o módulo de aplicativo 16 pode tomar muitas formas, onde aspectos da presente invenção discutidos abaixo, podem ser benéficos. Sem limitação, o módulo de aplicativo 16 também pode ser um módulo de ditado para fornecer uma saída textual da entrada falada do usuário. No entanto, processando-se a informação semântica para entrada parcial ou sentenças de entrada também, é possível obter uma transcrição mais precisa.

Embora descritos acima com relação a uma entrada proveniente do usuário, compreendendo comandos de voz, aspectos da presente invenção também podem ser aplicados a outras formas de entrada, tais como escritas a mão, DTMF, ges15 tuais ou indicações visuais.

Dada a ampla aplicabilidade de processamento de análises semânticas parciais ou objetos, pode ser útil descrever, de maneira geral, dispositivos de computação que podem funcionar no sistema 10 descrito acima. Conforme apreci20 ado por aqueles versados na técnica, os componentes do sistema 10 podem estar localizados dentro de um único computador ou distribuídos por um ambiente distribuído de computação usando conexões e protocolos de rede.

Agora, com referência â Figura 2, uma forma exem25 piar de um dispositivo móvel, tal como um dispositivo de gerenciamento de dados (PIM, PDA ou similar) , é ilustrado em 30. No entanto, contempla-se que a presente invenção também pode ser praticada usando-se outros dispositivos computacio9

♦ · nais discutidos abaixo. Por exemplo, dispositivos telefônicos e/ou dispositivo de gerenciamento de dados também obterão benefícios com a presente invenção. Tais dispositivos terão uma utilidade maior em comparação com dispositivos de gerenciamento de informações pessoais portáteis existentes e outros dispositivos eletrônicos portáteis.

Na forma exemplar de um dispositivo móvel de gerenciamento de dados 30 é ilustrado na Figura 2, o dispositivo móvel 3 0 inclui um alojamento 32 e tem uma interface com o usuário que inclui um visor 34, o qual usa uma tela de exibição sensível a contato em conjunto com um dispositivo em forma de caneta (stylus) 33 . O dispositivo em forma de caneta 33 é usado para pressionar ou para entrar em contato com o visor 34 em coordenadas designadas para selecionar um campo, para mover seletivamente uma posição inicial de um cursor ou para fornecer informações de comando, como por exemplo, através de gestos ou escrita a mão. Alternativamente, ou adicionalmente, um ou mais botões 35 podem ser incluídos no dispositivo 30 para navegação. Em adição, outros mecanismos de entrada, tais como rodas giratórias, roladores ou similares, também podem ser proporcionados. No entanto, deve-se notar que a invenção não pretende ser limitada por estas formas de mecanismos de entrada. Por exemplo, uma outra forma de entrada pode incluir uma entrada visual, tal como através de visão de computador.

Agora, com referência à Figura 3, um diagrama de bloco ilustra os componentes funcionais do dispositivo móvel 30. Uma unidade de processamento central (CPU) 50 implementa

······ e

as funções de controle de software. A CPU 50 é acoplada ao visor 34 tal que ícones gráficos e textos, gerados de acordo com o software de controle, aparecem no visor 34. Um altofalante 43 pode ser acoplado a CPU 50 tipicamente com um conversor digital-para-analógico 59, de modo a proporcionar uma saída audível. Dados que são baixados ou inseridos pelo usuário no dispositivo móvel 30 são armazenados em um armazenamento de memória de acesso aleatório de leitura/gravação não volátil 54, acoplado bi-direcionalmente à CPU 50. A memória de acesso aleatório (RAM) 54 proporciona armazenamento volátil para instruções que são executadas pela CPU 50, e o armazenamento de dados temporários, tais como valores de registro. Os valores padrões para opções de configuração e outras variáveis são armazenados em uma memória de leitura apenas (ROM) 58. A ROM 58 também pode ser usada para armazenar o software do sistema operacional para o dispositivo que controla a funcionalidade básica do dispositivo móvel 30 e outras funções kernel do sistema operacional (por exemplo, o carregamento de componentes de software na RAM 54).

A RAM 54 também serve como um armazenamento para o código, de maneira análoga à função de um disco rígido em um PC, que é usado para armazenar programas aplicativos. Devese notar que embora a memória não volátil seja usada para armazenar o código, alternativamente ele pode ser armazenado na memória volátil que não é usada para execução do código.

Sinais sem fio podem ser transmitidos/recebidos pelo dispositivo móvel através de um transceptor sem fio 52, que é acoplado à CPU 50. Uma interface de comunicação ótica

também pode ser proporcionada para baixar dados diretamente de um computador (por exemplo, computador de mesa) ou de uma rede ligada por fio, se desejado. Sendo assim, a interface 60 pode compreender diversas formas de dispositivos de comunicação, por exemplo, uma ligação infravermelha, um modem, uma placa de rede, ou algo similar.

dispositivo móvel 30 inclui um microfone 29 e o conversor analógico para digital (A/D) 37 e um programa de reconhecimento opcional (fala, DTMF, escrita a mão, gestos ou visão do computador) armazenado no armazenamento 54. À guisa de exemplo, em resposta a informação audível, instruções ou comandos provenientes de um usuário do dispositivo 30, o microfone 29 fornece sinais de fala, que são digitalizados pelo conversor A/D 37. 0 programa de reconhecimento de fala pode realizar funções de normalização e/ou extração de características nos sinais de fala digitalizados para obter resultados de reconhecimento de fala intermediários. Usando o transceptor sem fio 52 ou a interface de comunicação 60, dados de fala podem ser transmitidos para um servidor de reconhecimento remoto 204 discutido abaixo e ilustrado na arquitetura da Figura 6. Então, os resultados de reconhecimento podem ser retornados para o dispositivo móvel 30 para apresentação nele (por exemplo, visual e/ou audível) e transmissão eventual para um servidor de rede 202 (Figura 6), em que o servidor de rede 202 e o dispositivo móvel 30 operam em uma relação cliente/servidor.

Processamento similar pode ser usado para outras formas de entrada. Por exemplo, entrada manuscrita pode ser ^b digitalizada com ou sem pré-processamento no dispositivo 30. Como os dados de fala, esta forma de entrada pode ser transmitida para o servidor de reconhecimento 204 para reconhecimento, em que os resultados de reconhecimento são retornados para pelo menos um do dispositivo 30 e/ou servidor de rede 202. De modo similar, dados DTMF, dados gestuais e dados visuais podem ser processados similarmente. Dependendo da forma de entrada, o dispositivo 30 (e as outras formas de clientes discutidas abaixo) incluiría hardware necessário, tal como uma câmera para entrada visual.

A Figura 4 é uma vista plana de uma modalidade exemplar de um telefone portátil 80. 0 telefone 80 inclui um visor 82 e um teclado 84. De modo geral, o diagrama de bloco da Figura 3 se aplica ao telefone da Figura 4, embora possa ser requerido conjunto de circuitos necessário adicional para realizar outras funções. Por exemplo, um transceptor necessário para operar como um telefone será requerido para a modalidade da Figura 3; no entanto, tal conjunto de circuitos não é pertinente à presente invenção.

Em adição aos dispositivos de computação portáteis ou móveis descritos acima, também deve-se entender que a presente invenção pode ser usada com inúmeros outros dispositivos computacionais, tal como um computador de mesa geral. Por exemplo, a presente invenção irá permitir que um usuário com capacidade física limitada, insira ou entre texto em um computador ou outro dispositivo de computação quando outros dispositivos convencionais de entrada, tal como um teclado alfa-numérico, forem muito difíceis de operar.

A invenção também é operacional com inúmeros outros sistemas, ambientes ou configurações computacionais para fins gerais ou fins especiais. Exemplos de sistemas, ambientes e/ou configurações computacionais bem conhecidas que podem ser adequadas para uso com a invenção incluem, mas não estão limitadas a, telefones regulares (sem qualquer tela), computadores pessoais, computadores servidores, dispositivos de mão ou lap-tops, computadores com mesa digitalizadora, sistemas multiprocessadores, sistemas baseados em microprocessadores, caixas de codificação, produtos eletrônicos programãveis pelo consumidor, PCs em rede, minicomputadores, computadores principais, ambientes computacionais distribuídos que incluam qualquer um dos sistemas ou dispositivos acima e similares.

A seguir está uma breve descrição de um computador para fins gerais 120 ilustrado na Figura 5. No entanto, o computador 120 é, novamente, apenas um exemplo de um ambiente computacional adequado e não deve sugerir qualquer limitação quanto ao escopo de uso ou funcionalidade da invenção. Nem o computador 12 0 deve ser interpretado como tendo qualquer dependência ou requisito relacionado a qualquer componente ou combinação de componentes ilustrados.

A invenção pode ser descrita no contexto geral de instruções executáveis por computador, tais como módulos de programa, sendo executadas por um computador. Ee maneira geral, os módulos de programa incluem rotinas, programas, objetos, componentes, estruturas de dados, etc, que realizam tarefas particulares ou implementam tipos de dados abstratos

particulares. A invenção também pode ser praticada em ambientes computacionais distribuídos onde as tarefas são realizadas por dispositivos de processamento remotos que são ligados através de uma rede de comunicações. Em um ambiente de computação distribuída, os módulos de programa podem estar localizados tanto em mídia de armazenamento de computador local quanto remoto, incluindo dispositivos de armazenamento de memória. As tarefas executadas pelos programas e módulos são descritas abaixo e com a ajuda de figuras. Aqueles versa10 dos na técnica podem implementar a descrição e figuras como instruções executáveis pelo processador, que podem ser gravadas em qualquer forma de uma mídia legível por computador.

Com referência â Figura 5, os componentes do computador 120 podem incluir, mas não estão limitados a, uma unidade de processamento 14 0, uma memória de sistema 150, e um barramento de sistema 141 que acopla diversos componentes do sistema, inclusive a memória do sistema à unidade de processamento 140. 0 barramento do sistema 141 pode ser qualquer dentre diversos tipos de estruturas de barramento, in20 clusive um barramento de memória ou controlador de memória, um barramento periférico e um barramento local usando qualquer dentre uma variedade de arquiteturas de barramento. À guisa de exemplo, e não de limitação, tais arquiteturas incluem barramento Industry Standard Architecture (ISA), Uni25 versai Serial Bus (USB), barramento Micro Channel Architecture (MCA), barramento Enhanced ISA (EISA), barramento local Vídeo Electronics Standards Association (VESA) e barramento Peripheral Component Interconnect (PCI), também conhecido • ······ * »« · · · como barramento Mezzanine. O computador 120 tipicamente inclui uma variedade de mídias legíveis por computador. As mídias legíveis por computador podem ser quaisquer mídias disponíveis que possam ser acessadas pelo computador 12 0, in5 cluindo tanto mídia volátil quanto não volátil, mídia removível e não removível. À guisa de exemplo, e não de limitação, mídias legíveis pelo computador podem compreender mídia de armazenamento em computador e mídia de comunicação. A mídia de armazenamento em computador inclui mídia volátil e não volátil, removível e não removível, implementada em qualquer método ou tecnologia para armazenamento de informação, tais como instruções que podem ser lidas pelo computador, estruturas de dados, módulos de programas ou outros dados. A mídia de armazenamento em computador inclui, mas não está limitada a, RAM, ROM, EEPROM, memória instantânea ou outra tecnologia de memória, CD-ROM, discos versáteis digitais (DVD) , ou outro armazenamento em disco ótico, cassetes magnéticos, fitas magnéticas, armazenamento em disco magnético ou outros dispositivos de armazenamento magnético ou qualquer outro meio que possa ser usado para armazenar a informação desejada e que possa ser acessado pelo computador 12 0.

A mídia de comunicação tipicamente incorpora instruções que podem ser lidas pelo computador, estruturas de dados, módulos de programa ou outros dados em um sinal de

5 dados modulado, tal como uma onda portadora ou outro mecanismo de transporte e inclui qualquer mídia de entrega de informação. 0 termo sinal de dado modulado significa um sinal que tem uma ou mais de suas características definidas • · · · · ou mudadas de maneira tal que a informação é codificada no sinal. À guisa de exemplo, e não de limitação, mídia de comunicação inclui mídia ligada por fio, tal como uma rede por fio ou conexão direta por fio, e mídia sem fio tal como a5 cústica, FR, infravermelha, e outras mídias sem fio. Combinações de quaisquer dos meios citados acima também devem ser incluídas dentro do escopo de mídia legível pelo computador.

A memória do sistema 150 inclui mídia de armazenamento em computador na forma de memória volátil e/ou não vo10 lãtil, tal como memória somente de leitura (ROM) 151 e memória de acesso aleatório (RAM) 152. Um sistema de entrada/ saída básico 153 (BIOS), contendo as rotinas básicas que ajudam a transferir informações entre elementos dentro do computador 120, tal como durante a inicialização, é armaze15 nado tipicamente na ROM 151. A RAM 152 contém tipicamente dados e/ou módulos de programa que são imediatamente acessíveis a e/ou estão presentemente sendo operados pela unidade de processamento 140. À guisa de exemplo, e não de limitação, a Figura 5 ilustra o sistema operacional 154, os pro20 gramas aplicativos 155, outros módulos de programa 156 e dados de programa 157.

O computador 120 pode também incluir outras mídias de armazenamento removíveis/não removíveis, volãteis/não voláteis. À guisa de exemplo apenas, a Figura 5 ilustra uma unidade de disco rígido 161 que lê de ou grava em mídia magnética não removível, não volátil, uma unidade de disco magnético 171 que lê de ou grava em um disco magnético removível não volátil 172 e uma unidade de disco ótico 175 que lê

de ou grava em um disco ótico removível não volátil 176, tal como um CD-ROM ou outra mídia óptica. Outros meios de armazenamento em computador removíveis/não removíveis, voláteis/não voláteis que podem ser usados no ambiente operacional exemplar incluem, mas não estão limitados a, fitas cassete magnéticas, cartões de memória instantânea, discos versáteis digitais, fita de vídeo digital, RAM de estado sólido, ROM de estado sólido e similares. A unidade de disco rígido 161 é conectada, tipicamente, ao barramento do sistema 141, através de uma interface de memória não removível, tal como a interface 160 e a unidade de disco magnético 171 e a unidade de disco óptico 175 são conectadas, tipicamente, ao barramento do sistema 141 por uma interface de memória removível, tal como a interface 170.

As unidades e seus meios associados de armazenamento em computador discutidos acima e ilustrados na Figura 5, proporcionam armazenamento de instruções legíveis pelo computador, estruturas de dados, módulos de programas e outros dados para o computador 12 0. Na Figura 5, por exemplo, a unidade de disco rígido 161 é ilustrada como armazenando o sistema operacional 164, programas aplicativos 165, outros módulos de programas 166 e dados de programas 167. Note que estes componentes podem ser iguais ou diferentes do sistema operacional 154, programas aplicativos 155, outros módulos de programa 156 e dados de programa 157. 0 sistema operacional 164, os programas aplicativos 163, outros módulos de programas 166 e dados de programas 167, recebem números diferentes aqui para ilustrar que, no mínimo, eles são cópias ·· ·«· ·· · ·· · ·· ···· ·· • · » · ······ · · · · ·· ♦ ·· · · · > * · · * * * · ··· ·· » «« ··· ·· *· *· diferentes .

Um usuário pode inserir comandos e informações no computador 120 através de dispositivos de entrada, tais como um teclado 182, um microfone 183 e um dispositivo de aponta5 mento 181, tal como um mouse, um trackball ou almofada de toque. Outros dispositivos de entrada (não mostrados) podem incluir um joystick, almofada de jogo, prato satélite, digitalizador, ou similar. Estes e outros dispositivos de entrada são conectados, com freqüência, à unidade de processamen10 to 140 através de uma interface de entrada com o usuário 180 que é acoplada ao barramento do sistema, mas pode haver a conexão por outras estruturas de interface e barramento, tais como uma porta paralela, porta de jogo ou um barramento serial universal (USB) . Um monitor 184 ou outro tipo de dis15 positivo de exibição também é conectado ao barramento do sistema 141 via uma interface, tal como uma interface de video 185. Em adição ao monitor, os computadores também podem incluir outros dispositivos de saída periféricos, tais como alto-falantes 187 e impressora 186, que podem ser conectados através de uma interface periférica de saída 188.

computador 120 pode operar em um ambiente em rede usando conexões lógicas a um ou mais computadores remotos, tal como um computador remoto 194. 0 computador remoto 194 pode ser um computador pessoal, um dispositivo de mão, um servidor, um roteador, um PC em rede, um dispositivo de ponto ou outro nó de rede comum, e tipicamente inclui muitos ou todos os elementos descritos acima relativos ao computador 120. As conexões lógicas ilustradas na Figura 5 incluem

uma rede de área local (LAN) 191 e uma rede de área ampla (WAN) 193, mas também podem incluir outras redes. Tais ambientes em rede são comuns em escritórios, redes de computadores de grandes empresas, intranets e Internet.

Quando usado em um ambiente em rede LAN, o computador 12 0 é conectado à LAN 191 através de uma interface ou adaptador de rede 190. Quando usado em um ambiente em rede WAN, o computador 120 tipicamente inclui um modem 192 ou outros meios para estabelecer comunicações pela WAN 193, tal como a Internet. 0 modem 192, que pode ser interno ou externo, pode ser conectado ao barramento do sistema 141 via interface de entrada com o usuário 180 ou outro mecanismo apropriado. Em um ambiente em rede, módulos de programa ilustrados com relação ao computador 120 ou partes suas, podem ser armazenados no dispositivo de armazenamento de memória remota. À guisa de exemplo, e não de limitação, a Figura 5 ilustra programas aplicativos remotos 195 como residindo no computador remoto 194. Será apreciado que as conexões de rede mostradas são exemplares e outros meios de estabelecer uma ligação de comunicação entre os computadores podem ser usados.

A Figura 6 ilustra arquitetura 200 para apresentação de dados e reconhecimento baseado na rede, que é um ambiente exemplar para a presente invenção. De modo geral, a informação armazenada em um servidor de rede 2 02 pode ser acessada através de um cliente 100, tal como um dispositivo móvel 30 ou computador 120 (que aqui representa outras formas de dispositivos computacionais tendo uma tela de exibi20 • · ······ ·· · *· ção, um microfone, uma câmera, um painel sensível a toque, etc. , conforme requerido com base na forma de entrada) , ou através do telefone 80, em que a informação é solicitada de maneira audível ou através de tons gerados pelo telefone 80 em resposta a teclas apertadas e em que a informação do servidor de rede 2 02 é fornecida apenas de maneira audível de volta ao usuário.

Nesta modalidade, a arquitetura 200 é unificada em que, se a informação for obtida através do cliente 100 ou telefone 80 usando reconhecimento de fala, um servidor de reconhecimento de fala simples 2 04 pode suportar um modo ou outro de operação. Em adição, a arquitetura 200 opera usando uma extensão de linguagens de marcação bem conhecidas (por exemplo, HTML, XHTML, cHTML, XML, WML e similares). Assim, informações armazenadas no servidor de rede 202 também podem ser acessadas usando-se métodos GUI bem conhecidos encontrados nestas linguagens de marcação. Usando-se uma extensão de linguagens de marcação bem conhecidas, é mais fácil executar programas na linguagem do autor na rede e aplicativos de legado existentes correntemente também podem ser facilmente modificados de modo a incluírem reconhecimento de voz.

Em geral, o cliente 100 executa páginas HTML, scripts, ou similares, indicados genericamente em 206, proporcionados pelo servidor de rede 202 usando um navegador. Quando é requerido o reconhecimento de voz, à guisa de exemplo, dados de fala, que podem ser sinais de áudio digitalizados ou itens de fala, em que os sinais de áudio foram préprocessados pelo cliente 100, conforme foi discutido acima,

são fornecidos ao servidor de reconhecimento 204 com uma indicação de um modelo de gramática ou linguagem 220 para uso durante o reconhecimento de fala, o que pode ser proporcionado pelo cliente 100. Alternativamente, o servidor de fala 204 pode incluir o modelo de linguagem 220. A implementação do servidor de reconhecimento 204 pode tomar muitas formas, sendo que uma das quais é ilustrada, mas geralmente inclui um reconhecedor 211. Os resultados do reconhecimento são fornecidos de volta ao cliente 100 para apresentação local, se desejado ou apropriado. Se desejado, o módulo texto-parafala 222 pode ser usado para proporcionar texto falado ao cliente 100. Quando da compilação da informação através do reconhecimento e qualquer interface gráfica com o usuário, se usada, o cliente 100 envia a informação para o servidor de rede 202 para processamento adicional e recepção de páginas/scripts HTML adicionais, se necessário.

Conforme ilustrado na Figura 6, o cliente 100, o servidor de rede 2 02 e o servidor de reconhecimento 2 04 são conectados comumente e endereçáveis separadamente através de uma rede 205, aqui uma rede de área ampla, tal como a Internet. Logo, não é necessário que quaisquer destes dispositivos estejam localizados fisicamente adjacentes um ao outro. Em particular, não é necessário que o servidor de rede 202 inclua o servidor de reconhecimento 204. Desta maneira, a execução do programa no servidor de rede 202 pode ser focada no aplicativo para o qual ele está destinado, sem que os autores precisem saber das complexidades do servidor de reconhecimento 204. Ao invés disso, o servidor de reconhecimento

204 pode ser projetado independentemente e conectado à rede

205 e, deste modo, ser atualizado e melhorado sem mudanças adicionais requeridas no servidor de rede 202. O servidor de rede 202 também pode incluir um mecanismo de execução de programa de linguagem do autor que possa gerar dinamicamente marcações e scripts no lado do cliente. Em uma outra modalidade , o servidor de rede 202, o servidor de reconhecimento 204 e o cliente 100 podem ser combinados, dependendo das capacidades das maquinas de implementação. Por exemplo, se o cliente 100 compreender um computador para fins gerais, por exemplo, um computador pessoal, o cliente pode incluir o servidor de reconhecimento 204. Da mesma forma, se desejado, o servidor de rede 202 e o servidor de reconhecimento 204 podem ser incorporados em uma única máquina.

O acesso ao servidor de rede 202 através de um telefone 80 inclui a conexão do telefone 80 a uma rede telefônica 208 com fio ou sem fio, que, por sua vez, conecta o telefone 80 a um circuito de acesso de terceira parte 210. 0 circuito de acesso 210 conecta o telefone 80 a um navegador de voz por telefonia 212. O navegador de voz por telefonia 212 inclui um servidor de mídia 214 que proporciona uma interface de telefonia e um navegador de voz 216. Como o cliente 100, o navegador de voz por telefonia 212 recebe páginas/scripts HTML ou algo similar do servidor de rede 202. Em uma modalidade, as páginas/scripts HTML são da forma similar as páginas/scripts HTML proporcionadas ao cliente 100. Desta maneira, o servidor de rede 202 não precisa suportar o cliente 100 e o telefone 80 separadamente ou mesmo suportar os • · · · · · clientes GUI padrões separadamente. Ao invés disso, uma linguagem de marcação comum pode ser usada. Em adição, como o cliente 100, reconhecimento de voz a partir dos sinais audíveis transmitidos pelo telefone 80, é proporcionado a partir do navegador de voz 216 para o servidor de reconhecimento 204, seja através da rede 205 ou através de uma linha dedi-

cada 2 07, por exemplo, usando TCP/ IP. O servidor de rede 202, o servidor de reconhecimento 204 e o navegador de voz por telefone 212 podem ser incorporados em qualquer ambiente computacional adequado, tal como o computador de mesa para fins gerais, ilustrado na Figura 5.

Tendo descrito os diversos ambientes e arquiteturas funcionando no sistema 10, é proporcionada uma descrição mais detalhada de diversos componentes e da função do sistema 10. A Figura 7 ilustra um diagrama de bloco de módulo de reconhecimento e compreensão de fala 14. A entrada de fala recebida do módulo de interface de fala 12 é enviada para o módulo de reconhecimento e compreensão de fala 14. O módulo de reconhecimento e compreensão de fala 14 inclui uma máquina de reconhecimento 3 06, que tem um modelo de linguagem associado 310. A máquina de reconhecimento 306 utiliza o modelo de linguagem 310 para identificar possíveis estruturas semânticas superficiais para representar cada uma das sentenças que formam a entrada, proporcionando análise semântica parcial ou objetos, conforme a entrada é recebida. Ao contrário do sistema que espera que o usuário complete a expressão verbal e então processa a entrada completa recebida, o módulo 14 fornece objetos semânticos continuamente com ba24 ·4· ·· 4 ·· 4 ·♦ 4444 *« • 4 4 · 444444 4 4« · 44 4 « 44 4 44 44 44 »

444 *4 4 44 444 44 44 44 se apenas no que foi recebido até então.

A maquina de reconhecimento 306 proporciona pelo menos um objeto de saída semântico superficial baseado na expressão verbal parcial. Em algumas modalidades, a maquina de reconhecimento 306 é capaz de proporcionar mais de um objeto semântico superficial alternativo para cada estrutura alternativa.

Embora esteja ilustrada na Figura 7 em que a entrada de fala é proporcionada, a presente invenção pode ser usada com reconhecimento de escrita a mão, reconhecimento de gestos ou interfaces gráficas com o usuário (onde o usuário interage com um teclado ou outro dispositivo de entrada). Nestas outras modalidades, o reconhecedor de fala 306 é substituído por uma máquina de reconhecimento adequada, conforme é conhecido na técnica. Para as interfaces gráficas com o usuário, uma gramática (tendo o modelo de linguagem) é associada à entrada do usuário, tal como através de uma caixa de entrada. Por conseguinte, a entrada de um usuário é processada de uma maneira consistente sem modificação significativa baseada na maneira de entrada.

O diálogo interativo discutido acima, que também inclui outras formas de retorno informativo pelo sistema 10, com base em análise semântica parcial ou objetos, pode ser implementado usando SALT (Speech Application Language Tags) ou outra fala, escrita a mão, e APIs (Application Program Interfaces) de reconhecimento de padrão que suportem uma construção de modelo de linguagem que possa proporcionar informações semânticas baseadas em um esquema selecionado para um dado aplicativo e decodificação síncrona de objeto semântico . SALT é um padrão em desenvolvimento para permitir o acesso a informações, aplicativos e serviços de rede a partir de computadores pessoais, telefones, PCs com mesa digitalizadora e dispositivos móveis sem fio, por exemplo, mas também pode ser aplicado a interfaces de aplicativo, assim como sem interconexão em uma rede. SALT estende linguagens de marcação existentes, tais como HTML, XHTML e XML. A versão SALT 1.0 pode ser encontrada on-line em http://www.SALTforum.organização. Deve-se notar que SALT pode proporcionar informações semânticas baseadas na entrada do usuário, por exemplo, a partir do servidor de fala 204, sendo que tal informação forma o objeto fornecido ao módulo de apresentação de dados 16 depois de completar uma expressão verbal; no entanto, conforme discutido abaixo, SALT pode ser usado de maneira não contemplada anteriormente para proporcionar análise ou objeto semântico parcial. O uso de extensões SALT ou extensões similares em outras APIs, proporciona suporte para interação de usuário acionada por evento altamente interativo.

Usando-se SALT, à guisa de exemplo, o objeto ouvir (listen) SALT pode ser usado para realizar tanto tarefas de reconhecimento de fala quanto de compreensão. Isso é porque o projeto segue o ponto de vista e formulação que trata a compreensão da fala como um problema de reconhecimento de padrão, tal como reconhecimento de fala. Ambos esforçam-se para encontrar um padrão a partir de uma coletânea de possíveis resultados, que melhor corresponda a um dado sinal de

fala. Para reconhecimento de fala, o padrão a ser encontrado é uma cadeia de palavras, enquanto que, para compreensão, uma arvore de objetos semânticos. Uma tarefa de reconhecimento de fala tradicional instrui o processo de busca com um modelo de linguagem na composição das prováveis cadeias de palavras. De uma maneira similar, uma tarefa de compreensão de fala pode guiar a mesma máquina de busca a compor as ár10 *

vores adequadas de objetos semânticos com um modelo semântico. Como um modelo de linguagem que com frequência implica um léxico e as regras de composição de segmentos de frase a partir das entradas léxicas, um modelo semântico implica em um dicionário de todos os objetos semânticos e nas regras de composição deles. Embora o resultado do reconhecimento sej a uma cadeia de texto, o resultado da compreensão é uma árvore de objetos semânticos.

Embora seja possível estender N-grama para retornar um resultado de busca estruturado, a maioria dos aplicativos típicos de compreensão de fala são baseados em gramática livre de contexto probabilística (PCFG - Probabilistic Context Free Grammar) onde os projetistas podem especificar regras de composição de objetos semânticos sem dados de treinamento massivos anotados no banco de árvore. Um método para especificar tais regras é associar cada regra PCFG a diretrizes de produção para a máquina de busca sobre como transformar a árvore de análise PCFG parcial em uma árvore de objeto semântico. Um exemplo escrito em formato Microsoft Speech Application Interface (SAPI) (que também é um exemplo de um API de fala que pode ser usada na presente invenção) é

•	mostrado abaixo:
* * 5	crule name=nyc> <list> <phrase>new york ?city</phrase> / <phrase>?the big spple</phrase> <list>
• 10	<output> <city location> <city>New York</city> <state>New York</state> <country>USA</country> <city location> </output> </rule>
15	.<rule name=NewMeeting> <ruleref min=”0 nane = CarrierPhrase/>
A	Cruleref max=inf name=ApptProperty/> <output> <NewMeeting>
20	<DateTime>
25	Cxsl:apply-templates select=//Date/> <xsl:apply-templates select=//Time/> <xsl: apply-templates select=//Duration/> </DateTime> <Invitees> Cxsl:apply-templates select=”//Person/>

</Invitees>

9· 999 99 « ·· · ·· ···· ·· ·« 9 * ······ 9 · · · ♦· ·

9 9 9 · · 9 9 · · · · *

9·· 99 9 ·· ·*· ·· ·· ·· </NewMeetinq>

</output>

</rule>

d <rule name=ApptProperty/>

<list>

<ruleref name = Date/>

<ruleref name=^,,Duration/>

<ruleref name=Time/>

<ruleref name=Person max=inf/>

<ruleref name=ApptSubject¹¹ />

</list>

</rule>

O segmento de gramática contém três regras. A primeira, uma pré-terminal chamada nyc lista as expressões para New York City. Os identificadores <output> neste exemplo, encerram as regras para a construção de objetos semânticos. Eles são invocados quando o caminho de busca sai do nó gramatical denotado pela ficha que o precede. No caso, um objeto semântico, representado em XML com um elemento <city_location> (cidade_local), é criado quando um caminho de busca sai da regra nyc. Este objeto semântico, por sua vez, é composto de três obj etos semânticos: o nome da cidade, as abreviações de estado e de nome do país, respectivamente.

A composição de objetos semânticos também pode ser um processo dinâmico, por exemplo, para agendar uma nova *· ♦** ·· · ♦· · *· ···· »· • * · · · · · ·* · · · · · • · · ♦· · · * · ·· ·♦* · · ·· * · ······ ♦ · · · «« 9 ·· · · * · * · * · · * · *·· ·· · ·· ·** ·* ·· *·

reunião. Por exemplo, um objeto semântico NewMeeting (NovaReunião) será produzido quando o usuário terminar de especificar as propriedades da reunião tais como data, hora, duração e os presentes. Os gabaritos podem ser usados para colar outros objetos semânticos como constituintes no objeto semântico NewMeeting. O mesmo princípio também pode ser aplicado a outras regras não mostradas aqui. Como um exemplo, uma expressão verbal marcar uma reunião com Li Deng e Alex Acero em primeiro de janeiro, para uma hora, resultará no seguinte objeto semântico:

<NewMeeting> (Nova reunião) <DateTime> (DataHora) <Date>Ol/01/2003</Date>

<Durat ion>3 600 </Durat ion> (Duração) </DateTime>

<Invitees> (Convidados) <Person>Li Deng</Person> (Pessoa) <Person>Alex Acero</Person>

<Invitees>

</NewMeet ing>

Em aplicações reais, melhorar a cobertura PCFD é uma tarefa desanimadora. Logo, é desejável ser capaz de usar um N-grama para modelar, entre outras coisas, frases funcionais que não carregam informação semântica crítica, mas usualmente têm variações dimensionãveis na estrutura sintática [por exemplo, May I. . (Posso), Could you show me...

(Você poderia me mostrar), Please show me... (Por favor, me mostre)] . Em uma modalidade, o modelo de linguagem 310 «· ·*· ·· · ·· · ·· ··*· *· • · · » «··»·· · · · · · · · • · · · · » · · · · · · · »*« ·· > ·· ·*· ·· ·· ·· compreende um modelo de linguagem semântica que combina PCFG com N-grama. A técnica é ligeiramente diferente de um modelo de linguagem unificada, que também pode ser usado. 0 modelo de linguagem unificada é uma extensão natural para o N-grama classe convencional, exceto pelo fato de que permite que fragmentos CFG, não apenas uma lista de palavras, sejam modelados como uma ficha individual em N-grama. 0 reconhecedor 306 que utiliza este modelo, ainda produz cadeia de texto que tem que ser analisado a seguir. 0 modelo de linguagem unificada, deste modo, se destina a incorporar certa estrutura linguística para ajudar na transcrição de texto.

O modelo de linguagem semântica, por outro lado, visa a utilizar o decodificador ou reconhecedor para buscar a estrutura semântica, que é usualmente melhor capturada por

PCFG. Logo, ao invés de embutir fragmentos CFG em N-grama, o PCFG é usado para conter N-grama por meio da criação de um pré-terminal PCFG especial que corresponde a um N-grama de interesses. Em formato gramatical Microsoft SAPI, isso pode ser denotado usando-se um pré-terminal com um identificador

XML <dictation> (ditado), como em

LCFG <dictation Max=inf/> RCFG

Onde LCFG e RDFG denotam o contexto à esquerda e à direita do N-grama embutido, respectivamente. O processo de busca trata o identificador <dictation> como uma ficha e ex25 pande para dentro do N-grama como se inserisse um não terminal regular. O atributo max no identificador, especifica o número máximo de palavras que podem ser consumidas pelo Ngrama. Dentro deste N-grama, a probabilidade da cadeia de

palavras é computada interpolando-se o N-grama de trás com o PCFG, mais especificamente:

(1) P(w„|w„_i, w_n_2, · ·) = λΡ (w_n|Ngrama, w_n_₁₍ w„_₂, . . .) + (1 - λ) P(w_njRCFG) P(RCFG|w_n_x, w„.₂, . . . ) onde λ é o peso da interpolação de N-grama e

P (RCFG | w_n__x, . . .) usa a probabilidade de recuo no N-grama, isto é, w_n é tratado como se ele estivesse fora do vocabulário de palavras. Em uma modalidade, o termo P(w_n|RCFG) assume apenas valores binários dependendo de se o tamanho da cadeia de palavras N-grama máximo for alcançado e de a palavra estar na cobertura do fragmento CFG ou não. Como palavras retiradas de PCFG sempre têm uma probabilidade mais alta, os caminhos que realmente têm que ser cobertos pelo CFG têm tendência a vencer suas partes contrárias N-grama, mesmo quando a contagem de palavra N-grama máxima for definida como infinito. Em adição a sentenças funcionais, o N-grama embutido também pode ser usado para modelar objeto semântico com uma propriedade tipo ditado. Por exemplo, o assunto da reunião é modelado em nossa tarefa como (rule name=ApptSubjetc>

<p> <dictation max=inf/> </p>

Detalhes adicionais referentes ao modelo de linguagem semântica são descritos em K. Wang, Semantic modeling for dialog systems in a pattern recognition framework, em Proc. ASRU-2001, Trento, Itália, 2001, que se incorpora aqui â guisa de referência em sua íntegra.

Um outro aspecto da presente invenção inclui um novo uso do objeto SALT listen (ouvir). SALT proporciona um conjunto de elementos XML, com atributos associados e propriedades de obj eto DOM, eventos e métodos, que podem ser usados em conjunto com uma fonte de marcação de documento para aplicar uma interface de falha a uma página fonte. Em geral, os elementos principais incluem:

<prompt...> para configuração de síntese de fala e executar solicitação <listen...> para configuração do reconhecedor de fala, execução do reconhecimento e pós-processamento e registro <dtmf...> para configuração e controle de DTMF <smex...> para comunicação com finalidade genérica com componentes da plataforma

Os objetos listen e dtmf também contêm controles de gramática e de aglutinação <grammar...> (gramática) para especificar recursos de gramática de entrada <bind...> (aglutinar) para processar resultados de reconhecimento

O elemento listen (ouvir) pode incluir um atributo de modo para distinguir três modos de reconhecimento, que instruem ao servidor de reconhecimento (por exemplo, 204) , como e quando retornar resultados. O retorno de resultados implica em proporcionar o evento onReco ou ativar os elementos bind, conforme apropriado.

Em um primeiro modo, automático, a plataforma de fala, ao invés do aplicativo, está no controle de quando interromper o processo de reconhecimento. Este modo tem avan25

çado em telefonia ou em caso de mãos livres. Assim que um resultado de reconhecimento estiver disponível, e/ou quando tiver decorrido um período de tempo indicando silêncio, a plataforma de fala interrompe automaticamente o reconhecedor e retorna seu resultado, que então pode ser associado ao campo apropriado através do elemento de aglutinação.

Em um segundo modo de operação, único, o retorno de um resultado de reconhecimento estã sob o controle de uma chamada explícita de parar. A chamada de parada correspondería a um evento tal como caneta para cima (pen-up) realizado pelo usuário e este modo é avançado por ser usado em um ambiente multimodal, onde o dispositivo permite entrada de fala, mas o usuário, geralmente, estã sob controle do que e de quando selecionar campos, por exemplo, através do uso do dispositivo em forma de caneta 33 (Figura 1).

Um terceiro modo de operação do reconhecedor de fala é um modo múltiplo . Este modo de operação é usado para um microfone aberto ou em um ditado. Geralmente, neste modo de operação, os resultados de reconhecimento são retornados a intervalos, até uma chamada de parada explícita ser recebida ou os outros períodos de tempo associados à entrada não reconhecida ou um tempo máximo de escuta serem excedidos . Em geral, neste modo de operação, para cada sentença que é reconhecida, um evento onReco é emitido e o resultado é retornado até a chamada de parada ser recebida.

No entanto, este modo de operação, como um outro aspecto da presente invenção, pode proporcionar um meio para as máquinas de busca exporem mais capacidades interativas

é «

para os usuários, ao permitir que eles registrem imediatamente, sempre que uma marcação linguística saliente for alcançada. Algoritmos de busca baseados em decodificação síncrona no tempo são bem conhecidos e podem ser empregados para este modo de uma maneira direta. Um tal algoritmo é descrito em H. Ney, S. Ortmanns, Dynamic programming search for continuous speech recognition, IEEE Signal Processing Magazine, página 64-83, 1999. Para reconhecimento de fala, a marcação lingüística corresponde ao limite de uma palavra ou de uma sentença. Um reconhecimento de modo múltiplo SALT pode, conseqüentemente, ser usado para exibir dinamicamente as hipóteses de cadeia de palavras assim que elas estiverem disponíveis, um efeito UI comumente visto em muitos softwares de ditado comerciais. Entretanto, na presente invenção, o modo múltiplo pode tratar as instanciações de objetos semânticos como marcações linguísticas e registrar, isto ê, fornecer alguma resposta como uma função do que foi entendido, de volta ao aplicativo, também de uma maneira dinâmica. Isso parece ao proj et is t a do aplicativo como se SALT estivesse realizando uma compreensão síncrona de objeto semântico.

Este modo de operação pode ser melhor entendido comparando-o com um cenário multimodal. No cenário multimodal, um usuário indica um campo, por exemplo, apontando e mantendo o dispositivo em forma de caneta em um campo de entrada enquanto fala. Embora o usuário possa ficar batendo sobre um campo genérico e expresse uma sentença elaborada para preencher muitos campos em uma única sentença, a interface bater-e-falar ocupa os olhos e as mãos do usuário, um é

esquema não apropriado para muitas situações. Além disso, embora bater-e-falar apresente um rico canal de comunicação de volta que exibe o volume e uma barra de progresso do processo de linguagem falada subjacente, aqueles retornos proporcionam apenas indícios muito primitivos para a qualidade do processamento de linguagem falada em termos de velocidade e precisão. Isso pode ser potencialmente mais problemático para sentenças mais longas em que os erros podem se propagar até um escopo mais amplo, que eventualmente requer mais esforços na verificação e correção dos resultados de reconhecimento e compreensão. Como os estudos de usabilidade parecem indicar que sentenças longas são um fator de diferenciação chave, que demonstra a utilidade da fala como mais que um aperfeiçoamento de teclado ou alternativo, uma experiência UI satisfatória é absolutamente necessária para o sucesso do uso de fala como uma modalidade viável.

De modo a promover a percepção de humanocomputador como parceiros colaboradores íntimos para alcançar um objetivo comum, a compreensão síncrona de objeto semântico, por meio do registro da análise semântica parcial ou objetos assim que eles estão disponíveis, é efetiva. Em uma modalidade, isso é conseguido usando-se o modo múltiplo do elemento de escuta em SALT. Em particular, para o elemento de escuta, um modo múltiplo é designado e todas as gramáticas de reconhecimento são então especificadas para que a fala de entrada seja reconhecida. A atribuição de resultados também é especificada no objeto de escuta. Por exemplo, o código de entrada HTML para adquirir informações necessá36

rias, tais como data, hora, local, assunto e os presentes à reunião, etc., para criar uma nova reunião, pode tomar a forma:

clisten mode=multiple...>

<grammar src=subject.grm/> <grammar src=date.grm/>

<grammar src=time_duration.grm/> <grammar src=attendees.grm/> cbind targetElement=subject value=//ApptSubject/>

<bind targetElement=date value=//DateTime/>

<bind targetElement=start_time value=//start_time targetElement=end_time value=//end_time targetElement=duration value=//DateTime/duration/>

<listen>

As múltiplas gramáticas compõem um espaço de busca paralelo para o reconhecimento com um ciclo de transição nulo de volta ao ponto de entrada. Neste modo, SALT permite que o objeto de escuta promova um evento assim que uma gra25 mática for liberada. 0 evento toma a direção de um processo paralelo para invocar às diretrizes de aglutinação na seqüência , enquanto a coleta e o reconhecimento de áudio subjacentes estão em progresso, criando assim o efeito para u37 «4 4 1 suário de que campos relevantes no formulário estão sendo preenchidos, enquanto um comando falado ainda está sendo expresso para um aplicativo que tem uma apresentação visual de campos.

Para a interface com o usuário para aplicativos de olhos livres, resultados de fala acompanhados podem ser desejados. Neste caso, SALT solicita que objetos possam ser usados para dar retornos imediatos. Por exemplo, o objeto de solicitação SALT a seguir pode ser usado para sintetizar resposta com base no conteúdo dinâmico no campo de data e a síntese da fala pode ser ativada com diretrizes de aglutinação SALT adicionais, conforme a seguir:

<prompt id=say_date>

on <value targetElement=date/>

<prompt >

cbind targetElement=date value=//date targetElement=say_date targetMethod=Start/>

<listen>

O efeito líquido é o usuário sentir como se ele estivesse falando com uma outra parte que não apenas toma nota, como também repete o que é ouvido, como em Agendar uma reunião (nova reunião) às duas (começando âs duas horas

da tarde) próxima Terça (em 29/10/02) por duas horas (duração: duas horas), onde as sentenças fornecidas nos parênteses representam as solicitações audíveis e/ou visuais (que também podem ser sincronizadas) retornadas ao usuário.

Deve-se notar que SALT permite que os projetistas vinculem manipuladores de evento de reconhecimento personalizados que realizam computações sofisticadas além das simples atribuições como com as diretrizes de aglutinação SALT. No exemplo acima, a normalização da data pode ser conseguida na gramática esquemática que, no entanto, não pode facilitar resolução de referência avançada (por exemplo, Agendar uma reunião com Li Deng e seu gerente). Para tais casos, pode ser implementado algoritmo como objetos de script acessíveis a manipuladores de evento apropriados para acessar dados armazenados, para verificar referências indefinidas. Tais algoritmos são descritos em K. Wang, A plan based dialog System with probabilistic inferences, em Proc. ICSLP-2000, Beijing, China, 2000 e pedido de patente europeu EP 1199630A2, publicado em 24 de abril de 2002, que são incorporados aqui- à guisa de referência, em sua íntegra.

Deve-se notar que, embora a operação de modo múltiplo existisse para o objeto de escuta, em implementações atuais, este modo proporciona apenas texto para a entrada recebida, tal como em ditado. No entanto, neste aspecto da presente invenção, o resultado parcial na medida em que a entrada está sendo recebida, não é apenas o texto, mas também inclui a informação semântica correspondente pertencente ao texto e assim, a saída compreende análise ou objeto se25 • · 4 1 • ·♦ β 44 41 44 t

t mântico parcial, que pode ser usado conforme descrito acima para proporcionar ao usuário mais qualidade de retorno, que o computador compreendeu apropriadamente o que foi recebido. Dependendo da sofisticação do aplicativo que recebe a análise ou objeto semântico parcial, o sistema pode fornecer de volta ao usuário confirmações, alternativas, correções e esclarecimentos, com base na análise semântica parcial recebida.

Embora em aplicativos multimodais seja conhecido incluir múltiplas gramáticas, para permitir que o usuário fale na frente, e deste modo, proporcione a capacidade de fornecer informações que não foram indicadas, usar o elemento de escuta na operação de modo múltiplo pode ser melhor porque ele proporciona ao usuário uma indicação mais alta de compreensão. Em um aplicativo apenas de voz, uma forma natural de diálogo é gerada, enquanto que, se apresentações visuais são empregadas, um aplicativo pode começar o processamento (realizando ações, exibindo resultados ou opções, por exemplo, através de janelas pop-up) com base apenas em análise semântica parcial do que foi proporcionado ao usuário até então, e enquanto o usuário continuar a falar.

Embora a presente invenção tenha sido descrita com referência a modalidades particulares, trabalhadores versados na técnica irão reconhecer que podem ser feitas mudanças na forma e detalhes, sem que se afaste do espírito e escopo da invenção.

Claims (8)

1. REIVINDICAÇÕES

   1. Sistema de compreensão da fala (10, 30, 80) compreendendo:

   um modelo de linguagem (310) que compreende uma combinação de um modelo de linguagem de N-grama e um modelo de linguagem de gramática livre de contexto, o modelo de linguagem (310) armazenando informações relacionadas a palavras e informações semânticas a serem reconhecidas; e um módulo (14) adaptado para receber entrada de um usuário e capturar a entrada para processamento, em que o módulo (14) está ainda adaptado para receber interfaces de programa aplicativo SALT pertencentes ao reconhecimento da entrada e em que o processamento compreende o reconhecimento de texto a partir da entrada recebida, caracterizado pelo fato de que:

   o módulo (14) é configurado para processar uma primeira parte da entrada e as interfaces de programa aplicativo SALT para determinar informações semânticas pertencentes à primeira parte da entrada;

   em que o módulo (14) está configurado para gerar como saída um objeto semântico parcial que compreende texto e informação semântica para a primeira parte da entrada acessando o modelo de linguagem (310); e em que o reconhecimento do texto e a geração como saída do objeto semântico parcial são realizados enquanto a captura continua para partes subsequentes da entrada.

   de 07/02/2018, pág. 4/10
2. 2. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo de linguagem compreende um modelo de linguagem unificada.
3. 3. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo de linguagem compreende um modelo de linguagem semântica.
4. 4. Sistema de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que o módulo é adaptado para identificar um objeto de escuta SALT em um modo múltiplo para realizar o reconhecimento de texto e gerar como saída objetos semânticos parciais, enquanto a captura continua para as subsequentes porções da entrada.
5. 5. Sistema de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que o módulo é adaptado para identificar objetos de gramática para definir um espaço de busca do modelo de linguagem.
6. 6. Meio legível por computador incluindo instruções legíveis por um dispositivo de computação (30, 80) que, quando implementadas, fazem com que o dispositivo de computação (30, 80) manipule a informação executando etapas compreendendo:

   receber entrada de um usuário e capturar a entrada para processamento em que processamento compreende o reconhecimento de texto a partir da entrada recebida;

   receber interfaces de programa aplicativo SALT para identificar um modelo de linguagem (310) para de 07/02/2018, pág. 5/10 realizar reconhecimento de texto e compreensão, o modelo de linguagem adaptado para fornecer texto de entrada reconhecida e informações semânticas para a entrada recebida;

   caracterizado pelo fato de que compreende ainda: processar a entrada acessando o modelo de linguagem (310) para realizar reconhecimento na entrada para determinar informações semânticas pertencentes a uma primeira parte da entrada e gerar como saída um objeto semântico parcial que compreende texto da entrada reconhecida e informação semântica para a primeira parte da entrada, em que realizar o reconhecimento de texto e gerar como saída objetos semânticos parciais são realizados enquanto a captura continua para as subsequentes partes da entrada.
7. 7. Meio legível por computador de acordo com a reivindicação 6 caracterizado pelo fato de que o processamento inclui a identificação de um objeto de escuta SALT em um modo múltiplo para realizar o reconhecimento de texto e gerar como saída objetos semânticos parciais, enquanto a captura continua para as subsequentes porções da entrada.
8. 8. Meio legível por computador de acordo com a reivindicação 6 ou 7, caracterizado pelo fato de que o recebimento de interfaces de programa aplicativo SALT inclui a identificação de objetos de gramática para definir um espaço de busca do modelo de linguagem.

   de 07/02/2018, pág. 6/10 »····· es

   Ό ε

   Η ο

   co