BR112012005342B1 - Método para controlar a operação de um sistema operacional e programa de aplicativos associados - Google Patents

Abstract

MÉTODO E DISPOSITIVO PARA USO DE APLICATIVOS GENÉRICOS DE SOFTWARE POR MEIO DE CONTROLE OCULAR E MÉTODOS ADEQUADOS DE INTERAÇÃO. O método e dispositivo objetos da presente invenção se referem a um sistema para utilizar aplicativos genéricos de software, por meio de controle ocular caracterizado por técnicas de interação simples, que minimizam o esforço cognitivo do usuário necessário para manipular o software e que permitam superar os problemas resultantes do problema intrínseco de precisão dos sistemas de rastreamento ocular. De fato, tal técnica não fornece o uso do ponteiro do mouse movido por meio do olhar para controlar os diversos aplicativos de software, mas o uso de um aplicativo separado o qual através do uso de técnicas de interação adequadas torna-se confortável e não envolve um maior esforço de concentração por parte do usuário. De fato, têm sido feitas tentativas para simplificar o processo de interação entre o usuário e a máquina, também por meio do uso de realimentação visual, que permitem que as mesmas operações do mouse sejam executadas pelo usuário sem a frustração do usuário típico devido aos problemas de precisão do dispositivo de rastreamento ocular.

Description

CAMPO DA INVENÇÃO

[001] A presente invenção se refere ao campo dos sistemas e métodos para o controle de aplicativos genéricos de software por meio de dispositivos de rastreamento ocular, ou seja, por meio de movimentos oculares.

[002] Não havendo a oportunidade de usar o mouse para o acesso às aplicativos de software, o usuário deve tirar vantagem de técnicas que permitam a ele/ela realizar, por meio de movimentos oculares, as mesmas operações que são possíveis de se realizar com o mouse. Para este propósito, as técnicas e invenções têm sido desenvolvidas, as quais permitem ao usuário diminuir de forma significativa o esforço cognitivo a ser executado.

ESTADO DA ARTE

[003] O rastreamento de movimentos oculares potencialmente oferece ao usuário a possibilidade de controlar o software de um computador pessoal através de simplesmente olhar o visor do mesmo.

[004] No entanto, existem problemas que frustram o usuário durante o uso de sistemas de rastreamento de movimentos oculares - ou sistemas de rastreamento do olho - para controlar o software de um computador pessoal. Em particular, os olhos devem simultaneamente se comportar como dispositivos de entrada e de saída, ou seja, eles devem explorar e realizar ações verdadeiras. Novamente, os dispositivos de rastreamento ocular sofrem de problemas intrínsecos de precisão na medição da posição do olhar no visor. Portanto, a precisão do sensor é sempre afetada por um erro (a diferença entre a posição atual do cursor no visor em comparação com a posição do cursor procurada pelo usuário) e isto dificulta o controle de muitos dos aplicativos de software, dado que muitos programas de software exigem uma precisão de alguns milímetros, e outros também requerem uma taxa de precisão em termos de píxeis.

[005] Portanto, o uso de sistemas de rastreamento ocular é em geral limitado ao software feito especificamente para usuários com deficiência no qual é necessária uma baixa precisão de posicionamento. De fato, o usuário deve fazer o seu/sua seleção a partir de uma lista de células relativamente grandes nas quais a conseqüência do erro de precisão seja pequena.

[006] Em vez disso, no campo de aplicativos de software de uso comum, o emprego de sistemas de rastreamento ocular para controlar o aplicativo, por exemplo, por meio do movimento do cursor, o qual é atualizado diversas vezes por segundo, através do rastreamento da direção do olhar, o erro de precisão torna a tarefa muito difícil ao usuário, a quem é necessário um esforço significativo de concentração, fato que em pouco tempo gera fadiga.

[007] Qualquer tentativa por parte do usuário de corrigir o erro através do redirecionamento de seu olhar para a posição onde o cursor deve ser posicionado não faz mais do que tornar o uso do cursor cada vez mais problemático e cansativo.

[008] Algumas soluções em uso no estado da arte fornecem a resolução do problema supracitado por meio de uma ampliação de parte da exibição do computador pessoal, de modo a melhorar a precisão no posicionamento do cursor.

[009] No entanto, essa abordagem é insuficiente, pois o erro de compensação também permanece nesses casos, continuando assim a frustrar o usuário, e, além disso, implica em uma maior complexidade da interface, o que pode criar confusão e distração.

[0010]Outras soluções disponíveis atualmente implicam na apresentação de menus “fora da tela” que permitem ao usuário selecionar qual a ação a realizar emulando pela emulação de diferentes operações que podem ser executadas com o mouse (clique simples, clique duplo, botão direito do mouse, arrastar e soltar).

[0011]Mais uma vez, em alguns casos, as funções desejadas podem ser ativadas pelo posicionamento do olhar nos ícones dispostos em tiras de papelão fino revestido com plástico que são posicionadas no perímetro vertical do monitor: assim, o olho deve selecionar as funções externas, antes de ativá-las no ícone ou na função desejada e, em seguida, mover o cursor que será dirigido através do olhar para os ícones ou aplicativos desejados.

[0012]Em ainda outros casos, também é possível controlar um segundo PC, conectado com o sistema de rastreamento ocular, cujo monitor deve ser instalado ao lado do monitor do rastreador ocular para dar ao usuário a oportunidade de facilmente observar o controle do mouse sobre os aplicativos.

[0013]As direções do cursor do mouse são ativadas com o olhar na vista da tela no monitor do dispositivo de rastreamento ocular, e uma vez que a direção seja selecionada, o efeito será observado no outro PC; logo que o olhar seja removido a partir do PC que se deseja controlar, o ponteiro pára e os comandos desejados podem ser selecionados. Desta forma, o segundo PC conectado pode ser controlado com o sistema de rastreamento ocular, por meio da emulação do mouse.

[0014]Em princípio, pode-se afirmar que, ao contrário do que tem sido implementado até o momento, seria desejável ter um visor no qual os elementos descritos não interfiram muito com o uso normal do software, pelas seguintes razões: a atenção do o usuário cai exponencialmente com o aumento do número de elementos apresentados na tela, o usuário normalmente tem pouca familiaridade com os dispositivos de rastreamento ocular e, além disso, podem ser afetado por deficiências cognitivas, tais como tornar proibitivo o uso de um dispositivo de rastreamento ocular.

[0015]Pelas razões supracitadas, o objetivo da presente invenção é fornecer um método para controlar um computador pessoal por meio de um sistema de rastreamento ocular que supere os inconvenientes listados acima.

[0016]Um dos principais requisitos continua a ser a minimização do esforço cognitivo necessário para manipular o software, garantindo que a interface aceite as entradas "naturais" e responda "naturalmente" e seja de fácil compreensão.

[0017]Por esta razão, será necessário desenvolver uma interface que utilize técnicas de interação que não sejam causa de fadiga ao usuário. Dado que muitas das entradas não são intencionais, o sistema deverá interpretá-los corretamente, sem produzir respostas não solicitadas, causadas por ações involuntárias. Tal sistema, portanto, deve ser capaz de distinguir entre a verdadeira intenção do usuário enquanto permite a ele/ela observar a interface pacificamente caso não seja a intenção dele/dela de dar um comando; por outro lado, o usuário deve ser capaz de avaliar qual é o estado atual do sistema, de tal forma a perceber se as suas intenções foram interpretadas de forma adequada, a fim de evitar a execução de comandos involuntários.

[0018]Também deve ser destacado que, embora os sistemas de controle de sistemas operacionais do estado da arte, por meio da emulação do mouse através de controle ocular (conversão do movimento do olhar em movimento do cursor), o objetivo da presente invenção fornece um novo mapeamento dos meios de interação nativos “originais” do sistema operacional do computador pessoal (ícones, etc.) por meio de novos meios de interação modificados e feitos de forma adequada para o modo de seleção por meio de controle ocular.

[0019]Portanto, a presente invenção estabelece uma espécie de "canal direto", tal como a emulação do cursor ser superada pelo fato de que os meios de interação nativos são substituídos pelos ditos modificados e adaptados para a necessidade do uso do olhar como sistema de entrada.

[0020]Além disso, a utilização de uma máquina virtual, a qual permite administrar e criar um ambiente virtual para executar um sistema operacional adicional com aplicativos de software relacionados e os quais o usuário pode utilizar simultaneamente a um iniciado, fornece outras vantagens. Uma delas é a segurança: a máquina virtual é completamente isolada e independente e uma pane repentina da máquina virtual não levará o sistema operacional hospedeiro a uma pane; portanto não será necessário reiniciar o computador, bastará apenas encerrar a máquina virtual e iniciá-la novamente, ao mesmo tempo evitando danos, por exemplo, ao sistema de arquivos.

[0021]Como o método de acordo com a presente invenção é integrado em um conjunto de comunicação, através do uso de uma máquina virtual, é possível de forma simples, rápida e segura mover (por meio da suspensão da máquina virtual), a partir do uso de aplicativos clássicos de PC, por meio das técnicas de controle descritas abaixo, o conjunto de comunicação concebido especificamente para ser utilizado através do controle ocular, superando assim os problemas dos sistemas do estado da arte, os quais fornecem procedimentos bastante complicados para mover de um modo para o outro.

[0022]Ao mesmo tempo, o usuário pode escolher diretamente, por meio de atalhos adequados, a execução de alguns aplicativos pré-definidos dentro do conjunto de comunicação, superando assim o problema da possível execução direta a partir do sistema operacional. BREVE DESCRIÇÃO DAS FIGURAS - a figura 1 ilustra o diagrama de blocos da arquitetura do método de acordo com a presente invenção. - a figura 2 ilustra o diagrama de fluxo do método de acordo com a presente invenção. - a figura 3 ilustra o diagrama de fluxo do módulo relativo à filtragem dos dados em bruto provenientes do dispositivo de rastreamento ocular. - a figura 4 ilustra o diagrama de fluxo relativo ao módulo de controle de aplicativo. - a figura 5 ilustra o diagrama de fluxo relativo ao Módulo de Mapeamento por Coordenadas. - a figura 6 ilustra o diagrama de fluxo relativo às estratégias de recuperação de dados relativos aos meios de interação nas visualizações de tela. - as figuras 7 a 10 ilustram, por meio de um exemplo não limitativo, uma possível implementação da interface gráfica do objetivo de aplicação da presente invenção.

RESUMO DA INVENÇÃO

[0023]O objeto da presente invenção consiste de um método e um dispositivo para a utilização de um sistema operacional genérico e aplicativos genéricos de software conectados ao mesmo, por meio de controle ocular. Um outro objetivo da presente invenção consiste de métodos adequados de interação desenvolvidos por meio de técnicas de interação e uma interface do usuário intuitiva e fácil de usar, tal como descrito nas reivindicações que formam uma parte integrante da presente descrição.

[0024]O método objeto da presente invenção, portanto, descreve uma possível implementação de uma tecnologia de suporte, extremamente inovadora em termos de controle de um sistema operacional genérico e dos aplicativos conectados ao mesmo, com base no uso de entradas alternativas e naturais, tais como o olhar.

DESCRIÇÃO DETALHADA DA INVENÇÃO

[0025]Em uma forma de realização preferida da presente invenção, o dispositivo objeto da presente invenção compreende os meios eletrônicos de processamento de dados e informações, os meios de memorização de ditos dados e informações e os meios de interface do usuário.

[0026]Os ditos meios eletrônicos de processamento de dados e informações compreendem uma seção de controle apropriada, de preferência com base em, ao menos, um microprocessador, e podem, por exemplo, ser fornecidos por um computador pessoal.

[0027]Os ditos meios de memorização, de preferência compreendem discos rígidos e dispositivos de armazenamento de tipo flash. Os ditos meios de interface do usuário de preferência compreendem os meios de visualização de dados, tais como, por exemplo, visores, monitores ou unidades análogas de saída externas e dispositivos de rastreamento ocular adaptados para interpretar a direção do olhar do usuário.

[0028]O dito microprocessador é de preferência equipado com um sistema operacional, com um ambiente virtual adequado por meio do uso de uma máquina virtual e por um programa de software adequado que implemente um método cuja arquitetura, descrita na figura 1, compreende os seguintes módulos, os quais por sua vez compreendem uma série de instruções adaptadas para realizar uma tarefa específica: um módulo de filtragem 10 no qual as coordenadas do olhar do usuário são processadas de modo a tornar mais estáveis os dados em bruto provenientes do dispositivo de rastreamento ocular em uso; um módulo, nominalmente um Controle de Sistema Operacional/Aplicativos 11, responsável pelo controle do sistema operacional e dos aplicativos que lhe estão associados e pela execução do desenvolvimento das interfaces gráficas de aplicativos, interface a qual contém as informações a respeito dos meios de interação na visualização da tela e executa a ação nativa associada com o meio de interação fixado pelo usuário naquele momento, os ditos meios de interação sendo os elementos ativáveis na interface: os ícones, os menus pop-down, as caixas de seleção etc., adaptados para permitir ao usuário realizar ações no programa de aplicativos a ser controlado.

[0029]O dito Módulo de Controle de Sistema Operacional/Aplicativos 11 é formado por dois sub-módulos componentes: um módulo de controle 12 e um módulo cliente 13.

[0030]O dito Módulo de Controle 12 é responsável pelo gerenciamento da apresentação dos meios de interação e pela definição da ação nativa associada com cada um deles e, por sua vez, compreende três módulos adicionais que interagem entre si: - um Módulo de Mapeamento por Coordenadas 12A que é encarregado de realizar um novo mapeamento das coordenadas relativas às visualizações de tela e aos meios de interação nelas (diferentes entre o Cliente e Controlador); - um Módulo de Gerenciando de Meio de Interação 12B que é encarregado de realizar a comparação com o olhar de entrada para definir quais meios de interação são fixados pelo usuário e os apresentar, adequadamente e possivelmente modificados, na interface, por exemplo, em um painel lateral; - um Módulo de Definição de Ação Nativa 12C que é encarregado de definir a ação nativa associada a cada meio de interação do Sistema Operacional e de enviá-la ao dito Módulo Cliente 13, tornando-a disponível para o processamento sucessivo.

[0031]O dito Módulo de Mapeamento por Coordenadas 12A, por sua vez, consiste de dois sub-módulos que interagem um com o outro: um Sub-Módulo de Tradução de Coordenadas 14, o qual realiza a tradução das coordenadas relativas à visualização de tela e aos meios de interação e um Sub-Módulo de Calibração Adaptativa 15, que realiza um reajuste adicional das coordenadas por meio da deformação geométrica do plano obtido, comparando a informação a respeito dos meios de interação que o usuário pode selecionar e as coordenadas do olhar provenientes do rastreador ocular, os resultados das ações combinadas destes dois módulos é uma descrita acima em concernência ao Módulo de Mapeamento por Coordenadas 12A.

[0032]O dito Módulo Cliente 13 é adaptado para definir a posição e a função dos meios de interação na visualização da tela e, por sua vez, compreende dois módulos adicionais que interagem um com o outro: o Módulo de Gerenciamento de Interface 13A, o qual é responsável pela análise das visualizações de tela e pelo envio das informações relativas a elas e aos meios de interação presentes, detectados por meio de diferentes métodos de busca, ao módulo controlador 12, o Módulo de Gerenciamento de Ação Nativa 13, o qual é encarregado de receber as informações relativas à ação nativa associada e realizá-la como ação no dito sistema operacional.

[0033]Em referência à figura 2, é ilustrado um diagrama que descreve o funcionamento dos módulos mencionados acima e as interconexões uns com os outros, ilustrando as etapas do método de acordo com a presente invenção: a) Nos ditos meios de visualização de dados associados com o dito meio de processamento de dados, uma interface de controle do usuário adaptada é visualizada para permitir ao usuário controlar o sistema operacional e os programas de aplicativo que estão associados com os ditos meios eletrônicos de processamento. b) As coordenadas do olhar do usuário na forma de dados em bruto, ou seja, as amostras relacionadas com as coordenadas do olhar dos dois olhos separados, que estão sujeitas a fortes oscilações, são detectadas pelo dispositivo de rastreamento ocular 21, compreendido nos ditos meios de interface do usuário. Estas oscilações ocorrem, geralmente, ao redor de uma determinada posição, mas existem também alguns olhares que são totalmente erráticos e devem ser eliminados por meio de uma operação de filtragem. c) Os ditos dados em bruto são filtrados 22, de modo a torná-los estáveis e adequados para fornecer as indicações sobre as fixações do usuário, ou seja, sobre o número de olhares do usuário em uma determinada adjacência. d) Os dados filtrados expressos em coordenadas x, y do ponto fixo são enviados 23 para o Módulo de Controle de Sistema Operacional/Aplicativos 11, que os processa através da definição da ação a ser realizada e as modificações a serem feitas na dita interface do usuário. e) A ação a ser realizada, determinada pela etapa anterior, é realizada 23 e, possivelmente, a dita interface de controle de usuário será adequadamente modificada após ação em si. f) A seqüência é repetida a partir da etapa (b) até que o usuário decida deixar o programa de aplicativo que ele/ela estiver usando.

[0034]A pré-filtragem de dados em bruto de acordo com a etapa (c) é realizada de acordo com a seqüência indicada a seguir e ilustrada na figura 3: g) é realizada uma pré-filtragem 30 dos dados em bruto e as amostras não válidas são detectadas e eliminadas utilizando, por exemplo, os critérios estatísticos. h) as coordenadas do olhar do olho direito e do olho esquerdo são combinadas 31 em um ponto considerado provável de ser o fixado pelo usuário. i) são calculados 32 o desvio média e padrão em relação ao número de amostras desejado (definido com base no número de amostras que foram decididas p priori para se levar em consideração). j) as tolerâncias são definidas 33 para as avaliações. k) os dados aceitáveis são discriminados 34 com relação aos que devem ser rejeitados com base no que foi estabelecido nas etapas anteriores (i) e (j).

[0035]Os dados filtrados e enviados para o Módulo de Controle de Sistema Operacional/Aplicativos 11 são processados de acordo com a seqüência indicada a seguir e ilustrada na figura 4: l) o Módulo de Gerenciamento de Interface 13A analisa a visualização de tela e envia 40 a informação relativa às visualizações de tela e aos meios de interação na interface do usuário atual para o Módulo de Mapeamento por Coordenadas 12A. m) o Módulo de Mapeamento por Coordenadas 12A realiza um novo mapeamento das coordenadas relativas às vistas de tela e aos meios de interação e realiza uma comparação com os dados relativos ao olhar provenientes do rastreador ocular. O dito novo mapeamento permite que as coordenadas vindas do Módulo do Cliente 13 relativas à posição dos meios de interação nas visualizações de tela sejam definidas em relação a outro sistema de coordenadas que tenha uma origem diferente em relação a aquela baseada em quais coordenadas de olhares provenientes do dispositivo rastreador ocular sejam definidas. Uma vez que esta operação tenha sido efetuada, a comparação permite compreender qual meio de interação é fixado pelo usuário. n) o Módulo de Gerenciamento de Meio de Interação 12B seleciona 42 novamente os meios de interação presentes nas adjacências dos olhares detectados, através da exibição adequada (por exemplo, um painel lateral da interface do usuário específica do programa), através do uso de técnicas heurísticas, para decidir a ordem de aparecimento pela determinação de quais meios de interação serão mais provavelmente selecionados. Isto permite mostrar cada meio de interação de forma "ponderada", do mais para o menos provável. Em seguida, o Módulo de Gerenciamento do Meio de Interação 12B aguarda pelos dados relativos aos olhares provenientes do rastreador ocular e pela seleção de um dos meios de interação no painel lateral. o) o Módulo de Definição de Ação Nativa 12C define 43 a ação nativa do Sistema Operacional associada com cada meio de interação (ou seja, eventos que são simulados pelo Módulo do Cliente 13 e que correspondam às inserções dos controles do teclado, clique simples, arrasta e solta, etc.) e a envia ao Módulo de Gerenciamento de Ação Nativa 13. p) o Módulo de Gerenciamento de Ação Nativa 13 recebe as informações relativas à ação nativa associada com o meio de interação selecionado e as executas 44 como ação no Sistema Operacional (por exemplo, enviar caractere, movimentar o mouse em uma determinada posição, etc.)

[0036]O processo de mapeamento por coordena, novamente de acordo com o passo (m) da seqüência ilustrada na figura 4, ocorre de acordo com a seqüência indicada a seguir e ilustrada na figura 5: q) o Módulo de Tradução de Coordenadas 14 realiza 50 uma tradução das coordenadas relativas à visualização de tela e aos meios de interação de entrada e envia esses dados para o Módulo de Calibração Adaptativa 15. r) o Módulo de Calibração Adaptativa 15 realiza 51 um reajuste adicional das coordenadas, por meio da deformação geométrica do plano obtido pela comparação da informação sobre os meios de interação os quais o usuário pode selecionar e as coordenadas do olhar proveniente do rastreador ocular, e envia as informações para atualizar o mapeamento para o Módulo Tradução de coordenadas 14.

[0037]O Módulo de Gerenciamento de Interface realiza continuamente a busca dos meios de interação na visualização de telas durante todo o processo descrito acima, por meio do uso das etapas a seguir descritas e ilustradas na figura 6: s) o Módulo de Gerenciamento de Interface 13A consulta 60 a API (Interface de Programação de Aplicativos (^pp//caf/on Programming )nterfaceyu das funções de acessibilidade para rastrear a posição e as funções dos diferentes meios de interação na página. t o Módulo de Gerenciamento de Interface 13A implementa 61 um algoritmo de cruzamento recursivo do diagrama de janelas na página enquanto tenta extrair informações adicionais (a fim de superar o obstáculo representado pela informação insuficiente obtida pelos meios da API de acessibilidade). u o Módulo de Gerenciamento de Interface 13A consulta 62 um banco de dados pré- formado de aplicativos suportados a partir do qual obtém as estratégias para a utilização de diversos aplicativos. O banco de dados contém as informações gerais relativas à forma como os diversos aplicativos e os programas de diversos aplicativos são feitos, e obtém de forma heurística as indicações deles a partir de sobre como, outros dos quais nada se sabe, podem ser feitos.

[0038]O método descrito permite que, por exemplo, um usuário deficiente use um computador pessoal equipado, por exemplo, com um sistema operacional e com os programas de aplicativos, tais como Windows ® e o Pacote Microsoft ® Office ®.

[0039]As ações realizadas pelo usuário são descritas abaixo em detalhe.

[0040]O usuário é disposto em frente ao rastreador ocular conectado a um monitor no qual é visualizada a imagem da tela do sistema operacional/aplicativo que se deseja controlar por meio de movimentos oculares.

[0041]O usuário fixa, por exemplo, o ícone Iniciar na barra de aplicativos do Windows ® próximo ao qual está o ícone do aplicativo Word ® e a barra do Windows ®: os movimentos do olhar nas adjacências específicas para as características intrínsecas do rastreador ocular. Devido a isso e ao erro possível e intrínseco de precisão do dispositivo de rastreamento ocular, o que o usuário está fixando e qual é a sua intenção não pode ser dito com certeza. Para evidenciar este problema, todos os meios de interação nas adjacências do olhar (por exemplo, botão Início, ícone do programa Word ®, barra do Windows ®) são mostrados em um painel lateral, adequado para a seleção por meio do controle ocular (bem espaçados e de tamanhos adequados). Tais meios de interação são detectados por meio de estratégias adequadas de recuperação de dados (tipo, posição, etc.) relacionados aos meios de interação na exibição de tela (consulta de acessibilidade da API, cruzamento recursivo do diagrama de janelas, banco de dados de aplicativos pré- definidos) e são mostrados em uma maneira "ponderada" de acordo com a ordem obtida por meio de técnicas heurísticas (desde o mais provável para o menos provável).

[0042]O usuário fixa o meio de interação de interesse no painel lateral e, como os botões são bem espaçados e de tamanhos adequados, não há nenhuma ambigüidade em relação à escolha do usuário. O botão é, portanto, selecionado e a ação conseqüente é executada.

[0043]Em maior detalhe e em referência às figuras 7 a 10 acompanhantes, o usuário, em primeiro lugar, dispõe a si mesmo em frente do rastreador ocular conectado a um monitor no qual é visualizada a exibição da tela 70 do sistema operacional/aplicativo que se deseja controlar por meio de movimentos oculares (figura 7).

[0044]O usuário fixa, por exemplo, o ícone Iniciar na barra de aplicativos Windows ® próximo ao qual está o ícone do aplicativo Word ® e barra do Windows ®: os movimentos do olhar 71 nas adjacências específicas para as características intrínsecas do rastreador ocular. Devido a isso e ao erro possível e intrínseco de precisão do dispositivo de rastreamento ocular, o que o usuário está fixando e qual é a sua intenção não pode ser dito com certeza (figura 7).

[0045]Todos os meios de interação nas adjacências do olhar 71 (por exemplo, o botão Iniciar, o ícone do Word ®, a barra do Windows ®) são mostrados em um painel lateral 72, adequados para a seleção por meio de controle ocular (bem espaçados e de tamanhos adequados). Tais meios de interação são detectados por meio de estratégias adequadas de recuperação de dados (tipo, posição, etc.) relacionados aos meios de interação na exibição de tela (consulta de acessibilidade da API, cruzamento recursivo do diagrama de janelas, banco de dados de aplicativos pré-definidos) e são mostrados em uma maneira “ponderada" de acordo com a ordem obtida por meio de técnicas de heurística (desde o mais provável para o menos provável) (figura 8).

[0046]O usuário fixa o meio de interação de interesse 73 no painel lateral 72: como os botões são bem espaçados e de tamanhos adequados, não há nenhuma ambigüidade em relação à escolha do usuário (figura 9). O botão é selecionado e a ação conseqüente é realizada.

[0047]Após a seleção do botão de início a partir do painel dos meios de interação, a ação é conseqüentemente realizada (figura 10), ou a janela é aberta 74 em relação ao pedido. O painel dos meios de interação 72 é esvaziado enquanto aguarda para ser preenchido novamente com os novos meios de interação seguindo os olhares sucessivos do usuário.

Claims (5)

1. Método para controlar a operação de um sistema operacional e programa de aplicativos associados por meio de controle ocular compreendendo as seguintes etapas: a) visualizar (20) nos adequados dados meios de visualização associados ao adequado processamento de dados uma interface de controle do usuário para permitir a um usuário controlar o sistema operacional e os programas aplicativos associados do dito meio de processamento de dados; b) detectar (21) por meio de um dispositivo de rastreamento ocular (rastreador ocular), compreendido nos meios de interface do usuário adequado associados ao dito meio de processamento de dados, as coordenadas do olhar do usuário na forma de amostras de dados em bruto, nominalmente das amostras a respeito das coordenadas do olhar de cada um dos olhos do usuário; c) filtrar (22) os ditos dados em bruto a fim de torná-los estáveis e adequados para fornecer as indicações a respeito das fixações do usuário, nominalmente em relação ao número de olhares do usuário dentro de certas adjacências; d) enviar (23) os dados filtrados, expressos em coordenadas x, y do ponto fixado, para o Módulo de Controle de Sistema Operacional/Aplicativos (11), processá-los através da definição da ação a ser realizada e as alterações a serem introduzidas na dita interface de controle do usuário; o dito Módulo de Controle de Sistema Operacional/Aplicativos (11) que compreende um conjunto de instruções para controlar o sistema operacional e os aplicativos relacionados e para gerenciara interface gráfica do aplicativo em execução que contém as informações a respeito dos meios de interação presentes na exibição de tela, e para executar a ação nativa associada ao meio de interação fixado pelo usuário em um determinado momento; e) realizar a ação determinada pela etapa anterior (d) e, no caso de ser necessário, a dita interface de controle do usuário será adequadamente modificada de acordo com a ação ocorrida; f) repetir a sequência inicial a partir da etapa (b) até que o usuário decida deixar o programa de aplicativo que estiver utilizando; caracterizado por dita etapa (d) compreender adicionalmente as ações de detectar quais meios de interação estão presentes nas adjacências do olhar do usuário, modificar tais meios de interação e exibir ditos meios de interação modificados em um painel lateral na dita interface de controle do usuário, ditos meios de interação modificados sendo adequadamente espaçados e dimensionados e adaptados para serem selecionados pelo olhar do usuário.

2. Método, de acordo com a reivindicação 1, caracterizado por o procedimento de filtragem de dados em bruto de acordo com a etapa anterior (c) ser realizado por meio das seguintes etapas: g) pré-filtrar (30) os ditos dados em bruto através da detecção e eliminação de amostras não válidas utilizando critérios estatísticos; h) combinar (31) as coordenadas do olhar do olho direito e do olho esquerdo em um ponto que seja o fixado pelo usuário; i) calcular (32) a média e o desvio padrão com base em um número desejado de amostras, definido de acordo com o número de amostras que foram a priori levados em consideração; j) definir (33) uma ou mais tolerâncias de avaliação; k) selecionar (34) os dados aceitáveis que são discriminados em relação àqueles a serem rejeitados de acordo com o estabelecido nas etapas anteriores (i) e (j).

3. Método, de acordo com a reivindicação 1 ou 2, caracterizado por o processamento dos dados recebidos a partir de dito Módulo de Controle de Sistema Operacional/Aplicativos (11) de acordo com a etapa (d) ser realizado de acordo com a seguinte sequência de etapas: l) analisar, por meio do Módulo de Gerenciamento de Interface (13A) as visualizações de tela do programa de aplicativo ou do sistema operacional que o usuário deseja controlar através do controle ocular e enviar (40) ao Módulo de Mapeamento por Coordenadas (12A) as informações a respeito das visualizações em tela e dos meios de interação presentes no momento na interface do usuário; o dito Módulo de Gerenciamento de Interface (13) compreendendo um conjunto de instruções capazes de analisar as visualizações em tela e detectar as informações a respeito delas e dos meios de interação relativos; o dito Módulo de Mapeamento por Coordenadas (12A) compreendendo um conjunto de instruções capazes de realizar um novo mapeamento das coordenadas relativas às visualizações em tela e aos meios de interação relativos; m) mapear novamente (41) as coordenadas relativas às visualizações de tela e aos relativos meios de interação por meio de dito Módulo de Mapeamento por Coordenadas (12A) por meio de uma comparação com os dados relativos ao olhar do usuário proveniente do rastreador ocular, o dito novo mapeamento permitindo definir as coordenadas vindas do Módulo do Cliente (13) em relação à posição dos meios de interação nas visualizações de tela, se comparado a um outro sistema de coordenadas que tenha uma origem diferente àquela definindo as coordenadas dos olhares provenientes do rastreador ocular; o dito Módulo de Cliente (13) compreendendo um conjunto de instruções capazes de definir a posição e a função dos meios de interação presentes na visualização de tela atual; h) o Módulo de Gerenciamento do Meio de Interação (12B) compreendendo um conjunto de instruções capazes de realizar o controle dos próximos "olhares", a fim de definir quais meios de interação são fixados pelo usuário e para mostrar de forma adequada os ditos meios de interação na interface, conforme definido na reivindicação 1, selecionando novamente (42) os meios de interação presentes nas adjacências dos olhares detectados mostrando-os de forma adequada, possivelmente modificados na interface, através do uso de técnicas heurísticas para decidir a ordem de aparecimento, através da determinação de qual meio de interação será selecionado; em que o dito Módulo de Gerenciamento do Meio de Interação (12B) aguarda então pelos dados relativos aos olhares provenientes do rastreador ocular e pela seleção de um dos meios de interação presentes no painel lateral; o) o Módulo de Definição Ação Nativa (12C), compreendendo um conjunto de instruções capazes de definir a ação nativa associada a cada meio de interação do Sistema Operacional e torná-la disponível para o processamento sucessivo, define (43) a ação nativa do Sistema Operacional associada a cada meio de interação (eventos nominalmente correspondentes à inserção de controles do teclado, clique simples, arrasta e solta) e envia para o Módulo de Gerenciamento de Ação Nativa (13) que compreende um conjunto de instruções capazes de receber as informações relativas à ação nativa associada ao meio de interação selecionado e realizar a sua ação no dito sistema operacional; p) o dito Módulo de Gerenciamento de Ação Nativa (13) recebe as informações relativas à ação nativa associada ao meio de interação selecionado e executa a ação (44) como uma ação no Sistema Operacional.

4. Método, de acordo com a reivindicação 3, caracterizado por o processo de re- mapeamento de coordenadas de acordo com a etapa (m) ser realizado de acordo com a seguinte sequência de etapas: q) o Módulo de Tradução de Coordenadas (14), compreendendo um conjunto de instruções capaz de realizar uma tradução das coordenadas em relação às visualizações de tela e aos meios de interação, realiza (50) uma tradução das coordenadas em relação às informações a respeito das visualizações de tela e dos meios de interação próximos e envia esses dados para o Módulo de Calibração Adaptativa (15); r) o dito Módulo de Calibração Adaptativa (15), compreendendo um conjunto de instruções capaz de realizar um novo reajuste das coordenadas por meio da deformação geométrica do plano obtido através da comparação das informações a respeito dos meios de interação que o usuário pode selecionar e as coordenadas do olhar provenientes do rastreador ocular, reajusta (51) as coordenadas e envia as informações para atualizar o mapeamento no dito Módulo de Tradução de Coordenadas (14).

5. Método, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado por o dito Módulo de Gerenciamento de Interface (13A) realizar a busca dos meios de interação presentes nas visualizações de tela, de uma maneira contínua, por meio da seguinte sequência de etapas: s) o dito Módulo de Gerenciamento de Interface (13) consulta (60) a API (Interface de Programação do Aplicativo) a respeito das funções de acessibilidade para rastrear a posição e as funções dos diferentes meios de interação presentes nas visualizações de tela; t) o dito Módulo de Gerenciamento de Interface (13A) implementa (61) um algoritmo de cruzamento recursivo de um diagrama de janelas presente nas visualizações de tela, tentando extrair a informação adicional, a fim de superar o obstáculo representado pelas possíveis informações insuficientes obtidas por meio da API de acessibilidade; u) o Módulo de Gerenciamento de Interface (13) consulta (62) um banco de dados pré-formado de aplicativos suportados a partir do qual obtém as estratégias para a utilização de diversos aplicativos, o dito banco de dados contendo as informações gerais sobre como os ditos aplicativos e os ditos programas de aplicativos são feitos.