BR112012023787B1 - Sistema para rastrear o ponto de olhar de um observador observando um objeto e método para rastrear o ponto de olhar de um observador observando um objeto - Google Patents

Abstract

sistema para rastrear o ponto de olhar de um observador um objeto e método para rastrear o ponto de olhar de um observador observando um objeto. um sistema para rastrear o ponto de olhar de um observador observando um objeto compreende uma câmera para registrar uma imagem de um olho do observador, compreende meios para prover um marcador luminoso, e meios para analisar a imagem do olho para determinar o reflexo do marcador sobre o olhos e o centro da pupila. as posições relativas do reflexo da córnea do marcador e do centro da pupila são mediadas. o marcador é reposicionado, em dependência das posições relativas determinadas, para melhorar a correspondência entre o reflexo da córnea do marcador e o centro da pupila.

Description

CAMPO DA INVENÇÃO

A invenção está relacionada a um sistema para rastrear o ponto do olhar de um observador observando um objeto, em que o sistema compreende um dispositivo para registrar uma imagem de um olho do observador, compreende meios para prover um marcador luminoso sobre ou associado ao objeto observado, e meios para determinar, a partir da imagem, uma posição de uma reflexão da córnea do marcador e do centro da pupila.

A invenção está ainda relacionada a um método para rastrear o ponto do olhar de um observador observando um objeto, em que o método compreende registrar uma imagem de um olho do observador, prover um marcador luminoso sobre ou associado ao objeto observado, e determinar, a partir da imagem, uma posição de uma reflexão da córnea do marcador e do centro da pupila.

HISTÓRICO DA INVENÇÃO

Um sistema e método do tipo acima é conhecido a partir do pedido de patente americano US 2006/0110008.

Neste documento, um número de marcadores é provido e pelo menos um marcador do qual a reflexão da córnea está dentro de uma distância limiar do centro da pupila é identificado, ou pelo menos dois marcadores possuindo uma reflexão da córnea próxima ao centro da pupila. 0(s) marcador(es) identificado(s) é(são) indicativo(s) do ponto de olhar do observador ao objeto.

Medições contínuas da direção de visualização, ou também chamada de olhar, são geralmente chamadas de "rastreio de olhar" - "gaze-tracking"(frequentemente, o termo mais ambíguo "rastreamento ocular" -"eye-tracking"é utilizado).

Existem diversos métodos para se realizar rastreamento de olhar. Captura de vídeo tem demonstrado ser uma opção viável para rastreamento de olhar remoto e realmente discreto. Entretanto, virtualmente, todos os sistemas de rastreamento de olhar requerem uma calibração específica ao usuário, após a qual é permitido somente pouco movimento de cabeça do usuário. Consequentemente, estes sistemas são confinados ao uso em desktop, e não são adequados para aplicações de consumidor. Em aplicações de consumidor, uma calibração específica ao usuário não é uma opção realista. 0 rastreamento de olhar livre de calibrações é amplamente buscado por diversos centros de pesquisa, geralmente extrapolando a partir de conceitos existentes (mais câmeras, mais processamento) . O observador pode ser um humano, seja adulto ou criança, mas também um animal.

O documento US 2006/0110008 tenta remediar o problema e prover um sistema e método livre de calibrações. Na situação na qual o olho está olhando para uma fonte de luz, seu reflexo na córnea parece coincidir com o centro da pupila. O sistema e método do documento 2006/0110008 provê um número de marcadores sobre o objeto. Na imagem registrada do olho, o marcador que possui um reflexo da córnea dentro de uma distância limiar do centro da pupila, ou um número de marcadores possuindo um reflexo da córnea próxima ao centro da pupila, é identificado. Estes são utilizados para estimar a direção do olhar.

Entretanto, o sistema conhecido possui um número de desvantagens: - cada marcador deve ser rotulado. Esta condição exige que um número de quadros de vídeo seja analisado antes que a identificação de um marcador possa ser feita. Isto introduz latência no rastreamento de olhar. Dada a mobilidade do olho, a latência temporal rapidamente dá origem a artefatos de movimento. - Onde um marcador for utilizado, sempre haverá uma imprecisão equivalente à distância de limiar na precisão da direção do olhar estabelecida.

Onde for utilizado mais de um marcador, é necessário interpolação. Isto exige poder computacional e introduz imprecisões.

SUMÁRIO DA INVENÇÃO

É um objetivo da invenção prover um sistema e método no qual a velocidade e/ou a precisão do rastreamento de olhar são aprimoradas.

Para esta finalidade, o sistema é um sistema compreendendo meios para determinar uma diferença na posição entre o reflexo da córnea do marcador e o centro da pupila para prover um sinal de diferença e meios para alterar a posição do marcador sobre ou associado ao objeto observado dependendo do sinal de diferença a fazer com que o reflexo da córnea do marcador e o centro da pupila substancialmente coincidam, para atualizar a posição do marcador para substancialmente coincidir com o ponto do olhar.

O método é um método em que uma diferença entre o reflexo da córnea do marcador e do centro da pupila é determinada para prover um sinal de diferença e a posição do marcador sobre ou associada ao objeto observado é alterada dependendo do sinal de diferença a fazer com que o reflexo da córnea do marcador e o centro da pupila substancialmente coincidam, para atualizar a posição do marcador para substancialmente coincidir com o ponto do olhar.

No sistema e método da invenção, a latência temporal é reduzida, uma vez que o marcador não é um marcador estático, mas sim é reposicionado a partir do feedback de medições das posições relativas do reflexo da córnea do marcador e do centro da pupila. 0 marcador é reposicionado, isto é, a posição do marcador sobre ou associado ao objeto observado é alterada, para aprimorar a correspondência entre o reflexo da córnea do marcador e o centro da pupila, preferivelmente para fazer com que o reflexo da córnea do marcador e o centro da pupila coincidam ou quase coincidam. Quando o reflexo da córnea e o centro da pupila coincidirem, a direção do olhar poderá ser precisamente determinada, uma vez que a posição do marcador sobre ou associado ao objeto observado, então, indicará a direção do olhar em um alto grau de precisão.

O observador pode ser, e em muitas circunstâncias será um humano, porém, dentro do método e sistema de acordo com a invenção, o observador pode também ser um observador não-humano, por exemplo, animais em estudos de animais de modo a, por exemplo, estudar o olhar de tais animais como cachorros ou primatas.

O sistema e método provê, em relação a métodos anteriores, um número de vantagens:

O sistema e método não exige calibração dependente de usuário, em contraste a diversas soluções atuais. - O sistema e método tem base em uma propriedade óptica do olho que é amplamente independente da posição e orientação da cabeça e virtualmente invariável entre diferentes indivíduos.

O sistema e método permite uma liberdade de movimento de cabeça muito além das dos sistemas de rastreamento de olhar existentes. Este é um passo essencial para permitir o uso do rastreamento de olhar para aplicações de consumidor. - Em relação ao sistema e método do documento US 2006/0110008, não há necessidade de rotular os marcadores ou grupos de marcadores separados com identificadores exclusivos. O sistema conhecido utiliza modulação de luz temporal para codificar os diferentes identificadores, o que introduz uma latência temporal (expressa em um número de quadros) que é proporcional ao comprimento do código. 0 sistema e método da invenção responde muito mais rapidamente, e o sistema de feedbacktem demonstrado convergir mais rápido, frequentemente dentro de um atraso de um único quadro. Comparado com o sistema e método do documento US 2006/011008, a correspondência entre o reflexo da córnea do marcador e o centro da pupila pode ser bastante aprimorada, reduzindo imprecisões. Ao fazer com que o reflexo do marcador e o centro da pupila coincidam, qualquer imprecisão devido ao valor de limiar no documento US 2006/0110008 é reduzida ou minimizada.

O sistema e método, de acordo com a invenção, utiliza meios para alterar a posição do marcador em resposta à diferença nas posições do reflexo da córnea e do centro da pupila na imagem registrada. Apesar do reposicionamento adaptativo do marcador prover um método e sistema que é um pouco mais complexo do que o sistema e método conhecido, o qual utiliza marcadores fixos, as vantagens são significativas.

Em realizações, o sistema compreende um dispositivo de exibição, e a posição do marcador é relacionada ao dispositivo de exibição. Há diversas maneiras de se relacionar a posição do marcador a um dispositivo de exibição (por exemplo, uma TV ou um monitor). Uma maneira é acender um marcador em uma tela de exibição do dispositivo de exibição, sobre uma tela transparente colocada na frente da tela de exibição, ou, em realizações preferidas, os meios para prover um marcador e o dispositivo de exibição são integrados em um único dispositivo.

O próprio dispositivo de exibição, em realizações, compreende meios para prover um marcador em uma imagem sobre uma tela de exibição do dispositivo de exibição.

Isto pode, por exemplo, ser atingido ao ocultar um marcador na imagem visível exibida. O ocultamento, o que significa que o marcador seja indistinguível para um observador, pode ser feito ao prover ao marcador uma assinatura espectral e/ou assinatura temporal e espacial ou temporal e espacial combinada, de maneira que uma câmera sintonizada para tal assinatura seja capaz de detectar o marcador, enquanto o observador não é.

Um marcador não perceptível pode ser provido utilizando um marcador em uma parte do espectro de luz fora da faixa humana. O marcador é, então, invisível ao olho humano. Marcadores infravermelho -IV (IR - "Infrared")- e ultravioleta (UV) são exemplos de tais marcadores.

Mesmo um marcador na faixa visível pode se tornar indetectável para um observador se ele não puder ser visto por um observador. Por exemplo, um marcador pode ser provido ao formar uma sequência de imagens, em que o marcador é ocultado para um olho humano ou animal, porém é distinguível para uma câmera sintonizada para o marcador. Em tal realização, o marcador possui uma assinatura temporal.

Em realizações, o marcador é detectável ao olho humano.

Em realizações, pode ser vantajoso prover um observador humano ou uma terceira pessoa com informações diretamente visíveis sobre a direção do olhar.

Em diversos casos, é preferido, porém, que o marcador seja imperceptível ao observador, para evitar um comportamento oscilatório. Se o marcador for percebido, os olhos do observador podem tentar rastrear o marcador, isto é difícil de evitar, uma vez que um olhar do observador pode ser atraído para o marcador. Uma vez que o marcador móvel está seguindo o movimento do olho, através do feedbackdo sistema, e o olho pode estar, sem o observador perceber, tentando seguir o marcador, um comportamento oscilatório poderia ocorrer. Se necessário, tal comportamento oscilatório, entretanto, pode ser suprimido ao introduzir um acoplamento indireto entre o ponto medido do olhar (POG - "Point of Gaze") e o POG visualmente exibido (tipicamente um cursor de mouse). Tal acoplamento indireto pode ser atingido através de diversos métodos conhecidos no campo de engenharia de controle. Um exemplo de uma solução linear é o uso de um elemento proporcional integral derivativo (PID) no laço de controle. Um exemplo de uma solução não-linear é o uso de uma zona morta, para criar histerese entre o POG medido e exibido.

O dispositivo de exibição e os meios para prover um marcador podem ser integrados em um único dispositivo, conforme afirmado acima. Integrar o dispositivo de exibição e os meios para prover um marcador em um único dispositivo possui a vantagem de que a correlação entre as informações visíveis e o marcador seja precisamente conhecida.

Um exemplo preferido é um sistema compreendendo uma tela de cristal líquido (LCD) a qual possua uma luz de fundo de IV e uma luz de fundo de luz visível. 0 dispositivo de LCD é, então, capaz de prover tanto uma imagem visível quanto um marcador invisível de IV sobre a tela de exibição. Outro exemplo é um sistema compreendendo um dispositivo de exibição multi-primário. Tais dispositivos são também capazes de prover um marcador em uma imagem exibida sobre a tela de exibição.

O dispositivo de exibição é, em realizações, um dispositivo projetor de imagens.

Alternativamente, o dispositivo de exibição e os meios para prover um marcador podem ser separados. Os meios para prover um marcador podem, por exemplo, ser formados por um escudo transparente posicionado na frente de uma tela de imagem do dispositivo de exibição. Dentro do escudo, um marcador é gerado ou, sobre o escudo, um marcador é projetado por meio de um projetor. Em realizações preferidas em que um escudo transparente é utilizado na frente de uma tela de exibição, o escudo transparente é provido de meios para determinar o posicionamento do escudo em relação à tela de exibição do dispositivo de exibição.

O marcador pode também ser projetado diretamente sobre uma tela de exibição. O uso de dispositivos separados possui a vantagem de que um dispositivo de exibição padrão pode ser utilizado dentro do sistema sem muitos ajustes adicionais.

Em outras realizações, o sistema compreende meios para prover o marcador e estabelecer a posição do marcador, e reposicionar o marcador diretamente sobre um cenário ou dentro ou sobre uma placa transparente na frente de um cenário. Em tais realizações, o sistema não compreende um dispositivo de exibição. Tal sistema é, por exemplo, útil para monitorar a atenção focal de uma pessoa conduzindo um carro ou um caminhão. Por exemplo, em uma realização preferida, a placa transparente é um para-brisa de um veículo, e sobre o interior do para-brisa, um marcador de IV invisível é gerado, mantendo, assim, uma visão desobstruída em direção à estrada à frente. O olhar do motorista é rastreado e, se o rastreamento mostrar que o motorista está em perigo de adormecer ou perder a atenção, um sinal de atenção é dado para alertar o motorista.

A projeção de um marcador sobre um cenário pode, por exemplo, ser vantajosamente utilizada para rastrear o olhar de um observador através de uma vitrine sobre mercadorias exibidas.

Em realizações, o sistema compreende meios para prover mais de um marcador e meios para identificar os marcadores e acoplar os marcadores a um ou mais olhos de observadores. A vantagem desta realização do sistema é que a latência somente aumenta conforme o número de observadores rastreados aumentar.

BREVE DESCRIÇÃO DOS DESENHOS

Estes e outros objetos e aspectos vantajosos se tornarão mais aparentes a partir de realizações exemplares que serão descritas utilizando as seguintes Figuras.

A Figura 1 ilustra o efeito do reflexo da luz especular;

A Figura 2 ilustra o reflexo estacionário de uma fonte de luz fixa ao mover o olho.

A Figura 3 ilustra uma configuração de rastreamento de olhar básica

A Figura 4 ilustra um quadro de vídeo típico de um sistema de rastreamento de olhar atual

A Figura 5 ilustra a coincidência do reflexo do marcador e o centro da pupila quando o observador está olhando para o marcador.

A Figura 6 ilustra a diferença entre o método do documento US 2006/011008 e o método da invenção.

A Figura 7 ilustra um sistema da invenção

A Figura 8 ilustra o princípio básico do movimento do marcador a partir de feedback.

A Figura 9 ilustra um método para encontrar o centro da pupila.

A Figura 10 ilustra um exemplo de um sistema de acordo com a invenção.

A Figura 11 ilustra a potência relativa da transmissão T de um material de cristal líquido geralmente utilizado na região de luz visível 101 e a região de luz infravermelho próxima 102 em função do comprimento de onda.

A Figura 12 ilustra uma realização adicional baseada no uso de uma placa difusora guia de luz, posicionada na frente de uma tela e iluminada por iluminação IV segmentada periférica.

A Figura 13 ilustra um sistema compreendendo uma tela IVedge.

A Figura 14 mostra como um marcador de padrão, no exemplo uma cruz, é visível como um reflexo no olho.

A Figura 15 ilustra um padrão de luz IV pseudoaleatório como um marcador

A Figura 16 ilustra o uso de dois alvos de IV separadamente adquiridos e sua aparência sobre a córnea como uma maneira de estimar duas constantes de proporcionalidade, que serve como uma aproximação de primeira ordem (linear) da relação real.

A Figura 17 ilustra um método e sistema de multi- observador.

A Figura 18 ilustra uma realização na qual o projetor projeta um alvo de IV sobre um cenário.

A Figura 19 ilustra esquematicamente o uso de uma placa de OLED transparente 191 na frente de uma tela 192.

As figuras não são desenhadas em escala. Em geral, componentes idênticos são denominados pelos mesmos numerais de referência nas figuras.

DESCRIÇÃO DETALHADA DAS REALIZAÇÕES PREFERIDAS

A Figura 1 ilustra o efeito do reflexo da luz especular. As pálpebras 1 cercam o olho 2. A íris 4 compreende uma pupila 3. O reflexo da córnea de uma fonte de luz é esquematicamente indicado por 5.

A Figura 2 ilustra que o reflexo da córnea, ou 'cintilação', está resultando de uma fonte de luz fixa, possuí a tendência de grosseiramente manter uma posição fixa conforme o olho rotaciona, alterando a direção do olhar. O reflexo da fonte de luz fixa tende a manter uma posição fixa quando o olho rotaciona para alterar a direção do olhar. O marcador 'x' indica o centro de deslocamento da pupila conforme a pessoa altera a direção do olhar...

Esta posição de cintilação 'invariante na rotação' relativa estável forma a base de virtualmente todos os sistemas de rastreamento de olhar comercialmente disponíveis que utilizam vídeo e, por exemplo, uma fonte de luz IV. 0 diagrama na Figura 3 mostra como a projeção da cintilação e do centro da pupila pode ser encontrada através da construção dos raios de luz associados. Cam indica a câmera, 1 a fonte de luz, c os centros da córnea, p o centro da pupila, r a refração do centro da pupila, q o reflexo da fonte de luz, F a distância focal da câmera, v a imagem do centro da pupila na câmera, u a imagem do reflexo da córnea da fonte de luz 1 na câmera CAM.

A direção de olhar estimada, aqui representada pelo eixo óptico o, é baseada na verificação do centro da pupila capturado contra uma ou múltiplas posições de cintilação. Uma vez que a pupila é essencialmente um disco circular uniforme, um pouco de processamento de imagem é exigido para obter o centro da pupila da projeção, geralmente elíptica, do disco da pupila. Note que ocorre refração na interface entre o ar e o domínio aquoso no olho. Na Figura 4, é mostrado um quadro de vídeo de um olho observado com uma câmera normal. As quatro cintilações A, B, C e D sobre a pupila P são reflexos de quatro LEDs IV A' , B' , Cz e D' sobre o canto de uma tela. A direção de olhar estimada g sobre o monitor M é indicada na Figura 4.

A precisão com a qual a direção do olhar g pode ser obtida com esta abordagem é relativamente alta. Entretanto, o método possui grandes desvantagens: - É necessário calibração para traduzir a posição do centro da pupila, relativa a cada posição de cintilação, para uma direção de olhar ou um ponto-de-olhar sobre uma tela de exibição. - Conforme a relação entre o ponto-de-olhar e esta posição de pupila relativa assume fontes de luz estacionárias, o rastreador se torna muito sensível a alterações na posição da cabeça. - É necessário calibração para cada novo indivíduo lidar com pequenas diferenças na fisiologia (curvatura de superfície da córnea, posicionamento da pupila ao longo do eixo óptico).

A relação entre a projeção do centro da pupila e o reflexo da luz possui uma propriedade notável. Na situação na qual o olho está olhando para uma fonte de luz, seu reflexo na córnea parece coincidir com o centro da pupila. Esta situação é esboçada na Figura 5. Note que esta 'coincidência' literal de cintilação e centro de pupila não é uma situação trivial. Ocorre que o valor do índice de refração do olho e o posicionamento da pupila atrás da superfície da córnea causam este fenômeno óptico favorável.

Até certo ponto, isto é utilizado no sistema e método do documento US 2006/0110008. O sistema conhecido utiliza um número relativamente grande de marcadores para encontrar um marcador que esteja dentro de uma distância de limiar do centro da pupila.

O sistema e método conhecido, entretanto, possui um número de desvantagens:

O sistema conhecido utiliza modulação de luz temporal para codificar os diferentes identificadores, o que introduz uma latência (expressa em um número de quadros) que é proporcional ao comprimento do código.

A precisão é determinada pela distância limiar. Deve-se tornar a distância limiar pequena para alta precisão, o que exige um número alto de marcadores e, assim, uma alta latência temporal, ou se aceita uma distância limiar relativamente grande, para reduzir a latência temporal, porém, a precisão da determinação da direção do olhar é comprometida.

A Figura 6 ilustra a diferença entre o sistema e método do documento US 2006/0110008 e o sistema e método da invenção, em que o esquema do lado esquerdo ilustra o sistema e método conhecido, e o esquema do lado direito o sistema e método de acordo com a invenção.

No sistema e método conhecido, os marcadores formam um padrão fixo cobrindo o campo do olhar. No sistema conhecido, esquematicamente ilustrado no lado esquerdo da Figura 6, é utilizada modulação temporal para rotular cada marcador de IV ou grupo de marcador utilizando modulação temporal, por exemplo, utilizando codificação binária temporal. Isto significa que, para codificar em binário n marcadores ou grupos de marcadores de IV diferentes, um comprimento de código de pelo menos m=log2(n) bits é necessário. Consequentemente, m quadros de vídeo são necessários para identificar todos os marcadores ou grupos de marcadores de IV codificados.

Há diversas desvantagens: - O rastreamento do olhar sobre, por exemplo, 16 x 16 marcadores de IV exclusivamente rotulados requer a identificação de 256 diferentes rótulos codificados, de maneira que uma latência de 8 quadros já seja exigida para uma estimativa de olhar relativamente grosseira. Quanto mais fina a estimativa do olhar, mais marcadores devem ser utilizados, e maior a latência temporal se torna. - Dada à mobilidade do olho, a latência temporal rapidamente dá origem a artefatos de movimento. - Na aplicação para controle de cursor guiado pelo olho, a resposta do rastreador de olhar deve ser instantânea, com latência mínima.

O sistema e método da invenção, esquematicamente mostrado no lado direito da Figura 6, difere do sistema e método conhecido em que a posição da(s) fonte(s) de luz não é fixa, e sim dinamicamente ajustável. Para estabelecer 'coincidência de cintilação-pupila', um marcador móvel é utilizado, de maneira que o reflexo do marcador dinamicamente móvel é mantido no centro da pupila através de um mecanismo de controle. As posições relativas do centro da pupila e dos reflexos do marcador são detectadas. A partir das posições relativas do centro da pupila e do reflexo da córnea do marcador, uma nova posição do marcador é computada. A nova posição é computada para fazer com que o reflexo da córnea do marcador coincida com o centro da pupila. Isto é esquematicamente indicado na Figura 6 por um sinal de reposicionamento S. Utilizando o sinal de reposicionamento S, o marcador é reposicionado. Ê notado que o 'sinal de reposicionamento'pode ser quaisquer dados em qualquer forma, através dos quais o marcador possa ser reposicionado. O resultado do reposicionamento é que a direção do olhar está sempre ao longo da linha, ou pelo menos muito próxima a uma posição momentânea do marcador. Devido ao fato de que a posição do marcador é continuamente movida para fazer com que seu reflexo coincida com o centro da pupila, a posição física do marcador é atualizada para coincidir com o ponto-de-olhar. Quando o laço de feedbacké devidamente fechado, o sistema continuamente provê as coordenadas do ponto-de-olhar, as quais são idênticas, ou pelo menos muito próximas às coordenadas do marcador. - Figura 7 ilustra um sistema de acordo com o método. O sistema compreende uma câmera 71 (ou de maneira mais geral: um meio para se obter uma imagem) . A câmera em operação registra uma imagem de um olho 72 de um observador. 0 sistema compreende meios 73 para prover um marcador luminoso móvel 74 no campo de visão do observador. Esta fonte de luz funciona como um marcador. A posição do marcador dentro do campo de visão do observador pode ser dinamicamente adaptada. Para esta finalidade, o sistema compreende meios para adaptar (75) a posição do marcador. Dentro do conceito da invenção, uma fonte de luz é qualquer meio que produz raios de luz que possam ser refletidos pelo olho. Os dados de imagem são analisados em um analisador de imagem (76) . 0 analisador de imagem estabelece a diferença u-v do reflexo da córnea da fonte de luz (u) e o centro da pupila (v) , isto é, os dados sobre as posições relativas do centro da pupila e o reflexo da córnea do marcador. O analisador calcula diretamente os dados para reposicionar o marcador, ou o analisador provê dados para a posição relativa do reflexo do marcador e do centro da pupila e um analisador adicional provê, com base nos dados sobre as posições relativas, dados para reposicionar o marcador. Estes dados (ou dados derivados a partir destes dados) podem estar na forma de um sinal de reposicionamento, isto é, um sinal que é, mais abaixo na cadeia do sistema, utilizado para reposicionar o marcador. O sinal é enviado para os meios (75) para adaptar o posicionamento do marcador (74) para reduzir a distância entre o reflexo da córnea e o centro da pupila. Os meios de análise e os meios para adaptar podem ser combinados em uma unidade de controle C. 0 deslocamento Δ, isto é, o reposicionamento, que o marcador 74 faz é uma função da diferença u-v na imagem registrada. A imagem produzida após o reposicionamento do marcador é novamente analisada e o processo de adaptar a posição do marcador é repetido, se necessário, até que o reflexo da córnea do marcador coincida, com precisão considerável, com o centro da pupila. Neste exemplo, um único marcador 74 é mostrado; dentro do conceito da invenção mais de um marcador móvel podem ser utilizados para rastrear simultaneamente o olhar de diversos observadores. 0 reflexo da córnea é o reflexo na superfície externa da lente do observador. No caso do observador utilizar uma lente de contato, é considerado que a superfície externa da lente de contato forma a superfície externa da lente do observador.

A invenção é baseada na compreensão de que é vantajoso estabelecer uma conexão entre a posição do marcador e o ponto-de-olhar por meio de um sistema de controle de feedback.Um sistema de controle ajusta a posição do marcador até que seu reflexo na córnea coincida ou praticamente coincida com o centro da pupila. A diferença entre a posição do reflexo da córnea e o centro da pupila forma, ou é pelo menos a base de um sinal de feedbackque é utilizado para reposicionar o marcador.

Foi descoberto que a latência temporal de um sistema de acordo com a invenção é muito menor que a do sistema conhecido. Além disso, é mais preciso, uma vez que não há valor de limiar fixo. Em vez de posições de marcador fixas, a posição do marcador é ajustada em dependência de um sinal de feedbackderivado a partir de uma medição das posições relativas do reflexo da córnea do marcador e o centro da pupila.

No sistema e método da invenção, a latência é reduzida, uma vez que o marcador é permitido a se mover para coincidir com o centro da pupila. O princípio básico do movimento do marcador a partir do feedbacké ilustrado na Figura 8. Esta figura mostra o olho e uma 'tela'de IV durante uma sequência de eventos. Note que o padrão da tela é espelhado em relação ao padrão refletido. 0 centro da pupila é dado por um "x", o reflexo da córnea do marcador por um w I n

A Parte A ilustra um marcador de IV em uma posição inicial; a pupila também inicia em uma posição inicial.

Na parte B, o marcador de IV é movido até que seu reflexo da córnea coincida com o centro da pupila (a partir do '+' pontilhado ao '+' sólido).

Na parte C, o observador altera a direção do olhar, e a pupila adota uma nova posição (a partir do 'x' pontilhado até o 'x' sólido).

Na parte D, o marcador de IV é novamente movido para manter seu reflexo da córnea correspondendo ao centro da pupila, novamente diretamente indicando a direção do olhar.

A invenção pode ser utilizada em uma ampla variedade de realizações. Abaixo, alguns exemplos não- restritivos são dados.

Em diversos dos exemplos, o marcador, por causa da simplicidade, será descrito como um marcador infravermelho (IV) . Apesar do uso de marcadores de IV formar realizações preferidas, é explicitamente afirmado que outros tipos de marcadores luminosos, tais como marcadores de UV, ou marcadores na região de luz visível, podem ser utilizados.

O sistema possui um sistema de controle que contém: - uma operação de comparação de posição (na Figura 7 mostrada como meios de análise) que compara a posição do reflexo da luz da córnea do marcador, por exemplo, um marcador de IV, com a posição aparente do centro da pupila; - uma operação de cálculo de posição que calcula uma nova posição do marcador de IV, ou a diferença entre a posição presente e a posição ideal com o objetivo de que a posição nova ou ajustada faça com que o reflexo do marcador de IV e a posição do centro da pupila aparente coincidam seguida de; - uma adaptação da posição do marcador de acordo com a nova posição calculada;

Dados para adaptar a posição são também chamados de "sinal de reposicionamento".

Ê notado que, dentro do método e sistema, um laço de feedbacké utilizado, então um cálculo de posição inicialmente menos que ideal terá o efeito de que o reflexo do marcador, após ser reposicionado, se tornará mais próximo do centro da pupila, mas não da maneira mais eficaz. Uma etapa de cálculo seguinte será então seguida para melhorar a coincidência. Em realizações preferidas, os parâmetros da operação de cálculo de posição são ajustáveis para realizar o ajuste fino do cálculo, para aprimorar a precisão, de maneira que o menor número de etapas iterativas possível seja necessário. Isto aprimorará a velocidade dos cálculos, e, assim, reduzir a latência do laço de feedback.Cálculos podem ser realizados passo a passo ou em operação única.

A Figura 9 ilustra um método para encontrar o centro da pupila. A segmentação da pupila pode ser auxiliada pelo uso de fontes de luz próximas à câmera, posicionadas o mais próximo possível ao eixo óptico da câmera. Apesar desta solução não ser nova e amplamente aplicada no rastreamento de olhar convencional, ela pode ser também utilizada no novo sistema proposto.

Quando esta 'iluminação coaxial' estiver ativa, um efeito de 'olhos vermelhos'de IV é criado, o que faz com que a retina se acenda na pupila, conforme mostrado na Figura 9. 0 disco da pupila segue a partir da diferença entre duas imagens, uma com e uma sem iluminação coaxial. A Figura 9 mostra esquematicamente uma imagem de olho capturada com perfil de intensidade de uma única linha de visão com a) iluminação a partir de fontes não-coaxiais; b) iluminação a partir de fonte coaxial; c) imagem diferencial, b menos a. A estimativa do centro da pupila pode ser realizada através de uma ampla variedade de algoritmos, o mais barato dos quais é o cálculo do centro de massa da projeção do disco da pupila.

A invenção pode ser realizada em diversas maneiras em diversos sistemas.

O sistema pode compreender um dispositivo de exibição e meios para prover um marcador sobre a tela. Os meios para prover um marcador sobre a tela podem ser integrados no dispositivo de exibição. Os meios para prover um marcador podem também ser separados do dispositivo de exibição. Um exemplo de um dispositivo integrado é um no qual o dispositivo de exibição provê ambos a imagem e o marcador. Um exemplo de meios para prover marcador separadamente é um dispositivo o qual projeta um marcador sobre uma tela de exibição ou um dispositivo que compreende um escudo transparente separado posicionado na frente de uma tela de exibição, no qual um marcador de IV possa ser gerado.

A Figura 10 ilustra um exemplo de um sistema de acordo com a invenção. Uma primeira realização é baseada no uso de uma tela de LCD 102 que possui uma luz de fundo IV (IV) além da luz de fundo visível normal (RGB - normal visible backlight) conforme ilustrado na Figura 10. A implementação e o controle do sistema, utilizando a unidade de controle C é, em princípio, similar àquela de sistemas de LCD de rastreamento-luz de fundo e particularmente de sistemas de LCD de cor sequencial. A câmera de vídeo (cam) é sincronizada com o sistema de iluminação de fundo. A sincronização faz com que a luz de fundo alterne entre IV e luz visível. Durante a fase de luz visível, a imagem normal é mostrada. Durante a fase de IV, o painel LCD 102 exibe um padrão que serve como o marcador de IV móvel 103; durante esta fase, a câmera (CAM) captura uma imagem do olho 101 com o marcador refletido. O centro da pupila pode ser obtido utilizando o método discutido anteriormente, por exemplo, durante a fase de luz visível. Experimentos demonstraram que o material do cristal líquido é capaz de modular a luz do infravermelho próximo da mesma maneira que modula a luz visível. A Figura 11 ilustra a potência relativa da transmissão T de um material de cristal líquido geralmente utilizado na região de luz visível 111 e na região de luz infravermelho próxima 112 em função do comprimento de onda. A curva de transmissão T para o material de cristal líquido no estado aberto se dá de maneira que a luz visível, assim como a luz do IV próximo, seja transmitida. No estado fechado, conforme ilustrado pela curva C, a luz visível, assim como a luz IV, não é transmitida. A Figura 11 mostra que uma tela de cristal líquido é capaz de modular a luz IV e, assim, criar um marcador de IV móvel. A fonte de luz de IV pode também ser acesa continuamente, uma vez que o olho humano não enxerga muito da luz do infravermelho próximo de qualquer modo. A sincronização é, entretanto, preferida, uma vez que esta provê uma possibilidade de se distinguir mais facilmente a luz IV da fonte do marcador IV de outros reflexos de luz IV espúrios.

A câmera CAM registra a imagem, o sistema de controle C (ou uma calculadora dentro da câmera cam) calcula a diferença entre o reflexo da córnea do marcador de IV e o centro da pupila, é calculado para qual posição na tela de LCD o marcador deve se mover para coincidir com o centro da pupila, o marcador de IV é reposicionado, e o processo é repetido, se necessário. Neste exemplo, os meios para prover um marcador são, a um elevado grau, integrados no dispositivo de exibição.

Uma segunda realização de sobreposição de marcador IV é utilizar luz de fundo de IV segmentada espacialmente além da luz de fundo visível. Ao escolher o comprimento de onda de luz IV suficientemente longe da faixa visível, foi descoberto que o material do cristal líquido se torna transparente à luz IV, independente do estado aberto ou fechado dos pixels. A vantagem é que a luz de fundo visível pode se manter ativa, e o painel de cristal líquido pode ser utilizado exclusivamente para a imagem visível normal. Agora, a resolução do marcador de IV é aquela da luz de fundo de IV segmentada. A luz de fundo de IV segmentada é controlada para controlar a posição do marcador de IV. Neste exemplo, os meios para prover um marcador são também integrados nos meios de exibição, porém em um grau menor do que no primeiro exemplo. Alternativamente, os meios para prover um marcador podem ser formados por um projetor, o qual projeta um feixe de IV, através de um sistema de espelhos móveis no dispositivo de exibição de cristal líquido. Neste exemplo, os meios para prover um marcador são muito mais separados do dispositivo de exibição.

Dar ainda mais um passo à frente seria prover uma placa transparente sobre a qual é provido um marcador de IV móvel. Isto pode ser realizado, por exemplo, ao projetar um marcador sobre uma tela transparente. A imagem para o observador é, então, o campo de visão através da placa transparente.

Partindo da tela de LCD, um marcador pode também ser provido da seguinte maneira:

Uma imagem é exibida de acordo com as informações de imagem providas à tela. Na posição do marcador, a intensidade (ou, por exemplo, a intensidade de uma das cores) é reduzida por uma quantidade pequena. No próximo quadro, a intensidade na posição do marcador é aumentada pela mesma quantidade. Se esta soma ou subtração de intensidade for realizada em uma frequência alta o suficiente, o olho humano não pode perceber nenhuma tremulação devido às alterações em intensidade. Entretanto, uma câmera sincronizada para a frequência do marcador pode, ao subtrair duas imagens sequenciais, encontrar a posição do marcador. A vantagem desta realização é que ela pode ser utilizada em e para qualquer dispositivo de exibição existente, dado que o dispositivo de exibição possua uma frequência de imagem alta o suficiente. A maioria dos dispositivos modernos são capazes de realizar tal feito. Não é necessário prover uma fonte de IV para prover um marcador de IV. Nesta realização, o marcador é ocultado no sinal visível, indistinguível a um observador, porém distinguível para uma câmera sintonizada para a assinatura temporal do marcador. A desvantagem é que, nas partes da tela que forem quase pretas, poderia ser difícil adicionar e subtrair intensidade. Entretanto, de qualquer maneira, o olho humano tende a olhar para as partes da tela com a maior intensidade ou pelo menos com intensidade alta. O fato de que pelo menos dois quadros são necessários para encontrar o marcador é uma desvantagem, porém telas estão sendo providas com frequências de imagem cada vez maiores. Alternativamente, o marcador pode ser provido de uma assinatura espacial que não é perceptível a um observador, porém é a uma câmera sintonizada à assinatura espacial.

Um método alternativo para prover marcadores ocultos utilizando dispositivos de exibição conhecidos é possível se o dispositivo for capaz de fazer a mesma cor de duas maneiras diferentes. Dispositivos chamados RGB-W são conhecidos. Tais dispositivos de exibição compreendem pixels vermelhos, verdes e azuis, bem como pixels brancos. Isto permite que áreas brancas na imagem (ou na verdade dentro de uma ampla faixa de cores) sejam feitas de duas maneiras diferentes. 0 exemplo mais simples é um dispositivo no qual uma área branca pode ser feita através de uma combinação de pixels vermelhos, verdes e azuis, bem como por pixels brancos. Ao olho humano, a diferença entre áreas "RGB"- brancas e "brancas"-brancas é invisível. Entretanto, nas regiões de IV e/ou UV, ou em uma região do espectro de luz visível em particular, a diferença é detectável. A tela não é alterada e as informações exibidas também não são alteradas. Entretanto, ao utilizar a possibilidade de que a luz branca pode ser feita de duas maneiras diferentes, é possível prover na imagem um marcador que seja visível a uma câmera, por exemplo, uma câmera IV ou UV, ou uma câmera de luz visível com um filtro de cores em frente à mesma, porém invisível ao observador. 0 marcador é, então distinguível pela assinatura espectral, assinatura significando característica distinta. Esta realização pode, por exemplo, ser vantajosamente utilizada para rastrear o olhar de um observador humano lendo um texto. Textos são compostos de letras pretas relativamente pequenas sobre um plano de fundo branco. Além disso, pode-se rastrear o olho humano seguindo uma figura animada sobre um plano de fundo branco. 0 mesmo tipo de método pode ser utilizado para qualquer dispositivo que seja capaz de prover uma cor de duas maneiras diferentes. Exemplos incluem, por exemplo, as chamadas telas de espectro sequencial, também denominadas telas de cor espaço-temporal híbrida. Estas telas combinam as telas LCDs convencionais e as telas de LCD de cor sequencial. Tal tela convencionalmente possui elementos endereçáveis com dois filtros de cor (banda larga) (por exemplo, magenta e ciano) e dois tipos de campos de cor de luz de fundo (por exemplo, ciano e amarelo) , apesar de que outras combinações de campos de cores e filtros de cores possam ser utilizadas como, por exemplo: (1) filtros de cores magenta e ciano com campos de cores amarelo e azul, e (2) filtros de cores magenta e verde com campos de cores amarelo e ciano.

Uma realização adicional é baseada no uso de uma placa difusora guia de luz, a qual é posicionada na frente de uma tela e iluminada por iluminação IV segmentada periférica. Esta realização é ilustrada na Figura 12. Uma placa difusora guia de luz 122 é utilizada, a qual é posicionada na frente da tela 121 e iluminada pelos dispositivos de iluminação IV segmentada periférica 123. 0 guia de luz difusor transparente 122 atua como um meio para criar um marcador de IV invisível sem obstruir a visão livre para a imagem, tela ou cenário atrás do mesmo. Ao utilizar um marcador que cobre pelo menos dois dispositivos de iluminação de IV periférica 123, e ao variar gradualmente a intensidade mútua conforme o marcador de IV se desloca em posição, o centro do marcador pode ser obtido em uma resolução que é menor que a distância entre os dispositivos 123. Assim, o número de dispositivos 123 pode ser relativamente pequeno, enquanto é provida uma alta resolução.

Uma variação desta realização é baseada no uso de uma tela Wedge.Uma tela Wedge compreende essencialmente um guia de luz que transfere um campo de luz focalizada de um projetor a uma tela de projeção a partir de reflexos internos consecutivos, de maneira que a integridade geométrica dos raios de luz seja preservada. A Figura 13 ilustra tal dispositivo.

A Figura 13 mostra que o guia de luz pode ser transparente, uma vez que a luz projetada é confinada pelo reflexo interno. 0 campo de luz finalmente escapa do guia enquanto os raios cruzam a interface do material em um ângulo menor que o crítico. Na ausência de um difusor frontal e uma capa traseira, esta tecnologia é adequada para criar uma tela translúcida que permite uma visão livre sobre a tela ou no cenário por detrás.

Em uma realização adicional, a iluminação IV é atingida pela conversão de luz UV e/ou visível em luz infravermelha utilizando fluorescência. O objetivo é obter uma maneira eficiente de se gerar luz IV, em situações (tipicamente externas) onde a luz IV ambiente deteriora a legibilidade do(s) marcador(es) IV do sistema da câmera. Na luz do dia cada vez mais forte, a luz emitida pelo marcador de IV aumenta em intensidade. A fonte de luz IV fluorescente pode ser considerada como uma luz de fundo contínua, de maneira que obturadores locais ou globais possam ser utilizados para modular sua intensidade. Uma faixa de pigmentos fluorescentes é conhecida, a qual pode proporcionar a uma ampla variedade de plásticos (transparentes) uma propriedade fluorescente. Nesta faixa de produtos, também há pigmentos disponíveis que convertem qualquer luz visível em luz IV. O pigmento é, por exemplo, utilizado em aplicações industriais tais como soldagem a laser de plásticos transparentes. A aplicação de tais pigmentos como um iluminador IV passivo no contexto de rastreamento de olhar não é conhecida.

Em uma realização adicional, o marcador IV é projetado por um projetor (essencialmente um projetor) o qual somente emite luz IV invisível ao usuário. 0 marcador IV é uma imagem focalizada que é projetado sobre uma tela visual normal, ou sobre uma tela transparente suficientemente difusora, permitindo uma visão transparente do cenário por detrás, ou do próprio cenário.

Em uma realização adicional, a imagem do marcador IV e uma imagem visual normal são geradas por duas telas separadas, a partir das quais as imagens são sobrepostas utilizando um espelho semitransparente, utilizando o teleprompter clássico ou configuração de autocue.

A Figura 12 ilustra que o marcador não precisa ser um ponto. Um marcador é qualquer ponto, área ou padrão que possa ser distinguido como notável. Pode ser um ponto, um círculo, uma cruz ou outro padrão.

Diversas maneiras de se fazer um marcador são descritas acima e abaixo. Onde um "marcador IV" for mencionado abaixo, deve ser reconhecido que um marcador também pode estar na faixa visível, ou na faixa UV. "Marcador IV" é utilizado abaixo devido ao fato de que para diversas realizações, o uso de um marcador IV é preferido. Entretanto, este não forma uma restrição para a invenção em um sentido mais amplo.

O formato do marcador IV é preferivelmente de maneira que seu reflexo no olho seja prontamente capturado por uma câmera e prontamente detectado por algoritmos de visão de máquina para o objetivo de rastreamento de posição. No entanto, o formato de um marcador IV pode ser limitado pela maneira na qual o marcador é gerado e sobreposto sobre a imagem visível.

Uma realização de um sistema de rastreamento de olhar com base em feedbackteria base em um marcador em formato de ponto, a partir do qual o reflexo se torna uma cintilação em formato de ponto sobre a córnea. Apesar da maioria dos sistemas de rastreamento de olhar atuais confiar em fontes de IV em formato de ponto, a precisão da estimativa de posição a partir de seu reflexo é rapidamente governada pela resolução do sensor.

O marcador é preferivelmente compreendido por uma forma conectada, isto é, um padrão.

Uma realização de uma forma conectada já é mostrada na Figura 12.

Uma realização de forma conectada é, no exemplo da Figura 12, baseada no uso de um padrão em formato de cruz ('+') consistindo em duas linhas de intersecção que abrangem toda a largura e altura da tela-alvo. Neste caso, o ponto de olhar é associado ao ponto de intersecção de duas linhas. Uma vantagem do padrão em cruz é que ele pode ser gerado utilizando iluminação periférica, conforme proposto na realização da Figura 12 acima. Na Figura 14, é mostrado como uma cruz é claramente visível como um reflexo no olho. A conectividade do padrão permite a recuperação sub-pixel das coordenadas de intersecção...

Uma realização adicional é baseada no uso de um padrão de luz IV pseudoaleatório que potencialmente provê detecção mais robusta com um sistema de câmera, uma vez que padrões mais simples podem dar origem a detecções de padrão falsas.

A Figura 15 mostra tal exemplo. 0 padrão parece aleatório, porém é pseudoaleatório. A câmera pode reconhecer o padrão e pode encontrar um ponto dentro do padrão, por exemplo, o centro de gravidade. Este centro de gravidade, então, provê a posição do 'marcador'. Um padrão complicado pode evitar problemas com falso reconhecimento de padrões. Um falso reconhecimento de padrão pode, por exemplo, estar presente quando a câmera e/ou o algoritmo reconhecedor de marcador originalmente reconhece outra fonte de IV (por exemplo, o reflexo de uma lâmpada) como o marcador IV. Tal falso reconhecimento pode ser corrigido ao checar o resultado da alteração na posição do marcador IV, uma vez que o verdadeiro marcador IV se moverá, enquanto que o marcador IV 'falso' não se moverá, porém, em circunstâncias, isto pode reduzir a precisão ou o tempo de reação do sistema.

Uma realização adicional utiliza deslocamento espacial do alvo IV para resolver a relação entre a posição do alvo IV no mundo real e a posição refletida na córnea. Uma vez que propomos um mecanismo de feedbackpara controlar a posição do alvo IV para finalmente corresponder ao ponto-de- olhar, na ausência de um modelo, o ponto-de-olhar é tipicamente encontrado em etapas iterativas consecutivas. Cada etapa de iteração requer um novo quadro de vídeo, mostrando o reflexo de uma nova posição do alvo IV. O seguinte método é destinado a minimizar o número de iterações e, portanto, a latência na resposta. A relação entre as coordenadas e a posição refletida sobre a córnea não é uma transformação linear (afim ou perspectiva), devido à curvatura da córnea.

A Figura 16 abaixo ilustra o uso de dois alvos de IV separadamente adquiridos e sua aparência como reflexos sobre a córnea como uma maneira de estimar duas constantes de proporcionalidade, que servem como uma aproximação de primeira ordem (linear) da relação real.

As duas constantes de proporcionalidade podem ser definidas como

Experimentos demonstraram que uma estimativa de Cx e Cy a partir de duas medições consecutivas é suficiente para corresponder exatamente ao ponto-de-olhar na próxima iteração. Ao manter um histórico de diferenças anteriores e valores anteriores de Cx e Cy, a resposta a movimentos sacádicos grandes tem demonstrado ser quase instantânea. Na ausência de um modelo mais preciso, cada etapa consecutiva pode ser baseada em uma faixa de modelos existentes, tais como bisseção.

Em uma realização adicional e refinada, o método acima inclui uma instalação de armazenamento de coordenadas para manter o histórico de posições-alvo reais e refletidas, bem como um modelo da posição-alvo real e a sua posição refletida. 0 modelo permite lidar com a relação não-linear entre as coordenadas reais e refletidas, e provê uma previsão mais precisa da próxima melhor posição do marcador de IV a ser utilizada no laço de feedback.

A invenção pode ser incorporada de diversas maneiras diferentes. Nas realizações acima, é feito uso de um marcador. Em realizações, a detecção de múltiplos pares de olhos indica que múltiplos observadores são detectados; uma situação típica a exibições públicas e vitrines. Após a detecção de cada observador adicional, o sistema adiciona um marcador adicional e atualiza a sincronização com a câmera, de maneira que a detecção e o rastreamento sejam distribuídos ao longo do tempo para mais observadores. Este sistema é ilustrado na Figura 17. O sistema da Figura 17 também permite rastrear o olhar de múltiplos (N) observadores ao realizar a apresentação do alvo de IV, captura de imagem e estimativa de olhar em uma maneira sequencial no tempo. Note que as setas indicam a ordem ao longo do tempo, e não o fluxo da informação. É notado que apesar de diferentes marcadores serem utilizados, há uma diferença fundamental com o sistema conhecido. Os marcadores são móveis e cada marcador possui seu próprio feedback e visor associado. A vantagem deste sistema é que a latência somente aumenta conforme o número de observadores simultaneamente rastreados aumentar.

O método e sistema de acordo com a invenção pode ser utilizado para uma ampla variedade de aplicações, dentre as quais:

O rastreamento de olhar livre de calibração abre uma ampla variedade de aplicações; muito além dos campos tradicionais, nos quais sistemas de rastreamento de olhar atuais são aplicados. A ausência de calibração significa liberdade de movimento de cabeça em relação ao dispositivo de rastreamento. A ausência de calibração também significa operação 'instantaneamente ligada' para o processo de rastreamento de olhar.

No campo de produtos de consumidor, o rastreamento de olhar livre de calibração pode possuir uma variedade de aplicações:

Controle (tipicamente um cursor de mouse em combinação com um botão de confirmação tangível:

Contanto que o rastreador de olhar proveja precisão suficiente, diversos estudos têm demonstrado que o controle por olhar é mais eficiente para tarefas de apontar e clicar do que um mouse de computador convencional. A velocidade de reação e precisão aprimoradas do método e sistema da invenção oferece grande vantagem neste campo. - Para dispositivos fixos, tais como uma TV (com acesso a internet), o método e sistema da invenção oferece controle de cursor robusto para ações de apontar e de clicar básicas, de maneira que a navegação pela internet com um botão se torna possível "do sofá".

Para dispositivos portáteis, a solução pode liberar a outra mão, para aquelas operações que atualmente exigem o uso de uma caneta stylusou a interação com uma tela de toque. Muitos dispositivos portáteis já compreendem uma câmera, então, a invenção pode ser implementada de maneira relativamente fácil em dispositivos portáteis.

Dispositivos podem se tornar "atentos", de maneira que respondam a nossas ações (um pressionar de botão ou um comando de voz) somente quando olhamos para o dispositivo. - Comunicação:

Há diversos métodos para transferir contato visual em conferências de vídeo entre dois ou mais grupos, muitos dos quais requerem o ponto de olhar dos indivíduos participando da conferência. No passado, o rastreamento de olhar existente provou ser altamente ineficaz; um conceito que nunca deixou o laboratório devido às limitações mencionadas de sistemas atuais. A velocidade e precisão aprimoradas do sistema e método da invenção, quando utilizada para diversos grupos, aumenta a eficiência.

Nós confirmamos a compreensão de usuários em relação à relevância do contato visual durante chamadas de vídeo.

No campo da saúde e bem estar, o rastreamento de olhar provê uma maneira robusta de monitorar o nível de atenção em tarefas perigosas. - Controle - 0 olhar ainda provê uma interface de usuário importante para as pessoas que sofrem de severa falta de habilidades motoras; melhorando a qualidade de vida ao aumentar seu nível de independência e bem estar. - 0 olhar pode prover controle sem contato na sala de operação de um hospital, reduzindo um risco de contaminação por interfaces de usuário táteis. - Monitoramento - A invenção provê, de uma maneira discreta, monitorar-se o nível de atenção durante tarefas perigosas monótonas, tais como conduzir um veículo. Um exemplo é monitorar a atenção visual de um motorista de caminhão, utilizando o para-brisa como um meio para sobrepor um alvo de IV móvel, porém imperceptível. - Simuladores, tais como simuladores de direção ou de voo. Em simuladores, é uma grande vantagem se o olhar do trainee puder ser monitorado rapidamente e precisamente. Em alguns simuladores, a velocidade é de importância mais alta, por exemplo, em simuladores de voo ou simuladores de corrida de Fl; uma maneira rápida e confiável de rastrear o olhar do motorista de Fl ou o piloto de avião é de alta importância, uma vez que decisões importantes devem ser tomadas em frações de segundo por tais pessoas. - Esportes: muito pode ser aprendido a partir do rastreamento de uma pessoa em esportes de alta velocidade tais como tênis, squash ou esportes de contato. Métodos de treinamento melhorados se tornam possíveis.

No campo de sinalização de varejo e digital, o rastreamento de olhar pode ser utilizado para prover feedback valioso em relação ao foco de atenção do observador.

Sistemas de rastreamento de olhar atuais já encontraram seu caminho para agências de propaganda para a análise da resposta individual a propagandas online e impressas. A velocidade e precisão melhoradas do sistema e método da invenção amplamente se expandirão o campo de operação.

O rastreamento de olhar também está sendo aplicado para se medir a atenção focal da vida real coletiva a uma tela ou pôster comercial específico ao contar os pares de olhos que os olham, bem como a duração de sua atenção.

A invenção não é restrita aos tipos de telas mostrados.

Um exemplo de outro tipo de tela que pode ser vantajosamente utilizado no método e sistema da invenção é uma tela de OLED.

Utilizando a tecnologia de OLED, pode-se fazer com que uma placa de material transparente emita luz. A tecnologia OLED permite que o material emita luz IV, também. 0 material do OLED se mantém transparente para luz visível, porém emite luz IV. Utilizando eletrodos, uma matriz de pixels de OLED IV pode ser feita em uma camada transparente. A matriz de OLED IV atua da mesma maneira que uma tela de OLED convencional, com a exceção de que é transparente para luz visível e emite pixels endereçáveis em IV. O marcador de IV é endereçado por uma malha ativa de pixels de IV de OLED, e a posição é variável dependendo do endereçamento dos pixels de IV. A Figura 19 ilustra esquematicamente o uso de uma placa de OLED transparente 191 na frente de uma tela 192. A matriz de OLED é endereçada utilizando um controlador 193. O controlador 193 recebe a informação I. A informação I é dependente das medições tomadas a partir da imagem obtida por uma câmera CAM. A matriz de pixels de OLED provê um marcador de IV 194 sobre o material de OLED transparente.

A vantagem de uma tela transparente, assim como qualquer tela que possa ser colocada na frente de uma tela ou cenário, é que ela pode ser utilizada para qualquer tela ou cenário existente.

Esta camada transparente pode ser utilizada como uma tela em frente a uma tela, ou em frente a um cenário. O uso de uma tela transparente de OLED tem a vantagem de que a velocidade de endereçamento de uma tela de OLED é notavelmente alta, permitindo rastreamento de olhar ainda mais rápido.

A invenção não é restrita às dadas realizações exemplares.

Por exemplo, quando é feito uso de um marcador projetado, o marcador pode ser projetado sobre uma tela de exibição, sobre uma tela transparente, através da qual o observador assiste um cenário ou um dispositivo de exibição, ou diretamente sobre o cenário.

A Figura 18 ilustra uma realização na qual o projetor P projeta um alvo de IV sobre um cenário, neste exemplo representado pelo centro de uma cruz sobre o cenário. Na Figura 18, o alvo é centralizado sobre o cilindro. A câmera também é exibida. A câmera obtém uma imagem do olho e, mais particularmente, o reflexo da córnea do alvo de IV e do centro da pupila.

A invenção pode ser utilizada para rastrear o olhar de mais de uma pessoa, conforme explicado acima. A invenção pode também ser utilizada para rastrear a direção do olhar de ambos os olhos da mesma pessoa. Nas ditas realizações, uma imagem é obtida dos olhos direito e esquerdo, e o reflexo da córnea de um ou ambos os olhos é medido e, para pelo menos um dos olhos, um marcador é produzido. Em realizações para ambos os olhos, um marcador pode ser utilizado, neste caso o olhar de ambos os olhos pode ser independentemente monitorado. Alternativamente, o olhar de um olho é rastreado e, para o outro olho, o desvio do olhar é medido ou estimado. Uma aplicação é, por exemplo, um dispositivo para medir de maneira quantitativa a "ociosidade" de um olho ocioso. Uma criança é provida de um par de óculos com duas câmeras, em que uma pequena câmera obtém imagens do olho esquerdo e outra do olho direito. Alternativamente, as câmeras podem estar ambas a uma distância da criança. Também é possível utilizar uma única câmera para registrar ambas as imagens. É solicitado que a criança jogue um video game, em que ela deva seguir um certo alvo com seus olhos. Isto ocorrerá automaticamente se ele/ela deve pegar um objeto com o cursor, ou levar uma figura animada através de um labirinto. Os movimentos de ambos os olhos são medidos. Em uma maneira completamente discreta para ambos os olhos, o tempo de reação do olho para o movimento da figura animada pode ser medido, provendo uma medição para a ociosidade de ambos os olhos e a coordenação de ambos os olhos aos movimentos. Em uma maneira divertida para a criança, a ociosidade dos olhos pode ser quantitativamente medida. O progresso do tratamento do olho ocioso pode ser rastreado sem qualquer desconforto para a criança.

Outra aplicação é monitorar, para ambos os olhos, os movimentos de um motorista olhando através de um para- brisa, em que, sobre o para-brisa, um alvo de IV é provido. Em um estado normal de alerta, ambos os olhos cooperarão e fazer um certo padrão de movimento para acompanhar o que está acontecendo na estrada na frente do motorista. Também é possível medir a convergência dos olhos. Quando o motorista estiver cansado, isto se mostrará nos movimentos dos olhos e na coordenação entre os olhos, e um sinal pode ser dado para o motorista descansar.

Quando o olhar de ambos os olhos é rastreado, é possível se determinar o olhar de cada olho, a diferença em olhar entre os olhos, bem como o olhar médio ou a média de ambos os olhos. Em tal aplicação, o marcador não é projetado sobre o objeto observado, a estrada, ou parte da imagem observada sobre uma tela de exibição, mas ainda é associado ao objeto observado, em que o marcador indica a posição do objeto observado. A direção do olhar está alinhada com a posição do marcador sobre o para-brisa.

O ângulo de convergência de um par de olhos pode ser utilizado para estimar a distância da qual um observador está olhando para um objeto. Isto é especialmente útil em uma situação de monitoramento (por exemplo, monitorar o olhar de um motorista de caminhão, ou um cliente olhando uma janela de uma loja) .

A latência do sistema é dependente do número de olhos a serem rastreados. Pode-se reduzir a latência ao empregar um único marcador para cada observador (par de olhos).

Tirar a média de dois vetores de deslocamento (um para cada olho) dá origem ao vetor de atualização. A posição do marcador é, então, atualizada com esta média. Uma vez que os olhos de um observador convergirão (presumindo visão normal) em direção à mesma localização, qualquer erro residual é atribuído simetricamente para o par do olho. A amplitude dos vetores de deslocamento em função do vetor de atualização se correlaciona à convergência. Quando olhar diretamente ao marcador, todos os vetores serão zero (quando o sistema convergir) . Quando olhar para um objeto mais distante que o plano (da projeção) do marcador, o vetor de deslocamento horizontal será negativo para um olho e igualmente positivo para o outro.

Outra aplicação envolve a possibilidade de se estender o princípio além dos olhos humanos ou animais, para se incluir olhos artificiais, por exemplo, no caso de robôs. É sabido que o princípio do efeito de olhos vermelhos se aplica a câmeras, independente da lente em particular montada sobre elas. Por outro lado, a coincidência do reflexo da fonte de luz com o centro da pupila da câmera se dá devido ao índice de reflexão particular dos tecidos presentes em olhos humanos e animais. Seria possível projetar configurações ópticas especiais, as quais manteriam tal coincidência, enquanto que ao mesmo tempo permitiriam obter as propriedades ópticas desejadas. A aplicação de tais lentes especiais seria múltipla. Se adotada no caso de robôs, permitiria a detecção de seu ponto de olhar. Uma aplicação diferente exploraria estas lentes como marcadores, em vez de lentes. Neste contexto, os elementos ópticos seriam aplicados sobre a superfície de qualquer objeto, como marcadores, permitindo o estabelecimento da orientação da superfície do objeto, explorando o mesmo princípio utilizado no sistema de rastreamento de olhar descrito.

Em suma, a invenção pode ser descrita por:

Um sistema para rastrear o ponto de olhar de um observador observando um objeto compreende uma câmera para registrar uma imagem de um olho do observador, compreende meios para prover um marcador luminoso, e meios para analisar a imagem do olho para determinar o reflexo do marcador sobre o olho e o centro da pupila. As posições relativas do reflexo da córnea do marcador e do centro da pupila são medidas. O marcador é reposicionado, em dependência das posições relativas determinadas, para melhorar a correspondência entre o reflexo da córnea do marcador e o centro da pupila.

A curta descrição do método corresponde à descrição do sistema acima.

Nas reivindicações, quaisquer sinais de referência colocados entre parênteses não devem ser interpretados como limitativos da reivindicação.

A palavra "compreender" não exclui a presença de outros elementos ou etapas diferentes das listadas em uma reivindicação. A invenção pode ser implementada por qualquer combinação de características de diversas realizações preferidas diferentes, conforme descrito acima.

Uma câmera é qualquer dispositivo para registrar imagens.

Poderia ser parte de um dispositivo também utilizado para outros propósitos, tais como comunicação, ou anexa a, integrada a, ou em cooperação com tal dispositivo de comunicação.

Meios para analisar, meios para endereçar, meios para calcular etc., podem ser na forma de hardware, software, ou qualquer combinação dos mesmos.

Onde for feito uso do método e sistema, quaisquer tais meios podem estar presentes próximos ou na câmera ou em um dispositivo próximo ou no cenário ao qual a câmera está conectada. Entretanto, dados de imagem podem também ser analisados remotamente, assim como os marcadores podem ser controlados remotamente. Por exemplo, em uma loja, diversas câmeras podem observar diversos pontos, cada ponto sendo, por exemplo, uma vitrine, em que em cada ponto diversos observadores podem ser rastreados. 0 cálculo da diferença entre marcadores e centros de pupilas e o cálculo do movimento a ser feito por cada marcador e o sinal a ser enviado para mover os marcadores podem ser processados em um computador central dentro da loja, ou ainda, caso o mesmo for feito em diversas lojas ao redor do país, em um computador central na sede ou em um servidor central.

A invenção também está relacionada a programas de computador compreendendo meios de código de programa para realizar um método de acordo com a invenção quando o dito programa for executado em um computador, bem como um produto de programa de computador compreendendo meios de código de 10 programa armazenados em um meio legível por computador para realizar um método de acordo com a invenção.

Claims (18)

1. SISTEMA PARA RASTREAR O PONTO DE OLHAR DE UM OBSERVADOR OBSERVANDO UM OBJETO, caracterizado pelo sistema compreender um dispositivo (cam, 71) para registrar uma imagem de um olho do observador, uma fonte de luz (73, 102, 122, 191, 192) configurada para prover um marcador luminoso (74) sobre ou associado ao objeto observado, o dito marcador (74) sendo seletivamente móvel dentro de um campo de visão do observador; e uma unidade de controle compreendendo um primeiro analisador de imagem (76) configurado para analisar a imagem registrada pelo dispositivo para registrar imagens, o dito primeiro analisador de imagem (76) sendo configurado para determinar, a partir da imagem, uma posição de um reflexo da córnea (q) do marcador (74) sobre o olho do observador e da refração da córnea (r) do centro da pupila (p) do olho do observador, em que o sistema para rastrear compreende ainda: o dito primeiro analisador de imagem (76) sendo configurado para determinar posições relativas do reflexo da córnea (q) do marcador (74) e a refração de córnea (r) do centro da pupila (p); a dita unidade de controle compreendendo um segundo analisador configurado para receber as posições relativas determinadas do reflexo da córnea (q) do marcador (74) e a refração de córnea (r) do centro da pupila (p), e configurado para gerar dados para reposicionamento do marcador (74) para diminuir a diferença entre as posições relativas determinadas do reflexo da córnea (q) do marcador (74) e a posição da refração de córnea (r) do centro da pupila (p) até a posição reflexo da córnea (q) do marcador (74) e a posição da refração de córnea (r) do centro da pupila (p) substancialmente coincidam, e meios para reposicionar o marcador (74) em resposta aos dados de reposicionamento.

2. SISTEMA, de acordo com a reivindicação 1, caracterizado pelo sistema compreender ainda um dispositivo de exibição, e a posição do marcador (74) está relacionada com o dispositivo de exibição.

3. SISTEMA, de acordo com a reivindicação 2, caracterizado pelo dispositivo de exibição e a fonte de luz para prover o marcador (74) serem integrados em um único dispositivo.

4. SISTEMA, de acordo com a reivindicação 2, caracterizado pelo dispositivo de exibição e a fonte de luz para prover o marcador (74) serem dispositivos separados.

5. SISTEMA, de acordo com a reivindicação 4, caracterizado pela fonte de luz para prover o marcador (74) compreender um escudo transparente posicionado em frente a uma tela de imagem do dispositivo de exibição.

6. SISTEMA, de acordo com a reivindicação 1, caracterizado pela fonte de luz para prover o marcador (74) prover um marcador infravermelho (IV).

7. SISTEMA, de acordo com a reivindicação 1, caracterizado pelo marcador possuir forma de um padrão.

8. SISTEMA, de acordo com a reivindicação 1, caracterizado pela fonte de luz para prover o marcador (74) e meios de reposição para reposicionar o marcador (74) prover e reposicionar o marcador (74) dentro ou sobre uma placa transparente na frente de um cenário que inclui o objeto.

9. SISTEMA, de acordo coma reivindicação 8, caracterizado pela placa transparente ser o para-brisa de um veículo.

10. SISTEMA, de acordo coma reivindicação 8, caracterizado pela placa transparente ser uma vitrine.

11. SISTEMA, de acordo com a reivindicação 3, caracterizado pela fonte de luz para prover o marcador, prover o marcador em uma imagem exibida sobre uma tela de exibição do dispositivo de exibição.

12. SISTEMA, de acordo com a reivindicação 11, caracterizado pelo marcador ser um marcador infravermelho (IV).

13. SISTEMA, de acordo com a reivindicação 11, caracterizado pelo sistema compreender um dispositivo de tela de cristal líquido que possui uma luz de fundo infravermelho (IV) e uma luz de fundo de luz visível.

14. SISTEMA, de acordo com a reivindicação 1, caracterizado pela fonte de luz para prover o marcador (74) compreender uma tela de OLED transparente para prover um marcador.

15. SISTEMA, de acordo com a reivindicação 1, caracterizado pelo sistema ser disposto para rastrear o olhar de mais de um observador ao prover um único respectivo marcador adicional para cada observador adicional.

16. MÉTODO PARA RASTREAR O PONTO DE OLHAR DE UM OBSERVADOR OBSERVANDO UM OBJETO, caracterizado por compreender o registro de uma imagem de um olho do observador, a provisão de um marcador luminoso (74) sobre ou associado ao objeto observado, o dito marcador denso seletivamente móvel dentro de um campo de vista de um observador, e a análise da imagem registrada pelo dispositivo para registrar a fim de determinar, a partir da imagem, um reflexo da córnea (q) do marcador (74) e o reflexo da córnea (q) do centro da pupila (p) do olho de um observador, em que o método compreende ainda: determinar posições relativas do reflexo da córnea (q) de um marcador (74) e a refração da córnea (r) do centro da pupila (p) do olho de um observador, gerar dados para reposicionar o marcador (74) a fim de diminuir a diferença entre as posições relativas determinadas do reflexo da córnea (q) do marcador (74) e a refração da córnea (r) do centro da pupila (p), e a reposicionar o marcador (74) em resposta aos dados de reposicionamento.

17. MÉTODO, de acordo com a reivindicação 16, caracterizado pelo marcador (74) ter a forma de um padrão.

18. MÉTODO, de acordo com a reivindicação 16, caracterizado pelo marcador (74) ser provido dentro ou sobre uma placa transparente.

Images