BR112013014287B1

BR112013014287B1 - Método e aparelho para reconhecimento de gesto

Info

Publication number: BR112013014287B1
Application number: BR112013014287-1A
Authority: BR
Inventors: Wei Zhou; Jun Xu; Xiaojun Ma
Original assignee: Interdigital Ce Patent Holdings
Priority date: 2010-12-30
Filing date: 2010-12-30
Publication date: 2020-12-29
Also published as: BR112013014287A2; KR20140014101A; KR101811909B1; CN103380405A; JP2014501413A; JP5885309B2; AU2010366331B2; EP2659336A4; EP2659336B1; EP2659336A1; US20130283202A1; AU2010366331A1; WO2012088634A1

Abstract

INTERFACE DE USUÁRIO, APARELHO E MÉTODO PARA RECONHECIMENTO DE GESTO Interface de usuário, aparelho e método para o reconhecimento de gesto compreendendo: prever um ou mais comandos possíveis para o aparelho com base em um ou mais gestos complementares executados por um usuário anteriormente, indicar o comando ou comandos possíveis.

Description

CAMPO DA INVENÇÃO

A presente invenção refere-se, em geral, ao reconhecimento de gestos, e mais particularmente, a uma interface de usuário, aparelho e método para o reconhecimento de gesto em um sistema eletrônico.

FUNDAMENTOS DA INVENÇÃO

À medida que aumenta a faixa de atividades que se realizam com um computador, maneiras novas e inovadoras para proporcionar uma interface entre o usuário e a máquina são frequentemente desenvolvidas para proporcionar uma experiência mais natural para o usuário. Por exemplo, uma tela sensível ao toque pode permitir a um usuário o fornecimento de informações para um computador sem um mouse e/ou teclado, de maneira que não há necessidade de área com uma mesa para operar o computador. O reconhecimento do gesto também está recebendo mais e mais atenções devido ao seu uso potencial no reconhecimento de linguagem por sinais, interação homem-computador multimodal, realidade virtual e controle de robôs.

O reconhecimento de gestos é uma área que está se desenvolvendo rapidamente no mundo do computador, que permite que um dispositivo reconheça determinados gestos com a mão feitos por usuário, de modo que certas funções do dispositivo podem ser realizadas com base no gesto. Os sistemas de reconhecimento de gesto com base na visão pelo computador são propostos para facilitar uma interface usuário-máquina mais “natural”, eficiente e efetiva. Não visão pelo computador, para se aumentar a exatidão no reconhecimento do gesto, é necessário exibir o vídeo capturado relacionado da câmera na tela. E esse tipo de vídeo pode ajudar a indicar ao usuário se é possível que seu gesto vá ser reconhecido corretamente e se ele precisa fazer algum ajuste para a sua posição ou não. Entretanto, a exibição de vídeo capturado da câmera vai normalmente ter um impacto negativo para o usuário que está assistindo o programa em exibição na tela. Portanto, é necessário encontrar uma maneira que possa minimizar a alteração no programa em exibição na tela, e, ao mesmo tempo manter a alta precisão no reconhecimento.

Por outro lado, recentemente, mais e mais gestos compostos (tais como pegar e largar) são aplicados em UI (interface de usuário). Esses gestos compostos normalmente incluem subgestos e são mais difíceis de serem reconhecidos do que um único gesto. A Patente US20100050133 “Compound Gesture Recognition” de H. kieth Nishihara e outros, depositada em 22 de agosto de 2008, propõe um método que inclui múltiplas câmeras e tenta detectar e traduzir os diferentes subgestos em diferente informação para um dispositivo diferente. Entretanto, o custo e a distribuição de múltiplas câmeras limitam a aplicação desse método em usos domésticos.

Portanto, é importante estudar o reconhecimento de gesto composto no sistema de interface do usuário.

SUMÁRIO DA INVENÇÃO

A invenção se refere a uma interface de usuário em um sistema de reconhecimento de gesto compreendendo: uma janela de exibição adaptada para indicar um subgesto de pelo menos um comando por gesto, de acordo com um ou mais subgestos realizados por um usuário e recebidos pelo sistema de reconhecimento de gesto previamente.

A invenção também se refere a um aparelho compreendendo: uma unidade de previsão de gesto configurada para prever um ou mais comandos possíveis para o aparelho com base em um ou mais subgestos realizados por um usuário anteriormente; um visor configurado para indicar o comando ou comando possíveis.

A invenção também se refere a um método para reconhecimento de gesto compreendendo: prever um ou mais comandos possíveis para o aparelho com base em um ou mais subgestos realizados por um usuário anteriormente; indicar o comando ou comandos possíveis.

BREVE DESCRIÇÃO DOS DESENHOS

Esses e outros aspectos, características e vantagens da presente invenção se tornarão evidentes a partir da descrição a seguir de uma modalidade em conexão com os desenhos anexos:

A Figura 1 é um diagrama de blocos mostrando um exemplo de um sistema de reconhecimento de gesto de acordo com uma modalidade da invenção;

A Figura 2 mostra um diagrama de gestos manuais usados para explicar a invenção;

A Figura 3 é um diagrama mostrando exemplos da janela de exibição da interface de usuário de acordo com a modalidade da invenção;

A Figura 4 é diagrama mostrando uma região de interface de usuário na tela de exibição de acordo com a modalidade;

A Figura 5 é um fluxograma mostrando um método de controle da opacidade da janela de exibição;

A Figura 6 é um fluxograma mostrando um método para o reconhecimento de gesto de acordo com a modalidade da invenção.

Deve ser entendido que os desenhos têm o propósito de ilustrar os conceitos da divulgação e não são necessariamente a única configuração possível para ilustrar a divulgação.

DESCRIÇÃO DETALHADA DE MODALIDADES PREFERIDAS

Na descrição detalhada a seguir, uma interface de usuário, um aparelho e um método para reconhecimento de gesto estão descritos para proporcionar um completo entendimento da presente invenção. Entretanto, será reconhecido pelo especialista na técnica que a presente invenção pode ser praticada sem esses detalhes específicos ou com equivalentes dos mesmos. Em outros casos, métodos, procedimentos, componentes e circuitos bem conhecidos não foram descritos em detalhes para não desviar desnecessariamente a atenção dos aspectos da presente invenção.

Um usuário pode proporcionar informações simuladas para um computador, TV ou outro dispositivo eletrônico. Deve ser entendido que as informações simuladas podem ser proporcionadas por um gesto composto, um único gesto, ou mesmo qualquer gesto corporal realizado pelo usuário. Por exemplo, o usuário poderia proporcionar gestos que incluem um movimento pré-definido em um ambiente de reconhecimento de gesto. O usuário proporciona as informações de gesto, por exemplo, por uma ou por ambas as mãos do usuário; por um bastão, por uma agulha, por uma vareta pontiaguda; ou por uma variedade de outros dispositivos com os quais o usuário pode gesticular. As informações simuladas poderiam ser, por exemplo, informações simuladas de mouse, para estabelecer, por exemplo, uma referência para o teor visual exibido e executar um comando em porções do teor visual com as quais a referência se relaciona.

A Figura 1 é um diagrama de blocos mostrando um exemplo de um sistema de reconhecimento de gesto 100 de acordo com uma modalidade da invenção. Como mostrado na Figura 1, o sistema de reconhecimento de gesto 100 inclui uma câmera 101, uma tela de exibição 102, uma tela 108-1, uma tela 108-2, um controlador de exibição 104, um previsor de gesto 105, uma unidade de reconhecimento de gesto 106 e uma base de dados de gestos 107. Para exemplificar, a câmera 101 é montada acima da tela de exibição 102, e as telas 108-1 e 108-2 estão localizadas respectivamente nos lados esquerdo e direito da tela de exibição 102.

O usuário que está em frente à tela de exibição 102 pode proporcionar informações simuladas para o sistema de reconhecimento de gesto 100 por um objeto de entrada. Na modalidade, o objeto de entrada é demonstrado como sendo a mão de um usuário, de modo que as informações simuladas possam ser proporcionadas através de gestos com as mãos. Deve ser entendido que o uso da mão para proporcionar informações simuladas por gestos das mãos é apenas uma implementação de exemplo do sistema de reconhecimento de gesto 100. Além disso, no exemplo de se realizarem os gestos tendo a mão do usuário como objeto de informação para proporcionar informações simuladas, a mão do usuário pode incorporar uma luva e/ou sensores para a ponta ou junta dos dedos ou pode ser a mão nua de um usuário.

Na modalidade da Figura 1, a câmera 101 pode tirar rapidamente imagens fotográficas do gesto de mão dos usuários a, por exemplo, trinta vezes por segundo, e as imagens ao proporcionadas para a unidade de reconhecimento de gesto 106 para identificar o gesto do usuário. O reconhecimento do gesto está recebendo mais e mais atenção recentemente devido ao seu uso potencial no reconhecimento de linguagem de sinais, interação homem-computador multimodal, realidade virtual, e controle de robôs. A maioria dos métodos de reconhecimento de gesto da técnica anterior junta sequências de imagens observadas com amostras de treinamento ou com um modelo. A sequência de informação é classificada como sendo a classe cujas amostras ou modelos melhor se encaixam na mesma. Variação Temporal Dinâmica (DTW), Programação Dinâmica Contínua (CDP), Modelo Oculto de Markov (HMM) e Campo Aleatório Condicional (CRF) são métodos exemplificativos dessa categoria na técnica anterior. HMM é a técnica mais amplamente usada para o reconhecimento de gesto. O método de reconhecimento detalhado para subgestos não será descrito aqui.

A unidade de reconhecimento de gesto 106, o previsor de gesto 105, o controlador de exibição 104 e a base de dados de gestos 107 podem estar localizados, por exemplo, dentro de um computador (não ilustrado) ou em processadores embutidos, de modo a processarem as respectivas imagens associadas ao objeto de entrada para gerar a instrução de controle indicada em uma janela de exibição 103 da tela de exibição 102.

De acordo com a modalidade, entradas de um só gesto e de gestos compostos por parte de usuários podem ser identificadas. Um gesto composto pode ser um gesto com o qual múltiplos subgestos podem ser empregados para proporcionar múltiplas entradas de dispositivos relacionados. Por exemplo, um primeiro subgesto pode ser um gesto de referência para se relacionar a uma porção do teor visual e um segundo subgesto pode ser um gesto de execução que pode ser realizado imediatamente após o primeiro subgesto, de modo a executar um comando na porção do teor visual com o qual se relaciona o primeiro subgesto. O gesto único inclui apenas um subgesto, e é realizado imediatamente após o subgesto ser identificado. A Figura 2 mostra o gesto manual exemplificativo usado para explicar a invenção.

Como mostrado na Figura 2, um gesto composto inclui diversos subgestos (ou gestos subsequentes), e depende de qual função ele representa. Chamamos o primeiro subgesto de gesto principal e o último de gesto de terminação. Em 3D UI (interface tridimensional de usuário), existem muitas funções que compartilham esse mesmo primeiro gesto. Por exemplo, um gesto composto típico é o de “pegar e largar”. Nesse caso, um usuário pode pegar uma cena de um programa de TV utilizando seu gesto de mão e largá- la em um quadro próximo ou tela de dispositivo fazendo um gesto de mão que significa LARGAR. Aqui, a definição de gesto composto inclui três porções (subgestos): pegar, largar e onde largar. Por exemplo, na sala de estar do usuário existem um aparelho de TV e dois tablets que estão colocados respectivamente no lado esquerdo e direito direito da TV respectivamente como mostrado na Figura 1. E esses dois tablets já se registraram no sistema e se conectaram com a base de dados de gestos 107. Assim, os gestos compostos de “pegar e largar” incluem dois tipos. Um tem dois subgestos “pegar e largar à esquerda” como mostrado na Figura 2(b), o que quer dizer que o conteúdo de tela indicado pelo usuário será deixado no tablet à esquerda, e transmitido para o tablet à esquerda 108- 1 pela base de dados 107, e outro tipo tem “pegar e largar à direita” como mostrado na Figura 2(a), o que quer dizer que o conteúdo de tela indicado pelo usuário será deixado no tablet à direita, e transmitido para o tablet à direita 108-2 pela base de dados 107. Esses dois tipos têm em comum o mesmo primeiro subgesto “pegar”. Certamente, se o segundo subgesto ainda for “pegar”, que é o mesmo primeiro gesto “pegar” como mostrado na Figura 2(c), e a seguir “pegar” é mantido por mais de um segundo, isto significa que esse gesto composto contém apenas um subgesto de “pegar” e o conteúdo na tela será armazenado ou largado localmente.

Voltando à Figura 1, o previsor de gesto 105 do sistema de reconhecimento de gesto 100 é configurado para prever um ou mais comandos gestuais possíveis para o aparelho com base no gesto ou gestos de usuário anteriormente reconhecidos pela unidade de reconhecimento de gesto 106 e sua sequência ou ordem. Para realizar o prognóstico, outra base de dados de gesto composto 107 é necessária, a qual é configurada para armazenar os gestos pré-definidos com uma função de comando específica.

Quando as imagens de gesto obtidas pela câmera 101 são reconhecidas pela unidade de reconhecimento de gesto 106, o resultado do reconhecimento, por exemplo, um subgesto pré-definido será alimentado para o previsor de gesto 105. Então, consultando-se a base de dados de gestos 107 com base no resultado do reconhecimento, o previsor de gesto 105 vai prever um ou mais comandos gestuais possíveis e o subgesto seguinte dos comandos gestuais possíveis será mostrado como uma indicação em uma janela de exibição 103. Por exemplo, quando o primeiro subgesto “pegar” é reconhecido, consultando-se a base de dados 107, o previsor pode tirar uma conclusão de que existem três possíveis candidatos para esse gesto composto “pegar e largar à esquerda”, “pegar e largar à direita” e “só pegar”.

Na base de dados 107, existem ainda subgestos simples e compostos como: quando o subgesto principal é “acenar mão direita”, os gestos de terminação podem ser respectivamente “acenar mão direita”, “acenar as duas mãos”, “’levantar a mão direita”, ou “ficar parado”. Por exemplo, o gesto principal significa ligar o aparelho de TV. Se o gesto de terminação for “acenar mão direita”, isto quer dizer que o aparelho de TV exibe o programa set-to-box. Se o gesto de terminação for “acenar as duas mãos”, isto significa que o aparelho de TV exibe o programa a partir de um servidor de mídia. Se o gesto de terminação for “levantar a mão direita”, isto significa que o aparelho de TV exibe o programa a partir de um DVD (disco de vídeo digital). Se o gesto de terminação for “acenar as duas mãos”, isto significa que o aparelho de TV exibe o programa a partir de um servidor de mídia. Se o gesto de terminação for “ficar parado”, isto significa que o aparelho de TV não vai exibir nenhum programa. Embora a invenção seja explicada tomando-se o gesto composto “pegar e largar” e subgestos em duas etapas como exemplo, isto não pode ser considerado um limite para a invenção.

De acordo com a modalidade, a janela de exibição 103 apresentando uma interface de usuário do sistema de reconhecimento de gesto 100 é usada para indicar o seguinte subgesto do comando ou comandos possíveis obtidos pelo previsor de gesto 105, juntamente com informação sobre como desempenhar um gesto seguinte de um comando completo possível. A Figura 3 é um diagrama mostrando exemplos da janela de exibição 103 de acordo com a modalidade da invenção. Aqui, o tamanho e a localização da janela de exibição podem ser selecionados por um especialista na técnica conforme exigido, e podem cobrir a imagem em toda a tela na tela de exibição 102 ou serem transparentes para a imagem.

A janela de exibição 103 na tela de exibição 102 é controlada pelo controlador de exibição 104. O controlador de exibição 104 irá proporcionar algumas indicações ou instruções sobre como desempenhar o subgesto seguinte para cada gesto composto previsto pelo previsor de gesto 105 de acordo com os gestos pré-definidos na lista de base de dados 107, e essas indicações ou instruções são mostradas na janela de exibição 103 por sugestões juntamente com informação sobre os comandos. Por exemplo, a janela de exibição 103 na tela de exibição 102 poderia destacar uma região na tela como janela de exibição para ajudar o usuário ou a usuária a continuar com seus subgestos seguintes. Nessa região, diversas sugestões, por exemplo, linhas pontilhadas com flecha ou linhas pontilhadas curvas são usadas para mostrar o subgesto seguinte de comandos possíveis. A informação sobre os comandos inclui “pegar e largar à esquerda” para guiar o usuário a mover a mão esquerda, “pegar e largar à direita” para guiar o usuário a mover a mão direita, e “só pegar” para guiar o usuário a manter esse gesto de pegar. Além disso, uma indicação do subgesto recebida pelo sistema de reconhecimento de gesto 100 também é mostrada em um local correspondente para as sugestões na janela de exibição 103. A indicação pode ser a imagem recebida pelo sistema ou quaisquer imagens que representam o subgesto. Adobe Flash®, Microsoft Silverlight® e Java FX® podem todos ser usados pelo controlador de exibição para implementar esse tipo de aplicativo como a indicação na janela de exibição 103. Além disso, as sugestões não se limitam às descritas acima, e podem ser implementadas como quaisquer outras indicações conforme necessário por um especialista na técnica apenas se as sugestões puderem ajudar os usuários a seguir uma delas para completar o comando por gesto.

A Figura 4 é um diagrama mostrando uma região na tela de exibição 102 de acordo com a modalidade. Como mostrado na Figura 4, a opacidade da exibição da indicação e instruções acima é um parâmetro-chave para ajudar o processo de reconhecimento de gesto a tornar-se gradualmente mais claro. Por exemplo, o valor Alfa em tecnologia “RGBA” (Vermelho Verde Azul Alfa) é um valor de mistura (0 ~ 1), o qual é usado para descrever o valor de opacidade (0 ~ 1) da região para refletir o progresso do reconhecimento de gesto e ajudar o processo de reconhecimento de gesto a tornar-se gradualmente mais claro. Por exemplo, um primeiro subgesto de pegar foi reconhecido e as sugestões são mostradas na janela de exibição, a seguir o usuário está executando o gesto composto “pegar e largar à esquerda” seguindo uma das sugestões, que também é reconhecido pela unidade de reconhecimento, as sugestões dos gestos “pegar e largar à esquerda” e “só pegar” na janela de exibição vão desaparecer, como mostrado na Figura 4(a). Ao mesmo tempo, a opacidade da janela de exibição vai diminuir com o progresso na execução do gesto “pegar e largar à esquerda” como mostrado na Figura 4(b).

A Figura 5 é um fluxograma mostrando um método de controle para a opacidade da janela de exibição usada pelo controlador de exibição 104 tomando o gesto composto “pegar e largar” como exemplo. Na etapa 501, é implementada a decisão de se ver se um gesto de pegar é executado pelo usuário, o que significa se o gesto de pegar é reconhecido pela unidade de reconhecimento. Se a resposta for não, o método vai para a etapa 510, e o controlador se mantém em stand by. Por outro lado, o valor de mistura alfa das linhas de direção ou sugestões de onde largar para todas as etapas de subgesto adjacentes e etapa de subgesto corrente são todos ajustados para ser 1 na etapa 502. Isto significa que toda informação na janela de exibição é exibida com clareza. Então, na etapa 503, julgar se o gesto de agarrar fica parado por um tempo específico de acordo com o resultado da unidade de reconhecimento, e se a resposta for afirmativa, isto significa que está sendo executado “pegar apenas”, e então o valor de mistura alfa das linhas de direção ou sugestões de onde largar para todas as etapas de subgesto adjacentes são todos ajustados para ser 0 na etapa 506. Isso significa que todos os subgestos adjacentes vão desaparecer na janela. E se a resposta na etapa 503 for não, então o método vai para a etapa 505 para julgar a direção do movimento do gesto de pegar. Se o gesto se move para uma direção de acordo com o resultado do reconhecimento, o valor de mistura alfa das linhas de direção ou sugestões de onde largar para outras direções são todos ajustados para ser 0 na etapa 507. Então, se o gesto de largar é executado de acordo com o resultado do reconhecimento na etapa 508, o valor de mistura alfa das linhas de direção ou sugestões de onde largar para a direção naquele momento também vão ser ajustados para ser 0 ou diminuídos gradualmente até 0 na etapa 509. Por outro lado, se está sendo executado o gesto de “só pegar”, e a etapa de largar ou armazenar está sendo implementada, o valor de mistura alfa de sua sugestão será também ajustado em zero ou gradualmente diminuído até zero.

A Figura 6 é um fluxograma mostrando um método para o reconhecimento de gesto de acordo com a modalidade da invenção. De acordo com a modalidade da invenção, quando o primeiro subgesto é reconhecido com base na localização da mão e outras características da mão, a estimativa sobre quais gestos manuais serão feitos pode ser conseguida com base no conhecimento de toda a definição de gestos na base de dados. Então uma janela vai surgir na tela de exibição para mostrar o gesto e as sugestões para os comandos por gestos avaliados. Então quando o segundo subgesto for reconhecido, o número de resultados de estimativa para os comandos por gesto com base no resultado do reconhecimento do primeiro e segundo subgestos vai mudar. Normalmente, o número será inferior ao que é baseado apenas no primeiro subgesto. Da mesma forma que na descrição no parágrafo acima, o novo resultado de estimativa será analisado e as sugestões de como terminar o subgesto seguinte dos comandos serão dadas. Além disso, se o número de resultados de estimativa diminuir, a opacidade da janela vai diminuir também. A mudança na opacidade da janela pode ser vista como outro tipo de sugestão para identificação do gesto composto.

Como mostrado na Figura 6, o gesto do usuário, tal como o primeiro subgesto, é identificado pela unidade de identificação de gesto 106 na etapa 601. Então, na etapa 602 o previsor 105 vai prever um ou mais comandos possíveis para o sistema com base no subgesto ou subgestos reconhecidos na etapa 601, e o subgesto seguinte de pelo menos um comando possível é indicado por uma interface de usuário em uma janela de exibição na etapa 603. Então, quando outro subgesto de um comando está sendo executado, outros desaparecerão da interface de usuário na etapa 604, e a opacidade da janela de exibição será diminuída na etapa 605. Então, quando o usuário tiver terminado o comando por gesto, a janela de exibição também vai desaparecer na etapa 606.

Embora a modalidade seja descrita com base no primeiro e segundo subgestos, outro reconhecimento de subgesto e as sugestões de seu subgesto seguinte de comandos mostradas na interface de usuário também são aplicáveis na modalidade da invenção. Se não for recebido outro subgesto ou o gesto de comando terminou, a janela de exibição vai desaparecer da tela.

O que foi descrito apenas ilustra a modalidade da invenção, e, portanto, será apreciado que os especialistas na técnica poderão pensar em numerosos arranjos alternativos que, embora não explicitamente descritos aqui, incorporam os princípios da invenção e estão dentro do seu espírito e escopo.

Claims

1. Aparelho, compreendendo: uma unidade de previsão de gesto configurada para prever um ou mais comandos possíveis ao aparelho baseados em um ou mais subgestos e uma ordem de um ou mais subgestos anteriormente executados por um usuário e reconhecidos pelo aparelho; um visor configurado para exibir uma indicação de um subgesto seguinte de um ou mais comandos possíveis em uma interface de usuário em uma janela de exibição, CARACTERIZADO pelo fato de que a janela de exibição tem uma opacidade, e após uma previsão inicial, a opacidade da janela de exibição é reduzida quando o número de um ou mais comandos possíveis diminui em comparação ao número de um ou mais comandos possíveis anteriormente previstos.

2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o visor também é configurado para indicar um subgesto seguinte na interface de usuário por uma sugestão juntamente com informação sobre como executar o gesto seguinte para completar os comandos.

3. Aparelho, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que o visor também é configurado para indicar um ou mais subgestos reconhecidos pelo aparelho.

4. Aparelho, de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que quando o subgesto seguinte de um ou mais comandos possíveis é executado pelo usuário e reconhecido pelo aparelho, o visor também sendo também configurado para fazer os subgestos seguintes de outros comandos possíveis desaparecer na interface de usuário.

5. Aparelho, de acordo com qualquer uma das reivindicações 1 a 4, CARACTERIZADO pelo fato de que a unidade de previsão de gestos é configurada para prever o um ou mais comandos possíveis utilizando o um ou mais subgestos reconhecidos e a ordem do um ou mais subgestos para buscar em uma base de dados, em que a base de dados compreende definição de gestos de pelo menos um comando por gesto, cada comando por gesto compreende pelo menos um subgesto em uma ordem pré-definida.

6. Método para o reconhecimento de gesto em um aparelho, compreendendo: prever um ou mais comandos possíveis ao aparelho baseados em um ou mais subgestos e uma ordem de um ou mais subgestos anteriormente reconhecidos pelo aparelho; indicar um subgesto seguinte do um ou mais comandos possíveis por uma interface de usuário em uma indicação em uma janela de exibição, CARACTERIZADO pelo fato de que a janela de exibição tem uma opacidade, e após a previsão inicial, a opacidade da janela de exibição é reduzida quando o número de um ou mais comandos possíveis diminui em comparação com o número de um ou mais comandos possíveis anteriormente previstos.

7. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que o subgesto seguinte é indicado por uma sugestão mostrada na interface de usuário, e uma indicação de um ou mais subgestos reconhecidos pelo aparelho também é mostrada na 5 interface de usuário.

8. Método, de acordo com a reivindicação 6 ou 7, CARACTERIZADO pelo fato de que um ou mais comandos possíveis são previstos utilizando o um ou mais subgestos reconhecidos e a ordem do um ou mais subgestos para buscar em uma base de dados, em que a base de dados compreende a definição de gesto do pelo menos um comando por 10 gesto, cada comando por gesto compreende pelo menos um subgesto em uma ordem pré- definida.

9. Método, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que a sugestão é mostrada juntamente com informação sobre como executar o subgesto seguinte para completar o pelo menos um comando.