BRPI1100155A2

BRPI1100155A2 - aparelho e mÉtodo de processamento de informaÇço, e, programa para fazer com que um computador execute um procedimento

Info

Publication number: BRPI1100155A2
Application number: BRPI1100155-0A
Authority: BR
Inventors: Kouichi Matsuda
Original assignee: Sony Corp
Priority date: 2010-03-01
Filing date: 2011-02-22
Publication date: 2012-07-31
Also published as: RU2011106653A; US9218124B2; EP2363793A2; CN102193728A; KR20110099166A; US20110210928A1; JP2011180843A

Abstract

APARELHO E MÉTODO DE PROCESSAMENTO DE INFORMAÇçO, E, PROGRAMA PARA FAZER COM QUE UM COMPUTADOR EXECUTE UM PROCEDIMENTO. É descrito um aparelho de processamento de informação que inclui: uma seção de detecção configurada para detectar a posição de um objeto que toca uma parte sensível ao toque como uma posição tocada; uma seção de reconhecimento configurada para reconhecer o tipo de dedo que toca a parte sensível ao toque com base na posição tocada e em uma imagem da parte sensível ao toque; uma seção de busca configurada para buscar através de uma tabela de função que define correspondências entre a posição tocada de pelo menos um dedo e o tipo deste, em uma mão, e uma função atribuida à combinação da posição tocada e do tipo de dedo, em outra mão, a seção de busca buscando a tabela de função pela função correspondente à posição tocada detectada pela seção de detecção e ao tipo de dedo detectado pela seção de reconhecimento; e uma seção de execução configurada para executar a função detectada através da busca pela seção de busca.

Description

"APARELHO E MÉTODO DE PROCESSAMENTO DE INFORMAÇÃO, E, PROGRAMA PARA FAZER COM QUE UM COMPUTADOR EXECUTE UM PROCEDIMENTO"

FUNDAMENTOS DA INVENÇÃO

1. CAMPO DA INVENÇÃO

A presente invenção diz respeito a um aparelho de processamento de informação, a um método de processamento de informação e a um programa. Mais particularmente, a invenção diz respeito a um aparelho de processamento de informação que pode ser operado pelo toque para executar rápida e facilmente as funções desejadas por um usuário, a um método de processamento de informação para uso com um aparelho de processamento de informação como este e a um programa que implementa a funcionalidade de um método de processamento de informação como este.

2. DESCRIÇÃO DA TECNOLOGIA RELACIONADA

O aparelho de processamento de informação operável por mouse pode ter diferentes funções atribuídas a cada uma das assim denominadas operações de clique com botão direito e de clique com botão esquerdo realizadas no seu mouse. Cada uma destas operações é realizada pelo pressionamento das pontas dos dedos uma vez e pela liberação imediata de um dos botões direito e/ou esquerdo do mouse.

Com o tipo de aparelho de processamento de informação exposto em mente, suponha que um cursor 12 operável por um mouse 11 seja exibido na posição de um ícone 13 em uma tela do aparelho mostrado na figura 1A. Neste caso, o clique com botão esquerdo no mouse 11 executa a função de selecionar o ícone 13. Se o mouse 11 for clicado com botão direito, da forma mostrada na figura 1B, então, a função de exibir um menu de contexto 14 do ícone 13 é realizada. Isto é, duas funções podem ser atribuídas à posição do cursor 12 operado pelo mouse 11.

Entretanto, existem aparelhos de processamento de informação que podem ser operados pelo toque com as pontas dos dedos. Tipicamente, um aparelho como este utiliza um painel sensível ao toque sobreposto em sua tela para detectar a posição e/ou o movimento de um objeto que toca o painel, desse modo, executando as funções atribuídas àquela posição e/ou ao movimento.

No aparelho de processamento de informaçao equipado com painel sensível ao toque, o usuário pode tocar uma vez, diga-se, aquela posição no painel sensível ao toque que corresponde ao ícone 13 com qualquer um de seus dedos, da forma mostrada na figura 2A (dedo indicador, neste exemplo). Então, a função de selecionar o ícone 13 ou a função de execução correspondente ao ícone 13 são realizadas.

Entretanto, no aparelho de processamento de informação equipado com painel sensível ao toque, meramente a posição do dedo que toca o painel sensível ao toque é detectada; o tipo do dedo que toca não é detectado. Decorre que uma pluralidade de funções não pode ser atribuída a uma única posição tocada. Em decorrência disto, se o dedo indicador tocar o painel, da forma mostrada na figura 2A, ou o dedo médio tocá-lo, da forma indicada na figura 2B, a mesma função é executada, desde que a posição tocada seja a mesma.

Se à posição do ícone 13 for atribuída a função correspondente a um clique com botão esquerdo em um aparelho de processamento de informação operável com mouse, nenhuma função correspondente a um clique com o botão direito pode ser atribuída à posição do ícone 13. Assim, se o usuário desejar executar a função de exibir um menu de contexto 14 atribuída a um clique com botão direito, é necessário realizar operações complicadas, da forma mostrada nas figuras 3A até 3C.

Especificamente, se o usuário desejar executar a função de exibir o menu de contexto 14, primeiro, o usuário toca aquela posição no painel sensível ao toque que corresponde ao ícone 13 com qualquer um de seus dedos (dedo indicador, no exemplo das figuras 3 A ate 3C) para executar a função de selecionar o ícone 13. Depois disto, usando qualquer um de seus dedos, o usuário toca aquela posição no painel sensível ao toque que corresponde a um ícone 21 para executar a função de exibir o menu de contexto 14, da forma mostrada na figura 3B. Em decorrência desta operação, o menu de contexto 14 é exibido da forma mostrada na figura 3C. Como exposto, o usuário precisa tocar o painel sensível ao toque duas vezes com as pontas dos dedos, a fim de executar a função de exibir o menu de contexto 14.

Dado o supradescrito empecilho, existe a necessidade de um aparelho de processamento de informação operável por toque capaz de ter uma pluralidade de funções atribuídas à mesma posição tocada no painel sensível ao toque para realizar as funções desejadas pelo usuário rápida e facilmente.

Alguns aparelhos de processamento de informação operáveis por toque detectam o número de dedos que tocam o painel sensível ao toque, a fim de realizar diferentes funções, dependendo do número de dedos detectados (por exemplo, veja Patente Japonesa Aberta 2001-134382).

SUMÁRIO DA INVENÇÃO

Entretanto, nenhum dos aparelhos de processamento de informação operáveis por toque divulgados até aqui é desenhado para ter diferentes funções atribuídas à mesma posição tocada, dependendo do tipo do(s) dedo(s), para realizar as funções desejadas pelo usuário rápida e facilmente.

A presente invenção foi feita em vista das circunstâncias expostas e provê um aparelho de processamento de informação, entre outros, que pode ser operado pelo toque para executar as funções desejadas pelo usuário de uma maneira rápida e fácil.

Na realização da presente invenção, e de acordo com uma modalidade desta, é provido um aparelho de processamento de informação que inclui: uma unidade de detecçao para detectar a posição de um objeto que toca uma parte sensível ao toque como uma posição tocada; uma unidade de reconhecimento para reconhecer o tipo de dedo que toca a parte sensível ao toque com base na posição tocada e em uma imagem da parte sensível ao toque; uma unidade de busca para buscar através de uma tabela de função que define correspondências entre a posição tocada de pelo menos um dedo e o tipo deste, em uma mão, e uma função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão, a unidade de busca buscando a tabela de função pela função correspondente à posição tocada detectada pela unidade de detecção e ao tipo de dedo detectado pela unidade de reconhecimento; e uma unidade de execução configurada para executar a função detectada através da busca pela unidade de busca.

Um aparelho de processamento de informação e um programa de acordo com outras modalidades da presente invenção correspondem ao aparelho de processamento de informação inventivo exposto.

De acordo com a presente invenção incorporada da forma exposta, a posição de um objeto que toca uma parte sensível ao toque é detectada, primeiro, como uma posição tocada. Então, o tipo de dedo que toca a parte sensível ao toque é reconhecido com base na posição tocada e em uma imagem da parte sensível ao toque. Uma tabela de função é provida para definir correspondências entre a posição tocada de pelo menos um dedo e o tipo deste, em uma mão, e uma função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão. Busca-se, na tabela de função, a função correspondente à posição tocada detectada e ao tipo de dedo detectado. Então, a função detectada a partir da busca é executada.

Quando a presente invenção for implementada da forma exposta, um aparelho de processamento de informação operável por toque pode ser feito para executar as funções desejadas pelo usuário rápida e facilmente. BREVE DESCRIÇÃO DOS DESENHOS

As figuras 1A e 1B são vistas esquemáticas que mostram como um mouse é tipicamente operado;

as figuras 2A e 2B são vistas esquemáticas que mostram como operações de toque são usualmente realizadas;

as figuras 3A, 3B e 3C são vistas esquemáticas que mostram como operações de toque são tipicamente realizadas para exibir um menu de contexto;

a figura 4 é uma vista esquemática que mostra uma configuração típica de um sistema de processamento de informação como uma primeira modalidade da presente invenção;

a figura 5 é um diagrama de blocos que mostra uma estrutura de hardware típica de um aparelho de processamento de informação incluído na figura 4;

a figura 6 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada por uma CPU incluída na estrutura da figura 5;

as figuras 7A e 7B são vistas esquemáticas explicativas de funções típicas executadas quando a tabela de função da tabela 1 estiver armazenada;

a figura 8 é um fluxograma explicativo de um processo de execução de função realizado pela seção de processamento de execução de função mostrada na figura 6;

a figura 9 é uma vista esquemática que mostra uma configuração típica de um sistema de processamento de informação como uma segunda modalidade da presente invenção;

a figura 10 é um diagrama de blocos que mostra uma estrutura de hardware típica de um aparelho de processamento de informação incluído na figura 9; a figura 11 e um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada por uma CPU incluída na estrutura da figura 10;

as figuras 12A, 12B e 12C são vistas esquemáticas que mostram imagens típicas exibidas em uma HMD incluída na estrutura da figura 10;

a figura 13 é um fluxograma explicativo de um processo de exibição de rótulo realizado pela seção de processamento de execução de função da figura 11;

a figura 14 é um diagrama de blocos que mostra uma outra estrutura de hardware típica do aparelho de processamento de informação da figura 9;

a figura 15 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada por uma CPU incluída na estrutura da figura 14;

as figuras 16A e 16B são vistas esquemáticas que mostram imagens típicas exibidas em uma HMD incluída na estrutura da figura 14;

a figura 17 é um fluxograma explicativo de um processo de exibição de rótulo realizado pela seção de processamento de execução de função da figura 15;

a figura 18 é um fluxograma explicativo do processo de exibição de rótulo em continuação ao fluxograma da figura 17;

a figura 19 é uma vista esquemática que mostra uma configuração típica de um sistema de processamento de informação como uma terceira modalidade da presente invenção;

a figura 20 é um diagrama de blocos que mostra uma estrutura de hardware típica de um aparelho de processamento de informação incluído na figura 19;

a figura 21 é um diagrama de blocos que mostra uma estrutura detalhada típica de um monitor do painel sensível ao toque incluído na estrutura da figura 19;

a figura 22 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada por uma CPU incluída na estrutura da figura 20;

a figura 23 é um fluxograma explicativo de um processo de execução de função realizado pela seção de processamento de execução de função da figura 22;

a figura 24 é uma vista esquemática explicativa da informação de dedo; e

a figura 25 é uma vista esquemática explicativa de outra informação de dedo.

DESCRIÇÃO DETALHADA DAS MODALIDADES PREFERIDAS

[Configuração típica do sistema de processamento de informação como a primeira modalidade]

A figura 4 é uma vista esquemática que mostra uma configuração típica de um sistema de processamento de informação como a primeira modalidade da presente invenção.

Da forma mostrada na figura 4, um sistema de processamento de informação 30 é constituído por um aparelho de processamento de informação 31 e óculos 33 equipado com uma câmera 32. Na figura 4, aquelas partes já mostradas nas figuras IA até 3C são designadas pelos mesmos números de referência, e suas descrições serão omitidas a seguir quando redundantes.

Quando faz uso do sistema de processamento de informação 30, o usuário segura o aparelho de processamento de informação 31 e usa os óculos 33. O usuário realiza operações de toque no aparelho de processamento de informação 31 enquanto olha para o aparelho 31 através dos óculos 33.

No sistema de processamento de informação 30, o aparelho de processamento de informação 31 e a câmera 32 são interconectados. O aparelho de processamento de informação 31 pode ser operado pelo toque com as pontas dos dedos e é tipicamente fornecido com um monitor do painel sensível ao toque 41. O aparelho de processamento de informação 31 faz com que os ícones 13 ou congêneres apareçam no monitor do painel sensível ao toque 41. O usuário pega o aparelho de processamento de informação 31 para executar funções desejadas pela visualização dos ícones 13 ou congêneres e pelo toque nas posições relevantes do painel com as pontas dos dedos.

A câmera 32 anexada nos óculos 33 toma uma imagem que inclui o monitor do painel sensível ao toque 41. Esta unidade que a imagem, assim, toma inclui um dedo ou dedos em contato com o monitor do painel sensível ao toque 41. A câmera 32 transmite a imagem adquirida ao aparelho de processamento de informação 31.

[Estrutura de hardware típica do aparelho de processamento de informação]

A figura 5 é um diagrama de blocos que mostra uma estrutura de hardware típica do aparelho de processamento de informação incluído na figura 4.

Da forma mostrada na figura 5, um aparelho de processamento de informação 31 incorpora uma CPU (unidade central de processamento) 61. Uma ROM (memória exclusiva de leitura) 62 e uma RAM (memória de acesso aleatório) 63 são conectadas na CPU 61 por meio de um barramento 64. Também, a CPU 61 é conectada no monitor do painel sensível ao toque 41, nos botões de operação 66, nos alto-falantes 67, em uma seção de armazenamento 68, em uma seção de comunicação 69 e em uma unidade de disco 70 por meio do barramento 64 e de uma interface de entrada / saída 65.

A CPU 61 executa programas pré-instalados na ROM 62 de acordo com a informação da operação que chega dos botões de operação 66, que representa as operações do usuário. Alternativamente, a CPU 61 pode carregar programas pré-instalados a partir da seção de armazenamento 68 na RAM 63 para execução do programa. Desta maneira, a CPU 61 realiza processos indicados nos fluxogramas a serem posteriormente discutidos ou representados nos diagramas de blocos funcionais, também a serem descritos a seguir. Conforme necessário, a CPU 61 transmite o resultado de seu processamento, tipicamente, a partir do monitor do painel sensível ao toque 41 e/ou dos alto-falantes 67, por meio do barramento 64 e da interface de entrada / saida 65, transmite o resultado através da seção de comunicação 69, ou armazena ou de outra forma retém o resultado na seção de armazenamento 68.

O monitor do painel sensível ao toque 41 (dispositivo de detecção) é tipicamente constituído por um dispositivo de exibição 81, tais como um CRT (tubo de raios catódicos) ou uma LCD (tela de cristal líquido), e um painel sensível ao toque transparente incolor 82 (dispositivo de contato) disposto no dispositivo de exibição 81. O monitor do painel sensível ao toque 41 faz com que o dispositivo de exibição 81 exiba os ícones 13 ou congêneres em decorrência do processo realizado pela CPU 61. O monitor do painel sensível ao toque 41 sensoreia um objeto que toca o painel sensível ao toque 82 e alimenta a CPU 61 com o local que entra em contato com o objeto como a posição tocada.

Os botões de operação 66 são botões físicos a serem operados pelo usuário. Quando operados pelo usuário, os botões de operação 66 suprem a informação da operação que denota as operações do usuário à CPU 61. Os alto-falantes 67 transmitem sons que representam o resultado do processo realizado pela CPU 61.

Tipicamente, a seção de armazenamento 68 é composta por uma unidade de disco rígido (HDD) ou congêneres. Como tal, a seção de armazenamento 68 armazena uma tabela de função 91, informação de dedo 92 e outros dados. A tabela de função 91 é uma tabela que define correspondências entre a posição tocada e o tipo de cada dedo, em uma mão, e a função atribuída à combinação da posição tocada e do tipo de dedo em questão, em outra mão.

Considera-se que o polegar não está incluído nos dedos de que tratam esta modalidade. Isto é, esta modalidade é para uso com quatro dedos: dedo indicador, dedo médio, dedo anelar e dedo mínimo. A informação de dedo 92 é informação que identifica cada um dos dedos do usuário. Neste contexto, considera-se que a informação de dedo 92 seja uma imagem de cada um dos dedos do usuário ou informação para identificar a forma de cada dedo. Tipicamente, a informação de dedo 92 é armazenada em antecipação pelo usuário que toma uma imagem de cada um de seus dedos usando a câmera 32.

A seção de comunicação 69 comunica com um dispositivo externo, tal como a câmera 32. Por exemplo, a seção de comunicação 69 recebe imagens enviadas a partir da câmera 32 e alimenta as imagens recebidas na RAM 63 ou em qualquer outro local com propósitos de armazenamento.

Uma parte de mídia removível 71 é anexada na unidade de disco 70, conforme necessário. A unidade de disco 70 grava dados na mídia removível anexada 71 ou reproduz os dados ali gravados. Mídia removível típica 71 inclui discos flexíveis, CD-ROMs (Memória Exclusiva de Leitura em Disco Compacto), discos MO (magneto-ótico), DVDs (Disco Versátil Digital), discos magnéticos e memórias semicondutoras.

Os programas a serem executados pela CPU 61 podem ser armazenados (isto é, gravados) na mídia removível 71. Tal mídia removível 71 pode ser oferecida como assim denominado pacote de software. Neste caso, os programas são instalados no aparelho de processamento de informação 31 por meio da unidade de disco 70.

Alternativamente, os programas a serem executados pela CPU 61 podem ser descarregados por meio de redes de comunicação ou de difusão no aparelho de processamento de informação 31 e instalados na seção de armazenamento 68 no seu interior. Por exemplo, os programas podem ser transferidos de páginas da Internet de descarregamento ao aparelho de processamento de informação 31 de maneira sem fios por meio de um satélite de difusão digital ou de maneira com fios por meio de redes, tais como LAN (Rede de Área Local) e a Internet.

[Estrutura funcional típica do aparelho de processamento de informação]

A figura 6 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada pela CPU 61 do aparelho de processamento de informação 31.

Da forma mostrada na figura 6, uma seção de processamento de execução de função 100 é constituída por uma seção de aquisição de posição 101, uma seção de reconhecimento do tipo de dedo 102 (dispositivo de reconhecimento), uma seção de reconhecimento de função 103 (dispositivo de busca) e uma seção de execução 104 (dispositivo de execução). Em resposta a um toque com as pontas dos dedos no painel sensível ao toque 82, a seção de processamento de execução de função 100 executa a função atribuída à posição, no painel, do dedo que toca e ao tipo deste.

Mais especificamente, a seção de aquisição de posição 101 da seção de processamento de execução de função 100 adquire a posição tocada (por exemplo, em um ícone) alimentada a partir do monitor do painel sensível ao toque 41. A seção de aquisição de posição 101 supre a posição tocada assim adquirida à seção de reconhecimento do tipo de dedo 102 e à seção de reconhecimento de função 103.

Com base na imagem enviada a partir da câmera 32, na informação de dedo 92 armazenada antecipadamente na seção de armazenamento 68 e na posição tocada proveniente da seção de aquisição de posição 101, a seção de reconhecimento do tipo de dedo 102 reconhece o tipo do dedo que toca o painel sensível ao toque 82. Mais especificamente, se a imagem de cada dedo for armazenada como a informação de dedo 92, a seção de reconhecimento do tipo de dedo 102 faz a correspondência da informação de dedo 92 contra as circunvizinhanças da posição tocada na imagem enviada a partir da câmera 32 para reconhecer o tipo do dedo incluído na imagem da câmera 32. A seção de reconhecimento do tipo de dedo 102 prossegue para suprir o tipo de dedo reconhecido (por exemplo, dedo indicador) à seção de reconhecimento de função 103.

Por exemplo, o método de reconhecimento do tipo de dedo pode ser adaptado a partir da técnica discutida por Taehee Lee e Tobias Hollerer em "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking", em Proc. IEEE International Symposium on Wearable Computers (ISWC), Boston, MA, outubro de 2007.

A seção de reconhecimento de função 103 busca a tabela de função 91, armazenada antecipadamente na seção de armazenamento 68, pela função correspondente à posição tocada suprida a partir da seção de aquisição de posição 102 e, também, pelo tipo de dedo proveniente da seção de reconhecimento do tipo de dedo 102. A seção de reconhecimento de função 103 reconhece a função assim detectada a partir da busca como a função a ser executada, e envia a informação que representa a função à seção de execução 104.

A seção de execução 104 executa a função representada pela informação alimentada a partir da seção de reconhecimento de função 103.

[Explicação dos efeitos]

A tabela 1 é uma vista tabular que mostra um exemplo da tabela de função 91. As figuras 7A e 7B são vistas esquemáticas explicativas de funções típicas executadas quando a tabela de função 91 da tabela 1 estiver armazenada na seção de armazenamento 68.

Tabela 1

<table>table see original document page 13</column></row><table>

Da forma mostrada na tabela 1, a tabela de função 91 define correspondências entre a posição tocada e o tipo de cada dedo, em uma mão, e a função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão. No exemplo da tabela 1, é estabelecida uma correspondência entre a posição tocada "no ícone" e o tipo de dedo "dedo indicador", em uma mão, e a função "executa", em outra mão. No mesmo exemplo, uma correspondência também é estabelecida entre a posição tocada "no ícone" e o tipo de dedo "dedo médio", em uma mão, e a função "exibe menu", em outra mão.

Assim, da forma mostrada na figura 8A, quando o usuário, com seu dedo indicador, tocar aquela posição no painel sensível ao toque 82 que corresponde à posição de exibição do ícone 13, a função de executar a aplicação correspondente ao ícone 13 é realizada. E, da forma mostrada na figura 8B, quando o usuário, com seu dedo médio, tocar aquela posição no painel sensível ao toque 82 que corresponde à posição de exibição do ícone 13, a função de exibir o menu de contexto 14 é realizada.

Isto é, quando a tabela de função 91 mostrada na tabela 1 estiver armazenada na seção de armazenamento 68, a função a ser executada difere, dependendo se o dedo indicador ou o dedo médio é usado para tocar a mesma posição no painel sensível ao toque 82 que corresponde ao ícone 13. Nas figuras 7A e 7B, aquelas partes já mostradas nas figuras IA até 3C são designadas pelos mesmos números de referência, e suas descrições serão omitidas a seguir quando redundante.

No sistema de processamento de informação 30, como exposto, o monitor do painel sensível ao toque 41 sensoreia a posição do objeto que toca o painel sensível ao toque 82. Com base na posição tocada e na imagem do painel sensível ao toque 82, a seção de reconhecimento do tipo de dedo 102 reconhece o tipo do dedo que toca o painel sensível ao toque 82. A tabela de função 91 é provida para definir correspondências entre a posição tocada e o tipo de cada dedo, em uma mão, e a função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão. A seção de reconhecimento de função 103 busca a tabela de função 91 pela função correspondente à posição tocada assim detectada e ao tipo de dedo assim reconhecido. A seção de execução 104 executa a função detectada a partir da busca.

Assim, mesmo quando a mesma posição no painel sensível ao toque 82 for tocada com as pontas dos dedos, uma função diferente é executada, dependendo do tipo do dedo. Em decorrência disto, é possível aumentar o número de funções que podem ser executadas com uma única ação envolvendo um dedo que toca uma posição relevante no painel. Isto permite rápida e fácil execução das funções desejadas pelo usuário.

[Explicação do processo realizado pelo aparelho de processamento de informação]

A figura 8 é um fluxograma explicativo do processo de execução de função realizado pela seção de processamento de execução de função 100.

Na etapa Sll da figura 8, a seção de aquisição de posição 101 determina se um toque de um objeto no painel sensível ao toque 82 é detectado, isto é, se alguma posição tocada é suprida a partir do monitor do painel sensível ao toque 41.

Se for determinado, na etapa Sl 1, que um toque de um objeto no painel sensível ao toque 82 é detectado, então, a etapa S12 é alcançada. Na etapa S12, a seção de aquisição de posição 101 adquire a posição tocada a partir do monitor do painel sensível ao toque 41, e alimenta a posição tocada assim adquirida à seção de reconhecimento do tipo de dedo 102 e à seção de reconhecimento de função 103.

Na etapa S13, a seção de reconhecimento do tipo de dedo 102 adquire uma imagem enviada a partir da câmera 32.

Na etapa S14, a seção de reconhecimento do tipo de dedo 102 reconhece o tipo do dedo que toca o painel sensível ao toque 82 com base na informação de dedo 92 armazenada antecipadamente na seção de armazenamento 68, na imagem obtida a partir da câmera 32 e na posição tocada proveniente da seção de aquisição de posição 101. A seção de aquisição de tipo de dedo 102 envia o tipo de dedo assim reconhecido à seção de reconhecimento de função 103.

Na etapa S15, a seção de reconhecimento de função 103 busca a tabela de função 91 armazenada antecipadamente na seção de armazenamento 68 pela função correspondente à posição tocada alimentada a partir da seção de aquisição de posição IOle pelo tipo de dedo proveniente da seção de reconhecimento do tipo de dedo 102.

Na etapa S16, a seção de reconhecimento de função 103 determina se a função correspondente à posição tocada alimentada a partir da seção de aquisição de posição 101 e ao tipo de dedo proveniente da seção de reconhecimento do tipo de dedo 102 foi detectada a partir da busca. Se for determinado, na etapa S16, que a função foi detectada, a seção de reconhecimento de função 103 reconhece a função detectada como a função a ser executada, e supre à seção de execução 104 informação representativa daquela função. Então, o controle é transferido para a etapa S17.

Na etapa S17, a seção de execução 104 executa a função cuja informação foi alimentada a partir da seção de reconhecimento de função 103. Isto leva o processo de execução de função ao fim.

Se for determinado, na etapa Sl 1, que um toque de um objeto no painel sensível ao toque 82 ainda precisa ser detectado ou se for determinado, na etapa S16, que a função correspondente não foi encontrada, então, o processo de execução de função termina.

As etapas S15 até S17 da figura 8 são realizadas em relação a cada um dos tipos de dedo reconhecidos na etapa S14.

[Configuração típica do sistema de processamento de informação como a segunda modalidade]

A figura 9 é uma vista esquemática que mostra uma configuração típica de um sistema de processamento de informação como a segunda modalidade da presente invenção.

Na figura 9, aqueles componentes já mostrados na figura 4 são designados pelos mesmos números de referência e suas descrições serão omitidas a seguir quando redundantes.

A configuração de um sistema de processamento de informação 120 na figura 9 é diferente daquela do sistema de processamento de informação 30 da figura 4, primariamente, nos seguintes dois pontos: que o aparelho de processamento de informação 31 é substituído por um aparelho de processamento de informação 121 e que os óculos 33 são substituídos por uma tela montada na cabeça (HMD) 122.

Quando faz uso do sistema de processamento de informação 120, o usuário segura o aparelho de processamento de informação 121 e usa a HMD 122. O usuário não olha diretamente no aparelho de processamento de informação 121. Em vez disto, o usuário realiza operações de toque no aparelho de processamento de informação 121, ao mesmo tempo em que assiste aquelas imagens do aparelho 121 que são tomadas pela câmera 32 e que são exibidas na HMD 122.

No sistema de processamento de informação 120, o aparelho de processamento de informação 121 é conectado não apenas na câmera 32, mas, também, na HMD 122. Como com o aparelho de processamento de informação 31 da figura 4, o aparelho de processamento de informação 121 pode ser operado pelo toque com as pontas dos dedos e é fornecido com o monitor do painel sensível ao toque 41 ou congêneres. E, como o aparelho de processamento de informação 31 da figura 4, o aparelho de processamento de informação 121 faz com que o monitor do painel sensível ao toque 41 exiba ícones 13 ou congêneres. Também, com base na imagem tomada pela câmera 32, e enviada a partir dela, o aparelho de processamento de informação 121 reconhece a função a ser executada quando o dedo incluído na imagem tocar as circunvizinhanças da posição atual no monitor do painel sensível ao toque 41 e sobrepõe uma imagem de rótulo que representa aquela função na imagem do dedo. O aparelho de processamento de informação 121 transmite a imagem resultante à HMD 122 e faz com que a última exiba a imagem.

O usuário toca a posição relevante no painel com seu dedo enquanto visualiza o ícone 13, a imagem de rótulo e congêneres exibidos no monitor do painel sensível ao toque 41. A operação de toque faz com que o aparelho de processamento de informação 121 execute a função desejada.

A HMD 122 é conectada no aparelho de processamento de informação 121. A HMD 122 exibe as imagens enviadas a partir do aparelho de processamento de informação 121.

[Estrutura de hardware típica do aparelho de processamento de informação]

A figura 10 é um diagrama de blocos que mostra uma estrutura de hardware típica do aparelho de processamento de informação 121 da figura 9.

Na figura 10, aqueles componentes já mostrados na figura 5 são designados pelos mesmos números de referência, e suas descrições serão omitidas a seguir quando redundantes.

A estrutura do aparelho de processamento de informação 121 da figura 10 é diferente daquela da figura 5, primariamente, nos seguintes dois pontos: que a tabela de função 91 é substituída por uma tabela de rótulo de função 131 na seção de armazenamento 68 e que a seção de comunicação 69 é substituída por uma seção de comunicação 132.

A tabela de rótulo de função 131 define correspondências entre a posição tocada e o tipo de cada dedo, a função atribuída à combinação da posição tocada e do tipo do dedo em questão, e texto (informação de função) incluído na imagem de rótulo que representa aquela função.

A seção de comunicação 132 comunica com dispositivos externos, tais como a câmera 32 e a HMD 122. Por exemplo, a seção de comunicação 132 recebe imagens enviadas a partir da câmera 32 e encaminha as imagens recebidas à RAM 63 ou congêneres para armazenamento. Também, a seção de comunicação 132 recebe da CPU 61 as imagens que são enviadas a partir da câmera 32 ou cada uma das imagens sobrepostas com uma imagem de rótulo, e envia as imagens recebidas à HMD 122 para exibição.

[Estrutura funcional típica do aparelho de processamento de informação]

A figura 11 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada pela CPU 61 do aparelho de processamento de informação 121 da figura 10.

Na figura 11, aqueles componentes já mostrados na figura 6 são designados pelos mesmos números de referência e suas descrições serão omitidas a seguir quando redundantes.

A estrutura de uma seção de processamento de execução de função 140 da figura 11 é diferente daquela da figura 6, primariamente, nos seguintes dois pontos: que a seção de reconhecimento do tipo de dedo 102 é substituída por uma seção de reconhecimento de tipo de dedo 141 (dispositivo de reconhecimento) e que uma seção de controle de exibição do rótulo 142 (dispositivo de controle de exibição) é novamente provida.

Com base na imagem enviada a partir da câmera 32 e na informação de dedo 92 armazenada antecipadamente na seção de armazenamento 68, a seção de reconhecimento do tipo de dedo 141 da seção de processamento de execução de função 140 reconhece o tipo e a posição do dedo incluído na imagem. Isto é, com base na imagem da câmera 32 e na informação de dedo 92, a seção de reconhecimento do tipo de dedo 141 reconhece o tipo e a posição do dedo disposto no monitor do painel sensível ao toque 41. Então, a seção de reconhecimento do tipo de dedo 141 supre o tipo de dedo e a posição do dedo reconhecidos à seção de controle de exibição do rótulo 142.

Como com a seção de reconhecimento do tipo de dedo 102, a seção de reconhecimento do tipo de dedo 141 reconhece o tipo do dedo que toca o painel sensível ao toque 82 com base na imagem enviada a partir da câmera 32, na informação de dedo 92 e na posição tocada proveniente da seção de aquisição de posição 101.

Se o tipo e a posição do dedo disposto no monitor do painel sensível ao toque 41 forem reconhecidos antecipadamente, a seção de reconhecimento do tipo de dedo 141 pode ser arranjada para reconhecer o tipo do dedo que toca o painel sensível ao toque 82 pelo uso do tipo de dedo previamente reconhecido e sua posição. Neste caso, a seção de reconhecimento do tipo de dedo 141 reconhece, dentre os tipos dos dedos previamente reconhecidos dispostos no monitor do painel sensível ao toque 41, o tipo do dedo correspondente à posição tocada proveniente da seção de aquisição de posição 101 como o tipo do dedo que toca o painel sensível ao toque 82.

A seção de reconhecimento do tipo de dedo 141 supre à seção de reconhecimento de função 103 o tipo do dedo disposto no monitor do painel sensível ao toque 41.

A seção de controle de exibição do rótulo 142 busca a tabela de rótulo de função 131 armazenada antecipadamente na seção de armazenamento 68 pelo texto incluído em uma imagem de rótulo correspondente às circunvizinhanças da posição do dedo e ao tipo de dedo alimentado a partir da seção de reconhecimento do tipo de dedo 141. Com o texto detectado, a seção de controle de exibição do rótulo 142 gera uma imagem de rótulo do texto detectado. A seção de controle de exibição do rótulo 142 sobrepõe a imagem de rótulo correspondente à posição do dedo e ao tipo de dedo na posição do dedo da imagem enviada a partir da câmera 32 e encaminhada por meio da seção de reconhecimento do tipo de dedo 141. A seção de controle de exibição do rótulo 142 prossegue para controlar a seção de comunicação 132 para transmitir a imagem obtida através da sobreposição na HMD 122 para exibição.

[Tabela de rótulo de função típica]

A tabela 2 é uma vista tabular que mostra uma tabela de rótulo de função típica 131 incluída na estrutura da figura 10.

Tabela 2

<table>table see original document page 21</column></row><table>

Da forma mostrada na tabela 2, a tabela de rótulo de função 131 define correspondências entre a posição tocada e o tipo de cada dedo, a função atribuída à combinação da posição tocada e do tipo do dedo em questão, e texto incluído na imagem de rótulo que representa aquela função.

Mais especificamente, no exemplo da tabela 2, é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo indicador", a função "executa" e o texto "EXECUTA" incluído na imagem de rótulo. Também, é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo médio", a função "exibe menu" e o texto "MENU" incluído na imagem de rótulo.

Além do mais, é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo anelar", a função "copia" e o texto "COPIA" incluído na imagem de rótulo. E é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo mínimo", a função "exibe atributos" e o texto "ATRIBUTOS" incluído na imagem de rótulo. [Imagens típicas exibidas na HMD]

As figuras 12A, 12B e 12C são vistas esquemáticas que mostram imagens típicas exibidas na HMD 122 pelo aparelho de processamento de informação 121 da figura 10.

Para o exemplo mostrado nas figuras 12A até 12C, considera- se que a tabela de rótulo de função 131 indicada na tabela 2 está armazenada na seção de armazenamento 68.

Quando o usuário dispuser seu dedo indicador sobre as circunvizinhanças do ícone 13, da forma mostrada na figura 12A, a câmera 32 toma uma imagem que inclui o dedo indicador. Então, a tabela de rótulo de função 131 é buscada pelo texto "EXECUTA" incluído na imagem de rótulo correspondente ao dedo indicador e ao topo do ícone 13 representativo das circunvizinhanças da posição do dedo indicador. Faz-se com que a HMD 122 exiba uma imagem na qual uma imagem de rótulo 161 que inclui o texto "EXECUTA" é sobreposta na posição do dedo indicador.

Também, quando o usuário dispuser seu dedo médio sobre as circunvizinhanças do ícone 13, da forma mostrada na figura 12B, a câmera 32 toma uma imagem que inclui o dedo médio. Então, a tabela de rótulo de função 131 é buscada pelo texto "MENU" incluído na imagem de rótulo correspondente ao dedo médio e ao topo do ícone 13 representativo das circunvizinhanças da posição do dedo médio. Faz-se com que a HMD 122 exiba uma imagem na qual uma imagem de rótulo 162 que inclui o texto "MENU" é sobreposta na posição do dedo médio.

Além do mais, quando o usuário dispuser todos os seus dedos sobre as circunvizinhanças do ícone 13, da forma mostrada na figura 12C, a câmera 32 toma uma imagem que inclui todos os dedos. Então, a tabela de rótulo de função 131 é buscada pelo texto incluído na imagem de rótulo correspondente a todos os dedos e ao topo do ícone 13 representativo das circunvizinhanças das posições de todos os dedos. Em decorrência disto, da forma mostrada na figura 12C, faz-se com que a HMD 122 exiba uma imagem na qual a imagem de rótulo 161 que inclui o texto "EXECUTA", a imagem de rótulo 162 que inclui o texto "MENU", uma imagem de rótulo 163 que inclui o texto "COPIA", e uma imagem de rótulo 164 que inclui o texto "ATRIBUTOS" são sobrepostas, respectivamente, nas posições do dedo indicador, do dedo médio, do dedo anelar e do dedo mínimo.

Da forma descrita, o sistema de processamento de informação 120 faz com que a HMD 122 exiba a imagem de rótulo que representa a função executada quando um dado dedo disposto no monitor do painel sensível ao toque 41 tocar as circunvizinhanças da posição atual, a imagem de rótulo sendo sobreposta na posição do dedo na imagem que inclui o monitor do painel sensível ao toque 41. Assim, pela disposição de um dedo desejado na posição relevante do monitor do painel sensível ao toque 41, o usuário pode reconhecer prontamente a função a ser executada quando aquele dedo tocar as circunvizinhanças daquela posição no monitor. Consequentemente, o usuário pode realizar a função desejada mesmo quando não familiarizado com as funções atribuídas às combinações dos vários dedos e seus tipos. Desta maneira, o sistema de processamento de informação 120 permite que o usuário realize operações de toque notadamente mais simples quando faz uso da funcionalidade desejada.

[Explicação de um processo típico realizado pelo aparelho de processamento de informação]

A figura 13 é um fluxograma explicativo do processo de exibição de rótulo realizado pela seção de processamento de execução de função 140.

Na etapa S31, a seção de reconhecimento do tipo de dedo 141 adquire a imagem tomada pela câmera 32, e enviada a partir dela.

Na etapa S32, com base na informação de dedo 92 armazenada antecipadamente na seção de armazenamento 68 e na imagem adquirida a partir da câmera 32, a seção de reconhecimento do tipo de dedo 141 reconhece o tipo e a posição do dedo incluído na imagem. A seção de reconhecimento do tipo de dedo 141 supre o tipo de dedo e a posição do dedo assim reconhecidos à seção de controle de exibição do rótulo 142.

Na etapa S33, a seção de controle de exibição do rótulo 142 busca a tabela de rótulo de função 131 armazenada antecipadamente na seção de armazenamento 68 pelo texto incluído na imagem alimentada a partir da seção de reconhecimento do tipo de dedo 141 e correspondente às circunvizinhanças da posição do dedo e ao tipo de dedo.

Na etapa S34, a seção de controle de exibição do rótulo 142 determina se o texto incluído na imagem que vem da seção de reconhecimento do tipo de dedo 141 e correspondente às circunvizinhanças da posição do dedo e ao tipo de dedo foi detectado a partir da busca.

Se for determinado, na etapa S34, que o texto relevante foi detectado, então, a seção de controle de exibição do rótulo 142 gera uma imagem de rótulo que inclui o texto detectado e transfere o controle para a etapa S35.

Na etapa S35, a seção de controle de exibição do rótulo 142 sobrepõe a imagem de rótulo gerada na etapa S33 na posição do dedo alimentada a partir da seção de reconhecimento de função 103 na imagem enviada a partir da câmera 32. Então, o controle é transferido para a etapa S36.

Se, na etapa S34, for determinado que o texto não é detectado, então, nenhuma imagem de rótulo é sobreposta na imagem tomada pela câmera 32. Neste caso, o controle é transferido para a etapa S36.

As etapas S33 até S36 da figura 13 são realizadas em relação a cada um dos tipos de dedo reconhecidos na etapa S32.

Na etapa S36, a seção de controle de exibição do rótulo 142 controla a seção de comunicação 132 para transmitir tanto a imagem que foi enviada a partir da câmera 32, e na qual a imagem de rótulo não foi sobreposta nas etapas expostas, quanto a imagem que veio da câmera 32, e sobre a qual a imagem de rótulo foi sobreposta, à HMD 122 para exibição. Esta etapa leva o processo de exibição de rótulo ao fim.

O processo de execução de função realizado pela seção de processamento de execução de função 140 é o mesmo processo supraexplicado em relação à figura 8 e, assim, não será adicionalmente discutido.

[Uma outra estrutura de hardware típica do aparelho de processamento de informação]

A figura 14 é um diagrama de blocos que mostra uma outra estrutura de hardware típica do aparelho de processamento de informação 121 da figura 9.

Na figura 14, aqueles componentes já mostrados na figura 10 são designados pelos mesmos números de referência, e suas descrições serão omitidas a seguir quando redundantes.

A estrutura do aparelho de processamento de informação 121 da figura 14 é diferente daquela da figura 10, primariamente, no seguinte ponto: que a tabela de rótulo de função 131 é substituída por uma tabela de rótulo de função 170 na seção de armazenamento 68.

No aparelho de processamento de informação 121 da figura 14, funções são atribuídas não apenas à combinação da posição tocada e ao tipo de cada dedo, mas, também, à combinação das posições tocadas e dos tipos de uma pluralidade de dedos.

Mais especificamente, a tabela de rótulo de função 170 define correspondências entre as posições tocadas e os tipos de um ou mais dedos, a função atribuída à combinação das posições tocadas e dos tipos destes dedos, e o texto incluído em uma imagem de rótulo que representa aquela função.

[Estrutura funcional típica do aparelho de processamento de informação] A figura 15 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função 180 implementada pela CPU 61 do aparelho de processamento de informação 121 da figura 14.

Na figura 15, aqueles componentes já mostrados na figura 11 são designados pelos mesmos números de referência, e suas descrições serão omitidas a seguir quando redundantes.

A estrutura do aparelho de processamento de informação 180 na figura 15 é diferente daquela da figura 11, primariamente, nos seguintes dois pontos: que a seção de reconhecimento de função 103 é substituída por uma seção de reconhecimento de função 181 e que a seção de controle de exibição do rótulo 142 é substituída por uma seção de controle de exibição do rótulo 182.

Quando suprida com as posições tocadas de uma pluralidade de dedos provenientes da seção de aquisição de posição 101, a seção de reconhecimento de função 181 da seção de processamento de execução de função 180 calcula a distância entre cada um de dois dedos contíguos com base nas posições tocadas e nos tipos de dedo alimentados a partir da seção de reconhecimento do tipo de dedo 141. Como com a seção de controle de exibição do rótulo 182 a ser discutida a seguir, a seção de reconhecimento de função 181 determina se a pluralidade de dedos está associada com base nas distâncias calculadas.

Quando uma pluralidade de dedos que tocam o painel sensível ao toque 82 forem encontrados associados uns com os outros, a seção de reconhecimento de função 181 busca a tabela de rótulo de função 170 pela função correspondente às posições e aos tipos destes múltiplos dedos. Se um ou mais dedos que tocam o painel sensível ao toque 82 forem separados dos outros dedos, a seção de reconhecimento de função 181 busca a tabela de rótulo de função 170 pela função correspondente às posições e aos tipos dos dedos separados. A seçao de reconhecimento de função 181 reconhece a função detectada a partir da busca como a função a ser executada e envia informação que representa aquela função à seção de execução 104.

Quando suprida com as posições e tipos de uma pluralidade de dedos provenientes da seção de reconhecimento do tipo de dedo 141, a seção de controle de exibição do rótulo 182 calcula a distância entre cada um de dois dedos contíguos com base nas posições e tipos destes dedos. Com base nas distâncias assim calculadas, a seção de controle de exibição do rótulo 182 determina se a pluralidade de dedos são associados uns com os outros. Se a pluralidade de dedos forem dispostos no painel sensível ao toque 82 de uma maneira associada uns com os outros, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente às posições e aos tipos destes dedos. Se um ou mais dedos forem dispostos no painel sensível ao toque 82 de uma maneira separada dos outros dedos, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente às posições e aos tipos de dedos separados. A seção de controle de exibição do rótulo 182 prossegue para gerar a imagem de rótulo que inclui o texto detectado a partir da busca.

A seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo da função correspondente às posições e aos tipos dos múltiplos dedos associados em uma posição, na imagem enviada a partir da câmera 32, correspondente às posições destes dedos supridas a partir da seção de reconhecimento do tipo de dedo 141. Também, a seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo da função correspondente às posições e aos tipos de um ou mais dedos separados dos outro dedos na posição, na imagem enviada a partir da câmera 32, dos um ou mais dedos separados supridos a partir da seção de reconhecimento do tipo de dedo 141. Então, a seção de controle de exibição do rótulo 182 controla a seção de comunicação 132 para transmitir a imagem resultante da sobreposição na HMD 122 para exibição.

[Tabela de rótulo de função típica]

A tabela 3 é vista tabular que mostra uma tabela de rótulo de função típica 170 incluída na estrutura da figura 14.

<table>table see original document page 28</column></row><table>

Da forma mostrada na tabela 3, a tabela de rótulo de função 170 define correspondências entre a posição tocada e o tipo de pelo menos um dedo, a função atribuída à combinação da posição tocada do dedo e seu tipo, e texto incluído na imagem de rótulo que representa aquela função.

Mais especificamente, no exemplo da tabela 3, é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo indicador", a função "executa" e o texto "EXECUTA" incluído na imagem de rótulo. Também, é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo médio", a função "exibe menu" e o texto "MENU" incluído na imagem de rótulo. Além do mais, é estabelecida uma correspondência entre a posição tocada do dedo "no ícone", o tipo de dedo "dedo indicador e dedo médio", a função "copia" e o texto "COPIA" incluído na imagem de rótulo.

[Imagens típicas exibidas na HMD]

As figuras 16A e 16B são vistas esquemáticas que mostram imagens típicas exibidas na HMD 122 pelo aparelho de processamento de informação 121 da figura 14.

Para o exemplo das figuras 16A e 16B, considera-se que a tabela de rótulo de função 170 mostrada na tabela 3 está armazenada na seção de armazenamento 68. Também, nas figuras 16A e 16B, aquelas partes já mostradas nas figuras 12A até 12C são designadas pelos mesmos números de referência, e suas descrições serão omitidas a seguir quando redundantes.

Quando o usuário colocar seus dedo indicador e dedo médio, separados um do outro, sobre as circunvizinhanças do ícone 13, da forma mostrada na figura 16A, a câmera 32 toma uma imagem que inclui o dedo indicador e o dedo médio separados. Então, a tabela de rótulo de função 170 é buscada pelo texto "EXECUTA" incluído na imagem de rótulo correspondente ao dedo indicador e ao ícone 13 cuja cercania está sendo tocada pelo dedo indicador. A tabela de rótulo de função 170 também é buscada pelo texto "MENU" incluído na imagem de rótulo correspondente ao dedo médio e ao ícone 13 cuja cercania está sendo tocada pelo dedo médio. Então, faz-se com que a HMD 122 exiba uma imagem na qual a imagem de rótulo 161 que inclui o texto "EXECUTA" é sobreposta na posição do dedo indicador e na qual a imagem de rótulo 162 que inclui o caractere "MENU" é sobreposta na posição do dedo médio.

Também, quando o usuário colocar seus dedo indicador e dedo médio associados um com o outro sobre as circunvizinhanças do ícone 13, da forma mostrada na figura 16B, a câmera 32 toma uma imagem que inclui o dedo indicador e o dedo médio associados. A tabela de rótulo de função 170 é buscada pelo texto "COPIA" incluído na imagem de rótulo correspondente aos dedo indicador e dedo médio e ao ícone 13 cuja cercania está sendo tocada pelos dedo indicador e dedo médio. Então, faz-se com que a HMD 122 exiba uma imagem na qual a imagem de rótulo 163 que inclui o texto "COPIA" é sobreposta em uma posição correspondente aos dedo indicador e dedo médio associados (por exemplo, sobre o ponto médio entre o dedo indicador e o dedo médio, no exemplo das figuras 16A e 16B).

As figuras 17 e 18 são fluxogramas explicativos do processo de exibição de rótulo realizado pela seção de processamento de execução de funçao 180.

Na etapa S41, a seção de reconhecimento do tipo de dedo 141 adquire a imagem tomada pela câmera 32, e enviada a partir dela.

Na etapa S42, com base na informação de dedo 92 armazenada antecipadamente na seção de armazenamento 68 e na imagem adquirida a partir da câmera 32, a seção de reconhecimento do tipo de dedo 141 reconhece o tipo e a posição do dedo ou dos dedos incluídos na imagem. A seção de reconhecimento do tipo de dedo 141 supre o tipo de dedo e a posição do dedo assim reconhecidos à seção de controle de exibição do rótulo 182.

Na etapa S43, com base no tipo ou tipos de dedo alimentados a partir da seção de reconhecimento do tipo de dedo 141, a seção de controle de exibição do rótulo 182 determina se os tipos de uma pluralidade de dedos contíguos foram reconhecidos. Os tipos de dedos contíguos são constituídos por "dedo indicador e dedo médio", "dedo médio e dedo anelar", "dedo anelar e dedo mínimo", "dedo indicador, dedo médio e dedo anelar", "dedo médio, dedo anelar e dedo mínimo", ou "dedo indicador, dedo médio, dedo anelar e dedo mínimo".

Se for determinado, na etapa S43, que os tipos de uma pluralidade de dedos contíguos foram reconhecidos, então, a etapa S44 é alcançada. Na etapa S44, a seção de controle de exibição do rótulo 182 calcula a distância entre cada um de dois dedos contíguos com base nas posições dos dedos e seus tipos alimentados a partir da seção de reconhecimento do tipo de dedo 141. Mais especificamente, a seção de controle de exibição do rótulo 182 calcula a distância entre o dedo indicador e o dedo médio, entre o dedo médio e o dedo anelar, ou entre o dedo anelar e o dedo mínimo. Então, o controle é transferido para a etapa S45.

Se for determinado, na etapa S43, que os tipos de uma pluralidade de dedos contíguos não são reconhecidos, isto é, que o que é reconhecido é apenas um dos dedos, o dedo indicador juntamente com o dedo anelar, o dedo indicador juntamente com o dedo mínimo, ou o dedo médio juntamente com o dedo mínimo, então, o controle é transferido para a etapa S45.

Na etapa S45, a seção de controle de exibição do rótulo 182 toma o dedo indicador como o dedo alvo a ser processado.

Na etapa S46, a seção de controle de exibição do rótulo 182 determina se o tipo do dedo alvo foi reconhecido pela seção de reconhecimento do tipo de dedo 141, isto é, se o tipo do dedo alvo é suprido a partir da seção de reconhecimento do tipo de dedo 141.

Se for determinado, na etapa S46, que o tipo do dedo alvo foi reconhecido, então, a etapa S47 é alcançada. Na etapa S47, a seção de controle de exibição do rótulo 182 determina se o tipo do dedo à direita do dedo alvo é reconhecido pela seção de reconhecimento do tipo de dedo 141. Mais especificamente, se o dedo alvo for o dedo indicador, a seção de controle de exibição do rótulo 182 determina se o dedo médio é reconhecido. Se o dedo alvo for o dedo médio, a seção de controle de exibição do rótulo 182 determina se o dedo anelar é reconhecido. Se o dedo alvo for o dedo anelar, a seção de controle de exibição do rótulo 182 determina se o dedo mínimo é reconhecido.

Se for determinado, na etapa S47, que o tipo do dedo à direita do dedo alvo é reconhecido, então, a etapa S48 é alcançada. Na etapa S48, a seção de controle de exibição do rótulo 182 determina se a distância calculada na etapa S44 entre o dedo alvo e o dedo à direita do dedo alvo é menor que um valor limite.

Se for determinado, na etapa S48, que a distância entre o dedo alvo e o dedo à direita do dedo alvo não é menor que o valor limite, então, a seção de controle de exibição do rótulo 182 determina que o dedo alvo e o dedo à direita do dedo alvo não estão associados. Neste caso, o controle é transferido para a etapa S49. Se for determinado, na etapa S47, que o dedo à direita do dedo alvo não é reconhecido, então, o controle é transferido para a etapa S49.

Na etapa S49, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo alvo" e à posição tocada "circunvizinhanças da posição do dedo alvo". Isto é, se o tipo do dedo alvo for reconhecido, mas o tipo do dedo à direita do dedo alvo não for reconhecido, ou se tanto o tipo do dedo alvo quanto aquele do dedo à direita do dedo alvo forem reconhecidos, mas o dedo alvo e o dedo à direita do dedo alvo não estiverem associados, a tabela de rótulo de função 170 é buscada pelo texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo alvo" e à posição tocada "circunvizinhanças da posição do dedo alvo".

Na etapa S50, a seção de controle de exibição do rótulo 182 determina se o texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo alvo" e à posição tocada "circunvizinhanças da posição do dedo alvo" é detectado a partir da busca através da tabela de rótulo de função 170.

Se for determinado, na etapa S50, que o texto em questão é detectado, então, a seção de controle de exibição do rótulo 182 gera a imagem de rótulo que inclui o texto detectado, e transfere o controle para a etapa S 51.

Na etapa S51, a seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo que inclui o texto detectado na posição do dedo alvo na imagem enviada a partir da câmera 32. Então, o controle é transferido para a etapa S52.

Se for determinado, na etapa S50, que o texto em questão não é detectado, isto é, que o texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo alvo" e à posição tocada "circunvizinhanças da posição do dedo alvo" não é encontrado na tabela de rótulo de função 170, então, o controle é transferido para a etapa S52.

Se for determinado, na etapa S46, que o tipo do dedo alvo não é reconhecido pela seçao de reconhecimento do tipo de dedo 141, então, o controle também é transferido para a etapa S52.

Na etapa S52, a seção de controle de exibição do rótulo 182 determina se o dedo alvo é o dedo anelar. Se for determinado, na etapa S52, que o dedo alvo não é o dedo anelar, então, a etapa S53 é alcançada. Na etapa S53, a seção de controle de exibição do rótulo 182 toma o dedo à direita do dedo alvo atual como o novo dedo alvo, e transfere o controle de volta à etapa S46.

Quando as etapas S45 até S53 forem realizadas como exposto, cada uma da posição do dedo indicador ao longo do dedo médio, separado do dedo indicador, da posição do dedo médio ao longo do dedo indicador e do dedo anelar, ambos separados do dedo médio, e da posição do dedo anelar ao longo do dedo médio e do dedo mínimo, ambos separados do dedo anelar, são sobrepostas na imagem de rótulo da função atribuída à posição e ao tipo do dedo em questão.

Se for determinado, na etapa S52, que o dedo alvo é o dedo anelar, então, o controle é transferido para a etapa S68 da figura 18.

Se for determinado, na etapa S48, que a distância entre o dedo alvo e o dedo à direita do dedo alvo é menor que o valor limite, a seção de controle de exibição do rótulo 182 determina que o dedo alvo e o dedo à direita do dedo alvo estão associados um com o outro. Neste caso, o controle é transferido para a etapa S54.

Na etapa S54, a seção de controle de exibição do rótulo 182 determina se o dedo alvo é o dedo anelar. Se for determinado, na etapa S54, que o dedo alvo não é o dedo anelar, isto é, que o dedo alvo é ou o dedo indicador ou o dedo médio, então, o controle é transferido para a etapa S55.

Na etapa S55, a seção de controle de exibição do rótulo 182 determina se o tipo do dedo do segundo dedo à direita do dedo alvo é reconhecido pela seção de reconhecimento do tipo de dedo 141. Se o dedo alvo for o dedo indicador, o segundo dedo a direita do dedo alvo é o dedo anelar; se o dedo alvo for o dedo médio, o segundo dedo à direita do dedo alvo é o dedo mínimo.

Se for determinado, na etapa S55, que o tipo do dedo do segundo dedo à direita do dedo alvo é reconhecido, então, a etapa S61 da figura 18 é alcançada. Na etapa S61, a seção de controle de exibição do rótulo 182 determina se a distância entre o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo é menor que um valor limite. Mais especificamente, se o dedo alvo for o dedo indicador, a seção de controle de exibição do rótulo 182 determina se a distância calculada na etapa S44 entre o dedo médio e o dedo anelar é menor que o valor limite. Se o dedo alvo for o dedo médio, a seção de controle de exibição do rótulo 182 determina se a distância calculada na etapa S44 entre o dedo anelar e o dedo mínimo é menor que o valor limite.

Se for determinado, na etapa S61, que a distância entre o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo não é menor que o valor limite, a seção de controle de exibição do rótulo 182 determina que o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo são separados um do outro. Então, a seção de controle de exibição do rótulo 182 transfere o controle para a etapa S56 da figura 17.

Se for determinado, na etapa S54, que o dedo alvo é o dedo anelar ou se for determinado, na etapa S55, que o tipo do dedo do segundo dedo à direita do dedo alvo não é reconhecido, então, o controle é transferido para a etapa S56.

Na etapa S56, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo alvo e o dedo à direita do dedo alvo" e à posição tocada "circunvizinhanças da posição do dedo alvo e do dedo à direita do dedo alvo." Na etapa S57, determina-se se o texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo alvo e o dedo à direita do dedo alvo" e à posição tocada "circunvizinhanças da posição do dedo alvo e do dedo a direita do dedo alvo" é detectado a partir da busca.

Se for determinado, na etapa S57, que o texto em questão é detectado, a seção de controle de exibição do rótulo 182 gera a imagem de rótulo que inclui o texto detectado e transfere o controle para a etapa S58.

Na etapa S58, a seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo que inclui o texto detectado em uma posição correspondente ao dedo alvo e ao segundo dedo à direita do dedo alvo na imagem enviada a partir da câmera 32. Então, o controle é transferido para a etapa S59.

Se for determinado, na etapa S57, que o texto em questão não é detectado a partir da busca, o controle é transferido para a etapa S59.

Na etapa S59, a seção de controle de exibição do rótulo 182 determina se o dedo alvo é o dedo anelar. Se for determinado que o dedo alvo é o dedo anelar, então, o processo de exibição de rótulo é levado ao fim.

Se for determinado, na etapa S59, que o dedo alvo não é o dedo anelar, então, a etapa S60 é alcançada. Na etapa S60, a seção de controle de exibição do rótulo 182 toma o segundo dedo à direita do dedo alvo atual como o novo dedo alvo, e transfere o controle de volta à etapa S46.

Quando as etapas S54 até S61 forem realizadas como exposto, uma posição correspondente às posições de dois dedos associados "dedo indicador associado ao dedo médio apenas", "dedo médio associado ao dedo anelar apenas" ou "dedo anelar associado ao dedo mínimo apenas" é sobreposta na imagem de rótulo da função atribuída às circunvizinhanças daquela posição e aos tipos de dois dedos associados.

Se for determinado, na etapa S61 da figura 18, que a distância entre o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo é menor que o valor limite, a seção de controle de exibição do rótulo 182 determina que o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo são associados. Neste caso, o controle é transferido para a etapa S62.

Na etapa S62, a seçao de controle de exibição do rótulo 182 determina se o dedo alvo é o dedo médio. Se for determinado, na etapa S62, que o dedo alvo não é o dedo médio, isto é, que o dedo alvo é o dedo indicador, então, o controle é transferido para a etapa S63.

Na etapa S63, a seção de controle de exibição do rótulo 182 determina se o segundo dedo à direita do dedo alvo é reconhecido, isto é, se o dedo mínimo é reconhecido.

Se for determinado, na etapa S63, que o segundo dedo à direita do dedo alvo é reconhecido, então, a etapa S72 é alcançada. Na etapa S72, a seção de controle de exibição do rótulo 182 determina se a distância entre o segundo dedo à direita do dedo alvo e o terceiro dedo à direita do dedo alvo é menor que o valor limite. Isto é, a seção de controle de exibição do rótulo 182 determina se a distância calculada na etapa S44 da figura 17 entre o dedo anelar e o dedo mínimo é menor que o valor limite.

Se for determinado, na etapa S72, que a distância entre o segundo dedo à direita do dedo alvo e o terceiro dedo à direita do dedo alvo não é menor que o valor limite, a seção de controle de exibição do rótulo 182 determina que o dedo anelar e o dedo mínimo são separados um do outro. Neste caso, o controle é transferido para a etapa S64.

Se for determinado, na etapa S62, que o dedo alvo é o dedo médio ou se for determinado, na etapa S63, que o tipo do terceiro dedo à direita do dedo alvo não é reconhecido, então, o controle é transferido para a etapa S64.

Na etapa S64, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente aos tipos de dedo "dedo alvo, o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo" e às posições tocadas "circunvizinhanças das posições do dedo alvo, do dedo à direita do dedo alvo e do segundo dedo à direita do dedo alvo".

Na etapa S65, a seção de controle de exibição do rótulo 182 determina se o texto incluído na imagem de rótulo correspondente aos tipos de dedo "dedo alvo, o dedo à direita do dedo alvo e o segundo dedo à direita do dedo alvo" e às posições tocadas "circunvizinhanças das posições do dedo alvo, do dedo à direita do dedo alvo e do segundo dedo à direita do dedo alvo" é detectado a partir da busca.

Se for determinado, na etapa S65, que o texto em questão é detectado a partir da busca, a seção de controle de exibição do rótulo 182 gera a imagem de rótulo que inclui o texto detectado e transfere o controle para a etapa S66.

Na etapa S66, a seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo que inclui o texto detectado em uma posição correspondente às posições do dedo alvo, do dedo à direita do dedo alvo e do segundo dedo à direita do dedo alvo. Então, o controle é transferido para a etapa S67.

Se for determinado, na etapa S65, que o texto em questão não é detectado a partir da busca, então, o controle é transferido para a etapa S67.

Quando as etapas S61 até S66 e a etapa S72 forem realizadas como exposto, uma posição correspondente às posições de três dedos associados "o dedo indicador, o dedo médio e o dedo anelar associados separados do dedo mínimo" ou "o dedo médio, o dedo anelar e o dedo mínimo associados separados do dedo indicador" é sobreposta na imagem de rótulo da função atribuída às circunvizinhanças das posições dos três dedos associados e aos seus tipos.

Na etapa S67, a seção de controle de exibição do rótulo 182 determina se o dedo alvo é o dedo médio. Se for determinado, na etapa S67, que o dedo alvo é o dedo médio, o controle é transferido para a etapa S76. Se for determinado, na etapa S64, que o dedo alvo não é o dedo médio, isto é, que o dedo alvo é o dedo indicador, então, o controle é transferido para a etapa S68.

Na etapa S68, a seção de controle de exibição do rótulo 182 determina se o dedo mínimo é reconhecido como o tipo de dedo pela seção de reconhecimento do tipo de dedo 141.

Se for determinado, na etapa S69, que o dedo mínimo é reconhecido, então, a etapa S69 é alcançada. Na etapa S69, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo mínimo" e à posição tocada "circunvizinhanças da posição do dedo mínimo".

Na etapa S70, a seção de controle de exibição do rótulo 182 determina se o texto incluído na imagem de rótulo correspondente ao tipo de dedo "dedo mínimo" e à posição tocada "circunvizinhanças da posição do dedo mínimo" é detectado a partir da busca.

Se for determinado, na etapa S70, que o texto em questão é detectado a partir da busca, a seção de controle de exibição do rótulo 182 gera a imagem de rótulo que inclui o texto detectado e transfere o controle para a etapa S71.

Na etapa S71, a seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo que inclui o texto detectado na posição do dedo mínimo na imagem enviada a partir da câmera 32. Então, o controle é transferido para a etapa S76.

Se for determinado, na etapa S68, que o dedo mínimo não é reconhecido ou se for determinado, na etapa S 70, que o texto em questão não é detectado a partir da busca, então, o controle é transferido para a etapa S76.

Quando as etapas S68 até S71 forem realizadas como exposto, a posiçao do dedo mínimo separado do dedo anelar é sobreposta na imagem de rótulo da função atribuída às circunvizinhanças da posição do dedo mínimo e ao tipo de dedo "dedo mínimo".

Se for determinado, na etapa S72, que a distância entre o segundo dedo à direita do dedo alvo e o terceiro dedo à direita do dedo alvo é menor que o valor limite, a seção de controle de exibição do rótulo 182 determina que o dedo anelar e o dedo mínimo estão associados. Neste caso, o controle é transferido para a etapa S 73.

Na etapa S73, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente aos tipos de dedo "dedo alvo, o dedo à direita do dedo alvo, o segundo dedo à direita do dedo alvo e o terceiro dedo à direita do dedo alvo" e à posição tocada "circunvizinhanças das posições do dedo alvo, do dedo à direita do dedo alvo, do segundo dedo à direita do dedo alvo e do terceiro dedo à direita do dedo alvo". Isto é, a seção de controle de exibição do rótulo 182 busca a tabela de rótulo de função 170 pelo texto incluído na imagem de rótulo correspondente aos tipos de dedo "dedo indicador, dedo médio, dedo anelar e dedo mínimo" e à posição tocada "circunvizinhanças das posições do dedo indicador, do dedo médio, do dedo anelar e do dedo mínimo".

Na etapa S74, determina-se se o texto incluído na imagem de rótulo correspondente aos tipos de dedo "dedo alvo, o dedo à direita do dedo alvo, o segundo dedo à direita do dedo alvo e o terceiro dedo à direita do dedo alvo" e à posição tocada "circunvizinhanças das posições do dedo alvo, do dedo à direita do dedo alvo, do segundo dedo à direita do dedo alvo e do terceiro dedo à direita do dedo alvo" é detectado a partir da busca.

Se for determinado, na etapa S74, que o texto em questão é detectado a partir da busca, a seção de controle de exibição do rótulo 182 gera a imagem de rótulo que inclui o texto detectado e transfere o controle para a etapa S75.

Na etapa S75, a seção de controle de exibição do rótulo 182 sobrepõe a imagem de rótulo que inclui o texto detectado em uma posição correspondente às posições do dedo alvo, do dedo à direita do dedo alvo, do segundo dedo à direita do dedo alvo e do terceiro dedo à direita do dedo alvo. Então, o controle é transferido para a etapa S76.

Quando as etapas S72 até S75 forem realizadas como exposto, uma posição correspondente às posições do dedo indicador, do dedo médio, do dedo anelar e do dedo mínimo associados é sobreposta na imagem de rótulo da função atribuída às circunvizinhanças das posições destes dedos e aos tipos de dedo "dedo indicador, dedo médio, dedo anelar e dedo mínimo".

Se for determinado, na etapa S74, que o texto em questão não é detectado a partir da busca, então, o controle é transferido para a etapa S76.

Na etapa S76, a seção de controle de exibição do rótulo 182 controla a seção de comunicação 132 para transmitir tanto a imagem enviada a partir da câmera 32 e não sobreposta na imagem de rótulo resultante das etapas expostas quanto a imagem alimentada a partir da câmera 32 e sobreposta na imagem de rótulo resultante à HMD 122 para exibição. Isto leva o processo de exibição de rótulo ao fim.

Da forma supradescrita, o aparelho de processamento de informação 121 da figura 14 atribui as funções às combinações da posição tocada de um ou mais dedos e seus tipos. Comparado com configurações ordinárias nas quais as funções são atribuídas às combinações da posição tocada de um único dedo e seu tipo, o arranjo inventivo permite que mais funções sejam atribuídas à única ação de tocar uma posição relevante com as pontas dos dedos.

Também, no aparelho de processamento de informação 121 da figura 14, uma única posição correspondente às posições de uma pluralidade de dedos associados é sobreposta na imagem de rótulo da função correspondente às circunvizinhanças das posições destes dedos e aos seus tipos. Este arranjo provê maior visibilidade que configurações ordinárias nas quais a posição de cada dedo é sobreposta na imagem de rótulo.

O processo de execução de função realizado pela seção de processamento de execução de função 180 é o mesmo processo de execução de função supraexplicado em relação à figura 8, exceto em que se determina se uma pluralidade de dedos que tocam o painel estão associados e em que, se for determinado que a pluralidade de dedos está associada, o alvo a ser detectado a partir da busca no processo da figura 8 é substituído pela função correspondente aos tipos dos múltiplos dedos associados e às suas posições tocadas no painel. Assim, ilustrações adicionais do processo de execução de função realizado pela seção de processamento de execução de função 180 são omitidas dos desenhos anexos.

[Configuração típica do sistema de processamento de informação como a terceira modalidade]

A figura 19 é uma vista esquemática que mostra uma configuração típica de um sistema de processamento de informação como a terceira modalidade da presente invenção.

Na figura 19, aqueles componentes já mostrados na figura 4 são designados pelos mesmos números de referência e suas descrições serão omitidas a seguir quando redundantes.

A configuração de um sistema de processamento de informação 200 da figura 19 é diferente da configuração da figura 4, primariamente, nos seguintes dois pontos: que o aparelho de processamento de informação 31 é substituído por um aparelho de processamento de informação 201 e que os óculos 33 equipados com a câmera 32 são omitidos. O aparelho de processamento de informação 201 é fornecido com o aparato de tratamento de imagem provido pela câmera 32 mostrada nas figuras 4 e 10, de forma que, quando faz uso do sistema de processamento de informação 200, o usuário precisa apenas segurar o aparelho de processamento de informação 201.

No sistema de processamento de informação 200, o aparelho de processamento de informação 201 é um aparelho que pode ser operado pelo toque com as pontas dos dedos e inclui um monitor do painel sensível ao toque 211 ou congêneres. O monitor do painel sensível ao toque 211 tem a função de tratamento de imagem e a função de exibição. Tomando imagens do monitor do painel sensível ao toque 211 ou congêneres com sua função de tratamento de imagem, o monitor do painel sensível ao toque 211 sensoreia o tipo e a posição do dedo ou dedos que tocam o painel. Usando sua função de exibição, o monitor do painel sensível ao toque 211 exibe o ícone 13 ou congêneres. O monitor do painel sensível ao toque 211 será explicado com detalhes a seguir em relação à figura 21.

Olhando para o ícone 13 ou congêneres exibido no monitor do painel sensível ao toque 211, o usuário toca a posição relevante no painel com as pontas dos seus dedos, a fim de executar uma função desejada. Mais especificamente, com base na imagem tomada pelo monitor do painel sensível ao toque 211, o aparelho de processamento de informação 201 reconhece a posição e o tipo do dedo que toca o monitor do painel sensível ao toque 211. Então, o aparelho de processamento de informação 201 executa a função atribuída à posição e ao tipo do dedo em questão.

[Estrutura de hardware típica do aparelho de processamento de informação]

A figura 20 é um diagrama de blocos que mostra uma estrutura de hardware típica do aparelho de processamento de informação 201 incluído na figura 19.

Na figura 20, aqueles componentes já mostrados na figura 5 são designados pelos mesmos números de referência e suas descrições serão omitidas a seguir quando redundantes. A estrutura do aparelho de processamento de informação 201 da figura 20 é diferente da estrutura da figura 5, primariamente, nos seguintes dois pontos: que o monitor do painel sensível ao toque 41 é substituído por um monitor do painel sensível ao toque 211 e que a seção de comunicação 69 é substituída por uma seção de comunicação 212.

O monitor do painel sensível ao toque 211 toma uma imagem que inclui o monitor do painel sensível ao toque 211 e exibe a imagem assim tomada. A seção de comunicação 212 comunica com dispositivos externos não mostrados.

[Estrutura detalhada típica do monitor do painel sensível ao toque]

A figura 21 é um diagrama de blocos que mostra uma estrutura detalhada típica do monitor do painel sensível ao toque 211.

Da forma mostrada na figura 21, o monitor do painel sensível ao toque 211 é constituído por um painel de exibição de E/S 221, luzes de fundo 222, um circuito de acionamento de tela 223 e um circuito de acionamento receptor de luz 224.

O painel de exibição de E/S 221 é uma LCD na qual circuitos correspondentes a uma pluralidade de pixels são arranjados em forma de matriz para constituir uma área de exibição 22IA no centro do painel. O circuito correspondente a cada pixel é constituído por uma parte de pixel composta por um TFT (transistor em filme fino) e por cristal líquido que flanqueia eletrodos e por uma parte de sensor constituída por um sensor ótico, uma chave de reinicio, um capacitor, etc., formada pela mesma camada do TFT.

Sob o controle do circuito de acionamento de tela 223, a parte de pixel de cada pixel no painel de exibição de E/S 221 realiza operações seqüenciais em linha para exibir a imagem a partir da CPU 61 ou congêneres na área de exibição 221A. Também, sob o controle do circuito de acionamento receptor de luz 224, a parte de sensor de cada pixel no painel de exibição de E/S 221 realiza operações seqüenciais em linha para adquirir dados de recepção de luz. Isto é, as partes de pixel do painel de exibição de E/S 221 exibem imagens e as partes sensoras deste tomam imagens.

As luzes de fundo 222 servem como fontes de luz para o painel de exibição de E/S 221. Por exemplo, as luzes de fiindo 222 são formadas por uma pluralidade de diodos emissores de luz arranjados no painel. As luzes de fundo 222 ativam e desativam os diodos emissores de luz em alta velocidade em sincronismo com um sinal que é alimentado a partir do circuito de acionamento de tela 223 e que representa o sincronismo de operação do painel de exibição de E/S 221. As luzes de fundo 222 emitem dois tipos de luz: luz visível para exibir imagens e luz ultravioleta para tomar imagens.

Com base na imagem alimentada a partir da CPU 61 ou congêneres, o circuito de acionamento de tela 223 faz com que o painel de exibição de E/S 221 realize operações seqüenciais em linha a fim de exibir a imagem em questão na área de exibição 22IA. Também, o circuito de acionamento de tela 223 supre o sinal que representa o sincronismo das operações seqüenciais em linha às luzes de fundo 222.

O circuito de acionamento receptor de luz 224 faz com que o painel de exibição de E/S 221 realize operações seqüenciais em linha a fim de tomar imagens. Também, o circuito de acionamento receptor de luz 224 supre à CPU 61 a imagem composta dos dados de recepção de luz de cada pixel adquirido em decorrência do tratamento de imagem.

Incidentemente, explicações mais detalhadas do monitor do painel sensível ao toque 211 são encontradas na Patente Japonesa Aberta 2009-63803 depositada anteriormente por este requerente.

[Estrutura funcional típica do aparelho de processamento de informação]

A figura 22 é um diagrama de blocos que mostra uma estrutura funcional típica de uma seção de processamento de execução de função implementada pela CPU 61 do aparelho de processamento de informação 201.

A estrutura de uma seção de processamento de execução de função 240 é diferente da estrutura da figura 6, primariamente, nos seguintes dois pontos: que a seção de aquisição de posição 101 é substituída por uma seção de detecção de posição 241 (dispositivo de detecção) e que a seção de reconhecimento do tipo de dedo 102 é substituída por uma seção de reconhecimento do tipo de dedo 242.

A seção de detecção de posição 241 sensoreia a posição de um objeto que toca o monitor do painel sensível ao toque 211 como a posição tocada, tipicamente, com base no tamanho dos valores de pixel da imagem alimentada a partir do monitor do painel sensível ao toque 211. A seção de detecção de posição 241 supre a posição tocada assim detectada à seção de reconhecimento de função 103 e à seção de reconhecimento do tipo de dedo 242.

A seção de reconhecimento do tipo de dedo 242 reconhece o tipo do dedo que toca o monitor do painel sensível ao toque 211 com base na imagem suprida a partir do monitor do painel sensível ao toque 211, na informação de dedo 92 armazenada antecipadamente na seção de armazenamento 68 e na posição tocada proveniente da seção de detecção de posição 241. A seção de reconhecimento do tipo de dedo 242 alimenta o tipo de dedo reconhecido à seção de reconhecimento de função 103.

[Explicação de um processo realizado pelo aparelho de processamento de informação]

A figura 23 é um fluxograma explicativo do processo de execução de função realizado pela seção de processamento de execução de função 240.

Na etapa S81 da figura 23, a seção de detecção de posição 241 adquire a imagem suprida a partir do monitor do painel sensível ao toque 211.

Na etapa S82, a seção de detecção de posição 241 determina se um objeto está tocando o monitor do painel sensível ao toque 211, tipicamente, com base no tamanho dos valores de pixel da imagem alimentada a partir do monitor do painel sensível ao toque 211.

Se for determinado, na etapa S82, que um objeto está tocando o monitor do painel sensível ao toque 211, então, o controle é transferido para a etapa S83.

Na etapa S83, a seção de detecção de posição 241 sensoreia a posição do objeto que toca o monitor do painel sensível ao toque 211 como a posição tocada, tipicamente, com base no tamanho dos valores de pixel da imagem proveniente do monitor do painel sensível ao toque 211. A seção de detecção de posição 241 envia a posição tocada à seção de reconhecimento de função 103 e à seção de reconhecimento do tipo de dedo 242.

Na etapa S84, a seção de reconhecimento do tipo de dedo 242 reconhece o tipo do dedo que toca o monitor do painel sensível ao toque 211, com base na informação de dedo 92, na imagem do monitor do painel sensível ao toque 211 e na posição tocada proveniente da seção de detecção de posição 241. A seção de reconhecimento do tipo de dedo 242 supre o tipo de dedo reconhecido à seção de reconhecimento de função 103.

As etapas S85 até S87 são as mesmas etapas Sl5 até Sl7 da figura 8 e, assim, não serão adicionalmente discutidas.

Se for determinado, na etapa S82, que nenhum objeto está tocando o monitor do painel sensível ao toque 211, então, o processo de execução de função é levado ao fim.

[Outros exemplos da informação de dedo]

As figuras 24 e 25 são vistas esquemáticas explicativas de outros exemplos da informação de dedo 92.

Na descrição exposta, a informação de dedo 92 foi mostrada como a imagem de cada dedo ou a informação para identificar a forma de cada dedo. Alternativamente, da forma indicada na figura 24, o usuário pode ter seus dedos pintados com cores exclusivas em locais desejados (unhas, no exemplo da figura 24). Em um caso como este, a informação de cor pode ser usada como a informação de dedo 92.

Mais especificamente, no exemplo da figura 24, o usuário tem a unha de seu dedo indicador pintada com uma cor 301 diferente de uma cor 302 pintada na unha do dedo médio. Neste caso, o aparelho de processamento de informação 31 (120, 201) estabelece correspondências entre a cor 301 e o tipo de dedo "dedo indicador" e entre a cor 302 e o tipo de dedo "dedo médio", e armazena uma tabela destas correspondências como a informação de dedo 92. Então, o aparelho de processamento de informação 31 (121, 201) pode reconhecer o tipo de dedo buscando a informação de dedo 92 em relação ao tipo do dedo correspondente à cor da imagem tomada pela câmera 32 (monitor do painel sensível ao toque 211).

Também, da forma mostrada na figura 25, o usuário pode ter seus dedos colados com marcadores, tais como pedaços de papel, em locais desejados (unhas, no exemplo da figura 25), cada um dos marcadores tendo uma marcação exclusivamente posicionada desenhada em si. Em um caso como este, a informação que denota as posições das marcações nos marcadores pode ser usada como a informação de dedo 92.

Mais especificamente, no exemplo da figura 25, o usuário tem a unha de seu dedo indicador colada com um marcador 311 com uma marcação 311A desenhada no centro da base deste, e tem a unha de seu dedo médio colada com um marcador 312 com uma marcação 312A desenhada no centro do topo deste. Neste caso, o aparelho de processamento de informação 31 (121, 201) estabelece correspondências entre a posição "centro da base" da marcação 311A no marcador 311 e o tipo de dedo "dedo indicador", e entre a posição "centro do topo" da marcação 312A no marcador 312 e o tipo de dedo "dedo médio", e armazena uma tabela destas correspondências como a informação de dedo 92. Então, o aparelho de processamento de informação 31 (121, 201) pode extrair o marcador 311 (312) a partir da imagem tomada pela câmera 32 (monitor do painel sensível ao toque 211) e reconhece o tipo de dedo buscando a informação de dedo 92 em relação ao tipo do dedo correspondente à posição da marcação 31IA (312A) no marcador extraído 311 (312).

A informação de dedo 92 supraexplicada em relação às figuras 24 e 25 pode ser estabelecida antecipadamente ou pode ser posteriormente definida pelo usuário.

A tabela de função 91 e a tabela de rótulo de função 131 (170) podem ser estabelecidas pelo usuário. Neste caso, permite-se que o usuário customize as funções a serem atribuídas às combinações dos tipos de dedos com suas posições tocadas.

Nesta especificação, as etapas ou processos realizados por um computador de acordo com programas relevantes não precisam prosseguir na seqüência representada nos fluxogramas (isto é, com base em uma série temporal). Isto é, tais etapas ou processos também podem incluir etapas ou processos que são conduzidos paralela ou individualmente (por exemplo, de maneira em paralelo ou orientada a objeto).

Os programas podem ser processados por um único computador ou por uma pluralidade de computadores em uma base distribuída. O programa também pode ser transferido a um computador ou computadores remotos para execução.

Nesta especificação, o termo "sistema" diz respeito à íntegra de uma configuração constituída por uma pluralidade de dispositivos ou aparelhos componentes.

Versados na técnica entendem que várias modificações, combinações, subcombinações e alterações podem ocorrer, dependendo das exigências de desenho e de outros fatores à medida que elas caem no escopo das reivindicações anexas ou dos equivalentes destas. O presente pedido contém assunto em questão relacionado àquele divulgado no Pedido de Patente de Prioridade Japonês JP 2010- 044611, depositado no Escritório de Patente japonês, em 1° de março de 2010, cuja íntegra do conteúdo é, pelo presente, incorporada pela referência.

Versados na técnica entendem que várias modificações, combinações, subcombinações e alterações podem ocorrer, dependendo das exigências de desenho e de outros fatores à medida que elas caem no escopo das reivindicações anexas ou dos equivalentes destas.

Claims

1. Aparelho de processamento de informação, caracterizado pelo fato de que compreende: uma unidade de detecção para detectar a posição de um objeto que toca uma parte sensível ao toque como uma posição tocada; uma unidade de reconhecimento para reconhecer o tipo de dedo que toca a dita parte sensível ao toque com base na dita posição tocada e em uma imagem da dita parte sensível ao toque; uma unidade de busca para buscar através de uma tabela de função que define correspondências entre a posição tocada de pelo menos um dedo e o tipo do mesmo, em uma mão, e uma função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão, a dita unidade de busca buscando a dita tabela de função pela função correspondente à dita posição tocada detectada pela dita unidade de detecção e ao tipo de dedo detectado pela dita unidade de reconhecimento; e uma unidade de execução para executar a dita função detectada através da busca pela dita unidade de busca.

2. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a dita unidade de detecção sensoreia o dito objeto que toca a dita parte sensível ao toque para detectar a posição do toque como a dita posição tocada.

3. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a dita unidade de detecção sensoreia a dita posição tocada com base na dita imagem da dita parte sensível ao toque.

4. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de controle de exibição para exibir a dita imagem da dita parte sensível ao toque; em que a dita tabela de função define correspondências entre a posição tocada e o tipo do pelo menos um dedo, a função atribuída à combinação da posição tocada e do tipo de dedo, e informação de função representativa da função atribuída; a dita unidade de reconhecimento reconhece o tipo e a posição do dedo disposto na dita parte sensível ao toque com base na dita imagem da dita parte sensível ao toque; e a dita unidade de controle de exibição busca a dita tabela de função pela informação de função correspondente às circunvizinhanças da posição do dedo e ao dito tipo de dedo reconhecido pela dita unidade de reconhecimento, a dita unidade de controle de exibição sobrepondo adicionalmente uma imagem da dita informação de função na dita posição do dedo na dita imagem da dita parte sensível ao toque.

5. Aparelho de processamento de informação de acordo com a reivindicação 4, caracterizado pelo fato de que, se uma pluralidade de dedos for associadamente disposta na dita parte sensível ao toque, a dita unidade de controle de exibição busca a dita tabela de função pela informação de função correspondente às circunvizinhanças das posições da dita pluralidade de dedos e aos tipos dos mesmos, a dita unidade de controle de exibição sobrepondo adicionalmente uma imagem da dita informação de função em uma posição correspondente às posições da dita pluralidade de dedos na dita imagem da dita parte sensível ao toque.

6. Método de processamento de informação para uso com um aparelho de processamento de informação com uma parte sensível ao toque, caracterizado pelo fato de que o dito método de processamento de informação compreende as etapas de: detectar a posição de um objeto que toca dita parte sensível ao toque como uma posição tocada; reconhecer o tipo de dedo que toca a dita parte sensível ao toque com base na dita posição tocada e em uma imagem da dita parte sensível ao toque; buscar através de uma tabela de função que define correspondências entre a posição tocada de pelo menos um dedo e o tipo do mesmo, em uma mão, e uma função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão, a dita tabela de função sendo buscada pela função correspondente à dita posição tocada detectada na dita etapa de detecção e ao tipo de dedo detectado na dita etapa de reconhecimento; e executar a dita função detectada através da busca na dita etapa de busca.

7. Programa para fazer com que um computador execute um procedimento, caracterizado pelo fato de que compreende as etapas de: detectar a posição de um objeto que toca uma parte sensível ao toque como uma posição tocada; reconhecer o tipo de dedo que toca a dita parte sensível ao toque com base na dita posição tocada e em uma imagem da dita parte sensível ao toque; buscar através de uma tabela de função que define correspondências entre a posição tocada de pelo menos um dedo e o tipo deste, em uma mão, e uma função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão, a dita tabela de função sendo buscada pela função correspondente à dita posição tocada detectada na dita etapa de detecção e ao tipo de dedo detectado na dita etapa de reconhecimento; e executar a dita função detectada através da busca na dita etapa de busca.

8. Aparelho de processamento de informação, caracterizado pelo fato de que compreende: uma seção de detecção configurada para detectar a posição de um objeto que toca uma parte sensível ao toque como uma posição tocada; uma seção de reconhecimento configurada para reconhecer o tipo de dedo que toca a dita parte sensível ao toque com base na dita posição tocada e em uma imagem da dita parte sensível ao toque; uma seção de busca configurada para buscar através de uma tabela de função que define correspondências entre a posição tocada de pelo menos um dedo e o tipo deste, em uma mão, e uma função atribuída à combinação da posição tocada e do tipo de dedo, em outra mão, a dita seção de busca buscando a dita tabela de função pela função correspondente à dita posição tocada detectada pela dita seção de detecção e ao tipo de dedo detectado pela dita seção de reconhecimento; e uma seção de execução configurada para executar a dita função detectada através da busca pela dita seção de busca.