BR102012007393A2

BR102012007393A2 - Dispositivo de controle de exibição, método, e, meio legível por computador

Info

Publication number: BR102012007393A2
Application number: BRBR102012007393-5A
Authority: BR
Inventors: Shunichi Kasahara
Original assignee: Sony Corp
Priority date: 2011-04-08
Filing date: 2012-03-30
Publication date: 2015-06-16
Also published as: RU2012112464A; JP2012221249A; JP5741160B2; US20120256956A1; US9836263B2; EP2508975A3; EP2508975B1; CN102750118A; CN102750118B; EP2508975A2

Abstract

"dispositivo de controle de exibição, método, e, meio legível por computador" os aspectos da presente invenção incluem um dispositivo de controle de exibição compreendendo uma unidade de determinação configurada para determinar uma orientação de um objeto real em uma imagem de espaço real. O dispositivo pode também compreender uma unidade de controle, configurada para selecionar entre as primeira e segunda orientações de um objeto virtual, baseado na orientação do objeto real, uma das primeira ou segunda orientações de objeto virtual alinhando o objeto virtual com a orientação do objeto real, e emitir uma imagem do objeto virtual com base na orientação selecionada, para exibir em um dispositivo de exibição associado.

Description

“DISPOSITIVO DE CONTROLE DE EXIBIÇÃO, MÉTODO, E, MEIO LEGÍVEL POR COMPUTADOR” PEDIDO RELACIONADO A presente descrição contém assunto relacionado com aquele descrito no Pedido de Patente Prioritário Japonês JP 2011-086679, depositado no Japan Patent Office em 8 de abril de 2011, cujo inteiro conteúdo é por este meio incorporado por referência.

FUNDAMENTOS DA INVENÇÃO A presente descrição refere-se a um dispositivo de controle de exibição, um método de controle de exibição e um programa. A tecnologia de reconhecimento ,de imagem tomou-se mais avançada recentemente, possibilitando o reconhecimento da posição ou postura de um objeto real (p. ex., um objeto tal como uma placa de sinal ou prédio) contido em uma imagem de entrada de um dispositivo de formação de imagem. Como um exemplo de aplicação de tal reconhecimento de objeto, uma aplicação AR (Realidade Aumentada) é conhecida. De acordo com a aplicação AR, é possível superpor um objeto virtual (p. ex., informação publicidade, informação de navegação ou informação para um jogo) associado com um objeto real sobre o objeto real contido em uma imagem espacial real. Observe-se que a aplicação AR é descrita na Publicação de Pedido de Patente Não examinada No. 2010-49158, por exemplo.

Entretanto, o objeto virtual tende a ser adicionado ao objeto real em uma postura uniforme relativa ao objeto real. Portanto, a visibilidade do objeto virtual é prejudicada em alguns casos dependendo da postura do objeto real.

SUMÁRIO DA INVENÇÃO À luz do precedente, a presente descrição propõe um novo e aperfeiçoado dispositivo de controle de exibição, método e programa de controle de exibição, que possibilitam a melhoria da visibilidade de um objeto virtual.

Os aspectos da presente invenção incluem um dispositivo de controle de exibição compreendendo uma unidade de determinação, configurada para determinar uma orientação de um objeto real em uma imagem de espaço real. O dispositivo pode também compreender uma unidade de controle, configurada para selecionar entre primeira e segunda orientações de objeto virtual, alinhando-se o objeto virtual com a orientação do objeto real e emitir uma imagem do objeto virtual com base na orientação selecionada, para exibição em um dispositivo de exibição associado.

Aspectos da presente invenção incluem ainda um método compreendendo determinar uma orientação de, um objeto real em uma imagem de espaço real. O método pode ainda compreender selecionar entre primeira e segunda orientações de um objeto virtual baseado na orientação do objeto real, um das primeira ou segunda orientações de objeto virtual alinhando o objeto virtual com a orientação do objeto real e emitindo uma imagem do objeto virtual com base na orientação selecionada, para exibir em um dispositivo de de exibição associado.

Aspectos da presente invenção incluem ainda um meio legível por computador não-trasitório tangivelmente corporificado, armazenando instruções que, quando executadas por um processador, realiza um método compreendendo determinar uma orientação de um objeto real em uma imagem de espaço real, selecionar entre primeira e segunda orientações de um objeto virtual baseado na orientação do objeto real, uma das primeira ou segunda orientações de objeto virtual alinhando o objeto virtual com a orientação do objeto real e emitindo uma imagem do objeto virtual com base na orientação selecionada, para exibição em um dispositivo de exibição associado.

Como descrito acima, o dispositivo de controle de exibição, o método de controle de exibição e o programa de acordo com as formas de realização da presente descrição possibilitam melhoria da visibilidade de um objeto virtual.

BREVE DESCRIÇÃO DOS DESENHOS A Fig. 1 é uma vista explanatória mostrando uma configuração de um sistema AR de acordo com a presente descrição. A Fig. 2 é uma vista explanatória mostrando um exemplo específico de uma imagem espacial real, a que um objeto virtual é adicionado; A Fig. 3 é uma vista explanatória mostrando um exemplo comparativo da presente descrição. A Fig. 4 é uma vista explanatória mostrando uma configuração de hardware de um terminal móvel; A Fig. 5 é um diagrama de bloco mostrando uma configuração de um terminal móvel de acordo com a primeira forma de realização. A Fig. 6 é uma vista explanatória mostrando um estado de faceamento frontal de um objeto real; A Fig. 7 é uma vista mostrando um estado em que um plano de um objeto real girou e tomo de um eixo geométrico-y; A Fig. 8 é uma vista mostrando um exemplo de adição de um gráfico de rótulo em uma imagem de espaço real, de acordo com a primeira forma de realização; A Fig. 9 é uma vista mostrando outro exemplo de adição de um gráfico de rótulo em uma imagem de espaço real de acordo com a primeira forma de realização; A Fig. 10 é uma vista mostrando a adição de um gráfico de rótulo quando há uma pluralidade de objetos reais; A Fig. 11 é uma vista mostrando um estado e que um plano de um objeto real girou em tomo do eixo geométrico-x; A Fig. 12 é uma vista mostrando um exemplo de adição de um gráfico de rótulo em uma imagem de espaço real, de acordo com a primeira forma de realização; A Fig. 13 é um fluxograma mostrando uma operação de um terminal móvel de acordo com a primeira forma de realização; A Fig. 14 é uma vista mostrando uma configuração de um sistema AR de acordo com uma segunda forma de realização da presente descrição; A Fig. 15 é um diagrama de blocos mostrando uma configuração de um terminal móvel de acordo com a segunda forma de realização da presente descrição; A Fig. 16 é uma vista mostrando um exemplo de adição de um gráfico de rótulo em uma imagem de espaço real de acordo com a segunda forma de realização; A Fig. 17 é uma vista mostrando um exemplo de adição de um gráfico de rótulo a outra imagem de espaço real de acordo com a segunda forma de realização; A Fig. 18 é uma vista mostrando um exemplo de adição de um gráfico der rótulo a uma imagem de espaço real de acordo com um exemplo alternativo da segunda forma de realização; e A Fig. 19 é uma vista mostrando uma configuração de um sistema AR de acordo com a terceira forma de realização da presente descrição.

DESCRIÇÃO DETALHADA DAS FORMAS DE REALIZAÇÃO A seguir, as formas de realização da presente descrição serão descritas em detalhe com referência aos desenhos anexos. Observe-se que, neste relatório e nos desenhos anexos, elementos estruturais que têm substancialimente a mesma função e estrutura são indicados com os mesmos numerais de referência e explanação repetida destes elementos estruturais é omitida.

Neste relatório e nos desenhos, cada um de uma pluralidade de elementos estruturais tendo substancialmente a mesma função é distinguido afixando-se uma diferente letra alfabética ao mesmo numeral de referência em alguns casos. Entretanto, quando não há necessidade particular para distinguir entre uma pluralidade de elementos estruturais tendo substancialmente a mesma função, eles são indicados somente pelo mesmo numeral de referência.

Além disso, a “Descrição das Formas de Realização” será provida na seguinte ordem: 1. Resumo do Sistema AR 2. Descrição das Formas de Realização 2.1 Primeira Forma de Realização 2.2 Segunda Forma de Realização 2.3 Terceira Forma de Realização 3. Resumo 1. Resumo do Sistema AR O sistema AR de acordo com a presente descrição pode ser implementado em várias formas de realização como descrito em detalhe em “2.1. Primeira Forma de Realização” a 2.3. Terceira Forma de Realização” por meio de ilustração. Além disso, um dispositivo de controle de exibição (terminal móvel 20, servidor AR 30), que constitui o sistema AR de acordo com cada forma de realização, pode incluir: A. uma unidade de controle (241, 242) que pode controlar a exibição de um objeto virtual correspondendo a um objeto real, contido em uma imagem de espaço real, e B. a unidade de controle pode mudar a postura (ou, equivalentemente, a “orientação”) do objeto virtual relativo ao objeto rei, dependendo da postura do objeto real na imagem de espaço real. A seguir, uma configuração básica do sistema AR comum a cada uma das formas de realização é descrita primeiramente por referência às Figs. 1 e 2. A Fig. 1 é uma vista mostrando uma configuração de um sistema AR de acordo com a presente descrição. Como mostrado na Fig.l, o sistema AR de acordo com a presente descrição pode incluir um terminal móvel 20 tendo uma função de formação de imagem. O terminal móvel 20 pode capturar uma imagem de espaço real, adicionar um objeto virtual correspondendo a um objeto real contido na imagem de espaço real à imagem de espaço real e exibir a imagem de espaço real com o objeto virtual adicionado em um exibi dor 26.

Por exemplo, quando o objeto real, capturado pelo terminal móvel 20 é uma tabela de tempo 40A mostrando os tempos de trem como mostrado na Fig. 1, o terminal móvel 20 pode exibir uma imagem de espaço real a que um objeto virtual, correspondendo à tabela de tempo 40A, é adicionado no exibidor 26. A imagem de espaço real a que o objeto virtual é adicionado é especificamente descrita a seguir por referência à Fig. 2. A Fig. 2 é uma vista mostrando um exemplo de uma imagem de espaço real a que um objeto virtual é adicionado. Como mostrado na Fig. 2, uma imagem de espaço real P contém a tabela de tempo 40A, que é um objeto real, e um gráfico de rótulo 50A, que é um objeto real, adicionado à tabela de tempo 40A. Como mostrado na Fig. 2, o gráfico de rótulo 50A pode ser adicionado no mesmo plano que a tabela de tempo 40A, por exemplo. Olhando na imagem de espaço real com o objeto virtual adicionado, o usuário pode ser informado de informação que não é diretamente obtenível do espaço real (no caso da Fig. 2, informação indicando que o objeto real é uma tabela de tempo, por exemplo).

Além disso, o usuário pode mudar a exibição do objeto virtual contido na imagem de espaço real conduzindo uma operação sobre a tela de exibição. Por exemplo, quando uma pluralidade de objetos virtuais é associada com um objeto real, o terminal móvel 20 pode mudar o objeto virtual a ser exibido entre a pluralidade de objetos virtuais, de acordo com, por exemplo, uma operação de usuário. Para sermos mais específicos, quando o gráfico de rótulo SOA e um objeto virtual mostrando um mapa de área são associados com a tabela de tempo 40A, o terminal móvel 20 pode superpor o objeto virtual mostrando o mapa de área sobre a exibição da tabela de tempo 40A, de acordo com uma operação de usuário.

Observe-se que, quando uma pluralidade de objetos virtuais é associada com um objeto real, como descrito acima, o terminal móvel 20 pode adicionar um gráfico de rótulo, tal como um gráfico de etiqueta, por exemplo, que identifica o objeto virtual associado com objeto real. Por exemplo, o terminal móvel 20 pode adicionar um gráfico de etiqueta contendo “mapa de área” de informação de texto à tabela de tempo 40A, além do gráfico de rótulo 50A.

Embora a tabela de tempo 40A postada na parede seja descrita acima como um exemplo do objeto real, um guia de saída 40B, colocado sobre o piso mostrado na Fig. 1, pode ser tratado da mesma maneira que o objeto real. Além disso, o objeto real pode ser um objeto tal como uma placa de sinal, um prédio, um veículo, um produto alimentício ou um brinquedo, ou um padrão de identificação, tal como um código QR ou um marcador AR.

Além disso, embora um telefone inteligente seja mostrado como um exemplo do terminal móvel 20 na Fig. 1, o terminal móvel 20 não é limitado ao telefone inteligente. Por exemplo, o terminal móvel 20 pode ser um PDA (Assistente Digital Pessoal), telefone móvel, um dispositivo de reprodução de música portátil, um dispositivo de processamento de vídeo portátil ou uma máquina de jogar portátil ou numerosos outros dispositivos adequados com capacidade de exibição. Além disso, o terminal móvel 20 e apenas um exemplo de um dispositivo de controle de exibição e o dispositivo de controle de exibição pode ser um servidor instalado no lado da rede.

Incidentalmente, quando o gráfico de rótulo acima descrito 50 é adicionado no mesmo plano que o objeto real 40, a visibilidade e operabilidade do gráfico de rótulo 50 são prejudicadas e alguns casos. Por exemplo, quando o gráfico de rótulo 50’ é adicionado no mesmo plano que a tabela de tempo 40A no caso em que o ângulo entre o plano formando a tabela de tempo 40A e o eixo geométrico óptico de formação da imagem de espaço real é pequeno, a exibição do gráfico de rótulo 50’ é pequeno devido a uma grande inclinação, o que degrada a visibilidade. Além disso, quando o gráfico de rótulo 50’ inclui uma área que aceita uma operação de usuário, a área de determinação de operação significativamente diminui se a exibição do gráfico de rótulo 50’ for pequeno.

De acordo com as formas de realização da descrição, é possível melhorar a visibilidade e operabilidade do objeto virtual. A seguir, em seguida a descrição da configuração de hardware do terminal móvel 20 por referência à Figura 4, as formas de realização da presente descrição são sequencialmente descritas em detalhe. (Configuração de Hardware de Terminal Móvel). A Fig. 4 é uma vista mostrando a configuração de hardware do terminal móvel 20. Como mostrado na Fig. 3, o terminal móvel 20 pode incluir uma CPU (Unidade de Processamento Central) 201, uma ROM (Memória de Somente Leitura) 202, uma RAM (Memória de Acesso Aleatório) 202, uma RAM (Memória de Acesso Aleatório) 203, um dispositivo de entrada 208, um dispositivo de saída 210, um dispositivo de armazenagem 211, um acionador 212, um dispositivo de formação de imagem 213 e um dispositivo comunicação 215. A CPU 201 serve como um dispositivo de processamento e um dispositivo de controle, que controla as operações totais do terminal móvel 20, de acordo com várias espécies de programas. A CPU 201 pode ser um microprocessador. A ROM 202 armazena um programa a ser usado pela CPU 201, parâmetros de processamento e similares. A RAM 203 temporariamente armazena um programa a ser usado na execução da CPU 201, parâmetros que variam na execução e similares. A CPU 201, a ROM 202 e a RAM 203 são conectadas através o barramento principal, que pode ser um barramento de CPU e similares. O dispositivo de entrada 208 pode ser composto de um meio de entrada para um usuário para introduzir informação, tal como um mouse, um teclado um painel de toque, um botão, um microfone, uma chave ou uma alavanca e um circuito de controle de entrada que gera um sinal de entrada baseado em uma entrada de usuário e emite-o para a PU 201, por exemplo. Um usuário do terminal móvel 20 pode manipular o dispositivo de entrada 208 para, desse modo, introduzir várias espécies de dados ou dirigir uma operação de processamento para o terminal móvel 20. O disco de saída 210 pode incluir um dispositivo de exibição, tal como um dispositivo LCD (Exibidor de Cristal Líquido), um dispositivo OLED (Diodo Emissor de Luz Orgânica) ou uma lâmpada. Além disso, o dispositivo de saída 210 pode incluir um dispositivo de saída sonoro, tal como um altofalante ou um fone de cabeça. Por exemplo, o dispositivo de exibição exibe imagens capturadas, imagens geradas e similares. Por outro lado, o dispositivo de saída de som pode converter dados de som e similares em som e emitir o som. O dispositivo de armazenagem 211 pode incluir um dispositivo para armazenagem de dados, que é configurado como um exemplo de uma unidade de armazenagem do terminal móvel 20, de acordo com a forma de realização. O dispositivo de armazenagem 211 pode incluir um meio de armazenagem, um dispositivo de gravação que grava dados no meio de armazenagem, um dispositivo de leitura que lê dados do meio de armazenagem, um dispositivo de apagamento que apaga dados gravados no meio de armazenagem e similares. O dispositivo de armazenagem 211 armazena um programa a ser executado pela CPU 201 e vários dados. O acionador 212 pode incluir uma leitora/gravadora para um meio de armazenagem e pode ser embutido no terminal móvel 20 ou fixado extemamente. O acionamento 212 lê informação que é gravada em um meio de armazenagem removível 24, tal como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora que é fixada nele, e emite a informação para a RAM 203. Além disso, o acionador 212 pode gravar informação no meio de armazenagem removível 24. O dispositivo de formação de imagem 213 pode incluir um sistema óptico de formação de imagem, tal como uma lente de captação ou uma lente zoom que condensa luz e um conversor de sinal, tal como um CCD (Dispositivo Acoplado por Carga) ou um CMOS (Semicondutor de Oxido Metálico Complementar). O sistema óptico de formação de imagem condensa a luz emitida de um objeto e forma uma imagem de objeto sobre o conversor de sinal e o conversor de sinal converte a imagem de objeto formada em um sinal de imagem elétrico. O dispositivo de comunicação 215 pode incluir uma interface de comunicação composta de um dispositivo de comunicação ou similar para produzir uma conexão com a rede 12, por exemplo. O dispositivo de comunicação 215 pode ser um dispositivo de comunicação compatível com uma LAN (Rede de Área Local) sem-fio, um dispositivo de comunicação compatível com LTE (Evolução de Longo Termo) ou um dispositivo de comunicação com fio, que faz comunicação com fio.

Observe-se que a rede 12 pode incluir um canal de transmissão de informação com-fio ou sem-fio, de informação transmitida de um dispositivo conectado com a rede 12. Por exemplo, a rede 12 pode incluir uma rede pública, tal como a Internet, uma rede de linha de telefone ou uma rede de comunicações por satélite, várias espécies de LAM (Rede de Área Local) incluindo Ethernet (marca comercial registrada), WAN (Rede de Larga Área) e similares. Além disso, a rede 12 pode incluir um rede de linha arrendada, tal como IP-VPN (Protocolo Intemet-Rede Privada Virtual).

2. DESCRIÇÃO DAS FORMAS DE REALIZAÇÃO A configuração básica do sistema AR de acordo com a presente descrição é descrita acima por referência às Figs. 1 a 4. A seguir, uma primeira forma de realização a uma terceira forma de realização da presente descrição são descritas em detalhe por referência às Figs. 5 a 19. 2.1 Primeira Forma de Realização Configuração do Terminal Móvel A Fig. 5 é um diagrama de blocos mostrando uma configuração de um terminal móvel 20-1 de acordo com a primeira forma de realização. Como mostrado na Fig. 5, o terminal móvel 20-1 de acordo com a primeira forma de realização pode incluir um exibidor 26, um painel de toque 27, um dispositivo de formação de imagem 213, um valor característico DB 220, uma unidade de reconhecimento de imagem 224 (ou, equivalentemente, uma “unidade de determinação”, um objeto virtual DB 228, uma unidade de aquisição de objeto virtual 232 e uma unidade de controle 241. O exibidor 26 pode incluir um módulo de exibição composto de LCD, OLED ou similar. O exibição 26 exibe várias telas de acordo com o controle pela unidade de controle 241. Por exemplo, o minotir 26 exibe uma imagem de espaço real capturada pelo dispositivo de formação de imagem 213 e um objeto virtual adicionado correspondentemente a um objeto real.

Além disso, embora um exemplo em que o exibidor 26 seja montado como uma parte do terminal móvel 20-1 é mostrado na Fig. 5, o exibidor 26 pode ser um membro separado do terminal móvel 20-1. O exibidor 26 pode altemativamente incluir um HMD (Exibidor Montado na Cabeça) que é montado na cabeça do usuário". O painel de toque 27 pode incluir uma unidade de detecção de operação, que é montada no exibidor 26. O painel de toque 27 pode detectar a proximidade ou contato de um corpo operacional, tal como o dedo do usuário ou uma caneta de toque. Observe-se que o painel de toque 27 é apenas um exemplo de uma unidade de detecção de operação e o terminal móvel 20-1 pode incluir outro componente para operação, tal como um teclado e um botão. O dispositivo de formação de imagem 213 pode incluir um sistema óptico de formação de imagem e um conversor de sinal como descrito acima com referência à Fig. 4 capturar imagens de espaço real (imagens móveis o imagens estáticas) de acordo com o controle pela unidade de controle 241. Observe-se que o dispositivo de formação de imagem 213 pode incluir um componente para formação de imagens móveis e um componente para formação de imagens estáticas separadamente. O valor característico DB 220 pode incluir uma base de dados que armazena dados de valor característico de imagens de objetos reais. Especificamente, no valor característico DB 220, informação de identificação para identificar cada objeto real e dados de valor característico de cada objeto real são associados entre si. Os dados de valor característico podem ser um conjunto de valores de aspecto determinados de imagens de aprendizado de objetos reais utilizando SIFT ou Random Fems, por exemplo. A unidade de reconhecimento de imagem 224 pode reconhecer um objeto real contido na imagem de espaço real capturada pelo dispositivo de formação de imagem 213 e a posição e postura do objeto real na imagem de espaço real. Por exemplo, a unidade de reconhecimento de imagem 224 reconhece um objeto real contido na imagem de espaço real verificando um valor característico determinado pela imagem de espaço real junto ao valor característico de cada objeto real armazenado no valor característico DB 220. Especificamente, a unidade de reconhecimento de imagem 224 determina umr valor característico de um objeto real na imagem de espaço real de acordo com um método de determinação de valor característico, tal como SIFT ou Random Fems, e verifica o valor característico determinado junto ao valor de aspeto de cada objeto real armazenado na base de dados 220. Em seguida, a unidade de reconhecimento de imagem 224 reconhece a informação de identificação do objeto real associado com o valor característico que iguala o valor característico do objeto real da imagem de espaço real e pode determinar ou reconhecer uma posição e postura do objeto real na imagem de espaço real.

Observe-se que a unidade de reconhecimento de imagem 224 pode reconhecer um objeto real, tal como uma figura ou símbolo conhecido, um marcador artificial (p. ex., um código de barras ou um código QR) ou um marcador natural e reconhecer a posição e postura do objeto real com base no tamanho e formato do objeto real da imagem de espaço real.

Além disso, embora um exemplo em que um objeto real contido em uma imagem de espaço real seja reconhecido pelo processamento de imagem seja descrito acima, um método de reconhecer um objeto real não é limitado ao processamento de imagem. Por exemplo, é exequível detectar a direção em direção à qual o dispositivo de formação de imagem 213 é apontado e a posição atual do terminal móvel 20-1, e estimar um objeto real na imagem de espaço real com base no resultado de detecção. O objeto virtual DB 228 pode incluir uma base de dados que armazene objetos virtuais a serem adicionados aos objetos reais. Especificamente, no objeto virtual DB 228, informação de identificação de um objeto virtual, informação de identificação de um objeto real, informação de colocação indicando uma posição de exibição relativa a um objeto real e um objeto virtual a ser apresentado a um usuário são associados entre si. O objeto virtual é o gráfico de rótulo 50, como descrito anteriormente por referência à Fig. 2, por exemplo; entretanto, o gráfico de rótuto 50 é apenas^ um exemplo do objeto virtual. A unidade de aquisição de objeto virtual 232 pode adquirir o objeto virtual e a informação de colocação correspondendo ao objeto real reconhecido pela unidade de reconhecimento de imagem 224. Por exemplo, a unidade de aquisição de objeto virtual 232 adquire o objeto virtual e a informação de colocação associada com a informação de identificação do objeto real reconhecido pela unidade de reconhecimento de imagem 224 do objeto virtual DB 228. A unidade de controle 241 pode controlar a operação total do terminal móvel 20-1. Por exemplo, a unidade de controle 241 adiciona o objeto virtual adquirido pela unidade de aquisição de objeto virtual 232 à imagem de espaço real e exibe a imagem de espaço real com o objeto virtual adicionado no exibidor 26. A unidade de controle 241 pode mudar a postura (ou equivalentemente, a “orientação”) do objeto virtual em relação ao objeto real, dependendo da postura do objeto real na imagem de espaço real. Por exemplo, dependendo do ângulo de rotação do plano do objeto real em tomo do eixo geométrico intersectando com o eixo geométrico óptico de imgeação da imagem de espaço real, a unidade de controle 241 adiciona o objeto virtual a um plano (que inclui um plano plano e um plano curvado; o mesmo aplica-se à palavra “plano” abaixo) idêntico ao plano do objeto real, um plano paralelo ao plano do objeto real, um plano em uma dada relação com o plano do objeto real, um plano diferente do plano do objeto real e similares.

Especificamente, no caso em que o ângulo de rotação acima descrito em tomo do eixo geométrico com referência ao estado faceando para a frente de um objeto real é menor do que um valor, a unidade de controle 241 pode adicionar o objeto virtual em um plano que é idêntico ou paralelo ao plano do objeto real. Por outro lado, no caso em que o ângulo de rotação acima descrito em tomo do eixo geométrico com referência ao estado faceando para a frente é igual a ou maior do que o valor, a unidade dê controle 241 pode adicionar o objeto virtual sobre um plano que é diferente do plano do objeto real. Tal função da unidade de controle 241 é descrita em detalhes abaixo. (Estado de facear para a frente) Primeiro, o estado faceando para a frente de um objeto real é descrito por referência à Fig. 6. A Fig. 6 é uma vista mostrando o estado faceando para a frente de um objeto real. Observe-se que o eixo geométrico z usado neste relatório é um eixo geométrico óptico de formação de uma imagem de espaço real, o eixo geométrico x é um eixo geométrico ao longo da direção horizontal de uma imagem de espaço real, o eixo geométrico y é um eixo geométrico ao longo da direção vertical de uma imagem de espaço real e o eixo geométrico x, o eixo geométrico y e o eixo geométrico z são ortogonais entre si.

Como mostrado na Fig. 6, o estado faceando para a frente é um estado em que o plano do objeto real 40 é ortogonal ao eixo geométrico z, que é o eixo geométrico óptico de formação de imagem. Observe-se que o plano do objeto real 40 mostrado na Fig. 6 pode ser diferente do plano real do objeto real 40 e pode ser um plano previamente definido para o objeto real 40. O eixo geométrico de rotação do plano do objeto real 40 com referência ao estado faceando para a frente é discutido abaixo. Entretanto, o estado servindo como uma referência para o eixo geométrico de rotação não é limitado ao estado faceando para a frente e outra postura do objeto real pode ser tratada como o estado de referência. (Angulo de rotação α em tomo do eixo geométrico y) A Fig. 7 é uma vista mostrando um estado em que o plano do objeto real 40 girou em tomo do eixo geométrico y. Neste relatório, o ângulo de rotação do plano do objeto real 40 em tomo do eixo geométrico y com referência ao estado faceando para a frente é referido como α como mostrado na Fig. 7. (Controle de exibição com base no ângulo de rotação a) No caso em que o ângulo de rotação α seja menor do que um valor, a unidade de controle 241 pode adicionar um gráfico de rótulo, que é o objeto virtual, sobre um plano que é idêntico ou paralelo ao plano do objeto real. Por outro lado, no caso em que o ângulo de rotação α é igual a ou maior do que o valor, a unidade de controle 241 pode adicionar um gráfico de rótulo em um plano que é diferente do plano do objeto real. Isto é especificamente descrito a seguir por referência às Figs. 8 a 10. A Fig. 8 é uma vista mostrando um exemplo de adição de um gráfico de rótulo a uma imagem de espaço real de acordo com a primeira forma de realização. Como mostrado na Fig. 8, quando o ângulo de rotação α da tabela de tempo 40A é igual a ou maior do que um valor, a unidade de controle 241 pode adicionar um gráfico de rótulo 50A sobre um plano ortogonal à tabela de tempo 40A (isto é, um plano orientado em 90 graus ou 270 graus com respeito à mesma tabela de tempo 40A sobre o plano xz). Nesta configuração, é possível reduzir a inclinação com referência ao estado faceando para a frente, bem como aumentar a área de exibição do gráfico de rótulo 50A e, assim, a visibilidade do gráfico de rótulo 50A pode ser aumentada.

Além disso, adicionando-se o objeto virtual de modo que o gráfico de rótulo 50A na posição que não se sobrepõe ao objeto real, como mostrado na Fig. 8, a visibilidade do objeto real pode ser aumentada.

Observe-se que, quando a unidade de controle 241 muda a postura relativa do gráfico de rótulo SOA, uma vez que o ângulo de rotação a do objeto real toma-se maior do que um valor, a unidade de controle 241 pode representar o processo de mudar de postura usando-se animação, de modo que o usuário pode reconhecer a mudança. A Fig. 9 é uma vista mostrando outro exemplo de adição de um gráfico de rótulo em uma imagem de espaço real de acordo com a primeira forma de realização. Como mostrado na Fig. 9, quando o ângulo de rotação α da tabela de tempo 40A é igual a ou maior do que um valor, a unidade de controle 241 pode adicionar o gráfico de rótulo 50A sobre um plano ortogonal ao eixo geométrico z, que é o eixo geométrico óptico de formação de imagem (isto é, o plano xy). Nesta configuração também a visibilidade do gráfico de rótulo 50A pode ser aumentada.

Observe-se que, quando uma pluralidade de objetos reais 40L, 40M e 40N é contida em uma imagem de espaço real, como mostrado na Fig. 10, a unidade de controle 241 pode adicionar os gráficos de rótulo SOL, 50M e 50N, respectivamente, correspondendo aos objetos reais 40, de modo que os gráficos de rótulo 50 não se sobrepõem. Nesta configuração, a visibilidade dos gráficos de rótulo 50 pode ser aumentada.

Embora o controle de exibição, no caso em que o plano do objeto real 40 girou em tomo do eixo geométrico y, seja descrito acima por referência às Figs. 7 a 10, o controle de exibição pode ser realizado da mesma maneira também no caso em que o plano do objeto real 40 girou em tomo do eixo geométrico x. (Ângulo de rotação β em tomo do eixo geométrico x) A Fig. 11 é uma vista mostrando um estado em que o plano do objeto real 40 girou em tomo do eixo geométrico x. Neste relatório, o ângulo de rotação do plano do objeto real 40 em tomo do eixo geométrico x com referência ao estado de faceamento para a frente é referido como β, como mostrado na Fig. 11. (Controle de exibição baseado no ângulo de rotação β) No caso em que o ângulo de rotação β é menor do que um valor (que pode ser o mesmo que ou diferente do valor para o ângulo de rotação a), a unidade de controle 241 pode adicionar um gráfico de rótulo em um plano que é idêntico ou paralelo ao plano do objeto real. Por outro lado, no caso em que o ângulo de rotação é igual a ou maior do que o valor, a unidade de controle 241 pode adicionar um gráfico de rótulo. Por outro lado, no caso em que o ângulo de rotação β é igual a ou maior do que o valor, a unidade de controle 241 pode adicionar um geralmente em um plano que é diferente do plano do objeto real. Isto é especificamente descrito a seguir por referência à Fig. 12. A Fig. 2 é uma vista mostrando um exemplo de adição de gráfico de rótulo a uma imagem de espaço real de acordo com a primeira forma de realização. Como mostrado na Fig. 12, quando o ângulo de rotação β do guia de saída 40B é igual a ou maior do que um valor, a unidade de controle 241 pode adicionar um gráfico de rótulo sobre um plano ortogonal ao eixo geométrico z, que é o eixo geométrico óptico de formação de imagem (isto é, o plano xy). Nesta configuração, é possível exibir o gráfico de rótulo 50B na estado faceando para a frente, bem como aumentar a área de exibição do gráfico de rótulo 50B e, assim, a visibilidade o gráfico de rótulo 50B pode ser aumentada.

Observe-se que, quando o ângulo de rotação β do guia de saída 40B for igual a ou maior do que um valor, a unidade de controle 241 pode adicionar o gráfico de rótulo 50B em um plano ortogonal ao guia de saída 40B (isto é, um plano orientado a 90 graus ou 270 graus com respeito ao guia de saída 40B no plano yz). Nesta configuração também a visibilidade do gráfico de rótulo 50B pode ser aumentada.

Pode haver casos em que um objeto real que foi reconhecível em uma imagem de espaço real toma-se não reconhecível devido a uma mudança na relação posicionai com o terminal móvel 20-1. Por exemplo, quando o plano do objeto real 40A mostrado na Fig. 8 gira ainda em tomo do eixo geométrico y em uma direção contrária à de um relógio, o plano do objeto real 40A pode não mais ser contido na imagem de espaço real e, portanto, a unidade de reconhecimento de imagem 224 não pode mais reconhecer o objeto real 40A. Como resultado, o gráfico de rótulo desaparece da tela. É, entretanto, considerado que, quando o reconhecimento de um objeto real exibido em uma imagem de espaço real toma-se mais difícil, a significância de notificar um usuário de informação acerca do objeto real é mais elevada. Assim, quando um objeto real que foi reconhecível toma-se não reeonheçivel, a unidade de controle 24! pode manter um gráfico de rotulo correspondente ao objeto real baseado no resultado do toeonlmcimenio anterior. For exemplo, a unidade de controle 241 pôde manter o gráfico de rotulo por um. certo período de tempo na. posição e postura eornespondentex à posição e postura do objeio real imedlatarnente antes quando o objeto real torram-se náo reconhecível. Mesta conbgnnação, é possível notificar urn usuário de infermaçJio acerca do objeto real que é difícil ver tta imagem de espaço real.

Angulo de rotação observado pela unidade de controle Embora seja descrito acima o exemplo em que a unidade de controle 241 muda a postura do gráfico de rotulo relativa ao objeto real, quando qualquer um do ângulo de rotação α em torno do eixo geométrico v e do ângulo de rotação β em torno do eixo geométrico x é igual a. ou maior do que um valor, a presente tecnologia não c limitada a isso. Há casos em que o efeito imposto na visibilklade e operabi! idade de um gráfico cie rôtnlo é pequeno, mesmo quando o angulo de rotação cm torno de um certo eixo geométrico de coordenada è grande, em alguma posição ou orientação do gráfico de rótulo adicionado. Por exemplo, no caso em que o gráfico de rotulo SOA é adicionado no lado ao longo da direção do objeto real 40 A> coroe mostrado na Eíg, 2, o efeito do ângulo de rotação do objeto real 40A, em torno do eixo. geométrico x na visibilidade do gráfeo de rótulo SOA, é relativamente pequeno.

Assim, a unidade de controle 241 pode dar atenção a um eixo geométrico de coordenada ao longo da direção do lado em que um gráfico de rótulo é adicionado, quando o plano do objeto real esta no estado fe ceando paru a frente, e o controle da postura do gráfico de rotulo dependendo de se o ângulo de rotação em torno do eixo geométrico das coordenadas é igual a ou maior do que um valor.. Pox exemplo, em razão de ó gradeo de rótulo 50B mostrado na Fig, 1.2 ser adkrionado ao lado ao longo da direção do eixo geométrico x, quando o plano do guia de salda. 408 está no estado feceaodo pare a frente, a unidade de eoolrole 241 pode dar atenção somente ao ângulo de rotação em torno do eixo geoxnêtdeo x para o controle de postará do gráfico de rótulo SOB. Observe-se que a postura do objeto real. 40A pode ser represetttada por cada componente, tal corno o ângulo de rotaçlo otu tomo do eixo geométrico x. o ângulo de rotação em torno do eixo geométrico y e o angulo de rotação e tomo do eixo geométrico x.

Operação do Tefmbtal Movei. A. corrhgy ração do terminal móvel 200 de acordo com a primeira forma de realização é descrita por referencia às fugs. 5 a 1:2.. Á seguir, a operação do. terminal movei 200 de acordo com a primeira forma de realização è descrita por referência à Fig, 13. A Figura 13 é um (luxograma mostmrulo a operação do terminal .móvel 200 de acordo com a primeira forma de realixuçio. Como mostrado na Flg. 13, quando uma imagem de espaço real é capturada pelo dispositivo do formação de imagem 213, a unidade de reconhecimento de Imagem 224 klenòísca um objeto real contido na imagem de espaço real c reconhece u posição, postura, escala e similares do objeto- real (83 !(>), Em seguida, a unidade de aquisição de objeto virtual: 232 adquire um objeto virtual correspondendo ao objelo real baseado no resultado de rcconheeirnento pola unidade de reeoohecírnento de imagem 224 (8320), Após isso, a unidade de controle 241 determina se o ângulo de rotação com referência no estado íáeeundo para a frente do objeto real reconhecido pela unidade de reeonhechnento de imagens 224 έ igual a ou maior do que um valor (8330). Quando o angulo de rotação é menor do que o valor (NAO e.m S33.0), a unsdad.e: de controle 241 adiciona o objeto virtual cm um plano que é idêntico ou paralelo ao plano do objeto real (8340), Por outro lado, quando o angulo de rotação è igual a ou maior do que o valor (SIM em 833()), a unidade de controle 241 adiciona o objeto virtual em um plano que é diferente do plano do objeto real (S350). Por exemplo, quando o ângulo de rotação é igual a ou maior do que o valor (SIM em S330), a unidade de controle 141 pode adicionar o objeto virtual em um plano ortogonal ao eixo geométrico z, que é o eixo geométrico óptico de formação de imagem. Nesta configuração, o objeto virtual pode ser exibido no estado faceando para a frente e é assim possível melhorar a visibilidade do gráfico de rótulo SOB. 2.2. Segunda Forma de Realização A primeira forma de realização da presente descrição é descrita acima por referência às Figs. 5 a 13. A seguir, uma segunda forma de realização da presente descrição é descrita por referência às Figs. 14 a 18. Na segunda forma de realização da presente descrição, é proposto um método de exibição de um objeto virtual no caso em que um objeto real tem uma pluralidade de planos. (Sistema AR de acordo com a segunda forma de realização) A Fig. 14 é uma vista mostrando uma configuração de um sistema AR de acordo com uma segunda forma de realização da presente descrição. O sistema AR de acordo com a segunda forma de realização inclui um terminal móvel 20-2 e é aplicado ao caso em que o terminal móvel 20-2 captura uma imagem de um objeto real tendo uma pluralidade de planos, tais como uma caixa de leite 40C, como mostrado na Fig. 14. A caixa de leite 40C mostrada na Fig. 14 tem um primeiro plano 42, no qual um nome comercial é impresso e um segundo plano 44, no qual ingredientes são impressos como uma pluralidade de planos. (Configuração do terminal móvel de acordo com a segunda forma deTealizaçãoj. A Fig. 15 é um diagrama de blocos mostrando uma configuração do terminal móvel 20-2 de acordo com o a segunda forma de realização. Como mostrado na Fig. 15, o terminal móvel 20-2 de acordo com a segunda forma de realização inclui um exibidor 26, um painel de toque 27, um dispositivo de formação de imagem 213, um valor característico DB 220, uma unidade de reconhecimento de imagem 224, um objeto virtudal DB 228, uma unidade de aquisição de objeto virtual 232 e uma unidade de controle 242. As funções do exibidor 26, do painel de toque 27, do dispositivo de formação de imagem 213, do valor característico DB 220, da unidade de reconhecimento de imagem 224, do objeto virtual DB 228 e da unidade de aquisição de objeto virtual 232 são as mesmas que aquelas descritas na primeira forma de realização, e os elementos diferentes daqueles da primeira forma de realização são principalmente descritos abaixo. A unidade de controle 242 tem a função de uma unidade de determinação do plano principal 250 e uma função de adicionar um objeto virtual em uma postura de acordo com um resultado de determinação pela unidade de determinação de plano principal 250, além de todas ou algumas das funções da unidade de controle 241, de acordo com a primeira forma de realização.

Quando um objeto real contido em uma imagem de espaço real tem uma pluralidade de planos, a unidade de determinação de plano principal 250 determina um plano principal entre a pluralidade de planos. Por exemplo, a unidade de determinação de plano principal 250 pode determinar um plano tendo a maior área de reconhecimento pela unidade de reconhecimento de imagem 224 entre a pluralidade de planos como o plano principal. Altemativamente, a unidade de determinação de plano principal 250 pode determinar um plano tendo a mais elevada ortogonalidade com respeito ao eixo geométrico z, que é o eixo geométrico óptico de formação de imagem (um plano que é o mais próximo do estado faceando para a frente), entrega pluralidade de planos como o plano principal. Além disso, o plano principal pode ser previamente definido para cada objeto real. A unidade de controle 242 adicionar um gráfico de rótulo (objeto virtual) correspondendo ao objeto real ao plano principal determinado pela unidade de determinação de plano principal 250. Isto é especificamente descrito a seguir por referência à Fig. 16. A Fig. 16 é uma vista mostrando um exemplo de adição de um gráfico de rótulo a uma imagem de espaço real de acordo com a segunda forma de realização. Na imagem de espaço real da Fig. 16, o primeiro plano 42 da caixa de leite 40C tem uma maior área de reconhecimento do que o segundo plano 44 e é mais próxima do estado faceando para a frente. Portanto, a unidade de determinação de plano principal 250 determina o primeiro plano 42, entre o primeiro plano 42 e o segundo plano 44 da caixa de leite 40C, como o plano principal.

Consequentemente, a unidade de controle 242 adiciona o gráfico de rótulo 50C ao primeiro plano 42, que é determinado como o plano principal pela unidade de determinação de plano principal 250. Observe-se que, embora o gráfico de rótulo 50C seja exibição de preço no exemplo da Fig. 16, o gráfico de rótulo 50C não é limitado a exibição de preço. O gráfico de rótulo 50C pode ser qualquer informação associada com a caixa de leite 40C, incluindo informação de data de expiração, informação de cupom e informação de publicidade, por exemplo. A Fig. 17 é uma vista mostrando um exemplo de adição de um gráfico de rótulo em outra imagem de espaço real de acordo com a segunda forma de realização. Na imagem de espaço real mostrada na Fig. 17, o segundo plano 44 da caixa de leite 40C tem uma maior área de reconhecimento do que o primeiro plano 42 e é mais próximo do estado faceando para a frente. Portanto, a unidade de determinação de plano principal 250 determina o segundo plano 44 entre o primeiro plano 42 e o segundo plano 44 da caixa de leite 40C, como o plano principal.

Consequentemente, a unidade de controle 242 adiciona o gráfico de rótulo 50C ao segundo plano 44, que é determinado como o plano principal pela unidade de determinação de plano principal 250. Observe-se que, como mostrado nas Figs. 16 e 17, a postura do gráfico de rótulo 50C, relativa à caixa de leite 40C, muda dependendo do plano a que o gráfico de rótulo 50C é adicionado.

Embora o exemplo em que o mesmo gráfico de rótulo é adicionado, não importa que plano seja o plano principal, seja descrito acima, a forma de realização não é limitada a ele. Como outro exemplo, um gráfico de rótulo pode ser associado com cada plano de um objeto real no objeto virtual DB 228 e, neste caso, a unidade de controle 242 pode adicionar um diferente gráfico de rótulo dependendo do plano principal, como mostrado na Fig. 18. A Fig. 18 é uma vista mostrando um exemplo de adição de um gráfico de rótulo a uma imagem de espaço real, de acordo com um exemplo alternativo da segunda forma de realização. Como mostrado na Fig. 18, quando o segundo plano 44 é o plano principal, a unidade de controle 242 pode adicionar um gráfico de rótulo 50C’ indicando a data de expiração, que é diferente do gráfico de rótulo 50C adicionado quando o primeiro plano 42 é o plano principal, ao segundo plano 44. Nesta configuração, uma variedade de informação pode ser apresentada a um usuário, dependendo do ângulo de formação de imagem de um objeto real.

Para o mesmo efeito, a unidade de controle 242 pode adicionar um gráfico de rótulo correspondendo a cada plano a todos de uma pluralidade de planos. Além disso, a unidade de controle 242 pode mudar a postura do gráfico de rótulo 50C relativa à caixa de leite 40C, dependendo do ângulo de rotação do plano a que o gráfico de rótulo 50C é adicionado. 2-3 . Terceira Forma de Realização A segunda forma de realização da presente descrição é descrita acima. A seguir uma terceira forma de realização da presente descrição é descrita. Embora o exemplo em que um único terminal móvel constitui AR seja descrito nas primeira e segunda formas de realização, um terminal móvel e um servidor instalados no lado da rede podem constituir AR em combinação, como a terceira forma de realização da presente descrição. A Fig. 19 é uma vista mostrando uma configuração de um sistema AR de acordo com a terceira forma de realização. Como mostrado na Fig. 19, o sistema AR de acordo com a terceira forma de realização inclui um terminal móvel 20-3, uma rede 12 e um servidor AR 30.

De acordo com a terceira forma de realização, computação de neblina pode ser implementada incorporando-se algumas das funções para AR dentro do servidor AR 30. Por exemplo, as funções do objeto virtual DB e a unidade de aquisição de objeto virtual podem ser incorporadas no servidor AR 30. Neste caso, o terminal móvel 20-3 pode receber um objeto virtual correspondendo a um objeto real do servidor AR 30 transmitindo um resultado de reconhecimento de um objeto real como uma solicitação para aquisição de um objeto virtual para o servidor AR 30.

Além disso, as funções da unidade de reconhecimento de imagem e o valor de detalhe DB podem ser também incorporados no servidor AR 30. Neste caso, o terminal móvel 20-3 pode transmitir uma imagem capturada pelo dispositivo de formação de imagem 213 para o servidor AR 30 e o servidor AR 30 pode realizar reconhecimento de um objeto real e aquisição de um objeto virtual e então transmitir o objeto virtual para o terminal móvel 20-3.

Além disso, a função de adicionar um objeto virtual a uma imagem de espaço real pode ser incorporada dentro do servidor AR 30. Neste caso, o terminal móvel 20-3 pode transmitir uma imagem de espaço real, capturada pelo dispositivo de formação de imagem 213 para o servidor AR 30, e o servidor AR 30 pode realizar reconhecimento de um objeto real, aquisição de um objeto virtual e adição do objeto virtual e então transmitir a imagem de espaço real com o objeto virtual adicionado ao terminal móvel 20- 3. No caso de incorporar a função de adicionar um objeto virtual a uma imagem de espaço real no servidor AR 30, o servidor AR 30 serve como um dispositivo de controle de exibição. 3. Resumo Como descrito acima, o terminal móvel 20 de acordo com as formas de realização da presente descrição adiciona um gráfico de rótulo a um plano idêntico ao plano de um objeto real ou um plano diferente do plano de um objeto real, dependendo da postura do objeto real em uma imagem de espaço real. Nesta configuração, é possível melhorar a visibilidade e operabilidade do gráfico de rótulo.

Embora formas de realização preferidas da presente descrição sejam descritas acima com referência aos desenhos anexos, a presente descrição não é limitada a elas. Deve ser entendido por aqueles hábeis na arte que várias modificações, combinações, subcombinações e alterações podem ocorrer, dependendo das exigências do desenho e outros fatores, na medida em que elas se situem dentro do escopo das reivindicações anexas ou de seus equivalentes.

Por exemplo, não é sempre necessário realizar as etapas no processamento do terminal móvel 20 neste relatório em ordem cronológica, de acordo com a sequência mostrada nos fluxogramas. Por exemplo, as etapas do processamento do terminal móvel 20 podem ser processadas em uma sequência diferente da sequência mostrada no fluxograma ou processada em paralelo.

Além disso, é exequível criar um programa de computador que faça com que hardware tal como CPU, ROM e RAM, incorporado dentro do terrninãf móvel 20 ou do servidor AR 30, realize iguais funções aos elementos do terminal móvel 20 ou do servidor AR 30 descrito acima. Além disso, um meio de armazenagem, em que um tal programa de computador é armazenado, pode ser também provido.

Adicionalmente, a presente tecnologia pode também ser configurada como abaixo. (1) Um dispositivo de controle de exibição, incluindo: uma unidade de controle que controla a exibição de um objeto virtual correspondendo a um objeto real contido em uma imagem de espaço real, em que a unidade de controle muda uma postura do objeto virtual em relação ao objeto real, dependendo de uma postura do objeto real na imagem de espaço real. (2) O dispositivo de controle de exibição de acordo com (1) em que a unidade de controle adiciona o objeto virtual a um plano idêntico a um plano do objeto real, um plano paralelo ao plano do objeto real, um plano em uma dada relação com o plano do objeto real ou um plano diferente do plano do objeto real dependendo de uma postura do objeto real na imagem de espaço real. (3) O dispositivo de controle de exibição de acordo com (1) ou (2), em que a unidade de controle adiciona o objeto virtual a um plano do objeto real em uma postura relativa, dependendo de um ângulo de rotação do plano do objeto real em tomo de um eixo geométrico intersectante com um eixo geométrico óptico de formação da imagem de espaço real. (4) O dispositivo de controle de exibição de acordo com (3) em que a unidade de controle adiciona o objeto virtual a um plano idêntico ou paralelo ao plano do objeto real, quando o ângulo de rotação em tomo do eixo geométrico intersectante, com referência a um estado faceando para a frente, onde o plano do objeto real é ortogonal ao eixo geométrico óptico de formação de imagem, é menor do que um valor predeterminado, e adiciona o objeto virtual a um plano diferente do plano do objeto real, quando o ângulo de rotação em tomo do eixo geométrico intersectante com referência ao estado faceando para a frente é igual a ou maior do que o valor predeterminado. (5) O dispositivo de controle de exibição de acordo com (4), em que a unidade de controle adiciona o objeto virtual a plano ortogonal ao plano do objeto real ou um plano ortogonal ao eixo geométrico óptico de formação de imagem, quando o ângulo de rotação em tomo do eixo geométrico intersectante, com referência ao estado faceando para a frente, é igual a ou maior do que um valor predeterminado. O dispositivo de controle de exibição de acordo com qualquer um de (3) a (5), em que o objeto virtual é adicionado para corresponder a qualquer lado constituindo o plano do objeto real, e em que o eixo geométrico intersectante é um eixo geométrico ao longo de uma direção de um lado a que o objeto virtual é adicionado quando o plano do objeto real está no estado faceando para a frente. (7) o dispositivo de controle de exibição de acordo com qualquer um de (1) a (6), em que a unidade de controle adiciona o objeto virtual em uma posição não se sobrepondo ao objeto real. (8) O dispositivo de controle de exibição, de acordo com qualquer um de (1) a (7), em que, quando uma pluralidade de objetos reais é contida em uma imagem de espaço real, a unidade de controle adiciona cada objeto virtual de tal maneira que os objetos virtuais, respectivamente correspondendo à pluralidade de objetos reais, não se sobrepõe (9) O dispositivo de controle de exibição de acordo com qualquer um de (1) a (8), em que, quando a unidade de controle muda uma postura relativa do objeto virtual, a unidade de controle exibe um processo de mudança em um dispositivo de exibição. (10) O dispositivo de controle de exibição de acordo com qualquer um de (1) a (9), em que, quando uma pluralidade de planos é detectada do objeto real, a unidade de controle adiciona o objeto virtual a um plano principal entre a pluralidade de planos. (11) O dispositivo de controle de exibição de acordo com (10), em que a unidade de controle adiciona um objeto virtual ao plano principal, dependendo de um plano servindo como o plano principal. (12) O dispositivo de controle de exibição de acordo com a reivindicação (10), em que o plano principal é um plano tendo a mais elevada ortogonalidade com respeito ao eixo geométrico óptico de formação de imagem entre a pluralidade de planos. (13) ^□ dispositivo do controle de exibição do acordo com a reivindicação (10) em que o plano principal é um plano tendo uma maior área de reconhecimento na imagem de espaço real entre a pluralidade de planos. (14) O dispositivo de controle de exibição de acordo com a reivindicação (10), em que o plano principal é um plano previamente definido entre a pluralidade de planos. (15) Um método de controle de exibição caracterizado pelo fato de compreender: mudar uma postura de um objeto virtual correspondendo a um objeto real contido em uma imagem de espaço real relativa ao or, dependendo de uma postura do objeto real na imagem de espaço real.

Um programa fazendo com que um computador funcione como: uma unidade de controle que controla a exibição de um objeto virtual correspondendo a um objeto real contido em uma imagem de espaço real, e muda uma postura do objeto virtual relativa ao objeto real, dependendo de uma postura do objeto real na imagem de espaço real. (17) O programa de acordo com (16). em que a unidade de controle adiciona o objeto virtual e um plano idêntico a um plano do objeto real, um plano paralelo ao plano do objeto real, um plano em uma dada relação com o plano do objeto real, ou um plano diferente do plano do objeto real dependendo de uma postura do objeto real da imagem de espaço real. (18) O programa de acordo com (16) ou (17), em que a unidade de controle adiciona o objeto virtual a um plano do objeto real em uma postura relativa dependendo de um ângulo de rotação do plano do objeto real em tomo de um eixo geométrico intersectante com um eixo geométrico óptico de formação da imagem de espaço real. (19) O programa de acordo com (18), em que a unidade de controle adiciona o objeto virtual a um plano idêntico ou paralelo ao plano do objeto real, quando o ângulo de rotação em tomo do eixo geométrico intersectante, com referência a um estado faceando para a frente, em que o plano do objeto real é ortogonal ao eixo geométrico óptico de formação de imagem, é menor do que um valor predeterminado e adiciona o objeto virtual a um plano diferente do plano do objeto real, quando o ângulo de rotação em tomo do eixo geométrico intersectante, com referência ao estado faceando para a frente, é igual a ou maior do que o valor predeterminado. (20) O programa de acordo com qualquer um de (16) a (19), em que, quando uma pluralidade de planos é detectada do objeto real, a unidade de controle adiciona o objeto virtual a um plano principal entre a pluralidade de planos. A presente descrição contém assunto relacionado com aquele descrito no Pedido de Patente de Prioridade Japonês JP 2011-086679, depositado na Japan Patent Office em 8 de abril de 2011, cujo inteiro conteúdo é por este meio incorporado por referência. eíiyim;>I€m;qb8

Claims

1. Dispositivo do controle de exibição, caracterizado pelo lato àe com ;> reend cr: uma unidade de determirmçâo configurada para determinar uma orientação de um objeto real em uma Imagem de espaço real; uma unidade de controle configurada para: selecionar entre as primeira e segunda orientações de um objeto virtual baseado no orientação cio objeto real, uma das primeira ou segunda orientações de objeto virtual alinhando o objeto virtual com a orientação do objeto real; e emitir uma. imagem do objeto virtual com base na. orientação selecionada, para exibirem um dispositivo<Je exibição associado,

2. Dispositivo, de acordo com a reivindicação I >· caracterizado pelo feto de alinhar a imagem do objeto virtual com a orientação do objeto real compreendendo ainda alinhar o objeto real com um primeiro plano associado com o objeto real,

3. Dispositivo» de acordo com a reivindicação 2, caracterizado pelo feto de o primeiro piano ser pelo menos um de: orientado em um ângulo com. respeito a uma superfície do objeto real; curvado com respeito á saperí!ei.e do objeto real; paralelo á superfície do objeto real: ou eoplanar com a superfície do objeto.real.

4. Dispositivo, de acordo com a reivindicação 2, caracterizado pelo fato de ser ainda conllgurâdo para selecionar o primeiro plano de uma pluralidade de planos associados com o objeto real baseado era pelo menos em parte ern um ângulo entre o primeiro plano e um eixo geométrico óptico da imagem real.

5. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de selecionar entre as primeira e segunda orientações compreendendo ainda: selecionar a primeira orientação quando um ângulo entre a primeira orientação e a orientação do objeto real é menor do que ou igual a um valor limiar; e selecionar a segunda orientação quando o ângulo entre a primeira orientação e a orientação do objeto real é maior do que o valor limiar.

6. Dispositivo, de acordo com a reivindicação 5, caracterizado pelo fato de o primeiro plano ser paralelo a uma superfície do objeto real.

7. Dispositivo, de acordo com a reivindicação 6, caracterizado pelo fato de a segunda orientação alinhar o objeto virtual com um segundo plano que é um de ortogonal à superfície do objeto real ou ortogonal a um eixo geométrico óptico.

8. Dispositivo, de acordo com a reivindicação 2, caracterizado pelo fato de uma unidade de exibição exibir a imagem do objeto virtual ao longo de um lado do objeto real paralelo ao primeiro plano.

9. Dispositivo, de acordo com a reivindicação 2, caracterizado pelo fato de uma unidade de exibição exibir a imagem do objeto virtual, de modo que a imagem do objeto virtual não se sobreponha com o objeto real na imagem de espaço real.

10. Dispositivo, de acordo com a reivindicação 2, caracterizado pelo fato de: o objeto real compreender um primeiro objeto real e um segundo objeto real; o objeto virtual compreender um primeiro gráfico de rótulo e um segundo gráfico de rótulo, o primeiro gráfico de rótulo ser associado com o primeiro objeto real na imagem de espaço real; o segundo gráfico de rótulo ser associado com o segundo objeto real na imagem do espaço real; e o primeiro gráfico de rótulo ser posicionado de modo que o primeiro gráfico de rótulo não se sobreponha com o segundo gráfico de rótulo.

11. Dispositivo, de acordo com a reivindicação 1, caracterizado pelo fato de a emissão de uma imagem do objeto virtual compreender emitir uma animação de uma transição da primeira orientação para a segunda orientação.

12. Dispositivo, de acordo com a reivindicação 2, caracterizado pelo fato de ser configurado para selecionar o primeiro plano de uma pluralidade de planos associados com o objeto real.

13. Dispositivo, de acordo com a reivindicação 12, caracterizado pelo fato de o primeiro plano ser um plano principal do objeto real.

14. Dispositivo, de acordo com a reivindicação 12, caracterizado pelo fato de o objeto virtual compreender um gráfico de rótulo.

15. Dispositivo, de acordo com a reivindicação 14, caracterizado pelo fato de o conteúdo do gráfico de rótulo ser escolhido com base na seleção do primeiro plano.

16. Dispositivo, de acordo com a reivindicação 12, caracterizado pelo fato de o primeiro plano ser o plano entre a pluralidade de planos com uma orientação mais próxima da ortogonalidade com respeito a um eixo geométrico óptico da imagem real.

17. Dispositivo, de acordo com a reivindicação 12, caracterizado pelo fato de crprimeiro plano ser o plano entre a pluralidade de planos com que o alinhamento do objeto virtual resultará em uma maior área de reconhecimento de imagem.

18. Dispositivo, de acordo com a reivindicação 12, caracterizado pelo fato de a seleção do primeiro plano ser baseada em um tipo do objeto real.

19. Método, caracterizado pelo fato de que compreende: determinação da orientação de um objeto real em uma imagem de espaço real; selecionar entre primeira e segunda orientações de um objeto virtual baseado na orientação do objeto real, uma das primeira ou segunda orientações de objeto virtual alinhando o objeto virtual com a orientação do objeto real; e emitir uma imagem do objeto virtual com base na orientação selecionada, para exibir em um dispositivo de exibição associado.

20. Meio legível por computador não-transitório tangivelmente corporificado, caracterizado pelo fato de armazenar instruções que, quando executadas por um processador, realizam Aspectos da presente invenção, incluindo ainda um método compreendendo: determinação da orientação de um objeto real em uma imagem de espaço real; selecionar entre primeira e segunda orientações de um objeto virtual, com base na orientação do objeto real, uma das primeira ou segunda orientações de objeto virtual alinhando o objeto virtual com a orientação do objeto real; e emitir uma imagem do objeto virtual com base na orientação selecionada, para exibir em um dispositivo de exibição associado.