BR102018013618A2 - Meio legível por computador, aparelho de processamento de informações e método de processamento de informações - Google Patents

Abstract

um objetivo da presente descrição é prover um programa para exibir vários conteúdos em um modo sobreposto em uma região que corresponde a um objeto em uma imagem fotografada. um aparelho de processamento de informações (10) obtém uma imagem fotografada fotografando um objeto de um globo terrestre (20) que tem um marcador sobre uma sua superfície. o aparelho de processamento de informações (10) reconhece, com base no marcador, o globo terrestre (20) na imagem fotografada assim obtida. o aparelho de processamento de informações (10) exibe, sobre o globo terrestre reconhecido (20) na imagem fotografada, uma imagem de conteúdo de tal modo a cobrir toda a região do globo terrestre (20).

Description

Relatório Descritivo da Patente de Invenção para MEIO LEGÍVEL POR COMPUTADOR, APARELHO DE PROCESSAMENTO DE INFORMAÇÕES E MÉTODO DE PROCESSAMENTO DE INFORMAÇÕES.

CAMPO TÉCNICO [0001] A presente invenção refere-se a um programa, um aparelho de processamento de informações e um método de processamento de informações.

TÉCNICA ANTECEDENTE [0002] Em anos recentes, produtos que utilizam um sistema de AR (realidade aumentada) têm sido desenvolvidos. No sistema de AR, um programa de aplicação para reconhecer um marcador de AR é precedentemente instalado em um equipamento de informações que inclui uma câmera e uma unidade de display, tal como um smartphone, um terminal tablet e uma máquina de jogos portátil. Quando uma imagem de um objeto provida com um marcador de AR é fotografada utilizando tal equipamento de informações, o equipamento de informações reconhece o marcador de AR e exibe um conteúdo que corresponde ao marcador de AR reconhecido para ser sobreposto sobre a imagem fotografada. Assim, um usuário pode ver, na unidade de display, uma imagem na qual o conteúdo está sobreposto sobre o objeto fotografado. Documento de Patente 1 descreve um sistema no qual um objeto tridimensional é fotografado e informações adicionais de uma imagem, letras ou similares são exibidas para serem sobrepostas sobre o objeto tridimensional na imagem fotografada.

DOCUMENTO DA TÉCNICA ANTERIOR

DOCUMENTO DE PATENTE [0003] Documento de Patente 1: Pedido de Patente Japonesa Aberto à Inspeção Pública Número 2013-92407

Petição 870180057417, de 03/07/2018, pág. 87/232

2/49

SUMÁRIO DA INVENÇÃO

PROBLEMA A SER RESOLVIDO PELA INVENÇÃO [0004] Com relação a um sistema de AR, vários exames foram feitos sobre o que deve ser selecionado com um objeto e sobre qual conteúdo deve ser sobreposto sobre uma imagem fotografada a ser exibida.

[0005] A presente invenção foi planejada em consideração destas circunstâncias, e um objetivo é prover um programa e similares para serem utilizados para exibir vários conteúdos a serem sobrepostos em uma região que corresponde a um objeto em uma imagem.

MEIOS PARA RESOLVER O PROBLEMA [0006] Um meio legível por computador que inclui uma instrução de programa de acordo com um aspecto da presente descrição faz com que um computador execute um processamento para: obter uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície; reconhecer, com base no marcador, a esfera na imagem fotografada obtida; e exibir uma imagem de conteúdo de tal modo a cobrir uma toda região da esfera reconhecida na imagem fotografada.

[0007] Um meio legível por computador que inclui instruções de programa de acordo com outro aspecto da presente descrição faz com que um computador execute um processamento para: obter uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície; reconhecer, com base no marcador, a esfera na imagem fotografada obtida; e exibir, sobre a esfera reconhecida na imagem fotografada, uma pluralidade de imagens de conteúdo cada uma incluindo informações de tempo de tal modo que as imagens de conteúdo estão sobrepostas em uma ordem de dia e tempo que corresponde às informações de tempo.

EFEITOS DA INVENÇÃO [0008] De acordo com um aspecto da presente descrição, vários

Petição 870180057417, de 03/07/2018, pág. 88/232

3/49 conteúdos podem ser exibidos para serem sobrepostos em uma região que corresponde a uma esfera em uma imagem fotografada da esfera, e com isto, um usuário pode obter diversão em seu próprio modo.

Os objetos e características acima e adicionais ficarão mais totalmente aparentes da descrição detalhada seguinte com os desenhos acompanhantes.

BREVE DESCRIÇÃO DOS DESENHOS [0009] Figura 1 é um diagrama esquemático que ilustra um exemplo de estrutura de um sistema de AR.

Figura 2 é um diagrama de blocos que ilustra um exemplo de estrutura de um aparelho de processamento de informações.

Figura 3 é um diagrama de blocos que ilustra funções realizadas por uma unidade de controle do aparelho de processamento de informações.

Figura 4 é um fluxograma que ilustra procedimentos em processamento executado pelo aparelho de processamento de informações.

Figura 5 é um diagrama esquemático que ilustra um exemplo de display de uma imagem de AR.

Figura 6A é um diagrama esquemático que ilustra outro exemplo de display da imagem de AR.

Figura 6B é um diagrama esquemático que ilustra ainda outro exemplo de display da imagem de AR.

Figura 7A é um diagrama esquemático que ilustra outro exemplo de display da imagem de AR.

Figura 7B é um diagrama esquemático que ilustra ainda outro exemplo de display da imagem de AR.

Figura 8 é um diagrama esquemático que ilustra outro exemplo de display da imagem de AR.

Figura 9 é um diagrama de blocos que ilustra funções reali

Petíção 870180057417, de 03/07/2018, pág. 89/232

4/49 zadas por uma unidade de controle de um aparelho de processamento de informações de acordo com a Modalidade 2.

Figura 10 é um fluxograma que ilustra procedimentos em processamento executado pelo aparelho de processamento de informações.

Figura 11A é um diagrama esquemático que ilustra um exemplo de display de uma imagem de AR.

Figura 11B é um diagrama esquemático que ilustra outro exemplo de display da imagem de AR.

Figura 12 é um diagrama de blocos que ilustra funções realizadas por uma unidade de controle de um aparelho de processamento de informações de acordo com a Modalidade 3.

Figura 13 é um fluxograma que ilustra procedimentos do processamento executado pelo aparelho de processamento de informações.

Figura 14 é um diagrama esquemático que ilustra um exemplo de display de uma imagem de AR.

Figura 15 é um diagrama esquemático que ilustra outro exemplo de display da imagem de AR.

Figura 16 é um diagrama esquemático que ilustra ainda outro exemplo de display da imagem de AR.

Figura 17 é um diagrama esquemático que ilustra ainda outro exemplo de display da imagem de AR.

Figura 18 é um diagrama esquemático que ilustra ainda outro exemplo de display da imagem de AR.

Figura 19 é um diagrama de blocos que ilustra funções realizadas por uma unidade de controle de um aparelho de processamento de informações de acordo com a Modalidade 4.

Figura 20 é um fluxograma que ilustra procedimentos do processamento executado pelo aparelho de processamento de infor

Petíção 870180057417, de 03/07/2018, pág. 90/232

5/49 mações.

Figura 21 é um fluxograma que ilustra outros procedimentos do processamento executado pelo aparelho de processamento de informações.

Figura 22 é um fluxograma que ilustra outros procedimentos do processamento executado pelo aparelho de processamento de informações.

Figura 23 é um diagrama esquemático que ilustra um exemplo de display de uma imagem de AR.

Figura 24 é um diagrama de blocos que ilustra funções realizadas por uma unidade de controle de um aparelho de processamento de informações de acordo com a Modalidade 6.

Figura 25 é um diagrama explanatório que ilustra um layout de recorde exemplificado de um DB de medalhas.

Figura 26 é um diagrama esquemático que ilustra um exemplo de display de uma imagem de AR obtida quando uma imagem de display relativa aos Jogos Olímpicos é utilizada como um conteúdo.

Figura 27 é um diagrama de imagem que corresponde a um exemplo de display utilizado em transição para um destino de hyperlink de um website quando uma imagem de display de uma bandeira nacional é explorada.

Figura 28 é um fluxograma de exibir um processamento para uma imagem de AR da Modalidade 6.

DESCRIÇÃO DE MODALIDADES [00010] Um programa e similares da presente descrição serão agora especificamente descritos com referência aos desenhos acompanhantes que ilustram suas modalidades.

MODALIDADE 1 [00011] A Figura 1 é um diagrama esquemático que ilustra um exemplo de estrutura de um sistema de AR. No sistema de AR da pre

Petíção 870180057417, de 03/07/2018, pág. 91/232

6/49 sente modalidade, um globo terrestre 20 que é uma esfera tem marcadores de AR (marcadores) sobre a mesma é utilizado como um objeto a ser fotografado com um aparelho de processamento de imagem 10. O globo terrestre 20 é, mas não está limitado a, por exemplo, um globo de PVC (cloreto de polivinila) formado em uma forma esférica enchendo ar no mesmo. Sobre uma superfície do globo terrestre 20, por exemplo, um mapa da terra está impresso, e os marcadores de AR estão providos em posições apropriadas sobre o mapa. Por exemplo, em um mapa exemplificado na Figura 1, mares e continentes estão respectivamente providos com seus nomes, e países e cidades estão respectivamente providos com seus nomes. Cada uma destas palavras corresponde ao marcador de AR. Além disso, apesar de não ilustradas na Figura 1, fronteiras entre os países estão incluídas no mapa, e cada uma destas fronteiras também corresponde ao marcador de AR. Mais ainda, formas terrestres tais como rios, planícies e cadeias de montanhas estão distinguidamente coloridas no mapa, e cada uma destas cores também corresponde ao marcador de AR. Além disso, os mares incluídos no mapa estão respectivamente providos com marcas prescritas M1 a M4 (tais como marcas de navio M1 e M2 e marcas M3 e M4 de animais tal como uma tartaruga e uma foca) para distinguir respectivos mares e áreas de mar. Além disso, os continentes incluídos no mapa estão providos com marcas prescritas M5 a M7 para distinguir respectivos continentes e áreas de terra. Cada uma destas marcas M1 a M7 também corresponde ao marcador de AR.

[00012] A Figura 2 é um diagrama de blocos que ilustra um exemplo de estrutura do aparelho de processamento de informações 10. O aparelho de processamento de informações 10 é um equipamento de informações tal como um smartphone, um terminal tablet, um computador pessoal ou uma máquina de jogos, e se este for um equipamento de informações portátil, este é facilmente operado. O aparelho de pro

Petíção 870180057417, de 03/07/2018, pág. 92/232

7/49 cessamento de informações 10 inclui uma unidade de controle 11, uma unidade de armazenamento 12, um painel de operação 13, uma câmera 16, uma unidade de comunicação 17 e similares, e estes elementos estão conectados uns nos outros através de barramentos. A unidade de controle 11 inclui um processador tal como uma CPU (uma unidade de processamento central) ou uma MPU (uma unidade de microprocessamento). A unidade de controle 11 executa vários processamentos de informações, processamentos de controle e similares do aparelho de processamento de informações 10 apropriadamente executando programas de controle armazenados na unidade de armazenamento 12.

[00013] A unidade de armazenamento 12 inclui uma RAM (uma memória de acesso randômico), uma memória instantânea, um disco rígido, uma SSD (unidade de estágio sólido) e similares. A unidade de armazenamento 12 precedentemente armazena os programas de controle a serem executados pela unidade de controle 11 e vários dados e similares necessários para a execução dos programas de controle. Além disso, a unidade de armazenamento 12 temporariamente armazena dados e similares gerados durante a execução de um programa de controle pela unidade de controle 11. Os programas de controle a serem armazenados na unidade de armazenamento 12 incluem um programa de aplicação de processamento de imagem (daqui em diante simplesmente referido como a aplicação de processamento de imagem) P, isto é, o programa da presente descrição. Além disso, os dados a serem armazenados na unidade de armazenamento 12 incluem um DB de conteúdo 12a e um álbum 12b. É notado que o DB de conteúdo 12a pode estar incorporado na aplicação de processamento de imagem P ou pode estar armazenado em um dispositivo de armazenamento capaz de comunicar com o aparelho de processamento de informações 10 através de uma rede N. Além disso, o álbum 12b pode estar armaze

Petíção 870180057417, de 03/07/2018, pág. 93/232

8/49 nado no dispositivo de armazenamento capaz de comunicar com o aparelho de processamento de informações 10 através da rede N. [00014] O DB de conteúdo 12a armazena conteúdos de letras, imagens e similares, e cada conteúdo está armazenado correspondentemente a informações que identificam qualquer um dos marcadores de AR providos sobre o globo terrestre 20 ou informações de localização (longitude e latitude) que correspondem a uma localização sobre a terra. O álbum 12b armazena conteúdos tais como imagens paradas e filmes feitos por um usuário com o aparelho de processamento de informações 10 e imagens paradas e filmes recebidos de um aparelho externo através da unidade de comunicação 17. Cada um dos conteúdos tais como as imagens paradas e os filmes é armazenado no álbum 12b em associação com informações de tempo que correspondem ao dia e tempo de fotografar ou dia e tempo de criar, e informações de localização tal como um local de fotografar ou criar, ou um local que corresponde ao conteúdo. Incidentalmente, uma imagem parada ou um filme que não tem informações de tempo e informações de localização podem ser armazenados no álbum 12b. Além disso, os conteúdos a serem armazenados no álbum 12b incluem, por exemplo, uma imagem panorâmica retangular obtida por desenvolvimento, por projeção equirretangular em um plano, uma imagem ominidirecional fotografada com uma câmera ominidirecional, e uma imagem panorâmica retangular obtida desenvolvendo, pela projeção equirretangular em um plano, uma imagem sintetizada de fotografias feitas em todas as direções ao redor de um objeto.

[00015] O painel de operação 13 é um painel de toque integralmente incluindo uma seção de entrada 14 e uma seção de display 15. A seção de entrada 14 é um sensor de toque disposto sobre uma superfície da seção de display 15, e recebe uma operação de entrada executada por um usuário e transmite um sinal de controle que corresPetíção 870180057417, de 03/07/2018, pág. 94/232

9/49 ponde ao conteúdo da operação para a unidade de controle 11. A seção de display 15 é, por exemplo, um display de cristal líquido, um display de EL (eletroluminescência) orgânico ou similares, e exibe várias informações de acordo com uma instrução emitida pela unidade de controle 11. A seção de entrada 14 e a seção de display 15 podem ser constituídas como componentes separados.

[00016] A câmera 16 inclui uma lente, um sensor de imagem e similares, e obtém dados eletrônicos (dados de imagem) por conversão fotoelétrica, utilizando o sensor de imagem, de luz que entra através da lente. A câmera 16 executa uma operação de fotografar de acordo com uma instrução emitida pela unidade de controle 11, e transmite os dados de imagem obtidos (imagens fotografadas) sucessivamente para a unidade de controle 11. Incidentalmente, o aparelho de processamento de imagem 10 pode empregar, ao invés da estrutura que inclui a câmera 16, uma estrutura que inclui uma seção de conexão na qual uma câmera externa pode estar conectada. Neste caso, a seção de conexão recebe uma entrada de dados de imagem fotografados com a câmera externa, e transmite os dados de imagem inseridos sucessivamente para a unidade de controle 11. A unidade de comunicação 17 é uma interface a ser conectada a uma rede tal como a Internet, e transmite / recebe informações para / de um aparelho externo através da rede.

[00017] O aparelho de processamento de informações 10 pode obter a aplicação de processamento de imagem P de um aparelho externo através da unidade de comunicação 17 para armazená-la na unidade de armazenamento 12. Alternativamente, quando o aparelho de processamento de informações 10 inclui uma unidade de leitura ou similares para ler as informações armazenadas em um meio de armazenamento portátil, a aplicação de processamento de imagem P pode ser lida de um meio de armazenamento portátil para ser armazenada

Petição 870180057417, de 03/07/2018, pág. 95/232

10/49 na unidade de armazenamento 12. Mais ainda, o aparelho de processamento de informações 10 pode ser um equipamento de informações de tipo HMD (display montado na cabeça) que utiliza, como a seção de display 15, um display montado na cabeça de máscara ou óculos. Neste caso, um microfone para entrada de voz e um dispositivo de entrada de tipo de rastreamento de olhos para detectar um olhar de um usuário ou similares são de preferência utilizados como a seção de entrada 14. O aparelho de processamento de informações 10 pode ser qualquer equipamento desde que este seja um equipamento de informações que inclui a câmera 16 e a seção de display 15.

[00018] Agora, as funções realizadas no aparelho de processamento de informações 10 quando a unidade de controle 11 executa a aplicação de processamento de imagem P serão descritas. Figura 3 é um diagrama de blocos que ilustra as funções realizadas pela unidade de controle 11 do aparelho de processamento de informações 10. Quando a unidade de controle 11 do aparelho de processamento de informações 10 executa a aplicação de processamento de imagem P armazenada na unidade de armazenamento 12, as funções de uma seção de reconhecimento de globo terrestre 21, uma seção de leitura de conteúdo 22, uma seção de extração 23, uma seção de processamento de imagem 24, e uma seção de sobreposição 25 são realizadas. Incidentalmente, na presente modalidade, estas funções são realizadas pela unidade de controle 11 executando a aplicação de processamento de imagem P, mas uma parte destas pode ser realizada por um circuito de hardware dedicado.

[00019] Quando uma instrução para executar a aplicação de processamento de imagem P é recebida de um usuário através, por exemplo, do painel de operação 13 (a seção de entrada 14), a unidade de controle 11 do aparelho de processamento de informações 10 inicia uma operação de fotografar com a câmera 16. Quando a operação de

Petição 870180057417, de 03/07/2018, pág. 96/232

11/49 fotografar é iniciada, a câmera (unidade de aquisição) 16 obtém imagens fotografadas em um tempo prescrito (de, por exemplo, cada 1/30 segundos ou 1/15 segundos).

[00020] A seção de reconhecimento de globo terrestre (seção de reconhecimento) 21 reconhece uma região do globo terrestre 20 em uma imagem fotografada feita com a câmera 16, e também reconhece uma região fotográfica (faixa fotográfica) ou similares no globo terrestre 20. Por exemplo, a seção de reconhecimento de globo terrestre 21 reconhece uma forma circular que corresponde ao contorno do globo terrestre 20 em uma imagem fotografada, e assim especifica o contorno (região) do globo terrestre 20 na imagem fotografada. Além disso, a seção de reconhecimento de globo terrestre 21 reconhece um marcador de AR na imagem fotografada, e especifica a região (faixa fotográfica) do globo terrestre fotografado 20 com base no marcador de AR reconhecido. Por exemplo, a seção de reconhecimento de globo terrestre 21 especifica, com base em um marcador de AR, um mar, um continente, um país, uma cidade ou similares incluídos no globo terrestre fotografado 20 (na faixa fotográfica do globo terrestre 20). Mais ainda, a seção de reconhecimento de globo terrestre 21 especifica as informações de localização (longitude e latitude) sobre a terra em cada posição (cada ponto) dentro da faixa fotográfica do globo terrestre 20. Incidentalmente, a aplicação de processamento de imagem P inclui informações sobre as posições dos respectivos marcadores de AR providos sobre o globo terrestre 20, tal como informações sobre um mar, um continente, um país, uma cidade e similares, ou informações de localização sobre a terra. Portanto, quando um marcador de AR é reconhecido, a seção de reconhecimento de globo terrestre 21 pode especificar as informações de localização do marcador de AR reconhecido, e pode especificar a faixa fotográfica do globo terrestre 20 com base nas informações de localização especificadas.

Petição 870180057417, de 03/07/2018, pág. 97/232

12/49 [00021] A seção de leitura de conteúdo 22 lê os conteúdos para gerar uma imagem de AR do DB de conteúdo 12a ou do álbum 12b. Por exemplo, a seção de leitura de conteúdo 22 lê, do DB de conteúdo 12a, um conteúdo que corresponde ao marcador de AR reconhecido na imagem fotografada pela seção de reconhecimento de globo terrestre 21. Além disso, a seção de leitura de conteúdo 22 lê, do álbum 12b, um conteúdo demandando por um usuário através, por exemplo, do painel de operação 13 (a seção de entrada 14).

[00022] A seção de extração 23 extrai, do conteúdo lido pela seção de leitura de conteúdo 22 do DB de conteúdo 12a ou do álbum 12b, uma região que corresponde à faixa fotográfica do globo terrestre 20 especificada pela seção de reconhecimento de globo terrestre 21. Quando o conteúdo inclui, por exemplo, uma imagem que corresponde a cada posição sobre a terra, a seção de extração 23 extrai, do conteúdo, uma imagem de acordo com uma região que corresponde à longitude e latitude da faixa fotográfica do globo terrestre 20. Especificamente, quando a faixa fotográfica do globo terrestre 20 é uma região prescrita ao redor do Japão, a seção de extração 23 extrai, do conteúdo, a porção que corresponde à região prescrita ao redor do Japão.

[00023] A seção de processamento de imagem 24 executa vários processamentos de imagem sobre a região extraída do conteúdo pela seção de extração 23 (daqui em diante simplesmente referido como o conteúdo). Por exemplo, a seção de processamento de imagem 24 executa um processamento de ampliação ou processamento de redução sobre o conteúdo. Além disso, a seção de processamento de imagem 24 executa um processamento para transformar (converter) o conteúdo em uma imagem circular para exibir o conteúdo em uma região circular sobre o globo terrestre 20 na imagem fotografada. Incidentalmente, quando o conteúdo a ser processado é uma imagem panorâmica retangular desenvolvida em um plano pela projeção equirre

Petíção 870180057417, de 03/07/2018, pág. 98/232

13/49 tangular, a imagem panorâmica pode ser restaurada para uma imagem ominidirecional sujeitando-a ao processamento de conversão em uma imagem circular, e assim, a imagem pode ser satisfatoriamente exibida quando exibida em uma região circular. Além disso, a seção de processamento de imagem 24 pode executar vários processamentos de imagem sobre o conteúdo, ou pode executar um processamento para adicionar, ao conteúdo, letras ou similares manualmente inseridas por um usuário através do painel de operação 13.

[00024] A seção de sobreposição 25 gera uma imagem de AR sobrepondo uma imagem de conteúdo circular obtida com base no conteúdo tendo sido processado pela seção de processamento de imagem 24 de modo a cobrir toda a região do globo terrestre 20 na imagem fotografada tendo sido especificada pela seção de reconhecimento de globo terrestre 21. Neste modo, uma imagem de AR na qual um conteúdo circularmente processado é exibido em toda a região do globo terrestre 20 na imagem fotografada obtida fotografando o globo terrestre 20 com a câmera 16 pode ser gerada. O aparelho de processamento de informações 10 exibe a imagem de AR gerada pela seção de sobreposição 25 na seção de display 15.

[00025] Devido às funções acima descritas, o aparelho de processamento de informações 10 pode gerar uma imagem de AR na qual um conteúdo armazenado no DB de conteúdo 12a ou no álbum 12b é sobreposto sobre o globo terrestre 20 fotografado com a câmera 16. Incidentalmente, a seção de extração 23 extrai, do conteúdo, uma região de acordo com a faixa fotográfica do globo terrestre 20, e a seção de processamento de imagem 24 executa o processamento de imagem sobre a região extraída. Assim, o conteúdo pode ser sobreposto sobre o globo terrestre 20 com cada posição (cada ponto) na faixa fotográfica do globo terrestre 20 alinhada com a posição correspondente (ponto correspondente) no conteúdo.

Petição 870180057417, de 03/07/2018, pág. 99/232

14/49 [00026] Agora, o processamento para exibir uma imagem de AR executado pelo aparelho de processamento de informações 10 será descrito com referência a um fluxograma. A Figura 4 é um fluxograma que ilustra os procedimentos no processamento executado pelo aparelho de processamento de informações 10, e as Figuras 5 a 8 são diagramas esquemáticos que ilustram exemplos de display da imagem de AR. O processamento seguinte é executado pela unidade de controle 11 de acordo com o programa de controle armazenado na unidade de armazenamento 12 do aparelho de processamento de informações 10. [00027] Quando uma instrução para executar a aplicação de processamento de imagem P é recebida de um usuário, por exemplo, através do painel de operação 13, o aparelho de processamento de informações 10 executa a aplicação de processamento de imagem P. No aparelho de processamento de informações 10 tendo iniciado a executar a aplicação de processamento de imagem P, a unidade de controle 11 inicia uma operação de fotografar com a câmera 16 (S1). A unidade de controle 11 obtém uma imagem fotografada com a câmera 16 (S2), reconhece um marcador de AR na imagem fotografada obtida, e reconhece o globo terrestre 20 na imagem fotografada com base no marcador de AR e na imagem fotografada (S3). Aqui, a unidade de controle 11 especifica uma região do globo terrestre 20 na imagem fotografada, e uma faixa fotográfica ou similares do globo terrestre 20.

[00028] A unidade de controle 11 determina se ou não a faixa fotográfica foi mudada no globo terrestre reconhecido 20 (S4). Por exemplo, a unidade de controle 11 armazena, na unidade de armazenamento 12, a faixa fotográfica do globo terrestre 20 especificada na etapa S3, e quando a faixa fotográfica do globo terrestre 20 é especificada na próxima vez, é determinado se ou não a faixa fotográfica foi mudada da faixa fotográfica anterior. Se for determinado que a faixa fotográfica não foi mudada (S4: NÃO), a unidade de controle 11 retorna o processamento

Petição 870180057417, de 03/07/2018, pág. 100/232

15/49 para o procedimento da etapa S2, e repete os procedimentos para obter uma imagem fotografada em um tempo prescrito e reconhecer o globo terrestre 20 com base na imagem fotografada obtida.

[00029] Se for determinado que a faixa fotográfica foi mudada (S4: SIM), ou quando o globo terrestre 20 é reconhecido pela primeira vez, a unidade de controle 11 lê um conteúdo a ser utilizado para uma imagem de AR do DB de conteúdo 12a ou do álbum 12b (S5). A unidade de controle 11 lê, por exemplo, um conteúdo de acordo com o globo terrestre 20 ou o marcador de AR reconhecido na etapa S3. O conteúdo de acordo com o globo terrestre 20 ou o marcador de AR é, por exemplo, um conteúdo de acordo com um padrão, um mapa ou similares mostrado na região do globo terrestre 20 na imagem fotografada, ou um conteúdo de acordo com o marcador de AR incluído na imagem fotografada. Incidentalmente, quando um conteúdo a ser utilizado para a imagem de AR é especificado pelo usuário através do painel de operação 13, a unidade de controle 11 lê o conteúdo especificado do álbum 12b.

[00030] A seguir, a unidade de controle 11 extrai, do conteúdo lido na etapa S5, uma região (região correspondente) de acordo com a faixa fotográfica do globo terrestre 20 especificada na etapa S3 (S6). Por exemplo, a unidade de controle 11 extrai, de uma imagem de conteúdo, uma imagem de uma que corresponde à longitude e latitude na faixa fotográfica do globo terrestre 20. Então, a unidade de controle 11 executa o processamento de imagem sobre a região (o conteúdo) extraído na etapa S6 (S7). Aqui, a unidade de controle 11 executa um processamento para deformar o conteúdo em uma imagem circular de modo a ser exibida em uma região circular sobre o globo terrestre 20 na imagem fotografada. Além disso, a unidade de controle 11 gera uma imagem de AR sobrepondo a imagem de conteúdo circular obtida com base no conteúdo tendo sido processado na etapa S7 de modo a

Petição 870180057417, de 03/07/2018, pág. 101/232

16/49 cobrir toda a região do globo terrestre 20 na imagem fotografada (S8). A unidade de controle 11 exibe a imagem de AR assim gerada no painel de operação 13 (S9).

[00031] A unidade de controle 11 determina se ou não o processamento deve ser terminado (S10). Um caso de terminar o processamento é, por exemplo, um caso onde uma instrução de término é recebida de um usuário através do painel de operação 13. Se for determinado que o processamento não deve ser terminado (S10: NÃO), a unidade de controle 11 retorna o processamento para o procedimento da etapa S2, e se for determinado que o processamento deve ser terminado (S10: SIM), a unidade de controle 11 termina o processamento. Quando o processamento é retornado para o procedimento da etapa S2, a unidade de controle 11 executa os procedimentos das etapas S3 a S9 cada vez que uma imagem fotografada é obtida no tempo prescrito. Neste modo, com base nas imagens fotografadas sucessivamente obtidas com a câmera 16, o globo terrestre 20 é reconhecido, e os conteúdos são sobrepostos de acordo com a faixa fotográfica reconhecida do globo terrestre 20, de modo a gerar uma imagem de AR de acordo com a faixa fotográfica do globo terrestre 20. Consequentemente, quando a faixa fotográfica do globo terrestre 20 é mudada girando o globo terrestre 20 a ser fotografado ou mudando uma direção para fotografar o globo terrestre 20, um conteúdo a ser sobreposto sobre o globo terrestre 20 é mudado em uma base em tempo real.

[00032] A Figura 5 ilustra um exemplo da imagem de AR obtida quando uma fotografia da superfície lunar feita pela projeção equirretangular e apresentada pela NASA (National Aeronautics and Space Administration) é utilizada como o conteúdo. Quando uma fotografia da superfície lunar feita pela projeção equirretangular é utilizada, a unidade de controle 11 extrai, do conteúdo (a fotografia da superfície lunar), uma imagem de uma região que tem latitude de lua e longitude de lua

Petição 870180057417, de 03/07/2018, pág. 102/232

17/49 (coordenadas de lua) que correspondem à latitude e longitude na faixa fotográfica do globo terrestre fotografado 20. Então, a unidade de controle 11 executa o processamento de imagem para deformar a imagem extraída em uma forma circular, e sobrepõe a resultante em uma região circular sobre o globo terrestre 20 na imagem fotografada. Neste modo, a imagem de AR de um globo lunar como ilustrada na Figura 5 pode ser gerada. Além disso, quando a faixa fotográfica do globo terrestre 20 é mudada girando o globo terrestre 20 para ser fotografado ou mudando a direção para fotografar o globo terrestre 20, a unidade de controle 11 extrai uma imagem de uma região de acordo com a faixa fotográfica mudada do conteúdo (a fotografia da superfície lunar). Então, a unidade de controle 11 executa o processamento de imagem para deformar a imagem extraída em uma forma circular, e sobrepõe a resultante em uma região circular sobre o globo terrestre 20 na imagem fotografada. Neste modo, quando a faixa fotográfica do globo terrestre 20 é mudada, a fotografia da superfície lunar de acordo com a faixa fotográfica mudada do globo terrestre 20 é sobreposta sobre o globo terrestre 20. Consequentemente, na imagem de AR do globo lunar como ilustrada na Figura 5, o globo lunar pode ser girado mudando a faixa fotográfica do globo terrestre 20, e assim, as imagens do globo lunar feitas em várias direções podem ser exibidas.

[00033] As Figuras 6A e 6B ilustram exemplos da imagem de AR obtida quando uma fotografia de satélite obtida sintetizando fotografias de toda a superfície da terra feitas de um satélite e desenvolvendo a resultante pela projeção equirretangular em um plano é utilizada como o conteúdo. Quando tal fotografia de satélite é utilizada, a unidade de controle 11 extrai, do conteúdo (a fotografia de satélite), uma imagem de uma região que corresponde à latitude e longitude na faixa fotográfica do globo terrestre fotografado 20. Então, a unidade de controle 11 executa o processamento de imagem para deformar a imagem extraí

Petição 870180057417, de 03/07/2018, pág. 103/232

18/49 da em uma forma circular, e sobrepõe a resultante em uma região circular do globo terrestre 20 na imagem fotografada. Neste modo, a imagem de AR da terra vista de um satélite pode ser exibida como ilustrado nas Figuras 6A e 6B. Incidentalmente, a Figura 6A ilustra um exemplo da fotografia de satélite obtida quando é hora do dia no continente Eurasiano e no continente Africano, e a Figura 6B ilustra um exemplo da fotografia de satélite obtida quando é hora da noite no continente Americano. Quando a faixa fotográfica do globo terrestre 20 é mudada, enquanto a imagem como ilustrado na Figura 6A ou 6B está sendo exibida, girando o globo terrestre 20 para ser fotografado ou mudando a direção para fotografar o globo terrestre 20, a fotografia de satélite de acordo com a faixa fotográfica mudada do globo terrestre 20 é sobreposta sobre o globo terrestre 20. Consequentemente, quando a faixa fotográfica do globo terrestre 20 é mudada para a América do Sul enquanto a imagem de AR da Figura 6A está sendo exibida na seção de display 15, a imagem de AR é mudada para aquela da Figura 6B com base na fotografia de satélite que corresponde à América do Sul. Especificamente, na imagem de AR como ilustrado na Figura 6A ou 6B, a terra na imagem de AR pode ser girada de acordo com a rotação do globo terrestre 20, e as imagens (fotografias) da terra vista e várias direções podem ser exibidas. Incidentalmente, tal conteúdo pode ser especificado com base em, por exemplo, tempo padrão do Japão, e pode ser arbitrariamente especificado por um usuário.

[00034] As Figuras 7A e 7B ilustram exemplos da imagem de AR obtida quando uma imagem que corresponde à mudança ao longo do tempo na forma de continentes (movimento de crosta) é utilizada como o conteúdo. Quando tal imagem é utilizada, a unidade de controle 11 extrai, do conteúdo, uma imagem de uma região que corresponde à latitude e longitude na faixa fotográfica do globo terrestre fotografado 20. Então, a unidade de controle 11 executa o processamento de ima

Petição 870180057417, de 03/07/2018, pág. 104/232

19/49 gem para deformar a imagem extraída em uma forma circular, e sobrepõe a resultante em uma região circular sobre o globo terrestre 20 na imagem fotografada. Neste modo, a imagem de AR dos continentes (a terra) de 200 milhões de anos atrás que corresponde à faixa fotográfica do globo terrestre 20 pode ser exibida como ilustrado na Figura 7A. Incidentalmente, quando a faixa fotográfica do globo terrestre 20 é mudada enquanto a imagem de AR da Figura 7A está sendo exibida na seção de display 15, uma imagem de AR dos continentes (a terra) de 200 milhões de anos atrás que corresponde a uma faixa fotográfica mudada é exibida. Consequentemente, também na imagem de AR da Figura 7A, a terra de 200 milhões de anos atrás pode ser também girada na imagem de AR de acordo com a rotação do globo terrestre 20 para ser fotografado, e as imagens da terra de 200 milhões de anos atrás vistas de várias direções podem ser exibidas.

[00035] Além disso, o conteúdo da imagem que corresponde ao movimento de crosta dos continentes inclui uma pluralidade de imagens da terra de respectivas eras de 200 milhões de anos atrás até o presente. Portanto, em uma tela de display da Figura 7A, um indicador 13a a ser utilizado para especificar a era de uma imagem a ser exibida na imagem de AR é exibido. Quando o indicador 13a é operado através do painel de operação 13 na tela de display da Figura 7A, a unidade de controle 11 extrai, da imagem (o conteúdo) da terra da era especificada pelo indicador 13a, a região de acordo com a faixa fotográfica do globo terrestre 20. Então, a unidade de controle 11 executa o processamento de imagem sobre a região extraída (o conteúdo) e sobrepõe a resultante sobre o globo terrestre 20 da imagem fotografada para gerar uma imagem de AR. Neste modo, uma imagem de um lugar nos continentes de acordo com a faixa fotográfica do globo terrestre 20 na era especificada pelo indicador 13a é exibida na imagem de AR. Incidentalmente, a tela de display da Figura 7A é uma tela exemplifi

Petição 870180057417, de 03/07/2018, pág. 105/232

20/49 cada exibida quando a terra de 200 milhões de anos atrás é especificada através do indicador 13a, e a tela de display da Figura 7B é uma tela exemplificada exibida quando a terra corrente é especificada. Quando uma mudança contínua na era é especificada através do indicador 13a na tela de display da Figura 7A ou 7B, imagens de AR que utilizam imagens respectivamente correspondentes as eras sucessivamente especificadas são exibidas.

[00036] A Figura 8 ilustra um exemplo da imagem de AR obtida quando a fotografia de um cão feita com, por exemplo, o aparelho de processamento de informações 10 é utilizada como o conteúdo. Quando tal fotografia é utilizada, a unidade de controle 11 executa meramente o processamento de imagem para deformar a fotografia, por exemplo, em uma forma retangular em uma forma circular, e sobrepõe a resultante em uma região circular sobre o globo terrestre 20 na imagem fotografada. Como uma fotografia arbitrária pode ser assim utilizada para a imagem de AR, qualquer imagem de AR como desejado por um usuário pode ser gerada, e o usuário pode mais apreciar as fotografias feitas por ele mesmo / ela mesma. Além disso, quando uma fotografia de toda a superfície de um objeto, tal como uma fotografia da superfície lunar, é utilizada como o conteúdo, de acordo com a mudança na faixa fotográfica do globo terrestre 20, uma fotografia de acordo com a faixa fotográfica mudada do globo terrestre 20 é sobreposta sobre o globo terrestre 20. Portanto, a fotografia (o objeto na fotografia) na imagem de AR pode também ser girada girando o globo terrestre 20 para ser fotografado ou mudando a direção para fotografar o globo terrestre 20.

[00037] Na presente modalidade, além dos exemplos acima descritos, por exemplo, as imagens que correspondem à mudança ao longo do tempo em fronteiras, territórios e nomes de países, e imagens que correspondem à mudança ao longo do tempo em divisões regionais e

Petição 870180057417, de 03/07/2018, pág. 106/232

21/49 nomes das regiões de um país podem ser utilizadas como o conteúdo. Também neste caso, as imagens de AR nas quais o conteúdo que corresponde a qualquer uma das várias mudanças ao longo do tempo é sobreposto em um país, a região ou similares fotografado de acordo com a faixa fotográfica do globo terrestre 20 podem ser geradas.

[00038] Na presente modalidade, um conteúdo lido do DB de conteúdo 12a ou do álbum 12b é sobreposto para cobrir toda a região do globo terrestre 20 na imagem fotografada. Portanto, vários conteúdos podem ser exibidos utilizando uma região circular sobre o globo terrestre 20 como uma região de exibição. Além disso, quando o globo terrestre 20 é visto através da câmera 16 e da seção de display 15 do aparelho de processamento de informações 10, este pode ser visto como se os vários conteúdos fossem exibidos sobre o globo terrestre 20. Além disso, como um conteúdo a ser sobreposto é mudado mudando a faixa fotográfica do globo terrestre 20, um objeto em uma imagem de AR (tal como um globo lunar) pode ser girado de acordo com a mudança da faixa fotográfica do globo terrestre 20.

MODALIDADE 2 [00039] A presente modalidade refere-se a um aparelho de processamento de informações 10 que gera uma imagem de AR obtida sobrepondo, sobre um globo terrestre 20, uma pluralidade de conteúdos sucessivamente comutados. Como o aparelho de processamento de informações 10 da presente modalidade tem a mesma estrutura que o aparelho de processamento de informações 10 da Modalidade 1, porções comumente empregadas na Modalidade 1 não serão aqui descritas.

[00040] A Figura 9 é um diagrama de blocos que ilustra as funções realizadas por uma unidade de controle 11 do aparelho de processamento de informações 10 da Modalidade 2. Quando uma aplicação de processamento de imagem P é executada, a unidade de controle 11

Petição 870180057417, de 03/07/2018, pág. 107/232

22/49 do aparelho de processamento de informações 10 da presente modalidade realiza as funções de uma seção de reconhecimento de globo terrestre 21, uma seção de leitura de conteúdo 22, uma seção de extração 23, uma seção de processamento de imagem 24 e uma seção de sobreposição 25 no mesmo modo que na Modalidade 1. Incidentalmente, a seção de leitura de conteúdo 22 da presente modalidade inclui uma seção de especificação de ordem 26. Também na presente modalidade, uma parte destas funções pode ser realizada por um circuito de hardware dedicado.

[00041] Quando a seção de leitura de conteúdo 22 lê uma pluralidade de conteúdos de um DB de conteúdo 12a ou um álbum 12b, a seção de especificação de ordem 26 especifica uma ordem de leitura (uma ordem de exibição) dos conteúdos com base em informações de tempo dos conteúdos. As informações de tempo não são somente informações que correspondem ao dia e tempo de criar ou fotografar o conteúdo mas também podem ser informações que correspondem a uma ordem de exibição entre conteúdos plurais relativos. As informações de tempo são armazenadas no DB de conteúdo 12a ou no álbum 12b correspondentemente a cada um dos conteúdos. A seção de especificação de ordem 26 lê, do DB de conteúdo 12a ou do álbum 12b, as informações de tempo de um conteúdo a ser lido pela seção de leitura de conteúdo 22 do DB de conteúdo 12a ou do álbum 12b. A seção de especificação de ordem 26 especifica, com base nas informações de tempo lidas, a ordem de leitura dos conteúdos plurais a serem lidos do DB de conteúdo 12a ou do álbum 12b. Por exemplo, quando as informações de tempo correspondem à ordem de exibição entre os respectivos conteúdos, a seção de especificação de ordem 26 determina a ordem de leitura dos respectivos conteúdos como a ordem que corresponde às informações de tempo dos conteúdos. Alternativamente, quando as informações de tempo correspondem ao dia e tempo de

Petição 870180057417, de 03/07/2018, pág. 108/232

23/49 fotografar ou criar o conteúdo, a seção de especificação de ordem 26 determina a ordem de leitura dos conteúdos como uma ordem (por exemplo, da mais antiga ou mais nova) dos dias e tempos que correspondem às informações de tempo dos respectivos conteúdos. A seção de leitura de conteúdo 22 lê os conteúdos do DB de conteúdo 12a ou do álbum 12b na ordem especificada pela seção de especificação de ordem 26.

[00042] Cada um dos conteúdos lidos como acima descrito está sujeito à extração de uma região de acordo com a faixa fotográfica do globo terrestre 20 pela seção de extração 23 e o processamento de imagem pela seção de processamento de imagem 24, e posteriormente, a resultante é sobreposta em uma região circular sobre o globo terrestre 20 na imagem fotografada pela seção de sobreposição 25 no mesmo modo que na Modalidade 1. Neste modo, uma imagem de AR é gerada. Incidentalmente, a seção de leitura de conteúdo 22 lê os conteúdos plurais na ordem especificada pela seção de especificação de ordem 26, e a seção de extração 23, a seção de processamento de imagem 24 e a seção de sobreposição 25 sucessivamente executam o respectivo processamento sobre os conteúdos assim lidos, de modo a gerar a imagem de AR. O aparelho de processamento de imagem 10 comuta, em um tempo prescrito, as imagens de AR sucessivamente geradas pela seção de sobreposição 25 a serem exibidas na seção de display 15. Neste modo, as imagens de AR geradas sobrepondo os conteúdos plurais sucessivamente comutados podem ser exibidas sobre o globo terrestre 20 fotografado com a câmera 16 na presente modalidade.

[00043] Agora, o processamento de exibição de imagem de AR executado pelo aparelho de processamento de informações 10 da presente modalidade será descrito com referência a um fluxograma. A Figura 10 é um fluxograma que ilustra os procedimentos no processa

Petição 870180057417, de 03/07/2018, pág. 109/232

24/49 mento executado pelo aparelho de processamento de informações 10. O processamento seguinte é executado pela unidade de controle 11 de acordo com um programa de controle armazenado na unidade de armazenamento 12 do aparelho de processamento de informações 10. A unidade de controle 11 do aparelho de processamento de informações 10 da presente modalidade executa os mesmos procedimentos que aqueles das etapas S1 a S4 da Figura 4 (S21 a S24).

[00044] Se for determinado que a faixa fotográfica foi mudada (S24: SIM), ou se o globo terrestre 20 é reconhecido pela primeira vez, a unidade de controle 11 especifica uma ordem de exibição entre os conteúdos plurais a ser utilizada para uma imagem de AR (S25). Por exemplo, a unidade de controle 11 lê, do DB de conteúdo 12a ou do álbum 12b, as informações de tempo dos conteúdos plurais a serem lidos do DB de conteúdo 12a ou do álbum 12b, e especifica a ordem de exibição entre estes com base nas informações de tempo assim lidas. Incidentalmente, quando os conteúdos a serem utilizados para a imagem de AR são especificados por um usuário através do painel de operação 13, a unidade de controle 11 lê as informações de tempo destes conteúdos do álbum 12b. Além disso, quando um conteúdo de acordo com o globo terrestre 20 ou o marcador de AR reconhecido na etapa S23 deve ser utilizado para a imagem de AR, a unidade de controle 11 lê as informações de tempo deste conteúdo do DB de conteúdo 12a.

[00045] A unidade de controle 11 lê um conteúdo do DB de conteúdo 12a ou do álbum 12b na ordem de exibição especifica (S26), e executa os mesmos procedimentos que aqueles das etapas S6 a S9 da Figura 4 no conteúdo lido (S27 a S30). Neste modo, uma imagem de AR na qual aquele conteúdo é sobreposto sobre o globo terrestre 20 é exibida. Então, a unidade de controle 11 determina se ou não o processamento de exibição (sobreposição) foi executado sobre todos os

Petição 870180057417, de 03/07/2018, pág. 110/232

25/49 conteúdos a serem utilizados para a imagem de AR (S31). Se for determinado que o processamento de exibição para todos os conteúdos não foi executado (S31: NÃO), a unidade de controle 11 retorna o processamento para o procedimento da etapa S26, e lê, na ordem de exibição especificada na etapa S25, o próximo conteúdo do DB de conteúdo 12a ou do álbum 12b (S26). Então, a unidade de controle 11 executa os procedimentos das etapas S27 a S30 sobre o conteúdo assim lido. Se for determinado que o processamento sobre todos os conteúdos a serem utilizados para a imagem de AR foi executado (S31: SIM), a unidade de controle 11 determina se ou não o processamento deve ser terminado (S32). Se for determinado que o processamento não deve ser terminado (S32: NÃO), a unidade de controle 11 retorna o processamento para o procedimento da etapa S22, e se for determinado que o processamento deve ser terminado (S32: SIM), a unidade de controle 11 termina o processamento.

[00046] Através do processamento acima descrito, na imagem de AR no qual o conteúdo está sobreposto para cobrir toda a região do globo terrestre 20 na imagem fotografada como ilustrado nas, por exemplo, Figuras 5 a 8, o conteúdo é comutado em um tempo prescrito a ser exibido. Portanto, como os conteúdos plurais podem ser exibidos em um modo comutado utilizando a região circular do globo terrestre 20 como a região de exibição, uma imagem de AR como desejada por um usuário pode ser gerada, e o usuário pode mais apreciar as fotografias feitas por si mesmo / si mesma.

[00047] Na imagem de AR da presente modalidade, uma pluralidade de conteúdos pode ser exibida em um modo sucessivamente comutado em toda a região do globo terrestre 20 na imagem fotografada, e alternativamente, os respectivos conteúdos podem ser exibidos em porções da região do globo terrestre 20 na imagem fotografada como ilustrado nas Figuras 11A e 11B. As Figuras 11A e 11B são diagramas

Petição 870180057417, de 03/07/2018, pág. 111/232

26/49 esquemáticos que ilustram exemplos de display da imagem de AR. Na imagem exemplificada da Figura 11 A, uma pluralidade de conteúdos está exibida na região do globo terrestre 20 na imagem fotografada de tal modo que estes fiquem alinhados sem sobreporem uns aos outros. É notado que os valores numéricos 1 a 5 mostrados na Figura 11A correspondem à ordem de exibição entre estes conteúdos. Alternativamente, os conteúdos plurais podem ser exibidos na região do globo terrestre 20 na imagem fotografada de tal modo que estes fiquem parcialmente sobrepostos uns sobre os outros como ilustrado na Figura 11B. É notado que os valores numéricos 1 a 4 mostrados na Figura 11B correspondem à ordem de exibição entre estes conteúdos. Neste modo, na geração de uma imagem de AR, uma forma de exibição de uma pluralidade de conteúdos a serem sobrepostos sobre o globo terrestre 20 na imagem fotografada pode ser apropriadamente mudada. Além disso, a forma de exibição dos conteúdos pode ser mudada de acordo com uma instrução emitida por um usuário. Apesar da região de exibição de cada conteúdo ser em uma forma circular nas Figuras 11A e 11B, esta pode ser em uma forma retangular.

MODALIDADE 3 [00048] A presente modalidade refere-se a um aparelho de processamento de informações 10 para gerar uma imagem de AR na qual uma pluralidade de conteúdos está sobreposta em posições correspondentes (locais) sobre um globo terrestre 20 em uma imagem fotografada. Como o aparelho de processamento de informações 10 da presente modalidade tem a mesma estrutura que o aparelho de processamento de informações 10 da Modalidade 2, porções comumente empregadas na Modalidade 2 não serão aqui descritas.

[00049] A Figura 12 é um diagrama de blocos que ilustra as funções realizadas por uma unidade de controle 11 do aparelho de processamento de informações 10 da Modalidade 3. Quando uma aplicação de

Petição 870180057417, de 03/07/2018, pág. 112/232

27/49 processamento de imagem P é executada, a unidade de controle 11 do aparelho de processamento de informações 10 da presente modalidade realiza as funções de uma seção de reconhecimento de globo terrestre 21, uma seção de leitura de conteúdo 22, uma seção de processamento de imagem 24 e uma seção de sobreposição 25 no mesmo modo que na Modalidade 2. Inci dental mente, não há necessidade de prover a unidade de extração 23 na presente modalidade, e a seção de sobreposição 25 inclui uma seção de especificação de localização 27. Também na presente modalidade, uma parte destas funções pode ser realizada por circuito de hardware dedicado.

[00050] Quando a seção de sobreposição 25 sobrepõe um conteúdo sobre o globo terrestre 20 na imagem fotografada, a seção de especificação de localização 27 especifica, com base em informações de localização do conteúdo, uma posição onde o conteúdo deve ser sobreposto. As informações de localização são, por exemplo, informações sobre uma posição (um local) onde o conteúdo é fotografado ou criado, ou informações que correspondem a uma posição (um local) onde o conteúdo deve ser exibido, e informações sobre uma localização (tal como latitude e longitude) sobre a terra (sobre um mapa) são utilizadas como as informações de localização. Além disso, as informações de localização podem ser informações que correspondem a cada marcador de AR provido sobre o globo terrestre 20. As informações de localização estão armazenadas no DB de conteúdo 12a ou no álbum 12b correspondentemente a cada conteúdo, e na presente modalidade, as informações de localização de cada conteúdo são também lidas do DB de conteúdo 12a ou do álbum 12b quando a seção de leitura de conteúdo 22 lê o conteúdo.

[00051] Quando as informações de localização do conteúdo são informações sobre uma localização sobre a terra, a seção de especificação de localização 27 especifica uma posição onde o conteúdo deve

Petição 870180057417, de 03/07/2018, pág. 113/232

28/49 ser sobreposto com base nas informações de localização de respectivas posições sobre o globo terrestre 20 na imagem fotografada, as quais são especificadas pela seção de reconhecimento de globo terrestre 21 com base nos marcadores de AR, e nas informações de localização. Especificamente, a seção de especificação de localização 27 especifica, com base nas informações de localização de respectivas posições sobre o globo terrestre 20 na imagem fotografada, qual posição sobre o globo terrestre 20 é uma posição que corresponde às informações de localização do conteúdo, e determina a posição especificada como a posição onde o conteúdo deve ser sobreposto. Alternativamente, quando as informações de localização do conteúdo são informações que correspondem a um marcador de AR correspondente, a seção de especificação de localização 27 especifica a posição do marcador correspondente especificada pela seção de reconhecimento de globo terrestre 21 como a posição onde o conteúdo deve ser sobreposto.

[00052] A seção de sobreposição 25 da presente modalidade gera uma imagem de AR sobrepondo uma imagem de conteúdo, obtida pelo processamento do conteúdo pela seção de processamento de imagem 24, em uma posição especificada pela seção de especificação de localização 27 sobre o globo terrestre 20 na imagem fotografada. Na presente modalidade, como a seção de leitura de conteúdo 22 lê uma pluralidade de conteúdos na ordem especificada pela seção de especificação de ordem 26, uma imagem de AR na qual os conteúdos lidos na ordem prescrita são sobrepostos nas posições correspondentes sobre o globo terrestre 20 pode ser gerada. Incidentalmente, a seção de sobreposição 25 pode comutar, em um tempo prescrito, os conteúdos plurais tendo sido sucessivamente lidos pela seção de leitura de conteúdo 22 e processados pela seção de processamento de imagem 24 para serem sucessivamente sobrepostos sobre o globo terrestre 20

Petição 870180057417, de 03/07/2018, pág. 114/232

29/49 na imagem fotografada, ou pode sucessivamente adicionar, em um tempo prescrito, os conteúdos a serem sobrepostos sobre o globo terrestre 20 na imagem fotografada. O aparelho de processamento de informações 10 exibe, na seção de display 15, a imagem de AR assim gerada pela seção de sobreposição 25. Neste modo, o aparelho de processamento de informações 10 pode gerar e exibir uma imagem de AR na qual os conteúdos estão sobrepostos em posições correspondentes sobre o globo terrestre 20 fotografado com a câmera 16.

[00053] Agora, um processamento de exibição de imagem de AR executado pelo aparelho de processamento de informações 10 da presente modalidade será descrito com referência a um fluxograma. A Figura 13 é um fluxograma que ilustra os procedimentos no processamento executado pelo aparelho de processamento de informações 10. As Figuras 14 a 18 são diagramas esquemáticos que ilustram exemplos de display da imagem de AR. O processamento seguinte é executado pela unidade de controle 11 de acordo com um programa de controle armazenado na unidade de armazenamento 12 do aparelho de processamento de informações 10. A unidade de controle 11 do aparelho de processamento de informações 10 da presente modalidade executa os mesmos procedimentos que aqueles das etapas S21 a S26 da Figura 10 (S41 a S46). Incidentalmente, na presente modalidade, a unidade de controle 11 lê também as informações de localização do conteúdo lendo o conteúdo do DB de conteúdo 12a ou do álbum 12b.

[00054] A unidade de controle 11 executa o processamento de imagem sobre o conteúdo lido na etapa S46 (S47). Aqui, a unidade de controle 11 executa um processamento para gerar uma imagem em miniatura do conteúdo se necessário. Incidentalmente, se não existir necessidade de executar o processamento de imagem sobre o conteúdo, a unidade de controle 11 pode não executar nenhum processamento sobre o conteúdo. A seguir, a unidade de controle 11 especifica,

Petição 870180057417, de 03/07/2018, pág. 115/232

30/49 com base nas informações de localização do conteúdo lido do DB de conteúdo 12a ou do álbum 12b, uma posição de exibição onde o conteúdo deve ser sobreposto sobre o globo terrestre 20 na imagem fotografada (S48). Então, a unidade de controle 11 gera uma imagem de AR sobrepondo, na posição de exibição especificada, uma imagem de conteúdo (por exemplo, uma imagem em miniatura) obtida executando o processamento de imagem sobre o conteúdo na etapa S47 (S49), e exibe a imagem de AR no painel de operação 13 (S50). Neste modo, uma imagem de AR na qual um conteúdo (por exemplo, uma imagem em miniatura) é sobreposto em uma posição correspondente sobre o globo terrestre fotografado 20 é exibida.

[00055] A unidade de controle 11 determina se ou não o processamento de exibição (sobreposição) foi executado sobre todos os conteúdos utilizados para a imagem de AR (S51). Se for determinado que o processamento de exibição não foi executado sobre todos os conteúdos (S51: NÃO), a unidade de controle 11 retorna o processamento para o procedimento da etapa S46, e lê o próximo conteúdo do DB de conteúdo 12a ou do álbum 12b na ordem de exibição especificada na etapa S45 (S46). Então, a unidade de controle 11 executa os procedimentos das etapas S47 a 50 sobre o conteúdo assim lido. Se for determinado que o processamento foi executado sobre todos os conteúdos utilizados para a imagem de AR (S51: SIM), a unidade de controle 11 determina se ou não o processamento deve ser terminado (S52). Se for determinado que o processamento não deve ser terminado (S52: NÃO), a unidade de controle 11 retorna o processamento para o procedimento da etapa S42, e se for determinado que o processamento deve ser terminado (S52: SIM), a unidade de controle 11 termina o processamento.

[00056] Através do processamento acima descrito, uma imagem de AR na qual os respectivos conteúdos são sobrepostos nas posições

Petição 870180057417, de 03/07/2018, pág. 116/232

31/49 correspondentes sobre o globo terrestre 20 na imagem fotografada pode ser gerada como ilustrado nas, por exemplo, Figuras 14 a 18. A Figura 14 ilustra um exemplo da imagem de AR obtida quando uma imagem de um tufão é utilizada como um conteúdo CO. Quando este conteúdo CO é utilizado, a unidade de controle 11 especifica uma posição de exibição que corresponde às informações de localização (a latitude e longitude) do conteúdo CO na faixa fotográfica do globo terrestre fotografado 20, e sobrepõe o conteúdo CO na posição especificada sobre o globo terrestre 20 na imagem fotografada. Neste modo, uma imagem de AR na qual a imagem do tufão é exibida sobre o globo terrestre 20 pode ser gerada. Incidentalmente, se uma pluralidade de imagens juntas formam um conteúdo, a unidade de controle 11 pode sobrepor a um caminho do tufão sobre o globo terrestre 20 exibindo as respectivas imagens em uma ordem de exibição que corresponde às informações de tempo das respectivas imagens. Além disso, quando a faixa fotográfica do globo terrestre 20 é mudada, a unidade de controle 11 sobrepõe o conteúdo (a imagem do tufão) de acordo com a faixa fotográfica mudada na posição correspondente sobre o globo terrestre 20 na imagem fotografada. Portanto, a terra na imagem de AR pode também ser girada girando o globo terrestre 20 para ser fotografado ou mudando a direção para fotografar o globo terrestre 20, e imagens de tufões formados em vários locais sobre a terra girada são exibidas.

[00057] A Figura 15 ilustra um exemplo da imagem de AR obtida quando fotografias feitas por um usuário durante uma viagem são utilizadas como conteúdos C1 a C3. Quando as fotografias feitas por um usuário são utilizadas como os conteúdos, a unidade de controle 11 lê, do álbum 12b, fotografias feitas em respectivos locais na faixa fotográfica do globo terrestre fotografado 20. Então, a unidade de controle 11 gera imagens em miniatura das fotografias lidas. Incidentalmente, quando as imagens em miniatura das fotografias são armazenadas no

Petição 870180057417, de 03/07/2018, pág. 117/232

32/49 álbum 12b, a unidade de controle 11 pode ler as imagens em miniatura das fotografias do álbum 12b. Além disso, a unidade de controle 11 especifica as posições de exibição que correspondem às informações de localização (a latitude e longitude) de cada um dos conteúdos C1 a C3 (as fotografias) na faixa fotográfica do globo terrestre fotografado 20. Então, a unidade de controle 11 sobrepõe os conteúdos C1 a C3 nas posições especificadas sobre o globo terrestre 20 na imagem fotografada na ordem fotográfica dos conteúdos C1 a C3. Neste modo, a imagem de AR na qual as fotografias são feitas durante a viagem são exibidas nas posições que correspondem às posições fotográficas sobre o globo terrestre 20 na ordem de fazer as fotografias pode ser gerada.

[00058] Apesar dos três conteúdos C1 a C3 serem exibidos nas posições correspondentes sobre o globo terrestre 20 na Figura 15, os conteúdos C1 a C3 podem ser comutados em um tempo prescrito a serem exibidos. Em outras palavras, meramente um destes conteúdos pode estar sempre sobreposto sobre o globo terrestre 20. Além disso, se uma operação para selecionar qualquer dos conteúdos C1 a C3 for executada através do painel de operação 13 em uma tela ilustrada na Figura 15, a unidade de controle 11 pode exibir o conteúdo selecionado ampliado. Especificamente, a unidade de controle 11 pode ler o conteúdo selecionado do álbum 12b para exibi-lo sobre o topo da tela. Incidentalmente, também na tela ilustrada na Figura 15, quando a faixa fotográfica do globo terrestre 20 é mudada girando o globo terrestre 20 para ser fotografado ou mudando a direção para fotografar o globo terrestre 20, a unidade de controle 11 lê um conteúdo de acordo com a faixa fotográfica mudada (uma fotografia feita na faixa fotográfica mudada) do álbum 12b, e executa um processamento similar. Neste modo, quando a faixa fotográfica do globo terrestre 20 é mudada girando o globo terrestre 20, uma imagem de AR na qual uma fotografia de

Petição 870180057417, de 03/07/2018, pág. 118/232

33/49 acordo com a faixa fotográfica mudada é sobreposta pode ser exibida. [00059] A Figura 16 ilustra um exemplo da imagem de AR obtida quando os conteúdos C4 a C6 armazenados, antes de uma viagem, no DB de conteúdo 12a correspondentemente a informações de localização que correspondem a um local programado para visita durante a viagem e o dia programado da visita são utilizados. Aqui, a unidade de controle 11 lê, do DB de conteúdo 12a, as informações de localização que correspondem aos locais programados para vista na faixa fotográfica do globo terrestre fotografado 20, os dias programados das visitas que correspondem às informações de localização e os conteúdos C4 a C6. Então, a unidade de controle 11 especifica, na faixa fotográfica do globo terrestre fotografado 20, as posições de exibição dos conteúdos C4 a C6 com base nas informações de localização lidas (latitude e longitude). Posteriormente, a unidade de controle 11 sobrepõe os conteúdos C4 a C6 nas posições especificadas sobre o globo terrestre 20 na imagem fotografada na ordem dos dias programados das visitas dos conteúdos C4 a C6. Neste modo, a imagem de AR na qual os conteúdos C4 a C6 de, por exemplo, ícones que correspondem à ordem de visita são sobrepostos nas posições que correspondem aos locais programados para visitar na ordem de visitação como ilustrado na Figura 16 pode ser gerada.

[00060] Em uma tela ilustrada na Figura 16, os conteúdos C4 a C6 podem ser ícones que correspondem, por exemplo, os dias programados das visitas. Além disso, quando uma linha que conecta os conteúdos C4 a C6 um no outro é além disso exibida como ilustrado na Figura 16, uma rota de viagem pode ser exibida sobre o globo terrestre 20. Mais ainda, na tela ilustrada na Figura 16, uma conexão a um website prescrito pode ser ajustada em cada um dos conteúdos C4 a C6. Neste caso, quando uma operação para selecionar qualquer dos conteúdos C4 a C6 é executada através do painel de operação 13, a unidade

Petição 870180057417, de 03/07/2018, pág. 119/232

34/49 de controle 11 pode obter, do website ajustado para o conteúdo selecionado, informações sobre o local de visita e exibir as informações. [00061] A Figura 17 ilustra um exemplo da imagem de AR obtida quando fotografias feitas por um usuário são utilizadas como os conteúdos no mesmo modo que na Figura 15. Em uma tela ilustrada na Figura 17, caixas de especificação de período 13b para especificar o dia e tempo de fazer uma fotografia a ser exibida na imagem de AR são além disso exibidas na tela ilustrada na Figura 15. Na tela de display da Figura 17, quando um período é especificado através do painel de operação 13, a unidade de controle 11 lê, do álbum 12b, fotografias feitas no período especificado entre as fotografias feitas na faixa fotográfica do globo terrestre fotografado 20 em respectivos locais dentro da faixa fotográfica. Então, a unidade de controle 11 gera imagens em miniatura das fotografias lidas, e sobrepõe as imagens em miniatura das fotografias em posições de exibição correspondentes sobre o globo terrestre 20 na imagem fotografada na ordem de fazer as respectivas fotografias (conteúdos). Neste modo, a imagem de AR na qual as fotografias feitas na faixa fotográfica do globo terrestre 20 no período especificado pelo usuário são exibidas nas posições que correspondem às posições fotográficas sobre o globo terrestre 20 pode ser gerada. Também na tela da Figura 17, quando uma operação para selecionar qualquer um dos conteúdos é executada através do painel de operação 13, a unidade de controle 11 pode exibir o conteúdo selecionado ampliado. Além disso, quando a faixa fotográfica do globo terrestre 20 é mudada girando o globo terrestre 20 para ser fotografado ou mudando a direção para fotografar o globo terrestre 20, uma imagem de AR na qual os conteúdos de acordo com a faixa fotográfica mudada (fotografias feitas na faixa fotográfica mudada) são sobrepostos é exibida.

[00062] Na tela da Figura 17, menus instantâneos são ajustados

Petição 870180057417, de 03/07/2018, pág. 120/232

35/49 como as caixas de especificação de período 13b, e um período arbitrário pode ser ajustado utilizando os menus instantâneos. As caixas de especificação de período 13b, no entanto, não estão limitadas a esta estrutura. O período pode ser ajustado, por exemplo, digitando um texto através do painel de operação 13. Além disso, um indicador para especificar, no período especificado, um ano ou um mês e ano quando as fotografias a serem exibidas na imagem de AR foram feitas pode ser exibido. Neste caso, no mesmo modo que no exemplo ilustrado nas Figuras 7A e 7B, as fotografias feitas no ano ou no mês e ano especificados utilizando o indicador podem ser exibidas na imagem de AR. Na presente modalidade, os conteúdos de fotografias e similares não precisam estar armazenados na unidade de armazenamento 12, mas podem estar armazenados em um aparelho externo capaz de comunicar com o aparelho de processamento de informações 10 através de uma rede, tal como um servidor de nuvem. Neste caso, a unidade de controle 11 pode ler, do servidor de nuvem, os conteúdos de, por exemplo, fotografias feitas em posições de acordo com a faixa fotográfica do globo terrestre 20 e fotografias feitas no período especificado pelo usuário.

[00063] Na presente modalidade, as informações de localização que correspondem a respectivas posições sobre o globo terrestre 20 (ou informações que correspondem a respectivos marcadores de AR) podem ser armazenadas no DB de conteúdo 12a correspondentemente a respectivos conteúdos. A Figura 18 ilustra um exemplo da imagem de AR obtida quando imagens de dinossauros vivendo no período Triássico, o período Jurássico, o período Cretáceo e similares em respectivas posições sobre o globo terrestre 20 são utilizadas como os conteúdos C7 a C9. Aqui, a unidade de controle 11 lê os conteúdos C7 a C9 que correspondem às respectivas posições na faixa fotográfica do globo terrestre fotografado 20 do DB de conteúdo 12a, e especifica as

Petição 870180057417, de 03/07/2018, pág. 121/232

36/49 posições de exibição dos conteúdos C7 a C9 sobre o globo terrestre fotografado 20. Então, a unidade de controle 11 sobrepõe os conteúdos C7 a C9 respectivamente nas posições de exibição correspondente sobre o globo terrestre 20 na imagem fotografada. Neste modo, a imagem de AR dos habitats dos dinossauros no período Triássico, no período Jurássico, no período Cretáceo e similares pode ser exibida como ilustrado na Figura 18. Também em uma tela ilustrada na Figura 18, quando o globo terrestre 20 a ser fotografado é girado ou a direção para fotografar o globo terrestre 20 é mudada, a terra na imagem de AR é também girada, e as imagens de dinossauros (conteúdos) que correspondem a respectivas localizações sobre a terra girada são exibidas.

[00064] Na presente modalidade, além disso dos exemplos acima descritos, por exemplo, quando as informações de localização de países sobre o globo terrestre 20 e as bandeiras nacionais destes países estão armazenadas correspondentemente no DB de conteúdo 12a, uma imagem de AR nas quais as bandeiras nacionais são sobrepostas em posições de exibição dos respectivos países sobre o globo terrestre 20 na imagem fotografada pode ser gerada. Alternativamente, as informações de localização sobre o globo terrestre 20 e imagens em miniatura de prédios ou similares registrados como Patrimônios Mundiais podem ser armazenadas correspondentemente no DB de conteúdo 12a. Neste caso, uma imagem de AR na qual as imagens em miniatura dos Patrimônios Mundiais são sobrepostas em localizações dos prédios ou similares registrados como os Patrimônios Mundiais sobre o globo terrestre 20 na imagem fotografada pode ser gerada.

[00065] Mais ainda, na presente modalidade, uma imagem de AR na qual os conteúdos são sobrepostos, por exemplo, sobre com base em uma rota de voo registrada em um gravador de voo ou uma rota de voo programada, em posições de cidades ou similares sobre a rota de

Petição 870180057417, de 03/07/2018, pág. 122/232

37/49 voo pode ser gerada. Alternativamente, uma imagem de AR na qual os conteúdos que correspondem a rotas marítimas são sobrepostos sobre o globo terrestre 20 com base em rotas marítimas empregadas por exploradores tais como Colombo, Vasco da Gama e Magalhães pode ser gerada. Neste modo, as rotas marítimas podem ser restauradas na imagem de AR. Além disso, uma imagem de AR na qual os conteúdos que permitem uma visualização de formas terrestres são sobrepostos em respectivas posições fotográficas na faixa fotográfica do globo terrestre 20 pode ser gerada. Quando as imagens de AR são geradas utilizando vários conteúdos de acordo com a faixa fotográfica do globo terrestre 20 como até agora descrito, vários assuntos podem ser aprendidos utilizando as imagens de AR. Alternativamente, quando fotografias ou similares feitas por um usuário são utilizadas como os conteúdos, as imagens de AR como desejado pelo usuário podem ser geradas, e o usuário pode mais apreciar as fotografias feitas por si mesmo / si mesma.

[00066] Em cada uma das modalidades acima descritas, um conteúdo pode ser uma imagem parada, pode incluir uma pluralidade de imagens paradas, ou pode ser um filme. Quando um conteúdo que inclui uma pluralidade de imagens paradas ou um filme é utilizado, o conteúdo sobreposto sobre o globo terrestre fotografado 20 é exibido conforme este está movendo.

MODALIDADE 4 [00067] A presente modalidade refere-se a um aparelho de processamento de informações 10 para gerar uma imagem de AR com base em informações de programa ajustadas em um programador. Como o aparelho de processamento de informações 10 da presente modalidade tem a mesma estrutura que o aparelho de processamento de informações 10 da Modalidade 3, porções comumente empregadas na Modalidade 3 não serão aqui descritas. O aparelho de processamento

Petição 870180057417, de 03/07/2018, pág. 123/232

38/49 de informações 10 da presente modalidade inclui um DB de informações de programa 12c armazenado em uma unidade de armazenamento (unidade de armazenamento de programa) 12. No DB de informações de programa 12c, por exemplo, as informações de programa ajustadas em um programador são armazenadas, e as informações de programa incluem informações de tempo tais como dia e tempo de trabalho, viagem programados e similares, e informações de localização de locais de visita programados ou similares.

[00068] A Figura 19 é um diagrama de blocos que ilustra as funções realizadas por uma unidade de controle 11 do aparelho de processamento de informações 10 da Modalidade 4. Quando uma aplicação de processamento de imagem P é executada, a unidade de controle 11 do aparelho de processamento de informações 10 da presente modalidade realiza funções de uma seção de reconhecimento de globo terrestre 21, uma seção de leitura de conteúdo 22, uma seção de processamento de imagem 24 e uma seção de sobreposição 25 no mesmo modo que na Modalidade 3. Incidentalmente, na presente modalidade, uma seção de especificação de ordem 26 da seção de leitura de conteúdo 22 obtém informações de tempo de informações de programa do DB de informações de programa 12c, e uma seção de especificação de localização 27 da seção de sobreposição 25 obtém informações de localização das informações de programa do DB de informações de programa 12c.

[00069] Agora, um processamento de exibição de imagem de AR executado pelo aparelho de processamento de informações 10 da presente modalidade será descrito com referência a um fluxograma. A Figura 20 é um fluxograma que ilustra os procedimentos no processamento executado pelo aparelho de processamento de informações 10. O processamento seguinte é executado pela unidade de controle 11 de acordo com um programa de controle armazenado na unidade de

Petição 870180057417, de 03/07/2018, pág. 124/232

39/49 armazenamento 12 do aparelho de processamento de informações 10. Incidentalmente, no fluxograma da Figura 20, um procedimento da etapa S61 é além disso executado antes do procedimento da etapa S41 da Figura 13, e os procedimentos das etapas S42 a S52 da Figura 13 não estão ilustrados na Figura 20.

[00070] No aparelho de processamento de informações 10 da presente modalidade, a unidade de controle 11 lê, por exemplo, informações de programa de uma viagem do DB de informações de programa 12c (S61). As informações de programa incluem, por exemplo, informações de localização que correspondem a um local de visita durante a viagem e informações de tempo que correspondem ao dia e tempo da visita. A unidade de controle 11 executa os procedimentos da etapa S41 e as seguintes etapas com base nas informações de programa lidas. Especificamente, na etapa S45, a unidade de controle 11 especifica uma ordem de exibição entre uma pluralidade de conteúdos a serem utilizados para uma imagem de AR com base nos dias e tempos das visitas incluídos nas informações de programa lidas. Além disso, na etapa S48, a unidade de controle 11 especifica, com base nas informações de localização incluídas nas informações de programa lidas, posições de exibição nas quais os respectivos conteúdos devem ser sobrepostos sobre o globo terrestre 20 na imagem fotografada.

[00071] Incidentalmente, quando as informações de programa lidas são informações sobre um programa futuro, a saber, quando é antes de fazer a viagem das informações de programa, a unidade de controle 11 lê, na etapa S46, os conteúdos (tais como ícones) como ilustrado na Figura 16 do DB de conteúdo 12a ou do álbum 12b. Alternativamente, quando as informações de programa lidas são informações sobre um programa passado, a saber, quando é após fazer a viagem das informações de programa, a unidade de controle 11 lê, na etapa S46, os conteúdos (tais como fotografias) de acordo com o dia e tempo que

Petição 870180057417, de 03/07/2018, pág. 125/232

40/49 corresponde, às informações de tempo das informações de programa, por exemplo, como ilustrado na Figura 15 do DB de conteúdo 12a ou do álbum 12b.

[00072] Através do processamento acima descrito, as imagens de AR como ilustrado nas Figuras 15 e 16 podem ser geradas no mesmo modo que na Modalidade 3. Especificamente, a imagem de AR na qual as fotografias C1 a C3 feitas em respectivas localizações são sobrepostas nas posições que correspondem a respectivos locais visitados sobre o globo terrestre 20 como ilustrado na Figura 15 pode ser gerada com base nas informações de programa. Alternativamente, a imagem de AR na qual os conteúdos C4 a C6 de ícones ou similares que correspondem à ordem de visitas são sobrepostos em posições que correspondem a respectivos locais programados para visitar sobre o globo terrestre 20 como ilustrado na Figura 16 pode ser gerada com base nas informações de programa. Na presente modalidade, os conteúdos armazenados no DB de conteúdo 12a e no álbum 12b podem ser imagens paradas ou filmes. Além disso, os conteúdos de fotografias ou similares podem estar armazenados, por exemplo, em um servidor de nuvem assim como armazenados na unidade de armazenamento 12.

MODALIDADE 5 [00073] A presente modalidade refere-se a um aparelho de processamento de informações 10 para gerar uma imagem de AR na qual um conteúdo está sobreposto para cobrir toda a região de um globo terrestre 20 em uma imagem fotografada com uma pluralidade de conteúdos sobreposto neste. Como o aparelho de processamento de informações 10 da presente modalidade tem a mesma estrutura que o aparelho de processamento de informações 10 da Modalidade 1 ou 3, porções comumente empregadas nas Modalidades 1 e 3 não serão aqui descritas.

Petição 870180057417, de 03/07/2018, pág. 126/232

41/49 [00074] Agora, um processamento de exibição de imagem de AR executado pelo aparelho de processamento de informações 10 da presente modalidade será descrito com referência a um fluxograma. As Figuras 21 e 22 são fluxogramas que ilustram procedimentos no processamento executado pelo aparelho de processamento de informações 10, e a Figura 23 é um diagrama esquemático que ilustra um exemplo de display da imagem de AR. O seguinte processamento é executado por uma unidade de controle 11 de acordo com um programa de controle armazenado em uma unidade de armazenamento 12 do aparelho de processamento de informações 10. A unidade de controle 11 do aparelho de processamento de imagem 10 da presente modalidade executa os mesmos procedimentos que aqueles das etapas S1 a S9 da Figura 4 (S71 a S79). Neste modo, uma imagem de AR na qual um conteúdo de acordo com a faixa fotográfica de um globo terrestre 20 é sobreposto sobre toda a região do globo terrestre 20 na imagem fotografada é gerada.

[00075] A seguir, a unidade de controle 11 executa os mesmos procedimentos que aqueles das etapas S45 a S51 da Figura 13 (S80 a S86). Aqui, a unidade de controle 11 executa os respectivos procedimentos com base sobre o globo terrestre 20 reconhecido na etapa S73. Se for determinado que o processamento foi executado sobre todos conteúdos a serem utilizados para a imagem de AR (S86: SIM), a unidade de controle 11 determina se ou não o processamento deve ser terminado (S87). Se for determinado que o processamento não deve ser terminado (S87: NÃO), a unidade de controle 11 retorna o processamento para o procedimento da etapa S72, e se for determinado que o processamento deve ser terminado (S87: SIM), a unidade de controle 11 termina o processamento.

[00076] Através do processamento acima descrito, uma imagem de AR na qual um conteúdo está sobreposto para cobrir toda a região do

Petição 870180057417, de 03/07/2018, pág. 127/232

42/49 globo terrestre 20 na imagem fotografada com imagens em miniatura de fotografias feitas em respectivas localizações na faixa fotográfica do globo terrestre 20 adicionalmente sobrepostas no mesmo como ilustrado na Figura 23 é gerada. Incidentalmente, no exemplo ilustrado na Figura 23, uma fotografia de satélite feita quando este está na hora da noite no Japão é sobreposta para cobrir toda a região do globo terrestre 20, e as imagens em miniatura das fotografias plurais são sobrepostas em posições que correspondem às suas posições fotográficas sobre o globo terrestre 20. Além disso, as imagens em miniatura das fotografias podem ser exibidas em uma ordem de fazer as respectivas fotografias. Neste modo, quando uma pluralidade de conteúdos (imagens em miniatura) deve ser exibida na forma de exibição como ilustrado nas Figuras 11A e 11B, um conteúdo arbitrário pode ser exibido como uma imagem de fundo.

MODALIDADE 6 [00077] Na presente modalidade, um caso exemplificado onde uma medalha é utilizada como uma imagem de display será descrito. Quando os Jogos Olímpicos, eventos esportivos e similares são organizados, o número de medalhas ganhas por cada país com relação a cada atleta e cada tipo de medalhas é anunciado. Na presente modalidade, as medalhas são exibidas para serem sobrepostas sobre uma imagem fotografada de um globo terrestre 20. Como um aparelho de processamento de informações 10 da presente modalidade tem a mesma estrutura que o aparelho de processamento de informações 10 da Modalidade 3, porções comumente empregadas na Modalidade 3 não serão aqui descritas.

[00078] A Figura 24 é um diagrama de blocos que ilustra as funções realizadas por uma unidade de controle 11 do aparelho de processamento de informações 10 da Modalidade 6. Quando uma aplicação de processamento de imagem P é executada, a unidade de controle 11

Petição 870180057417, de 03/07/2018, pág. 128/232

43/49 do aparelho de processamento de informações 10 da presente modalidade realiza as funções de uma seção de reconhecimento de globo terrestre 21, uma seção de leitura de conteúdo 22, uma seção de processamento de imagem 24 e uma seção de sobreposição 25 no mesmo modo que na Modalidade 3. Incidentalmente, o aparelho de processamento de informações 10 da presente modalidade inclui um DB de medalhas 12d armazenado em uma unidade de armazenamento (unidade de armazenamento de medalhas) 12. No DB de medalhas 12d, o número de medalhas ganhas por cada país com relação a cada tipo de medalhas é armazenado. Incidentalmente, as informações armazenadas no DB de medalhas 12d podem ser obtidas através da Internet ou serem manualmente inseridas.

[00079] A Figura 25 é um diagrama explanatório que ilustra um layout de recorde exemplar do DB de medalhas 12d. O DB de medalhas 12d inclui uma coluna de país, uma coluna de localização (latitude e longitude), uma coluna de medalha de ouro, uma coluna de medalha de prata, e uma coluna de medalha de bronze. O nome de cada país está armazenado na coluna de país. É notado que um código de país pode ser armazenado ao invés do nome do país. As informações de localização de cada país são armazenadas na coluna de localização (latitude e longitude). As informações de localização incluem a latitude e longitude. É notado que as informações de localização podem ser um código postal da capital ou uma cidade, um endereço, um nome de uma instalação ou similares. O número de medalhas de ouro ganhas é armazenado na coluna de medalha de ouro. O número de medalhas de prata ganhas é armazenado na coluna de medalha de prata. O número de medalhas de bronze ganhas é armazenado na coluna de medalha de bronze.

[00080] A Figura 26 é um diagrama esquemático que ilustra um exemplo de display de uma imagem de AR obtida quando as imagens

Petição 870180057417, de 03/07/2018, pág. 129/232

44/49 de display relativas aos Jogos Olímpicos são utilizadas como conteúdos. É notado que um círculo em branco indica uma medalha de ouro, um círculo hachurado à direita indica uma medalha de prata e círculo hachurado à esquerda indica uma medalha de bronze como ilustrado neste desenho. Quando os Jogos Olímpicos, eventos esportivos e similares são organizados, o número de medalhas ganhas por cada país com relação a cada atleta e cada tipo de medalhas é anunciado, e estas informações podem ser exibidas para serem sobrepostas sobre a imagem fotografada do globo terrestre 20.

[00081] A seção de leitura de conteúdo 22 lê, do DB de conteúdo 12a ou do álbum 12b, uma imagem de display de cada medalha e uma imagem de display de cada país, e lê, do DB de medalhas 12d, o número de medalhas ganhas por cada país com relação a cada tipo de medalhas. A imagem de display do país é, por exemplo, a imagem de display de uma bandeira nacional, um prédio, uma paisagem ou similares que representa o país. No exemplo abaixo descrito, uma bandeira nacional é utilizada como a imagem de display de cada país. A seção de especificação de localização 27 da seção de sobreposição 25 obtém as informações de localização de cada país do DB de medalhas 12d. A unidade de controle 11 extrai uma região correspondente de acordo com a faixa fotográfica do globo terrestre fotografado 20, e executa um processamento para exibir a imagem de display de cada medalha com relação a cada um dos países na região correspondente extraída.

[00082] O esboço de processamento de exibição para medalhas de bronze será agora descrito como um exemplo. A unidade de controle 11 seleciona um país da região correspondente de acordo com a faixa fotográfica do globo terrestre fotografado 20. A unidade de controle 11 obtém o número de medalhas de bronze ganhas pelo país lido. A unidade de controle 11 obtém a imagem de display da medalha assim

Petição 870180057417, de 03/07/2018, pág. 130/232

45/49 lida, e faz cópias da imagem de display da medalha em um número igual ao número de medalhas de bronze ganhas. Por exemplo, se o número das medalhas de bronze ganhas for três, três cópias da imagem de display da medalha são feitas. A unidade de controle 11 colore as cópias da imagem de display da medalha em bronze, empilha as cópias em uma direção substancialmente vertical sobre a superfície da esfera do globo terrestre 20 na imagem fotografada, e exibe a resultante a ser sobreposta em uma posição sobre a esfera na imagem fotografada correspondendo às informações de localização do país. É notado que os dados de imagem de display de cada uma de uma medalha de bronze, uma medalha de prata e uma medalha de ouro podem ser precedentemente preparados.

[00083] Após o processamento de exibição para a imagem de display da medalha de bronze, o processamento de exibição para a imagem de display da medalha de prata e o processamento de exibição para a imagem de display da medalha de ouro são executados. O processamento de exibição para a medalha de prata e a medalha de ouro não está aqui descrito porque este pode ser executado em um modo similar àquele para a medalha de bronze. Após executar o processamento de exibição para a medalha de ouro, a unidade de controle 11 exibe uma imagem de display da bandeira nacional do país de tal modo que a bandeira fique empilhada sobre a imagem de display da medalha de ouro. Incidentalmente, a posição de exibição da bandeira nacional não está limitada àquela acima da imagem de display da medalha de ouro mas pode ser, por exemplo, entre qualquer uma das imagens de display das medalhas. Além disso, ao invés da imagem de display da bandeira nacional, o nome do país pode ser exibido na forma de uma cadeia de caracteres. Apesar do processamento de exibição ser executado na ordem da medalha de bronze, da medalha de prata e da medalha de ouro na presente modalidade, a ordem não es

Petição 870180057417, de 03/07/2018, pág. 131/232

46/49 tá limitada a isto. Por exemplo, o processamento de exibição pode ser executado na ordem de, por exemplo, a medalha de ouro, a medalha de prata e a medalha de bronze, ou pode ser executado em uma ordem randômica.

[00084] As imagens de display das respectivas medalhas são exibidas nas cores correspondentes na presente modalidade, o que não limita a presente descrição. Por exemplo, as imagens de display das medalhas podem ser providas como palavras correspondentes de ouro, prata e bronze a serem exibidas. Incidentalmente, as imagens de display das medalhas estão empilhadas de acordo com o número de medalhas ganhas a serem sobrepostas sobre a imagem fotografada do globo terrestre 20 na presente modalidade, o que não limita a presente descrição. Por exemplo, o aparelho de processamento de informações 10 pode utilizar uma imagem de display em uma forma de paralelepípedo retangular ao invés da imagem de display da medalha, de modo a exibir a imagem de display de paralelepípedo retangular com a sua altura ajustada de acordo com o número de medalhas ganhas.

[00085] Além disso, uma conexão para um website prescrito pode ser ajustada na imagem de display armazenada no DB de conteúdo 12a ou no DB de medalhas 12d. A Figura 27 é um diagrama de imagem que corresponde a um exemplo de display utilizado em transição para um website que corresponde a um destino de hyperlink quando a imagem de display de uma bandeira nacional é explorada. Neste caso, quando uma operação para selecionar qualquer uma das imagens de display das bandeiras nacionais é executada através do painel de operação 13, a unidade de controle 11 pode obter informações detalhadas sobre medalhas ganhas pelo país de um website ajustado na imagem de display da bandeira nacional selecionada e exibir as informações obtidas.

Petição 870180057417, de 03/07/2018, pág. 132/232

47/49 [00086] A Figura 28 é um fluxograma de processamento de exibição de imagem de AR da Modalidade 6. A unidade de controle 11 do aparelho de processamento de informações 10 da presente modalidade executa os mesmos procedimentos que aqueles das etapas S1 a S4 da Figura 4 (Sa01 a Sa04). A seção de leitura de conteúdo 22 lê os conteúdos relativos a medalhas (Sa05). Especificamente, a seção de leitura de conteúdo 22 lê, do DB de conteúdo 12a ou do álbum 12b, as imagens de display das medalhas e a imagem de display da bandeira nacional de cada país, e lê, do DB de medalhas 12d, o número de medalhas ganhas pelo país com relação a cada tipo de medalhas. A seção de especificação de localização 27 da seção de sobreposição 25 obtém as informações de localização de cada país do DB de medalhas 12d (Sa06). A unidade de controle 11 extrai uma região correspondente de acordo com a faixa fotográfica do globo terrestre fotografado 20 (Sa07). Incidentalmente, o processamento para extrair a região correspondente é executado no mesmo modo que no processamento para extrair a região correspondente executado na Modalidade 1, e com isto não está aqui descrito. A unidade de controle 11 especifica, com base nas informações de localização de cada país, uma posição de exibição na qual as imagens de display das medalhas e a imagem de display da bandeira nacional são exibidas em um modo sobreposto sobre o globo terrestre 20 na imagem fotografada (Sa08). A unidade de controle 11 executa um processamento para empilhar, de acordo com o número de medalhas ganhas de cada tipo, as imagens de display das medalhas e a imagem de display da bandeira nacional de cada país para ser substancialmente vertical à superfície da esfera (Sa09). Então, a unidade de controle 11 gera, em uma região do globo terrestre 20 na imagem fotografada, uma imagem de AR obtida utilizando as imagens de display processadas na etapa Sa09 (Sa10). Posteriormente, a unidade de controle 11 do aparelho de processamento

Petição 870180057417, de 03/07/2018, pág. 133/232

48/49 de informações 10 executa os mesmos procedimentos que aqueles das etapas S9 a S10 da Figura 4 (Sa11 a Sa12).

[00087] As modalidades acima descritas não estão limitadas na estrutura na qual a faixa fotográfica do globo terrestre 20 é mudada mudando a direção (a direção fotográfica) do globo terrestre 20 com relação à câmera 16. O aparelho de processamento de informações 10 pode empregar, por exemplo, uma estrutura na qual uma região do globo terrestre 20 a ser exibida na seção de display 15 é mudada apropriadamente comutando uma pluralidade de imagens fotografadas feitas com uma posição fotográfica movida ao redor do globo terrestre 20. Neste caso, a região do globo terrestre 20 exibida na seção de display 15 corresponde a uma região do globo terrestre 20 onde um conteúdo deve ser sobreposto. Quando esta estrutura é empregada, o aparelho de processamento de informações 10 inclui um sensor de inclinação ou similares para detectar a inclinação do próprio aparelho

10. Então, de acordo com a inclinação do próprio aparelho 10 detectada pelo sensor de inclinação, o aparelho de processamento de informações 10 gira o globo terrestre 20 exibido na seção de display 15 para comutar a região de exibição do globo terrestre 20 a ser exibida. Posteriormente, o aparelho de processamento de informações 10 executa o mesmo processamento que acima descrito em cada modalidade sobre o globo terrestre 20 exibido na seção de display 15, e assim, uma imagem de AR na qual vários conteúdos estão sobrepostos sobre o globo terrestre exibido 20 pode ser exibida.

[00088] Qualquer uma das características técnicas (as características constituintes) descritas nas respectivas modalidades podem ser combinadas umas com as outras, e tal combinação pode formar uma nova característica técnica.

[00089] É notado que, como aqui utilizado e nas reivindicações anexas, as formas singulares um, uma, e o incluem referentes

Petição 870180057417, de 03/07/2018, pág. 134/232

49/49 plurais a menos que o contexto claramente dite de outro modo.

[00090] Deve ser compreendido que as modalidades aqui descritas são meramente ilustrativas e não restritivas. O escopo da presente invenção pretende ser definido não pela descrição acima mas pelas reivindicações anexas, e todas mudanças e modificações pretendem ser abrangidas dentro do escopo e equivalentes das reivindicações anexas.

EXPLICAÇÃO DE NÚMEROS DE REFERÊNCIA

Aparelho de processamento de informações

Unidade de controle

Unidade de armazenamento

Painel de operação

Seção de display

Câmera

Globo terrestre (esfera)

Seção de reconhecimento de globo terrestre

Seção de leitura de conteúdo

Seção de extração

Seção de processamento de imagem

Seção de sobreposição

Seção de especificação de ordem

Seção de especificação de localização

Claims (14)

1. REIVINDICAÇÕES

   1. Meio legível por computador que inclui instruções de programa as quais quando executadas por um processador fazem com que um computador execute um processo caracterizado pelo fato de que as instruções de programa compreendem:

   obter uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície;

   reconhecer, com base no marcador, a esfera na imagem fotografada obtida; e exibir uma imagem de conteúdo de tal modo a cobrir toda a região da esfera reconhecida na imagem fotografada.
2. 2. Meio legível por computador de acordo com a reivindicação 1, caracterizado pelo fato de fazer com que o computador execute um processamento para:

   executar um processamento de imagem sobre a imagem de conteúdo de tal modo que a região de exibição da imagem de conteúdo seja toda a região da esfera na imagem fotografada.
3. 3. Meio legível por computador de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a imagem de conteúdo é plural em número, cada uma incluindo informações de tempo, e as instruções de programa fazem com que o computador execute um processamento para exibir as imagens de conteúdo plurais em toda a região da esfera na imagem fotografada em uma ordem de dia e tempo que corresponde às informações de tempo.
4. 4. Meio legível por computador que inclui instruções de programa as quais quando executadas por um processador fazem com que um computador execute um processo caracterizado pelo fato de que as instruções de programa compreendem:

   obter uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície;

   Petição 870180057417, de 03/07/2018, pág. 136/232

   2/5 reconhecer, com base no marcador, a esfera na imagem fotografada obtida; e exibir, sobre a esfera reconhecida na imagem fotografada, uma pluralidade de imagens de conteúdo cada uma incluindo informações de tempo de tal modo que as imagens de conteúdo fiquem sobrepostas em uma ordem de dia e tempo que corresponde às informações de tempo.
5. 5. Meio legível por computador de acordo com a reivindicação 4, caracterizado pelo fato de que cada uma das imagens de conteúdo inclui informações de localização, e as instruções de programa fazem com que o computador execute um processamento para:

   exibir, com base no marcador e nas informações de localização, as imagens de conteúdo em posições correspondentes sobre a esfera na imagem fotografada.
6. 6. Meio legível por computador de acordo com a reivindicação 4 ou 5, caracterizado pelo fato de que o computador inclui uma unidade de armazenamento de programa que armazena as informações de programa que incluem as informações de tempo e as informações de localização, e as instruções de programa fazem com que o computador execute um processamento para:

   exibir as imagens de conteúdo em posições, sobre a esfera na imagem fotografada, com base nas informações de localização incluídas nas informações de programa e no marcador em uma ordem de dia e tempo que corresponde às informações de tempo incluídas nas informações de programa lidas da unidade de armazenamento de programa.
7. 7. Meio legível por computador de acordo com a reivindicação 4, caracterizado pelo fato de que o computador inclui uma unidade

   Petição 870180057417, de 03/07/2018, pág. 137/232

   3/5 de armazenamento de medalhas que armazena o número de medalhas ganhas por cada país com relação a cada tipo de medalhas e um nome do país, e as instruções de programa fazem com que o computador execute um processamento para:

   exibir, em posições sobre a esfera na imagem fotografada que corresponde a informações de localização do país, uma imagem de display de cada tipo das medalhas ganhas pelo país com base no número de medalhas ganhas pelo país com relação a cada tipo de medalhas e o nome do país lido da unidade de armazenamento de medalhas.
8. 8. Meio legível por computador de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que o computador inclui uma unidade de armazenamento que armazena a imagem de conteúdo, e as instruções de programa fazem com que o computador execute um processamento para:

   exibir, sobre a esfera na imagem fotografada, a imagem de conteúdo lida da unidade de armazenamento.
9. 9. Meio legível por computador de acordo com a reivindicação 8, caracterizado pelo fato de que a imagem de conteúdo está armazenada em um álbum armazenado na unidade de armazenamento, e o programa faz com que o computador execute um processamento para:

   executar um processamento de imagem sobre a imagem de conteúdo lida do álbum, e exibir a imagem processada sobre a esfera na imagem fotografada.
10. 10. Meio legível por computador de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que a ima

    Petição 870180057417, de 03/07/2018, pág. 138/232

    4/5 gem de conteúdo é um a filme.
11. 11. Aparelho de processamento de informações, caracterizado pelo fato de compreender:

    uma unidade de aquisição que obtém uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície;

    uma seção de reconhecimento que reconhece, com base no marcador, a esfera na imagem fotografada obtida pela unidade de aquisição; e uma seção de display que exibe uma imagem de conteúdo de tal modo a cobrir toda uma região da esfera reconhecida pela seção de reconhecimento na imagem fotografada.
12. 12. Aparelho de processamento de informações, caracterizado pelo fato de compreender:

    uma unidade de aquisição que obtém uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície;

    uma seção de reconhecimento que reconhece, com base no marcador, a esfera na imagem fotografada obtida pela unidade de aquisição; e uma seção de display que exibe, sobre a esfera reconhecida pela seção de reconhecimento na imagem fotografada, uma pluralidade de imagens de conteúdo cada uma incluindo informações de tempo de tal modo que as imagens de conteúdo fiquem sobrepostas em uma ordem de dia e tempo que corresponde às informações de tempo.
13. 13. Método de processamento de informações para fazer com que um aparelho de processamento de informações execute um processamento para:

    caracterizado pelo fato de que o método compreende:

    Petição 870180057417, de 03/07/2018, pág. 139/232

    5/5 obter uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície;

    reconhecer, com base no marcador, a esfera na imagem fotografada obtida; e exibir uma imagem de conteúdo de tal modo a cobrir toda a região da esfera reconhecida na imagem fotografada.
14. 14. Método de processamento de informações para fazer com que um aparelho de processamento de informações execute um processamento para:

    caracterizado pelo fato de que o método compreende:

    obter uma imagem fotografada fotografando uma esfera que tem um marcador sobre uma sua superfície;

    reconhecer, com base no marcador, a esfera na imagem fotografada obtida; e exibir, sobre a esfera reconhecida na imagem fotografada, uma pluralidade de imagens de conteúdo cada uma incluindo informações de tempo de tal modo que as imagens de conteúdo fiquem sobrepostas em uma ordem de dia e tempo que corresponde às informações de tempo.