BR102022014625A2

BR102022014625A2 - Aparelho de processamento de imagem, método de processamento de imagem e suporte de armazenamento

Info

Publication number: BR102022014625A2
Application number: BR102022014625-0A
Authority: BR
Inventors: Taku Ogasawara
Original assignee: Canon Kabushiki Kaisha
Priority date: 2021-07-28
Filing date: 2022-07-25
Publication date: 2023-02-07
Also published as: JP2024019537A; CN115686295A; JP2023019088A; EP4125044A3; KR20230017745A; US20230033201A1; JP7406528B2; EP4125044A2

Abstract

Trata-se de um aparelho de processamento de imagem que obtém entrada de informações adicionais a uma imagem do ponto de vista virtual bidimensional com base em um ponto de vista virtual e um espaço virtual tridimensional, converte as informações adicionais inseridas em objeto disposto em uma posição tridimensional no espaço virtual e exibe, em meio de exibição, a imagem do ponto de vista virtual com base no espaço virtual em que o objeto é disposto na posição tridimensional.

Description

APARELHO DE PROCESSAMENTO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E SUPORTE DE ARMAZENAMENTO

ANTECEDENTES DA INVENÇÃO CAMPO DA INVENÇÃO

[0001] A presente invenção refere-se a uma técnica de sofisticação de uma operação de uma imagem do ponto de vista virtual.

DESCRIÇÃO DA TÉCNICA RELACIONADA

[0002] Em uma aplicação para executar apresentação, é conhecida uma função de, durante a exibição de uma imagem, aceitar a entrada de um marcador que tem um formato circular ou linear para indicar um ponto de interesse na imagem, combinando uma imagem de página com o marcador, e emitindo os dois. Na Patente aberta à inspeção pública n° JN 2017-151491, uma técnica que aplica a função a um sistema de conferência remota é descrita.

[0003] Recentemente, uma técnica que gera, a partir de uma pluralidade de imagens obtidas através da captura de imagem usando uma pluralidade de dispositivos de captura de imagem, uma imagem (imagem do ponto de vista virtual) em que uma cena capturada é visualizada a partir de um ponto de vista arbitrário recebeu muita atenção. Mesmo em tal imagem do ponto de vista virtual, presume-se que um marcador seja adicionado a um alvo a ser focado em uma cena. Se um marcador for inserido na imagem do ponto de vista virtual, o marcador é exibido em uma posição adequada quando visualizado a partir de um ponto de vista ao inserir o marcador. Contudo, se o ponto de vista for comutado por outro ponto de vista, o marcador pode ser exibido em uma posição indesejada. Conforme descrito acima, ao renderizar informações adicionais, tais como um marcador, para uma imagem do ponto de vista virtual, as informações adicionais renderizadas podem ser exibidas em uma posição indesejada.

SUMÁRIO DA INVENÇÃO

[0004] A presente invenção fornece uma técnica para exibir informações adicionais renderizadas para uma imagem do ponto de vista virtual em uma posição adequada independentemente de um ponto de vista.

[0005] De acordo com um aspecto da presente revelação, é fornecido um aparelho de processamento de imagem que compreende: meio de obtenção para obter entrada de informações adicionais a uma imagem do ponto de vista virtual bidimensional com base em um ponto de vista virtual e um espaço virtual tridimensional; meio de conversão para converter as informações adicionais inseridas em um objeto disposto em uma posição tridimensional no espaço virtual; e meio de controle de exibição para exibir, em meio de exibição, a imagem do ponto de vista virtual com base no espaço virtual em que o objeto é disposto na posição tridimensional.

[0006] Recursos adicionais da presente revelação ficarão evidentes a partir da descrição a seguir de modalidades exemplificativas com referência aos desenhos anexos.

BREVE DESCRIÇÃO DOS DESENHOS

[0007] As Figuras 1A e 1B são vistas que mostram um exemplo da configuração de um sistema de processamento de imagem;

[0008] As Figuras 2A e 2B são vistas que mostram um exemplo da configuração de um aparelho de processamento de imagem;

[0009] As Figuras 3A a 3D são vistas para explicar um ponto de vista virtual;

[0010] As Figuras 4A e 4B são vistas que mostram um exemplo da configuração de uma tela de operação;

[0011] As Figuras 5A a 5E são vistas para explicar um objeto marcador e um plano de interesse;

[0012] A Figura 6 é um fluxograma que mostra um exemplo do procedimento de processamento executado pelo aparelho de processamento de imagem;

[0013] As Figuras 7A a 7D são vistas que mostram um exemplo de telas exibidas;

[0014] A Figura 8 é uma vista que mostra um exemplo da configuração de um sistema de processamento de imagem;

[0015] As Figuras 9A a 9D são vistas que mostram um exemplo da configuração de dados de um objeto marcador;

[0016] As Figuras 10A a 10C são vistas que mostram um exemplo de telas exibidas; e

[0017] As Figuras 11A a 11C são vistas que mostram um exemplo de telas exibidas.

DESCRIÇÃO DAS MODALIDADES

[0018] Doravante no presente documento, modalidades serão descritas em detalhes com referência aos desenhos anexos. Observa-se que as modalidades a seguir não se destinam a limitar o escopo da revelação reivindicada. Múltiplos recursos são descritos nas modalidades, porém sem limitação a uma revelação que exige todos esses recursos, e tais múltiplos recursos podem ser combinados conforme apropriado. Além disso, nos desenhos anexos, os mesmos números de referência são fornecidos às mesmas ou a configurações similares, e a descrição redundante das mesmas é omitida.

(CONFIGURAÇÃO DO SISTEMA)

[0019] Um exemplo da configuração de um sistema de processamento de imagem 100 de acordo com a presente modalidade será descrito com referência às Figuras 1A e 1B. O sistema de processamento de imagem 100 inclui uma pluralidade de sistemas de sensor (sistemas de sensor 101-1 a 101-n no exemplo mostrado na Figura 1A). Cada sistema de sensor inclui pelo menos um dispositivo de captura de imagem (por exemplo, uma câmera). Observa-se que os sistemas de sensor 101-1 a 101-n serão geralmente denominados um "sistema de sensor 101” doravante no presente documento se não houver necessidade de se fazer particularmente uma distinção. No sistema de processamento de imagem 100, dados da imagem do ponto de vista virtual são gerados com base nos dados da imagem obtidos através da pluralidade de sistemas de sensor 101 e fornecidos a um usuário.

[0020] A Figura 1B mostra um exemplo de instalação dos sistemas de sensor 101. A pluralidade de sistemas de sensor 101 é instalada ao redor de uma região (a ser denominada uma região de objeto capturado 120 doravante no presente documento) que é o objeto da captura de imagem, e captura a região de objeto capturado 120 a partir de diferentes direções. Por exemplo, se a região de objeto capturado 120 for definida como o campo de um estádio em que um jogo de futebol ou rugby é realizado, os n (por exemplo, tanto quanto 100) sistemas de sensor 101 são instalados ao redor do campo. Observa-se que o número de sistemas de sensor 101 instalados não é particularmente definido, e pelo menos múltiplos sistemas de sensor são instalados. Observa-se que os sistemas de sensor 101 não precisam ser sempre instalados em toda a circunferência da região de objeto capturado 120, e podem ser instalados em uma parte da circunferência da região de objeto capturado 120 devido, por exemplo, às restrições do local de instalação. Além disso, os dispositivos de captura de imagem incluídos em cada um dentre a pluralidade de sistemas de sensor 101 pode incluir dispositivos de captura de imagem de diferentes funções tais como câmera telefotográfica e uma câmera de ângulo amplo.

[0021] Adicionalmente, o sistema de sensor 101 pode incluir um dispositivo de coleta de som (microfone) além do dispositivo de captura de imagem (câmera). Os dispositivos de coleta de som na pluralidade de sistemas de sensor 101 coletam sons de modo sincronizado. Com base nos dados de som coletados pela pluralidade de dispositivos de coleta de som, o sistema de processamento de imagem 100 gera dados de som de ponto de escuta virtual a serem reproduzidos junto com a imagem do ponto de vista virtual e fornece os mesmos ao usuário. Observa-se que a imagem e o som são processados juntos, em bora uma descrição do som seja omitida em razão da simplicidade.

[0022] Observa-se que a região de objeto capturado 120 pode ser definida para incluir não apenas o campo do estádio, mas também, por exemplo, as bancadas do estádio. A região de objeto capturado 120 pode ser definida como um estúdio ou palco interno. Isto é, a região de um objeto capturado como um alvo para gerar uma imagem do ponto de vista virtual pode ser definida como a região de objeto capturado 120. Observa-se que "objeto capturado", no presente documento, pode ser a própria região definida pela região de objeto capturado 120 ou pode incluir, adicionalmente ou no lugar do mesmo, todos os objetos capturados existentes na região, por exemplo, uma bola e as pessoas tais como jogadores e árbitros. Além disso, a imagem do ponto de vista virtual é uma imagem em movimento ao longo da modalidade, mas pode ser uma imagem parada.

[0023] A pluralidade de sistemas de sensor 101 disposta conforme mostrado na Figura 1B captura de modo sincronizado a região comum de objeto capturado 120 usando os dispositivos de captura de imagem fornecidos nos sistemas de sensor 101. Nessa modalidade, uma imagem incluída em uma pluralidade de imagens obtidas pela captura sincronizada da região comum de objeto capturado 120 a partir de uma pluralidade de pontos de vistas será denominada uma "imagem de múltiplos pontos de vista". Observa-se que a imagem de múltiplos pontos de vista na presente modalidade pode ser a própria imagem capturada, mas pode ser, por exemplo, uma imagem que foi submetida a processamento de imagem tal como processamento de extração de uma região predeterminada a partir da imagem capturada.

[0024] Além disso, o sistema de processamento de imagem 100 inclui adicionalmente um aparelho de gravação de imagem 102, um banco de dados 103, e um aparelho de processamento de imagem 104. O aparelho de gravação de imagem 102 coleta imagens de múltiplos pontos de vista obtidas pela captura de imagem da pluralidade de sistemas de sensor 101, e armazena as imagens de múltiplos pontos de vista no banco de dados 103 junto com um código de tempo usado na captura de imagem. No presente documento, o código de tempo são informações usadas para identificar unicamente o tempo de captura de imagem. Por exemplo, o código de tempo pode ser as informações que indicam o tempo de captura de imagem em uma forma tal como dia:hora:minuto:segundo.número do quadro.

[0025] O aparelho de processamento de imagem 104 obtém uma pluralidade de imagens de múltiplos pontos de vista que correspondem a um tempo de código de tempo comum a partir do banco de dados 103, e gera o modelo tridimensional do objeto capturado a partir da imagem obtida a partir de múltiplos pontos de vistas. O modelo tridimensional é configurado para incluir, por exemplo, informações de formato tal como um grupo de pontos que expressa o formato do objeto capturado ou planos ou vértices definidos quando o formato do objeto capturado é expresso como um conjunto de polígonos, e informações de textura que expressam cores e textura sobre a superfície do formato. Observa-se que isso é meramente um exemplo, e o modelo tridimensional pode ser definido em um formato arbitrário que expressa de modo tridimensional o objeto capturado. Com base, por exemplo, em um ponto de vista virtual designado pelo usuário, o aparelho de processamento de imagem 104 gera uma imagem do ponto de vista virtual que corresponde ao ponto de vista virtual usando o modelo tridimensional do objeto capturado e emite a imagem do ponto de vista virtual. Por exemplo, conforme mostrado na Figura 1B, um ponto de vista virtual 110 é designado com base na posição do ponto de vista e a direção de linha de visão em um espaço virtual associado à região de objeto capturado 120. O usuário muda a direção de linha de visão movendo o ponto de vista virtual no espaço virtual, buscando um objeto capturado gerado com base no modelo tridimensional do objeto capturado existente no espaço virtual, por exemplo, a partir de um ponto de vista diferente de qualquer dos dispositivos de captura de imagem da pluralidade de sistemas de sensor 101. Observa-se que visto que o ponto de vista virtual pode se mover livremente no espaço virtual tridimensional, a imagem do ponto de vista virtual pode também ser chamada de "imagem de ponto de vista livre".

[0026] O aparelho de processamento de imagem 104 gera a imagem do ponto de vista virtual como uma imagem que representa uma cena observada a partir do ponto de vista virtual 110. Observa-se que a imagem gerada aqui é uma imagem bidimensional. O aparelho de processamento de imagem 104 é, por exemplo, um computador usado pelo usuário, e é configurado para incluir um dispositivo de exibição tal como um visor de painel sensível ao toque ou um visor de cristal líquido. Além disso, o aparelho de processamento de imagem 104 pode ter uma função de controle de exibição para exibir uma imagem em um dispositivo de exibição externo. O aparelho de processamento de imagem 104 exibe a imagem do ponto de vista virtual, por exemplo, em telas desses dispositivos de exibição. Isto é, o aparelho de processamento de imagem 104 executa processamento para gerar uma imagem de uma cena dentro de uma faixa visível a partir do ponto de vista virtual como uma imagem do ponto de vista virtual e exibir a mesma em uma tela.

[0027] Observa-se que o sistema de processamento de imagem 100 pode ter uma configuração diferente daquela mostrada na Figura 1A. Por exemplo, uma configuração que inclui um dispositivo de operação/exibição tal como um visor de painel sensível ao toque separadamente do aparelho de processamento de imagem 104 pode ser usado. Por exemplo, pode ser usada uma configuração em que uma operação de um ponto de vista virtual ou similar é realizada em um computador do tipo tablet ou similar incluindo um visor de painel sensível ao toque, uma imagem do ponto de vista virtual é gerada no aparelho de processamento de imagem 104 em resposta a isso, e a imagem é exibida no computador do tipo tablet. Observa-se que pode ser usada uma configuração em que uma pluralidade de computadores do tipo tablet são conectados ao aparelho de processamento de imagem 104 através de um servidor, e o aparelho de processamento de imagem 104 emite a imagem do ponto de vista virtual a cada um dentre a pluralidade de computadores do tipo tablet. Além disso, o banco de dados 103 e o aparelho de processamento de imagem 104 pode ser integrado. Além disso, pode ser usada uma configuração em que processamento até a geração do modelo tridimensional do objeto capturado a partir de imagens de múltiplos pontos de vista é realizado no aparelho de gravação de imagem 102, e o modelo tridimensional do objeto capturado é armazenado no banco de dados 103. Nesse caso, o aparelho de processamento de imagem 104 lê o modelo tridimensional a partir do banco de dados 103 e gera a imagem do ponto de vista virtual. A Figura 1A mostra um exemplo em que a pluralidade de sistemas de sensor 101 estão em ligação em cascata. Por exemplo, os sistemas de sensor 101 podem ser diretamente conectados ao aparelho de gravação de imagem 102, ou podem ser conectados em outra forma de conexão. Observa-se que para permitir que os sistemas de sensor 101 realizem de modo sincronizado a captura de imagem, por exemplo, o aparelho de gravação de imagem 102 ou outro aparelho para sincronização de tempo pode notificar cada um dos sistemas de sensor 101 de informações de tempo de referência.

[0028] Na presente modalidade, o aparelho de processamento de imagem 104 aceita adicionalmente, a partir do usuário, entrada de um marcador tal como um círculo ou uma linha na imagem do ponto de vista virtual exibida na tela, e exibe o marcador sobreposto à imagem do ponto de vista virtual. Se tal marcador for inserido, o marcador é exibido adequadamente no ponto de vista virtual onde o marcador ê inserido. Contudo, quando a posição ou direção do ponto de vista virtual é alterada, o marcador pode ser desviado em relação ao objeto ao qual o marcador ê adicionado, resultando em exibição indesejada. Portanto, na presente modalidade, o aparelho de processamento de imagem 104 executa processamento para exibir o marcador aceito na tela bidimensional exibida em uma posição adequada independentemente do movimento do ponto de vista virtual. O aparelho de processamento de imagem 104 converte o objeto marcador bidimensional em um objeto marcador tridimensional. O aparelho de processamento de imagem 104 combina o modelo tridimensional do objeto capturado e o objeto marcador tridimensional, gerando, desse modo, uma imagem do ponto de vista virtual em que a posição do marcador é ajustada apropriadamente de acordo com o movimento do ponto de vista virtual. A configuração do aparelho de processamento de imagem 104 que executa esse processamento e um exemplo do procedimento do processamento será descrito abaixo.

(Configuração DO Aparelho de processamento de imagem)

[0029] A configuração do aparelho de processamento de imagem 104 será descrita a seguir com referência às Figuras 2A e 2B. A Figura 2A mostra um exemplo da configuração funcional do aparelho de processamento de imagem 104. O aparelho de processamento de imagem 104 inclui, como sua configuração funcional, por exemplo, uma unidade de controle de ponto de vista virtual 201, uma unidade de geração de modelo 202, uma unidade de geração de imagem 203, uma unidade de controle de marcador 204, e uma unidade de gerenciamento de marcador 205. Observa-se que esses são meramente exemplos. Pelo menos algumas das funções mostradas podem ser omitidas, e outras funções podem ser adicionadas. Todas as funções mostradas na Figura 2A podem ser substituídas por outros blocos funcionais se as funções a serem descritas posteriormente podem ser executadas. Além disso, dois ou mais blocos funcionais mostrados na Figura 2A podem ser integrados em um bloco funcional, ou um bloco funcional pode ser dividido em uma pluralidade de blocos funcionais.

[0030] A unidade de controle de ponto de vista virtual 201 aceita uma operação de usuário em relação ao ponto de vista virtual 110 ou um código de tempo e controla uma operação do ponto de vista virtual. Um painel sensível ao toque, um joystick, ou similar é usado para a operação de usuário do ponto de vista virtual. Contudo, a presente invenção não se limita a isso, e a operação de usuário pode ser aceita por um dispositivo arbitrário. A unidade de geração de modelo 202 obtém, a partir do banco de dados 103, imagens de múltiplos pontos de vista que correspondem a um código de tempo designado pela operação de usuário ou similar, e gera um modelo tridimensional que representa o formato tridimensional de um objeto capturado incluído na região de objeto capturado 120. Por exemplo, a unidade de geração de modelo 202 obtém, a partir da imagem de múltiplos pontos de vistas, uma imagem de primeiro plano que extrai uma região de primeiro plano que corresponde a um objeto capturado tal como uma pessoa ou uma bola, e uma imagem de fundo que extrai uma região de fundo no lugar da região de primeiro plano. A unidade de geração de modelo 202 gera um modelo tridimensional do primeiro plano com base em uma pluralidade de imagens de primeiro plano. O modelo tridimensional é formado, por exemplo, por um grupo de pontos gerados por um método de estimativa de formato tal como Visual Hull. Observa-se que o formato de dados de formato tridimensional que representam o formato de um objeto não se limita a esse, e uma malha ou dados tridimensionais de um formato único podem ser usados. Observa-se que a unidade de geração de modelo 202 pode gerar um modelo tridimensional do plano de fundo de um modo similar. Quanto ao modelo tridimensional do plano de fundo, um modelo tridimensional gerado previamente por um aparelho externo pode ser obtido. Doravante no presente documento, para a conveniência descritiva, o modelo tridimensional do primeiro plano e o modelo tridimensional do plano de fundo serão denominados "o modelo tridimensional do objeto capturado" ou simplesmente "o modelo tridimensional".

[0031] Com base no modelo tridimensional do objeto capturado e no ponto de vista virtual, a unidade de geração de imagem 203 gera uma imagem do ponto de vista virtual que reproduz uma cena visualizada a partir do ponto de vista virtual. Por exemplo, a unidade de geração de imagem 203 obtém um valor em pixel apropriado a partir das imagens de múltiplos pontos de vista para cada um dos pontos que formam o modelo tridimensional e realiza o processamento de colorir. Depois, a unidade de geração de imagem 203 dispõe o modelo tridimensional em um espaço virtual tridimensional, e projeta e renderiza o mesmo no ponto de vista virtual junto com os valores de pixel, gerando, desse modo, uma imagem do ponto de vista virtual. Observa-se que o método de geração de imagem do ponto de vista virtual não se limita a esse, e outro método tal como um método de geração de uma imagem do ponto de vista virtual através da conversão de projeção de uma imagem capturada sem usar um modelo tridimensional pode ser usado.

[0032] A unidade de controle de marcador 204 aceita, a partir do usuário, inserção de um marcador tal como um círculo ou uma linha ã imagem do ponto de vista virtual. A unidade de controle de marcador 204 converte a entrada de marcador realizada para a imagem do ponto de vista virtual bidimensional em um objeto marcador que são dados tridimensionais no espaço virtual. A unidade de controle de marcador 204 transmite uma instrução ã unidade de geração de imagem 203 de modo que uma imagem do ponto de vista virtual que combina o objeto marcador e o modelo tridimensional do objeto capturado seja gerada de acordo com a posição/postura do ponto de vista virtual. Observa-se que a unidade de controle de marcador 204 fornece, por exemplo, o objeto marcador como um modelo tridimensional á unidade de geração de imagem 203, e a unidade de geração de imagem 203 trata o objeto marcador como o objeto capturado, gerando, desse modo, uma imagem do ponto de vista virtual. Com base no objeto marcador fornecido a partir da unidade de controle de marcador 204. A unidade de geração de imagem 203 pode executar processamento para sobrepor o objeto marcador separadamente do processamento de gerar a imagem do ponto de vista virtual. A unidade de controle de marcador 204 pode executar processamento para sobrepor um marcador com base no objeto marcador sobre a imagem do ponto de vista virtual fornecida pela unidade de geração de imagem 203. A unidade de gerenciamento de marcador 205 realiza controle de armazenamento para armazenar o objeto marcador do modelo tridimensional convertido pela unidade de controle de marcador 204, por exemplo, em uma unidade de armazenamento 216 ou similar a ser descrita posteriormente. A unidade de gerenciamento de marcador 205 realiza controle de armazenamento de modo que o objeto marcador seja armazenado em associação, por exemplo, com um código de tempo. Observa-se que a unidade de geração de modelo 202 pode calcular as coordenadas de cada objeto tal como uma pessoa ou uma bola no primeiro plano, acumular as coordenadas no banco de dados 103, e usar as coordenadas de cada objeto para designer as coordenadas do objeto marcador.

[0033] A Figura 2B mostra um exemplo da configuração de hardware do aparelho de processamento de imagem 104. O aparelho de processamento de imagem 104 inclui, como sua configuração de hardware, por exemplo, uma CPU 211, uma RAM 212, uma ROM 213, uma unidade de operação 214, uma unidade de exibição 215, a unidade de armazenamento 216, e uma interface externa 217. Observa-se que CPU é abreviação de Unidade de Processamento Central, RAM é abreviação de Memória de Acesso Aleatório e ROM é abreviação de Memória Somente de Leitura.

[0034] A CPU 211 executa controle de todo o aparelho de processamento de imagem 104 ou processamento a ser descrito posteriormente usando programas e dados armazenados no mesmo, por exemplo, a RAM 212 ou a ROM 213. Quando a CPU 211 executa os programas armazenados na RAM 212 ou na ROM 213, os blocos funcionais mostrados na Figura 2A podem ser implementados. Observa-se que o aparelho de processamento de imagem 104 pode incluir hardware específico tal como um ou mais processadores além da CPU 211 e conduzir o hardware a executar pelo menos parte do processamento pela CPU 211. O hardware específico pode ser, por exemplo, uma MPU (Unidade de Microprocessamento), um ASIC (Circuito Integrado de Aplicação Específica), um FPGA (Arranjo de Porta Programável em Campo), ou um DSP (Processador de Sinal Digital). A ROM 213 tem programas e dados usados para executar processamento para uma imagem do ponto de vista virtual ou um marcador. A RAM 212 fornece uma área de trabalho para armazenar temporariamente programas e dados lidos a partir da ROM 213 e usados pela CPU 211 para executar cada processo.

[0035] A unidade de operação 214 é configurada para incluir dispositivos, por exemplo, um painel sensível ao toque e botões usados para aceitar uma operação pelo usuário. A unidade de operação 214 obtém, por exemplo, informações que representam uma operação em um ponto de vista virtual ou um marcador pelo usuário. Observa-se que a unidade de operação 214 pode ser conectada a um controlador externo e aceitar informações de entrada a partir do usuário em relação a uma operação. O controlador externo não é particularmente limitado, e é, por exemplo, um controlador triaxial tal como um joystick, ou um teclado ou um mouse. A unidade de exibição 215 é configurada para incluir um dispositivo de exibição tal como um visor. A unidade de exibição 215 exibe, por exemplo, uma imagem do ponto de vista virtual gerada pela CPU 211 e similar. Além disso, a unidade de exibição 215 pode incluir vários tipos de dispositivos de saída com capacidade para apresentar informações ao usuário, por exemplo, um alto-falante para emissão de áudio e um dispositivo para emissão de vibração. Observa-se que a unidade de operação 214 e a unidade de exibição 215 podem ser integralmente formados usando, por exemplo, um visor de painel sensível ao toque.

[0036] A unidade de armazenamento 216 é configurada para incluir, por exemplo, um dispositivo de armazenamento em massa tal como uma SSD (Unidade de Estado Sólido) ou uma HDD (Unidade de Disco Rígido). Observa-se que esses são meramente exemplos, e a unidade de armazenamento 216 pode ser configurada para incluir outro dispositivo de armazenamento arbitrário. A unidade de armazenamento 216 grava dados para serem processados por um programa. A unidade de armazenamento 216 armazena, por exemplo, um objeto marcador tridimensional obtido quando uma entrada de marcador aceita através da unidade de operação 214 é convertida pela CPU 211. A unidade de armazenamento 216 pode armazenar adicionalmente outras informações. A interface externa 217 é configurada para incluir, por exemplo, um dispositivo de interface conectado a uma rede tal como uma LAN (Rede de Área Local). Informações são transmitidas/recebidas para/a partir de um aparelho externo tal como o banco de dados 103 através da interface externa 217. Adicionalmente, a interface externa 217 pode ser configurada para incluir uma porta de saída de imagem tal como HDMI® ou uma SDI. Observa-se que HDMI é abreviação para Interface Multimídia de Alta Definição, e SDI é abreviação de Interface Digital Serial. Nesse caso, informações podem ser transmitidas a um dispositivo de exibição externo ou aparelho de projeção através da interface externa 217. Além disso, o aparelho de processamento de imagem pode ser conectado a uma rede que usa a interface externa 217 para receber informações de operação de um ponto de vista virtual ou um marcador ou transmitir uma imagem do ponto de vista virtual através da rede.

(Ponto de vista virtual e direção de linha de visão)

[0037] O ponto de vista virtual 110 será descrito em seguida com referência às Figuras 3A a 3D. O ponto de vista virtual 110 e sua operação são projetados usando um sistema de coordenadas. Na presente modalidade, como o sistema de coordenadas, é usado um sistema de coordenadas ortogonal em um espaço tridimensional geral formado pelos eixos geométricos X, Y e Z, conforme mostrado na Figura 3A. Observa-se que isso é meramente um exemplo, e um sistema de coordenadas arbitrário com capacidade para indicar uma posição em um espaço tridimensional pode ser usado. As coordenadas de um objeto capturado são estabelecidas e usadas através do uso do sistema de coordenadas. Objetos capturados incluem, por exemplo, o campo de um estádio ou um estúdio, e uma pessoa e um objeto tal como uma bola que existe no espaço do campo ou estúdio. Por exemplo, em um exemplo mostrado na Figura 3B, um campo inteiro 391 de um estádio, e uma bola 392 e os jogadores 393 existentes no mesmo são incluídos como os objetos capturados. Observa-se que bancadas e similares ao redor do campo podem ser incluídos nos objetos capturados. No exemplo mostrado na Figura 3B, as coordenadas do centro do campo 391 são estabelecidas como a origem (0, 0, 0), o eixo geométrico X é estabelecido na direção longitudinal do campo 391, o eixo geométrico Y é estabelecido na direção da largura do campo 391, e o eixo geométrico Z é estabelecido na direção vertical em relação ao campo. Quando as coordenadas de cada objeto capturado são estabelecidas em relação ao centro do campo 391, um modelo tridimensional gerado a partir de um objeto capturado pode ser disposto em um espaço virtual tridimensional. Observa-se que o método de estabelecimento de coordenadas não se limita a esse.

[0038] Um ponto de vista virtual será descrito em seguida com referência às Figuras 3C e 3D. O ponto de vista virtual define um ponto de vista e uma direção de linha de visão para gerar uma imagem do ponto de vista virtual. Com referência à Figura 3C, o vértice de uma pirâmide quadrada representa uma posição 301 do ponto de vista virtual, e um vetor que se estende a partir do vértice representa uma direção de linha de visão 302. A posição 301 do ponto de vista virtual é expressa pelas coordenadas (x, y, z) no espaço virtual tridimensional. A direção de linha de visão 302 é expressa por um vetor de unidade incluindo os componentes dos eixos geométricos como escalares, e é também chamada de vetor de eixo geométrico óptico do ponto de vista virtual. A direção de linha de visão 302 atravessa o centro de cada um dentre um plano de vídeo frontal 303 e um plano de vídeo posterior 304. Observa-se que os planos de vídeo são planos que definem uma região como um alvo de renderização. Um espaço 305 que fica entre o plano de vídeo frontal 303 e o plano de vídeo posterior 304 é chamado de volume de visualização do ponto de vista virtual, e uma imagem do ponto de vista virtual é gerada nessa faixa (ou uma imagem do ponto de vista virtual é projetada e exibida nessa faixa). Observa-se que uma distância focal (não mostrada) pode ser estabelecida para um valor arbitrário. Como uma câmera comum, quando a distância focal é alterada, o ângulo de visão é alterado. Isto é, quando a distância focal é encurtada, o ângulo de visão pode ser ampliado, e o volume de visualização pode ser ampliado. Por outro lado, quando a distância focal é alongada, o ângulo de visão se estreita, e o volume de visualização pode ser estreitado para capturar um objeto capturado grande. Observa-se que a distância focal é meramente um exemplo, e um parâmetro arbitrário com capacidade de estabelecer a posição ou tamanho do volume de visualização pode ser usado.

[0039] A posição do ponto de vista virtual e a direção de linha de visão a partir do ponto de vista virtual podem ser movidas e giradas no espaço virtual expresso pelas coordenadas tridimensionais. Conforme mostrado na Figura 3D, o movimento 306 do ponto de vista virtual é movimento da posição 301 do ponto de vista virtual e é expresso pelos componentes (x, y, z) dos eixos geométricos. A rotação 307 do ponto de vista virtual é expressa por Yaw, que é rotação ao redor do eixo Z, Pitch, que é rotação ao redor do eixo X, e Roll, que é rotação sobre o eixo Y, conforme mostrado na Figura 3A. Através dos mesmos, a posição do ponto de vista virtual e a direção de linha de visão a partir do ponto de vista virtual podem se mover livremente e ser girados no espaço virtual tridimensional, e o aparelho de processamento de imagem 104 pode reproduzir, como uma imagem do ponto de vista virtual, uma imagem no caso em que presume-se que uma região arbitrária de um objeto capturado seja observada a partir de um ângulo arbitrário. Observa-se que, doravante no presente documento, a posição do ponto de vista virtual e a direção de linha de visão a partir do ponto de vista virtual serão denominados "ponto de vista virtual" juntos se não houver necessidade de fazer particularmente uma distinção.

(Método de operação para ponto de vista virtual e marcador)

[0040] Um método de operação para um ponto de vista virtual e um marcador será descrito com referência às Figuras 4A e 4B. A Figura 4A é uma vista que explica uma tela exibida pelo aparelho de processamento de imagem 104. Um caso em que um terminal do tipo tablet 400 incluindo um visor de painel sensível ao toque é usado será descrito no presente documento. Observa-se que o terminal 400 não precisa ser um terminal do tipo tablet, e um aparelho de processamento de informações arbitrárias de outro tipo pode ser usado como o terminal 400. Se o terminal 400 for o aparelho de processamento de imagem 104, o terminal 400 é configurado para gerar e exibir uma imagem do ponto de vista virtual e também aceitar operações tais como designações de um ponto de vista virtual e um código de tempo, e uma entrada de marcador. Por outro lado, se o terminal 400 for um aparelho conectado ao aparelho de processamento de imagem 104 através de uma rede de comunicação, o terminal 400 transmite informações que representam um ponto de vista virtual ou um código de tempo para o aparelho de processamento de imagem 104 e recebe uma imagem do ponto de vista virtual fornecida. Além disso, o terminal 400 aceita uma operação de entrada de marcador para uma imagem do ponto de vista virtual e transmite informações que representam a entrada de marcador aceita para o aparelho de processamento de imagem 104.

[0041] Com referência à Figura 4A, uma tela de exibição 401 no terminal 400 é classificada de modo geral em duas regiões incluindo uma região de operação de ponto de vista virtual 402 e uma região de operação de código de tempo 403.

[0042] Na região de operação de ponto de vista virtual 402, uma operação de usuário em relação a um ponto de vista virtual é aceita, na região de operação de ponto de vista virtual 402, e uma imagem do ponto de vista virtual é exibida na faixa da região. Isto é, na região de operação de ponto de vista virtual 402, um ponto de vista virtual é operado, e uma imagem do ponto de vista virtual que reproduz uma cena que se presume ser observada a partir do ponto de vista virtual após a operação é exibida. Além disso, na região de operação de ponto de vista virtual 402, uma entrada de marcador para a imagem do ponto de vista virtual é aceita. Observa-se que embora a operação do marcador e a operação do ponto de vista virtual possam ser executadas juntas, presume-se na presente modalidade que a operação do marcador é aceita independentemente da operação do ponto de vista virtual. Em um exemplo, como um exemplo mostrado na Figura 4B, o ponto de vista virtual pode ser operado por uma operação de toque tal como bater de leve e arrastar usando um dedo do usuário no terminal 400, e a operação de marcador pode ser realizada ao bater de leve e arrastar usando um dispositivo de renderização tal como um lápis 450. O usuário move ou gira o ponto de vista virtual através de uma operação de arrastar 431 usando, por exemplo, um dedo. Além disso, o usuário renderiza um marcador 451 ou um marcador 452 na imagem do ponto de vista virtual por uma operação de arrastar usando o lápis 450. O terminal 400 renderiza um marcador nas coordenadas contínuas da operação de arrastar através do lápis 450. Observa-se que a operação através do dedo pode ser atribuída á operação de marcador, e a operação através do lápis pode ser atribuída à operação do ponto de vista virtual. Adicionalmente, se o terminal 400 pode fazer uma distinção entre a operação do ponto de vista virtual e a operação de marcador, outro método de operação arbitrário pode ser usado. De acordo com essa configuração, o usuário pode facilmente usar de modo seletivo a operação do ponto de vista virtual e a operação de marcador.

[0043] Observa-se que ao executar independentemente a operação do ponto de vista virtual e a operação do marcador, um dispositivo de renderização tal como o lápis 450 não precisa sempre ser usado. Por exemplo, um botão de LIGAR/DESLIGAR (não mostrado) para a operação de marcador pode ser fornecido no painel sensível ao toque, e realizar ou não a operação de marcador pode ser comutado através da operação do botão. Por exemplo, para realizar a operação de marcador, o botão é ligado. Durante o estado LIGADO do botão, a operação do ponto de vista virtual pode ser inibida. Além disso, para realizar a operação do ponto de vista virtual, o botão é desligado. Durante o estágio DESLIGADO do botão, a operação de marcador pode ser inibida.

[0044] A região de operação de código de tempo 403 é usada para designar o tempo de uma imagem do ponto de vista virtual ser visualizada. A região de operação de código de tempo 403 inclui, por exemplo, um controle deslizante principal 412, um subcontrole deslizante 413, um controle deslizante de designação de velocidade 414, e um botão de cancelamento 415. O controle deslizante principal 412 é usado para aceitar um código de tempo arbitrário selecionado pela operação de arrastar de usuário da posição de uma maçaneta 422, ou similar. O período inteiro em que a imagem do ponto de vista virtual pode ser reproduzida é representado pela faixa do controle deslizante principal 412. O subcontrole deslizante 413 amplia e exibe uma parte do código de tempo e permite que o usuário realize uma operação detalhada, por exemplo, com base em quadro. O subcontrole deslizante 413 é usado para aceitar seleção de usuário de um código de tempo detalhado arbitrário por uma operação de arrastar da posição de uma maçaneta 423, ou similar.

[0045] No terminal 400, uma designação aproximada do código de tempo é aceita pelo controle deslizante principal 412, e uma designação detalhada do código de tempo é aceita pelo subcontrole deslizante 413. Por exemplo, o controle deslizante principal 412 e o subcontrole deslizante 413 podem ser estabelecidos de modo que o controle deslizante principal 412 corresponda a uma faixa de 3 horas que corresponde a toda extensão de um jogo, e o subcontrole deslizante 413 corresponde a uma faixa de tempo de cerca de 30 segundos como uma parte da extensão. Por exemplo, uma seção de 15 segundos antes e depois do código de tempo designado pelo controle deslizante principal 412 ou uma seção de 30 segundos do código de tempo pode ser expressa pelo subcontrole deslizante 413. Além disso, o tempo pode ser dividido em seções com uma base de 30 segundos previamente, e dentre as seções, uma seção que inclui o código de tempo designado pelo controle deslizante principal 412 pode ser expressa pelo subcontrole deslizante 413. Conforme descrito acima, as escalas de tempo do controle deslizante principal 412 e do subcontrole deslizante 413 são diferentes. Observa-se que as extensões de tempo descritas acima são meramente exemplos, e os controles deslizantes podem ser configurados para corresponder ás outras extensões de tempo. Observa-se que uma interface de usuário com capacidade para alterar a configuração da extensão de tempo á qual, por exemplo, o subcontrole deslizante 413 corresponde pode ser preparada. Além disso, embora a Figura 4A mostre um exemplo em que o controle deslizante principal 412 e o subcontrole deslizante 413 são exibidos no mesmo comprimento na tela, os comprimentos podem ser diferentes entre si. Isto é, o controle deslizante principal 412 pode ser mais longo, ou o subcontrole deslizante 413 pode ser mais longo. Além disso, o subcontrole deslizante 413 não precisa sempre ser exibido. Por exemplo, o subcontrole deslizante 413 pode ser exibido após uma instrução de exibição ser aceita, ou o subcontrole deslizante 413 pode ser exibido quando uma operação específica é instruída, tal como a pausa. A designação e exibição do código de tempo podem ser realizadas sem usar a maçaneta 422 do controle deslizante principal 412 e a maçaneta 423 do subcontrole deslizante 413. Por exemplo, o código de tempo pode ser designado e exibido por valores numéricos tais como valores numéricos tais como dia:hora:minuto:segundo.número de quadro.

[0046] O controle deslizante de designação de velocidade 414 é usado para aceitar uma designação de usuário de uma velocidade de reprodução para velocidade de reprodução de 1x, reprodução lenta, ou similar. Por exemplo, o intervalor de contagem do código de tempo é controlado de acordo com uma velocidade de reprodução que usa uma maçaneta 424 do controle deslizante de designação de velocidade 414. O botão de cancelamento 415 é usado para cancelar cada operação relacionada ao código de tempo. Adicionalmente, o botão de cancelamento 415 pode ser usado para liberar a pausa e retornar á reprodução normal. Observa-se que o mesmo não se limita a cancelamento se for configurado para realizar uma operação relacionada ao código de tempo.

[0047] Usando a configuração de tela, conforme descrito acima, o usuário pode conduzir ο terminal 400 a exibir uma imagem do ponto de vista virtual no caso do modelo tridimensional de um objeto capturado um código de tempo arbitrário é visualizado a partir de uma posição/postura arbitrária através da operação do ponto de vista virtual e o código de tempo. O usuário pode inserir um marcador na imagem do ponto de vista virtual independentemente da operação do ponto de vista virtual. (Objeto marcador e Plano de interesse)

[0048] Na presente modalidade, uma entrada de marcador bidimensional pelo usuário a uma imagem do ponto de vista virtual exibida de modo bidimensional é convertida em um objeto marcador tridimensional. O objeto marcador convertido de modo tridimensional é disposto no mesmo espaço virtual tridimensional que o ponto de vista virtual. O método de conversão do objeto marcador será descrito primeiro com referência às Figuras 5A a 5E.

[0049] A Figura 5A mostra um estado em que um marcador é inserido em uma imagem do ponto de vista virtual 500 usando o lápis 450. Aqui, um vetor representando um ponto no marcador será denominado um vetor de entrada de marcador 501. A Figura 5B é uma vista que mostra esquematicamente um ponto de vista virtual designado ao gerar a imagem do ponto de vista virtual 500 exibida na Figura 5A. Considerando-se [Mc] como o vetor de entrada de marcador 501 na Figura 5A. O vetor de entrada de marcador 501 pode ser expresso como [Mc] = (a, b, f) usando coordenadas de câmera em relação à posição 301 do ponto de vista virtual como a origem. Aqui, "f" é a distância focal do ponto de vista virtual. Na Figura 5B, a interseção entre o eixo geométrico óptico da câmera virtual e o plano focal do ponto de vista virtual é (0, 0, f), e o vetor de entrada de marcador [Mc] = (a, b, f) indica um ponto movido a partir da interseção por a na direção x e b na direção y. Em relação ao vetor de entrada de marcador, o mesmo é expresso como [Mc] em coordenadas de câmera, e como [Mw] = (mx, my, mz) em coordenadas mundiais. As coordenadas mundiais são coordenadas no espaço virtual. Um vetor de entrada de marcador 502 ([Mw] ) nas coordenadas mundiais é calculado por [Mw] = Qt.[Mc] usando um quatérnio Qt obtido a partir da matriz de rotação que representa a postura da câmera virtual. Observa-se que o quatérnio da câmera virtual é um termo técnico geral e, uma descrição detalhada do mesmo será omitida no presente documento.

[0050] Na presente modalidade, para converter a entrada de marcador da imagem do ponto de vista virtual bidimensional no objeto marcador de dados tridimensionais, é usado um plano 510 de interesse, conforme mostrado nas Figuras 5C e 5D. Observa-se que a Figura 5C é uma vista aérea do plano inteiro 510 de interesse, e a Figura 5D é uma vista visualizada em uma direção paralela ao plano 510 de interesse. Isto é, as Figuras 5C e 5D mostram estados em que os mesmos objetos capturados são visualizados a partir de diferentes direções. O plano 510 de interesse é, por exemplo, um plano paralelo ao campo 391 (Z = 0), e é um plano localizado em uma altura (por exemplo, Z = 1,5 m) fácil para um visualizador colocar o foco. O plano 510 de interesse pode ser expresso por uma equação tal como z = Zfix.

[0051] O objeto marcador é gerado como dados tridimensionais em contato com o plano 510 de interesse. Por exemplo, uma interseção 503 entre o vetor de entrada de marcador 502 e o plano 510 de interesse é gerada como um objeto marcador que corresponde a um ponto no marcador que corresponde ao vetor de entrada de marcador 502. Isto é, a conversão de um marcador a um objeto marcador é realizada de modo que uma interseção entre uma linha que atravessa o ponto de vista virtual e um ponto no marcador e um plano predeterminado preparado como o plano 510 de interesse se torna um ponto no objeto marcador que corresponde ao ponto no marcador. Observa-se que a interseção entre o vetor de entrada de marcador 502 ([Mw] = (mx, my, mz)) e o plano 510 (z = zfix) pode ser calculada por uma solução matemática geral, e uma descrição detalhada da mesma será omitida. Aqui, essa interseção é presumida ser obtida como coordenada de interseção (Aw = (ax, ay, az)). Tais coordenadas de interseção são calculadas para cada um dos pontos contínuos obtidos como a entrada de marcador, e os dados tridimensionais obtidos conectando-se as coordenadas de interseção é um objeto marcador 520. Isto é, se o marcador for inserido como uma linha ou curva continua, o objeto marcador 520 é gerado como uma linha ou curva sobre o plano 510 de interesse em correspondência com a linha ou curva contínua. Consequentemente, o objeto marcador 520 é gerado como um objeto tridimensional em contato com o plano de interesse fácil para o visualizador colocar foco. O plano de interesse pode ser estabelecido na altura de um objeto em que o visualizador coloca foco, por exemplo, com base na altura em que a bola existe principalmente ou na altura da parte central de um jogador. Observa-se que a conversão do marcador para o objeto marcador 520 pode ser feita calculando-se a interseção entre o vetor e o plano de interesse, conforme descrito acima, ou a conversão do marcador para o objeto marcador pode ser feita por uma operação de matriz predeterminada ou similar. Adicionalmente, o objeto marcador pode ser gerado com base em uma tabela que corresponde ao ponto de vista virtual e a posição em que o marcador é inserido. Observa-se que independentemente do método a ser usado, o processamento pode ser realizado de modo que o objeto marcador seja gerado no plano de interesse.

[0052] Em um exemplo, quando a conversão descrita acima é realizada para uma entrada de marcador como um círculo bidimensional no tablet mostrado na Figura 5A, o objeto marcador 520 que tem um formato de rosquinha tridimensional mostrado na Figura 5E é gerado. O objeto marcador é criado a partir de pontos contínuos, e é gerado como dados tridimensionais aos quais uma altura predeterminada é adicionada, conforme mostrado na Figura 5E.

[0053] Observa-se que no exemplo descrito com referência às Figuras 5A a 5E, o plano 510 de interesse é um plano paralelo ao plano X-Y que é o campo. Contudo, a presente invenção não se limita a isso. Por exemplo, se o objeto capturado for um esporte tal como escalada que é realizada na direção vertical, o plano de interesse pode ser estabelecido como um plano paralelo ao plano X-Z ou plano Y-Z. Isto é, um plano arbitrário que pode ser definido no espaço tridimensional pode ser usado como o plano de interesse. Observa-se que o plano de interesse não se limita a um plano reto e pode ser um plano curvado. Isto é, mesmo se um plano curvado for usado, seu formato não é particularmente limitado se a interseção entre o plano curvado e o vetor de entrada de marcador puderem ser unicamente calculados.

(Procedimento de processamento)

[0054] Um exemplo do procedimento de processamento executado pelo aparelho de processamento de imagem 104 será descrito em seguida com referência à Figura 6. Esse processamento é formado por processamento de circuito (etapas S601 e S612) em que os processos das etapas S602 a S611 são repetidos, e o circuito é executado em uma taxa de quadro predeterminada. Por exemplo, se a taxa de Quadro for 60 FPS, o processamento de um circuito (um quadro) for executado em um intervalo de cerca de 16,6 [ms] , Como resultado, na etapa S611 a ser descrita posteriormente, uma imagem do ponto de vista virtual é emitida na taxa de quadro. A taxa de quadro pode ser estabelecida para sincronizar com uma taxa de atualização na exibição de tela do aparelho de processamento de imagem 104. Contudo, a taxa de quadro pode ser estabelecida de acordo com a taxa de quadro do dispositivo de captura de imagem que captura as imagens de múltiplos pontos de vista ou a taxa de quadro do modelo tridimensional armazenado no banco de dados 103. Observa-se que na descrição a seguir, a cada momento em que o processamento do circuito é executado, o código de tempo é contado por um quadro. O intervalo de contagem do código de tempo pode ser alterado de acordo com uma operação de usuário ou similar. Por exemplo, se uma velocidade de reprodução de 1/2 for designada, a contagem de Quadro do código de tempo pode ser realizada uma vez em dois processos de circuito. Além disso, por exemplo, se pausa for designada, a contagem do código de tempo pode ser interrompida.

[0055] No processamento de circuito, o aparelho de processamento de imagem 104 atualiza o código de tempo do alvo de processamento (etapa S602). Q código de tempo aqui é expresso em uma forma de dia:hora:minuto:segundo.quadro, conforme descrito acima, e atualizado conforme a contagem é realizada com base em quadro. Q aparelho de processamento de imagem 104 determina se a operação de usuário aceita é a operação do ponto de vista virtual ou a operação de entrada de marcador (etapa S603). Qbserva-se que os tipos de operações não são limitados a essas. Por exemplo, se uma operação para o código de tempo for aceita, o aparelho de processamento de imagem 104 pode retornar o processo para a etapa S602 e atualizar o código de tempo. Se nenhuma operação de usuário for aceita, o aparelho de processamento de imagem 104 pode avançar o processo, assumindo que uma operação de designação de ponto de vista virtual é realizada ao preceder imediatamente ο processamento de geração de imagem do ponto de vista virtual. O aparelho de processamento de imagem 104 pode determinar se outra operação é adicionalmente aceita.

[0056] Ao determinar na etapa S603 que a operação de ponto de vista virtual é aceita, o aparelho de processamento de imagem 104 obtém coordenadas de operação bidimensionais para o ponto de vista virtual (etapa S604). As coordenadas de operação bidimensionais aqui são, por exemplo, coordenadas que representam a posição em que uma operação de bater de leve para o painel sensível ao toque é aceita. Com base nas coordenadas de operação obtidas na etapa S604, o aparelho de processamento de imagem 104 realiza pelo menos um dentre o movimento e a rotação do ponto de vista virtual no espaço virtual tridimensional (etapa S605). O movimento/rotação do ponto de vista virtual foi descrito acima com relação á Figura 3D, e uma descrição repetitiva do mesmo será omitida aqui. Além disso, processamento de decidir as quantidades de movimento e rotação do ponto de vista virtual no espaço tridimensional com base nas coordenadas bidimensionais obtidas pela operação de toque no painel sensível ao toque pode ser executado usando uma técnica conhecida, e uma descrição detalhada da mesma será omitida aqui. Após os processos das etapas S604 e S605 ou ao mesmo tempo que os processos, o aparelho de processamento de imagem 104 determina se um objeto marcador existe na faixa de um campo de visão determinado pelo ponto de vista virtual após o movimento/rotação (etapa S606). Se um objeto marcador existe na faixa do campo de visão determinada pelo ponto de vista virtual após o movimento /rotação (SIM na etapa S606), o aparelho de processamento de imagem 104 lê o objeto marcador e dispões o mesmo no espaço virtual tridimensional (etapa S607). Após o objeto marcador ser disposto, o aparelho de processamento de imagem 104 gera uma imagem do ponto de vista virtual incluindo o objeto marcador e emite a imagem do ponto de vista virtual (etapa S611). Isto é, de acordo com o ponto de vista virtual, o aparelho de processamento de imagem 104 gera uma imagem do ponto de vista virtual usando o modelo tridimensional do objeto capturado que corresponde ao código de tempo atualizado na etapa S602 e o objeto marcador disposto no espaço virtual. Observa-se que se nenhum objeto marcador existir na faixa do campo de visão determinada pelo ponto de vista virtual após o movimento/rotação (NÃO na etapa S606), o aparelho de processamento de imagem 104 gera uma imagem do ponto de vista virtual sem dispor o objeto marcador e emite a imagem do ponto de vista virtual (etapa S611).

[0057] Ao determinar, na etapa S603, que a operação de entrada de marcador foi aceita, o aparelho de processamento de imagem 104 obtém as coordenadas bidimensionais da operação de marcador na imagem do ponto de vista virtual (etapa S608). Isto é, o aparelho de processamento de imagem 104 obtém as coordenadas bidimensionais da entrada de operação de marcador para a região de operação de ponto de vista virtual 402, conforme descrito em relação à Figura 4A. O aparelho de processamento de imagem 104 depois converte as coordenadas bidimensionais da entrada de marcador obtidas na etapa S608 em um objeto marcador que são dados tridimensionais no plano de interesse no espaço virtual (etapa S609). O método de conversão da entrada de marcador para o objeto marcador foi descrito acima com referência às Figuras 5A a 5E, e uma descrição repetitiva do mesmo será omitida no presente documento. Quando o objeto marcador é obtido na etapa S609, o aparelho de processamento de imagem 104 mantém o objeto marcador e o código de tempo juntos (etapa S610). De acordo com o ponto de vista virtual, o aparelho de processamento de imagem 104 gera uma imagem do ponto de vista virtual usando o modelo tridimensional do objeto capturado que corresponde ao código de tempo atualizado na etapa S602 e o objeto marcador disposto no espaço virtual (etapa S611).

[0058] De acordo com o processamento descrito acima, a entrada de marcador na imagem do ponto de vista virtual bidimensional pode ser convertida em dados tridimensionais usando o plano de interesse no espaço virtual, e o modelo tridimensional do objeto capturado e o objeto marcador pode ser disposto no mesmo espaço virtual. Por essa razão, uma imagem do ponto de vista virtual em que a relação posicionai entre o objeto capturado e o marcador é mantida pode ser gerada independentemente da posição/postura do ponto de vista virtual.

(Exemplos de exibição de Tela)

[0059] Exemplos de exibição de tela no caso em que o processamento descrito acima é executado e no caso em que o processamento não é executado serão descritos agora com referência às Figuras 7A a 7D. A Figura 7A mostra um estado em que o aparelho de processamento de imagem 104 exibe uma imagem do ponto de vista virtual antes da entrada do marcador. Nesse estado, o usuário pode arbitrariamente mover/girar o ponto de vista virtual, por exemplo, através de uma operação de toque 701. Aqui, como um exemplo, o código de tempo é pausado por uma operação de usuário, e a entrada de marcador pode ser aceito nesse estado. Observa-se que a entrada de marcador pode corresponder à imagem do ponto de vista virtual durante um período predeterminado, e, por exemplo, a entrada de marcador pode ser mantida em um número de quadros predeterminado a partir do quadro em que a operação é aceita. Além disso, por exemplo, o marcador de entrada pode ser mantido até uma instrução de apagar marcador explícita ser inserida pelo usuário. A Figura 7B mostra um estado durante a aceitação da operação de marcador pelo usuário. Um exemplo é mostrado aqui, em que duas entradas de marcador (um círculo 711 e uma curva 712) são aceitos por um lápis. Quando tais entradas de marcador são aceitas, o aparelho de processamento de imagem 104 converte as entradas de marcador em objetos marcadores de modelos tridimensionais no plano de interesse, e renderiza os objetos marcadores junto com a imagem do ponto de vista virtual. Observa-se que em um estado em que o ponto de vista virtual não é alterado, exibição similar a um caso em que a entrada de marcador pelo usuário é feita é realizada, e o usuário reconhece esse como um estado em que um marcador é simplesmente inserido. Observa-se que durante a execução de processamento de conversão do objeto marcador, a entrada de marcador bidimensional aceita pode ser diretamente exibida, e quando o processamento de conversão para o objeto marcador estiver concluído, mais uma renderização no objeto marcador tridimensional pode ser realizada.

[0060] A Figura 7C mostra um exemplo em que após os marcadores de entrada serem convertidos em objetos marcadores tridimensionais e renderizados, movimento/rotação do ponto de vista virtual é realizada por uma operação de toque 721 do usuário. De acordo com o método da presente modalidade, visto que o objeto marcador tridimensional é disposto próximo à posição tridimensional do objeto capturado com o marcador, no qual o foco deve ser colocado, no espaço virtual, o marcador é exibido perto do objeto capturado a ser focado após o movimento/rotação do ponto de vista virtual ser realizado. Adicionalmente, visto que o marcador é convertido no objeto marcador tridimensional e renderizado na imagem do ponto de vista virtual, a posição e direção são alterados de acordo com o movimento/rotação do ponto de vista virtual e observado. Conforme descrito acima, de acordo com o método da presente modalidade, mesmo após o movimento/rotação do ponto de vista virtual, correspondência entre o conteúdo da entrada de marcador e o conteúdo da imagem do ponto de vista virtual pode continuamente ser assegurada. Por outro lado, se o método de acordo com a presente modalidade não for aplicado, o marcador é mantido exibido na posição de entrada após o movimento/rotação do ponto de vista virtual ser realizado, e apenas o conteúdo da imagem do ponto de vista virtual muda. Consequentemente, o conteúdo da entrada de marcador e o conteúdo da imagem do ponto de vista virtual não correspondem.

[0061] Conforme descrito acima, de acordo com a presente modalidade, a entrada de marcador na imagem do ponto de vista virtual é gerada como um objeto marcador em um plano fácil para o visualizador colocar o foco no espaço virtual onde o modelo tridimensional do objeto capturado é disposto. Depois, o objeto marcador é renderizado como uma imagem do ponto de vista virtual junto com o modelo tridimensional do objeto capturado. Isso torna possível manter a relação posicionai entre o objeto capturado e o marcador e eliminar ou reduzir desconforto pelo desvio do marcador do objeto capturado quando o ponto de vista virtual é movido para uma posição/postura arbitrária.

(Compartilhamento de objeto marcador)

[0062] Observa-se que o objeto marcador gerado pelo método descrito acima pode ser compartilhado por outro dispositivo. A Figura 8 mostra um exemplo da configuração de um Sistema que realiza tal compartilhamento. Com referência à Figura 8, o sistema de geração de imagem do ponto de vista virtual 100 ê configurado para executar pelo menos algumas das funções descritas em relação à Figura 1A, e realiza captura de um objeto e geração de uma imagem de múltiplos pontos de vista ou um modelo tridimensional. Um servidor de gerenciamento 801 é um dispositivo de armazenamento configurado para gerenciar e armazenar um modelo tridimensional de um objeto capturado ou um objeto marcador compartilhado (a ser descrito posteriormente) com base em um código de tempo, e pode também ser um aparelho de distribuição configurado para distribuir um objeto marcador com base em código de tempo. Cada aparelho de processamento de imagem 811 a 813 tem as mesmas funções, por exemplo, que o aparelho de processamento de imagem 104, obtém um modelo tridimensional a partir do servidor de gerenciamento 801, e gera e exibe uma imagem do ponto de vista virtual. Além disso, cada um dos aparelhos de processamento de imagem 811 a 813 pode aceitar entrada de marcador a partir do usuário, gerar um objeto marcador, e transferir por upload o objeto marcador gerado ao servidor de gerenciamento 801 para fazer com que o mesmo seja armazenado. Um primeiro aparelho de processamento de imagem transfere por download um objeto marcador transferido por upload por um segundo aparelho de processamento de imagem, gerando, desse modo, uma imagem do ponto de vista virtual combinando a entrada de marcador pelo usuário do segundo aparelho de processamento de imagem e o modelo tridimensional do objeto.

(Configuração de dados de objeto marcador)

[0063] Em um exemplo, o aparelho de processamento de imagem 104 retém, na unidade de gerenciamento de marcador 205, um objeto marcador nas configurações mostradas nas Figuras 9A a 9C. O aparelho de processamento de imagem 104 pode, por exemplo, transferir por upload os dados do objeto marcador para o servidor de gerenciamento 801 mantendo, ao mesmo tempo, a mesma configuração de dados. Além disso, o aparelho de processamento de imagem 104 transfere por download os dados de um objeto marcador da mesma configuração de dados a partir do servidor de gerenciamento 801. Observa-se que as configurações de dados mostradas nas Figuras 9A a 9C são meramente exemplos, e dados de um formato arbitrário com capacidade para especificar a posição e formato do objeto marcador no espaço virtual podem ser usados. O servidor de gerenciamento 801 e o aparelho de processamento de imagem 104 pode usar diferentes formatos de dados, e dados de um objeto marcador podem ser reproduzidos conforme necessário de acordo com uma regra predeterminada.

[0064] A Figura 9A mostra um exemplo da configuração de dados 900 de um objeto marcador. Um cabeçalho 901 na parte superior do conjunto de dados armazena um tipo de objeto. Por exemplo, informações que representam que esse conjunto de dados de "marcador" são armazenadas no cabeçalho 901. Observa-se que "primeiro plano", "plano de fundo", ou similar podem ser designados como o tipo de conjunto de dados. Além disso, os dados 900 do objeto marcador incluem uma contagem de quadro 902, e um ou mais dados 903 que correspondem a um ou mais quadros (código de tempos).

[0065] Os dados 903 de cada quadro (código de tempo) têm, por exemplo, uma configuração conforme mostrado na Figura 9B. Os dados 903 incluem, por exemplo, um código de tempo 911 e um tamanho dos dados 912. Observa-se que o tamanho dos dados 912 permite especificar o limite entre os dados do quadro (código de tempo) e os dados do quadro seguinte. Um tamanho dos dados relacionado a cada um dentre uma pluralidade de quadros pode ser preparado fora dos dados 903. Nesse caso, as informações do tamanho dos dados podem ser armazenadas, por exemplo, entre o cabeçalho 901 e a contagem de quadro 902, entre a contagem de quadro 902 e os dados 903, ou após os dados 903. Os dados 903 armazenam adicionalmente uma contagem de objeto marcador 913. A contagem de objeto marcador 913 representa o número de marcadores incluídos no código de tempo. Por exemplo, no exemplo mostrado na Figura 7B, dois marcadores que incluem um círculo 711 e a curva 712 são inseridos. Consequentemente, nesse caso, a contagem de objeto marcador 913 indica que dois objetos marcadores existem. Os dados 903 incluem dados 914 de objetos marcadores tanto quanto o número indicado pela contagem de objeto marcador 913.

[0066] Os dados 914 de cada objeto marcador têm, por exemplo, uma configuração, conforme mostrado na Figura 9C. Os dados 914 de cada objeto marcador incluem um tamanho dos dados 921 e um tipo de dado 922. O tamanho dos dados 921 representa o tamanho de cada um dentre um ou mais dados 914, e é usado para especificar o limite dos dados de cada objeto marcador. O tipo dos dados 922 representa o tipo do formato de um modelo tridimensional. O tipo dos dados 922 indica, por exemplo, informações tais como "grupo de pontos" ou "malha". Observa-se que os formatos de modelos tridimensionais não se limitam a esses. Como um exemplo, se as informações que representam o "grupo de pontos" estão armazenadas no tipo dos dados 922, os dados 914 incluem, posteriormente, uma contagem de grupos de pontos 923, e uma ou mais combinações de coordenadas 924 e texturas 934 de todos os grupos de pontos. Observa-se que cada um dentre o um ou mais dados 914 podem incluir não apenas os dados tridimensionais de um objeto marcador, mas também as coordenadas centrais de todos as coordenadas de grupos de pontos ou os valores mínimo e máximo em cada um dentre os eixos geométricos tridimensionais (não mostrados). Além disso, cada um dentre o um ou mais dados 914 podem incluir ainda outros dados. Observa-se que os dados do objeto marcador não precisam sempre ser preparados com base em quadro, e podem ser configurados como uma animação em um formato como, por exemplo, um gráfico de cena.

[0067] Quando dados conforme mostrado nas Figuras 9A a 9C são usados, por exemplo, uma pluralidade de objetos marcadores para diferentes códigos de tempo em um jogo de esporte pode ser gerenciada. Além disso, uma pluralidade de marcadores pode ser gerenciada em correspondência com um código de tempo.

[0068] O gerenciamento do objeto marcador pelo servidor de gerenciamento 801 será descrito a seguir. A Figura 9D mostra um exemplo da configuração de uma tabela configurada para gerenciar objetos marcadores. Códigos de tempo são traçados ao longo da abscissa, e informações que representam um objeto marcador que corresponde a cada código de tempo são armazenados ao longo da ordenada. Por exemplo, nas células de uma fila que correspondem ao "1◦ objeto", dados do "1◦ objeto" mostrados nos dados 903 de uma pluralidade de códigos de tempo (quadro) são armazenados. Por exemplo, dados mostrados na Figura 9C são armazenados em uma célula. Quando a configuração da tabela de um bando de dados mostrado como na Figura 9D é usada, se um objeto marcador é indicado, o servidor de gerenciamento 801 pode obter os dados de todos os códigos de tempo relacionados ao objeto marcador. Além disso, quando a faixa de um código de tempo for indicada, o servidor de gerenciamento 801 pode obter os dados de todos os objetos marcadores incluídos no código de tempo. Observa-se que esses são meramente exemplos, e a configuração de dados e o método de gerenciamento, conforme descrito acima, não precisam sempre ser usados se um objeto marcador pode ser gerenciado e compartilhado.

[0069] (Compartilhamento e exibição de objetos marcadores)

[0070] Um exemplo de compartilhamento e exibição de objetos marcadores será descrito com referência às Figuras 10A a 10C. Um caso em que objetos marcadores são compartilhados pelo aparelho de processamento de imagens 811 a 813 mostrado na Figura 8 será descrito no presente documento. Observa-se que no presente documento, a Figura 10A mostra uma tela de operação exibida no aparelho de processamento de imagem 811, a Figura 10B mostra uma tela de operação exibida no aparelho de processamento de imagem 812, e a Figura 10C mostra uma tela de operação exibida no aparelho de processamento de imagem 813. Como um exemplo, conforme mostrado na Figura 10A, considera-se que no aparelho de processamento de imagem 811, um marcador que tem o formato de um círculo 1001 é aceito para uma imagem do ponto de vista virtual de determinado código de tempo. Por exemplo, com base na aceitação de uma instrução de compartilhamento de marcador (não mostrado) pelo usuário, o aparelho de processamento de imagem 811 transmite, ao servidor de gerenciamento 801, os dados de um objeto marcador convertido a partir do marcador de entrada do modo descrito acima. Além disso, conforme mostrado na Figura 10B, considera-se que no aparelho de processamento de imagem 812, um marcador que tem o formato de uma curva 1002 é aceito para uma imagem do ponto de vista virtual do mesmo código de tempo que na Figura 10A. Com base na aceitação de uma instrução de compartilhamento de marcador (não mostrado) pelo usuário, o aparelho de processamento de imagem 812 transmite, ao servidor de gerenciamento 801, um objeto marcador convertido a partir do marcador de entrada do modo descrito acima. Observa-se que o objeto marcador é associado ao código de tempo e transmitido para ser armazenado no servidor de gerenciamento 801. Com esse propósito, os aparelhos de processamento de imagem 811 a 813 tem uma função de controle de armazenamento para armazenar um código de tempo e um objeto marcador no servidor de gerenciamento 801 em associação.

[0071] Considera-se que nesse estado, o aparelho de processamento de imagem 813 aceita uma instrução de atualização de marcador (não mostrado). Nesse caso, em relação ao código de tempo para o qual os marcadores são inseridos nos aparelhos de processamento de imagem 811 e 812, conforme mostrado nas Figuras 10A e 10B, o aparelho de processamento de imagem 813 obtém os objetos marcadores que correspondem ao código de tempo do servidor de gerenciamento 801. Depois, conforme mostrado na Figura 10C, o aparelho de processamento de imagem 813 gera uma imagem do ponto de vista virtual usando os modelos tridimensionais dos objetos capturados e os objetos marcadores obtidos. Observa-se que cada objeto marcador obtido aqui são dados tridimensionais dispostos no mesmo espaço virtual que os modelos tridimensionais dos objetos capturados, conforme descrito acima. Consequentemente, mesmo no aparelho de processamento de imagem 813 do destino de compartilhamento, os modelos tridimensionais dos objetos capturados e dos objetos marcadores são dispostos na mesma relação posicionai que a relação posicionai no momento da entrada nos aparelhos de processamento de imagem 811 e 812 das fontes de compartilhamento. Por essa razão, mesmo se a posição do ponto de vista virtual e a direção de linha de visão forem operadas arbitrariamente no aparelho de processamento de imagem 813, uma imagem do ponto de vista virtual é gerada ao mesmo tempo que se mantém a relação posicionai da mesma.

[0072] Observa-se que, por exemplo, ao aceitar uma instrução de atualização de marcador, o aparelho de processamento de imagem 811 pode obter as informações do objeto marcador da entrada do marcador (curva 1002) no aparelho de processamento de imagem 812. Depois, o aparelho de processamento de imagem 811 pode renderizar uma imagem do ponto de vista virtual incluindo o objeto marcador obtido adicionalmente ao objeto marcador da entrada do marcador (círculo 1001) no próprio aparelho e os modelos tridimensionais dos objetos capturados.

[0073] Observa-se que, por exemplo, se o aparelho de processamento de imagem 813 aceita uma instrução de atualização de marcador, objetos marcadores gerenciados no servidor de gerenciamento 801 podem ser exibidos em uma lista de miniaturas ou similares, e um objeto marcador a ser transferido por download pode ser selecionado. Nesse caso, se o número de objetos marcadores gerenciado no servidor de gerenciamento 801 for grande, objetos marcadores próximos do código de tempo em que a instrução de atualização foi aceita podem ser dados prioridades superiores e exibidos em uma lista de miniaturas ou similares. Isto é, no momento da aceitação da instrução de atualização de marcador no aparelho de processamento de imagem 813, para facilitar a seleção da entrada de marcador próxima do código de tempo que corresponde ao tempo, o marcador pode preferencialmente ser exibida. Adicionalmente, o número de vezes de aceitação das instruções de transferência por download pode ser gerenciado para cada objeto marcador, e objetos marcadores de grandes contagens podem receber prioridade e ser exibidos em uma lista de miniaturas ou similares. Observa-se que uma miniatura com alta prioridade de exibição pode ser exibida em uma posição perto do topo de uma lista ou pode ser exibida em um tamanho grande.

[0074] Do modo descrito acima, uma entrada de marcador para uma imagem do ponto de vista virtual pode ser compartilhada por um a pluralidade de dispositivos ao mesmo tempo que se mantém a relação posicionai entre o objeto capturado e o marcador. Nesse momento, o marcador tem o formato do objeto tridimensional no espaço virtual, conforme descrito acima. Consequentemente, mesmo se a posição do ponto de vista virtual ou a direção de linha de visão muda entre o aparelho da fonte de compartilhamento e o aparelho do destino de compartilhamento, a imagem do ponto de vista virtual pode ser gerada ao mesmo tempo que se mantém a relação posicionai entre o objeto capturado e o marcador.

(Controle de grau de transparência de Marcador De acordo com Código de tempo)

[0075] A relação posicionai entre o objeto capturado e o objeto marcador exibido do modo descrito acima muda se o objeto capturado se move ao longo da passagem do tempo. Nesse caso, se ο objeto marcador for mantido exibido, o usuário pode ficar desconfortável. Para evitar isso, junto com a passagem do tempo do código de tempo da entrada do objeto marcador, o grau de transparência do objeto marcador é aumentado, mostrando, desse modo, ao usuário a mudança do ponto de interesse original e reduzindo o desconforto. Conforme descrito acima, o objeto marcador é mantido em associação com o código de tempo. Aqui, assume-se que no exemplo mostrado na Figura 10C, o usuário executa uma operação 751 para o código de tempo. Nesse caso, conforme mostrado na Figura 11A, o aparelho de processamento de imagem 813 pode mudar o grau de transparência (valor □) do marcador junto com transições do código de tempo de geração do objeto marcador para um código de tempo separado. Consequentemente, renderização ê realizada de modo que o marcador seja exibido em uma cor mais clara junto com o desvio do tempo da entrada de marcador atual que se torna maior. Isso pode reduzir o desconforto do usuário. Observa-se que se o usuário retorna o código de tempo, controle para retornar ao grau original de transparência pode ser realizado, conforme mostrado na Figura 10C. Observa-se que o objeto marcador pode ser renderizado mesmo em uma imagem do ponto de vista virtual que corresponde a um código de tempo antes do código de tempo de geração do objeto marcador. Nesse caso também, controle pode ser realizado para aumentar o grau de transparência (exibição do objeto marcador em uma cor clara) se a diferença entre o código de tempo de geração do objeto marcador e o código de tempo da imagem do ponto de vista virtual a ser renderizada for grande. Adicionalmente, controle pode ser realizado de modo que o grau de transparência antes do código de tempo de geração do objeto marcador se tornar mais alto que o grau de transparência após o código de tempo de geração do objeto marcador (de modo que o objeto marcador seja exibido em uma cor clara).

[0076] Observa-se que no exemplo descrito acima, um exemplo em que o grau de transparência muda junto com a transição do código de tempo foi descrito. Contudo, a presente invenção não se limita ao mesmo. Por exemplo, controle pode ser realizado para exibir o marcador em uma cor clara alterando pelo menos um dentre o brilho, saturação de cor e cromaticidade do objeto marcador.

(Controle de objeto marcador de acordo com coordenadas do modelo tridimensional)

[0077] Adicionalmente ou no lugar da modalidade descrita acima, o aparelho de processamento de imagem pode aceitar uma operação de adicionar um marcador ao modelo tridimensional do primeiro plano. Por exemplo, conforme mostrado na Figura 11B, uma instrução de adição de marcador 1101 é aceita para o modelo tridimensional do primeiro plano (pessoa). Nesse caso, por exemplo, conforme mostrado na Figura 11C, o aparelho de processamento de imagem gera um objeto marcador circular 1102 que tem um raio de um tamanho predeterminado em relação ás coordenadas X e Y no plano de interesse do modelo tridimensional como o centro. Consequentemente, o mesmo objeto marcador que o objeto marcador descrito com referência às Figuras 5A a 5E pode ser gerado. Observa-se que o formato do objeto marcador gerado no caso em que a instrução de adição de objeto marcador (adição de marcador) ao modelo tridimensional do primeiro plano é aceita não se limita a um círculo. O formato do objeto marcador nesse caso pode ser um retângulo ou similar, ou pode ser outro formato com o qual o modelo tridimensional pode receber atenção.

[0078] Observa-se que a posição do marcador adicionado ao modelo tridimensional do primeiro plano pode ser alterada ao longo do movimento de uma pessoa ou bola no primeiro plano. Observa-se que mesmo no objeto marcador descrito com referência às Figuras 5A a 5E, o objeto marcador pode ser associado à posição em que o marcador é adicionado ou o modelo tridimensional do primeiro plano na periferia, e a posição do objeto marcador pode ser alterada de acordo com a posição do modelo tridimensional no primeiro plano. Isto ê, independentemente do método de adição de um marcador, as coordenadas do modelo tridimensional do primeiro plano podem ser obtidas para cada código de tempo, e as coordenadas do objeto marcador podem ser alteradas para cada código de tempo. Consequentemente, se a pessoa ou similar no primeiro plano se move junto com a passagem do código de tempo, o objeto marcador pode ser movido seguindo o modelo tridimensional. Alternativamente, por exemplo, a posição do objeto marcador pode ser alterada pela operação de usuário de acordo com a mudança do código de tempo. Nesse caso, de acordo com a operação de usuário, a posição do objeto marcador pode ser especificada para cada código de tempo, e a posição pode ser armazenada/gerenciada.

[0079] Observa-se que na modalidade descrita acima, processamento no caso em que um marcador é adicionado a uma imagem do ponto de vista virtual com base em imagens de múltiplos pontos de vista capturadas por uma pluralidade de dispositivos de captura de imagem foi descrita. Contudo, a presente invenção não se limita a mesma. Isto é, por exemplo, mesmo se um marcador for adicionado a uma imagem do ponto de vista virtual gerada com base em um espaço virtual tridimensional, isto é, totalmente criado de modo artificial em um computador, o marcador pode ser convertido em um objeto tridimensional no espaço virtual. Além disso, na modalidade descrita acima, um exemplo em que um objeto marcador associado a um código de tempo que corresponde a uma imagem do ponto de vista virtual com um marcador é gerado e armazenado foi descrito. Contudo, o código de tempo não precisa sempre estar associado ao objeto marcador. Por exemplo, se a imagem do ponto de vista virtual for uma imagem parada, ou se a imagem do ponto de vista virtual for usada com o propósito apenas de adicionar temporariamente um marcador em uma conferência ou similar, o objeto marcador pode ser exibido ou apagado, por exemplo, por uma operação de usuário independentemente do código de tempo. Além disso, pelo menos alguns dos aparelhos de processamento de imagem usados, por exemplo, em um sistema de conferência ou similar não precisa ter a capacidade para designar um ponto de vista virtual. Isto é, após um marcador ser adicionada a uma imagem do ponto de vista virtual, apenas um usuário específico tal como o facilitador de uma conferência precisa ter capacidade para designar um ponto de vista virtual. Aparelhos de processamento de imagem mantidos pelos outros usuários não precisam aceitar a operação do ponto de vista virtual. Nesse caso também, visto que um objeto marcador é renderizado de acordo com o ponto de vista virtual designado pelo usuário específico, é possível impedir que a relação entre o marcador e o objeto capturado da imagem do ponto de vista virtual de torne inconsistente.

[Outras modalidades]

[0080] Na modalidade descrita acima, um exemplo em que um objeto marcador é exibido como informações adicionais exibidas em uma imagem do ponto de vista virtual foi descrito. Contudo, as informações adicionais exibidas na imagem do ponto de vista virtual não se limitam a essas. Por exemplo, pelo menos um dentre um marcador, um ícone, um avatar, uma ilustração e similar designado pelo usuário pode ser exibido como informações adicionais na imagem do ponto de vista virtual. Uma pluralidade de informações adicionais pode ser preparadas previamente, e uma arbitrária dentre essas pode ser selecionada pelo usuário e disposta na imagem do ponto de vista virtual. O usuário pode ter capacidade para arrastar um ícone ou similar no visor do painel sensível ao toque e dispor o mesmo em uma posição arbitrária. As informações adicionais dispostas tal como um ícone são convertidas em dados tridimensionais pelo mesmo método que na modalidade descrita acima. Observa-se que o método não se limita a esse, e informações adicionais de dados bidimensionais e informações adicionais de dados tridimensionais podem ser associadas previamente, e no momento de dispor informações adicionais de dados bidimensionais, as informações adicionais podem ser convertidas em informações adicionais dos dados tridimensionais correspondentes. Conforme descrito acima, a presente modalidade pode ser aplicada a um case em que vários tipos de informações adicionais são dispostas em uma imagem do ponto de vista virtual.

[0081] Além disso, na modalidade descrita acima, informações adicionais (objeto marcador) são convertidas em dados tridimensionais. Os dados tridimensionais nesse momento não precisam sempre ser dados que representam um formato tridimensional. Isto é, dados tridimensionais são dados que têm uma posição tridimensional pelo menos em um espaço virtual, e o formato das informações adicionais pode ser um plano, uma linha ou um ponto.

[0082] Adicionalmente, toda as funções na modalidade acima não precisam ser fornecidas, e a modalidade pode ser executada combinando-se funções arbitrárias.

[0083] A modalidade (ou modalidades) da presente revelação pode também ser realizada por um computador de um sistema ou aparelho que lê e executa instruções executáveis por computador (por exemplo, um ou mais programas) gravadas em um suporte de armazenamento (que também pode ser denominada como um “suporte de armazenamento legível por computador não transitório”) para realizar as funções de um ou mais dentre a modalidade (ou modalidades) descrita acima e/ou que inclui um ou mais circuitos (por exemplo, circuito integrado de aplicação específica (ASIC)) para realizar as funções de uma ou mais modalidades descritas acima, e por um método realizado pelo computador do sistema ou aparelho, por exemplo, que lê e executa as instruções executáveis por computador a partir do suporte de armazenamento para realizar as funções de uma ou mais modalidades descritas acima e/ou controlar o um ou mais circuitos para realizar as funções de uma ou mais modalidades descritas acima. O computador pode compreender um ou mais processadores (por exemplo, unidade de processamento central (CPU), unidade de microprocessamento (MPU)) e pode incluir uma rede de computadores separados ou processadores separados para ler e executar as instruções executáveis por computador. As instruções executáveis por computador podem ser fornecidas ao computador, por exemplo, a partir de uma rede ou suporte de armazenamento. O suporte de armazenamento pode incluir, por exemplo, um ou mais dentre um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), um armazenamento de sistemas de computação distribuído, um disco óptico (tal como um disco compacto (CD), disco versátil digital (DVD), ou disco Blu-ray (BD)™), um dispositivo de memória flash, um cartão de memória e similares.

[0084] Embora a presente revelação tenha sido descrita com referência às modalidades exemplificativas, deve ser compreendido que a revelação não se limita às modalidades exemplificativas reveladas. O escopo das reivindicações a seguir deve ser compreendido com a interpretação mais ampla de modo a englobar todas as modificações e estruturas e funções equivalentes.

Claims

Aparelho de processamento de imagem caracterizado pelo fato de que compreende:
obter meios para obter entrada de informações adicionais a uma imagem do ponto de vista virtual bidimensional com base em um ponto de vista virtual e um espaço virtual tridimensional;
meio de conversão para converter as informações adicionais inseridas em um objeto disposto em uma posição tridimensional no espaço virtual; e
meio de controle de exibição para exibir, em meio de exibição, a imagem do ponto de vista virtual com base no espaço virtual em que o objeto é disposto na posição tridimensional.
Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que
o meio de conversão realiza a conversão de modo que o objeto seja gerado em um plano predeterminado no espaço virtual.
Aparelho, de acordo com a reivindicação 2, caracterizado pelo fato de que
o meio de conversão realiza a conversão de modo que um ponto do objeto que corresponde a um ponto em que as informações adicionais são inseridas seja gerado em uma interseção, com relação ao plano predeterminado, de uma linha que atravessa um ponto de vista virtual que corresponde à imagem do ponto de vista virtual quando as informações adicionais são inseridas e o ponto onde as informações adicionais são inseridas.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que
o meio de controle de exibição exibe a imagem do ponto de vista virtual que não inclui o objeto em um caso em que o objeto convertido pelo meio de conversão não existe em uma faixa de um campo de vista com base no ponto de vista virtual, e exibe a imagem do ponto de vista virtual incluindo o objeto em um caso em que o objeto convertido pelo meio de conversão existe na faixa.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que
um código de tempo que corresponde à imagem do ponto de vista virtual quando as informações adicionais são inseridas é associado ao objeto, e
em um caso em que a imagem do ponto de vista virtual que corresponde ao código de tempo associado ao objeto é exibida, o meio de controle de exibição exibe a imagem do ponto de vista virtual com base no espaço virtual em que o objeto é disposto.
Aparelho, de acordo com a reivindicação 5, caracterizado pelo fato de que compreende adicionalmente
meio de controle de armazenamento para armazenar, em meios de armazenamento, o código de tempo e o objeto em associação um com o outro.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que
o meio de controle de exibição exibe a imagem do ponto de vista virtual com base no espaço virtual em que outro objeto com base em outras informações adicionais inseridas por outro aparelho de processamento de imagem é disposto em uma posição tridimensional.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que
o meio de obtenção obtém informações que representam o ponto de vista virtual designado por um usuário.
Aparelho, de acordo com a reivindicação 8, caracterizado pelo fato de que
as informações que representam o ponto de vista virtual incluem informações que representam uma posição do ponto de vista virtual e uma direção de linha de visão a partir do ponto de vista virtual.
Aparelho, de acordo com qualquer uma das reivindicações 8 ou 9, caracterizado pelo fato de que
em um caso em que uma primeira operação é realizada pelo usuário, o meio de obtenção obtém a entrada das informações adicionais que correspondem à primeira operação, e em um caso em que uma segunda operação diferente da primeira operação é realizada pelo usuário, o meio de obtenção obtém informações que representam o ponto de vista virtual designado de acordo com a segunda operação.
Aparelho, de acordo com a reivindicação 10, caracterizado pelo fato de que
a primeira operação e a segunda operação são operações em um painel sensível ao toque, sendo que a primeira operação é uma operação através de um dedo do usuário sobre o painel sensível ao toque e a segunda operação é uma operação através de um dispositivo de renderização.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 11, caracterizado pelo fato de que
o meio de controle de exibição controla para que a exibição do objeto seja em uma cor clara se uma diferença entre um código de tempo que corresponde à imagem do ponto de vista virtual, á qual as informações adicionais são inseridas, e um código de tempo da imagem do ponto de vista virtual a ser exibida for grande.
Aparelho, de acordo com a reivindicação 12, caracterizado pelo fato de que
o meio de controle de exibição controla para que a exibição do objeto seja em uma cor clara alterando-se pelo menos um dentre um grau de transparência, brilho, saturação de cor e cromaticidade do objeto.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado pelo fato de que compreende adicionalmente meios de especificação para especificar um modelo tridimensional de um objeto específico que corresponde a uma posição em que as informações adicionais são adicionadas na imagem do ponto de vista virtual,
em que o meio de controle de exibição exibe, em uma posição tridimensional que corresponde ao modelo tridimensional do objeto específico no espaço virtual, a imagem do ponto de vista virtual em que o objeto que corresponde às informações adicionais é disposto.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que
as informações adicionais incluem pelo menos um dentre um marcador, um ícone, um avatar e uma ilustração.
Aparelho, de acordo com qualquer uma das reivindicações 1 a 15, caracterizado pelo fato de que
a imagem do ponto de vista virtual é gerada com base em imagens de múltiplos pontos de vista obtidas através da captura de imagem de uma pluralidade de dispositivos de captura de imagem.
Método de processamento de imagem executado por um aparelho de processamento de imagem caracterizado pelo fato de que compreende:
obter entrada de informações adicionais a uma imagem do ponto de vista virtual bidimensional com base em um ponto de vista virtual e um espaço virtual tridimensional;
converter as informações adicionais inseridas em um objeto disposto em uma posição tridimensional no espaço virtual; e
exibir, em meio de exibição, a imagem do ponto de vista virtual com base no espaço virtual em que o objeto é disposto na posição tridimensional.
Suporte de armazenamento legível por computador caracterizada pelo fato de que armazena um programa para fazer com que um computador funcione como um aparelho de processamento de imagem, conforme definido em qualquer uma das reivindicações 1 a 16.