BR102022015085A2

BR102022015085A2 - Aparelho de processamento de imagem, método de processamento de imagem e meio de armazenamento

Info

Publication number: BR102022015085A2
Application number: BR102022015085-0A
Authority: BR
Inventors: Kazufumi Onuma
Original assignee: Canon Kabushiki Kaisha
Priority date: 2021-08-30
Filing date: 2022-07-29
Publication date: 2023-03-07
Also published as: CN115733936A; JP2023033975A; JP7500512B2; KR20230032893A; EP4140552A1; US20230062973A1

Abstract

Trata-se de tornar possível obter uma imagem natural na qual um objeto em primeiro plano incluído em uma imagem bidimensional e um objeto em segundo plano incluído em um espaço de computação gráfica tridimensional estejam em harmonia, uns com os outros. São obtidos uma imagem bidimensional, correspondente a um ponto de vista específico, que inclui um objeto em primeiro plano, um parâmetro que especifica uma condição no tempo de obter a imagem bidimensional e dados de posição e formato que representam uma posição tridimensional e um formato do objeto em primeiro plano incluído na imagem bidimensional. Então, uma imagem que inclui o objeto em primeiro plano e um objeto em segundo plano é gerada dispondo-se uma tela com base nos dados de posição e formato em um espaço de computação gráfica que inclui o objeto em segundo plano e projetar a imagem do objeto em primeiro plano incluído na imagem bidimensional.

Description

APARELHO DE PROCESSAMENTO DE IMAGEM, MÉTODO DE PROCESSAMENTO DE IMAGEM E MEIO DE ARMAZENAMENTO

ANTECEDENTES Campo

[0001] A presente revelação refere-se a uma técnica de processamento de imagem para compor uma computação gráfica de imagem bidimensional e tridimensional.

DESCRIÇÃO DA TÉCNICA RELACIONADA

[0002] Existe uma plataforma de criação de jogos, chamada motor de jogo, que renderiza computação gráfica tridimensional (3DCG) em tempo real. Recentemente, a técnica, para obter uma alta qualidade de imagem do motor de jogo, tem sido aprimorada e se tornou possível produzir uma representação em tempo real por uma imagem compósita realística (consulte a Patente Aberta N° JP 2018-074294). Em resposta a isso, também no campo de produção de imagem, a produção de 3DCG com o uso de um motor de jogo tem sido usada. Como um dos métodos de utilização, a produção de 3DCG é usada em um estúdio (chamado geralmente de um “estúdio virtual”) no qual uma imagem obtida compondo-se em tempo real uma imagem bidimensional em movimento (imagem 2D) capturada em um estúdio de fundo verde e uma 3DCG é gerado e distribuído.

[0003] Na composição de uma imagem 2D e uma 3DCG, uma tela é fornecida em uma posição predeterminada no espaço de 3DCG e uma imagem é obtida projetando-se sequencialmente imagens de um objeto capturadas por uma câmera na tela e realizando a renderização. Devido a isso, no caso em que a câmera (ponto de vista) é movida consideravelmente durante a captura de imagem ou o objeto se move consideravelmente, a comutação na posição com relação à tela, a inconsistência na relação posicional na direção de profundidade com o segundo plano criado por CG, ou similares, ocorre e uma imagem não natural é obtida às vezes.

SUMÁRIO

[0004] O aparelho de processamento de imagem inclui: uma unidade de obtenção configurada para obter uma imagem bidimensional, correspondente a um ponto de vista específico, que inclui um objeto em primeiro plano, um parâmetro que especifica uma condição no tempo de obter imagem bidimensional, e dados de posição e formato que representam a posição tridimensional e um formato do objeto em primeiro plano incluído na imagem bidimensional; e uma unidade de geração configurada para gerar uma imagem que inclui o objeto em primeiro plano e um objeto em segundo plano dispondo-se uma tela com base nos dados de posição e formato em um espaço de computação gráfica que inclui o objeto em segundo plano e projetar a imagem do objeto em primeiro plano incluída na imagem bidimensional na tela com base no parâmetro.

[0005] Os recursos adicionais da presente revelação se tornarão mais evidentes a partir da descrição de modalidades exemplificativas a seguir com referência aos desenhos anexos.

BREVE DESCRIÇÃO DOS DESENHOS

[0006] A Figura 1 é um diagrama que mostra um exemplo de uma configuração de um sistema de processamento de imagem para gerar uma imagem de ponto de vista virtual;

[0007] A Figura 2 é um diagrama que mostra um exemplo de uma configuração de hardware de um aparelho de processamento de imagem;

[0008] A Figura 3 é um diagrama que mostra um exemplo de uma configuração interna do aparelho de processamento de imagem, de acordo com uma primeira modalidade;

[0009] A Figura 4 é um fluxograma que mostra um fluxo de processamento em uma unidade de composição;

[0010] A Figura 5A é um diagrama que mostra um exemplo de um espaço de 3DCG no qual modelos de segundo plano são dispostos e a Figura 5B é um diagrama que mostra um estado em que telas e pseudo sombras são formadas dentro do espaço de 3DCG no qual os modelos em segundo plano são dispostos;

[0011] A Figura 6A é um diagrama que explica o processamento de cromaqui e a Figura 6B é um diagrama que mostra um estado em que imagens recortadas são projetadas nas telas geradas no espaço de 3DCG;

[0012] A Figura 7 é um diagrama que mostra o exemplo de uma imagem compósita;

[0013] A Figura 8A é um diagrama que mostra um exemplo em que uma câmera se move consideravelmente e a Figura 8B é um diagrama que mostra um estado em que imagens recortadas são projetadas nas telas geradas no espaço de 3DCG;

[0014] A Figura 9A é um diagrama que mostra um exemplo no qual um ponto de vista de projeção e a ponto de vista de renderização não correspondem com um ponto de vista de captura de imagem e a Figura 9B é um diagrama que mostra um exemplo de um caso em que o tamanho dos objetos em primeiro plano é aumentado;

[0015] A Figura 10A é um diagrama que mostra um exemplo de uma imagem de máscara das telas e a Figura 10B é um diagrama que mostra um exemplo de imagens recortadas obtidas a partir da imagem de máscara;

[0016] A Figura 11A é um diagrama que mostra um exemplo de uma imagem de renderização, de acordo com um exemplo de modificação e a Figura 11B é um diagrama que mostra um exemplo de uma imagem compósita, de acordo com o exemplo de modificação;

[0017] A Figura 12 é um diagrama que mostra um exemplo de uma configuração interna de um sistema de geração de imagem de ponto de vista virtual, de acordo com uma segunda modalidade; e

[0018] A Figura 13 é um diagrama que mostra um exemplo de uma imagem compósita.

DESCRIÇÃO DAS MODALIDADES

[0019] Doravante no presente documento, com referência aos desenhos em anexo, a presente revelação é explicada em detalhes, de acordo com as modalidades preferenciais. As configurações mostradas nas seguintes modalidades são meramente exemplificativas e a presente revelação não se limita às configurações mostradas esquematicamente.

PRIMEIRA MODALIDADE Configuração de sistema

[0020] A Figura 1 é um diagrama que mostra um exemplo da configuração de um sistema de processamento de imagem para gerar uma imagem de ponto de vista virtual, de acordo com a presente modalidade. Um sistema de processamento de imagem 100 tem um dispositivo de imageamento (câmera) 110, um dispositivo de medição 120, um aparelho de processamento de imagem 130 e um dispositivo de exibição 140. No sistema de processamento de imagem 100, uma imagem capturada pela câmera 110 é composta com uma computação gráfica tridimensional no aparelho de processamento de imagem 130 e exibida no dispositivo de exibição 140.

[0021] Por exemplo, a câmera 110 captura um objeto (a seguir, chamado de "objeto em primeiro plano"), tal como um equipamento de alto desempenho que é de alta prioridade, continuamente em termos de tempo em um estúdio de traseira verde ou traseira azul no qual é possível realizar a captura de imagem de cromaqui e emite as imagens capturadas obtidas (imagem em movimento). A câmera 110 é implementada por, por exemplo, uma câmera de vídeo digital que compreende uma interface de sinal de imagem representada pela interface serial digital (SDI). A câmera 110 transmite o sinal de imagem a ser emitido ao aparelho de processamento de imagem 130 após fixar informações de tempo representadas por um código de tempo ao mesmo. Nesse tempo, os parâmetros de captura de imagem também são transmitidos, nos quais especificam a posição tridimensional (x, y, z), a orientação (girar, inclinar, rolar), o ângulo de visualização, a distorção de lente, o comprimento focal, a resolução e similares, da câmera. Os parâmetros de captura de imagem são calculados em avanço realizando-se a calibração de câmera conhecida publicamente e armazenada em uma memória ou similares. Por exemplo, é possível obter a posição tridimensional e orientação da câmera instalando-se marcadores na câmera 110 e detectando-se marcadores por uma pluralidade de sensores ópticos dispostos no espaço de captura de imagem. Adicionalmente, em um caso em que a câmera 110 é fixada a um guindaste, um braço robótico ou similares, também pode ser possível encontrar a posição e orientação da câmera 110 com base na posição e orientação do guindaste ou do braço robótico.

[0022] Ο dispositivo de medição 120 mede a posição do objeto em primeiro plano existente no espaço de captura de imagem real, tal como um estúdio e um formato bruto do mesmo. O dispositivo de medição 120 da presente modalidade tem uma função de captura de imagem e mede a posição e formato bruto do mesmo analisando-se uma pluralidade de imagens obtidas capturando-se o objeto em primeiro plano de uma pluralidade de direções. Por exemplo, com o uso de duas câmeras, a posição, orientação, e similares, de uma pessoa, ou similares, são detectadas em tempo real sem usar marcadores. Devido a isso, os dados (a seguir, chamados de "dados de posição e formato") que indicam a posição e formato bruto do objeto em primeiro plano no espaço de captura de imagem são gerados e emitidos. Na presente modalidade, é presumido que os dados de posição e formato que descrevem a posição tridimensional (x, y, z) de cada vértice de um paralelepípedo retangular que circunscreve o objeto em primeiro plano e o comprimento de cada lado do paralelepípedo retangular são gerados e emitidos. Entretanto, a configuração do dispositivo de medição 120 não se limita ao exemplo descrito anteriormente e um sistema de posicionamento local com o uso de um a LAN sem fio ou Bluetooth pode ser aceito. Adicionalmente, também pode ser possível detectar uma posição tridimensional com o uso do GPS fixando-se um sensor a uma pessoa ou similares. Nesse caso, é suficiente gerar dados de posição e formato adicionando-se informações no tamanho bruto de uma pessoa ou similares, o que é investigado em avanço. O formato de objeto nesse tempo pode ser um simples e um poliedro que circunscreve o objeto pode ser aceito.

[0023] O aparelho de processamento de imagem 130 gera uma imagem compósita na qual o objeto em primeiro plano aparenta existir no espaço de 3DCG projetando-se a imagem do objeto em primeiro plano obtida pela câmera 110 no espaço de 3DCG e realizando a renderização da imagem do mesmo ponto de vista como o mesmo do tempo de captura de imagem. Os detalhes da função do aparelho de processamento de imagem 130 serão descritos posteriormente.

[0024] O dispositivo de exibição 140 é, por exemplo, um exibidor de cristal líquido ou similares e obtém e exibe dados de imagem (dados de tela de UI para interface gráfica de usuário e dados de imagem compósita) que são enviados do aparelho de processamento de imagem 130.

[0025] Na presente modalidade, a uma câmera 110 é suposta, mas a configuração pode ser uma na qual, por exemplo, uma pluralidade das câmeras 110 é usada. Por exemplo, também pode ser possível ter o mesmo número de aparelhos de processamento de imagem 130 que o número de câmeras 110 e comutar a imagem compósita obtida por cada sistema a outro por um dispositivo, tal como um comutador e emitir a imagem compósita. Alternativamente, também pode ser possível comutar a imagem capturada que é usada para a composição com o 3DCG para outra dentre as imagens capturadas inseridas de cada uma da pluralidade das câmeras 110 e processar a imagem capturada dentro do aparelho de processamento de imagem 130. Sobre a configuração de hardware

[0026] A Figura 2 é um diagrama que mostra um exemplo da configuração de hardware do aparelho de processamento de imagem 130. O aparelho de processamento de imagem 130, que é um aparelho de processamento de informações, tem uma CPU 211, uma ROM 212, uma RAM 213, um dispositivo de armazenamento auxiliar 214, uma unidade de operação 215, um l/F de comunicação 216 e um barramento 217.

[0027] A CPU 211 implementa cada função do aparelho de processamento de imagem 130 controlando-se todo o aparelho de processamento de imagem 130 com o uso de programas de computador e dados armazenados na ROM 212 ou na RAM 213. Também pode ser possível para o aparelho de processamento de imagem 130 ter uma peça de hardware dedicada ou uma pluralidade de peças de hardware dedicadas diferentes da CPU 211 ou uma GPU (Unidade de Processamento de Gráficos). Então, também pode ser possível para a GPU ou o hardware dedicado realizar pelo menos parte do processamento que é realizado pela CPU 211. Como exemplos do hardware dedicado, há um ASIC (Circuito Integrado de Aplicação Específica), um FPGA (Arranjo de Porta de Comunicação Programável de Campo), um DSP (Processador de Sinal Digital) e similares.

[0028] A ROM 212 armazena programas e similares que não precisam ser comutados. A RAM 213 armazena temporariamente programas e dados que são fornecidos do dispositivo de armazenamento auxiliar 214, dados que são fornecidos de fora por meio da l/F de comunicação 216 e similares. O dispositivo de armazenamento auxiliar 214 inclui, por exemplo, uma unidade de disco rígido e similares e armazena vários tipos de dados, tais como dados de imagem e dados de voz.

[0029] A unidade de operação 215 inclui, por exemplo, um teclado, um mouse e similares e emite várias instruções ao CPU 2111 após a recepção de uma operação de usuário. A CPU 211 opera conforme a unidade de controle de exibição configurada para controlar o dispositivo de exibição 104 e a unidade de controle de operação configurada para controlar a unidade de operação 215. A l/F de comunicação 216 é usada para a comunicação do aparelho de processamento de imagem 130 com um dispositivo externo. Por exemplo, em um caso em que o aparelho de processamento de imagem 130 é conectado com um dispositivo externo por meio de um fio, um cabo de comunicação é conectado ao l/F de comunicação 216. Em um caso em que o aparelho de processamento de imagem 130 tem uma função para se comunicar sem fio com um dispositivo externo, o l/F de comunicação 216 compreende uma antena.

[0030] O barramento 217 conecta cada unidade do aparelho de processamento de imagem 130 e transmite informações. Na presente modalidade, o dispositivo de imageamento 110, o dispositivo de medição 120 e o dispositivo de exibição 140 são fornecidos como dispositivos externos, mas também pode ser possível fornecer cada um na forma que existe internamente como uma das unidades de função do aparelho de processamento de imagem 130.

Configuração interna do aparelho de processamento de imagem

[0031] A Figura 3 é um diagrama que mostra um exemplo da configuração interna do aparelho de processamento de imagem 130 que compõe a imagem capturada do objeto em primeiro plano, que é obtido pela câmera 110, com o 3DCG. O aparelho de processamento de imagem 130 tem, cada um, uma unidade de função, isto é, uma unidade de obtenção de dados 301, uma unidade de sincronização 302, uma unidade de composição 303 e uma unidade de saída de dados 308. Então, a unidade de composição 303 tem uma unidade de armazenamento em segundo plano 304, uma unidade de pré-processamento 305, uma unidade de projeção 306 e uma unidade de renderização 307. Também pode ser possível constituir o aparelho de processamento de imagem 130 por uma pluralidade de dispositivos eletrônicos. A seguir, cada unidade de função é explicada.

[0032] A unidade de obtenção de dados 301 recebe e obtém os dados de imagem capturada do objeto em primeiro plano da câmera 110 em conjunto com o parâmetro de captura de imagem. Adicionalmente, a unidade de obtenção de dados 301 obtém os dados de posição e formato do objeto em primeiro plano do dispositivo de medição 120. Os dados obtidos pela unidade de obtenção de dados 301 são inseridos á unidade de sincronização 302. É desejável, mas não obrigatório que os dados de imagem capturada e os dados de posição e formato sejam obtidos com temporização sincronizada, uns com os outros. Em um caso em que o período de obtenção (período de amostragem) é diferente entre ambos os dados, por exemplo, também pode ser desejável gerar separadamente dados de posição e formato sincronizados com os dados de imagem capturada com base na quantidade de variação dos dados obtidos. O parâmetro de captura de imagem pode ser transmitido (ou recebido) na mesma temporização que o mesmo dos dados de imagem capturada ou pode ser transmitido (ou recebido) em uma temporização diferente. Adicionalmente, o parâmetro de captura de imagem pode ser transmitido (ou recebido) no tempo de ser alterado. Nesse caso, é possível reduzir a quantidade de dados que são transmitidos (ou recebidos). A frequência, o período e a taxa de quadros da transmissão (ou recepção) do parâmetro de captura de imagem pode ser menor que a frequência, o período e a taxa de quadros da transmissão (ou recepção) dos dados de imagem capturada.

[0033] A unidade de sincronização 210 realiza um ajuste do tempo de atraso entre dados devido à diferença na temporização da geração, transmissão e obtenção de cada um dos dados de entrada. Especificamente, um armazenamento de comprimento variável é fornecido para cada um dos dados e cada um dos dados sincronizados por meio do armazenamento são emitidos à unidade de composição 303. No tempo de estabelecer a sincronização entre os dados, o tempo de atraso é ajustado de modo que ο tempo de emissão seja igual entre os dados com o uso das informações de tempo fixadas a cada um dos dados e comutando-se o número de estágios de armazenamento dos outros dados, de acordo com os dados cuja entrada é a mais recente.

[0034] A unidade de composição 303 gera uma imagem compósita na qual o objeto em primeiro plano aparenta existir no espaço de 3DCG projetando-se a imagem do objeto em primeiro plano no espaço de 3DCG com base nos dados de imagem capturada e nos dados de posição e formato do objeto em primeiro plano. Os detalhes da unidade de composição 303 serão descritos posteriormente.

[0035] A unidade de saída de dados 308 emite os dados da imagem compósita gerados pela unidade de composição 303 ao dispositivo externo, tal como o dispositivo de exibição 140.

[0036] O anterior é a configuração de função do aparelho de processamento de imagem, de acordo com a presente modalidade. Na presente modalidade, a sincronização entre os três dos dados, isto é, os dados de imagem capturada, o parâmetro de captura de imagem e os dados de posição e formato são ajustados por uma unidade de sincronização 302, mas a configuração não se limita à configuração, tal como a mesma. Por exemplo, a configuração pode ser uma na qual cada um do dispositivo de imageamento 110 e o dispositivo de medição 120 é causado por ter um armazenamento interno e dados são transmitidos ao aparelho de processamento de imagem 130 na mesma temporização.

Detalhes da unidade de composição

[0037] Conforme mostrado na Figura 3, a unidade de composição 303 tem a unidade de armazenamento em segundo plano 304, a unidade de pré-processamento 305, a unidade de projeção 306 e a unidade de renderização 307. Com referência ao fluxograma na Figura 4, os detalhes da função da unidade de composição 303 são explicados. A série de processamento mostrada no fluxograma na Figura 4 é implementada pelo CPU 211 que lê o programa de controle armazenado na ROM 212, o dispositivo de armazenamento auxiliar 214 ou similares, que carregam o programa na RAM 213 e executam o programa. Na seguinte explicação, o símbolo "S" significa uma etapa.

[0038] Em um caso em que cada um dos dados descritos anteriormente é inserido na unidade de composição 303 da unidade de sincronização 302, primeiramente, em S401, a unidade de renderização 307 lê os dados de CG do objeto em segundo plano da unidade de armazenamento em segundo plano 304 e dispõe o objeto em segundo plano pelo CG no espaço de 3DCG. Aqui, os dados de CG armazenados na unidade de armazenamento em segundo plano 304 são dados que indicam o formato tridimensional e a textura (cor, aparência material e similares) de cada objeto, que é o antecedente diferente do objeto em primeiro plano disposto no espaço de 3DCG, tais como pilares e conectores. Os dados de CG podem ter informações de posição tridimensional no espaço de 3DCG. Adicionalmente, os dados de CG podem ter informações de posição tridimensional no espaço real. A Figura 5A ê um diagrama que mostra um exemplo do espaço de 3DCG cujos objetos em segundo plano de CG são dispostos e, nesse exemplo, quatro objetos em segundo plano 501a a 501d indicados por paralelepípedos retangulares de linha sólida são dispostos no espaço de 3DCG. É presumido que na dita posição dentro do espaço de 3DCG, o objeto em segundo plano é disposto e determinado em avanço para cada objeto em segundo plano. Cada peça de processamento no S402 a S407 subsequente ê realizada para cada quadro dos dados de entrada de imagem capturada.

[0039] No próximo S402, a unidade de pré-processamento 305 dispõe uma tela na qual a imagem do objeto em primeiro plano no quadro de alvo de processamento é projetada dentro do espaço de 3DCG com base nos dados de posição e formato que são inseridos da unidade de sincronização 302. Adicionalmente, a unidade de pré-processamento 305 forma uma pseudo sombra do objeto em primeiro plano dentro do espaço de 3DCG. A Figura 5B mostra um estado em que três telas 502a a 502c indicadas por linhas rompidas são dispostas e, adicionalmente, as pseudo sombras 503a a 503c indicadas por hachura são formados dentro do espaço de 3DCG mostrado na Figura 5A descrita anteriormente. Na presente modalidade, como tela, uma caixa delimitadora transparente correspondente ao paralelepípedo retangular que circunscreve o objeto em primeiro plano é disposta no espaço de 3DCG. A razão da tela ser representada por um paralelepípedo retangular é de que o paralelepípedo retangular é o sólido mais simples que circunda o objeto em primeiro plano formatado tridimensional. Em um caso em que a tela é disposta como um plano bidimensional, é possível realizar uma projeção da superfície frontal sem nenhum problema, mas, em um caso em que a projeção é realizada da superfície de lado ou da superfície de topo, nenhum plano é formado e, portanto, uma imagem projetada apropriada não é obtida. Devido a isso, na presente modalidade, a tela é disposta como um paralelepípedo retangular. Embora seja possível definir a tela como uma “superfície que sempre se volta ao ponto de vista no tempo de projeção", em um caso em que, por exemplo, o objeto em primeiro plano é um formato complicado como uma pessoa, a área da mesma se comuta consideravelmente dependendo da direção de visualização e, portanto, é necessário realizar um cálculo a cada vez. Por outro lado, em um caso em que a tela é um paralelepípedo retangular, considerando-se o valor máximo e o valor mínimo das coordenadas (x, y, z) que indicam a posição tridimensional de cada ponto do paralelepípedo retangular, a imagem projetada do objeto em primeiro plano está incluída na mesma sem exceção e, portanto, não é mais necessário realizar o cálculo a cada vez. Adicionalmente, o paralelepípedo retangular também tem a vantagem de ser capaz de suprimir os dados quantidade e, portanto, reduzir a carga do processamento, tal como a transmissão. A razão da tela ser feita transparente é impedir que um usuário reconheça visualmente a tela na imagem compósita. Para uma razão tal como essa, na presente modalidade, uma caixa delimitadora transparente é implantada na tela. Assim, a fim de fazer com que a imagem do objeto em primeiro plano projetado aparente estar em toque com o solo, a representação de sombra é importante, mas os dados de posição e formato da presente modalidade não incluem informações no formato e orientação detalhado do objeto em primeiro plano e, portanto, é difícil representar uma sombra precisa com base na fonte de luz. Consequentemente, a sensação de estar em toque com o solo é aprimorada desenhando-se uma pseudo sombra em um formato simplificado. Especificamente, uma elipse preta ou cinza translúcida correspondente ao formato bruto e tamanho indicado pelos dados de posição e formato é desenhada nas proximidades da superfície de fundo da caixa delimitadora como a tela. Devido a isso, uma pseudo sombra é exibida de tal maneira que a sombra é intertravada com o movimento do objeto em primeiro plano e, portanto, uma imagem compósita natural cujo objeto em primeiro plano aparenta estar em toque com o solo no espaço de 3DCG é obtida. É desejável formar a pseudo sombra tal como essa com base na fonte de luz na proximidade da superfície de fundo ad caixa delimitadora como a tela, de modo que a sombra seja impedida de se tornar não natural, por exemplo, tal como a sombra que se estende em direção à fonte de luz. Dependendo da posição da fonte de luz virtual, a pseudo sombra pode ser formada fora da caixa delimitadora. Por exemplo, isso é um caso em que a luz é emitida do lado do objeto em segundo plano 501d em direção ao lado do objeto em segundo plano 501a. Adicionalmente, a pseudo sombra pode ser formada para o objeto em segundo plano.

[0040] No próximo S403, a unidade de projeção 306 estabelece condições (parâmetros de projeção) no tempo de projetar a imagem do objeto em primeiro plano na tela descrita anteriormente com base nos parâmetros de captura de imagem do quadro de alvo de processamento. Especificamente, o estabelecimento é realizado ajustando-se o ponto de vista, a orientação, o ângulo de visualização e similares, no tempo de realizar a projeção ás condições no tempo do quadro de alvo de processamento sendo capturado, de modo que ambas as condições se correspondam, umas com as outras.

[0041] Então, em S404, a unidade de projeção 306 projeta a imagem do quadro de alvo de processamento na tela gerada em S402. Nesse tempo, na tela, a imagem parcial (imagem recortada) é projetada, que é obtida cortando-se apenas a área de imagem correspondente ao objeto em primeiro plano obtido realizando-se o processamento de cromaqui para a imagem do quadro de alvo de processamento. A Figura 6A é um diagrama que explica o processamento de cromaqui. No exemplo na Figura 6A, três imagens recortadas correspondente a pessoas 601 a 603, respectivamente, são extraídas de um quadro de alvo de processamento 600. A Figura 6B mostra o estado em que cada imagem recortada correspondente é projetada em cada tela (consulte a Figura 5B) gerada no espaço de 3DCG. Conforme descrito anteriormente, o processamento para tornar a tela transparente foi realizado e, portanto, é improvável que a margem da tela após a imagem recortada ser projetada é reconhecida visualmente por um usuário.

[0042] No próximo S405, a unidade de renderização 307 estabelece condições (parâmetros de renderização) no tempo de realizar a renderização considerando-se o espaço de 3DCG no qual a imagem recortada foi projetada como um alvo com base nos parâmetros de captura de imagem do quadro de alvo de processamento. Na Figura 6B descrita anteriormente, uma marca de ponto de vista 610 indica o ponto de vista de renderização que é estabelecido de acordo com o ponto de vista de captura de imagem da câmera 110. Isto é, o ponto de vista de renderização é estabelecido de modo que a posição, a orientação, o ângulo de visualização e similares do mesmo se corresponda com os mesmos da câmera 110 no tempo de captura de imagem do quadro de alvo de processamento.

[0043] Então, em S406, a unidade de renderização 307 realiza um processamento de renderização que considera o espaço de 3DCG como um alvo, que, no estado em que a imagem recortada do objeto em primeiro plano foi projetada na tela transparente, de acordo com os parâmetros de renderização que são estabelecidos em S405. No processamento de renderização, o processamento para implantar o valor de cor (valor de pixel) mais próximo ao ponto de vista de renderização é realizado para cada pixel com base na distância do ponto de vista estabelecido de renderização a cada objeto. Por exemplo, o processamento para determinar sequencialmente o valor do pixel que constitui a imagem compósita é realizado gerando-se primeiramente uma imagem de profundidade que indica a distância do ponto de vista de renderização a cada objeto das informações sobre as posições tridimensionais do objeto em primeiro plano e do objeto em segundo plano, que foram feitas claras e pela referência ao mesmo. Devido a isso, uma imagem compósita 700, conforme mostrada na Figura 7 é obtida, na qual a relação de proteção dentre os objetos é refletida, por exemplo, tal como a mesma do objeto em segundo plano localizada na frente do objeto em primeiro plano é exibida na frente do objeto em primeiro plano no espaço de 3DCG. Dessa maneira, uma imagem compósita natural é obtida na qual o objeto em primeiro plano existente no espaço tridimensional real (espaço de captura de imagem) aparenta existir no espaço de 3DCG.

[0044] Em S407, é determinado quando as instruções para parar a geração de imagem são dadas. Até que as instruções para parar a geração de imagem sejam dadas, o processamento retorna a S402 e o quadro de alvo de processamento de entrada é continuado a ser processado um por um.

[0045] Anteriormente são os conteúdos do processamento na unidade de composição 303. Devido à configuração de função descrita anteriormente, é possível para a unidade de composição 303 compor a imagem do objeto em primeiro plano, que é capturada pela câmera 110, com o 3DCG com uma precisão alta, ao seguir o movimento do objeto em primeiro plano e da câmera 110. Por exemplo, é presumido que a câmera 110 se move consideravelmente na direção obliquamente para trás dos equipamentos de alto desempenho, conforme indicado por uma marca de ponto de vista 610’ na Figura 8A. Nesse caso, conforme mostrado na Figura 8B, nas telas no espaço de 3DCG, as imagens recortadas 611’, 612’ e 613’ de cada objeto em primeiro plano são projetadas do mesmo ponto de vista da câmera 110 movida. Dessa maneira, mesmo em um caso em que a câmera 110 ou o objeto se mova consideravelmente, é possível obter uma imagem compósita que representa corretamente a relação de proteção e similares dentre os objetos.

Exemplo de modificação

[0046] O caso foi explicado em que a captura de imagem do objeto em primeiro plano pela câmera 110 é realizada no ambiente da chamada traseira verde ou traseira azul na premissa do processamento de cromaqui, mas a captura de imagem no ambiente, tal como a mesma, não é obrigatória. Por exemplo, também pode ser possível distinguir entre o equipamento de alto desempenho e o outro antecedente na imagem capturada obtida realizando-se a captura de imagem em um estúdio normal pela técnica de reconhecimento de objeto e usar a imagem para projeção, que é obtida realizando-se processamento de imagem para cortar apenas a área de imagem correspondente ao equipamento de alto desempenho.

[0047] Adicionalmente, o caso foi explicado em que a caixa delimitadora que circunscreve o objeto em primeiro plano é implantada como a tela para projeção, mas o formato da tela não é limitado ao formato de um paralelepípedo retangular. Por exemplo, também pode ser possível estimar a orientação de um objeto em primeiro plano com o uso de imagens obtidas capturando-se o objeto em primeiro plano em uma pluralidade de direções, gerar um modelo de malha que representa a orientação estimada e implantar uma tela de formato tridimensional que se encaixa à orientação do objeto em primeiro plano. Devido a isso, é possível dispor uma tela como um manequim que simula a orientação do equipamento de alto desempenho a cada vez no espaço de 3DCG.

[0048] Adicionalmente, na modalidade descrita anteriormente, o sistema de coordenadas (x, y, z) do ponto de vista de projeção e a tela e o sistema de coordenadas (x’, y’, z’) do espaço de 3DCG no qual o modelo em segundo plano é disposto, são feitos para corresponder, uns com os outros, mas não se limitam à condição obrigatória na presente modalidade. O que é exigido é de que a relação posicionai relativa entre o objeto em primeiro plano e o ponto de vista de captura de imagem e a relação posicionai relativa entre a tela, o ponto de vista de projeção e o ponto de vista de renderização correspondem, uns com os outros. Em um caso em que essas relações posicionais relativas correspondem, uns com os outros, também pode ser possível mover a tela, o ponto de vista de projeção e o ponto de vista de renderização para quaisquer coordenadas no espaço de 3DCG e comutar a orientação. Adicionalmente, comutando-se a magnificação da tela e a magnificação da distância relativa em conjunto, também pode ser possível alterar a relação em tamanho entre o objeto em primeiro plano e o espaço de 3DCG. A Figura 9A é um exemplo em um caso em que cada tela é disposta na frente dos objetos em segundo plano, bem como estabelecer o ponto de vista de projeção e o ponto de vista de renderização mais distante do ponto de vista de captura de imagem. A Figura 9B é um exemplo em um caso em que o tamanho do objeto em primeiro plano é aumentado alterando-se adicionalmente a magnificação de cada tela e a magnificação da distância relativa em conjunto. Em um caso da Figura 9B, o tamanho do próprio sistema de coordenadas é comutado (por exemplo, o sistema de coordenadas é comutado de modo que, em um caso em que 1 cm na imagem original corresponde a 1 m no espaço real, 1 cm na imagem corresponde a 50 cm no espaço real) e, portanto, a distância absoluta do ponto de vista de projeção é aumentada. Conforme descrito anteriormente, também é possível produzir uma representação na qual o objeto em primeiro plano se moveu ou uma representação na qual o objeto em primeiro plano se tornou menor ou maior.

[0049] Adicionalmente, a imagem recortada do objeto em primeiro plano é projetada na tela e a renderização é realizada para a mesma, mas a ordem do processamento não é necessariamente limitada ã ordem, tal como a mesma. Por exemplo, também pode ser possível obter uma imagem compósita 1101 mostrada na Figura 11B pelo seguinte procedimento: uma imagem de máscara da tela, conforme mostrado, por exemplo, na Figura 10A é obtido, que também leva em consideração a relação de proteção em um caso de ser visualizado do ponto de vista de renderização e, similares; então, aplicando-se a imagem de máscara na Figura 10A à imagem capturada na Figura 6A, as imagens recortadas 1001 e 1002, conforme mostrado na Figura 10B são geradas, nas quais são obtidas cortando-se as porções dos objeto em primeiro plano; então, uma imagem de renderização 1100 mostrada na Figura 11A é gerada realizando-se a renderização para o espaço de 3DCG como um alvo, na qual apenas os CGs dos objetos em segundo plano mostrados na Figura 5A são dispostos e as imagens recortadas 1001 e 1002 mostradas na Figura 10B são superimpostas na imagem de renderização 1100. Entretanto, em um caso desse método, as informações de distância tridimensional nos objetos em primeiro plano não são usadas no tempo de renderização e, portanto, é difícil representar a profundidade de campo precisamente ou para representar uma neblina ou similares em uma vista distante. Consequentemente, uma imagem compósita com uma qualidade mais alta é obtida pelo método explicado na modalidade.

[0050] Conforme anteriormente, de acordo com a presente modalidade, é possível obter facilmente uma imagem compósita natural na qual a imagem 2D do objeto em primeiro plano, que é capturado pela câmera, e em segundo plano, criado pelo CG, estejam em harmonia, uma com a outra

SEGUNDA MODALIDADE

[0051] A seguir, um aspecto é explicado como uma segunda modalidade na qual uma imagem de ponto de vista virtual é usada como uma imagem bidimensional que é composta com uma 3DCG. A Figura 12 é um diagrama que mostra um exemplo da configuração de um sistema que gera uma imagem de ponto de vista virtual que é inserida ao aparelho de processamento de imagem 130.

[0052] Conforme mostrado na Figura 12, na presente modalidade, um parâmetro de ponto de vista virtual, uma imagem de ponto de vista virtual e um modelo de objeto em primeiro plano, que são emitidos de um sistema de geração de imagem de ponto de vista virtual 1200, são inseridos ao aparelho de processamento de imagem 130. Isto é, o parâmetro de ponto de vista virtual e a imagem de ponto de vista virtual da presente modalidade correspondem ao parâmetro de captura de imagem e ã imagem capturada, que são emitidas da câmera 110 na primeira modalidade e o modelo em primeiro plano da presente modalidade correspondem aos dados de posição e formato que são emitidos do dispositivo de medição 120 na primeira modalidade. A seguir, a presente modalidade é explicada focando-se a atenção na diferença da primeira modalidade.

[0053] O sistema de geração de imagem de ponto de vista virtual 1200 inclui uma pluralidade de dispositivos de imageamento 1201, um servidor de processamento de imagem 1202 e um controlador 1206. Então, o servidor de processamento de imagem 1202 tem cada unidade de função de uma unidade de estimação de formato tridimensional 1203, uma unidade de armazenamento de dados materiais 1204 e uma unidade de geração de imagem de ponto de vista virtual 1205.

[0054] A pluralidade dos dispositivos de imageamento 1201 é disposta para circundar o objeto em primeiro plano e captura o objeto em primeiro plano de uma pluralidade de direções. Adicionalmente, a captura de imagem temporização da pluralidade dos dispositivos de imageamento 1201 é sincronizada com base em um sinal de sincronização de um servidor de tempo, não mostrado esquematicamente. Os dados de imagens capturados de uma pluralidade de diferentes pontos de vista (a seguir, chamados de “imagem de múltiplos pontos de vista”) pela pluralidade dos dispositivos de imageamento 1201 é enviada ao servidor de processamento de imagem 1202 em conjunto com os parâmetros de captura de imagem que indicam a posição/orientação, as características ópticas de cada dispositivo de imageamento e similares e inseridas à unidade de estimação de formato tridimensional 1203.

[0055] A unidade de estimação de formato tridimensional 1203 extrai a silhueta do objeto em primeiro plano de cada imagem capturada que constitui a imagem inserida de múltiplos pontos de vista e, então, gera dados (a seguir, chamados de “modelo em primeiro plano”) que representam o formato tridimensional do objeto em primeiro plano com o uso do método de carcaça visual ou similares. Para esse modelo em primeiro plano, as informações que representam a posição tridimensional no tempo de captura de imagem são fixadas. O modelo em primeiro plano gerado é enviado ã unidade de armazenamento de dados materiais 1204 em conjunto com a imagem de múltiplos pontos de vista (incluindo parâmetros de captura de imagem), que são a fonte do modelo em primeiro plano gerado.

[0056] A unidade de armazenamento de dados materiais 1204 armazena/acumula cada um dos dados do modelo em primeiro plano, da imagem de múltiplos pontos de vista e do parâmetro de captura de imagem, que são inseridas da unidade de estimação de formato tridimensional 1203, como o material de uma imagem de ponto de vista virtual.

[0057] O controlador 1206 tem um manete para estabelecer um ponto de vista de captura de imagem virtual em uma posição arbitrária no espaço de captura de imagem, um teclado para designar um valor numérico, tal como o comprimento focal e o ângulo de visualização e similares, e gera parâmetros de ponto de vista virtual com base em um usuário inserido por meio desses componentes. Aqui, os parâmetros de ponto de vista virtual incluem informações correspondentes aos parâmetros externos da câmera que representa a posição, orientação e similares do ponto de vista virtual, informações correspondentes aos parâmetros internos da câmera, tal como o comprimento focal e o ângulo de visualização, informações de tempo que especificam ο quadro para ο qual uma imagem de ponto de vista virtual é gerada, e similares. Os parâmetros de ponto de vista virtual gerados são enviados ao servidor de processamento de imagem 1202 e inseridos à unidade de geração de imagem de ponto de vista virtual 1205.

[0058] A unidade de geração de imagem de ponto de vista virtual 1205 obtém primeiramente os dados do modelo em primeiro plano e da imagem capturada no tempo relevante da unidade de armazenamento de dados materiais 1204 com base nas informações de tempo incluídas nos parâmetros de ponto de vista virtual inseridos. Então, para o modelo em primeiro plano obtido, a unidade de geração de imagem de ponto de vista virtual 1205 realiza a coloração de acordo com o ponto de vista virtual designado com base na imagem capturada e gera uma imagem de ponto de vista virtual que representa uma aparência do ponto de vista virtual. Os dados da imagem de ponto de vista virtual gerada são emitidos ao aparelho de processamento de imagem 130 em conjunto com os parâmetros de ponto de vista virtual e o modelo em primeiro plano, que são usados para a geração.

Operação de aparelho de processamento de imagem

[0059] O aparelho de processamento de imagem 130 da presente modalidade compõe a imagem recortada da imagem de ponto de vista virtual gerada pelo servidor de processamento de imagem 1202 com o 3DCG no lugar da imagem recortada da imagem capturada pela câmera 110 da primeira modalidade. Devido a isso, a unidade de obtenção de dados 301 manuseia as informações sobre a posição/orientação, o comprimento focal, o ângulo de visualização, e similares, do ponto de vista virtual, que está incluído nos parâmetros de ponto de vista virtual, como os parâmetros de captura de imagem da primeira modalidade. Isto é, a unidade de obtenção de dados 301 considera o ponto de vista virtual como a câmera 110, as informações ópticas sobre a posição/orientação, o ângulo de visualização, e similares, do ponto de vista virtual como as informações ópticas sobre a posição/orientação, o ângulo de visualização, e similares, da câmera 110 nos parâmetros de captura de imagem descritos anteriormente e emite as informações para a unidade de sincronização 302. Adicionalmente, a unidade de obtenção de dados 301 da presente modalidade considera ο modelo em primeiro plano correspondente a cada quadro como os dados de posição e formato da primeira modalidade com base nas informações de tempo incluídas nos parâmetros de ponto de vista virtual ou incorporadas na imagem de ponto de vista virtual e emite o modelo em primeiro plano à unidade de sincronização 302. Nesse tempo, também pode ser possível emitir o modelo em primeiro plano após realizar o processamento para reduzir a quantidade de dados simplificando-se o formato do modelo em primeiro plano, de modo que seja fácil para a unidade de composição 303 realizar o processamento no estágio subsequente. Como o processamento de simplificação de formato, por exemplo, o processamento para converter o modelo em primeiro plano nas informações sobre o paralelepípedo retangular (caixa delimitadora) que circunscrevem o formato tridimensional representado pelo modelo em primeiro plano, ou o processamento para afinar a nuvem ou malha de ponto que representa o formato tridimensional é considerado. É evidente que o processamento para obter a consistência entre dados, tal como conversão de formato, é realizado conforme o necessário.

[0060] Como na primeira modalidade, a unidade de sincronização 302 da presente modalidade estabelece sincronização dentre três dos dados da imagem de ponto de vista virtual, do parâmetro de ponto de vista virtual e do modelo em primeiro plano, que são inseridos da unidade de obtenção de dados 301 e emite os mesmos à unidade de composição 303.

[0061] A unidade de composição 303 da presente modalidade gera uma imagem compósita, que é a composição da imagem de ponto de vista virtual, que é inserida da unidade de sincronização 302 e do 3DCG. Especificamente, a unidade de pré-processamento 305 gera uma tela de projeção e uma pseudo sombra no espaço de 3DCG no qual o CG do objeto em segundo plano é disposto com base no modelo em primeiro plano (S401, S402). A seguir, a unidade de projeção 306 estabelece parâmetros de projeção de acordo com os parâmetros de ponto de vista virtual (S403), gera a imagem recortada do objeto em primeiro plano da imagem de ponto de vista virtual e projeta a imagem recortada na tela (S404). Então, a unidade de renderização 307 estabelece parâmetros de renderização de acordo com os parâmetros de ponto de vista virtual (S405) e realiza o processamento de renderização que leva o espaço de 3DCG no estado em que a imagem recortada da imagem de ponto de vista virtual é projetada como um alvo o número de vezes correspondente a um número predeterminado de quadros (S406).

Exemplo de modificação

[0062] Na presente modalidade, a sincronização entre os três dos dados da imagem de ponto de vista virtual, o parâmetro de ponto de vista virtual e o modelo em primeiro plano é estabelecido dentro do aparelho de processamento de imagem 130 como na primeira modalidade, mas a configuração não se limita ao mesmo. Por exemplo, a configuração pode ser uma na qual a sincronização dentre os dados é estabelecida dentro do sistema de geração de imagem de ponto de vista virtual e, então, os dados são integrados em um arquivo realizando-se, por exemplo, compressão ou similares e o arquivo é transmitido ao aparelho de processamento de imagem 130. Em um caso da configuração tal como essa, a unidade de sincronização 302 dentro do aparelho de processamento de imagem 130 não é mais necessária. Então, é suficiente desenvolver o arquivo de dados necessário na unidade de obtenção de dados 301 e obter cada um dos dados da imagem de ponto de vista virtual, o parâmetro de ponto de vista virtual e o modelo em primeiro plano e inserir os mesmos na unidade de composição 303. Devido á configuração tal como essa, não é mais necessário estabelecer sincronização no lado do aparelho de processamento de imagem e, ao mesmo tempo, é possível solucionar a complicação de transferência de dados.

[0063] Adicionalmente, na presente modalidade, a unidade de obtenção de dados 301 obtém o modelo em primeiro plano correspondente com base nas informações de tempo incluídas no parâmetro de ponto de vista virtual ou incorporadas na imagem de ponto de vista virtual, mas a configuração não é necessariamente limitada a isso. Por exemplo, a configuração pode ser uma na qual o servidor de processamento de imagem 1202, a unidade de geração de imagem de ponto de vista virtual 1205 associa o modelo em primeiro plano obtido da unidade de armazenamento de dados materiais 1204 com o quadro da imagem de ponto de vista virtual correspondente e, então, transmite a mesma ao aparelho de processamento de imagem 130. Nesse caso, é possível para a unidade de obtenção de dados 301 do aparelho de processamento de imagem 130 obter o modelo em primeiro plano correspondente a cada quadro sem usar as informações de tempo.

[0064] Adicionalmente, na presente modalidade, a unidade de obtenção de dados 301 realiza o processamento de simplificação para derivar o formato bruto do modelo em primeiro plano que é inserido do servidor de processamento de imagem 1202, mas isso não é limitado. Por exemplo, também pode ser possível para o lado do servidor de processamento de imagem 1202 realizar o processamento até o processamento de simplificação e inserir o modelo em primeiro plano simplificado (isto é, o modelo em primeiro plano cuja quantidade de dados é reduzida) ao aparelho de processamento de imagem 130. Por exemplo, após o modelo em primeiro plano ser gerado realizando-se a estimação de formato normal na unidade de estimação de formato tridimensional 1203 e, adicionalmente, o modelo em primeiro plano simplificado é gerado realizando-se o processamento para derivar o formato bruto do modelo em primeiro plano. Então, o modelo em primeiro plano simplificado também é armazenado e acumulado na unidade de armazenamento de dados materiais 1204 além do modelo em primeiro plano normal e o modelo em primeiro plano simplificado é transmitido ao aparelho de processamento de imagem 130. Ao realizar o mesmo, é possível omitir o processamento de simplificação de formato para o modelo em primeiro plano no lado do aparelho de processamento de imagem 130 e também é possível reduzir a carga da transferência de dados.

[0065] Adicionalmente, na presente modalidade, a explicação é dada de que um formato simplificado é obtido afinando-se os dados de nuvem de pontos do modelo em primeiro plano, que são os resultados da estimativa de formato, substituindo-se o modelo em primeiro plano com a caixa delimitadora e assim por diante, mas a simplificação de formato não é limitada aos mesmos. Por exemplo, a configuração pode ser uma na qual um modelo de malha, uma imagem de profundidade, informações de orientação, e similares, são gerados dos resultados da estimativa de formato e um formato simplificado é obtido com o uso das mesmas. Adicionalmente, também pode ser possível dividir os resultados de estimativa de formato em intervalos de uma altura predeterminada, gerar a caixa delimitadora de cada porção dividida e considerar o conjunto dos mesmos como um formato simplificado.

[0066] Adicionalmente, também pode ser possível gerar uma pseudo sombra com o uso das informações de orientação descritas anteriormente. Por exemplo, também pode ser possível projetar uma sombra, de acordo com o formato simplificado de um equipamento de alto desempenho na superfície de fundo da tela de formato humano descrita anteriormente, que é obtida das informações de orientação no equipamento de alto desempenho. Devido a isso, é possível representar uma pseudo sombra, de acordo com o movimento do equipamento de alto desempenho ou similares. Adicionalmente, também pode ser possível obter separadamente os dados de posição e formato da porção próxima à superfície de chão (por exemplo, a área 30 cm acima da superfície de chão) do formato tridimensional representado pelo modelo em primeiro plano, que são os resultados de estimação e desenham uma pseudo sombra com o uso do mesmo. Com esse método, mesmo a partir dos dados de formato simplificado, tais como a caixa delimitadora com a qual não é possível para captar a silhueta do atual objeto em primeiro plano, é possível gerar uma pseudo sombra 1301 apenas na proximidade do pé do equipamento de alto desempenho, por exemplo, como em uma imagem compósita 1300 mostrada na Figura 13. Adicionalmente, em um caso do presente método, não é necessário detectar a orientação do objeto em primeiro plano e, portanto, também há uma vantagem de que a quantidade de processamento é pequena.

[0067] De acordo com a presente modalidade, é possível obter facilmente uma imagem compósita natural na qual uma imagem 2D que representa uma aparência de um ponto de vista de câmera virtual não limitada pela posição de câmera atual e um antecedente criado por CG estão em harmonia, uns com os outros. Adicionalmente, os dados materiais no tempo de gerar uma imagem de ponto de vista virtual também são usados para a composição e, portanto, a eficácia é alta. Adicionalmente, é possível estabelecer sincronização entre dados e aprimorar a precisão de obter a posição tridimensional do objeto em primeiro plano mais facilmente e, portanto, uma composição de alta qualidade é permitida.

Outras Modalidades

[0068] A modalidade (ou modalidades) da presente revelação também pode ser realizada por um computador de um sistema ou aparelho que lê e executa instruções executáveis por computador (por exemplo, um ou mais programas) gravados em um meio de armazenamento (que também pode ser chamado de modo mais completo como um “meio de armazenamento legível por computador não transitório”) para realizar as funções de uma ou mais das modalidades descritas acima e/ou que inclui um ou mais circuitos (por exemplo, circuito integrado de aplicação específica (ASIC)) para realizar as funções de uma ou mais das modalidades descritas cima, e por um método realizado pelo computador do sistema ou aparelho, por exemplo, lendo-se e executando-se as instruções legíveis por computador a partir do meio de armazenamento para realizar as funções de uma ou mais das modalidades descritas acima e/ou controlar os um ou mais circuitos para realizar as funções de uma ou mais das modalidades descritas acima. O computador pode compreender um ou mais processadores (por exemplo, unidade de processamento central (CPU), unidade de microprocessamento (MPU)) e pode incluir uma rede de computadores separados ou processadores separados para ler e executar as instruções executáveis por computador. As instruções executáveis por computador podem ser fornecidas para o computador, por exemplo, a partir de uma rede ou meio de armazenamento. O meio de armazenamento pode incluir, por exemplo, um ou mais de um disco rígido, uma memória de acesso remoto (RAM), uma memória somente de leitura (ROM), um armazenamento de sistemas de computação distribuídos, um disco óptico (tal como um disco compacto (CD), disco versátil digital (DVD) ou disco Blu-ray (BD)™), um dispositivo de memória rápida, um cartão de memória e similares.

[0069] De acordo com a técnica da presente revelação, é possível obter uma imagem compósita natural na qual um objeto em primeiro plano incluído em uma imagem bidimensional e um objeto em segundo plano incluído em um espaço de computação gráfica tridimensional estejam em harmonia, uns com os outros.

[0070] Embora a presente revelação tenha sido descrita com referência às modalidades exemplificativas, deve-se compreender que a revelação não se limita às modalidades exemplificativas descritas. O escopo das reivindicações a seguir deve ser interpretado de maneira ampla, de modo a englobar todas as tais modificações e estruturas equivalentes e funções.

Claims

Aparelho de processamento de imagem caracterizado pelo fato de que compreende:
uma unidade de obtenção configurada para obter uma imagem bidimensional, correspondente a um ponto de vista específico, que inclui um objeto em primeiro plano, um parâmetro que especifica uma condição no tempo de obter a imagem bidimensional e dados de posição e formato que representam uma posição tridimensional e um formato do objeto em primeiro plano incluído na imagem bidimensional; e
uma unidade de geração configurada para gerar uma imagem que inclui o objeto em primeiro plano e um objeto em segundo plano dispondo-se uma tela com base nos dados de posição e formato em um espaço de computação gráfica que inclui o objeto em segundo plano e projetar a imagem do objeto em primeiro plano incluída na imagem bidimensional na tela com base no parâmetro.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a tela é um formato tridimensional.
Aparelho de processamento de imagem, de acordo com a reivindicação 2, caracterizado pelo fato de que
a tela é uma caixa delimitadora transparente.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
os dados de posição e formato são dados que descrevem uma posição tridimensional de cada vértice de um paralelepípedo retangular que circunscreve o objeto em primeiro plano e um comprimento de cada lado do paralelepípedo retangular.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a unidade de geração gera uma imagem que inclui o objeto em primeiro plano e o objeto em segundo plano ao formar uma pseudo sombra do objeto em primeiro plano com base nos dados de posição e formato em um espaço tridimensional da computação gráfica.
Aparelho de processamento de imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que
a pseudo sombra é uma elipse preta ou cinza translúcida.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a unidade de geração gera, renderizando-se de modo a determinar uma cor de cada pixel com base em uma distância a partir de um ponto de vista que é estabelecido com base no parâmetro para cada objeto em primeiro plano, uma imagem que inclui o objeto em primeiro plano e o objeto em segundo plano.
Aparelho de processamento de imagem, de acordo com a reivindicação 7, caracterizado pelo fato de que
a unidade de geração:
estabelece uma condição no tempo de realizar a projeção, de acordo com uma condição no tempo de obter a imagem bidimensional, que é especificada pelo parâmetro; e
estabelece uma condição no tempo de realizar a renderização, de acordo com uma condição no tempo de obter a imagem bidimensional, que é especificada pelo parâmetro.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a imagem bidimensional correspondente ao ponto de vista específico é um quadro que constitui uma imagem em movimento e
o aparelho de processamento de imagem compreende adicionalmente uma unidade de sincronização configurada para gerar dados de posição e formato sincronizados com cada quadro da imagem em movimento em um caso em que um período de obtenção dos dados de posição e formato e um período de obtenção de um quadro que constitui a imagem em movimento são diferentes.
Aparelho de processamento de imagem, de acordo com a reivindicação 9, caracterizado pelo fato de que
a unidade de sincronização estabelece sincronização entre dados tendo-se um armazenamento para cada um dentre a imagem em movimento e os dados de posição e formato e comutando-se o número de estágios de armazenamento em cada armazenamento.
Aparelho de processamento de imagem, de acordo com a reivindicação 10, caracterizado pelo fato de que
a unidade de sincronização ajusta um tempo de atraso, de modo que um tempo de saída seja igual entre dados comutando-se o número de estágios de armazenamento de outros dados, de acordo com dados cuja entrada é a mais recente.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a imagem bidimensional correspondente a um ponto de vista específico é um quadro que constitui uma imagem em movimento e
a unidade de obtenção obtém os dados de posição e formato em uma temporização sincronizada com um quadro que constitui a imagem em movimento.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a imagem bidimensional correspondente ao ponto de vista específico é uma imagem capturada obtida por um dispositivo de imageamento e
o parâmetro é um parâmetro de captura de imagem que representa uma condição no tempo de captura do objeto pelo dispositivo de imageamento.
Aparelho de processamento de imagem, de acordo com a reivindicação 13, caracterizado pelo fato de que
a imagem do objeto em primeiro plano é uma imagem obtida realizando-se processamento de cromaqui para a imagem capturada.
Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
a imagem bidimensional correspondente ao ponto de vista específico é uma imagem de ponto de vista virtual gerada com base em uma pluralidade de imagens capturadas obtidas capturando-se o objeto a partir de uma pluralidade de pontos de vista por um dispositivo de imageamento e que representa uma aparência a partir de um ponto de vista virtual diferente da pluralidade de pontos de vista e
o parâmetro é um parâmetro de ponto de vista virtual que representa uma condição no tempo de gerar a imagem de ponto de vista virtual.
Aparelho de processamento de imagem, de acordo com a reivindicação 15, caracterizado pelo fato de que
a unidade de obtenção obtém dados de posição e formato do objeto com base em dados que representam um formato tridimensional do objeto gerado usando-se a pluralidade de imagens capturadas.
Método de processamento de imagem caracterizado pelo fato de que compreende:
obter uma imagem bidimensional, correspondente a um ponto de vista específico, que inclui um objeto em primeiro plano, um parâmetro que especifica uma condição no tempo de obter a imagem bidimensional e dados de posição e formato que representam uma posição tridimensional e um formato do objeto em primeiro plano incluído na imagem bidimensional; e
gerar uma imagem que inclui um objeto em primeiro plano e um objeto em segundo plano dispondo-se uma tela com base nos dados de posição e formato em um espaço de computação gráfica que inclui o objeto em segundo plano e projetando-se a imagem do objeto em primeiro plano incluída na imagem bidimensional na tela com base no parâmetro.
Meio de armazenamento legível por computador caracterizada pelo fato de que armazena um programa para fazer com que um computador realize o método de processamento de imagem, conforme definido na reivindicação 17.