BR122013001378A2 - inserção de objetos em 3d em uma imagem estereoscópica em relativa profundidade - Google Patents

Abstract

inserção de objetos em 3d em uma imagem estereoscópica em relativa profundidade. a invenção refere-se a técnicas para renderizar pelo menos um objeto em uma imagem estereoscópica para um dispositivo de display. dados de profundidade perceptiva como uma fração de uma distância de espectador para o objeto são recebidos. estes dados de profundidade perceptiva podem ser normalizados. um deslocamento de separação de pixel para um dispositivo de display específico é calculado dos dados de profundidade perceptiva. as imagens de olho esquerdo e direito do objeto são respectivamente inseridas na imagem estereoscópica com o deslocamento de separação de pixel. para uma modalidade específica, o objeto inclui legendas a serem inseridas.

Description

Relatório Descritivo da Patente de Invenção para "INSERÇÃO DE OBJETOS EM 3D EM UMA IMAGEM ESTEREOSCÓPICA EM RELATIVA PROFUNDIDADE".

Pedido dividido do P11011819-5 depositado em 22.06.2010. REFERÊNCIA CRUZADA A PEDIDOS RELATIVOS

Este pedido reivindica prioridade do Pedido de Patente Provisória dos Estados Unidos Número 61/220.007 depositado em 24 de Junho de 2009 por meio disto incorporado por referência na sua totalidade. TECNOLOGIA A invenção refere-se ao campo de geração de imagem tridimensional (3D) e, especificamente, ao processamento de objetos para colocação de profundidade perceptiva.

FUNDAMENTOS

Para os displays bidimensionais (2D), a colocação de títulos (por exemplo, colocação de legendas, closed-caption, e similares) pode ser arbí-trariamente renderizada em uma imagem em 2D preexistente por um dispositivo de reprodução de vídeo, ou por um software de composição. As legendas em 2D inseridas parecerão por oclusão estar na frente ou atrás de característica preexistente. Dados auxiliares providos com as legendas podem especificar localizações de colocação e estilos em 2D simples. Por exemplo, dados auxiliares de legendas de uma transmissão podem especificar legendas de rolagem, instantâneas ou pintadas. As legendas de rolagem tipicamente aparecem no fundo da tela, enquanto que as legendas instantâneas aparecem em qualquer lugar sobre a tela. As legendas pintadas utilizam um bloco estacionário predeterminado sobre a tela.

No entanto, estas técnicas convencionais são inadequadas para uma imagem em 3D preexistente. Uma renderização arbitrária de legendas em um espaço em 3D resulta nas legendas existindo no plano de fundo (por exemplo, atrás de uma característica preexistente) mas renderizadas no primeiro plano (por exemplo na frente da característica preexistente) ou o-postamente existindo no primeiro plano e renderizadas no plano de fundo. Em outras palavras, as legendas podem parecer por oclusão estarem na frente de uma característica enquanto parecendo por disparidade interocular estarem atrás da mesma característica. Este conflito confunde o sistema visual humano o qual rompe a ilusão de profundidade na imagem em 3D, assim como causa uma fadiga ocular para um espectador.

Estas ciladas podem ser evitadas com uma análise de observação manual de cada inserção de legendas em 3D durante a pós-produção. Isto quer dizer, um editor humano confirma a propriedade de cada inserção. Como pode-se imaginar, este processo é demorado, dispendioso, e tendente a erro humano. Uma análise de observação manual não é prática para um conteúdo pré-gravado mas é de todo impossível para uma transmissão ao vivo.

Mais ainda, a análise de observação manual é executada para uma dimensão de dispositivo de display específica e frequentemente gera um resultado não previsto para um dispositivo de display diferente. A profundidade perceptiva é não linear com a disparidade de pixel, e a disparidade de pixel é uma função tanto do deslocamento de separação de pixel quanto de resolução de pixel de cada dispositivo de display. Consequentemente, as legendas inseridas podem aparecer em uma localização indesejável mesmo utj|jzando o mesmo deslocamento de separação de pixel. Por exemplo, as legendas podem parecer no dispositivo de display diferente existir além do infinito causando uma divergência dos olhos do espectador. A legenda parece além do infinito quando a sua disparidade de pixel entre as imagens de olho direito e esquerdo é maior do que a separação interocular do espectador, a qual é geralmente de aproximadamente 65 milímetros para um adulto. Um resultado imprevisto pode também incluir um posicionamento ilegal das legendas, tal como atrás do espectador, o que é impossível conseguir em um display.

Do acima, é visto que as legendas em 3D, assim como uma inserção de objeto em 3D em geral, posicionado automaticamente e/ou independentemente de um dispositivo de display pode prover muitos benefícios em relação às técnicas de 2D e 3D convencionais.

SUMÁRIO DA DESCRIÇÃO Métodos e aparelhos para renderizar pelo menos um objeto em uma imagem estereoscópica para um dispositivo de display estão providos. A imagem estereoscópica pode incluir duas imagens (por exemplo, uma imagem de olho direito e uma imagem de olho esquerdo) manipuladas separadamente ou compostas juntas. Em uma modalidade, um método inclui receber os dados de profundidade perceptiva como uma fração de distância espectador para o objeto. Um deslocamento de separação de pixel para um dispositivo de display específico é calculado utilizando a profundidade perceptiva. Uma primeira e uma segunda imagens (tal como, as imagens de olho esquerdo e direito) do objeto são respectivamente inseridas na imagem estereoscópica com o deslocamento de separação de pixel.

Em outra modalidade da invenção, os dados de profundidade como uma fração de distância de espectador são providos para pelo menos uma porção de uma legenda. Os dados de profundidade são utilizados para determinar um deslocamento de separação de pixel apropriado entre a primeira e a segunda imagens da legenda para obter substancialmente uma profundidade perceptiva desejada. A primeira e a segunda imagens da legenda são inseridas em uma imagem estereoscópica ou um fluxo de bits de imagem com o deslocamento de separação de pixel determinado. Em uma modalidade específica, os dados de profundidade providos são normalizados para um dispositivo de display representativo (por exemplo, uma resolução de um pixel por milímetro, 1 metro de largura).

Em ainda outra modalidade, um método para a inserção de objetos em uma imagem estereoscópica está provido. A imagem estereoscópica é transmitida, diretamente ou indiretamente para um primeiro dispositivo de reprodução (tal como, um telefone móvel, um computador, uma televisão, um projetor de cinema, ou similar). Os dados de profundidade perceptiva como uma fração da distância de espectador para pelo menos um objeto são também transmitidos para o primeiro dispositivo de reprodução. O primeiro dispositivo de reprodução é capaz de calcular um primeiro deslocamento de separação de pixel dos dados de profundidade perceptiva. A imagem estereoscópica, assim como os mesmos dados de profundidade perceptiva, são transmitidos, diretamente ou indiretamente, para um segundo dispositivo de reprodução. O segundo dispositivo de reprodução é capaz de calcular um segundo deslocamento de separação de pixel dos dados de profundidade perceptiva. No caso do primeiro e do segundo dispositivos de reprodução terem diferentes dimensões de largura de tela ou resoluções de pixel, então o primeiro deslocamento de separação de pixel é diferente do segundo deslocamento de separação de pixel.

Em outra modalidade da invenção, um método provê a geração de dados de profundidade normalizados para renderização de um objetos em uma imagem estereoscópica em 3D. O método inclui a identificação de uma característica dentro de uma imagem estereoscópica, por exemplo, por segmentação. Um deslocamento espacial (tal como, um deslocamento de separação de pixel) na imagem estereoscópica é determinado para a característica. Uma pluralidade de deslocamentos espaciais pode opcionalmente ser utilizada para formar um mapa de disparidade da imagem estereoscópica. O deslocamento espacial correlaciona com uma profundidade percebida, e assim a posição e o volume ocupado pela característica no espaço em 3D podem ser determinados. O método ainda inclui determinar a geometria de uma imagem de objeto estereoscópico a ser inserida na imagem estereoscópica. Um ou mais deslocamentos espaciais de objetos são calculados para colocar o objeto estereoscópico no espaço em 3D enquanto evitando o volume ocupado, assim como satisfazendo qualquer outra restrição de colocação. Cada um dos um ou mais deslocamentos espaciais de objetos calculados pode ser normalizado para ser independente de dispositivo de display e expresso como sua profundidade perceptiva correspondente como uma fração de distância de espectador. Um fluxo de dados de cada profundidade perceptiva pode ser emitido. Em uma modalidade específica, um mapa de profundidade da imagem estereoscópica é adicionalmente utilizado para ajustar mais precisamente a(s) profundidade(s) percebida(s), e consequentemente a posição e o volume ocupado da característica.

Em outra modalidade da invenção, um aparelho para gerar um sinal de saída inclui um terminal de entrada, um terminal de saída, e um cir- cuito de processamento de sinal acoplado no terminal de entrada e no terminal de saída. O circuito de processamento de sinal está adaptado para receber os dados de profundidade perceptiva como uma fração de distância de espectador para pelo menos um objeto e calcular um deslocamento de separação de pixel apropriado. O circuito de processamento de sinal insere, respectivamente, uma imagem de objeto de olho esquerdo e uma imagem de objeto de olho direito do pelo menos um objeto em uma imagem de olho esquerdo e uma imagem de olho direito de uma imagem estereoscópica. A imagem de objeto de olho esquerdo e a imagem de objeto de olho direito estão deslocadas pelo deslocamento de separação de pixel.

Em outra modalidade da invenção, um aparelho para gerar os dados de profundidade para a renderização de objetos inclui um terminal de entrada, um terminal de saída, e um circuito de processamento de sinal acoplado no terminal de entrada e no terminal de saída. O circuito de processamento de sinal está adaptado para identificar as características dentro de uma imagem estereoscópica e determinar os deslocamentos espaciais para as características. Os deslocamentos espaciais podem opcionalmente ser utilizados pelo circuito de processamento de sinal para formar um mapa de disparidade. O circuito de processamento de sinal está adaptado para determinar adicionalmente a geometria de uma imagem de objeto estereoscópico a ser inserida na imagem estereoscópica e calcular um ou mais deslocamentos espaciais de objetos para colocar o objeto estereoscópico no espaço em 3D enquanto evitando os volume ocupados, assim como satisfazendo qualquer outra restrição de colocação. Cada um dos um ou mais deslocamentos espaciais de objetos calculados pode ser normalizado para ser independente de dispositivo de display e expresso como sua profundidade perceptiva correspondente como uma fração de distância de espectador. Um fluxo de dados de cada profundidade perceptiva pode ser emitido através do terminal de saída.

Como outra modalidade da invenção, um meio de armazenamento que grava um programa de instruções está provido. O programa é executável por um dispositivo de display para executar um método para ge- rar uma saída. O método inclui receber os dados de profundidade perceptiva normalizados como uma fração de distância de espectador para pelo menos um objeto. Um deslocamento de separação de pixel é calculado para o dispositivo de display dos dados de profundidade perceptiva normalizados e uma dimensão de display. Uma primeira e uma segunda imagens de objeto do pelo menos um objeto são inseridas em uma primeira e uma segunda imagens da imagem estereoscópica. A primeira e a segunda imagens de objeto estão deslocadas pelo deslocamento de separação de pixel. O dispositivo de display visualmente emite a imagem estereoscópica juntamente com o objeto inserido. Vários objetos, características e vantagens adicionais da invenção podem ser mais totalmente apreciados com referência à descrição detalhada e aos desenhos acompanhantes que seguem.

BREVE DESCRICÃO DOS DESENHOS

Uma apreciação mais completa da invenção e muitas de suas vantagens acompanhantes serão prontamente obtidas conforme a mesma tornar-se melhor compreendida com referência à descrição detalhada seguinte quando considerada em conexão com os desenhos acompanhantes, em que: Figura 1 ilustra um layout de posicionamento em 3D de acordo com uma modalidade da invenção;

Figura 2A ilustra, como um exemplo, uma relação trigonométrica entre a disparidade de imagem e a separação interocular;

Figura 2B ilustra a profundidade perceptiva como uma função de disparidade de pixel para um display de 7 metros de largura exemplar de acordo com uma modalidade da invenção;

Figura 3 ilustra um layout de posicionamento em 3D para uma tela normalizada de acordo com uma modalidade da invenção;

Figura 4 ilustra um fluxograma simplificado para colocação de objeto em 3D de acordo com uma modalidade da invenção;

Figuras 5A-5F ilustram resultados exemplares para o fluxograma simplificado para colocação de objeto em 3D de acordo com uma modalida- de da invenção;

Figuras 6A-6B ilustram um mapa de profundidade e a sua combinação com um mapa de disparidade de segmentação; e Figura 7 ilustra um diagrama simplificado de um sistema de projetor em 3D de acordo com uma modalidade da invenção.

DESCRIÇÃO DETALHADA A descrição e desenhos seguintes são ilustrativos da invenção e não devem ser considerados como limitando a invenção. Numerosos detalhes específicos estão providos para prover uma compreensão completa da invenção. No entanto, em certos casos, detalhes bem conhecidos ou convencionais não estão descritos de modo a evitar obscurecer a descrição da invenção. Referências a uma modalidade na presente descrição não são necessariamente referências à mesma modalidade; e, tais referências significam pelo menos uma. A Figura 1 ilustra um sistema posicionai em 3D 100 de acordo com uma modalidade da invenção. Os dados posicionais são utilizados para determinar onde colocar um objeto quando renderízando-o em uma imagem em 3D alvo. O objeto pode incluir qualquer um de: texto de subtítulo, legendas, barra de informações na tela, barra lateral de notícias rolante, guia de programação de televisão, placar, controles de dispositivo de reprodução na tela (opcionalmente controles de tela de toque exibidos), sobreposição de logotipo de canal, informações de display de cabeça levantada (HUD) ou outros objetos gráficos. De modo a permitir uma independência de dispositivo durante uma reprodução, um sistema posicionai de percentagem é utilizado. A posição no espaço em 3D é expressa como uma percentagem da largura de tela (eixo geométrico x), da altura de tela (eixo geométrico y), e distância do espectador da tela (eixo geométrico z).

Por exemplo, um objeto estereoscópico com uma disparidade positiva de eixo geométrico x de 19 pixels entre as imagens de olho esquerdo e direito em uma imagem de 2048 pixels de largura representa aproximadamente 0,927% (19/2048) da largura de imagem. O resultado, como um exemplo, é que o objeto estereoscópico parece estar na frente do plano de tela, a meio caminho entre o espectador e a tela (por exemplo, aproximadamente 50% da distância do espectador do plano de tela). Agora, para uma tela de 7 metros de largura, o objeto estereoscópico pode estar separado de acordo com uma modalidade da invenção por 0,927% de largura de tela, 64,94 milímetros (7 metros * 0,927%) ou aproximadamente 27 pixels (assumindo uma largura horizontal de 1998 pixels). Isto novamente resulta no objeto estereoscópico parecendo estar aproximadamente a meio caminho entre o espectador e a tela como comprovado pela relação trigonométrica da Figura 2A e o ponto 201 na Figura 2B. Em contraste, uma disparidade positiva de 19 pixels sobre a tela de 7 metros de largura, que representa 0,951% (19/1998) de largura de tela, resulta em uma profundidade perceptiva nota-damente mais próxima do plano de tela como mostrado pelo ponto 203 na Figura 2B.

Como pode ser visto do exemplo acima, o posicionamento proporcional manteve a percepção de profundidade para diferentes dispositivos, enquanto que a disparidade de pixel absoluta não. É desejável que a profundidade perceptiva sobre o eixo geométrico z permaneça constante, independentemente da dimensão de dispositivo de display. Em outras palavras, a imagem em 3D deve ser consistente quando vistas de diferentes dispositivos de reprodução, apesar da disparidade de pixel poder bem mudar. De fato, as mudanças em disparidade de pixel tipicamente serão não lineares de um dispositivo de reprodução para outro. A independência de dispositivo de profundidade percebida é vantajosa já que a distância de espectador no sistema posicionai em 3D 100 pode variar significativamente. Por exemplo, a distância de espectador pode variar de aproximadamente 15 centímetros a aproximadamente 1 metro para um dispositivo portátil (por exemplo, um telefone celular, um assistente digital pessoal (PDA), um reprodutor de mídia portátil - iPod de vídeo da Apple, e similares). A distância de espectador pode aumentar para os computadores laptop, os computadores de mesa, as televisões e os displays de jogos de galeria para aproximadamente 0,5 metros a aproximadamente 5 metros. Em locais de eventos públicos, as distâncias de espectador pode variar de / aproximadamente 3 metros a aproximadamente 100 metros ou mais para os projetores de cinema, os displays de estádio, e os quadros de aviso. Os dispositivos de reprodução consequentemente têm uma ampla variação em tamanhos de display com base na distância de espectador pretendida. Uma largura de tela para um dispositivo de reprodução se comparado com outro dispositivo de reprodução pode ser maior, 5 vezes maior, 10 vezes maior, ou 100 vezes maior ou mais.

De acordo com uma modalidade da invenção, os valores posicionais sobre o eixo geométrico z (profundidade) podem ser definidos como uma percentagem de distância de espectador do plano de tela, ZpV. Deste modo, os valores de profundidade posicionais podem ser independentes de dispositivo. Por exemplo, referindo de volta à Figura 1, um primeiro objeto a +50% (ponto 101) será sempre percebido a meio caminho entre o espectador e o plano de tela, independentemente da posição de espectador absoluta ou da dimensão de display. O segundo e o terceiro objetos em 0% (ponto 103) e -50% (ponto 105) estarão sempre no dobro da distância (sobre o plano de tela) e o triplo da distância (atrás do plano de tela) da distância de primeiro objeto, respectívamente. Conforme o espectador move para mais próximo do plano de tela comparado com um dispositivo de reprodução para outro, um objeto parecerá estar mais próximo do mesmo em termos absolutos. Conforme ele move afastando do plano de tela, o objeto parece estar mais afastado. No entanto, o objeto importantemente parecerá na mesma proporção de distância de espectador.

Em uma modalidade específica, de modo a traduzir Zpv para um valor utilizável para um dispositivo de reprodução, a largura de tela física, ws, do dispositivo de display assumido utilizado para a colocação de profundidade é conhecida ou comunicada. Em outras palavras, o dispositivo de reprodução receberá os dados posicionais como pelo menos os valores de x, y, Zpv, e ws. Com as informações providas o dispositivo de reprodução pode computar a disparidade de pixel apropriada sobre o eixo geométrico x para as suas próprias dimensões de display para obter a profundidade percebida Zpv· Em outra modalidade, uma largura de tela de 1 metro normalizada pode ser utilizada, tal como uma tela de 1000 pixels de largura com uma resolução de 1 milímetro por pixel. A normalização provê uma vantagem que o dispositivo de reprodução precisa somente conhecer a sua própria largura de tela para renderizar apropriadamente um objeto em profundidade, e um software de composição pode virtualmente renderizar (por exemplo, nenhuma tela física utilizada para tomar a decisão de profundidade de objeto) utilizando a largura de tela normalizada. Isto quer dizer, um valor ws não precisa ser comunicado já que este é conhecido a priori.

Deve ser compreendido que esta apresentação numérica de Zpv pode produzir valores além da capacidade de um dispositivo de reprodução específico, principalmente os dispositivos pequenos, de baixa resolução preexistentes. Por exemplo, os displays de vídeo de telefone móvel podem ser tão pequenos quanto 26 milímetros de largura (ou até menores), e estão assim limitados a uma profundidade máxima de +29%. Os dispositivos de reprodução contemporâneos oferecem tamanhos de display maiores com uma resolução muito aperfeiçoada e são capazes de renderizar em maior profundidade - apesar de que estes dispositivos ainda não podem atingir +100% de distância de espectador. Esta limitação não é um prejuízo prático já que +100% de profundidade é quase sempre indesejável. A disparidade de pixel de um objeto colocado muito próximo de um espectador torna difícil para o espectador focalizar e convergir o objeto.

Além disso, a apresentação numérica de Zpv, uma percentagem de distância de espectador, não pode expressar adequadamente a profundidade no ou além do plano de infinito. Esta desvantagem é superada apreciando que um objeto parecerá estar no infinito quando os eixos geométricos visuais dos olhos de um espectador estão paralelos. Assim, o plano de infinito pode ser especificado estar no ou aproximadamente no valor negativo de separação interocular (aproximadamente -65 milímetros para um adulto). Para uma tela de 1 pixel / milímetro normalizada, o plano de infinito pode ser estabelecido ter um deslocamento de separação de pixel em ou aproximadamente em -65 pixels.

Utilizando o layout de posicionamento em 3D 300 para uma tela normalizada como mostrado na Figura 3, um dispositivo ou de reprodução ou de composição pode inserir apropriadamente um objeto, tal como uma legenda, em uma imagem em 3D quando provido com três valores posicionais: x como um percentual de largura de tela, y como um percentual de altura de tela, e zn como um percentual de profundidade normalizada percebida. Um deslocamento de separação de pixel normalizado, Sp, pode então ser computador pelo menos como segue, sem limitação: onde 0 < zn < 100 (isto é, o objeto ficando sobre o ou na frente do plano de tela na direção da posição de espectador); e Sp = 0,65zn, onde zn < 0 (isto é, o objeto ficando atrás do plano de tela afastando da posição de espectador). O deslocamento de separação de pixel normalizado permite a colocação de objeto em espaço em 3D com relação à profundidade percebida do espectador independentemente de tamanho de display ou distância de espectador. Um dispositivo de reprodução pode utilizar o deslocamento de separação de pixel normalizado (Sp) recebido, por exemplo, como metadados em um fluxo de bits, para computar um deslocamento de separação de pixel específico de dispositivo (Sd) ajustando com um fator de seu próprio passo de pixel. Se o passo de pixel do dispositivo de reprodução for de 0,5 milímetros ao invés de 1 milímetro da tela normalizada, então Sd = Sp/0,5, neste exemplo. A Figura 4 ilustra um fluxograma simplificado 400 para a colocação de objeto em 3D, por exemplo, por um dispositivo de composição de acordo com uma modalidade da invenção. Na etapa 401, uma imagem estereoscópica preexistente, a imagem alvo, é recebida. A posição e a extensão de características da imagem são identificadas na etapa 403, a qual pode ser implementada, por exemplo, por análise de segmentação sobre cada par de imagens estereoscópicas (por exemplo, as imagens de olho esquerdo e de olho direito). A análise de segmentação separa cada característica (por exemplo, um objeto preexistente na imagem) por cor e então aplica um limite para cada área distinta para formar um mapa de segmentação. A seguir na etapa 405, um deslocamento espacial é determinado para as características. Isto pode ser executado comparando os mapas de segmentação da imagem de olho esquerdo para a imagem de olho direito. Os mapas de segmentação para as imagens de olho esquerdo e direito são similares, e consequentemente as características e formas de segmento em um mapa do par naturalmente referem a características ou segmentos similarmente formados e localizados em seu complemento. O par de mapas pode ser comparado para determinar o deslocamento espacial de eixo geométrico x entre características complementares no par.

Estes deslocamentos espaciais são utilizados na etapa 407 opcional para desenvolver um mapa legal. O mapa legal define os volumes em 3D disponíveis para a colocação de objeto. Isto quer dizer, o mapa legal indica os volumes não ocupados pelas características. Este mapa legal pode ser dinamicamente atualizado através de toda uma duração de persistência do objeto a ser colocado dentro da imagem alvo.

Nas etapas 409 e 411, um objeto para colocação é recebido e a sua geometria para definir os limites circundantes é determinada. Em casos simples, a geometria de objeto pode ser definida por uma simples caixa circundante ao redor do objeto inteiro com qualquer interespaço requerido (por exemplo, uma distância mínima entre o objeto e qualquer característica na imagem alvo) como abaixo discutido para a Figura 5F. Em casos complexos, a geometria pode requerer uma definição mais ajustada do que uma única caixa circundante. Por exemplo, a geometria de objeto pode ser caracterizada por uma caixa circundante formada para cada caractere como abaixo discutido para a Figura 5E. A seguir, na etapa 413 da Figura 4, o objeto é colocado em volume em 3D que obedece a regras de colocação simples, as quais são de preferência projetadas para minimizar a fadiga sobre o sistema visual humano. As regras de colocação simples geralmente têm um ou mais dos seguintes atributos: nenhum confronto com as características na imagem original; o objeto sempre na frente (alternativamente, o objeto sempre atrás); geometria de objeto simples; tamanho de texto ou objeto; profundidade máxima e mínima; e colocação estática.

As regras de colocação simples podem ser uma origem e um conjunto de opções hierárquicas. Por exemplo, uma regra de colocação simples para um objeto ficar no centro da tela sobre o plano de tela pode ser: Origem: Opções: Se posição x=0, y=0, z=0 estiver indisponível, então 20% à esquerda é preferido seguido por 20% à direita, em qualquer lugar para a esquerda, em qualquer lugar para a direita, em qualquer lugar para frente até um máximo de 50%, então para frente à esquerda, e finalmente para frente à direita. Se nenhuma destas localizações de preferência estiver disponível, então um erro pode ser retornado.

Na etapa 415, as regras de colocação complexas são opcionalmente seguidas em lugar da, ou além da, etapa 413. As regras de colocação complexas podem envolver uma mudança dinâmica para permitir que o objeto tenha movimento com base no movimento de características na imagem original. A colocação complexa tipicamente requer uma definição mais apertada do que uma simples caixa circundante, e assim uma geometria de objeto complexa é frequentemente utilizada. De fato, na colocação complexa, a geometria de objeto pode diferir da original devido a uma transmutação do objeto para satisfazer as preferências de colocação complexas como ilustrado pela Figura 5F a ser abaixo discutida. A colocação complexa pode ser generalizada como tendo um ou mais dos seguintes atributos: regras dinâmicas; confrontos com objetos na imagem original são permitidos; oclusão permitida; geometria de objeto complexa; e colocação dinâmica. Um exemplo de colocação complexa é um objeto gráfico dinâmico o qual parece mover (i) de trás de uma característica na imagem original para (ii) na frente da característica e mais próximo do espectador. Neste exemplo, o objeto gráfico dinâmico está sofrendo uma escalagem, uma rotação, e um movimento dinâmicos, enquanto que a geometria de objeto é também dinâmica. Este inicialmente confronta com, e é oculto pela, característica original na cena, e então evita e oculta a característica original.

Finalmente, na etapa 417 da Figura 4, os valores posicionais que refletem a colocação do objeto podem ser emitidos. Os valores posicionais são expressos como um percentual de largura de tela, um percentual de altura de tela, e um percentual de profundidade percebida. O percentual de profundidade percebida pode ser normalizado para um dispositivo de display representativo. Em uma modalidade específica, o dispositivo de display representativo está caracterizado por uma tela 1000 pixels de largura normalizada de 1 milímetro por pixel de resolução de largura. É apreciado que o diagrama de fluxo 400 aqui descrito é para propósitos ilustrativos somente e que várias modificações ou mudanças à sua luz serão sugeridas para as pessoas versadas na técnica. Em implementações alternativas, as etapas anotadas no diagrama de fluxo 400 podem ocorrer fora da ordem anotada na Figura 4, podem incluir etapas adicionais, e/ou podem omitir algumas etapas no todo. Por exemplo, as etapas 401 e 409 podem de fato ser executadas substancialmente concorrentemente ou em ordem inversa. Todas tais modificações e variações pretendem estar incluídas dentro do escopo desta descrição.

As Figuras 5A-5F ilustram resultados exemplares para o fluxo-grama simplificado 400 acima para a colocação de um objeto em 3D de acordo com uma modalidade da invenção. A Figura 5A mostra as imagens de olho esquerdo e direito da imagem estereoscópica preexistente que pode ser recebida na etapa 401. Os mapas de segmentação descritos na etapa 403 estão mostrados na Figura 5B, e estão sobrepostos na Figura 5C para mostrar a disparidade de separação entre os dois. Um "Objeto de Texto" com um limite circundante simples, uma caixa única, está ilustrado na Figura 5D que corresponde à etapa 411 se uma geometria simples for utilizada. Em comparação, a Figura 5E mostra o mesmo "Objeto de Texto" com uma geometria de objeto complexa, onde os limites circundantes são apertadamente definidos para cada caractere. Para a etapa 415, se tanto a colocação complexa quanto a geometria complexa forem utilizadas, o "Objeto de Texto" pode ser transmutado e exibir atributos de movimento como indicado na Figura 5F.

Apesar de não mostrado no fluxograma 400, a colocação de objeto em 3D, por exemplo, por um dispositivo de composição pode ainda incluir a utilização de um mapa de profundidade de acordo com uma modalidade da invenção. Os mapas de profundidade podem refinar as determinações de profundidade para as características na imagem preexistente, especificamente para as imagens em 3D de múltiplos pontos de vista (por exemplo, as imagens poliscópicas), já que os mapas de profundidade definem mais precisamente a forma em 3D de objetos sobre a análise de deslocamento espacial. A Figura 6A é um exemplo de um mapa de profundidade ' 600 para o par de imagens estereoscópicas da Figura 4A. O mapa de profundidade 600 é monocromático e a profundidade é representada pela luminância. Uma alta luminância é z positivo, na direção do espectador, e uma baixa luminância é z negativo, afastando do espectador. Os mapas de profundidade podem também incluir valores de "confiança" associados que definem a precisão da profundidade medida em cada porção da imagem. O mapa de profundidade 600 sozinho pode ser fatorado com os seus valores de confiança nas regras de colocação de objeto para aperfeiçoar a probabilidade de evitar confrontos entre o objeto inserido e as características na imagem original. A Figura 6B ilustra uma utilização combinada de análise de segmentação com o mapa de profundidade 600. Como acima descrito, o mapa de profundidade 600 provê determinações de forma em 3D aperfeiçoadas; no entanto, os mapas de disparidade de segmentação definem mais precisamente a profundidade perceptiva de características na imagem original. Assim, é vantajoso combinar tanto disparidade de segmentação quanto os mapas de profundidade para uma análise superior da imagem em 3D original. O resultado é que dentro dos limites da segmentação, a forma é definida pelo mapa de profundidade. Efetivamente os valores de confiança do mapa de profundidade são dramaticamente aperfeiçoados.

Em outra modalidade da invenção, as técnicas de profundidade normalizadas são aplicadas por um dispositivo de reprodução ou um dispositivo de composição para ajustar uma imagem estereoscópica existente para uma faixa de profundidade de visualização confortável. Em outras palavras, uma profundidade disponível na frente e atrás de um plano de tela é ajustada para um tamanho de display, assim como uma preferência individual (por exemplo, a preferência do artista de estéreo, ou do usuário final de dispositivo de reprodução). Não obstante que uma faixa de profundidade de visualização confortável é uma preferência individual, um conjunto de regras razoáveis e aproximadas seguem: (i) Tela muito grande (por exemplo, Cinema / l-Max). Toda a profundidade explorável na frente, onde o infinito está sobre o plano de tela e a profundidade positiva máxima está a 60% da distância de espectador. (ii) Tela grande (por exemplo, Cinema). Uma profundidade mais explorável na frente do plano de tela do que atrás (por exemplo, aproximadamente 2/3 de profundidade na frente, 1/3 de profundidade atrás). (iii) Tela pequena (por exemplo, televisão, home theater de projeção). Uma profundidade mais explorável atrás do plano de tela do que na frente (por exemplo, aproximadamente 1/3 de profundidade na frente, 2/3 de profundidade atrás). (iv) Tela muito pequena (por exemplo, display de telefone celular, ou televisão portátil). O infinito está tão atrás do plano de tela quanto possível sem nenhuma profundidade positiva na frente da tela.

Assumindo, como um exemplo para ilustrar as regras acima, que a imagem estereoscópica original foi masterizada com um ponto de infinito Zni = -100, a profundidade positiva máxima é Zn = -40 (dando a profundidade total na cena comc , então a posição de profundidade cor- rigida para o infinito, ZCh é como segue: (i) Tela muito grande. o infinito sobre o plano de tela, a excursão de objeto máxima para fora da tela 60% da distância de espectador. (ii) Tela grande infinito 20% atrás do plano de te- Ia, a excursão de objeto máxima para fora da tela 40% da distância de espectador. (iii) Tela pequene > infinito 40% atrás do plano de tela, a excursão de objeto máxima para fora da tela 20% da distância de espectador. (iv) Tela muito pequena. _ o infinito 60% atrás do plano de tela, nenhuma excursão de objeto para fora da tela.

Um dispositivo que ajusta uma imagem estereoscópica pode utilizar um ou mais de um valor de profundidade normalizado em metadados, um sinalizador que indica que a imagem deve ser ajustada, e metadados adicionais que descrevem o deslocamento de ajuste desejado para uma pluralidade de displays de tamanho predeterminado. Para um tamanho de display não incluído nestes tamanhos predeterminados, o dispositivo pode ou interpolar um valor de deslocamento de ajuste intermediário utilizando os tamanhos predeterminados mais próximos (por exemplo, proporção ponderada, média, média e arredondado, ou ponderação explicita especificada por metadados) ou simplesmente utilizar um valor associado com o tamanho predeterminado mais próximo. Quando esta técnica de ajuste é utilizada, as N imagens de olho esquerdo e direito sobre-escaneadas devem ser providas na sua totalidade. O sobre-escaneamento deve ser suficiente para permitir os ajustes nos dois pontos extremos para os valores de deslocamento de ajuste (por exemplo, as telas menores e maiores para os dispositivos de reprodução pretendidos).

Além disso, o ajuste acima de uma imagem estereoscópica existente pode ser utilizado para corrigir as deficiências em captura de imagem estereoscópica. Por exemplo, quando filmando convergido, os planos de geração de imagem de duas câmeras são inclinados um com relação ao outro e converge sobre o objeto de interesse. O ponto de convergência é assim dependente da disposição física de câmeras de entrada, mas a distância de objeto de reprodução do espectador é ainda dependente de tela. A convergência pode ser ajustada em pós produção deslocando as imagens esquerda e direita horizontalmente uma com relação à outra.

Como outra modalidade da invenção, um meio de armazenamento que grava um programa de instruções está provido. O meio de armazenamento pode ser pelo menos um de: memória de acesso randômico (RAM), SDRAM, memória somente de leitura (ROM), memória somente de leitura programável (PROM), memória somente de leitura programável eletricamente apagável (EEPROM), memória instantânea, disco ótico (por exem-pio, CD-ROM, CD-RW, DVD, DVD-RW, disco blu-ray, disco ótico de ultra densidade (UDO) disco compacto e similares), mídia magnética (por exemplo, fita magnética, disco flexível, unidade de disco rígido e similares), fita de papel, (por exemplo, cartões de puncionamento), armazenamento holográfi-co, e memória molecular. O programa é executável por um dispositivo de display para executar um método para gerar uma saída visual. O método inclui receber os dados de profundidade perceptiva normalizados como uma fração de distância de espectador para pelo menos um objeto. Um deslocamento de separação de pixel é calculado para a(s) dimensão(ões) do dispositivo de display dos dados de profundidade perceptiva. Uma primeira e uma segunda imagens de objeto do pelo menos um objeto são inseridas em uma primeira e uma segunda imagens da imagem estereoscópica. A primeira e a segunda imagens de objeto estão deslocadas pelo deslocamento de separação de pixel. O dispositivo de display visualmente emite a imagem estereoscópica juntamente com o objeto inserido. A Figura 7 ilustra um diagrama simplificado de um sistema de dois projetores em 3D 700 de acordo com uma modalidade da invenção. As técnicas para a projeção estereoscópica polo sistema 700 podem incluir qualquer uma de: (i) Anáglifo - A separação de imagem de canal de olho esquerdo e direito é executada por um filtro de duas cores, comumente vermelho para um olho e ciano para o outro olho. O óculos requerido inclui um primeiro filtro (por exemplo, filtro vermelho) para um olho, e um segundo filtro (por exemplo, filtro ciano) para o outro olho. (ii) Polarização linear - A separação de imagem de canal de olho esquerdo e direito é executada no projetor filtrando uma imagem de olho através de um polarizador linear verticalmente orientado e filtrando a outra imagem de olho através de um polarizador linear horízontalmente orientado. O óculos requerido inclui um polarizador linear verticalmente orientado para um olho e um polarizador linear horizontalmente orientado para o outro olho. (iii) Polarização circular - A separação de imagem de canal de olho esquerdo e direito é executada no projetor filtrando uma imagem de olho através de um polarizador circular esquerdo e filtrando a outra imagem de olho através de um polarizador circular direito. O óculos requerido inclui um polarizador circular esquerdo para um olho e um polarizador circular direito para o outro olho. (iv) Óculos de obturador - A separação de imagem de canal de olho esquerdo e direito é executada multiplexando as imagens no tempo. O óculos requerido inclui óculos de obturador que obturam eletronicamente as lentes em sincronia com a taxa de quadros do projetor. Tipicamente um sinal sem fio ou infravermelho é utilizado para prover uma referência de tempo para os óculos de obturador. (v) Separação espectral - A separação de imagem de canal de olho esquerdo e direito é executada no projetor filtrando espectralmente. Os filtros para a imagem de olho esquerdo e direito cada uma passa uma porção do espectro vermelho, verde, e azul, provendo uma imagem de cor total. O espectro de passagem de banda do filtro de olho esquerdo é complementar ao espectro de passagem de banda do filtro de olho direito. O óculos requerido inclui filtros com as mesmas características espectrais gerais como utilizadas pelo projetor.

No sistema 700, as imagens de canal de olho esquerdo e olho direito são derivadas, decodificadas, recuperadas, ou reconstruídas de da- dos armazenados na unidade de disco 701 (ou recebidos de uma rede ou recepção de transmissão apropriada) pelo servidor 703. Similarmente, um objeto estereoscópico a ser inserido nas imagens de canal de olho esquerdo e olho direito, assim como os seus valores posicionais proporcionais, pode ser armazenado na unidade de disco 701 (ou recebido de uma rede ou recepção de transmissão apropriada). O servidor 703 calcula um deslocamento de separação de pixel para o objeto com base em um ou mais valores posicionais proporcionais, tal como uma profundidade normalizada recebida, e insere os objetos nas imagens de canal com tal deslocamento.

Após a inserção, as imagens de olho esquerdo e olho direito são projetadas de projetores de canal esquerdo e direito 705 e 707 sobre a tela 709 para visualização através de óculos em 3D 711. Se o sistema de projetor em 3D 700 utilizar uma polarização linear ou circular para a separação de canal de imagem de olho esquerdo e direito, então a tela 709 preserva a polarização. As telas do tipo de preservação de polarização disponíveis para utilização como a tela 709 são comumente referidas como uma "tela de prata" devido à sua cor distintiva. O sistema 700 acima foi descrito como um sistema de dois projetores (um para o olho esquerdo e um para o olho direito); no entanto, um único projetor de Cinema D (por exemplo, um projetor digital) pode ser utilizado. Em um sistema de projetor de Cinema D único, as imagens de canal de olho esquerdo e direito são multiplexadas no tempo. Exceto para o caso de óculos de obturador onde nenhum filtro de projeção é requerido, isto significa que os filtros de projeção devem mudar na frequência de multiplexa-ção esquerda / direita. Isto pode ser feito ou com uma roda de filtro no projetor de Cinema D sincronizada com a frequência de multiplexação, ou com um filtro eletronicamente comutado.

Deve ser apreciado que a unidade de disco 701, uma rede apropriada (por exemplo, Internet, WAN, LAN, WiFi, fibra, cabo de vídeo, transmissão de satélite ou similar), ou uma pluralidade de redes apropriadas podem cada uma prover os mesmos dados, tais como os dados posicionais proporcionais, para múltiplos dispositivos de reprodução, ou serialmente, simultaneamente, ou sob demanda. As dimensões de display dos vários dispositivos de reprodução podem variar, e são prováveis variarem dramaticamente para certas modalidades da invenção. Por exemplo, um telefone celular com um display embutido pode receber a mesma imagem e dados de inserção de objeto que um aparelho de televisão doméstico muito maior e no entanto atingir os mesmos resultados de display ajustando apropriadamente o deslocamento de separação de pixel apesar da diferença de tamanho. A invenção pode adequadamente compreender, consistir em, ou consistir essencialmente em, qualquer elemento (as várias partes ou características da invenção) e seus equivalentes como aqui descrito. Ainda a invenção aqui ilustrativamente descrita pode ser praticada na ausência de qualquer elemento, sendo ou não especificamente aqui descrito. Numerosas modificações e variações da invenção são possíveis à luz dos ensinamentos acima. Deve portanto ser compreendido que dentro do escopo das reivindicações anexas, a invenção pode ser praticada de outro modo que como aqui especificamente descrito.

REIVINDICAÇÕES

Claims (12)

1. Método para renderizar pelo menos um objeto em uma imagem estereoscópica para um dispositivo de display, o método compreendendo as etapas de: receber dados de profundidade perceptiva como uma posição proporcional a partir de uma distância de espectador, independentemente das dimensões do dispositivo de display, para o pelo menos um objeto; calcular um deslocamento de separação de pixel com base em uma largura de tela do dito dispositivo de display dos dados de profundidade perceptiva; inserir uma primeira imagem do objeto do pelo menos um objeto em uma primeira imagem da imagem estereoscópica; e inserir uma segunda imagem do objeto do pelo menos um objeto em uma segunda imagem da imagem estereoscópica, em que a primeira imagem de objeto e a segunda imagem de objeto estão deslocada pelo deslocamento de separação de pixel.

2. Método, de acordo com a reivindicação 1, em que o pelo menos um objeto é um texto de legendas.

3. Método, de acordo com a reivindicação 1, em que a primeira imagem de objeto e a primeira imagem são imagens de olho esquerdo, a segunda imagem de objeto e a segunda imagem são imagens de olho direito.

4. Método, de acordo com a reivindicação 1, ainda compreendendo após a inserção, emitir em um fluxo de dados a primeira imagem e a segunda imagem.

5. Método, de acordo com a reivindicação 1, em que a largura de tela é a largura de tela física do dispositivo de display.

6. Método, de acordo com a reivindicação 1, ainda compreendendo computar um deslocamento de separação de pixel normalizado para uma tela normalizada dos dados de profundidade perceptiva recebidos, a tela normalizada tendo uma largura de tela conhecida e uma resolução conhecida, em que o dito cálculo do dito deslocamento de separação de pixel compreende calcular o dito deslocamento de separação de pixel do deslocamento de separação de pixel normalizado e da dita largura de tela do dito dispositivo de display.

7. Método, de acordo com a reivindicação 1, em que a dita tela normalizada é uma tela de 1000 pixels de largura com uma resolução de um milímetro por pixel.

8. Método, de acordo com a reivindicação 1, em que o dispositivo de display é pelo menos um dentre um telefone celular, um reprodutor de mídia portátil, uma televisão, um monitor de computador, e um projetor de cinema.

9. Método para inserção de objetos em uma imagem estereoscópica, o método compreendendo as etapas de transmitir a imagem estereoscópica para um primeiro dispositivo de reprodução; transmitir os dados de profundidade perceptiva como uma posição proporcional a partir da distância de espectador, independentemente das dimensões do primeiro dispositivo de reprodução para pelo menos um objeto para o primeiro dispositivo de reprodução; o primeiro dispositivo de reprodução calculando um primeiro deslocamento de separação de pixel com base em uma largura de tela do primeiro dispositivo de reprodução dos dados de profundidade perceptiva; o primeiro dispositivo de reprodução inserindo as respectivas imagens de objeto do pelo menos um objeto, deslocadas pelo primeiro deslocamento de separação de pixel, em respectivas imagens da imagem estereoscópica; transmitir a imagem estereoscópica para um segundo dispositivo de reprodução; transmitir os dados de profundidade perceptiva como a posição proporcional a partir da distância de espectador, independentemente das dimensões do segundo dispositivo de reprodução, para o segundo dispositivo de reprodução; o segundo o dispositivo de reprodução calculando um segundo deslocamento de separação de pixel com base em uma largura de tela do segundo dispositivo de reprodução dos dados de profundidade perceptiva; o segundo dispositivo de reprodução inserindo as respectivas imagens de objeto do pelo menos um objeto, deslocadas pelo segundo deslocamento de separação de pixel, em respectivas imagens da imagem estereoscópica, em que a largura de tela do primeiro dispositivo de reprodução é diferente da largura de tela do segundo dispositivo de reprodução, de modo que o primeiro deslocamento de separação de pixel é diferente do segundo deslocamento de separação de pixel.

10. Método de acordo com a reivindicação 9, em que uma largura de tela do primeiro dispositivo de reprodução é pelo menos 5 vezes menor do que a largura de tela do segundo dispositivo de reprodução.

11. Método de acordo com a reivindicação 10, em que o primeiro dispositivo de reprodução é um dispositivo portátil.

12. Método de acordo com a reivindicação 9, em que o segundo dispositivo de reprodução compreende dois projetores.