BRPI1005691B1 - método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares - Google Patents

método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares Download PDF

Info

Publication number
BRPI1005691B1
BRPI1005691B1 BRPI1005691-2A BRPI1005691A BRPI1005691B1 BR PI1005691 B1 BRPI1005691 B1 BR PI1005691B1 BR PI1005691 A BRPI1005691 A BR PI1005691A BR PI1005691 B1 BRPI1005691 B1 BR PI1005691B1
Authority
BR
Brazil
Prior art keywords
image data
dimensional image
data
scaling
information
Prior art date
Application number
BRPI1005691-2A
Other languages
English (en)
Inventor
Philip S. Newton
Wiebe De Haan
Johan C. Talstra
Wilhelmus H. A. Bruls
Georgios Parlantzas
Marc Helbing
Christian Benien
Vasanth Philomin
Christiaan Varekamp
Gerardus W. T. Van Der Heijden
Original Assignee
Koninklijke Philips N.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42154692&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI1005691(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips N.V. filed Critical Koninklijke Philips N.V.
Publication of BRPI1005691A2 publication Critical patent/BRPI1005691A2/pt
Publication of BRPI1005691A8 publication Critical patent/BRPI1005691A8/pt
Publication of BRPI1005691B1 publication Critical patent/BRPI1005691B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/293Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

MÉTODO DE COMBINAÇÃO DE DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, PORTADOR DE INFORMAÇÕES COMPREENDENDO DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, DISPOSITIVOS DE GERAÇÃO DE 3D PARA COMBINAR DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, DISPOSITIVO DE EXIBIÇÃO EM 3D PARA COMBINAR DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES E PROGRAMA DE COMPUTADOR PARA COMBINAR DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES Dados de imagem tridimensional [3D] e dados gráficos auxiliares são combinados para exibir em um visor 3D (30). As informações de escalonamento e/ou mudança são obtidas para uso com os dados de imagem 3D. Os dados de imagem 3D são escalonados e/ou mudados de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem 3D escalonados e/ou mudados. Os dados de imagem 3D escalonados e/ou mudados e os dados gráficos auxiliares são combinados de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta.

Description

CAMPO DA INVENÇÃO
A invenção refere-se a um método de combinação de dados de imagem tridimensional [3D] e dados gráficos auxiliares, o método compreendendo a detecção de valores de profundidade que ocorrem nos dados de imagem 3D, e a definição de valores de profundidade auxiliares para os dados gráficos auxiliares dependendo adaptativamente dos valores de profundidade detectados para geração de um sinal de exibição em 3D para exibir o conteúdo da imagem em uma área de exibição pela combinação dos dados de imagem 3D e dos dados gráficos auxiliares com base nos valores de profundidade auxiliares.
A invenção refere-se ainda a um dispositivo de geração de 3D, um dispositivo de exibição em 3D e um programa de computador.
A invenção refere-se ao campo de renderização de dados de imagem 3D, por exemplo, vídeo em 3D em combinação com dados gráficos auxiliares, tais como legendas ou logotipos, em um dispositivo de exibição em 3D de modo que os dados de imagem 3D não obstruam os dados gráficos auxiliares.
HISTÓRICO DA INVENÇÃO
Os dispositivos para geração de dados de vídeo em 2D são conhecidos, por exemplo, dispositivos reprodutores de vídeo como DVD players ou set top boxes que geram sinais digitais de vídeo. O dispositivo de geração deve ser acoplado a um dispositivo de exibição como um aparelho de TV ou monitor. Os dados.de imagem são transferidos do dispositivo de geração por meio de uma interface adequada, preferencialmente uma interface digital de alta velocidade, como HDMI. Estão sendo atualmente propostos dispositivos aperfeiçoados de 3D para geração de dados de imagem tridimensional (3D). Similarmente, estão sendo propostos dispositivos para exibição de dados de imagem 3D.
Para o conteúdo 3D, por exemplo, filmes ou transmissões de TV em 3D, dados gráficos auxiliares adicionais podem ser exibidos em combinação com os dados de imagem, por exemplo, legendas, um logotipo, uma pontuação de jogo, uma ticker tape para notícias financeiras ou outros anúncios ou notícias. 0 documento WO2008/115222 descreve um sistema para combinar texto com conteúdo tridimensional. 0 sistema insere texto ao mesmo nível que o maior valor de profundidade no conteúdo 3D. Um exemplo de conteúdo 3D é uma imagem bidimensional e um mapa de profundidade associado. Neste caso, o valor de profundidade do texto inserido é ajustado para corresponder ao maior valor de profundidade do dito mapa de profundidade. Outro exemplo de conteúdo 3D são diversas imagens bidimensionais e mapas de profundidade associados. Neste caso, o valor de profundidade do texto inserido é continuamente ajustado para corresponder ao maior valor de profundidade de um determinado mapa de profundidade. Outro exemplo de conteúdo 3D é o conteúdo estereoscópico tendo uma imagem do olho direito e uma imagem do olho esquerdo. Neste caso, o texto na imagem do olho esquerdo ou na imagem do olho direito é trocado para corresponder ao maior valor de profundidade na imagem estereoscópica. Ainda, outro exemplo de conteúdo 3D é o conteúdo estereoscópico tendo diversas imagens do olho direito e imagens do olho esquerdo. Neste caso, o texto nas imagens do olho esquerdo ou nas imagens do olho direito é continuamente trocado para corresponder ao maior valor de profundidade nas imagens estereoscópicas. Como resultado, o sistema produz texto combinado com conteúdo 3D, onde o texto não obstrui os efeitos 3D no conteúdo 3D e não gera fadiga visual quando vistos por um expectador.
SUMÁRIO DA INVENÇÃO
O documento WO2008/115222 descreve que os dados gráficos auxiliares devem ser exibidos na frente da parte mais próxima dos dados de imagem. Um problema que ocorre com os atuais sistemas é que a legenda tende a ficar muito próxima do expectador. Descobrimos que os expectadores na prática não apreciam a posição próxima das legendas. Com alguns atuais visores 3D, as propriedades da imagem tendem a diminuir para objetos que são exibidos antes da tela e mais próximos do expectador. Para qualquer exibição estérea, objetos próximos forçam mais os olhos.
A WO2008/044191 descreve a criação de dados gráficos em 3D em um sistema que sobrepõe os dados gráficos em uma imagem de vídeo associada. O documento enfatiza a geração do objeto gráfico, por exemplo, uma legenda em 3D. O objeto gráfico pode ser criado e posicionado em um plano gráfico, plano este sobreposto na imagem de vídeo associada.
A WO2008/038205 descreve a criação de uma exibição de menu 3D em um sistema que sobrepõe dados gráficos em 3D em uma imagem de vídeo em 3D. Os elementos gráficos em 3D, por exemplo, uma legenda em 3D, são sobrepostos em uma direção de profundidade. Os elementos gráficos são posicionados em um plano gráfico ou variação de profundidade, plano ou faixa estes possuindo uma posição de profundidade diferente da imagem de vídeo.
É um objetivo da invenção prover um sistema para combinar os dados gráficos auxiliares e o conteúdo 3D de uma forma mais conveniente em um dispositivo de exibição.
Para esta finalidade, de acordo com um primeiro aspecto da invenção, um método de combinação de dados de imagem tridimensional e dados gráficos auxiliares compreende: obtenção de informações de escalonamento e/ou mudança para uso com os dados de imagem tridimensional, - escalonamento e/ou mudança dos dados de imagem tridimensional de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional escalonados e/ou mudados, combinação dos dados de imagem tridimensional escalonados e/ou mudados e dos dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta.
Um dispositivo de geração de 3D para combinar dados de imagem tridimensional e dados gráficos auxiliares compreende: - meios de obtenção de informações de escalonamento e/ou mudança para uso com os dados de imagem tridimensional, - meios de escalonamento e/ou mudança dos dados de imagem tridimensional de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional escalonados e/ou mudados, meios para combinar os dados de imagem tridimensional escalonados e/ou mudados e os dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta.
Um dispositivo de exibição em 3D para combinar dados de imagem tridimensional e dados gráficos auxiliares compreende: - meios de obtenção de informações de escalonamento e/ou mudança para uso com os dados de imagem tridimensional, - meios de escalonamento e/ou mudança dos dados de imagem tridimensional de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional escalonados e/ou mudados, meios para combinar os dados de imagem tridimensional escalonados e/ou mudados e os dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta.
Um portador de informações compreende dados de imagem tridimensional e dados gráficos auxiliares, o portador de informações compreende ainda: - informações de escalonamento e/ou mudança para uso com os dados de imagem tridimensional, de modo a permitir o escalonamento e/ou mudança dos dados de imagem tridimensional de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional escalonados e/ou mudados, e subsequente combinação dos dados de imagem tridimensional escalonados e/ou mudados e os dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta.
Observa-se que a área espacial de tarja preta é uma área no plano de um visor que não é ocupada por nenhum dado de imagem tridimensional. Portanto, as ditas informações de escalonamento e/ou mudança referem-se ao escalonamento e/ou mudança dentro da direção do plano de exibição. Consequentemente, as ditas informações de escalonamento e/ou mudança não se referem ao escalonamento e/ou mudança dentro da direção de profundidade perpendicular ao plano de exibição.
De acordo com outro aspecto da invenção, no método conforme descrito no parágrafo de abertura, a detecção dos valores de profundidade compreende a detecção de uma área de atenção nos dados de imagem 3D e a determinação de um padrão de profundidade para a área de atenção, e a definição dos valores de profundidade auxiliares compreende a definição dos valores de profundidade auxiliares que dependem do padrão de profundidade.
De acordo com outro aspecto da invenção, o dispositivo de geração de 3D para combinar dados de imagem tridimensional e dados gráficos auxiliares conforme descritos no parágrafo de abertura, compreende meios de processamento de imagem 3D para detecção de valores de profundidade que ocorrem nos dados de imagem 3D, e definição de valores de profundidade auxiliares para os dados gráficos auxiliares dependendo adaptativamente dos valores de profundidade detectados para geração de um sinal de exibição em 3D para exibir o conteúdo da imagem em uma área de exibição pela combinação dos dados de imagem 3D e dos dados gráficos auxiliares com base nos valores de profundidade auxiliares, em que os meios de processamento de imagem 3D são providos para detecção dos valores de profundidade e compreendem a detecção de uma área de atenção nos dados de imagem 3D e a determinação de um padrão de profundidade para a área de atenção, e a definição dos valores de profundidade auxiliares compreende a definição dos valores de profundidade auxiliares que dependem do padrão de profundidade.
De acordo com outro aspecto da invenção, o dispositivo de exibição em 3D para combinar dados de imagem tridimensional e dados gráficos auxiliares conforme descritos no parágrafo de abertura, compreende um visor 3D para exibir dados de imagem 3D, e meios de processamento de imagem 3D para detecção de valores de profundidade que ocorrem nos dados de imagem 3D, e definição de valores de profundidade auxiliares para os dados gráficos auxiliares dependendo adaptativamente dos valores de profundidade detectados para geração de um sinal de exibição em 3D para exibir o conteúdo da imagem em uma área de exibição pela combinação dos dados de imagem 3D e dos dados gráficos auxiliares com base nos valores de profundidade auxiliares, em que os meios de processamento de imagem 3D são providos para detecção dos valores de profundidade e compreendem a detecção de uma área de atenção nos dados de imagem 3D e a determinação de um padrão de profundidade para a área de atenção, e a definição dos valores de profundidade auxiliares compreende a definição dos valores de profundidade auxiliares que dependem do padrão de profundidade.
As medidas têm o efeito que a detecção da área de atenção permite que o sistema estabeleça para quais elementos a atenção dos expectadores será direcionada quando o expectador observar os dados auxiliares. A detecção de valores de profundidade que ocorrem nos dados de imagem 3D significa calcular estes valores a partir da imagem da esquerda e da direita em um formato 3D esquerdo/direito, ou utilizando os dados de profundidade a partir de uma transmissão 2D + profundidade, ou derivando estes valores de profundidade a partir de qualquer outro formato de imagem 3D como a transmissão Esquerda + Direita + Profundidade. O padrão de profundidade é determinado para a área de atenção detectada. O sistema especificamente define os valores de profundidade auxiliares dependendo do padrão de profundidade, por exemplo, substancialmente na mesma profundidade que a área de atenção ou na frente de uma área de atenção onde nenhum outro objeto está localizado próximo do usuário. Na área de exibição dos dados gráficos auxiliares que os dados de imagem 3D não obstruem os dados gráficos auxiliares, ou seja, não contém nenhum dado de imagem em uma posição mais à frente. Deve ser observado que, em outras áreas do conteúdo da imagem em 3D, outros objetos podem ter uma posição mais à frente, ou seja, mais próximos do usuário. De forma vantajosa, um expectador não terá os efeitos indesejados na percepção da profundidade dos elementos que ele está visualizando e não precisa substancialmente ajustar a profundidade do foco ao mudar da observação dos dados gráficos auxiliares para a área de atenção.
A invenção também tem como base o seguinte reconhecimento. 0 documento da técnica anterior descreve o posicionamento do texto em uma profundidade antes do elemento mais próximo na imagem. Os inventores observaram que este posicionamento empurra o texto para frente por qualquer elemento exibido próximo do usuário. A posição à frente do texto provoca fadiga e é considerada indesejada. O atual sistema provê uma posição mais para trás dos dados gráficos auxiliares, que é mais complexa de criar, porém é apreciada pelos expectadores. Tipicamente, as informações gráficas auxiliares são posicionadas menos à frente que o objeto mais próximo, porém também na ou antes da superfície da tela. De modo geral, a qualidade e a nitidez da imagem são ideais na superfície da tela, porém isto pode depender do tipo de visor e do assunto e do tamanho dos dados gráficos auxiliares.
Em uma configuração do sistema, a detecção de uma área de atenção compreende a detecção de um objeto de atenção nos dados de imagem 3D, e o padrão de profundidade é baseado nos valores de profundidade do objeto. O objeto de atenção é o objeto no qual a atenção do expectador deve ser focada, por exemplo, um alto-falante em um talk show ou um personagem principal atuando em uma cena. 0 efeito é que a posição de profundidade do objeto de atenção determina a posição de profundidade dos dados gráficos auxiliares. De forma vantajosa, o expectador não precisa mudar o foco dos seus olhos ao mudar para a leitura dos dados gráficos auxiliares. Opcionalmente, a dita detecção do objeto de atenção nos dados de imagem 3D é baseada em pelo menos um dentre: detecção de elementos de imagem que estão em foco, em relação a outros elementos de imagem que estão fora de foco; detecção, para elementos de imagem, de uma quantidade de dados 3D adicionais para exibir o elemento de imagem em relação ao fundo, tais como dados de oclusão ou dados de transparência; - detecção, para elementos de imagem, de pistas de profundidade compreendendo pelo menos um dentre: diferenças no movimento, profundidade, luminosidade e cor em relação ao fundo; - detecção de elementos de imagem predeterminados, tais como faces humanas; - detecção, para elementos de imagem, de pistas de posição compreendendo pelo menos um dentre: estar localizada próxima do centro da área de exibição e ter pelo menos um tamanho predeterminado em relação à área de exibição.
Em uma configuração do sistema, a detecção da área de atenção compreende a seleção de uma região-alvo para posicionar os dados gráficos auxiliares, e o padrão de profundidade é baseado nos valores de profundidade da região- alvo. O efeito é que os dados auxiliares, quando localizados na região-alvo, são posicionados em uma profundidade que é proporcional ao padrão de profundidade da região-alvo circunvizinha. Deve ser observado que em outras regiões da área de exibição, os objetos podem ter uma posição mais à frente que os dados gráficos auxiliares. De forma vantajosa, a área da região-alvo é selecionada de modo que, na localização dos dados gráficos auxiliares, nenhum objeto esteja mais à frente, ao passo que os objetos na área de exibição distante da dita localização estejam mais à frente.
Especificamente, em outra configuração do sistema, a seleção da região-alvo compreende a subdivisão da área de exibição em múltiplas regiões e a detecção do padrão de profundidade é baseada na filtragem espacial dos valores de profundidade das múltiplas regiões de acordo com uma função de filtro espacial dependendo da região-alvo. O efeito é que a filtragem espacial aplica um peso relativo aos vários objetos à frente dependendo de sua distância em relação à área-alvo.
Especificamente, em outra configuração do sistema, a seleção da região-alvo compreende pelo menos um dentre: selecionar, como a região-alvo, uma região dos dados de imagem onde não ocorre nenhum valor de profundidade maior que os valores de profundidade auxiliares; selecionar um período no tempo para exibir os dados auxiliares de modo que, na região-alvo, não ocorra nenhum valor de profundidade maior que os valores de profundidade auxiliares; seleção, como a região-alvo, de uma área do visor onde nenhum dado de imagem é exibido e, consequentemente, ocorre a redução do tamanho dos dados de imagem para acomodação na área de exibição remanescente. O efeito é que a localização e/ou aparecimento dos dados gráficos auxiliares são ajustadas de acordo com os reais dados de imagem 3D, ou seja, o local e o momento em que os dados gráficos auxiliares serão exibidos dependem do conteúdo exibido.
Em uma configuração do sistema, a determinação do padrão de profundidade compreende a detecção de valores de profundidade em múltiplos quadros de conteúdo de vídeo e a filtragem temporal dos valores de profundidade de acordo com uma função de filtro temporal. O efeito é que a filtragem temporal suaviza as diferenças de profundidade de elementos que se movem ou (des) aparecem nos dados de imagem 3D. De forma vantajosa, o valor de profundidade auxiliar tem o tempo ajustado de forma controlada. Opcionalmente, a dita determinação do padrão de profundidade compreende a definição de um intervalo de tempo para a função de filtro temporal com base na detecção de limites de cena nos múltiplos quadros de conteúdo de vídeo.
Outras configurações preferidas do método, dispositivos 3D e sinal de acordo com a invenção são mostradas nas reivindicações anexas, cuja revelação é aqui incorporada por referência.
É outro objetivo da presente invenção prover um método de combinação de dados de imagem tridimensional [3D] e dados gráficos auxiliares, o método compreendendo a obtenção de informações de escalonamento e/ou mudança para uso com os dados de imagem tridimensional [3D], escalonamento e/ou mudança dos dados de imagem tridimensional [3D] de acordo com as informações de escalonamento e/ou mudança, respectivamente, combinação dos dados de imagem tridimensional [3D] escalonados e/ou mudados e os dados gráficos auxiliares de modo que pelo menos parte dos dados gráficos auxiliares seja colocada entro de uma área espacial definida pelos dados de imagem tridimensional [3D] que não é ocupada pelos dados de imagem tridimensional [3D] escalonados e/ou mudados. Além disso, a presente invenção provê um dispositivo de geração de 3D de acordo com a reivindicação 10, um dispositivo de exibição em 3D de acordo com a reivindicação 11 e um portador digital de informações de acordo com a reivindicação 12.
BREVE DESCRIÇÃO DOS DESENHOS
Estes e outros aspectos da invenção ficarão evidentes e serão ainda elucidados com referência às configurações descritas por meio de exemplo na descrição a seguir e com referência aos desenhos anexos, nos quais: A Figura 1 mostra um sistema para exibir dados de imagem tridimensional (3D), A Figura 2 mostra um exemplo de dados de imagem 3D, A Figura 3 mostra dados gráficos auxiliares posicionados em uma profundidade auxiliar, A Figura 4 mostra dados gráficos auxiliares posicionados em uma profundidade auxiliar em uma região-alvo, A Figura 5 mostra a subdivisão da área de exibição, A Figura 6 mostra um exemplo de dados de imagem escalonados de forma descendente, A Figura 7 mostra um exemplo de dados de imagem escalonados de forma descendente em bordas pretas, A Figura 8 mostra uma camada de legendas e gráficos em vídeo, A Figura 9 mostra o escalonamento do vídeo para dar espaço às legendas e janelas oscilantes, e A Figura 10 mostra um escalonamento combinado e a mudança do vídeo para acomodar as legendas.
Nas Figuras, os elementos que correspondem a elementos já descritos possuem os mesmos números de referência.
DESCRIÇÃO DETALHADA DAS CONFIGURAÇÕES
A Figura 1 mostra um sistema para exibir dados de imagem tridimensional (3D), por exemplo, vídeo, gráficos ou outras informações visuais. Um dispositivo 10 de geração de 3D é acoplado a um dispositivo 13 de exibição em 3D para transferir um sinal 56 de exibição em 3D. O dispositivo de geração de 3D possui uma unidade de entrada 51 para receber informações de imagem. Por exemplo, um dispositivo da unidade de entrada pode incluir uma unidade de disco óptico 58 para recuperar vários tipos de informações de imagem a partir de um portador de registro óptico 54 . como um DVD ou disco BluRay. Alternativamente, a unidade de entrada pode incluir uma unidade de interface de rede 59 para acoplamento a uma rede 55, por exemplo, a internet ou uma rede de transmissão, sendo este dispositivo geralmente denominado um set-top box. Os dados de imagem podem ser recuperados de um servidor de mídia remoto 57. O dispositivo de geração também pode ser um receptor de satélite ou um servidor de mídia que envia diretamente os sinais de exibição, ou seja, qualquer dispositivo adequado que envie um sinal de exibição em 3D a ser diretamente acoplado a uma unidade de exibição. 0 dispositivo de geração de 3D possui uma unidade de processamento 52 de imagem acoplada à unidade de entrada 51 para processar as informações de imagem para geração de um sinal 56 de exibição em 3D a ser transferido por meio de uma unidade de interface de saída 12 até o dispositivo de exibição. A unidade de processamento 52 é disposta para gerar os dados de imagem incluídos no sinal 56 de exibição em 3D para exibição no dispositivo de exibição 13. 0 dispositivo de geração é provido de elementos de controle do usuário 15, para controlar os parâmetros de exibição dos dados de imagem, tais como, contraste ou parâmetro de cor. Estes elementos de controle do usuário são bem conhecidos e podem incluir uma unidade de controle remoto que tem vários botões e/ou funções de controle de cursor para controlar as várias funções do dispositivo de geração de 3D, por exemplo, as funções de reprodução e gravação, e para definir os ditos parâmetros de exibição, por exemplo, por meio de uma interface gráfica de usuário e/ou menus. 0 dispositivo de geração possui uma unidade auxiliar 11 de processamento de imagem para processar dados gráficos auxiliares a serem combinados com os dados de imagem 3D no visor 3D. Os dados gráficos auxiliares podem ser quaisquer dados de imagem adicionais que devem ser combinados com o conteúdo da imagem em 3D, por exemplo, legendas, um logotipo de uma rede de TV, um menu ou mensagem de sistema, códigos de erro, flashes de notícias, ticker tape, etc. No texto abaixo, será geralmente utilizada legenda como indicação de todo tipo de dados gráficos auxiliares. Os meios 11,52 de processamento de imagem 3D são providos para as seguintes funções. Os valores de profundidade que ocorrem nos dados de imagem 3D são detectados primeiro.. Com base neles, os valores de profundidade auxiliares para os dados gráficos auxiliares são definidos dependendo adaptativamente dos valores de profundidade detectados. Subsequentemente, um sinal 56 de exibição em 3D é gerado para exibir o conteúdo da imagem em uma área de exibição em um visor 3D. Para tanto, os dados de imagem 3D e os dados gráficos auxiliares são combinados com base nos valores de profundidade auxiliares. Os meios de processamento de imagem 3D são providos para detecção dos valores de profundidade como segue. Uma área de atenção nos dados de imagem 3D é detectada onde o expectador deve ter sua atenção focada enquanto os dados gráficos auxiliares devem ser exibidos. A área de atenção pode ser uma área onde as informações auxiliares devem ser exibidas, ou a área próxima da área de exibição dos dados auxiliares, ou qualquer objeto ou elemento em qualquer outro local na imagem que é determinada para ser o elemento no qual os olhos do expectador ficarão focados.
Subsequentemente, um padrão de profundidade é determinado para a área de atenção, ou seja, um conjunto de valores de profundidade para a área de atenção. Por exemplo, os valores máximo e mínimo que ocorrem na dita área pode ser determinados, e o padrão de profundidade pode ser a média. Também, um padrão de profundidade que ocorre no tempo pode ser determinado. Outros detalhes são explicados abaixo. Com base no padrão de profundidade da área de atenção, os valores de profundidade auxiliares são definidos, por exemplo, no mesmo valor que o valor médio de profundidade acima mencionado do padrão de profundidade, ou antes que quaisquer elementos dos dados de imagem 3D ocorram localmente na área de exibição auxiliar. Outros exemplos de filtragem temporal ou espacial dos dados de imagem são mostrados abaixo. 0 dispositivo 13 de exibição em 3D serve para exibir dados de imagem 3D. O dispositivo possui uma unidade de interface de entrada 14 para recepção do sinal 56 de exibição em 3D incluindo os dados de imagem 3D e os dados gráficos auxiliares transferidos a partir do dispositivo de geração 10. O dispositivo de exibição é provido de outros elementos de controle do usuário 16, para definição dos parâmetros de exibição do visor, por exemplo, parâmetros de contraste, cor ou profundidade. Os dados de imagem transferidos são processados na unidade de processamento de imagem 18 de acordo com os comandos de definição a partir dos elementos de controle do usuário e geração de sinais de controle de exibição para exibir os dados de imagem 3D no visor 3D com base nos dados de imagem 3D. O dispositivo possui um visor 3D 17 que recebe os sinais de controle de exibição para exibir os dados de imagem processados, por exemplo, um LCD duplo ou lenticular. O dispositivo de exibição 13 pode ser qualquer tipo de visor estereoscópico, também chamado visor 3D, e possui uma variação de profundidade de exibição indicada pela seta 44. Os dados gráficos auxiliares, com os valores de profundidade auxiliares e, se necessário, outros dados de exibição como a posição x,y, são recuperados do sinal de exibição e combinados com os dados de imagem 3D no visor 17.
Alternativamente, o processamento para posicionar os dados gráficos auxiliares é realizado no dispositivo de exibição. Os dados de imagem 3D e os dados gráficos auxiliares são transferidos por meio do sinal de exibição 56, e o dispositivo de exibição possui uma unidade auxiliar de processamento 19. A unidade auxiliar de processamento de imagem 19 processa os dados gráficos auxiliares a serem combinados com os dados de imagem 3D no visor 3D. Os meios 19,18 de processamento de imagem 3D são providos para as correspondentes funções conforme descrito acima para os meios 11,52 de processamento de imagem 3D no dispositivo de geração. Em outra configuração, o dispositivo de geração e o dispositivo de exibição são combinados em um único dispositivo, onde um único conjunto de meios de processamento de imagem 3D realiza as ditas funções.
A Figura 1 mostra ainda um portador de registro 54 como um portador dos dados de imagem 3D. O portador de registro tem formato de disco e possui uma trilha e um orifício central. A trilha, constituída por uma série de marcas fisicamente detectáveis, é disposta de acordo com um padrão espiral ou concêntrico de voltas que constituem substancialmente trilhas paralelas em uma camada de informações. 0 portador de registro pode ser opticamente legível, denominado disco óptico, por exemplo, um CD, DVD ou BD (Blue-ray Disc). As informações são representadas na camada de informações pelas marcas opticamente detectáveis ao longo da trilha, por exemplo, pits e lands. A estrutura da trilha compreende também informações de posição, por exemplo, cabeçalhos e endereços, para indicação da localização de unidades de informação, geralmente denominados blocos de informação. O portador de registro 54 porta informações que representam dados de imagem digitalmente codificados como vídeo, por exemplo, codificados de acordo com o sistema de codificação MPEG2 ou MPEG4, em um formato de gravação predefinido como o formato de DVD ou BD.
A seção a seguir apresenta uma visão geral de visores tridimensionais e a percepção da profundidade por humanos. Os visores 3D diferem dos visores 2D pelo fato de que podem prover uma percepção mais vívida da profundidade. Isto é alcançado uma vez que eles oferecem mais sinais de indicação de profundidade que os visores 2D que podem mostrar somente sinais de indicação de profundidade monocular e sinais de indicação com base no movimento.
Os sinais de indicação de profundidade monocular (ou estática) podem ser obtidos a partir de uma imagem estática utilizando um único olho. Os pintores geralmente utilizam sinais de indicação monoculares para criar uma sensação de profundidade em suas pinturas. Estes sinais de indicação incluem o tamanho relativo, a altura relativa ao horizonte, oclusão, perspectiva, gradientes de textura e iluminação/sombras. Os sinais de indicação oculomotores são sinais de indicação de profundidade derivados da tensão nos músculos dos olhos dos expectadores. Os olhos possuem músculos para realizar a rotação ocular, bem como expandir o cristalino. A expansão e o relaxamento do cristalino são chamados acomodação e são realizados quando se foca em uma imagem. A quantidade de expansão ou relaxamento dos músculos do cristalino fornece um sinal de indicação sobre quão perto ou longe está um objeto. A rotação ocular é feita de modo que ambos os olhos foquem o mesmo objeto, o que é chamando convergência. Por fim, a paralaxe, do movimento é o efeito que objetos próximos de um expectador parecem se mover mais rápido que os objetos mais distantes.
A disparidade binocular é um sinal de indicação de profundidade derivado do fato de que ambos os nossos olhos enxergam uma imagem discretamente diferente. Os sinais de indicação de profundidade monocular podem ser e são utilizados em qualquer tipo de exibição visual 2D. Para recriar a disparidade binocular em um visor, exige-se que o visor possa segmentar a visualização para o olho esquerdo e direito de modo que cada um veja uma imagem discretamente diferente no visor. Os visores que podem recriar a disparidade binocular são visores especiais que serão denominados visores 3D ou visores estereoscópicos. Os visores 3D são capazes de exibir imagens ao longo de uma dimensão de profundidade de fato percebida pelos olhos humanos, denominado visor 3D que tem uma variação de profundidade de exibição neste documento. Portanto, os visores 3D proporcionam uma visualização diferente para os olhos esquerdo e direito.
Os visores 3D que podem prover duas visões diferentes são conhecidos há muito tempo. A maioria deles era baseada no uso de óculos para separar a visualização do olho esquerdo e do olho direito. Atualmente, com o avanço da tecnologia de exibição, entraram no mercado novos visores que podem prover uma visualização estérea sem utilizar óculos. Esses visores são denominados visores auto-estereoscópicos.
Uma primeira abordagem é baseada nos visores de LCD que permitem ao usuário ver um vídeo estéreo sem óculos. Estes são baseados em uma de duas técnicas, a tela lenticular e os visores de barreira. Com o visor lenticular, o LCD é sobreposto por uma camada de lentes lenticulares. Estas lentes causam a difração da luz do visor, de modo que o olho esquerdo e o olho direito recebam luz de diferentes pixels. Isto permite duas diferentes imagens, uma visualização para o olho esquerdo e uma visualização para o olho direito.
Uma alternativa à tela lenticular é o visor de barreira, que utiliza uma barreira paralaxe atrás do LCD e na frente da luz de fundo para separar a luz dos pixels no LCD. A barreira é tal que, a partir de uma posição definida na frente da tela, o olho esquerdo visualiza pixels diferentes daqueles observados pelo olho direito. A barreira também pode estar entre o LCD e o expectador humano, de modo que os pixels em uma fileira visor sejam alternadamente visíveis pelos olhos esquerdo e direito. Um problema com o visor de barreira é a perda de brilho e de resolução, mas também um ângulo de visão muito estreito. Isto o torna menos atraente como uma TV para sala de estar se comparado à tela lenticular que, por exemplo, possui 9 visualizações e múltiplas zonas de visualização.
Outra abordagem é ainda baseada no uso de óculos persiana em combinação com projetores de alta resolução que podem exibir quadros em uma alta taxa de atualização (por exemplo, 120 Hz) . A alta taxa de atualização é necessária, pois, com o método dos óculos persiana, as visualizações do olho esquerdo e do olho direito são alternadamente exibidas. O expectador que usa os óculos percebe o vídeo estéreo a 60 Hz. O método dos óculos persiana permite um vídeo de alta qualidade e alto nível de profundidade.
Tanto os visores auto-estereoscópicos como o método de óculos persiana apresentam o problema de disparidade da convergência da acomodação. Isto limita a quantidade de profundidade e o tempo de visualização que pode ser confortável utilizando estes dispositivos. Existem outras tecnologias de visor, por exemplo, visores holográficos e volumétricos, que não apresentam este problema. Observa-se que a presente invenção pode ser utilizada para qualquer tipo de visor 3D que tenha uma variação de profundidade.
Assume-se que os dados de imagem dos visores 3D estão disponíveis como dados eletrônicos, geralmente digitais. A presente invenção refere-se a estes dados de imagem e manipula os dados de imagem no domínio digital. Os dados de imagem, quando transferidos de uma fonte, já podem conter informações 3D, por exemplo, utilizando câmeras duplas, ou um sistema dedicado de pré-processamento pode ser envolvido para (re-)criar as informações 3D a partir de imagens 2D. Os dados de imagem podem ser slides do tipo estático ou podem incluir filmes do tipo de vídeo em movimento. Outros dados de imagem, geralmente denominados dados gráficos, podem estar disponíveis como objetos armazenados ou gerados on the fly conforme exigido por uma aplicação. Por exemplo, as informações de controle pelo usuário, tais como menus, itens de navegação ou anotações de texto e ajuda, podem ser adicionadas a outros dados de imagem.
Existem várias formas diferentes nas quais as imagens estéreas podem ser formatadas, denominadas formato de imagem 3D. Alguns formatos são baseados no uso de um canal 2D para também conter as informações estéreas. Por exemplo, as visualizações esquerda e direita podem ser interligadas ou colocadas lado a lado e acima e abaixo. Estes métodos sacrificam a resolução para conter as informações estéreas. Outra opção é sacrificar a cor, abordagem esta denominada estéreo anaglífico. 0 estéreo anaglífico utiliza a multiplexação espectral que é baseada na exibição de duas imagens separadas sobrepostas em cores complementares. Ao usar óculos com filtros coloridos, cada olho visualiza somente a imagem da mesma cor como sendo do filtro na frente do olho. Então, por exemplo, o olho direito somente visualiza a imagem vermelha e o olho esquerdo somente a imagem verde.
Um formato 3D diferente é baseado nas duas visualizações utilizando uma imagem 2D e uma imagem de profundidade adicional, um assim chamado mapa de profundidade, que transmite informações sobre a profundidade de objetos na imagem 2D. 0 formato chamado imagem + profundidade é diferente pelo fato de ser uma combinação de uma imagem 2D com a assim chamada "profundidade", ou mapa de disparidade. Esta é uma imagem em escala cinza, por meio da qual o valor da escala cinza de um pixel indica a quantidade de disparidade (ou profundidade no caso de um mapa de profundidade) para o pixel correspondente na imagem 2D associada. O dispositivo de exibição utiliza a disparidade, a profundidade ou o mapa paralaxe para calcular as visualizações adicionais utilizando a imagem 2D como entrada. Isto pode ser realizado de várias formas. Na forma mais simples, é uma questão de mudança de pixels para a esquerda ou para a direita dependendo do valor de disparidade associado àqueles pixels. O artigo intitulado "renderização, compressão e transmissão baseadas na imagem de profundidade para uma nova abordagem em TV 3D" por Christoph Fehn permite uma visão geral excelente da tecnologia (vide http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf). A Figura 2 mostra um exemplo de dados de imagem 3D.
A parte esquerda dos dados de imagem é uma imagem 2D 21, geralmente colorida, e a parte direita dos dados de imagem é um mapa de profundidade 22. As informações de imagem 2D podem ser representadas em qualquer formato de imagem adequado. As informações de mapa de profundidade podem ser uma transmissão de dados adicionais que tem um valor de profundidade para cada pixel, possivelmente em uma resolução reduzida em comparação à imagem 2D. No mapa de profundidade, os valores da escala cinza indicam a profundidade do pixel associado na imagem 2D. A cor branca indica proximidade ao expectador e a cor negra indica uma grande profundidade distante do expectador. Um visor 3D pode calcular a visualização adicional necessária para estéreo utilizando-se o valor de profundidade do mapa de profundidade e calculando-se as transformações de pixel necessárias. As oclusões podem ser resolvidas utilizando-se técnicas de cálculo ou de preenchimento. Quadros adicionais podem ser incluídos na transmissão de dados, ou seja, ainda adicionados à imagem e ao formato de mapa de profundidade, como um mapa de oclusão, um mapa paralaxe e/ou um mapa de transparência para objetos transparentes que se movem na frente de um fundo.
A adição de estéreo ao vídeo também influencia o formato do vídeo quando este é enviado de um dispositivo de reprodução, por exemplo, um dispositivo reprodutor de disco Blu-ray, para um visor estéreo. No caso de 2D, somente uma transmissão de vídeo em 2D é enviada (dados de imagem decodificados). Com o vídeo estéreo, isto aumenta, pois, agora, uma segunda transmissão deve ser enviada contendo a segunda visualização (para estéreo) ou um mapa de profundidade. Isto poderia dobrar a taxa de bits necessária na interface elétrica. Uma abordagem diferente é sacrificar a resolução e o formato da transmissão, de modo que a segunda visualização ou o mapa de profundidade sejam interligados ou colocados lado a lado com o vídeo em 2D.
A Figura 2 mostra um exemplo de dados 2D e um mapa de profundidade. Os parâmetros de exibição de profundidade são enviados ao visor para permitir que este interprete corretamente as informações de profundidade. Exemplos de inclusão de informações adicionais em vídeo são descritas no padrão ISO 23002-3 "Representação de informações auxiliares de vídeo e complementares" (vide, por exemplo, ISO/IEC JTC1/SC29/WG11 N8259 de julho de 2007). Dependendo do tipo de transmissão auxiliar, os dados de imagem adicionais consistem em quatro ou dois parâmetros. Um parâmetro no sinal de exibição pode indicar ou alterar o formato de transferência de vídeo em 3D.
Em uma configuração, a dita detecção de uma área de atenção compreende a detecção de um objeto de atenção nos dados de imagem 3D. Subsequentemente, o padrão de profundidade é baseado nos valores de profundidade do objeto.
Observa-se que a inserção de legendas sempre na profundidade da tela causa alguns problemas na visualização. Quando um objeto está na profundidade da tela, um visor auto- estereoscópico o mostra na resolução mais alta. A resolução diminuirá se um objeto for exibido tanto na frente como atrás da superfície do visor. Para visores estereoscópicos que necessitam de óculos, a profundidade da tela também pode ser a melhor profundidade desde que o ponto onde os olhos esteja na mesma localização quer o ponto de convergência dos olhos. No entanto, a profundidade da tela não parece ser a melhor colocação, pois algumas legendas são sempre visualizadas com o correspondente conteúdo da imagem em 3D. Isso significa que pode ser desconfortável para um expectador alternar entre legendas e objeto quando o objeto de atenção no vídeo em 3D não fica disposto na profundidade da tela, porém as legendas sim. Portanto, a profundidade das legendas é definida na mesma profundidade do objeto de atenção. Por exemplo, o ator que fala, que é provavelmente o objeto de atenção, servirá como um elemento de referência, e sua profundidade será capturada e utilizada para as legendas.
A Figura 3 mostra dados gráficos auxiliares posicionados em uma profundidade auxiliar. A parte esquerda da Figura mostra um visor 3D 3 0 em vista frontal. A parte direita da Figura mostra o mesmo visor em uma vista lateral 34. Na Figura, as legendas 31 são colocadas em uma borda 33 da imagem/fora da área da imagem 3 5 a uma profundidade que corresponde à profundidade da parte da imagem que provavelmente deve estar no foco de atenção do expectador.
A área de atenção 32 é mostrada como um objeto no centro da imagem. Para detecção da área de atenção, diversas funções de análise podem ser aplicadas em qualquer combinação adequada. Para detecção do objeto de atenção nos dados de imagem 3D, a análise pode ser baseada pelo menos em uma dentre as seguintes funções de processamento de imagem. Os elementos de imagem que estão em foco podem ser detectados em relação a outros elementos de imagem que estão fora de foco. A detecção do foco local de objetos é assim conhecida e pode ser baseada em conteúdo de frequência espacial e outros parâmetros de imagem. Para elementos de imagem, uma quantidade de dados 3D adicionais pode ser detectada para exibir o elemento de imagem em relação ao fundo, por exemplo, dados de oclusão ou dados de transparência. Se o formato de vídeo em 3D incluir estes dados, a real presença destes dados para um objeto indica que ele deve ser renderizado com alta qualidade na frente de um fundo. Para elementos de imagem, podem ser detectadas pistas de profundidade, tais como diferenças no movimento, profundidade, luminosidade e cor em relação ao fundo. Estas pistas de profundidade são indicativas da atenção que o usuário prestará no respectivo objeto. Objetos específicos e outros elementos de imagem predeterminados podem ser reconhecidos e classificados, por exemplo, faces humanas, carros, a bola em um jogo de rugby ou futebol, etc. Também, para elementos de imagem, pistas de posição podem ser detectadas, por exemplo, localizada próximas do centro da área de exibição, e/ou ter pelo menos um tamanho predeterminado em relação à área de exibição.
A Figura 4 mostra dados gráficos auxiliares posicionados em uma profundidade auxiliar em uma região-alvo. O visor e a legenda substancialmente correspondem à Figura 3. No entanto, a legenda 31 está agora posicionada na mesma área de exibição 35 que também exibe os dados de imagem. Na configuração, as legendas são posicionadas na área de exibição 35 por meio da seleção dinâmica de uma posição x,y no visor. A posição dos dados gráficos auxiliares é selecionada em uma região-alvo 41. Portanto, a detecção da área de atenção inclui agora a seleção de uma região-alvo para posicionar os dados gráficos auxiliares. O padrão de profundidade é agora baseado em valores de profundidade da região-alvo. O valor de profundidade auxiliar pode ser definido dependendo do padrão de profundidade da região-alvo. O valor de profundidade auxiliar também pode ser definido dependendo tanto do objeto de atenção 32 discutido acima como do próprio padrão de profundidade da região-alvo.
Em uma configuração, a profundidade e/ou paralaxe de legendas é fornecida como metadados com o vídeo tanto por quadro como por grupo de quadros. O produtor do filme ou a equipe de pós-produção pode gerar estes metadados utilizando uma ferramenta de criação que desempenha a função de detecção da dita área de atenção nos dados de imagem 3D e a determinação do padrão de profundidade para a área de atenção, bem como a definição dos valores de profundidade auxiliares dependendo do padrão de profundidade.
Observa-se que a colocação de camadas sobre as informações gráficas dinamicamente no valor de profundidade mais próximo para cada quadro, como na WO2008/115222, leva a saltos de profundidade frequentes das camadas entre os quadros. A colocação das camadas em um valor de profundidade fixo para múltiplos quadros geralmente leva a camadas que estão muito próximas do expectador, pois o objeto mais próximo de múltiplos quadros determina a colocação de camada de todos os quadros providos. Ambas as abordagens levam à fadiga visual. Atualmente, a detecção da área de atenção compreende a seleção de uma região-alvo para posicionar os dados gráficos auxiliares e o padrão de profundidade é baseado nos valores de profundidade da região-alvo.
Em uma configuração, a seleção da região-alvo é realizada como segue. A área de exibição é subdividida em múltiplas regiões. A detecção do padrão de profundidade é baseado na filtragem espacial dos valores de profundidade das múltiplas regiões de acordo com uma função de filtro espacial dependendo da região-alvo.
A Figura 5 mostra a subdivisão da área de exibição. A figura mostra um exemplo no qual uma imagem 45 de visor é dividida em quadros 46. Em cada quadro, a profundidade máxima é computada separadamente. No exemplo, o texto de legenda 47 pode estar em uma profundidade específica mesmo que a profundidade do outro objeto 48 seja significativamente maior (por exemplo, mais próxima do expectador).
Com os métodos anteriores, o valor máximo de profundidade é computado para um quadro de imagem inteiro, de modo que um único objeto com uma grande profundidade leve a uma colocação da camada naquela grande profundidade, mesmo que tanto o objeto como a camada estejam em regiões separadas da imagem. Com o método proposto, a profundidade é computada em múltiplas regiões (quadros) da imagem. Somente a profundidade nos quadros que estão nas proximidades da camada influenciará a colocação de profundidade dos dados gráficos auxiliares sobrepostos.
Em uma configuração, a invenção aqui descrita é utilizada para legendas de camada em conteúdo 3D. 0 conteúdo primário existe como imagens estéreas (esquerdas/direitas); as legendas também existem como imagens. A configuração também pode renderizar as legendas a partir de uma descrição adequada.
A configuração está utilizando as seguintes etapas: - A partir de todas as imagens esquerdas e direitas do conteúdo de vídeo, a disparidade é computada para todos os pixels ou somente para a região de interesse. - Dentro da região de interesse, a disparidade mínima é computada e armazenada para cada par de imagem. A disparidade é negativa para objetos que aparecem na frente da tela, de modo que estes valores correspondam aos objetos tendo a menor distância percebida em relação ao expectador. Filtragem é aplicada à lista de disparidades mínimas.
Os valores de profundidade positivos são definidos como 0, o que é equivalente a mover todos os objetos que estão atrás da tela para o plano da tela. Outro valor pode ser escolhido nesta etapa para colocar os objetos em um plano diferente por default. - As legendas são misturadas na parte superior das imagens esquerdas e direitas utilizando um deslocamento de pixel entre a esquerda e a direita que seja igual à disparidade filtrada. - Se as legendas forem pré-renderizadas, a mistura alfa regular é utilizada.
Se as legendas existirem em formato textual, estas são renderizadas com precisão de sub-pixel. - Uma pequena compensação (geralmente de um pixel) pode ser aplicada para gerar uma pequena variação de profundidade entre o objeto mais à frente e as legendas.
Observa-se que o método acima permite a seleção da região-alvo com base na seleção, como uma região-alvo, de uma região dos dados de imagem onde não ocorre nenhum valor de profundidade maior que os valores de profundidade auxiliares. Além disso, a dita seleção pode incluir a seleção de um período no tempo para exibir os dados auxiliares de modo que, na região-alvo, não ocorra nenhum valor de profundidade maior que os valores de profundidade auxiliares. Por exemplo, a renderização da legenda pode ser atrasada ou mudada para permitir que um objeto mais à frente desapareça.
Em uma configuração, a determinação do padrão de profundidade inclui a detecção de valores de profundidade em múltiplos quadros de conteúdo de vídeo, e a filtragem temporal dos valores de profundidade de acordo com uma função de filtro temporal. Por exemplo, pode ser considerado um período de tempo no qual a própria legenda deve ser exibida, ou um período discretamente maior para evitar que os objetos apareçam substancialmente adjacentes à e mais à frente da legenda. O período de exibição da legenda é geralmente indicado no sinal de exibição.
Em particular, a determinação do padrão de profundidade pode incluir a definição de um intervalo de tempo para a função de filtro temporal com base na detecção de limites de cena nos múltiplos quadros de conteúdo de vídeo. Isto pode ser implementado da seguinte maneira. - A partir das imagens esquerdas ou direitas, os limites da cena são computados. As imagens iniciais das cenas são encontradas pela detecção de grandes alterações no conteúdo da imagem, utilizando o histograma de cor da imagem. - A lista de disparidade mínima é detectada para as cenas de acordo com os cortes de cena detectados antes. - Para cada cena, a lista de disparidade mínima é então filtrada com um intervalo adequado de função de janela (vide exemplo abaixo). Uma função de janela é uma função com valor zero fora de algum intervalo escolhido. Por exemplo, uma função que é constante dentro do intervalo e zero em qualquer outro local é denominada uma janela retangular, que descreve o formato de sua representação gráfica. O sinal de imagem (dados) é multiplicado pela função de janela, e o produto também tem valor zero fora do intervalo. - A filtragem de cada cena separadamente garante que somente os valores de dentro da cena são utilizados. Assim, permite-se que os valores de profundidade dos dados gráficos auxiliares pulem em cortes de cena caso a disparidade do objeto mais à frente dentro da região de interesse pule, porém não pode pular dentro de uma cena. Como uma alternativa, a colocação de profundidade entre as cenas também pode ser filtrada, permitindo transições suaves nos limites de cena.
Para escolher a função de janela, a configuração utiliza uma função de janela Hann, porém outras funções de janela, por exemplo, uma função de janela retangular, também são adequadas. A função Hann, nomeada após o meteorologista austríaco Julius von Hann, é uma função de massa de probabilidade discreta dada por:
Figure img0001
A janela é centralizada em uma posição atual de tempo, de modo que ambos os valores do passado e do futuro sejam levados em consideração. Isto tem o efeito de suavizar os valores, evitando assim alterações abruptas na disparidade e certificando que a camada está sempre na frente do conteúdo 3D. Valores futuros podem não estar disponíveis, por exemplo, para transmissões em tempo real, e a geração de janela pode ser baseada somente em valores passados. Alternativamente, uma parte dos quadros futuros pode ser primariamente armazenada em um buffer, enquanto se aplica um pequeno retardo na renderização.
Observa-se que a região-alvo (TR) selecionada deve cobrir pelo menos o retângulo delimitante do texto de legenda. Para um aspecto visual agradável, a TR deve ser significativamente maior. Para a colocação de legenda na parte inferior de uma imagem, a configuração utiliza uma TR que se estende verticalmente desde a parte inferior da imagem até uma altura predeterminada, por exemplo, de 1/4 até metade da altura da imagem. Horizontalmente, fica centralizada na imagem que se estende pela largura da legenda ou da largura da imagem menos 20%, qual for maior. Esta TR garante que a profundidade das legendas seja ajustada de acordo com a profundidade dos objetos em sua vizinhança. Estendendo-se a região até o meio da imagem, garante-se que os objetos geralmente focados pelo expectador sejam levados em consideração. Também, a filtragem espacial pode ser aplicada para designar um alto peso ao objeto nos quadros próximos e 5 um menor peso aos objetos à frente em quadros mais distantes.
Em uma configuração, os dados de imagem são escalonados de forma descendente para se adequar em uma parte limitada da área de exibição. Por exemplo, o conteúdo de filme (1:1,85) é escalonado de forma descendente um pouco em 10 um visor de 16:9. Para um conteúdo de filme de 1:2,35, isto não seria necessário para legendas, pois uma tarja preta está disponível na parte inferior. Então, o conteúdo total (escalonado de forma descendente) é mudado para cima e alinhado com o lado superior da tela. Isto cria espaço abaixo 15 da tela para ter uma área de legenda onde todas as legendas podem ser colocadas nos valores de profundidade auxiliares conforme acima exposto.
A Figura 6 mostra um exemplo de dados de imagem escalonados de forma descendente. Em uma área de exibição 65, 2 0 uma borda esquerda 63 e uma borda direita 61 e uma borda inferior 62 são mostradas em torno da área da imagem 60. A área inferior 64 está disponível para as legendas 67. Na Figura, o tamanho dos elementos é indicado pelos números de pixels para um tamanho de visor de 1920*1080. 25 Para vídeo em alta definição [HD] , o tamanho ideal da fonte da legenda é de 42 linhas. O conteúdo de filme de 1:1,85 exibido em um visor de 16:9 deixa espaço para 17 linhas. 0 escalonamento de 1:1,85 para criar duas fileiras de legendas exige 84 linhas com algumas linhas pretas entre 30 elas, o que significa que precisamos de aproximadamente 100 linhas que exigem um fator de escalonamento de aproximadamente 90%. Tipicamente, isto não será muito perceptível ao usuário, especialmente se a borda for texturizada para se parecer com a borda do visor. Além disso, as plataformas mais atuais pode suportar fator de escalonamento arbitrários. Alternativamente, o escalonamento da área do filme já pode ser feito no lado da criação (às custas de uma resolução discretamente baixa para mono).
Observa-se que, na renderização de vídeo em 3D, outro sério aspecto é o efeito de borda. O efeito de borda ocorre com objetos com profundidades na frente da tela que não aparecem completamente no quadro do visor, porém sim no lado limite. O efeito de borda causa conflitos no cérebro humano que também resultam em fadiga. Uma solução para o efeito de borda é criar uma borda artificial esquerda e direita (utilizando 2 pequenas barras verticais) que podem ser dinamicamente ajustadas na direção de profundidade de modo que a borda adjacente de um objeto cortado fique sempre mais próxima do expectador que o objeto cortado. Assim como as legendas, a profundidade da borda também pode ser ajustada dinamicamente com base na profundidade/disparidade do conteúdo.
Na Figura 6, o dito escalonamento descendente da área da imagem permite a aplicação das bordas verticais 61,63 para acomodar o efeito de borda. O escalonamento descendente permite espaço para 2 pequenas bordas verticais de aproximadamente 85 fileiras cada, as quais podem ser utilizadas para alterar dinamicamente as profundidades das tarjas pretas (bordas) para evitar o efeito de borda.
Uma vez que foi criado espaço para as legendas, existe a opção de ajustar dinamicamente a profundidade da borda inferior do conteúdo. No entanto, isto é mais difícil do que para as bordas esquerda e direita. A mudança horizontal da barra inferior pode funcionar dependendo da quantidade de textura. No entanto, o deslocamento de um sinal constante (tarja preta) não tem qualquer efeito. Não haverá um problema de violação de borda na parte inferior da tela com uma tarja preta constante. No entanto, quando esta tarja não é apenas preta, porém de alguma forma texturizada (por exemplo, aspecto de madeira na Figura 6) , torna-s.e também possível ajustar a profundidade da borda inferior na frente do objeto cortado.
Uma outra vantagem das bordas artificiais (fora da tela) é que elas também permitem uma forma fácil e prática para o expectador colocar-se no centro do cone para visualização.
A Figura 7 mostra um exemplo de dados de imagem escalonados de forma descendente em bordas pretas. Em uma área de exibição 65, uma borda esquerda 72 e uma borda direita 73 e uma borda inferior 71 são mostradas em torno da área da imagem 60. A borda inferior 71 está disponível para as legendas. Na Figura, o tamanho dos elementos é indicado pelos números de pixels para um tamanho de visor de 1920*1080. Para uma tela de tamanho diferente, por exemplo, 1280*720, arranjos similares podem ser feitos.
A Figura 8 mostra uma camada de legendas e gráficos em vídeo. A parte esquerda da Figura mostra um exemplo de saída de vídeo estereoscópico 80 tendo uma visualização esquerda 84 e uma visualização direita. Ambas as visualizações são geradas com base na sobreposição de uma imagem 3D 81, e uma primeira camada 82, Plano de Apresentação, e uma segunda camada 83, Plano Interativo, de dados gráficos auxiliares. Os valores de profundidade auxiliares dos elementos gráficos são determinados conforme discutido acima.
O lado direito da Figura 8 mostra um exemplo similar de uma saída de vídeo 89 bidimensional (2D) + profundidade, tendo uma visualização 2D 84 e uma visualização direita. Ambas as visualizações são geradas com base na sobreposição de uma imagem 2D 85, e uma primeira camada 86, Plano de Apresentação, e uma segunda camada 87, Plano Interativo, de dados gráficos auxiliares; cada uma das ditas camadas tem um mapa de profundidade correspondente. Os valores de profundidade auxiliares para os elementos gráficos são determinados conforme discutido acima e aplicados para ajuste dos ditos mapas de profundidade.
Observa-se que o modelo na Figura 8 pode ser implementado no formato Blu-ray Disc (BD) estendido para permitir o controle do tamanho e da posição das bordas conforme mostrado nas Figuras 6 e 7 e a posição e o tamanho da área da legenda. 0 formato BD suporta múltiplos planos que permitem que um autor de conteúdo controle a camada de gráficos na parte superior do vídeo. A implementação é a seguinte.
Em uma primeira etapa, o vídeo é escalonado para dar espaço para as legendas, por exemplo, para pelo menos duas linhas de legenda. 0 fator de escalonamento pode estar sob o controle do autor do conteúdo. Portanto, a especificação BD deve ser estendida para permitir fatores de escalonamento arbitrários do vídeo. Pelo menos um fator de escalonamento de 7/8 deve ser suportado.
Em uma segunda etapa, uma textura é carregada em um buffer de memória. Essa textura é utilizada para preencher as bordas laterais que serão utilizadas para criar uma janela deslizante conforme mostrado na Figura 6 (não exigida para bordas pretas na Figura 7).
Em uma terceira etapa, durante a reprodução, o tamanho das bordas laterais para as visualizações esquerda e direita no caso de vídeo estéreo é ajustado de modo que a disparidade das bordas laterais seja maior que a disparidade dos objetos cortados. Para o vídeo de imagem 2D + profundidade, a profundidade das bordas é ajustada para ser maior que a profundidade de quaisquer objetos cortados. Além disso, para a imagem 2D + profundidade, o fundo do vídeo que é obstruído pela borda é copiado para a camada de dados de fundo de oclusão do formato de saída.
Para implementação em um formato de vídeo existente, é necessário que o formato seja estendido com um fator de escalonamento de pelo menos 7/8 para o vídeo em 1920x1080, resultando em uma resolução-alvo de 1680x945. As etapas acima podem ser implementadas por uma ferramenta de criação utilizando-se o gráfico de Plano de Apresentação. Os gráficos de apresentação então não contêm somente as legendas, mas também as bordas para a janela deslizante conforme mostrado na figura abaixo.
A Figura 9 mostra o escalonamento do vídeo para dar espaço para as legendas e janelas oscilantes. Dados de imagem 3D 90, por exemplo, um filme principal, é introduzido em uma unidade de escalonamento 92. Um gráfico de Plano de Apresentação 91 é provido, tendo as bordas esquerda/direita e a área inferior para legendas conforme descritos acima. 0 vídeo escalonado é combinado em um combinador 93 para prover os dados de imagem 3D 94. A janela que mostra os dados de imagem 3D é denominada oscilante, pois as bordas esquerda e direita, e opcionalmente a borda inferior, são ajustadas em termos de profundidade para acomodar o efeito de borda. Pelo processo, a região-alvo para os dados gráficos auxiliares é selecionada para ser uma área do visor onde nenhum dado de imagem é exibido e, consequentemente, onde ocorre uma redução do tamanho dos dados de imagem para acomodação na área de exibição remanescente. Observe que para um filme principal que é largo o suficiente (por exemplo, 2,20:1), basta mudar o vídeo para cima ou para baixo para criar uma tarja preta e antecipar a etapa de escalonamento do vídeo. escalonamento e compensação (1030) de um canto superior esquerdo de transmissão de vídeo primário (1000), com legendas em um canto inferior esquerdo de fundo negro tipo quadro (1010) que são subsequentemente combinadas utilizando- se um mixer (1020) em um sinal de saída combinado (1040).
Quando o filme principal é transmitido para o dispositivo reprodutor por meio de uma transmissão ou de um meio físico, por exemplo, um disco tendo um formato de disco, por exemplo, um Blu-ray Disc (BD), as informações de escala e/ou as informações de mudança (compensação) precisam ser fornecidas no meio.
Conforme indicado acima e abaixo, as informações de escala e as informações de mudança são preferencialmente um fator de escala para escalonamento tanto x como y e uma compensação, tanto na direção x como y.
De forma vantajosa, as informações de escala e/ou as informações de mudança são armazenadas em uma tabela que lista as transmissões (camadas que representam legendas em diferentes idiomas) reproduzíveis durante partes do filme principal. Esta tabela é similar à Tabela de Mapa de Programa conforme definido em ISO13818-1 "Information Technology- Generic Coding of Moving Pictures and Associated Audio Information - Part 1: Systems"; aqui incorporada por referência.
No formato BD, uma tabela similar é denominada tabela STN. As entradas para cada transmissão podem ser adicionadas para prover diferente compensação e escalonamento por transmissão de PG (Gráficos de Apresentação) ou de legenda de Texto, vide por exemplo, http://www.blu- raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualappli cation_0305-12955-15269.pdf, para mais informações sobre o formato Blu-ray Disc, aqui incorporado por referência.
Alternativamente, as informações de escalonamento e/ou mudança são armazenadas em qualquer um ou qualquer combinação de todos os seguintes locais: - Nos dados de extensão do PlayList, por meio do qual o PlayList é uma base de dados no disco que contém todas as informações necessárias para decodificar e reproduzir sequências de conteúdo audiovisual conforme selecionado pelo usuário a partir de um menu. Preferencialmente, o fator de escala e/ou as informações de compensação são armazenados com as informações de disparidade de legenda. Alternativamente, o fator de escala e/ou as informações de compensação armazenados em uma nova entrada no Playlist ExtensionData() contém a compensação e o fator de escala acima mencionados. - Na própria transmissão de gráficos de camada (por exemplo, gráficos de Apresentação de legendas e/ou transmissão de legenda de texto).
Mais alternativamente, as informações de mudança e/ou escalonamento são providas por outros meios, por exemplo, o fator de mudança e escala pode ser determinado por uma aplicação (BD-Java ou Movie Object) armazenada no disco e executado pelo dispositivo reprodutor de disco que grava estes números em um Registrador de Status de Reprodutor (PSR); a ferramenta de decodificação e renderização do dispositivo reprodutor lê os valores do PSR e aplica o fator de mudança e/ou escala ao filme principal conforme mostrado na Figura 9.
Existem várias formas de representar as informações de mudança e de escalonamento de uma forma matematicamente equivalente, por exemplo, especificando o tamanho e/ou a localização do vídeo ativo (a parte da imagem não escalonada excluindo-se as tarjas pretas) e o tamanho e/ou a localização da camada gráfica. As diferentes representações de fator de mudança e/ou escala configuram diferentes trocas entre a complexidade do processamento no dispositivo reprodutor vs. a criação. Além disso, diferentes representações podem ser vantajosas para permitir características como a permissão do usuário de selecionar a localização das legendas e da tarja preta (alinhadas na parte superior ou alinhadas na parte inferior).
Além disso, como alguns filmes asiáticos exigem legendas com orientação vertical, é necessário que as tarjas pretas na lateral (72,73) também possam ser criadas ou ampliadas. As etapas acima mencionadas também podem ser aplicadas neste caso quando a mudança vertical é aumentada por uma mudança horizontal, ou onde a mudança vertical é utilizada em vez de uma mudança horizontal.
Para garantir que o escalonamento e a mudança do vídeo principal sejam somente permitidos para o dispositivo reprodutor quando autorizado pelo autor do conteúdo, a presença de um escalonamento/mudança permitido é sinalizado por informações na transmissão, no disco ou no armazenamento local, preferencialmente para cada transmissão de gráficos de camada no disco separadamente. Um exemplo em que o escalonamento e a mudança podem ser proibidos é o uso de closed caption para deficientes auditivos onde um balão com o texto "Siam!" somente faz sentido quando sobreposto no vídeo, justaposto no personagem aplicável.
Deve ser observado que a invenção pode ser implementada em hardware e/ou software utilizando componentes programáveis. Um método de implementação da invenção possui as etapas de processamento correspondentes ao processamento de dados de imagem 3D explicada com referência à Figura 1. Embora a invenção tenha sido explicada principalmente por configurações que utilizam portadores de registro óptico, ou a internet, a invenção é também adequada para qualquer ambiente de interface de imagem, por exemplo, uma interface de visor 3D de computador pessoal [PC] ou PC com media center 3D acoplado a um dispositivo de exibição em 3D sem fio.
É observado que neste documento a palavra 'compreendendo' não exclui a presença de outros elementos ou etapas que não aquelas listadas e as palavras 'um' ou 'uma' 5 antes de um elemento não exclui a presença de vários destes elementos, que quaisquer sinais de referência não limitam o escopo das reivindicações, que a invenção pode ser implementada tanto por meio de hardware como de software, e que vários 'meios' ou 'unidades' podem ser representadas pelo 10 mesmo item de hardware ou software, e um processador pode realizar a função de uma ou mais unidades, possivelmente em cooperação com elementos de hardware. Além disso, a invenção não está limitada às configurações e se baseia em toda e cada nova característica ou combinação de características 15 descritas acima.

Claims (10)

1. MÉTODO DE COMBINAÇÃO DE DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, caracterizado pelo método compreender: - obtenção de dados de imagem tridimensional [3D]; - obtenção de informações de escalonamento e/ou mudança, - escalonamento e/ou mudança dos dados de imagem tridimensional [3D] de acordo com as informações de escalonamento e/ou mudança obtidas, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional [3D] escalonados e/ou mudados pela redução, respectivamente, do tamanho dos dados da imagem tridimensional [3D] e/ou alteração dos dados de imagem tridimensional [3D] para criar a área espacial de tarja preta para ser uma área do plano de exibição onde nenhum dado de imagem é exibido e para ajustar os dados de imagem tridimensional [3D] reduzidos e/ou mudados na área remanescente do plano de exibição, em que as informações de escalonamento e/ou mudança compreendem informações que sinalizam a presença de um escalonamento/mudança permitido para permitir o escalonamento e/ou mudança dos dados de imagem tridimensional [3D] e o método compreende: combinar os dados da imagem tridimensional [3D] e os dados gráficos auxiliares em um plano de exibição, sobrepondo adequadamente os dados da imagem tridimensional [3D] e os dados gráficos auxiliares ou combinar os dados de imagem tridimensional [3D] escalonados e/ou mudados e os dados gráficos auxiliares, de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta, em que as informações de escalonamento e/ou mudança compreendem pelo menos uma dentre: - um fator de escala; - um fator de escala aplicável ao escalonamento tanto na direção x como y do plano de exibição; - uma compensação em pelo menos uma: - direção horizontal do plano de exibição; e - direção vertical do plano de exibição.
2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelos dados gráficos auxiliares serem pelo menos um dentre: - informações de legenda bidimensional, - informações de sub-figura bidimensional, - informações de legenda tridimensional e - informações de sub-figura tridimensional.
3. MÉTODO, de acordo com a reivindicação 1, caracterizado por, ao colocar os dados gráficos auxiliares dentro da área espacial de tarja preta, as informações gráficas auxiliares serem colocadas totalmente dentro da área espacial de tarja preta.
4. MÉTODO, de acordo com a reivindicação 1, caracterizado por, ao colocar os dados gráficos auxiliares dentro da área espacial de tarja preta, a área espacial de tarja preta ser preenchida com informações de fundo negro.
5. MÉTODO, de acordo com a reivindicação 1, caracterizado pelas informações de escalonamento e/ou mudança compreenderem informações para selecionar a localização de legendas e da área espacial de tarja preta para ficar alinhada na parte superior, ao colocar os dados gráficos auxiliares dentro da área espacial de tarja preta, a tarja preta fica no topo do plano de exibição ou alinhada na parte inferior, ao colocar os dados gráficos auxiliares dentro da área espacial de tarja preta, a tarja preta fica na parte inferior do plano de exibição.
6. PORTADOR DE INFORMAÇÕES COMPREENDENDO DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, para combinar os dados tridimensionais de imagem [3D] e os dados gráficos auxiliares em um plano de exibição, caracterizado pelo portador de informações compreender: - informações de escalonamento e/ou mudança para escalonamento e/ou mudança dos dados de imagem tridimensional [3D] de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional [3D] escalonados e/ou mudados, pela redução, respectivamente, do tamanho dos dados da imagem tridimensional [3D] e/ou alteração dos dados de imagem tridimensional [3D] para criar a área espacial de tarja preta para ser uma área do plano de exibição onde nenhum dado de imagem é exibido, e para ajustar os dados de imagem tridimensional [3D] reduzidos e/ou mudados na área remanescente do plano de exibição, em que as informações de escalonamento e/ou mudança compreendem informações que sinalizam a presença de um escalonamento/mudança permitido para permitir o escalonamento e/ou mudança dos dados de imagem tridimensional [3D] para combinar adequadamente pela sobreposição dos dados da imagem tridimensional [3D] e dos dados gráficos auxiliares ou combinação dos dados de imagem tridimensional [3D] escalonados e/ou mudados e dos dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta, em que as informações de escalonamento e/ou mudança compreendem pelo menos uma dentre: - um fator de escala; - um fator de escala aplicável ao escalonamento tanto na direção x como y do plano de exibição; - uma compensação em pelo menos uma: - direção horizontal do plano de exibição; e - direção vertical do plano de exibição.
7. PORTADOR DE INFORMAÇÕES, de acordo com a reivindicação 6, caracterizado pelas informações de escalonamento e/ou mudança compreenderem informações para selecionar a localização de legendas e a área espacial de tarja preta a ser alinhada na parte superior, ao colocar os dados gráficos auxiliares dentro da área espacial de tarja preta, a tarja preta fica no topo do plano de exibição, ou alinhada na parte inferior, ao colocar os dados gráficos auxiliares dentro da área espacial de tarja preta, a tarja preta fica na parte inferior do plano de exibição.
8. DISPOSITIVO (10) DE GERAÇÃO DE 3D PARA COMBINAR DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, caracterizado pelo dispositivo compreender: - meios de obtenção dos dados de imagem tridimensionais [3D], - meios de combinação dos dados de imagem tridimensionais [3D] e os dados gráficos auxiliares no plano de exibição, - meios de obtenção de informações de escalonamento e/ou mudança, - meios de escalonamento e/ou mudança dos dados de imagem tridimensional [3D] de acordo com as informações de escalonamento e/ou mudança, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional [3D] escalonados e/ou mudados pela redução, respectivamente, do tamanho dos dados da imagem tridimensional [3D] e/ou alteração dos dados de imagem tridimensional [3D] para criar a área espacial de tarja preta para ser uma área do plano de exibição onde nenhum dado de imagem é exibido e para ajustar os dados de imagem tridimensional [3D] reduzidos e/ou mudados na área remanescente do plano de exibição, em que as informações de escalonamento e/ou mudança compreendem informações que sinalizam a presença de um escalonamento/mudança permitido para permitir o escalonamento e/ou mudança dos dados de imagem tridimensional [3D], e os meios para combinação sendo dispostos adequadamente para combinação pela sobreposição dos dados da imagem tridimensional [3D] e dos dados gráficos auxiliares ou combinação dos dados de imagem tridimensional [3D] escalonados e/ou mudados e dos dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta, em que as informações de escalonamento e/ou mudança compreendem pelo menos uma dentre: - um fator de escala; - um fator de escala aplicável ao escalonamento tanto na direção x como y do plano de exibição; - uma compensação em pelo menos uma: - direção horizontal do plano de exibição; e - direção vertical do plano de exibição.
9. DISPOSITIVO DE GERAÇÃO DE 3D (10), de acordo com a reivindicação 8, caracterizado pelo dispositivo compreender uma unidade de disco óptico (58) para recuperar vários tipos de informações de imagem a partir de um portador de informações, a unidade de disco óptico compreendendo os meios de obtenção de informações de escalonamento e/ou mudança a partir do portador de informações conforme definido na reivindicação 6.
10. DISPOSITIVO (13) DE EXIBIÇÃO EM 3D PARA COMBINAR DADOS DE IMAGEM TRIDIMENSIONAL [3D] E DADOS GRÁFICOS AUXILIARES, caracterizado pelo dispositivo compreender: - um plano de exibição, - meios de obtenção, através de um dispositivo de geração de 3D, dos dados de imagem tridimensionais [3D], - meios de combinação dos dados de imagem tridimensionais [3D] e dos dados gráficos auxiliares no plano de exibição, - meios de obtenção, através do dispositivo de geração de 3D, de informações de escalonamento e/ou mudança, - meios de escalonamento e/ou mudança dos dados de imagem tridimensional [3D] de acordo com as informações de escalonamento e/ou mudança obtidas, respectivamente, para criar uma área espacial de tarja preta que não é ocupada pelos dados de imagem tridimensional [3D] escalonados e/ou mudados pela redução, respectivamente, do tamanho dos dados da imagem tridimensional [3D] e/ou alteração dos dados de imagem tridimensional [3D] para criar a área espacial de tarja preta para ser uma área do plano de exibição onde nenhum dado de imagem é exibido e para ajustar os dados de imagem tridimensional [3D] reduzidos e/ou mudados na área remanescente do plano de exibição, em que as informações de escalonamento e/ou mudança compreendem informações que sinalizam a presença de um escalonamento/mudança permitido para permitir o escalonamento e/ou mudança dos dados de imagem tridimensional [3D], e os meios para combinação sendo dispostos adequadamente para combinação pela sobreposição dos dados de imagem tridimensional [3D] e dos dados gráficos auxiliares ou combinação dos dados de imagem tridimensional [3D] escalonados e/ou mudados e os dados gráficos auxiliares de modo que os dados gráficos auxiliares sejam colocados dentro da área espacial de tarja preta, em que as informações de escalonamento e/ou mudança compreendem pelo menos uma dentre: - um fator de escala; - um fator de escala aplicável ao escalonamento tanto na direção x como y do plano de exibição; - uma compensação em pelo menos uma: - direção horizontal do plano de exibição; e - direção vertical do plano de exibição.
BRPI1005691-2A 2009-02-17 2010-02-09 método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares BRPI1005691B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP09152988 2009-02-17
EP09152988.3 2009-02-17
US22239609P 2009-07-01 2009-07-01
US61/222,396 2009-07-01
PCT/IB2010/050574 WO2010095074A1 (en) 2009-02-17 2010-02-09 Combining 3d image and graphical data

Publications (3)

Publication Number Publication Date
BRPI1005691A2 BRPI1005691A2 (pt) 2017-09-26
BRPI1005691A8 BRPI1005691A8 (pt) 2017-12-12
BRPI1005691B1 true BRPI1005691B1 (pt) 2021-03-09

Family

ID=42154692

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1005691-2A BRPI1005691B1 (pt) 2009-02-17 2010-02-09 método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares

Country Status (13)

Country Link
US (2) US9438879B2 (pt)
EP (1) EP2399398B1 (pt)
JP (1) JP5820276B2 (pt)
KR (1) KR101639053B1 (pt)
CN (1) CN102318352B (pt)
AU (1) AU2010215135B2 (pt)
BR (1) BRPI1005691B1 (pt)
ES (1) ES2578022T3 (pt)
MX (1) MX2011008609A (pt)
PL (1) PL2399398T3 (pt)
RU (1) RU2538335C2 (pt)
TW (2) TW201044315A (pt)
WO (2) WO2010095074A1 (pt)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007007369D1 (de) 2007-03-16 2010-08-05 Thomson Licensing System und verfahren zum kombinieren von text mit dreidimensionalem inhalt
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP4772163B2 (ja) * 2008-11-18 2011-09-14 パナソニック株式会社 立体視再生を行う再生装置、再生方法、プログラム
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
JP5429034B2 (ja) 2009-06-29 2014-02-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5521486B2 (ja) * 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5407957B2 (ja) 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5407968B2 (ja) 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5402715B2 (ja) 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
US8884948B2 (en) * 2009-09-30 2014-11-11 Disney Enterprises, Inc. Method and system for creating depth and volume in a 2-D planar image
US8502862B2 (en) 2009-09-30 2013-08-06 Disney Enterprises, Inc. Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image
US9042636B2 (en) 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
US20110157155A1 (en) * 2009-12-31 2011-06-30 Disney Enterprises, Inc. Layer management system for choreographing stereoscopic depth
JP2011172216A (ja) * 2010-01-25 2011-09-01 Panasonic Corp 再生装置
US9025933B2 (en) 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
KR101329065B1 (ko) * 2010-03-31 2013-11-14 한국전자통신연구원 영상 시스템에서 영상 데이터 제공 장치 및 방법
KR20110136414A (ko) * 2010-06-15 2011-12-21 삼성전자주식회사 영상처리장치 및 그 제어방법
CN102972031A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 图像处理设备、图像处理方法和图像处理程序
JP4996720B2 (ja) * 2010-06-30 2012-08-08 株式会社東芝 画像処理装置、画像処理プログラム、及び画像処理方法
KR101731343B1 (ko) * 2010-07-14 2017-04-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101809479B1 (ko) * 2010-07-21 2017-12-15 삼성전자주식회사 3d 콘텐츠 재생 장치 및 방법
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
KR20120015165A (ko) * 2010-08-11 2012-02-21 엘지전자 주식회사 영상의 깊이감 조절 방법 및 이를 이용하는 이동 단말기
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
JP2012060236A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
JP5633259B2 (ja) * 2010-09-06 2014-12-03 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
EP2434764A1 (en) 2010-09-23 2012-03-28 Thomson Licensing Adaptation of 3D video content
CN103155577A (zh) * 2010-10-01 2013-06-12 三星电子株式会社 显示装置和信号处理装置及其方法
GB2485140A (en) * 2010-10-26 2012-05-09 Sony Corp A Method and Apparatus For Inserting Object Data into a Stereoscopic Image
CN103202024B (zh) * 2010-10-29 2016-05-04 汤姆逊许可公司 生成图像内包裹图形对象的三维图像的方法、相关显示设备
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012120143A (ja) * 2010-11-10 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TWI491244B (zh) * 2010-11-23 2015-07-01 Mstar Semiconductor Inc 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
KR101834934B1 (ko) 2010-12-03 2018-03-08 코닌클리케 필립스 엔.브이. 3d 이미지 데이터의 전송
CN102487447B (zh) * 2010-12-06 2015-10-14 晨星软件研发(深圳)有限公司 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
GB2488746B (en) * 2010-12-23 2016-10-26 Samsung Electronics Co Ltd Improvements to subtitles for three dimensional video transmission
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
KR20120101881A (ko) * 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3d 영상처리장치 및 그 입체감 조정방법
WO2012150100A1 (en) * 2011-05-02 2012-11-08 Thomson Licensing Smart stereo graphics inserter for consumer devices
JP5746908B2 (ja) * 2011-05-06 2015-07-08 株式会社東芝 医用画像処理装置
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
CA2839256C (en) * 2011-06-21 2017-07-11 Lg Electronics Inc. Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
KR20130021127A (ko) * 2011-08-22 2013-03-05 삼성전자주식회사 영상처리장치 및 그 제어방법
FR2978318A1 (fr) * 2011-09-02 2013-01-25 Sagemcom Broadband Sas Procede et dispositif d'optimisation du positionnement d'une fenetre d'incrustation d'un objet sur une sequence d'images stereoscopiques
KR101975247B1 (ko) * 2011-09-14 2019-08-23 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
WO2013105401A1 (ja) * 2012-01-13 2013-07-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN202443187U (zh) * 2012-02-27 2012-09-19 北京京东方光电科技有限公司 一种三维立体眼镜及其控制芯片
JP5950197B2 (ja) * 2012-03-15 2016-07-13 パナソニックIpマネジメント株式会社 映像信号処理装置
CN103379355B (zh) * 2012-04-25 2015-10-28 浙江大学 一种立体视频对产生方法及装置
JP2013239833A (ja) 2012-05-14 2013-11-28 Sony Corp 画像処理装置、画像処理方法およびプログラム
US20130321572A1 (en) * 2012-05-31 2013-12-05 Cheng-Tsai Ho Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain
JP6103827B2 (ja) * 2012-06-14 2017-03-29 オリンパス株式会社 画像処理装置および立体画像観察システム
TWI485653B (zh) * 2012-06-28 2015-05-21 Imec Taiwan Co 成像系統及方法
CN102769727A (zh) * 2012-07-07 2012-11-07 深圳市维尚视界立体显示技术有限公司 一种视频字幕的3d显示装置、设备以及方法
CN103593641B (zh) * 2012-08-16 2017-08-11 株式会社理光 基于立体摄像机的物体检测方法和装置
JP6158929B2 (ja) * 2012-09-06 2017-07-05 ノキア テクノロジーズ オーユー 画像処理装置、方法及びコンピュータプログラム
CN103731615B (zh) * 2012-10-11 2017-02-08 晨星软件研发(深圳)有限公司 显示方法与显示装置
JP6085688B2 (ja) * 2012-12-24 2017-02-22 トムソン ライセンシングThomson Licensing 立体画像を表示する装置および方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
CN104299258A (zh) * 2013-07-15 2015-01-21 超威半导体(上海)有限公司 立体图形处理方法和设备
US20150022631A1 (en) * 2013-07-17 2015-01-22 Htc Corporation Content-aware display adaptation methods and editing interfaces and methods for stereoscopic images
TWI602144B (zh) * 2013-10-02 2017-10-11 國立成功大學 包裝彩色圖框及原始景深圖框之方法、裝置及系統
GB2519112A (en) 2013-10-10 2015-04-15 Nokia Corp Method, apparatus and computer program product for blending multimedia content
CN103826114B (zh) * 2013-11-15 2017-04-19 青岛海信电器股份有限公司 一种立体显示方法及自由立体显示装置
KR102076494B1 (ko) 2014-01-20 2020-02-14 한국전자통신연구원 3차원 데이터 처리 장치 및 방법
US10122992B2 (en) 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
US9542722B2 (en) * 2014-12-29 2017-01-10 Sony Corporation Automatic scaling of objects based on depth map for image editing
US10038889B2 (en) 2015-03-01 2018-07-31 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
US10212409B2 (en) * 2015-12-18 2019-02-19 Boe Technology Group Co., Ltd Method, apparatus, and non-transitory computer readable medium for generating depth maps
CN105898277A (zh) * 2016-05-20 2016-08-24 宁波维真显示科技有限公司 多窗口裸眼3d与2d混合显示方法
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
EP3273686A1 (en) * 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
US10223060B2 (en) * 2016-08-22 2019-03-05 Google Llc Interactive video multi-screen experience on mobile phones
KR102427854B1 (ko) * 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR101980297B1 (ko) * 2017-11-14 2019-05-20 고범준 3차원 vr 영상 처리 장치, 방법 및 프로그램
US10523912B2 (en) 2018-02-01 2019-12-31 Microsoft Technology Licensing, Llc Displaying modified stereo visual content
US11080540B2 (en) * 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
CN109271677B (zh) * 2018-08-27 2023-04-21 北方电子研究院安徽有限公司 一种在线层次化修复版图格点问题的方法
CN109933268A (zh) * 2019-02-25 2019-06-25 昀光微电子(上海)有限公司 一种基于人眼视觉特征的近眼显示装置
CN110992250B (zh) * 2019-11-29 2024-06-14 京东方科技集团股份有限公司 一种实现高分辨率显示的方法及装置
EP4199503A4 (en) 2021-01-29 2024-03-06 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
ES2924782A1 (es) * 2022-06-08 2022-10-10 Digital Stock Next S L Procedimiento y plataforma digital para la creacion online de contenidos de produccion audiovisual

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2794714B2 (ja) 1988-06-29 1998-09-10 ソニー株式会社 プリンタ
US5699123A (en) * 1993-10-20 1997-12-16 Victor Company Of Japan, Ltd. Television receiver with an adjustable frame size
JPH10191241A (ja) * 1996-12-24 1998-07-21 Fujitsu Ten Ltd ニュース速報画面表示システム
JP2962306B2 (ja) 1998-02-26 1999-10-12 ソニー株式会社 プリンタのインク残量表示方法
CA2341886A1 (en) * 1998-08-28 2000-03-09 Sarnoff Corporation Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
ATE267497T1 (de) 1999-02-08 2004-06-15 United Video Properties Inc Elektronischer programmführer mit unterstützung umfassender programminhalte
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置
US20030189669A1 (en) * 2002-04-05 2003-10-09 Bowser Todd S. Method for off-image data display
EP1545728B1 (en) * 2002-09-30 2009-01-21 Igt 3-d text in a gaming machine
AU2003303099A1 (en) * 2002-11-29 2004-08-13 Bracco Imaging, S.P.A. System and method for managing a plurality of locations of interest in 3d data displays
JP4014495B2 (ja) * 2002-11-29 2007-11-28 松下電器産業株式会社 映像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
US7486294B2 (en) * 2003-03-27 2009-02-03 Microsoft Corporation Vector graphics element-based model, application programming interface, and markup language
EP1523175A1 (en) * 2003-10-09 2005-04-13 Deutsche Thomson-Brandt Gmbh Method and apparatus for automatic format decision related to the useful picture content part of a picture signal
JP2005123775A (ja) * 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
KR100642359B1 (ko) * 2003-12-30 2006-11-03 엘지전자 주식회사 영상표시기기 및 화면잔상 방지방법
JP5475281B2 (ja) * 2005-06-22 2014-04-16 コーニンクレッカ フィリップス エヌ ヴェ データコンテンツを表示する方法及び装置
KR100757865B1 (ko) * 2005-07-20 2007-09-11 삼성전자주식회사 디지털 방송 수신기에서의 영상 처리 장치 및 방법
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP5067599B2 (ja) * 2006-06-08 2012-11-07 ソニー株式会社 映像信号処理装置、映像表示装置および映像表示方法
US20100091012A1 (en) * 2006-09-28 2010-04-15 Koninklijke Philips Electronics N.V. 3 menu display
EP2105032A2 (en) * 2006-10-11 2009-09-30 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
DE602007007369D1 (de) * 2007-03-16 2010-08-05 Thomson Licensing System und verfahren zum kombinieren von text mit dreidimensionalem inhalt
JP5150148B2 (ja) 2007-06-25 2013-02-20 スタンレー電気株式会社 静電容量検出回路
JP2009005257A (ja) * 2007-06-25 2009-01-08 Sharp Corp テレビジョン受像機
KR101362647B1 (ko) * 2007-09-07 2014-02-12 삼성전자주식회사 2d 영상을 포함하는 3d 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
JP5087632B2 (ja) * 2007-10-01 2012-12-05 パイオニア株式会社 画像表示装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2009094140A1 (en) * 2008-01-21 2009-07-30 Wms Gaming Inc. Intelligent image resizing for wagering game machines
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
JP5577348B2 (ja) * 2008-12-01 2014-08-20 アイマックス コーポレイション 内容順応情報を有する3次元動画提示方法及びシステム
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
CN112673409B (zh) 2018-08-27 2023-08-29 湾流航空航天公司 预测飞行器飞行包线保护系统

Also Published As

Publication number Publication date
MX2011008609A (es) 2011-09-09
JP5820276B2 (ja) 2015-11-24
JP2012518314A (ja) 2012-08-09
BRPI1005691A8 (pt) 2017-12-12
US20170013255A1 (en) 2017-01-12
PL2399398T3 (pl) 2016-10-31
EP2399398A1 (en) 2011-12-28
CN102318352A (zh) 2012-01-11
WO2010095074A9 (en) 2011-05-26
EP2399398B1 (en) 2016-04-20
BRPI1005691A2 (pt) 2017-09-26
TWI516089B (zh) 2016-01-01
KR20110126703A (ko) 2011-11-23
TW201043002A (en) 2010-12-01
AU2010215135B2 (en) 2016-05-12
RU2011138194A (ru) 2013-03-27
RU2538335C2 (ru) 2015-01-10
US20110304691A1 (en) 2011-12-15
TW201044315A (en) 2010-12-16
WO2010095080A1 (en) 2010-08-26
US11310486B2 (en) 2022-04-19
KR101639053B1 (ko) 2016-07-13
ES2578022T3 (es) 2016-07-20
AU2010215135A1 (en) 2011-10-06
US9438879B2 (en) 2016-09-06
CN102318352B (zh) 2014-12-10
WO2010095074A1 (en) 2010-08-26

Similar Documents

Publication Publication Date Title
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
KR101749893B1 (ko) 다목적 3―d 화상 포맷
JP5584292B2 (ja) 相対的奥行きを持たせた立体画像への3dオブジェクトの組み入れ
US10021377B2 (en) Combining 3D video and auxiliary data that is provided when not reveived
JP5809064B2 (ja) 3d画像データの転送
RU2559735C2 (ru) Компенсация размера трехмерного экрана
CN102318351B (zh) 图形图像处理方法和设备
BRPI0911014B1 (pt) Método de criação de um sinal de imagem tridimensional para renderização em um display, dispositivo para criação de um sinal de imagem tridimensional para renderização em um display, método de processamento de um sinal de imagem tridimensional e dispositivo para processamento de um sinal de imagem tridimensional
KR20110129903A (ko) 3d 시청자 메타데이터의 전송
BR112012001606B1 (pt) Dispositivo para video para o processamento de um sinal de video tridimensional 3d, metodo para o processamento de um sinal de video tridimensional 3d, metodo para o provimento de um sinal de video tridimensional 3d para a transference para um dispositivo de video 3d, e suporte de registro
KR20110114673A (ko) 3d 이미지 데이터의 전송
US20110316848A1 (en) Controlling of display parameter settings

Legal Events

Date Code Title Description
B25D Requested change of name of applicant approved

Owner name: KONINKLIJKE PHILIPS N.V. (NL)

B25G Requested change of headquarter approved

Owner name: KONINKLIJKE PHILIPS N.V. (NL)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: A CLASSIFICACAO ANTERIOR ERA: H04N 13/00

Ipc: H04N 13/122 (2018.01), H04N 13/139 (2018.01), H04N

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 09/03/2021, OBSERVADAS AS CONDICOES LEGAIS.