MÉTODO DE TRANSFERÊNCIA DE DADOS DE IMAGEM TRIDIMENSIONAL---[GD] T DISPOSITIVO DE GERAÇÃO DE 3D PARA TRANSFERÊNCIA DE DADOS DE IMAGEM TRIDIMENSIONAL [3D] PARA UM DISPOSITIVO DE EXIBIÇÃO EM 3D E SINAL DE EXIBIÇÃO EM 3D
CAMPO DA INVENÇÃO
A invenção refere-se a um método de transmissão de um sinal de exibição em 3D para transferência de dados de imagem tridimensional [3D] para um dispositivo de exibição em 3D, o sinal de exibição em 3D compreendendo uma sequência de quadros que constituem os dados de imagem 3D de acordo com um formato de transferência de vídeo em 3D.
A sequência de quadros compreendendo unidades, cada unidade correspondendo a quadros que compreendem informações de vídeo que devem ser compostas e exibidas como uma imagem 3D.
A invenção refere-se ainda ao dispositivo de geração de 3D acima mencionado, o sinal de exibição em 3D e o dispositivo de exibição em 3D.
A invenção refere-se ao campo de transferência, por meio de interface digital de alta velocidade, por exemplo, HDMI, dados de imagem tridimensional, por exemplo, vídeo em 3D, para exibição em um dispositivo de exibição em 3D.
HISTÓRICO DA INVENÇÃO
Os dispositivos para geração de dados de vídeo em 2D são conhecidos, por exemplo, reprodutores de vídeo como DVD players ou set top boxes que geram sinais digitais de vídeo. O dispositivo de geração deve ser acoplado a um dispositivo de exibição como um aparelho de TV ou monitor. Os dados de imagem são transferidos do dispositivo de geração por meio de uma interface adequada, preferencialmente uma interface digital de alta velocidade, como HDMI. Estão sendo atualmente propostos dispositivos aperfeiçoados de 3D para geração de dados de imagem tridimensional (3D). Similarmente,
2/40 estão sendo propostos dispositivos para exibição de dados de imãgèm~3D. Para transferir os sinais de vídeo em 3D a partir do dispositivo de geração até o dispositivo de exibição, novos padrões de interface digital de alta taxa de dados estão sendo desenvolvidos, por exemplo, com base e compatíveis com o atual padrão HDMI. A transferência de sinais digital de imagem 2D para o dispositivo de exibição geralmente envolve o envio dos dados de pixel de vídeo quadro a quadro, quadros estes que devem ser exibidos sequencialmente. Esses quadros podem tanto representar quadros de vídeo de um sinal de vídeo progressivo (quadros inteiros) ou podem representar quadros de vídeo de um sinal de vídeo interligado (com base na bem conhecida interligação de linha, onde um quadro provê as linhas ímpares e o próximo quadro provê as linhas pares a serem exibidas sequencialmente).
documento US 4.979.033 descreve um exemplo de sinal de vídeo tradicional que tem um formato interligado. 0 sinal tradicional inclui sinais de sincronização horizontal e vertical para exibir as linhas e quadros dos quadros ímpares e pares em uma televisão tradicional. São propostos sistema e método de vídeo estereoscópico que permitem a sincronização de vídeo estereoscópico com um visor que utiliza óculos persiana [shutter glasses] . Os quadros ímpares e pares são utilizados para a transferência, das respectivas imagens esquerdas e direitas de um sinal de vídeo estereoscópico. O dispositivo de exibição em 3D proposto compreende um detector de envelope tradicional para detectar os quadros ímpares/pares tradicionais, porém gera sinais de exibição para unidades de visor de LCD esquerdas e direitas. Em particular, pulsos de equalização que ocorrem durante o intervalo vertical vazio, que difere para quadros ímpares e pares no sinal analógico de vídeo interligado tradicional,
3/40 são contados para identificar o respectivo campo esquerdo ou direi-to·; CT”s'Ístemã utiliza estas informações para sincronizar um par de óculos persiana, de modo que estes óculos alternadamente se abram e se fechem em sincronia com o vídeo estéreo.
Existem várias formas diferentes nas quais as imagens estéreo podem ser formatadas, denominada um formato de imagem 3D. Alguns formatos são baseados no uso de um canal 2D para também conter as informações estéreo. Por exemplo, a visualização esquerda e direita podem ser interligadas ou colocadas lado a lado e acima e abaixo. Estes métodos sacrificam a resolução para conter as informações estéreo. Outra opção é sacrificar a cor, abordagem esta denominada estéreo anaglífico.
Novos formatos para transmitir informações 3D para um visor estão sendo desenvolvidos. O MVD, como está sendo padronizado em chamadas MPEG para transmissão {Vídeo+Profundidade} para visualizações M, para permitir maiores camadas de gráficos de cone de visualização (por exemplo, menus ou legendas em BED-players ou STBs) precisa ser transmitido para o visor.
SUMÁRIO DA INVENÇÃO
É um objetivo da invenção prover um sistema mais flexível e confiável para a transferência de sinais de vídeo em 3D para um dispositivo de exibição.
Para esta finalidade, de acordo com um primeiro aspecto da invenção, no método conforme descrito no parágrafo de abertura, o formato de vídeo em 3D compreendendo um período de dados de vídeo durante o qual pixels de vídeo ativo são transmitidos e um período de ilha de dados durante o qual dados de áudio e auxiliares são transmitidos utilizando uma série de pacotes, , os .pacotes incluindo um pacote de quadro, de informações, e enviando o sinal de
4/40 exibição em 3D; e, em um dispositivo de exibição em 3D,_a
---reeepçrãro-do—siríãl-de exibição em 3D, e processamento do sinal de exibição em 3D para gerar sinais de controle de exibição para renderizar os dados de imagem 3D em um visor 3D, a sequência de quadros compreendendo unidades, a unidade sendo um período desde um sinal de sincronização vertical até o próximo sinal de sincronização vertical, cada unidade corresponde a um número de quadros dispostos de acordo com um esquema de multiplexação, o número de quadros compreendendo 10 informações de vídeo para informações de vídeo que devem ser compostas e exibidas como uma imagem 3D; cada quadro na unidade possui uma 'estrutura de dados para representar uma sequência de dados de pixel de imagem digital, e cada tipo de quadro representa uma estrutura de dados 3D parciais, e onde 15 o método compreende, no dispositivo de geração de 3D, incluindo as informações de transferência 3D em um pacote de quadro de informações adicional, as informações de transferência 3D compreendendo pelo menos informações sobre o esquema de multiplexação incluindo o número de quadros de 20 vídeo em uma unidade a ser composta em uma única imagem 3D no sinal de exibição em 3D, o esquema de multiplexação sendo selecionado do grupo de esquemas de multiplexação compreendendo pelo menos a multiplexação de alternação de quadros, a alternação de quadros indicando o dito número de 25 quadros sendo sequencialmente dispostos dentro do dito período de dados de vídeo; e dita geração dos sinais de controle de exibição é realizada dependendo das informações de transferência 3D.
Para esta finalidade, de acordo com um segundo 3 0 aspecto da invenção, o dispositivo de geração de 3D para transferência de dados de imagem 3D para um dispositivo de exibição em 3D conforme descrito no parágrafo de abertura, o dispositivo de geração de 3D compreendendo meios de geração
5/40 para o processamento de dados de imagem originais para gerar __um sinal de exibição em 3D,__o__s.inal. ..de__exibição—em—3-D compreendendo uma sequência de quadros que constituem os dados de imagem 3D de acordo com um formato de transferência de vídeo em 3D, o formato de vídeo em 3D compreendendo um período de dados de vídeo durante o qual os pixels de vídeo ativo são transmitidos e um período de ilha de dados durante o qual dados de áudio e auxiliares são transmitidos utilizando uma série de pacotes, os pacotes incluindo um pacote de quadro de informações, e meios de interface de saída para envio do sinal de exibição em 3D, cada quadro tem uma estrutura de dados para representar uma sequência de dados de pixel de imagem digital, e cada tipo de quadro representa uma estrutura de dados 3D parciais, a sequência de quadros compreendendo unidades, a unidade sendo um período desde um sinal de sincronização vertical até o próximo sinal de sincronização vertical, cada unidade correspondendo a um número de quadros dispostos de acordo com um esquema de multiplexação, o número de quadros compreendendo informações de vídeo para informações de vídeo que devem ser compostas e exibidas como uma imagem 3D; onde os meios de interface de saída são adaptados para transmitir informações de transferência 3D em um pacote de quadro de informações adicional, as informações de transferência 3D compreendendo pelo menos informações sobre o esquema de multiplexação -incluindo o número de quadros’de vídeo em “ uma unidade'a ser composta em uma única imagem 3D no sinal de exibição em 3D, o esquema de multiplexação sendo selecionado do grupo de esquemas de multiplexação compreendendo pelo menos a multiplexação de alternação de quadros, a alternação de quadros indicando o dito número de quadros sendo sequencialmente dispostos dentro do dito período de dados de vídeo; para, no dispositivo de exibição, gerar sinais de
6/40 controle de exibição dependendo das informações de transferência 3D.__________________
Para esta finalidade, de acordo com outro aspecto da invenção, os dados do dispositivo de exibição em 3D conforme descritos no parágrafo de abertura, compreendem um visor 3D para exibir dados de imagem 3D, meios de interface de entrada para receber um sinal de exibição em 3D, o sinal de exibição em 3D compreendendo quadros que constituem os dados de imagem 3D de acordo com um formato de transferência de vídeo em 3D, o formato de vídeo em 3D compreendendo um período de dados de vídeo durante o qual pixels de vídeo ativo são transmitidos e um período de ilha de dados durante o qual dados de áudio e auxiliares são transmitidos utilizando uma série de pacotes, os pacotes incluindo um pacote de quadro de informações, e meios de processamento para gerar sinais de controle de exibição para renderizar os dados de imagem 3D no visor 3D, cada quadro tem uma estrutura de dados para representar uma sequência de dados de pixel de imagem digital, e cada tipo de quadro representa uma estrutura de dados 3D parciais, e a sequência de quadros compreendendo unidades, a unidade sendo um período desde um sinal de sincronização vertical até o próximo sinal de sincronização vertical, cada unidade correspondendo a um número de quadros dispostos de acordo com um esquema de multiplexação, o número de quadros que compreendem para informações de vídeo que devem ser compostas e exibidas como uma imagem 3D; onde as informações de transferência 3D em um pacote de quadro de informações adicional, compreende pelo menos informações sobre o esquema de multiplexação incluindo o número de quadros de vídeo em uma unidade a ser composta em uma única imagem 3D no sinal de exibição em 3D, o esquema de multiplexação sendo selecionado do grupo de esquemas de multiplexação compreendendo pelo menos a multiplexação de
7/40 alternação de quadros, a alternação de quadros indicando o dito número de quadros_sendo sequencialmente dispostos dentro--do dito período de dados de vídeo; e os meios de processamento são dispostos para gerar os sinais de controle de exibição dependendo das informações de transferência 3D.
A invenção também é baseada no seguinte reconhecimento. Ao contrário das informações de vídeo em 2D, há muitas possibilidades para a formatação dos dados de vídeo em 3D, por exemplo estereoscópico, imagem + profundidade, possivelmente incluindo oclusão e transparência, múltiplas visualizações. Além disso, imagina-se que múltiplas camadas de dados de vídeo em 3D podem ser transmitidas em uma interface para composição antes da exibição. Esta variedade de opção leva a muitas opções de formato de vídeo, dependendo do formato dos dados disponíveis no dispositivo de geração e no formato de vídeo em 3D aceito pelo visor. A maioria destes formatos são caracterizados por um grande volume de informações, uma estrutura complexa precisa ser transmitida para cada imagem 3D a ser exibida. De acordo com a invenção, quando os dados são enviados em unidades, e informações sobre as unidades estão disponíveis no sinal de exibição em 3D, o sistema de transmissão é mais flexível ao se trabalhar com vários formatos de dados 3D, conforme mais dados podem ser incluídos em uma unidade. As modernas interfaces de alta velocidade permitem o envio de quadros a uma frequência que é muito maior que a real' frequência das imagens 3D, geralmente 24 Hz conforme utilizado pela indústria cinematográfica. Ao utilizar unidades de quadro, um maior volume de dados, em um formato flexível, para cada imagem 3D pode se enviado na interface.
Em uma configuração, o grupo de esquemas de multiplexação compreende ainda pelo menos uma multiplexação de alternação de campo; multiplexação de alternação de linha;
8/40 multiplexação de quadro lado a lado, a multiplexação de _ quadro lado a _lado_.indi-cando— o__di to_número—de -quadros —sendo ~ dispostos lado a lado dentro do dito período de dados de vídeo; multiplexação de quadro 2D e de profundidade; 2D, profundidade, gráficos e multiplexação de quadro de gráficos e de profundidade.
De modo geral, a transmissão de dados de vídeo em 3D pode ser caracterizada por 3 parâmetros:
- taxa de repetição de pixel
- número de quadros em uma unidade de quadros de uma única imagem 3D
- o formato: forma de multiplexação dos canais
Em uma configuração preferida da invenção, as informações sobre todos estes parâmetros são incluídas nas 15 informações de transferência 3D. Para a máxima flexibilidade, de acordo com a invenção, estas devem ser transmitidas em três campos separados.
Em uma configuração da invenção, HDMI é utilizado como interface, e as informações de transferência 3D são 20 enviadas em quadros de informação AVI e/ou quadros de informação HDMI Específicos do Fornecedor. Na configuração mais preferida, que permite a máxima flexibilidade, as informações de transferência 3D são enviadas em um quadro de informações separado.
Outras configurações preferidas do método, dispositivos 3D e sinal ' de acordo com a invenção são mostradas nas reivindicações anexas, cuja revelação é aqui incorporada por referência.
BREVE DESCRIÇÃO DOS DESENHOS
Estes e outros aspectos da invenção ficarão evidentes e ainda esclarecidos com referência às configurações descritas por meio de exemplo na seguinte descrição e com referência aos desenhos anexos, nos quais:
9/40
A Figura 1 mostra um sistema para transferir dados de imagem tridimens ionaC3D_)_;___________
A Figura 2 mostra em exemplo de dados de imagem 3D;
A Figura 3 mostra um dispositivo de reprodução e UM dispositivo de combinação de exibição;
Figura 4 mostra esquematicamente possíveis unidades de quadros a serem enviados na interface de vídeo para dados de imagem 3D correspondendo a 2D+Stereo + DOT;
A Figura 5 mostra esquematicamente outros detalhes de possíveis unidades de quadros a serem enviados na interface de vídeo para dados de imagem 3D correspondendo a 2D+Stereo + DOT;
A Figura 6 mostra esquematicamente o saída de tempo de quadros na interface de vídeo para dados de imagem 3D correspondendo a 2D+Stereo + DOT;
A Figura 7 mostra esquematicamente possíveis unidades de disposição de quadros para um sinal estéreo;
A Figura 8 mostra lacunas horizontais e verticais e sinalização para um formato 3D + DOT a 1920 pixels;
A Figura 9 mostra lacunas horizontais e verticais e sinalização para um formato 3D + DOT de 72 0 pixels enviados como 1920 progressivo a 30 Hz;
A Figura 10 mostra uma tabela de um quadro de informações AVI estendido com um tipo de indicador de sincronização de quadro para dados de imagem 3D estéreo;
|
A |
Figura |
11 mostra uma Tabela |
de |
formatos de vídeo |
em 3D; |
|
|
|
|
|
|
A |
Figura |
12 mostra um sinal |
de |
sincronização de |
quadro, |
e |
|
|
|
|
|
A |
Figura |
13 mostra valores |
de |
camadas de vídeo |
adicionais.
Nas figuras, os elementos que correspondem aos elementos já descritos possuem os mesmos números de
10/40 referência.
DESCRIÇÃO DETALHADA DAS CONFIGURAÇÕES
A Figura 1 mostra um sistema para transferir dados de imagem tridimensional (3D), por exemplo, vídeo, gráficos ou outras informações visuais. Um dispositivo 10 de geração de 3D é acoplado a um dispositivo 13 de exibição em 3D para transferir um sinal 56 de exibição em 3D, O dispositivo de geração de 3D possui uma unidade de entrada 51 para receber informações de imagem. Por exemplo, um dispositivo da unidade de entrada pode incluir uma unidade de disco óptico 58 para recuperar vários tipos de informações de imagem a partir de um portador de registro óptico 54 como um DVD ou disco BluRay. Alternativamente, a unidade de entrada pode incluir uma unidade de interface de rede 59 para acoplamento a uma rede 55, por exemplo, a internet ou uma rede de transmissão, sendo este dispositivo geralmente denominado um set-top box. Os dados de imagem podem ser recuperados de um servidor de mídia remoto 57. O dispositivo de geração também pode ser um receptor de satélite ou um servidor de mídia que envia diretamente os sinais de exibição, ou seja, qualquer dispositivo adequado que envie um sinal de exibição em 3D a ser diretamente acoplado a uma unidade de exibição.
dispositivo de geração de 3D possui uma unidade de processamento 52 acoplada à unidade de entrada 51 para processar as informações de imagem para geração de um sinal 5 6 de exibição em 3D a ser transferido por meio de uma unidade de interface de saída 12 até o dispositivo de exibição. A unidade de processamento 52 é disposta para gerar os dados de imagem incluídos no sinal 56 de exibição em 3D para exibição no dispositivo de exibição 13. O dispositivo de geração é provido de elementos de controle do usuário 15, para controlar os parâmetros de exibição dos dados de imagem, tais como, contraste ou parâmetro de cor. Estes elementos de
11/40 controle do usuário são bem conhecidos e podem incluir uma unidade de controle remoto _que_tem—vário s_botões—e-/ou—funç õe s de controle de cursor para controlar as várias funções do dispositivo de geração de 3D, por exemplo, as funções de reprodução e gravação, e para definir os ditos parâmetros de exibição, por exemplo, por meio de uma interface gráfica de usuário e/ou menus.
O dispositivo de geração possui uma unidade de sincronização de transmissão 11 para prover pelo menos um indicador de sincronização de tipo de quadro no sinal de exibição em 3D, indicador este incluído no sinal de exibição em 3D na unidade de interface de saída 12, que é ainda disposto para transferir o sinal de exibição em 3D com os dados de imagem e os indicadores de sincronização de tipo de quadro a partir do dispositivo de geração até o dispositivo de exibição como o sinal 56 de exibição em 3D. O sinal de exibição em 3D compreende uma sequência de quadros organizados em grupos de quadros, constituindo assim os dados de imagem 3D de acordo com um formato de transferência de vídeo em 3D, formato no qual os quadros compreendem pelo menos dois diferentes tipos de quadro. Cada quadro possui uma estrutura de dados para representar uma sequência de dados de pixel de imagem digital, geralmente disposta como uma sequência de linhas horizontais de um número de pixels de acordo com uma resolução predeterminada. Cada tipo de quadro representa uma estrutura de' dados 3D parciais. Por exemplo, as estruturas de dados 3D parciais nos tipos de quadro do formato de transferência de vídeo em 3D podem ser imagens esquerdas e direitas ou uma imagem 2D e profundidade adicional e/ou outros dados 3D, tais como informações de oclusão ou transparência conforme discutido abaixo. Observe que o tipo de quadro também pode ser um tipo de quadro de combinação indicativo de uma combinação de sub-quadros dos
12/40 tipos de quadro acima, por exemplo, 4 sub-quadros que têm uma menor resolução localizada em um único quadro de resolução máxima. Também, diversas imagens de múltiplas visualizações podem ser codificadas na transmissão de vídeo de quadros a ser simultaneamente exibido.
dispositivo de geração é adaptado para incluir informações de transferência 3D compreendendo pelo menos informações sobre o número de quadros de vídeo em uma unidade a ser composta em uma única imagem 3D no sinal de exibição em 3D. Isto pode ser realizado adicionando-se a funcionalidade correspondente na unidade de sincronização 11.
O dispositivo 13 de exibição em 3D serve para exibir dados de imagem 3D. 0 dispositivo possui uma unidade de interface de entrada 14 para recepção do sinal 56 de exibição em 3D incluindo os dados de imagem 3D em quadros e o indicador de sincronização de tipos de quadros transferidos a partir do dispositivo de geração 10. Cada quadro possui uma estrutura de dados para representar uma sequência de dados de pixel de imagem digital, e cada tipo de quadro representa uma estrutura de dados 3D parciais. 0 dispositivo de exibição é provido de outros elementos de controle do usuário 16, para definição dos parâmetros de exibição do visor, por exemplo, parâmetros de contraste, cor ou profundidade. Os dados de imagem transferidos são processados na unidade de processamento 18 de acordo com os comandos de definição a partir dos elementos de controle- do usuário e geração de sinais de controle de exibição para exibir os dados de imagem 3D no visor 3D com base nos diferentes tipos de quadro. O dispositivo possui um visor 3D 17 que recebe os sinais de controle de exibição para exibir os dados de imagem processados, por exemplo, um LCD duplo. O dispositivo de exibição 13 é um visor estereoscópico, também chamado visor 3D, que tem uma variação de profundidade de exibição indicada
13/40 pela seta 44. A exibição de dados de imagem 3D é realizada dependendo dos diferentes__quadros, cada um provendo uma respectiva estrutura de dados de imagem 3D parciais.
dispositivo de exibição inclui ainda uma unidade de detecção 19 acoplada à unidade de processamento 18 para recuperar o indicador de sincronização de tipo de quadro a partir do sinal de exibição em 3D e para detectar os diferentes tipos de quadro no sinal de exibição em 3D recebido. A unidade de processamento 18 é disposta para gerar 10 os sinais de controle de exibição com base nos vários tipos de dados de imagem conforme definidos pelas estruturas de dados 3D parciais do respectivo formato de vídeo em 3D, por exemplo, uma imagem 2D e um quadro de profundidade. Os respectivos quadros são reconhecidos e sincronizados em tempo 15 conforme indicado pelos respectivos indicadores de sincronização de tipo de quadro.
dispositivo de exibição é adaptado para detectar as informações de transferência 3D compreendendo pelo menos informações sobre o número de quadros de vídeo em uma unidade 20 a ser composta em uma única imagem 3D no sinal de exibição em 3D; e para utilizar as informações de transferência 3D para gerar os sinais de controle de exibição dependendo das informações de transferência 3D. Isto pode ser realizado, por exemplo, adaptando-se a unidade de detecção 19 para detectar 25 as informações de transferência 3D e adaptando-se os meios de processamento (18) para gerar os sinais de controle de exibição dependendo das informações de transferência 3D.
Os indicadores de sincronização de tipo de quadro permitem a detecção de quais os quadros devem ser combinados 3 0 para exibição ao mesmo tempo e também indicar o tipo de quadro de modo que os respectivos dados 3D parciais possam ser recuperados e processados. 0 sinal de exibição em 3D pode ser transferido em uma interface adequada de vídeo digital de
14/40 alta velocidade, por exemplo, a bem conhecida interface HDMI _ (vide,__por exemplo, High_De.fjLni.ti.on__Muitimedia -Interface-------Specification Versão 1.3a de 10 de novembro de 2006).
A Figura 1 mostra ainda um portador de registro 54 como um portador dos dados de imagem 3D. O portador de registro tem formato de disco e possui uma trilha e um orifício central. A trilha, constituída por uma série de marcas fisicamente detectáveis, é disposta de acordo com um padrão espiral ou concêntrico de voltas que constituem 10 substancialmente trilhas paralelas em uma camada de informações. O portador de registro pode ser opticamente legível, denominado disco óptico, por exemplo, um CD, DVD ou BD (Blue-ray Disc). As informações são representadas na camada de informações pelas marcas opticamente detectáveis ao 15 longo da trilha, por exemplo, pits e lands. A estrutura da trilha compreende também informações de posição, por exemplo, cabeçalhos e endereços, para indicação da localização de unidades de informação, geralmente denominados blocos de informação. 0 portador de registro 54 portar informações que 20 representam dados de imagem digitalmente codificados, como vídeo, por exemplo, codificados de acordo com o sistema de codificação MPEG2 ou MPEG4, em um formato de gravação predefinido como o formato de DVD ou BD.
Observa-se que um reprodutor pode suportar vários 25 formatos de reprodução, porém não podem transcodificar os formatos de vídeo, e um dispositivo de exibição pode ser capaz de reproduzir um conjunto limitado de formatos de vídeo. Isto significa que existe um divisor comum do que pode ser reproduzido. Observe que, dependendo do disco ou do 30 conteúdo, o formato pode mudar durante a reprodução/operação do sistema. A sincronização em tempo real do formato precisa acontecer e a mudança dos formatos em tempo real é provida pelo indicador de sincronização de tipo de quadro.
15/40
A seção a seguir apresenta uma visão geral de visores tlTidime n s íbnãrs e a percepção dà profundidade por humanos. Os visores 3D diferem dos visores 2D pelo fato de que podem prover uma percepção mais vivida da profundidade. Isto é alcançado pois eles oferecem mais sinais de indicação de profundidade que os visores 2D que podem mostrar somente sinais de indicação de profundidade monocular e sinais de indicação com base no movimento.
Os sinais de indicação de profundidade monocular (ou estática) podem ser obtidos a partir de uma imagem estática utilizando um único olho. Os pintores geralmente utilizam sinais de indicação monoculares para criar uma sensação de profundidade em suas pinturas. Estes sinais de indicação incluem o tamanho relativo, a altura relativa ao horizonte, oclusão, perspectiva, gradientes de textura e iluminação/sombras. Os sinais de indicação oculomotores são sinais de indicação de profundidade derivados da tensão nos músculos dos olhos dos expectadores. Os olhos possuem músculos para realizar a rotação ocular, bem como expandir o cristalino. O estiramento e o relaxamento do cristalino é chamada acomodação e é realizada quando se foca em uma imagem. A quantidade de estiramento ou relaxamento dos músculos do cristalino fornece sinal de indicação sobre quanto perto ou longe está um objeto. A rotação ocular é feita de modo que ambos foquem o mesmo objeto, o que é chamando convergência. Por fim, a paralaxe do movimento é o efeito que objetos próximos de um expectador parecem se mover mais rápido que os objetos mais distantes.
A disparidade binocular é um sinal de indicação de profundidade derivado do fato de que ambos os nossos olhos enxergam uma imagem discretamente diferente. Os sinais de indicação de profundidade monocular podem ser e são utilizados em qualquer tipo de exibição visual 2D. Para
16/40 recriar a disparidade binocular em um visor, exige-se que o visor possa segmentar a visualização para o olho esquérdoê direito de modo que cada um veja uma imagem discretamente diferente no visor. Os visores que podem recriar a disparidade binocular são visores especiais que serão denominados visores 3D ou visores estereoscópicos. Os visores 3D são capazes de exibir imagens ao longo de uma dimensão de profundidade de fato percebida pelos olhos humanos, denominado visor 3D que tem uma variação de profundidade de exibição display range neste documento. Portanto, os visores 3D proporcionam uma visualização diferente para os olhos esquerdo e direito.
Os visores 3D que podem prover duas visões diferentes são conhecidos há muito tempo. A maioria deles era baseada no uso de óculos para separar a visualização do olho esquerdo e do olho direito. Atualmente, com o avanço da tecnologia de exibição, novos visores entraram no mercado que podem prover uma visualização estéreo sem utilizar óculos. Esses visores são denominados visores auto-estereoscópicos.
Uma primeira abordagem é baseada nos visores de LCD que permitem ao usuário ver um vídeo estéreo sem óculos. Estes são baseados em uma de duas técnicas, a tela lenticular e os visores de barreira. Com o visor lenticular, o LCD é coberto por uma camada de lentes lenticulares. Estas lentes causam a difração da luz do visor, de modo que o olho esquerdo e o olho direito recebam luz de diferentes pixels. Isto permite duas diferentes imagens, uma visualização para o olho esquerdo e uma visualização para o olho direito.
Uma alternativa à tela lenticular é o visor de barreira, que utiliza uma barreira paralaxe atrás do LCD e na frente da luz de fundo para separar a luz dos pixels no LCD. A barreira é tal que, a partir de uma posição definida na frente da tela, o olho esquerdo visualiza pixels diferentes
17/40 daqueles observados pelo olho direito. A barreira também pode estar entre õ LCD e o “èxpectadõr humano', dê mõdõ que õs” pixels em uma fileira do display sejam alternadamente visíveis pelo olhos esquerdo e direito. Um problema com o visor de barreira é a perda de brilho e de resolução, mas também um ângulo de visão muito estreito. Isto o torna menos atraente como uma TV para sala de estar se comparado à tela lenticular que, por exemplo, possui 9 visualizações e múltiplas zonas de visualização.
Outra abordagem é ainda baseada no uso de óculos persiana em combinação com projetores de alta resolução que podem exibir quadros em uma alta taxa de atualização (por exemplo, 120 Hz) . A alta taxa de atualização é necessária pois, com o método dos óculos persiana, as visualizações do olho esquerdo e do olho direito são alternadamente exibidas. O expectador que usa os óculos percebe o vídeo estéreo a 60 Hz. 0 método dos óculos persiana permite um vídeo de alta qualidade e alto nível de profundidade.
Tanto os visores auto-estereoscópicos como o método de óculos persiana apresentam o problema de disparidade da convergência da acomodação. Isto limita a quantidade de profundidade e o tempo de visualização que pode ser confortável utilizando estes dispositivos. Existem outras tecnologias de visor, por exemplo, visores holográficos e volumétricos, que não apresentam este problema. Observa-se que a presente invenção pode ser utilizada para qualquer tipo de visor 3D que tenha uma variação de profundidade.
Assume-se que os dados de imagem dos visores 3D estão disponíveis como dados eletrônicos, geralmente digitais. A presente invenção refere-se a estes dados de imagem e manipula os dados de imagem no domínio digital. Os dados de imagem, quando transferidos de uma fonte, já podem conter informações 3D, por exemplo, utilizando câmeras
18/40 duplas, ou um sistema dedicado de pré-processamento pode ser envolvido—para—(re- ) criar—as—informações 3D—a—partir_de. imagens 2D. Os dados de imagem podem ser slides do tipo estático ou podem incluir filmes do tipo de vídeo em movimento. Outros dados de imagem, geralmente denominados dados gráficos, pode estar disponíveis como objetos armazenados ou gerados on the fly conforme exigido por uma aplicação. Por exemplo, as informações de controle pelo usuário, tais como menus, itens de navegação ou anotações de texto e ajuda, podem ser adicionados a outros dados de imagem.
Existem várias formas diferentes nas quais as imagens estéreo podem ser formatadas, denominada um formato de imagem 3D. Alguns formatos são baseados no uso de um canal 2D para também conter as informações estéreo. Por exemplo, a visualização esquerda e direita podem ser interligadas ou colocadas lado a lado e acima e abaixo. Estes métodos sacrificam a resolução para conter as informações estéreo. Outra opção é sacrificar a cor, abordagem esta denominada estéreo anaglífico. O estéreo anaglífico utiliza a multiplexação espectral que é baseada na exibição de duas imagens separadas cobertas em cores complementares. Ao usar óculos com filtros coloridos, cada olho visualiza somente a imagem da mesma cor como sendo do filtro na frente do olho. Então, por exemplo, o olho direito somente visualiza a imagem vermelha e o olho esquerdo somente a imagem verde.
Um formato 3D diferente é baseado nas duas visualizações utilizando uma imagem 2D e uma imagem de profundidade adicional, um assim chamado mapa de profundidade, que transite informações sobre a profundidade de objetos na imagem 2D. O formato chamado imagem + profundidade é diferente pelo fato de ser uma combinação de uma imagem 2D com a assim chamada profundidade, ou mapa de
19/40 disparidade. Esta é uma imagem em escala cinza, por meio da qua 1 o vaIor^dã^escaTa cinza~de~um~p ixel-indica a quan:idade de disparidade (ou profundidade no caso de um mapa de profundidade) para o pixel correspondente na imagem 2D associada. O dispositivo de exibição utiliza a disparidade, a profundidade ou o mapa paralaxe para calcular as visualizações adicionais utilizando a imagem 2D como entrada. Isto pode ser realizado de várias formas. Na forma mais simples, é uma questão de mudança de pixels para a esquerda ou para a direita dependendo do valor de disparidade associado àqueles pixels. O artigo intitulado renderização, compressão e transmissão baseadas na imagem de profundidade para uma nova abordagem em TV 3D por Christoph Fen permite uma visão geral excelente da tecnologia (vide http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf).
A Figura 2 mostra um exemplo de dados de imagem 3D. A parte esquerda dos dados de imagem é uma imagem 2D 21, geralmente colorida, e a parte direita dos dados de imagem é um mapa de profundidade 22. As informações de imagem 2D podem ser representadas em qualquer formato de imagem adequado. As informações de mapa de profundidade podem ser uma transmissão de dados adicionais que tem um valor de profundidade para cada pixel, possivelmente em uma resolução reduzida em comparação à imagem 2D. No mapa de profundidade, os valores da escala cinza indicam a profundidade do pixel associado na imagem 2D. A cor branca indica proximidade ao expectador e a cor negra indica uma grande profundidade distante do expectador. Um visor 3D pode calcular a visualização adicional necessária para estéreo utilizando o valor de profundidade do mapa de profundidade e calculando-se as transformações de pixel necessárias. As oclusões podem ser resolvidas utilizando-se técnicas de cálculo ou de preenchimento. Quadros adicionais podem ser incluídos na
20/40 transmissão de dados, ou seja, ainda adicionados à imagem e ao fõrmãtõ-dé“mãpa~de'_profundidade-;—como—um mapa de— oclusão.,.. um mapa paralaxe e/ou um mapa de transparência para objetos transparentes que se movem na frente de um fundo.
A adição de estéreo ao vídeo também influencia o formato do vídeo quando este é enviado de um reprodutor, por exemplo, um reprodutor de disco Blu-ray, para um visor estéreo. No caso de 2D, somente uma transmissão de vídeo em 2D é enviada (dados de imagem decodificados) . Com o vídeo estéreo, isto aumenta pois agora uma segunda transmissão deve ser enviada contendo a segunda visualização (para estéreo) ou um mapa de profundidade. Isto podería dobrar a taxa de bits necessária na interface elétrica. Uma abordagem diferente é sacrificar a resolução e o formato da transmissão de modo que a segunda visualização ou o mapa de profundidade sejam interligados ou colocados lado a lado com o vídeo em 2D.
A Figura 2 mostra um exemplo de dados 2D e um mapa de profundidade. Os parâmetros de exibição de profundidade que são enviados ao visor para permitir que este interprete corretamente as informações de profundidade. Exemplos de inclusão de informações adicionais em vídeo são descritas no padrão ISO 23002-3 Representação de informações auxiliares de vídeo e complementares (vide, por exemplo, ISO/IEC JTC1/SC29/WG11 N8259 de julho de 2007). Dependendo do tipo de transmissão auxiliar, os dados de imagem adicionais consistem em quatro ou dois parâmetros. O indicador de sincronização de tipo de quadro pode compreender um indicador de formato de vídeo em 3D indicativo do respectivo formato de transferência de vídeo em 3D em uma seção subsequente do sinal de exibição em 3D. Isto permite indicar ou alterar o formato de transferência de vídeo em 3D ou resetar a sequência de transferência ou definir ou resetar outros parâmetros de sincronização.
21/40
Em uma configuração, o indicador de sincronização de tipo de quadro- inclui “u^in^itrador—de—sequência-de—quadro indicativo da frequência de pelo menos um tipo de quadro. Observe que alguns tipos de quadro permitem uma menor frequência de transmissão sem substancial deterioração da imagem 3D percebida, por exemplo, os dados de oclusão. Além disso, uma ordem dos diferentes tipos de quadro pode ser indicada como uma sequência de diferentes tipos de quadros a serem repetidos.
Em uma configuração, o indicador de sincronização de tipo de quadro e as informações de transferência 3D incluem um número de sequência de quadro. Quadros individuais também podem ser providos do número de sequência de quadro. O número de sequência é aumentado 1 regularmente, por exemplo, quando todos os quadros que constituem uma única imagem 3D foram enviados e os quadros seguintes pertencem a uma próxima imagem 3D. Portanto, o número é diferente para cada ciclo de sincronização ou pode mudar somente para uma seção maior. Portanto, quando há um salto, o conjunto de quadros que tem o mesmo respectivo número de sequência deve ser transferido antes que a exibição da imagem possa ser retomada. 0 dispositivo de exibição detectará o número de sequência de quadro de desvio e somente combinará um conjunto completo de quadros. Isto impede que, após o salto para uma nova localização, uma combinação errônea de quadros seja utilizada.
Ao adicionar gráficos ao vídeo, outras transmissões de dados separadas pode ser utilizadas para cobrir as camadas adicionais na unidade de exibição. Esses dados de camada são incluídos em diferentes tipos de quadro, que são separadamente marcados pela adição de respectivos indicadores de sincronização de tipo de quadro no sinal de exibição em 3D conforme discutido em detalhe abaixo. O formato de
22/40 transferência de vídeo em 3D compreende agora um vídeo principal e pelo menos uma camãdã de—vídeo—adic-ional. transferida por meio de respectivos tipos de quadro e o indicador de sincronização de tipo de quadro compreende pelo menos um dentre um indicador do tipo de quadro principal e um indicador do tipo de quadro de camada adicional. A camada de vídeo adicional podet por exemplo, ser legendas ou outras informações gráficas como um menu ou quaisquer outros dados em tela (OSD).
Um possível formato das unidades de quadros será descrito com referência às Figuras 4 a 7. Este formato também tem sido descrito no pedido EP N° 09150947.1 (número do protocolo do requerente PH 012841), a partir do qual a prioridade é reivindicada e que é aqui incorporado por referência.
A transmissão comprimida recebida compreende informações 3D que permitem a composição e a renderização tanto no visor estereoscópico como no auto-estereoscópico, ou seja, a transmissão comprimida compreende um quadro de vídeo esquerdo e um direito, e informações de profundidade (D) , transparência (T) e oclusão (O) para permitir a renderização com base em informações 2D + profundidade. A seguir, as
informações |
de profundidade |
(D) , |
de transparência |
(T) e de |
oclusão (0) |
serão abreviadas |
como |
DOT. |
|
. A |
presença tanto |
de |
Estéreo como de |
DOT como |
transmissões comprimidas permite a composição e renderização que é otimizada pelo visor, dependendo do tipo e do tamanho do visor, enquanto a composição ainda é controlada pelo autor do conteúdo.
Os seguintes componentes são transmitidos na interface do visor:
- dados de vídeo decodificados (não misturados com
PG e IG/BD-J)
23/40 __ - dados gráficos de apresentação (PG)
- dados gráficos interativos (IGT'õtT dados-gráficos gerados por BD-Java (BD-J)
- vídeo DOT decodificado
- DOT de gráficos de apresentação (PG)
- gráficos interativos (IG) ou gráficos gerados por BD-Java (BD-J)
As Figuras 4 e 5 mostram esquematicamente unidades de quadros a serem enviadas na interface de vídeo.
O estágio de saída envia, na interface (preferencialmente HDMI), unidades de 6 quadros organizadas da seguinte maneira:
Quadro 1: Os componentes YUV do vídeo esquerdo (L) e do vídeo DOT são combinados em um quadro de saída RGB de 24 Hz, componentes, conforme ilustrados no desenho superior da figura 9. YUV designa, como é usual no campo de processamento de vídeo, os componentes padrão de luminância (Y) e chroma (UV) .
Quadro 2: O vídeo direito (R) é enviado inalterado, preferencialmente a 24 Hz conforme ilustrado no desenho inferior da Figura 9
Quadro 3: A cor do PC (PG-C) é enviada inalterada, como componentes RGB, preferencialmente a 24 Hz.
Quadro 4: A transparência da Cor PG é copiada em um plano separado de DOT de gráficos e combinado com os componentes de profundidade e oclusão de 960x540 e profundidade de oclusão (OD) para vários planos, conforme ilustrado no desenho superior da Figura 10.
Quadro 5: A cor BD-J/IG (C) é enviada inalterada preferencialmente a 24 Hz.
Quadro 6: A transparência da Cor BD-J/IG é copiada em um plano de saída separado de DOT de gráficos e combinada com os componentes de profundidade e oclusão de 960x540 e
24/40 •profundidade de oclusão (OD) , conforme ilustrado no desenho inferior da Figura 10. ----------A Figura 6 mostra esquematicamente a saída de tempo de quadros na interface de vídeo, de acordo com a configuração preferida da invenção. Aqui, os componentes são enviados em componentes de 24Hz intercalados no tempo na interface HDMI em uma frequência de interface de 144Hz para o visor.
As vantagens deste formato de vídeo em 3D:
- O formato estéreo 3D flexível de resolução máxima + DOT e a saída HDMI 3D permite um vídeo em 3D aperfeiçoado (linha de base variável para a dependência de tamanho do visor) e possibilidade de gráficos 3D aperfeiçoados (menos restrições gráficas, OSD de TV 3D) para vários visores 3D (estéreo e auto-estereoscópico).
Nenhum comprometimento da qualidade, flexibilidade de autoria e com custo mínimo para o hardware de reprodução. A composição e a renderização são realizadas no visor 3D.
- A maior velocidade de interface de vídeo exigida está sendo definida em HDMI para formatos de 4k2k e já pode ser implementada com HDMI dual-link. 0 HDMI dual-link também suporta maiores taxas de quadro, por exemplo, 30 Hz etc.
O indicador de informações de transferência 3D pode compreender, para a camada de vídeo adicional, parâmetros de sinalização de camada. Os parâmetros podem ser indicativos de pelo menos um dentre:
- tipo e/ou formato de camada adicional;
- localização da exibição da camada adicional em relação à exibição do vídeo principal;
- tamanho da exibição da camada adicional;
tempo de aparecimento, desaparecimento e/ou duração da exibição da camada adicional;
25/40
-------------configurações adicionais do visor 3D ou parâmetros do visor 3D. ' ------Outros exemplos detalhados são discutidos abaixo.
A Figura 3 mostra o dispositivo de reprodução e o dispositivo de combinação de exibição. O reprodutor 10 lê as capacidades do visor 13 e ajusta os parâmetros de formato e timing do vídeo para enviar o vídeo de maior resolução, espacialmente e também temporalmente, que o visor pode suportar. Na prática, é utilizado um padrão chamado EDID. Os dados de identificação de exibição estendida [Extended Display Identification Data (EDID)] ê uma estrutura de dados provida de um dispositivo de exibição para descrever suas capacidades para uma fonte de imagem, por exemplo, um cartão gráfico. Este padrão permite que um computador pessoal moderno saiba qual tipo de monitor está conectado. O EDID é definido por um padrão publicado pela Video Electronics Standards Association (VESA). Vide ainda o Padrão VESA DisplayPort, Versão 1, Revisão la, 11 de janeiro de 2008 disponível no endereço http://www.vesa.org/.
EDID inclui o nome do fabricante, o tipo de produto, tipo de fósforo ou filtro, timings suportados pelo visor, tamanho do visor, dados de luminância e (somente para visores digitais) os dados de mapeamento de pixel. O canal para transmissão do EDID a partir do visor até o cartão gráfico é geralmente o assim chamado I2C bus. A combinação de EDID e I2C é denominada Canal de Dados de Exibição versão 2, ou DDC2. Os dois se distinguem do DDC original do VESA, que utiliza um formato serial diferente. 0 EDID é geralmente armazenado no monitor em um dispositivo de memória denominado PROM serial (memória programável somente de leitura) ou EEPROM (PROM eletricamente apagável) que é compatível com o 12 C bus.
O dispositivo de reprodução envia um pedido E-EDID
26/40 ' ------------------ .jvisor___no canal DDC2. 0 visor responde enviando a informação E-EDID. O reprodutor determiria~õ melhor formato-e começa a transmitir no canal de vídeo. Em tipos mais antigos, o visor envia continuamente as informações E-EDID no canal
DDC. Nenhuma solicitação é enviada. Para ainda definir o formato do vídeo em uso na interface, outra organização (Consumer Electronics Association; CEA) definiu várias restrições e extensões adicionais ao E-EDID para torna-lo mais adequado para uso com visores de TV. O padrão HDMI 10 (mencionado acima), além de especificar as exigências de EEDID, suporta códigos de identificação e informações de timing relacionadas para muitos formatos diferentes de vídeo. Por exemplo, o padrão CEA 861-D é adotado no padrão de interface HDMI. HDMI define a ligação física e suporta os 15 padrões CEA 861-D e VESA E-EDID para trabalhar a sinalização de nível mais elevado. O padrão VESA E-EDID permite que o visor indique se suporta a transmissão em vídeo estereoscópico e em qual formato. Deve ser observado que essas informações sobre as capacidades do visor voltam para o 20 dispositivo de geração. Os padrões VESA conhecidos não definem quaisquer informações 3D avançadas que controlem o processamento 3D no visor.
Em uma configuração, as informações de transferência 3D no sinal de exibição em 3D é transferido de 25 forma assíncrona, ou seja, como um pacote separado em uma transmissão de dados, enquanto identifica o respectivo quadro ao qual se refere. O pacote pode incluir outros dados para sincronizar precisamente o quadro com o vídeo, e pode ser inserido em um momento apropriado nas lacunas entre quadros 30 de vídeo sucessivos. Em uma configuração prática, as informações de transferência 3D são inseridas em pacotes dentro das Ilhas de Dados HDMI.
Um exemplo de inclusão de informações de
27/40
- trans.ferênçia3_Dem JInformações de Vídeo Auxiliar (AVI) como definido em HDMI em uma transmissão de dados~de~áüdio~e-vídeo(AV) é o seguinte. O AVI é levado na transmissão AV desde o dispositivo de geração até um Monitor de TV Digital (DTV) como um Quadro de Informações. Se o dispositivo de geração suportar a transmissão das Informações de Vídeo Auxiliar (AVI) e se este determinar que o Monitor de DTV é capaz de receber essas informações, ele deve enviar o AVI para o Monitor de DTV uma vez por período VSYNC. Os dados se aplicam ao próximo quadro integral de dados de vídeo.
Na seção a seguir, será apresentada uma breve descrição da sinalização HMDI. Na HDMI, um dispositivo com uma saída HDMI é conhecido como fonte, ao passo que um dispositivo com uma entrada HDMI é conhecido como depósito. Uma InfoFrame é uma estrutura de dados definida na CEA-861-D que é projetada para portar uma variedade de itens de dados auxiliares relacionados às transmissões de áudio ou vídeo ou o dispositivo de geração e é levada da Fonte para o Depósito por meio da HDMI. Um Campo de Vídeo é o período desde uma margem ativa VSYNC até a próxima margem ativa VSYNC. Um formato de vídeo é suficientemente definido de modo que, quando é recebido no monitor, o monitor tem informações suficientes para exibir adequadamente o vídeo ao usuário. A definição de cada formato inclui um Timing de Formato de Vídeo, a razão de aspecto da figura e um espaço colorimétrico. 0 Timing de Formato de Vídeo é a forma de onda associada a um formato de vídeo. Observe que um Timing de Formato de Vídeo específico pode estar associado a mais que um Formato de Vídeo (por exemplo, 720X480p@4:3 e 720X480p@16:9).
A HDMI inclui três canais separados de comunicações: TMDS, DDC e o CEC opcional. O TMDS é utilizado para portar todos os dados de áudio e vídeo, bem como os
28/40 dados auxiliares, incluindo AVI e InfoFrames de Áudio que ______desc.re.vem_as_transmissões ativas__ de_ _áudi.o_ e__vídeo.._O_canal__________
DDC é utilizado por uma Fonte HDMI para determinar as capacidades e características do Depósito por meio da leitura da estrutura de dados E-EDID.
Espera-se que as Fontes HDMI leiam o E-EDID do Depósito e entregue somente os formatos de áudio e vídeo que são suportados pelo Depósito. Além disso, espera-se que os Depósitos HDMI detectem InfoFrames e processem adequadamente os dados de áudio e vídeo recebidos.
canal CEC é opcionalmente utilizado para funções de usuário de nível mais elevados, por exemplo, tarefas de configuração automática ou tarefas tipicamente relacionadas ao uso de controle remoto infravermelho.
Um link HDMI opera em um dos três modos: Período de
Dados de Vídeo, Período de Ilha de Dados e Período de Controle. Durante o Período de Dados de Vídeo, os pixels ativos de uma linha de vídeo ativo são transmitidos. Durante o Período de Ilha de Dados, os dados de áudio e auxiliares são transmitidos utilizando uma série de pacotes. 0 Período de Controle é utilizado quando nenhum dado de vídeo, áudio ou auxiliar precisa ser transmitido. Um Período de Controle é necessário entre quaisquer dois períodos que não sejam Períodos de Controle.
A Tabela 1 ilustra tipos de pacote em uma ilha de dados HDMI.
Valor do Tipo de
Pacote |
Tipo de Pacote |
0x00 |
Nulo |
0x01 |
Regeneração de Clock de Áudio (N/CTS) |
29/40
0x02 |
Amostra de Áudio (formatos comprimidos L-PCM e IEC 61937) |
|
|
0x03 |
Controle Geral |
0x04 |
Pacote ACP |
0x05 |
Pacote ISRC1 |
0x06 |
Pacote ISRC2 |
0x07 |
Pacote de Amostra de Áudio de
Um Bit |
0x08 |
Pacote de Áudio DST |
0x09 |
Pacote de Transmissão de Áudio de Alta Taxa de Bits (HBR) (IEC 61937) |
OxOA |
Pacote de Metadados Gamut |
0x80+Tipo de
InfoFrame |
Pacote InfoFrame |
0x81 |
InfoFrame Específico do Fornecedor |
0x82 |
InfoFrame AVI* |
0x83 |
InfoFrame Descritor de Produto
Fonte |
0x84 |
InfoFrame de Áudio* |
0x85 |
InfoFrame de Fonte MPEG |
Foi identificado pelos inventores que os presentes
Pacote Infoframe, |
quadro |
de informações |
AVI |
etc |
não |
são |
adequados |
para trabalhar, a |
transmissão de |
dados |
de |
vídeo |
em |
3D. |
|
|
|
|
|
|
|
5 |
De modo |
geral, a |
transmissão de |
dados |
de |
vídeo |
em |
3D pode ser caracterizada por 3 parâmetros:
- VIC (taxa de repetição de pixel) da tabela 8.7 na especificação HDMI, por exemplo, 1920xl080p@60Hz.
- número de quadros em uma unidade de quadros de uma única imagem 3D.
30/40
N=1 para monoscópico
---------N=2—para-es-téreo e.-v£deo--tpr.ofun.didade____
N=3 para vídeo+profundidade+gráficos
N=4 para MVD @ M=2, etc
N=6 para a unidade definida com referência às Figuras 4 a 6
- o formato: forma de multiplexação dos canais
- alternação de quadros
- alternação de campo
- alternação de linha
- lado a lado
- checker board, etc.
A Figura 8 mostra lacunas horizontais e verticais e a sinalização para um formato 3D + DOT @1920 pixels. A Figura mostra um esquema de multiplexação para multiplexação de alternação de quadros. No exemplo 5, os quadros indicados por Vactive/5 constituem a imagem 3D do formato 3D+DOT, quadros estes que são sequencialmente dispostos na unidade entre os pulsos VSYNC de sincronização vertical do sinal 3D, indicados por Vfreq. Os pulsos de sincronização vertical indicam o Período de Dados de Vídeo Vactive começando após as lacunas verticais Vblank, período no qual os quadros são sequencialmente dispostos. Similarmente, os pulsos HSYNC de lacunas horizontais indicam o período de linha Hactive começando após as lacunas horizontais Hblank. Portanto, o esquema de multiplexação de alternação de quadros indica o dito número de quadros sendo sequencialmente dispostos dentro do dito Período de Dados de Vídeo.
A Figura 9 mostra lacunas horizontais e verticais e a sinalização para um formato 3D + DOT de 720 pixels enviada como 1920progressive a 30Hz. A Figura mostra um esquema de multiplexação para multiplexação de quadro lado a lado. No exemplo 5, os quadros indicados por Hactive/5 constituem a
31/40 imagem 3D do formato 3D+DOT, quadros estes que estão dispostos___lado a . lado, na unidade_entre os pulsos. VSYNC de sincronização vertical do sinal 3D, indicados por Vfreq. Os pulsos de sincronização vertical indicam o Período de Dados de Vídeo Vactive começando após as lacunas verticais Vblank, período no qual os quadros são dispostos lado a lado. Similarmente, os pulsos HSYNC de lacunas horizontais indicam o período de linha Hactive começando após as lacunas horizontais Hblank. Portanto, o esquema de multiplexação de quadro lado a lado indica que o dito número de quadros sendo sequencialmente dispostos dentro do dito Período de Dados de Vídeo.
Para máxima flexibilidade, de acordo com a invenção, os parâmetros do esquema de multiplexação acima devem ser transmitidos em três campos separados.
Em uma configuração da invenção, estes são enviados em quadros de informação AVI e/ou InfoFrames HDMI Específico do Fornecedor.
Na seguinte configuração detalhada no caso de HDMI, interfaces serão apresentadas:
A Tabela 2 descreve os bytes relevantes do pacote InfoFrame de acordo com a configuração preferida da invenção.
Aqui, HDMI_VIC0...HDMI_VIC7 descrevem o Código de Identificação de Formato de Vídeo. Ao transmitir qualquer formato de vídeo definido nesta seção, uma Fonte HDMI deve definir o campo HDMI_VIC para o Código de Vídeo para aquele formato.
Aqui, HDMI_3D_FMT0...HDMI_3D_FMT descrevem o Código de Formato 3D. Ao transmitir qualquer formato de vídeo definido nesta seção, uma Fonte HDMI deve definir o campo HDMI_3D_Format para o Código de Vídeo para aquele formato.
Tabela 2
32/40
Byte de
7654321 0
Pacote- N°_____________ _____________ |
PBO |
Identificador de Registro de 24bit IEEE
((0x000C03))
(Byte Menos Significativo primeiro) |
PB1 |
PB2 |
PB3 |
HDMI_
VIC7 |
HDMI_
VIC6 |
HDMI
_VIC
5 |
HDMI_VI
C4 |
HDMI_
VIC3 |
HDMI_
VIC2 |
HDMI_
VIC1 |
HDMI_VIC0 |
PB4 |
HDMI_
3D_FM
T7 |
HDMI_
3D_FM
T6 |
HDMI
_3D_
FMT
5 |
HDMI_3D
_FMT 4 |
HDMI_
3D_FM
T 3 |
HDMI_
3D_FM
T 2 |
HDMI_
3D_FM
T 1 |
HDMI_3D_F
MT 0 |
PB5 ~
(Nv-4) |
Reservado (0) |
De acordo com a invenção, valores adicionais de
formato |
de timing |
de |
vídeo, |
que |
são |
identificados |
pelos |
números |
HDMI_VIC, |
são |
definidos |
para |
transmissão |
em 3D |
(estereoscópica). |
|
|
|
|
|
|
5 |
Os seguintes |
formatos |
de |
vídeo |
são utilizados para |
transmissão em 3D. A figura esquerda e direita de cada um dos olhos da audiência pode ser distinguida exclusivamente com o uso da definição de formato de vídeo desta seção, de modo que qualquer outro pacote adicional de informações não é 10 necessário. A Tabela 3 mostra o valor de HDMI_VIC que é descrito no EDID e InfoFrame relacionados.
Tabela 3 HDMI_VIC para transmissão em 3D
|
|
|
(Hz) |
|
|
HDMI_VIC |
Hactive |
Vactive |
V freq |
N° de canais |
Descrição |
1 |
1920 |
1080 |
60 |
1 |
1080Í FullHD
60Hz |
2 |
1920 |
1080 |
50 |
1 |
1080Í FullHD
50Hz |
33/40
3 |
1920 |
1080 |
60 |
1 |
1080p |
FullHD |
|
|
|
|
|
|
4 |
1920 |
1080 |
50 |
1 |
1080p
50Hz |
FullHD |
5 |
1920 |
1080 |
24 |
1 |
1080p
24Hz |
FullHD |
6 |
1920 |
1080 |
60 |
2 |
1080Í
60Hz |
FullHD |
7 |
1920 |
1080 |
50 |
2 |
1080Í
50Hz |
FullHD |
8 |
1920 |
1080 |
60 |
2 |
1080p
60Hz |
FullHD |
9 |
1920 |
1080 |
50 |
2 |
1080p
50Hz |
FullHD |
10 |
1920 |
1080 |
24 |
2 |
1080p
24Hz |
FullHD |
11 |
1920 |
1080 |
60 |
3 |
1080i
60Hz |
FullHD |
etc. |
etc. |
etc. |
etc. |
etc. |
etc. |
De acordo com a invenção, o formato de multiplexação proprietária HDMI de canais 3D é identificado pelos números HDMI_3D_FMT, sendo em exemplo definido na tabela 4.
Para transmissão em 3D (estereoscópica)
Os seguintes formatos 3D são utilizados para transmissão em 3D. O formato da multiplexação das informações nos canais de uma transmissão em 3D pode ser distinguido exclusivamente com o uso da definição de formato 3D desta 10 seção, de modo que qualquer outro pacote adicional de informações não é necessário. A Tabela 4 mostra o valor de HDMI_3D_Format que é descrito relacionada.
no EDID e na InfoFrame
34/40
Tabela 4 HDMI_3D_FMT para transmissão em 3D
Código HDMI_3D
FMT |
Descrição |
1 |
Alternação de quadros |
2 |
Alternação de campo |
3 |
Alternação de linha |
4 |
Lado a lado |
5 |
2D+D |
6 |
2D+D+gfxl |
7 |
L+DL+R+DR |
Tabela 5 HDMI_VIC para transmissão com resolução estendida
|
|
|
|
|
(Hz) |
(MHz) |
|
HDMI_VI
C |
Hactive |
Vactive |
Hblank |
Vblank |
V
Freq |
Pixel
Freq |
Descri-
ção |
14 |
1920 |
5400 |
280 |
45 |
24 |
287,4
96 |
1080p
FullHD
24Hz DOT |
15 |
6400 |
720 |
370 |
30 |
60 |
304,6
50 |
12 8 0p HD
60Hz DOT |
16 |
9600 |
1080 |
280 |
45 |
30 |
333,4
50 |
1080p
FullHD
30Hz DOT |
De acordo com a invenção, um dispositivo de reprodução é capaz de enviar Metadados 3D da Fonte para o Depósito (entre outros):
- Formato de conteúdo
- Sinalização 2D/3D em tempo real
- Sincronização
- Campo de visão recomendado
35/40
- Informações de legenda
De “acordo com -a-- invenção,—Metadados—adiaionais de conteúdo 3D podem ser incluídos nos dados de vídeo em 3D sendo transmitidos, sendo os metadados preferencialmente alinhados ao formato master SMPTE 3D.
Diversas opções são listadas; os metadados podem ser incluídos em um dos seguintes:
- Tipo de InfoFrame 3D (CEA),
- Infoframe AVI,
- Infoframe Específico do Fornecedor (VSIF), CEC,.
Na seção a seguir, serão introduzidas configurações específicas para envio de informações estéreo ou o caso no qual as unidades compreendem dois quadros.
Ê proposto o uso de informações de tarja preta nos quadros AVI-Info para acomodar o indicador de sincronização de tipo de quadro, ou seja, para esquerda-direita que sinaliza e adiciona informações para a renderização adequada do vídeo em 3D no visor. O quadro AVI-info é um bloco de dados que é enviado pelo menos a cada dois campos. Por este motivo, é o único quadro de informação que pode transmitir a sinalização em quadro, o que é uma exigência caso deva ser utilizado para sincronização do sinal de vídeo estereoscópico. A vantagem desta solução em comparação a outra soluções que se baseiam na sinalização relativa ou que se baseiam em quadros de informação específicos do fornecedor é que ela é compatível com os atuais chipsets para HDMI e provê sincronização precisa do quadro e espaço suficiente (8 bytes) para a sinalização.
Em uma configuração alternativa, é proposto o uso de bits preâmbulos conforme definido no HDMI para sinalizar que os dados de vídeo que seguem são quadro de vídeo esquerdo ou direito. O capítulo 5.2.1.1 sobre HDMI define que imediatamente antes de cada Período de Dados de Vídeo ou
36/40
Período de Ilha de Dados existe o Preâmbulo. Esta é uma sequência de òitb —caracteres—de—Controle—idênticos__que___ indicam se o período de dados a caminho é um Período de Dados de Vídeo ou uma Ilha de Dados. Os valores de CTLO, CTL1, CTL2 5 e CTL3 indicam o tipo de período de dados que segue. Os demais sinais de Controle, HSYNC e VSYNC, podem variar durante esta sequência. 0 preâmbulo atualmente é de 4 bits, CTLO, CTL1 CLT3 e CTL4. No momento, somente 1000 e 1010 como valores são utilizados. Por exemplo, os valores 1100 ou 1001 10 podem ser agora definidos para indicar se os dados de vídeo contêm um quadro de vídeo esquerdo ou um direito, ou alternativamente quadros que contêm as informações de imagem e/ou profundidade. Também, os bits de preâmbulo podem somente indicar um tipo de quadro 3D ou um primeiro quadro 3D de uma 15 sequência, ao passo que outra discriminação de tipos de quadro pode ser de acordo com um tipo de sequência de sincronização de quadro definida por um outro quadro de dados. Também, a sinalização HSYNC e VSYNC pode ser adaptada para conter pelo menos parte do tipo de sincronização de 20 quadro, ou seja, se um quadro é um quadro de vídeo esquerdo ou direito. O HSYNC está disposto para preceder dados de vídeo de um quadro esquerdo e o VSYNC um quadro direito de informações de vídeo. O mesmo princípio pode ser aplicado a outros tipos de quadro, como imagem 2D e informações de 25 profundidade.
A Figura 10 mostra uma tabela de um quadro AVI-info estendido com um indicador de sincronização de tipo de quadro. O quadro AVI-info é definido pelo CEA e é adotado pelo padrão HDMI e por outros padrões de transmissão de vídeo 30 para prover sinalização de quadro sobre a cor e amostragem de chroma, overscan e underscan e razão de aspecto. Outras informações foram acrescentadas para configurar o indicador de sincronização de tipo de quadro, como segue.
37/40
O último bit de byte de dados 1; F17 e o último bit debyte de dados 4; F47 são reservados no padrão de—quadro_____
AVI-info. Em uma configuração do indicador de sincronização de tipo de quadro, estes são utilizados para indicar a presença de sinalização estereoscópica nas informações de tarja preta. As informações de tarja preta são normalmente contidas nos bytes de Dados 6 a 13. Os bytes 14-27 são normalmente reservados no HDMI e, portanto, não podem ser corretamente transmitidos com hardware atual. Portanto, estes campos são utilizados para prover menos informações críticas de localização OSD. A sintaxe da tabela é a seguinte. Se F17 for definido como (=1), então os bytes de dados até 13 contém informações de parâmetro 3D. O caso default é quando F17 não está definido como ( = 0) , o que significa que não há informações de parâmetro 3D.
Os bytes de dados 12 a 19 indicam a localização do OSD/camada de legenda. A camada adicional pode ser menor que a camada de vídeo principal, e é posicionada com base nos dados de localização dos bytes 12-19. Isto permite que o visor 3D realize a renderização específica na área da tela indicada pelo indicador de sincronização de tipo de quadro. O indicador de sincronização de tipo de quadro pode ainda incluir as informações de timing de sincronização para indicar quando as legendas/informações de OSD devem aparecer e/ou desaparecer, ou seja, nos bytes de dados 20-27 denominados parâmetros de Renderização na Figura 10.
A Figura 11 mostra uma Tabela de formatos de vídeo em 3D. Cada um dos valores que está na coluna da esquerda indica um formato de vídeo específico que tem respectivos diferentes tipos de quadro. O valor selecionado é incluído no indicador de sincronização de quadro, por exemplo, Byte de Dados 7 na Tabela da Figura 10. O Byte de Dados 7 descreve o formato de vídeo estereoscópico que a origem (reprodutor)
38/40 está transmitindo. A Tabela da Figura 11 lista alguns dos possíveis valores. O valor Õ~índ“icáT quê ~õ qaardro-aasoerado-é-2D; isto é útil ao transmitir segmentos de vídeo em 2D durante um título em 3D. 0 dispositivo de exibição (3D-TV) pode adaptar seu processamento interno de imagem para esta alteração de formato de vídeo em 3D, por exemplo, desativar a conversão ascendente temporal no caso do formato sequencial de quadro.
A Figura 12 mostra a sinal de sincronização de quadro. O sinal de sincronização pode ser incluído no indicador de sincronização de quadro, por exemplo, Byte de Dados 8 na Figura 10. O Byte de Dados 8 porta o sinal de sincronização estéreo, enquanto a Figura 12 mostra o formato do sinal de sincronização. 0 sinal de sincronização indica, com o formato de vídeo, o conteúdo do quadro de vídeo.
Os valores dos Bytes de Dados 9 e 10 na Figura 10 dependem do formato do vídeo. Por exemplo, para vídeo (auto-)estereoscópico, indicam a paralaxe máxima e mínima do conteúdo do vídeo. Alternativamente, podem indicar o fator de compensação e escalonamento das informações de profundidade. No caso de exigência de maior precisão de bit (por exemplo, profundidade de 10 bits), registros adicionais poderia ser utilizados para armazenar os bits menores.
A Figura 13 mostra os valores para camadas de vídeo adicionais. O formato do vídeo pode ser estendido permitindose incluir separadamente quadros para camadas adicionais como legendas ou menus (Dados em Tela OSD) no sinal do vídeo em 3D. Na Figura 4, o Byte de Dados 11 pode indicar a presença de legendas ou camada OSD. A Figura 13 mostra diversos valores de parâmetro de formato do vídeo para indicar as camadas adicionais. Os demais bytes 20-27 na Figura 10 podem ser utilizados para prover parâmetros específicos para indicar informações para profundidade escalada e informações
39/40 de oclusão relacionadas aos visores 3D.
Deve ser observado que ã invenção põdê ser implementada em hardware e/ou software, utilizando componentes programáveis. Um método de implementação da invenção possui as etapas de processamento correspondentes à transferência de dados de imagem 3D explicada com referência à Figura 1. Embora a invenção tenha sido explicada principalmente por configurações que utilizam portadores de registro óptico ou a internet, a invenção é também adequada para qualquer ambiente de interface de imagem, por exemplo, uma interface de visor 3D de computador pessoal [PC] ou PC com media center 3D acoplado a um dispositivo de exibição em 3D sem fio.
A invenção pode ser resumida da seguinte forma: É descrito um sistema de transferência de dados de imagem tridimensional (3D) . Um dispositivo de geração de 3D provê sinal de exibição em 3D para um visor por meio de uma interface digital de alta velocidade, por exemplo, HDMI. O sinal de exibição em 3D compreende uma sequência de quadros que constituem os dados de imagem 3D de acordo com um formato de transferência de vídeo em 3D. A sequência de quadros compreende unidades, cada unidade correspondendo a quadros que compreendem informações de vídeo que devem ser compostas e exibidas como uma imagem 3D; cada quadro possui uma estrutura de dados para representar uma sequência de dados de pixel de imagem digital, e representa uma estrutura de dados 3D parciais. O dispositivo de geração de 3D inclui informações de transferência 3D compreendendo pelo menos informações sobre o número de quadros de vídeo em uma unidade a ser composta em uma única imagem 3D no sinal de exibição em 3D. O visor detecta as informações de transferência 3D e gera os sinais de controle de exibição dependendo das informações de transferência 3D. As informações de transferência 3D
40/40 compreendem preferencialmente ainda informações sobre o — esquema de muitiplexação pára' ãTmürtipIéxãçaõ de quadros no sinal de exibição em 3D e mais preferencialmente compreende informações sobre um tamanho de pixel e uma taxa de 5 frequência para quadros.
É observado que neste documento a palavra 'compreendendo' não exclui a presença de outros elementos ou etapas que não aquelas listadas e as palavras 'um' ou 'uma' antes de um elemento não exclui a presença de vários destes 10 elementos, que quaisquer sinais de referência não limitam o escopo das reivindicações, que a invenção pode ser implementada por meio tanto de hardware como software, e que vários 'meios' ou 'unidades' podem ser representadas pelo mesmo item de hardware ou software, e um processador pode 15 realizar a função de uma ou mais unidades, possivelmente em cooperação com elementos de hardware. Além disso, a invenção não está limitada às configurações e se baseia em toda e cada nova característica ou combinação de características descritas acima.