BR112012030771A2

BR112012030771A2 - método para decodificar fluxos de vídeo estereoscópico compatíveis com 2d

Info

Publication number: BR112012030771A2
Application number: BR112012030771-1A
Authority: BR
Inventors: Giovanni Ballocca; Paolo D'Amato; Saverio Celia
Original assignee: Sisvel Technology S.R.L.
Priority date: 2010-06-28
Filing date: 2011-06-27
Publication date: 2020-09-01
Also published as: JP6037567B2; KR101774396B1; KR101858090B1; ITTO20100549A1; KR20170102382A; CN102986229A; CN102986229B; WO2012001606A1; JP2013534782A; KR20130087516A; IT1401731B1; US20130083160A1; EP2586210A1; US9578298B2

Abstract

  MÉTODO PARA DECODIFICAR FLUXOS DE VÍDEO ESTEREOSCÓPICO COMPATÍVEIS COM 2D. A presente invenção se refere a um método para processar um fluxo de vídeo de imagens digitais, que consiste nas seguintes etapas: receber o fluxo de vídeo que compreende pelo menos um quadro composto contendo um par de imagens digitais estereoscópicas de acordo com um formato predeterminado de packing; receber metadados que descrevem o formato do quadro composto; gerar um fluxo de vídeo de saída que pode ser reproduzido em um dispositivo de visualização, em que o método consiste ainda em determinar a área a área no quadro composto que é ocupada por uma imagem do par estereoscópico no quadro composto com base em referidos metadados; extrair a imagem contida em referida área do quadro composto e gerar um quadro de saída contendo a imagem extraída.

Description

MÉTODO PARA DECODIFICAR FLUXOS DE VÍDEO ESTEREOSCÓPICO COMPATÍVEIS COM 2D

DESCRIÇÃO i A presente invenção refere-se a um método para decodificar um fluxo de vídeo digital estereoscópico, isto é, um fluxo de vídeo que, quando devidamente processado em um dispositivo de visualização, produz sequências de imagens que são percebidas como tridimensionais pelo espectador. Este método permite que o usuário de um decodificador e/ou um aparelho de televisão | convencional (ou seja, não estereoscópico) visualize imagens estereoscópicas no modo 2D, assim como use um decodificador e ou aparelho de televisão estereoscópico (3D) para exibições em 2D. | Nos últimos anos, a comunidade de produção cinematográfica tem estado muito atenta, e dedicado grandes recursos, à produção de conteúdos estereoscópicos 3D com o estímulo de novas ferramentas de produção disponibilizadas pelas novas tecnologias digitais.

. O interesse na tecnologia 3D agora também está se ampliando ao uso doméstico, ou seja, para exibir imagens em um aparelho de televisão. Por exemplo, algumas operadoras de televisão paga em breve exibirão programas 3D.

A abordagem mais comum para apresentar conteúdos de vídeo estereoscópico

20. consiste em exibir dois fluxos independentes de vídeo para o olho direito e para o olho esquerdo, respectivamente, que são então reagrupados pelo cérebro humano em um objeto tridimensional.

Os conteúdos estereoscópicos para uso doméstico são geralmente vídeos de alta - — definição e podem ser distribuídos em mídias de armazenamento em massa (DVDs ou discos Blu-ray, mídias magneto-ópticas ou de estado sólido etc.) ou via canais de transmissão (com ou sem fio) ou redes de telecomunicação (IP). No ambiente de produção, entretanto, com as estruturas existentes, pode ser * — impossível transferir e gerenciar separadamente os dois fluxos produzidos por câmeras ' de vídeo estereoscópico filmando uma cena a partir de duas perspectivas diferentes.

Ss Além disso, as redes de distribuição que chegam ao usuário final são tão grandes que | é oneroso usar dois fluxos independentes de alta definição para fornecer um único * — serviço.

Como consequência, várias medidas devem ser tomadas durante o processo de produção para reduzir a taxa de bits necessária para a transferência e fruição do conteúdo.

Como os resultados dos estudos realizados sobre as diferenças na percepção de “detalhes em imagens bidimensionais e tridimensionais parecem indicar que a qualidade percebida pelo usuário continua aceitável mesmo quando a resolução dos i conteúdos estereoscópicos é reduzida em relação à dos conteúdos bidimensionais, diferentes técnicas foram desenvolvidas para combinar as duas imagens que compõem a visualização estereoscópica em um único quadro (frame packing). | Por exemplo, no caso de um único quadro C de alta definição (1920 x 1080 pixels), as — — duas imagens compondo os canais direito e esquerdo (doravante referidos como D e E) são adquiridas com uma resolução horizontal igual à metade da resolução de um quadro de alta definição e então dispostas lado a lado em um único quadro (formato lado a lado), como mostra a Fig. 1a. . — Dessa forma, é possível usar um único fluxo de alta definição para transportar os dois | canais de vídeo independentes; na hora de decodificar, os dois meio-quadros são então separados e levados de volta ao formato 16/9 através de técnicas adequadas de interpolação. 25: —Da mesma forma, pode-se usar um processo alternativo que consiste em reduzir à metade a resolução vertical e deixar a resolução horizontal inalterada, e então dispor os dois quadros D e E um sobre o outro (formato superior-inferior, como mostra a Fig. 1b. f O fluxo de vídeo estereoscópico que consiste em quadros compostos é então s comprimido para reduzir sua taxa de bits de transporte antes de distribuí-lo em uma rede de transmissão, rede de IP ou mídia de armazenamento em massa.

Um dos principais requisitos para diversos prestadores de serviço (especialmente - empresas de radiodifusão pública) é que os sinais estereoscópicos sejam compatíveis com 2D.

De fato, para permitir que os usuários que já possuem um decodificador de alta definição usufruam dos serviços transmitidos, é desejável que os programas 3D . — também possam ser exibidos como programas 2D.

Da mesma forma, é desejável que o conteúdo 3D de um DVD, disco Blu-ray ou site da internet possa ser exibido em aparelhos de televisão e monitores 2D e 3D.

Esse resultado pode ser obtido de duas maneiras: transmitindo simultaneamente . —ambasas versões2D e 3D de um programa ou adotando uma técnica adequada para codificar o fluxo estereoscópico.

Naturalmente, a primeira opção envolve demasiada largura de banda, um desperdício * —queos prestadores de serviço preferem evitar. 20- — Quanto à segunda opção, existem várias técnicas disponíveis para gerar fluxos estereoscópicos compatíveis com 2D.

Uma dessas técnicas envolve a aplicação dos chamados “mapas de profundidade”, conforme descrito, por exemplo, nas solicitações de patente nos EUA nº US * — 2002/0048395 e nº US 2004/0101043. Na prática, um sinal é associado ao vídeo bidimensional em cores na forma de um

* vídeo complementar preto e branco que carrega mapas de profundidade. Um decodificador adequado pode reconstruir vídeos estereoscópicos a partir dos dados recebidos. Entretanto, essa técnica apresenta os mesmos problemas das transmissões ; 2D e 3D do mesmo programa citadas acima: na verdade, dois sinais de vídeo devem ser transferidos paralelamente, resultando em uma alta taxa de bits de transporte. Outra técnica de codificação do fluxo estereoscópico compatível com 2D, por exemplo, é a chamada “multivisualização”. Como os pares de imagens direitas e.esquerdas que compõem o fluxo de vídeo estereoscópico são caracterizados por um alto grau de semelhança, as técnicas de supressão de redundância de espaço e tempo empregadas na codificação de fluxos bidimensionais também podem ser usadas neste caso. De fato, depois de subtraída uma certa compensação devido à distância geométrica entre os pontos de filmagem (ou seja, a distância interocular), as diferenças entre a imagem direita e esquerda são pequenas.

15. O padrão MPEG? foi ampliado com uma especificação complementar chamada Muiti . View Profile (MVP — Perfil MultiVisualização); da mesma forma, o padrão H.264/AVC subsequente foi ampliado com a inclusão da especificação referente à Multi View Coding (MVC — Codificação MultiVisualização). - — Uma característica comum dessas duas especificações é o uso da codificação de

20. vídeo escalável: o fluxo de vídeo estereoscópico é comprimido em uma camada base (o fluxo de base 2D) mais uma camada de melhoria, que transporta a segunda visualização. A sintaxe do fluxo codificado garante que o vídeo 2D também possa ser decodificado por decodificadores de velhas gerações, contanto que eles cumpram com - — os padrões MPEG2 ou H.264/AVC. Contudo, a taxa de bits necessária para codificar fluxos estereoscópicos em um dos

' 5/10 formatos descritos acima ainda é demasiado elevada para permitir que seja usado no ambiente de radiodifusão e, consequentemente, os formatos de frame packing continuam sendo a única solução de curto prazo viável para iniciar serviços de 3D. “* —O objetivo da presente invenção, portanto, é oferecer um método de decodificação que permite extrair um sinal de vídeo compatível com 2D (2D) de um fluxo de vídeo digital estereoscópico e, particularmente, um método para decodificar fluxos de vídeo digital estereoscópico compatíveis com 2D com base no uso de quadros compostos, que é * — aplicável seja qual for o método empregado para combinar ás imagens direita e esquerda nos referidos quadros compostos.

Este e outros objetivos da presente invenção são alcançados através de um método de decodificação de fluxos de vídeo estereoscópico que incorpora os recursos definidos nas reivindicações anexas, que fazem parte da presente descrição. | Outros objetivos e vantagens da presente invenção serão mais evidentes a partir da descrição a seguir de algumas formas de realização da mesma, que são apresentadas através de exemplos não restritivos.

Á Tais formas de realização serão descritas com referência aos desenhos anexos, onde: - as Figuras 1a, 1b e 1c, já referidas acima, mostram um quadro composto de um fluxo de vídeo estereoscópico no formato lado a lado (side-by-side), formato superior-inferior (top-bottom) e em um formato alternativo, respectivamente; - as Figuras 2a, 2b e 2c mostram os quadros compostos das Figuras 1a, 1b e 1c, respectivamente, em que uma região de quadros foi devidamente realçada para ilustrar um procedimento específico do método de acordo com a presente invenção; a Fig. 3 mostra um sistema para produzir e exibir um fluxo de vídeo de imagens, que consiste em um decodificador e um dispositivo de reprodução de vídeo de acordo com a invenção.

A Fig. 3, mostra um sistema para produzir e exibir um fluxo de vídeo de imagens, que consiste em um stereoplexer 200 (dispositivo para produzir quadros compostos, * também chamado de stereoplexing) configurado para receber pares de imagens ' estereoscópicas direitas e esquerdas, designadas por D e E, respectivamente.

No fluxo s de vídeo a ser distribuído, as imagens estereoscópicas de um par são combinadas em um único quadro composto FC de acordo com um formato específico de packing. * — Nessaforma de realização, as imagens são combinadas através do formato de packing previamente descrito com referência à Fig. 1a.

O sinal de saída do stereoplexer 200 pode ser comprimido por um codificador 202 e possivelmente multiplexado com outros sinais comprimidos e então transmitido. em redes de radiodifusão, ou pode ser distribuído como arquivo através de uma rede de telecomunicação ou uma mídia de armazenamento.

Deve-se observar que O stereoplexer 200 pode ser um dispositivo separado ou pode ser incorporado ao codificador 202. i Os procedimentos de processamento que seguem a produção do quadro composto FC são realizados através de aparelhos e métodos conhecidos, que não estão inseridos no . —escopodainvenção e não serão mais descritos aqui.

I Deve-se salientar que durante o procedimento de stereoplexing, compressão ou multiplexagem, é prática comum inserir metadados de sinalização no fluxo de dados resultantes, de forma a descrever o método de frame packing usado para codificar o fluxo estereoscópico.

Tais metadados podem ser inseridos, por exemplo, nas . — mensagens SEI (Supplemental Enhancement Information) da codificação H.264 ou nas Informações de Serviço que descrevem a composição do fluxo de transporte na qual o conteúdo do vídeo foi multiplexado.

Alternativamente, os metadados podem ser 25: — introduzidos no próprio quadro composto FC, de acordo com o método descrito na solicitação de patente IT2008MO000267. Na verdade, tais metadados podem ser inseridos em qualquer forma ou modo (por exemplo, podem ser introduzidos como descritores XML ou como estruturas de dados binários, ou como códigos derivados de ' uma tabela de referência conhecida do dispositivo decodificador); além disso, podem s ser transportados como sinalização dentro ou fora da banda, e podem ser associados | ao fluxo de vídeo em qualquer ponto da cadeia de produção e distribuição do conteúdo.

Esses modos não fazem parte da invenção e não serão mais discutidos aqui. Para reproduzir o fluxo de vídeo, o decodificador 212 pode determinar, com base na descrição do formato de frame packing transportada nos metadados descritos acima, a

16. região ocupada por uma ou duas imagens estereoscópicas (conforme ilustrado nas Figuras 2a, 2b e 2c), e então corta essa região para enviá-la ao aparelho de visualização 2D.

õ Essa determinação pode ser obtida explícita ou implicitamente a partir dos metadados.

No modo explícito, a geometria do formato frame packing é descrita pormenorizadamente nos metadados (por exemplo, informando expressamente as . — coordenadas dos vértices das áreas ocupadas por cada imagem estereoscópica).

. — Inversamente, no modo implícito apenas o tipo de frame packing (por exemplo, lado a lado) é informado nos metadados, sendo essa informação suficiente para o decodificador determinar tais áreas.

Na primeira forma de realização, o sinal estereoscópico codificado, comprimido e . — transmitido, ou lido a partir de uma mídia de armazenamento, chega ao decodificador 212 digital, que pode ser conectado a um aparelho de visualização 222 (por exemplo, um aparelho de televisão convencional).

O decodificador 212 é equipado com os devidos componentes de software, que o 25: — permitem adquirir e analisar a sinalização que descreve o sinal estereoscópico. Por

| 8/10 exemplo, esses componentes de software podem ser instalados durante a etapa de fabricação ou posteriormente através de um processo de atualização que pode ocorrer de diversas formas: recebendo uma nova versão do firmware pelo ar, baixando essa “. — versão através de uma rede de telecomunicação, ou lendo-a a partir de um periférico s conectado via USB. Os referidos componentes de software também têm implantados os algoritmos necessários para obter uma das duas imagens que constituem o vídeo * — estereoscópico, dependendo do formato de frame packing utilizado.

. Por exemplo, quando usando o modo implícito e o formato lado a lado (Fig. 1a), o método proposto na invenção determina a área ocupada por uma das imagens estereoscópicas dividindo o quadro em duas partes com à mesma área ao longo do eixo vertical do próprio quadro (Fig. 2a). Inversamente, no caso do formato superior- * — inferior (Fig. 1b), o quadro é dividido ao longo do eixo horizontal (Fig. 2b).

Uma das partes em que o quadro foi subdividido é selecionada como uma imagem bidimensional e então exibida depois de ter sido devidamente processada (redimensionada).

* —Seasinalização contiver alguma descrição explícita no formato de frame packing (por exemplo, o formato da Fig. 1c), o decodificador 212 irá selecionar as informações necessárias para cortar uma das duas imagens componentes dos quadros do fluxo de | vídeo estereoscópico. Por exemplo, a sinalização pode indicar as coordenadas dos — vértices dos polígonos que encerram uma das imagens que constitlem o par estereoscópico (como os pontos A, B, C e D da Fig. 2c): nesse caso, o decodificador 212 deve selecionar os dados referentes a uma das duas imagens e aplicar o algoritmo de corte correspondente ao formato de frame packing em uso.

i O subsequente redimensionamento da seção selecionada pode ser delegado ao regulador do decodificador 212 ou, com resultados equivalentes, a um dos disposítivos de exibição 222. Esse componente aplica os devidos algoritmos de interpolação para trazer a imagem de volta ao formato de exibição selecionado, assim reconstruindo os . pixels que faltam ou modificando o fator de forma usado para a representação dos ' pixels. 5º Em uma forma alternativa de representação, o decodificador 212 é integrado no * — dispositivo de exibição 222. Deve-se observar que esses componentes do quadro composto que não fázem parte da janela de exibição 2D (ou seja, os componentes brancos nas Figuras 2a,b,c) não são usados pelo aparelho de visualização e, em princípio, não podem ser decodificados.

Portanto, se o decodificador ler as informações do formato de packing, é + — possível que se abstenha de decodificar essas partes do quadro composto que não são usadas para a visualização 2D.

Por exemplo, um decodificador que não processa quadros de 1080p de 50 ou 60 Hz, mas somente quadros de 1080i, pode ser capaz de " — decodificar a imagem 720p representativa de uma das duas visualizações inseridas no 15º — quadro 1080p da Fig. 1c.

Em outra forma de representação, o método descrito acima pode ser aplicado por decodificador 212 ou aparelho de visualização 3D caso o usuário decida trocar | temporariamente de exibição em 3D para 2D ( por exemplo, porque seus .olhos se * — cansaram devido à visão estereoscópica). Nessa situação, o espectador pode variar entre exibição 3D e 2D através de um comando (como um botão específico no controle remoto). Em suma, o método e o decodificador propostos na invenção garantem que os fluxos * — de vídeo tridimensional sejam compatíveis com 2D tanto em aparelhos convencionais de visualização 2D quanto em aparelhos de visualização 3D.

De acordo com a invenção, o decodificador 212 pode ser qualquer dispositivo capaz de receber e decodificar fluxos de vídeo estereoscópico, tais como receptor de televisão digital e leitor de mídia digital magnética ou óptica (DVD, aparelho de Blu-ray, gravador de vídeo pessoal). O decodificador 212 pode ser incorporado em um aparelho que “. — contenha o dispositivo de exibição.

5, Apresente invenção não se restringe a um método de decodificação de fluxo de vídeo estereoscópico compatível com 2D e os dispositivos relacionados, mas está sujeita a diversas modificações, melhorias ou substituições de peças e elementos equivalentes, sem se afastar da ideia original, conforme especificado nas reivindicações a seguir.

Claims

REIVINDICAÇÕES

1. Método para processar um fluxo de vídeo de imagens digitais, que consiste nas seguintes etapas: | ' - receber o fluxo de vídeo que compreende pelo menos um quadro composto (FC) s contendo um par de imagens digitais estereoscópicas (E, D) de acordo com um . — formato predeterminado de packing; - recéber metadados que descrevem o formato do quadro composto (FC); Í - gerar um fluxo de vídeo de saída que pode ser reproduzido em aparelho de visualização (222).

10: —ométodo caracterizado pelas seguintes etapas: ! - determinar a área no quadro composto (FC) que é ocupada por uma imagem do par estereoscópico dentro do quadro composto com base nos referidos metadados; - extrair a imagem contida em referida área do quadro composto (FC); e * — -gerar um quadro de saída contendo a referida imagem extraída. :

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os metadados consistem em um indicador de referido formato de packing.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que. os À * — metadados são posicionados nas.mensagens SEI do padrão H.264. ' .

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os metadados são posicionados nas Informações de Serviço do fluxo de transporte. |

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os * — metadados são posicionados no quadro composto (FC). .

6. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que os metadados consistem numa descrição explícita do formato de packing.

7. Método, de acordo com as reivindicações de 1 a 6, caracterizado pelo fato de que somente a parte do quadro composto (FC) que contém a imagem a ser extraída é . — decodificado. |

8. Dispositivo para decodificar fluxos de vídeo de imagens digitais, caracterizado pela | 7 implantação de um método descrito nas reivindicações de 1 a 7. 5º

9. Dispositivo de decodificação, de acordo com a reivindicação 8, caracterizado pelo . - fato de que 6 método de decodificação é ativado pelo comando do usuário.

10. Dispositivo de decodificação, de acordo com à reivindicação 9, caracterizado pelo | fato que o método de decodificação é ativado pelo usuário através de um botão no controle remoto. . 10-

11. Dispositivo, caracterizado pelo fato de ser para reproduzir vídeos que consiste em um dispositivo decodificador, de acordo com as reivindicações de 8 a 10.