BR102017010904A2 - Método, aparelho e fluxo para formato de vídeo imersivo - Google Patents

Abstract

método e dispositivo para geração de um fluxo a partir de imagem(ns) de um objeto, compreendendo: obter dados associados com pontos de uma nuvem de pontos representando pelo menos uma parte do objeto; obter uma superfície paramétrica de acordo com pelo menos uma característica geométrica associada com a pelo menos uma parte do objeto e informações de posição de um dispositivo de aquisição usado para adquirir a pelo menos uma imagem; obter um mapa de altura e um ou mais mapas de texturas associados com a superfície paramétrica; geração do fluxo por combinação de um primeiro elemento de sintaxe relativo ao pelo menos um parâmetro, um segundo elemento de sintaxe relativo ao mapa de altura, um terceiro elemento de sintaxe relativo ao pelo menos um mapa de texturas e um quarto elemento de sintaxe relativo a uma posição do dispositivo de aquisição. a invenção refere-se ainda a um método e dispositivo para renderização de uma imagem do objeto a partir do fluxo assim obtido.

Description

“MÉTODO, APARELHO E FLUXO PARA FORMATO DE VÍDEO IMERSIVO” CAMPO TÉCNICO

[001 ]A presente invenção refere-se ao domínio de conteúdo de vídeo imersivo. A presente invenção é também compreendida no contexto da formatação dos dados representativos do conteúdo imersivo, por exemplo, para a renderização em dispositivos de usuário final, tais como dispositivos móveis ou dispositivos de visualização montados na cabeça (HMD - Head-Mounted Displays).

FUNDAMENTO

[002] A presente seção destina-se a introduzir o leitor a vários aspectos da técnica, os quais podem estar relacionados a vários aspectos da presente invenção que são descritos e/ou reivindicados a seguir. Acredita-se que esta discussão seja útil para proporcionar ao leitor informação de base para facilitar uma melhor compreensão dos vários aspectos da presente invenção. Por conseguinte, deve ser compreendido que estas declarações devem ser lidas sob esta luz, e não como admissões da técnica anterior.

[003] 0s sistemas de visualização, tais como um dispositivo de visualização montado na cabeça (HMD) ou CAVE, permitem ao usuário navegar em um conteúdo de vídeo imersivo. O conteúdo de vídeo imersivo pode ser obtido com técnicas CGI (Imagens Geradas por Computador). Com tal conteúdo de vídeo imersivo, é possível computar o conteúdo de acordo com o ponto de vista do usuário que está assistindo, mas com qualidade gráfica pouco realista. O conteúdo de vídeo imersivo pode ser obtido com o mapeamento de um vídeo (por exemplo, um vídeo adquirido por várias câmeras) sobre uma superfície, tal como uma esfera ou um cubo. Tal conteúdo de vídeo imersivo proporciona boa qualidade de imagem, mas surgem questões relacionadas com a paralaxe, especialmente para objetos da cena do primeiro plano, isto é, próximos das câmeras.

[004] No contexto de conteúdo de vídeo imersivo, vídeo de ponto de vista livre (FVV) é uma técnica de representação e codificação de vídeo multivista e posterior re-renderização de pontos de vista arbitrários. Ao aumentar a experiência do usuário em um contexto imersivo, a quantidade de dados a ser transportada para o renderizador é muito importante e pode ser um problema.

SUMÁRIO

[005] As referências na especificação a “uma modalidade”, “uma modalidade exemplificativa”, “uma modalidade particular” indicam que a modalidade descrita pode incluir uma característica, estrutura ou recurso particular, mas cada modalidade pode não necessariamente incluir a característica, estrutura ou recurso particular. Além disso, tais frases não se referem necessariamente à mesma modalidade. Adicionalmente, quando uma característica, estrutura ou recurso particular é descrita em conexão com uma modalidade, entende-se que esteja dentro do conhecimento do versado na técnica afetar tal característica, estrutura ou recurso em conexão com outras modalidades se ou não explicitamente descrito.

[006] A presente invenção refere-se a um método de geração de um fluxo a partir de pelo menos uma imagem de um objeto de uma cena, o método compreendendo: - obter dados associados com pontos de uma nuvem de pontos representando pelo menos uma parte do objeto; - obter pelo menos um parâmetro representativo de uma superfície paramétrica de acordo com pelo menos uma característica geométrica associada com a pelo menos uma parte do objeto e informações de posição de um dispositivo de aquisição usado para adquirir a pelo menos uma imagem, a pelo menos uma característica geométrica sendo obtida de uma superfície associada com pontos da nuvem de pontos associada com a pelo menos uma parte do objeto; - obter um mapa de altura associado com a superfície paramétrica a partir dos dados, o mapa de altura compreendendo informações representativas da distância entre a pelo menos uma parte do objeto e a superfície paramétrica; - obter pelo menos um mapa de textura associado com a superfície paramétrica dos dados; - geração do fluxo por combinação de um primeiro elemento de sintaxe relativo ao pelo menos um parâmetro, um segundo elemento de sintaxe relativo ao mapa de altura, um terceiro elemento de sintaxe relativo ao pelo menos um mapa de texturas e um quarto elemento de sintaxe relativo a uma posição do dispositivo de aquisição.

[007] De acordo com uma característica particular, o pelo menos um parâmetro varia no tempo de acordo com uma deformação da pelo menos uma parte do objeto.

[008] De acordo com uma característica específica, os dados compreendem informações de textura e informações representativas de profundidade.

[009] A presente invenção também se refere a um dispositivo configurado para implementar o método de geração de um fluxo acima descrito a partir de pelo menos uma imagem de um objeto de uma cena.

[010] A presente invenção também se refere a um fluxo transportando dados representativos de um objeto de uma cena, em que os dados compreendem: - um primeiro elemento de sintaxe relativo a pelo menos um parâmetro representativo de uma superfície paramétrica obtido de acordo com pelo menos uma característica geométrica associada com a pelo menos uma parte do objeto e informações de posição de um dispositivo de aquisição usado para adquirir a pelo menos uma imagem, a referida pelo menos uma característica geométrica sendo obtida de uma superfície associada com pontos da nuvem de pontos associada com a pelo menos uma parte do objeto; - um segundo elemento de sintaxe relativo a um mapa de altura obtido a partir de segundos dados associados com pontos de uma nuvem de pontos representando a pelo menos uma parte do objeto, o mapa de altura compreendendo informações representativas da distância entre a pelo menos uma parte do objeto e a superfície paramétrica; - um terceiro elemento de sintaxe relativo a pelo menos um mapa de textura obtido a partir dos segundos dados; e - um quarto elemento de sintaxe relativo a uma posição do dispositivo de aquisição.

[011 ]De acordo com uma característica particular, o primeiro elemento de sintaxe varia no tempo de acordo com uma mudança do pelo menos um parâmetro que varia de acordo com uma deformação da pelo menos uma parte do objeto.

[012] De acordo com uma característica específica, os segundos dados compreendem informações de textura e informações representativas de profundidade.

[013] A presente invenção também se refere a um método de renderização de uma imagem de pelo menos uma parte de um objeto a partir de um fluxo transportando dados representativos do referido objeto, o método compreendendo: - obter pelo menos um parâmetro representativo de uma superfície paramétrica a partir de um primeiro elemento de sintaxe do fluxo; - obter um mapa de altura a partir de um segundo elemento de sintaxe do fluxo, o mapa de altura compreendendo informações representativas da distância entre a pelo menos uma parte do objeto e a superfície paramétrica; - obter pelo menos um mapa de textura a partir de um terceiro elemento de sintaxe do fluxo; - obter dados associados com pontos de uma nuvem de pontos representando a pelo menos uma parte do objeto da superfície paramétrica, do mapa de altura e da pelo menos um mapa de textura; - renderizar a imagem com base nos dados e informações representativas de uma posição de um dispositivo de aquisição a partir de um quarto elemento de sintaxe do fluxo.

[014] De acordo com uma característica particular, os dados compreendem informações de textura e informações representativas de profundidade.

[015] De acordo com uma característica específica, a renderização compreende a renderização por pontos (splat rendering) dos referidos dados.

[016] A presente invenção também se refere a um dispositivo configurado para implementar o método de renderização acima mencionado de uma imagem de pelo menos uma parte de um objeto a partir de um fluxo transportando dados representativos do referido objeto.

[017] A presente invenção também se refere a um produto de programa de computador compreendendo instruções de código de programa para executar as etapas do método de renderização de uma imagem de pelo menos uma parte de um objeto a partir de um fluxo transportando dados representativos do referido objeto, quando este programa é executado em um computador.

[018] A presente invenção também se refere a um produto de programa de computador compreendendo instruções de código de programa para executar as etapas do método de geração de um fluxo a partir de pelo menos uma imagem de um objeto de uma cena.

[019] A presente invenção também se refere a um meio legível por processador (não transitório) tendo nele armazenadas instruções para fazer com que um processador execute pelo menos o método de geração de um fluxo acima mencionado a partir de pelo menos uma imagem de um objeto de uma cena.

[020] A presente invenção também se refere a um meio legível por processador (não transitório) tendo nele armazenadas instruções para fazer com que um processador execute pelo menos o método acima mencionado de renderização de uma imagem de pelo menos uma parte de um objeto a partir de um fluxo transportando dados representativos do referido objeto, quando este programa é executado em um computador.

LISTA DE FIGURAS

[021] A presente invenção será melhor compreendida e outras características e vantagens específicas surgirão quando da leitura da descrição a seguir, a descrição fazendo referência aos desenhos anexos, em que: [022] A Figura 1 ilustra um conteúdo imersivo, de acordo com uma modalidade particular dos presentes princípios;

[023] As Figuras 2A e 2B ilustram um dispositivo de aquisição de campo de luz configurado para adquirir imagens de uma cena para obter pelo menos uma parte do conteúdo imersivo da Figura 1, de acordo com uma modalidade particular dos presentes princípios;

[024] A Figura 3 ilustra representações de uma parte de um objeto da cena adquirida com o dispositivo de aquisição das Figuras 2A e 2B, de acordo com uma modalidade particular dos presentes princípios;

[025] A Figura 4 ilustra uma superfície paramétrica utilizada em um processo para representar o objeto da Figura 3, de acordo com uma modalidade particular dos presentes princípios;

[026] As Figuras 5A, 5B e 5C ilustram modalidades exemplificativas da amostragem da superfície paramétrica da Figura 4;

[027] A Figura 6 ilustra a correspondência da superfície paramétrica da Figura 4 com relação a uma deformação do objeto da Figura 3, de acordo com uma modalidade particular dos presentes princípios;

[028] A Figura 7 ilustra a associação de informações de textura com a superfície paramétrica da Figura 4, de acordo com uma primeira modalidade particular dos presentes princípios;

[029] A Figura 8 ilustra a associação de informações de textura com a superfície paramétrica da Figura 4, de acordo com uma segunda modalidade particular dos presentes princípios;

[030] A Figura 9 ilustra um exemplo de uma arquitetura de um dispositivo configurado para implementar o(s) método(s) da Figura 12 e/ou Figura 13, de acordo com um exemplo dos presentes princípios;

[031] A Figura 10 ilustra dois dispositivos remotos da Figura 9 que se comunicam através de uma rede de comunicação, de acordo com um exemplo dos presentes princípios;

[032] A Figura 11 ilustra a sintaxe de um sinal transportando uma descrição do objeto da Figura 3, de acordo com um exemplo dos presentes princípios;

[033] A Figura 12 ilustra um método de geração de um fluxo de dados que descreve o objeto da Figura 3, de acordo com um exemplo dos presentes princípios;

[034] A Figura 13 ilustra um método de renderização de uma imagem do objeto da Figura 3, de acordo com um exemplo dos presentes princípios.

DESCRIÇÃO DETALHADA DAS MODALIDADES

[035] O assunto é agora descrito com referência aos desenhos, em que números de referência semelhantes são utilizados para se referir a elementos semelhantes ao longo do documento. Na descrição a seguir, para fins da explicação, vários detalhes específicos são apresentados de modo a proporcionar uma compreensão completa do assunto. Pode ser evidente, no entanto, que as modalidades do assunto em questão podem ser praticadas sem estes detalhes específicos.

[036] A presente descrição ilustra os princípios da presente invenção. Será assim entendido que os versados na técnica serão capazes de conceber várias disposições que, embora não explicitamente descritas aqui, incorporam os princípios da invenção.

[037] Os presentes princípios serão descritos em referência a uma modalidade particular de um método de geração de um fluxo de dados representativo de um objeto de uma cena e/ou um método de renderização de uma ou mais imagens deste objeto a partir do fluxo de dados gerado. Uma nuvem de pontos representando o objeto (ou parte dele) é determinada a partir de uma ou mais imagens do objeto (ou parte dele) adquiridas com um ou mais dispositivos de aquisição. Uma superfície paramétrica é calculada como uma base para a representação do objeto (ou parte dele), a superfície paramétrica sendo calculada usando característica geométrica do objeto (por exemplo, pontos extremos da nuvem de pontos e/ou informação normal associada com elementos da superfície externa do objeto obtido da nuvem de pontos) e a informações de posição do(s) dispositivo(s) de aquisição (por exemplo, para orientar a superfície paramétrica). Um mapa de altura e um ou mais mapas de textura são determinados e associados com a superfície paramétrica. Um fluxo de dados é gerado combinando e/ou codificando informações representativas da superfície paramétrica (isto é, parâmetros) com informações de altura do mapa de altura, informações de textura do(s) mapa(s) de textura com informações de posição do(s) dispositivo(s) de aquisição. No lado renderizado/ decodificador, uma imagem do objeto (ou parte dela) pode ser obtida por decodificação/extração da informação representativa da superfície paramétrica e mapas de altura e textura associados.

[038] A utilização de uma superfície paramétrica como referência para representar o objeto com informações de textura e altura associadas com amostras da superfície paramétrica permite reduzir a quantidade de dados necessários para representar o objeto em comparação a uma representação com uma nuvem de pontos.

[039] A Figura 1 ilustra um exemplo de um conteúdo imersivo 10, na forma exemplificativa não limitante de um conteúdo de vídeo esterradiano 4π, de acordo com uma modalidade particular não limitante dos presentes princípios. A Figura 1 corresponde a uma representação plana do conteúdo imersivo 10. O conteúdo imersivo 10 corresponde, por exemplo, a uma cena real adquirida com uma ou mais câmeras ou a uma cena de realidade mista compreendendo objetos virtuais e reais, o objeto virtual sendo, por exemplo, sintetizado utilizando um motor 3D. Uma parte 11 do conteúdo imersivo 10 corresponde, por exemplo, à parte do conteúdo imersivo exibido em um dispositivo de visualização adaptado para visualizar conteúdos imersivos, o tamanho da parte 11 sendo, por exemplo, igual ao campo de visão provido pelo dispositivo de visualização.

[040]O dispositivo de visualização utilizado para visualizar o conteúdo imersivo 10 é, por exemplo, um HMD (Head-Mounted Display), usado na cabeça de um usuário ou como parte de um capacete. O HMD compreende vantajosamente uma ou mais telas de exibição (por exemplo, LCD (Tela de Cristal Líquido), OLED (Diodo Emissor de Luz Orgânica) ou LCOS (Cristal Líquido em Silício)) e sensor(es) configurado(s) para medir a(s) mudança(s) de posição do HMD, por exemplo, giroscópios ou uma IMU (Unidade de Medição Inercial), de acordo com um, dois ou três eixos do mundo real (eixo de direção, inclinação longitudinal e/ou inclinação transversal). A parte 11 do conteúdo imersivo 10 correspondente à posição medida do HMD é determinada vantajosamente com uma função específica que estabelece a relação entre o ponto de vista associado com o HMD no mundo real e o ponto de vista de uma câmera virtual associada com o conteúdo imersivo 10. Controlar a parte 11 do conteúdo de vídeo a ser exibido na(s) tela(s) de exibição do HMD de acordo com a posição medida do HMD permite que um usuário usando o HMD navegue no conteúdo imersivo, que é maior do que o campo de visão associado com a(s) tela(s) de exibição do HMD. Por exemplo, se o campo de visão oferecido pelo HMD for igual a 110° (por exemplo, sobre o eixo de direção) e se o conteúdo imersivo oferece um conteúdo de 180°, o usuário que usa o HMD pode virar a sua cabeça para a direita ou para a esquerda para ver as partes do conteúdo de vídeo fora do campo de visão oferecido pelo HMD. De acordo com outro exemplo, o sistema imersivo é um sistema CAVE (Caverna Digital), em que o conteúdo imersivo é projetado nas paredes de uma sala. As paredes do CAVE são, por exemplo, constituídas por telas de projeção traseiras ou telas planas. O usuário pode, assim, navegar seu olhar nas diferentes paredes da sala. O sistema CAVE é vantajosamente fornecido com câmeras que adquirem imagens do usuário para determinar por processamento de vídeo dessas imagens a direção do olhar do usuário. De acordo com uma variante, o olhar ou a posição do usuário é determinado com um sistema de rastreamento, por exemplo, um sistema de rastreamento infravermelho, o usuário usando sensores infravermelhos. De acordo com outra variante, o sistema imersivo é um tablet com uma tela de exibição tátil, o usuário navegando no conteúdo rolando o conteúdo com um ou mais dedos deslizando sobre a tela de exibição tátil.

[041 ]0 conteúdo imersivo 10 e a parte 11 também podem compreender objeto(s) em primeiro plano e objeto(s) de fundo.

[042] Naturalmente, o conteúdo imersivo 10 não está limitado a um conteúdo de vídeo esterradiano 4tt, mas estende-se a qualquer conteúdo de vídeo (ou conteúdo audiovisual) com um tamanho maior do que o campo de visão 11.0 conteúdo imersivo pode ser, por exemplo, um conteúdo esterradiano 2tt, 2,5 π, 3π e assim por diante.

[043] As Figuras 2A e 2B ilustram um exemplo de um dispositivo de aquisição de campo de luz. Mais especificamente, as Figuras 2A e 2B mostram, cada uma, uma matriz de câmeras 2A, 2B (também denominada matrizes multicâmera), de acordo com duas modalidades particulares dos presentes princípios.

[044] A matriz de câmeras 2A compreende uma matriz 20 de lentes ou microlentes compreendendo várias microlentes 201, 202 a 20p, sendo p um número inteiro correspondente ao número de microlentes, e uma ou várias matrizes de sensor 21. A matriz de câmeras 2A não inclui uma lente principal. A matriz de lentes 20 pode ser um pequeno dispositivo, que é vulgarmente denominado uma matriz de microlentes. A matriz de câmeras com um único sensor pode ser considerada como um caso especial de câmera plenóptica, em que a lente principal tem um comprimento focal infinito. De acordo com um arranjo particular em que o número de fotossensores é igual ao número de microlentes, isto é, um fotossensor é associado opticamente com uma microlente, a matriz de câmeras 20 pode ser vista como um arranjo de uma pluralidade de câmeras individuais (por exemplo, microcâmeras) estreitamente espaçadas, tal como um arranjo quadrado (como ilustrado na Figura 2A) ou um arranjo quincôncio, por exemplo.

[045] A matriz de câmeras 2B corresponde a um equipamento de câmeras individuais, cada uma compreendendo uma lente e uma matriz de fotossensores. As câmeras são espaçadas, por exemplo, a uma distância igual a alguns centímetros ou menos de 5, 7 ou 10 cm.

[046] Os dados de campo de luz (formando uma assim chamada imagem de campo de luz) obtidos com tal matriz de câmeras 2A ou 2B correspondem à pluralidade de vistas da cena, isto é, às vistas finais que podem ser obtidas por desmultiplexação e demosaicamento de uma imagem bruta obtida com uma câmera plenóptica, tal como a câmera plenóptica do tipo 1.0, correspondente a uma câmera plenóptica em que a distância entre a matriz de lentes e a matriz de fotossensores é igual ao comprimento focal de microlentes, ou do tipo 2.0 (também chamada câmera plenóptica com foco). As câmeras da matriz de câmeras 2B são calibradas de acordo com qualquer método conhecido, isto é, os parâmetros extrínsecos e intrínsecos das câmeras são conhecidos.

[047] As diferentes vistas obtidas com o dispositivo de aquisição de luz de campo de luz permitem obter um conteúdo imersivo ou pelo menos uma parte do conteúdo imersivo. Naturalmente, o conteúdo imersivo pode ser obtido com dispositivo de aquisição diferente de um dispositivo de aquisição de campo de luz, por exemplo, com uma câmera associada com um sensor de profundidade (por exemplo, um emissor/receptor de infravermelhos, tal como o Kinect da Microsoft ou com um emissor de laser).

[048] A Figura 3 ilustra duas representações diferentes de um objeto, ou parte dele, da cena representada com o conteúdo imersivo. De acordo com o exemplo da Figura 3, o objeto é uma pessoa, por exemplo, se movendo dentro da cena, e uma parte do objeto correspondente à cabeça é ilustrada na Figura 3.

[049] Uma primeira representação 30 da parte do objeto é uma nuvem de pontos. A nuvem de pontos corresponde a uma grande coleção de pontos representando o objeto, por exemplo, a superfície externa ou a forma externa do objeto. Uma nuvem de pontos pode ser vista como uma estrutura baseada em vetor, em que cada ponto tem suas coordenadas (por exemplo, coordenadas tridimensionais XYZ ou uma profundidade/distância de um dado ponto de vista) e um ou mais atributos, também chamados de componente. Um exemplo de componente é o componente de cor que pode ser expresso em diferentes espaços de cores, por exemplo RGB (Vermelho, Verde e Azul) ou YUV (Y sendo o componente de luma e UV, dois componentes de crominância). A nuvem de pontos é uma representação do objeto como visto de um dado ponto de vista, ou um intervalo de pontos de vista. A nuvem de pontos pode ser obtida de maneiras diferentes, por exemplo: a partir e uma captura de um objeto real disparada por um equipamento de câmeras, como a matriz de câmeras da Figura 2, opcionalmente complementada por um dispositivo de detecção ativo de profundidade; a partir de uma captura de um objeto virtual/sintético disparada por um equipamento de câmeras virtuais em uma ferramenta de modelagem; a partir de uma mistura de objetos virtuais e reais.

[050] No primeiro caso (a partir da captura de um objeto real), o conjunto de câmeras gerará um conjunto de imagens ou sequências de imagens (vídeos) correspondentes às diferentes visões (diferentes pontos de vista). As informações de profundidade - que significam a distância de cada centro de câmera para a superfície do objeto - são obtidas por meio do dispositivo de detecção de profundidade ativo, por exemplo, na gama de infravermelhos e com base em análise de luz estruturada ou tempo de voo, ou com base em algoritmos de disparidade. Em ambos os casos, todas as câmeras precisam ser calibradas, intrinsecamente e extrinsecamente. Os algoritmos de disparidade consistem em uma busca de características visuais semelhantes em um par de imagens de câmera retificadas, tipicamente a serem feitas ao longo de uma linha de 1 dimensão: quanto maior a diferença de coluna de pixels, mais próxima a superfície desta característica. No caso de uma matriz de câmeras, as informações de profundidade global podem ser obtidas a partir da combinação de uma pluralidade de informações de disparidade de pares, obtendo benefício da pluralidade de pares de câmeras, melhorando assim a relação de sinal sobre ruído.

[051 ]No segundo caso (objeto sintético), a ferramenta de modelagem fornece diretamente a informação de profundidade.

[052]Uma segunda representação 31 da parte do objeto pode ser obtida a partir da representação de nuvem de pontos 30, a segunda representação correspondendo a uma representação de superfície. A nuvem de pontos pode ser processada para calcular sua superfície. Para esse efeito, para um dado ponto da nuvem de pontos, os pontos vizinhos deste dado ponto são utilizados para calcular o normal para a superfície local neste dado ponto, o elemento de superfície associado com este dado ponto sendo derivado do normal. O processo é reiterado para todos os pontos para obter a superfície. Métodos para reconstrução da superfície a partir de uma nuvem de pontos são, por exemplo, descritos por Matthew Berger et al. em “State of the Art in Surface Reconstruction from Point Clouds”, State of the Art Report, 2014. De acordo com uma variante, o elemento de superfície associado com um determinado ponto da nuvem de pontos é obtido aplicando renderização por pontos a este dado ponto. A superfície do objeto (também chamada de superfície implícita ou superfície externa do objeto) é obtida pela mistura de todos os pontos (por exemplo, elipsoides) associados com os pontos da nuvem de pontos.

[053] Em uma modalidade particular, a nuvem de pontos representa apenas vistas parciais do objeto, e não o objeto na sua totalidade, e isto corresponde à forma como o objeto é supostamente observado em um lado de renderização, por exemplo, em uma cena cinematográfica. Por exemplo, o disparo de um personagem em frente a uma matriz plana de câmeras gera uma nuvem de pontos no lado do equipamento apenas. A parte de trás do personagem nem sequer existe, o objeto não é fechado sobre si mesmo, e as características geométricas deste objeto são, portanto, o conjunto de todas as superfícies orientadas na direção do equipamento (o ângulo entre o normal de cada superfície local e o raio de volta para o dispositivo de aquisição é, por exemplo, inferior a 180°).

[054] A Figura 4 ilustra uma superfície 44 utilizada para representar o objeto 43, de acordo com uma modalidade não limitante dos presentes princípios. A superfície 44 é uma superfície paramétrica, isto é, uma superfície definida com parâmetros e definida por uma equação paramétrica.

[055] Um exemplo de uma possível superfície paramétrica é dado por um cilindro, como ilustrado na Figura 4 (por razões de clareza, apenas uma dimensão é ilustrada, mas a superfície pode ser definida em 2 ou 3 dimensões). Uma superfície paramétrica pode ter qualquer forma, por exemplo, um quadrado, um retângulo ou formas mais complexas, desde que a superfície possa ser definida com uma equação paramétrica, isto é, com um número limitado de parâmetros. O objeto 43 (que pode corresponder ao objeto da Figura 3) é adquirido com 3 dispositivo de aquisição 40, 41 e 42, por exemplo, 3 câmeras RGB. Um ponto de vista diferente é associado a cada dispositivo de aquisição 40, 41,42. Uma projeção da superfície do objeto 43 sobre uma superfície cilíndrica plana 45 corresponde ao mapeamento/projeção da superfície paramétrica 44 sobre um retângulo. As informações de cor e informações de profundidade associadas com os pontos do objeto 43 e adquiridas e/ou calculadas a partir das imagens obtidas com os dispositivos de aquisição 40, 41, 42 são associadas a pontos correspondentes da superfície cilíndrica plana 45, ou seja, as informações de cor + altura são associadas com cada ponto/pixel definido por um índice de linha e um índice de coluna. As informações de altura e cor associadas com a parte 450 da superfície 45 são obtidas a partir da visão do dispositivo de aquisição 40; as informações de cor e altura associadas com as partes 451 da superfície 45 são obtidas a partir da visão associada com o dispositivo de aquisição 41; e as informações de cor e altura associadas com as partes 452 da superfície 45 são obtidas da vista associada com o dispositivo de aquisição 42.

[056] O elipsoide 46 ilustra uma parte da superfície 45, os pontos circulares correspondentes à projeção dos pontos da representação da nuvem de pontos do objeto 43 sobre a superfície paramétrica 44 ou sua representação plana 45. A amostragem da superfície paramétrica 44 pode ser diferente da amostragem resultante da nuvem de pontos. Uma amostragem da superfície paramétrica é representada com a cruz “+” no elipsoide 46, a amostragem da superfície paramétrica sendo descrita com um número limitado de parâmetros. A amostragem da superfície paramétrica 44 pode ser uniforme e não uniforme como ilustrado nas modalidades exemplificativas das Figuras 5A, 5B e 5C.

[057] No exemplo da Figura 5A, a amostragem 50 da superfície paramétrica é uniforme, isto é, as colunas de pontos de amostra são dispostas a uma mesma distância umas das outras, isto é, com uma distância “a”, o mesmo aplicando-se às linhas.

[058] No exemplo da Figura 5B, a amostragem 51 da superfície paramétrica é não uniforme, isto é, as colunas de pontos de amostra são dispostas em diferentes distâncias umas das outras, isto é, as duas primeiras colunas (começando pelo lado esquerdo) são espaçadas de uma distância “a”, a distância entre duas colunas sendo, então, “a + b”, então “a + 2b”, então, “a + 3b” e assim por diante. No exemplo da Figura 5B, as linhas são espaçadas entre si com uma mesma distância.

[059] Nos exemplos das Figuras 5A e 5B, a direção associada com as informações de altura associadas com cada amostra é ortogonal à superfície paramétrica. No exemplo da Figura 5C, a direção associada com as informações de altura associadas com as amostras da amostragem 53 varia de uma amostra para outra com um ângulo variável θ0+q*Δθ, em que Θ0 é um ângulo inicial e q é um número inteiro variando de 0 até um valor máximo N, Δθ correspondendo à variação de ângulo entre duas amostras consecutivas.

[060] A densidade da amostragem na superfície paramétrica é, por exemplo, ajustada em função de: a amostragem do objeto, isto é, da nuvem de pontos; e/ou a qualidade de renderização esperada.

[061] Por exemplo, quanto mais o objeto, menos densa será a amostragem de câmera, e menos densa pode ser a amostragem na superfície paramétrica.

[062] O valor a ser associado com as amostras da superfície paramétrica são: uma informação geométrica, nomeadamente a distância entre a superfície paramétrica e a superfície implícita do objeto; uma informação de cor. Na forma mais simples, um valor de cor composto pode ser calculado nas diferentes vistas para a área de superfície do objeto que corresponde a cada amostra da superfície paramétrica, levando, por exemplo, a uma cor difusa média (isto é, a média da informação de cor dos pontos da nuvem de pontos que pode ser associada com uma amostra da superfície paramétrica).

[063] As informações de altura associadas com as amostras da superfície paramétrica podem ser armazenadas em um mapa de altura tendo tantas amostras quanto a superfície paramétrica. As informações de cor associadas com as amostras da superfície paramétrica podem ser armazenadas em um mapa de textura com tantas amostras quanto a superfície paramétrica.

[064] As informações de altura a serem associadas com uma dada amostra podem ser obtidas por lançamento de um raio a partir da referida amostra (seja ortogonalmente à superfície paramétrica ou não, dependendo da amostragem como explicado em relação às Figuras 5A, 5B e 5C), a altura sendo determinada a partir da distância que separa a amostra dos pontos da nuvem de pontos pertencente à área da nuvem de pontos associada com a interseção entre o raio e a superfície do objeto obtida da nuvem de pontos. Quando vários pontos pertencem à área, a distância pode ser a média das distâncias que separam a amostra da pluralidade de pontos da área. A superfície paramétrica e a nuvem de pontos sendo definidas no espaço mundial em relação ao dispositivo de aquisição, a distância entre uma amostra da superfície paramétrica e um ponto da superfície externa do objeto é obtida como sendo a distância euclidiana.

[065] Da mesma forma, as informações de textura a serem associadas com uma dada amostra podem ser obtidas por lançamento de um raio a partir da referida amostra. As informações de textura são obtidas a partir das informações de textura/cor dos pontos da nuvem de pontos (por exemplo, a média) pertencentes à área correspondente à interseção entre o raio e a superfície do objeto. Em outra modalidade, quando uma representação analítica da superfície paramétrica é conhecida (isto é, sua geometria e normal), a nuvem de pontos pode ser diretamente salpicada (utilizando as informações associadas de normal e tamanho) sobre a superfície paramétrica, por exemplo, fazendo uso de um esquema de Newton iterativo. Nesse caso, as informações de textura são obtidas da mistura dos salpicos.

[066] Em uma variante, uma pluralidade de superfícies paramétricas pode ser associada com um mesmo objeto. O objeto pode ser segmentado em uma pluralidade de partes e uma superfície paramétrica diferente pode ser associada a cada parte, a superfície paramétrica associada com uma determinada parte sendo determinada de acordo com a geometria específica da parte e de acordo com as informações de posição do dispositivo de aquisição usado para adquirir a parte. De acordo com esta variante, um mapa de altura e um ou mais mapas de texturas são associados com cada superfície paramétrica. Por exemplo, se o objeto é uma pessoa, uma primeira superfície paramétrica pode ser associada com uma perna, uma segunda superfície paramétrica pode ser associada com a outra perna, uma terceira superfície paramétrica pode ser associada com o braço, uma quarta superfície paramétrica pode ser associada com o outro braço, uma quinta superfície paramétrica pode ser associada com o tronco e uma sexta superfície paramétrica pode ser associada com a cabeça.

[067] Como opção, podem ser adicionadas texturas adicionais para registrar subprodutos computacionais da superfície MLS (Mínimos Quadrados Móveis) que são necessários para renderizar, mas consomem tempo. O exemplo pode ser a textura do vetor normal, por exemplo, em um modo equivalente ao mapa normal CGI, ou geometria de pontos, tal como pequenas e grandes direções de eixo e tamanho. A restrição dessas texturas adicionais é que devem exibir boas características de coerência espacial e temporal para se encaixarem bem com o motor de compressão. Quando todas as informações necessárias são transmitidas, os parâmetros de núcleo MLS não são mais úteis para transmissão.

[068] Em uma modalidade específica ilustrada na Figura 7, uma pluralidade de mapas de textura pode ser associada com uma ou mais superfícies paramétricas. A Figura 7 ilustra a geração de 2 superfícies paramétricas 71,72 para a parte 70 do objeto, a parte 70 emitindo, por exemplo, diferentes cores de acordo com ângulos diferentes. Nesse caso, as informações de propagação angular das cores podem ser gravadas e transportadas, bem como outras informações de textura, a fim de tornar isso corretamente no lado do cliente (por exemplo, interpolando entre as 2 cores de acordo com a direção de enquadramento). De acordo com uma variante, uma única superfície paramétrica pode ser gerada no lugar das 2 superfícies paramétricas 70, 71, os diferentes mapas de textura sendo associados à única superfície paramétrica.

[069] Em uma modalidade específica ilustrada na Figura 8, uma pluralidade de superfícies paramétricas pode ser gerada para uma mesma parte do objeto. Por exemplo, uma primeira superfície paramétrica pode ser calculada para (e associada com) a face 81 de uma pessoa. Uma segunda superfície paramétrica pode ser calculada para (e associada com) uma parte da face 81, ou seja, a parte 82 compreendendo os olhos. Um primeiro mapa de altura e um primeiro mapa de textura podem ser associados ao primeiro mapa de textura, permitindo representar a face com um primeiro nível de detalhes 83, por exemplo. Um segundo mapa de altura e um segundo mapa de textura podem ser associados ao segundo mapa de textura, permitindo representar a parte 82 da face com um segundo nível de detalhes 84, por exemplo. Para atingir esse objetivo, uma primeira definição é associada com a primeira superfície paramétrica e uma segunda definição (superior à primeira definição) é associada com a segunda superfície paramétrica. Para tornar a segunda textura visível ao renderizar a face, um valor de deslocamento é subtraído dos valores de altura calculados para geração do segundo mapa de altura. Os armazenamentos de valores de altura no segundo mapa de altura são, então, inferiores aos valores de altura calculados reais que separam a segunda superfície paramétrica da superfície externa da face. Ao renderizar a face, a segunda informação de textura será posicionada na frente da primeira informação de textura, com relação ao ponto de vista renderizado.

[070] A Figura 6 ilustra a correspondência da superfície paramétrica com relação a uma deformação do objeto, de acordo com uma modalidade particular e não limitante dos presentes princípios. A parte do lado esquerdo da Figura 6 ilustra a superfície paramétrica 604 associada com o objeto 600 obtido no tempo t (ou para um primeiro quadro A de um vídeo) e a parte do lado direito da Figura 6 ilustra uma superfície paramétrica 605 associada com o objeto 601 (correspondente ao objeto 600 mas com uma forma externa diferente, isto é, o objeto 601 corresponde a uma versão deformada do objeto 600) obtido no momento t + 1 (ou para um segundo quadro B de um vídeo temporalmente seguinte ao primeiro quadro A). O objeto 600, 601 é adquirido com um conjunto de câmeras 60, 61, 62, por exemplo, correspondente aos dispositivos de aquisição 40, 41, 42 da Figura 4. A parte superior da Figura 6 corresponde a uma vista superior do usuário e das câmeras e a parte inferior da Figura 6 corresponde, por exemplo, a uma vista frontal do usuário e das câmeras, as câmeras sendo ilustradas com discos pretos na parte inferior.

[071] A fim de melhor aderir ao objeto, o cilindro parcial 604, 605 correspondente à superfície paramétrica cerca o objeto 600, 601, respectivamente, parcialmente, próximo ao objeto 600, 601, respectivamente, no lado do equipamento de câmeras 60, 61, 62 (que é tipicamente estático). As coordenadas da superfície paramétrica 600, 601 podem ser obtidas calculando uma caixa delimitadora 602, 603 que circunda o objeto 600, 601, respectivamente, a caixa delimitadora 602, 603 sendo definida por cada uma das coordenadas extremas (x, y, z) da nuvem de pontos). Os parâmetros representativos da superfície paramétrica 604, 605 (por exemplo, altura, raio, posição central para uma superfície paramétrica da forma cilíndrica) são determinados como sendo aqueles capazes de englobar a caixa delimitadora, a superfície paramétrica 604, 605 sendo aberta na direção da vista das câmeras. Este exemplo ilustra que a superfície paramétrica depende tanto do objeto (em movimento) quanto da localização do equipamento de câmeras.

[072] Quando o objeto 600, 601 capturado pelas câmeras 60, 61,62 se move do tempo t para o tempo t + 1, a nuvem de pontos usada para representar o objeto muda também: a topologia (ou as características geométricas do objeto) varia de acordo, por exemplo, com o movimento do objeto (ou de acordo com a deformação aplicada ao objeto), por exemplo, a largura e/ou a altura do objeto mudam). Portanto, é relevante ajustar a topologia da superfície paramétrica que é usada para representar o objeto com o mapa de altura associado e o(s) mapa(s) de textura que registram e/ou transmitem toda a informação geométrica e/ou de textura relacionada à nuvem de pontos para cada quadro de vídeo. As seguintes restrições podem ser aplicadas: a projeção da nuvem de pontos sobre a superfície paramétrica pode formar imagens de vídeo com boa consistência espacial e temporal de modo que possa ser eficientemente comprimida por motor de compressão regular, por exemplo, com base em padrões como H264/MPEG4 ou H265/HEVC ou quaisquer outros padrões, o que significa que a superfície é permitida desenvolver suavemente, sem sacadas; e/ou a superfície paramétrica pode ser colocada em relação à nuvem de pontos para maximizar as partes da superfície paramétrica a serem cobertas pela projeção da nuvem de pontos e minimizar sua distância para a nuvem de pontos, preservando assim a qualidade da imagem final medida, por exemplo, por uma métrica PSNR. Mais precisamente, a superfície paramétrica é escolhida de tal forma que: aproveite o maior benefício da sua resolução de imagem (largura x altura); e/ou otimize o número de bits úteis para codificar a profundidade.

[073] A evolução/alteração da superfície paramétrica em cada quadro pode ser facilmente gravada, transportada como metadados e recuperada no lado do renderizador/decodificador, o que significa que a superfície paramétrica pode ser expressa em um número limitado de parâmetros.

[074] A Figura 12 ilustra um método para geração de um fluxo compreendendo dados representativos de um objeto de uma cena implementado, por exemplo, em um dispositivo 9 (descrito em relação à Figura 9), de acordo com uma modalidade não restritiva dos presentes princípios.

[075] Em uma etapa 1200, os diferentes parâmetros do dispositivo 9 são atualizados. Em particular, os dados associados com a representação do objeto são inicializados de qualquer forma.

[076] Em uma etapa 1201, os dados associados com os pontos de uma nuvem de pontos representando uma parte do objeto, ou o objeto como um todo, são obtidos. Os dados são, por exemplo, recebidos de um dispositivo de memória, tal como a memória local do dispositivo o ou um dispositivo de armazenamento remoto, tal como um servidor (por exemplo, através de uma rede, tal como a Internet ou uma Rede de Área Local). De acordo com outro exemplo, os dados são recebidos a partir de um ou mais dispositivos de aquisição usados para adquirir uma ou mais vistas da cena compreendendo o objeto. Os dados compreendem, por exemplo, informações de textura (por exemplo, informações de cor) e informações de distância (por exemplo, profundidade de altura correspondente à distância entre o ponto considerado e o ponto de vista associado com o ponto considerado, ou seja, o ponto de vista do dispositivo de aquisição usado para adquirir o ponto considerado).

[077] Em uma etapa 1202, um ou mais parâmetros representativos de uma superfície paramétrica são obtidos. A superfície paramétrica é associada com a parte do objeto (ou o objeto inteiro) representada com a nuvem de pontos. Uma expressão geral de uma superfície paramétrica exemplificativa é a seguinte: X = f 1 (t1, t2) Y = f2 (t1, t2) Z = f3 (t1, t2) com as coordenadas x, y, z em 3 dimensões, funções contínuas f1, f2, f3 e parâmetros t1, t2. Os parâmetros da superfície paramétrica são obtidos de acordo com a característica(s) geométrica(s) da superfície externa associada com a nuvem de pontos e a partir de informações de posição de um ou mais dispositivos de aquisição utilizados para obter os pontos da nuvem de pontos. Para determinar a superfície paramétrica a ser associada com a parte considerada do objeto, as coordenadas dos pontos extremos da nuvem de pontos podem, por exemplo, ser determinadas a partir das coordenadas associadas com os pontos. Os pontos extremos correspondem aos pontos com o valor mínimo ou máximo para pelo menos uma das dimensões do espaço em que se expressam as coordenadas. Uma caixa delimitadora que envolve a nuvem de pontos é obtida a partir dos pontos extremos. A superfície paramétrica pode ser obtida como sendo o cilindro tendo como centro o centro da face traseira da caixa delimitadora e passando através das bordas frontais da caixa delimitadora, a referência sendo o dispositivo de aquisição. A orientação da superfície paramétrica é, assim, determinada usando as informações de posição do dispositivo de aquisição.

[078] De acordo com uma variante, os vetores normais associados à superfície externa da parte do objeto são calculados a partir da nuvem de pontos. A variação da orientação dos vetores normais pode ser utilizada para determinar a superfície paramétrica de forma que a superfície paramétrica fique próxima da variação de forma da superfície externa.

[079] Em uma etapa 1203, um mapa de altura associado com a superfície paramétrica obtida na etapa 1202 é obtido, isto é, determinado ou calculado. Para cada amostra da superfície paramétrica, um valor de altura é calculado lançando um raio (por exemplo, ortogonal à superfície paramétrica na amostra considerada). O valor de altura a ser associado com a amostra considerada corresponde à distância entre a amostra considerada e o elemento da superfície externa da parte do ponto de objeto (correspondente à interseção entre o raio e a superfície externa). As coordenadas associadas com o elemento da superfície externa são, por exemplo, obtidas a partir dos pontos da nuvem de pontos usada para gerar este elemento de superfície da superfície externa. Um valor de altura pode ser calculado para cada amostra da superfície paramétrica para obter o mapa de altura, o mapa de altura correspondendo, por exemplo, a um mapa bidimensional (ou imagem) armazenando um valor de altura para cada amostra do mapa, o número de amostras do mapa correspondendo ao número de amostras da amostragem da superfície paramétrica.

[080] Em uma etapa 1204, um mapa de textura associado com a superfície paramétrica obtida na etapa 1202 é obtido, isto é, determinado ou calculado. O mapa de textura corresponde, por exemplo, a um mapa bidimensional (ou imagem) armazenando uma informação de textura (por exemplo, informação de cor) para cada amostra do mapa, o número de amostras do mapa de textura correspondendo ao número de amostras da amostragem da superfície paramétrica. Uma informação de textura associada com uma amostra considerada da superfície paramétrica é determinada pelo lançamento de um raio, por exemplo, ortogonal à superfície paramétrica na amostra considerada. A informação de textura para armazenamento no mapa de textura corresponde à informação de textura associada com o elemento de superfície da superfície externa da parte do objeto cruzada pelo raio. A informação de textura associada com o elemento de superfície é obtida da informação de textura dos pontos da nuvem de pontos usados para obter este elemento de superfície. Em uma variante, vários mapas de textura podem ser obtidos para a superfície paramétrica.

[081] Em uma etapa 1205, um fluxo de dados 1100 compreendendo dados representativos da parte do objeto é obtido pela combinação dos parâmetros obtidos na etapa 1202, das informações de altura obtidas na etapa 1203 e das informações de textura obtidas na etapa 1204. Um exemplo da estrutura de tal fluxo 1100 sendo descrita em relação à Figura 11. Uma representação da parte do objeto na forma de uma superfície paramétrica associada com um mapa de altura e um ou mais mapas de textura tem a vantagem de reduzir a quantidade de dados necessários para representar a parte do objeto em comparação com uma representação com uma nuvem de pontos. Uma informação adicional representativa da posição do(s) dispositivo(s) de aquisição utilizado para obter a nuvem de pontos pode ser adicionada ao fluxo. Esta informação adicional tem a vantagem de restringir a renderização da parte do objeto em um dispositivo de renderização no limite da gama de pontos de vista da aquisição da parte do objeto, assim evitando a renderização de artefatos que podem ocorrer quando se tenta renderizar a parte do objeto a partir do fluxo de dados de acordo com um ponto de vista que não corresponde ao intervalo de pontos de vista usado para obter a nuvem de pontos que é a base para a representação da parte do objeto incluído no fluxo.

[082] Em uma etapa opcional, o fluxo de dados é transmitido para um codificador e recebido por um decodificador ou renderizador para renderizar ou exibir a finalidade da parte do objeto.

[083] Em uma variante, os dados do fluxo mudam ao longo do tempo, por exemplo, de quadro para quadro, por exemplo, quando a forma da superfície externa da parte do objeto varia ao longo do tempo. Quando a superfície externa muda, os parâmetros da superfície paramétrica são atualizados com os mapas de altura e textura para representar a mudança de forma da parte do objeto.

[084] Em outra variante, podem ser utilizadas várias superfícies paramétricas para representar uma mesma parte do objeto, por exemplo, de acordo com diferentes resoluções de amostragem.

[085] Uma única superfície paramétrica pode ser utilizada para representar o objeto como um todo ou podem ser utilizadas superfícies paramétricas diferentes para representar o objeto como um todo, por exemplo, uma superfície paramétrica diferente sendo determinada para representar cada parte diferente do objeto. Em tal variante, o fluxo de dados é obtido por combinação das diferentes superfícies paramétricas e mapas de textura e altura associados.

[086] De acordo com outra variante, um vídeo plano (isto é, vídeo 2D) representativo do fundo do objeto é adicionado ao fluxo, por exemplo, em um contentor de mídia, tal como mp4 ou mkv.

[087] A Figura 13 ilustra um método de renderização de uma imagem representativo de pelo menos uma parte do objeto a partir do fluxo obtido com o método da Figura 12. O método de renderização é, por exemplo, implementado em um dispositivo 9 (descrito em relação à Figura 9), de acordo com uma modalidade não restritiva dos presentes princípios.

[088] Em uma etapa 1300, os diferentes parâmetros do dispositivo 9 são atualizados. Em particular, os dados associados com a representação da pelo menos uma parte do objeto são inicializados de qualquer forma.

[089] Em uma etapa 1301, um ou mais parâmetros representativos de uma superfície paramétrica são obtidos a partir do fluxo de dados 1100, um exemplo da estrutura de tal fluxo sendo descrito com referência à Figura 11.0 outro ou mais parâmetros correspondem, por exemplo, aos parâmetros obtidos na etapa 1202.

[090] Em uma etapa 1302, um mapa de altura associado com a superfície paramétrica obtida na etapa 1301 é obtido a partir do fluxo 1100. O mapa de altura corresponde, por exemplo, ao mapa de altura obtido na etapa 1203.

[091 ]Em uma etapa 1303, um ou mais mapas de textura associados com a superfície paramétrica obtida na etapa 1301 é ou são obtidos a partir do fluxo 1100. Os mapas de textura correspondem, por exemplo, aos mapas de textura obtidos na etapa 1204.

[092] Em uma etapa 1304, os dados associados com pontos de uma nuvem de pontos são obtidos a partir da superfície paramétrica obtida na etapa 1301, do mapa de altura obtido na etapa 1302 e do mapa de textura obtido na etapa 1303. Os pontos são obtidos por desprojeção das amostras da superfície paramétrica, as coordenadas dos pontos sendo obtidas a partir das coordenadas das amostras e das informações de altura associadas às amostras, as informações de textura dos pontos sendo obtidas a partir das informações de textura associadas às amostras.

[093] Em uma etapa 1305, uma imagem da parte do objeto representada com uma superfície paramétrica, mapa de altura e mapas de textura é renderizada a partir de um ponto de vista que é restrito pela informação de posição compreendida no fluxo 1100. A superfície externa da parte do objeto pode, por exemplo, ser obtida pela aplicação de uma técnica de renderização de pontos para os pontos da nuvem de pontos obtida. Em uma variante, uma sequência de imagens é renderizada quando o fluxo compreende informações representativas do objeto ou parte dele para uma sequência de quadros (ou seja, imagens).

[094] A Figura 9 ilustra um exemplo de arquitetura de um dispositivo 9 que pode ser configurado para implementar um método descrito em relação às Figuras 12 e/ou 13.

[095] O dispositivo 9 compreende os seguintes elementos que são ligados entre si por um barramento de endereço e dados 91: um microprocessador 92 (ou CPU), que é, por exemplo, um DSP (ou Processador de Sinal Digital); uma ROM (ou Memória de Somente Leitura) 93; uma RAM (ou Memória de Acesso Aleatório) 94; uma interface de armazenamento 95; uma interface l/O 96 para recepção de dados a transmitir, a partir de um aplicativo; e uma fonte de alimentação, por exemplo, uma batería.

[096] De acordo com um exemplo, a fonte de alimentação é externa ao dispositivo. Em cada memória mencionada, a palavra «registro» usada na especificação pode corresponder a uma área de pequena capacidade (alguns bits) ou a uma área muito grande (por exemplo, todo um programa ou grande quantidade de dados recebidos ou decodificados). A ROM 93 compreende pelo menos um programa e parâmetro. A ROM 93 pode armazenar algoritmos e instruções para executar técnicas de acordo com os presentes princípios. Quando ligada, a CPU 92 carrega o programa na RAM e executa as instruções correspondentes.

[097] A RAM 94 compreende, em um registro, o programa executado pela CPU 92 carregado após a ligação do dispositivo 9, dados de entrada em um registro, dados intermediários em diferentes estados do método em um registro, e outras variáveis usadas para a execução do método em um registro.

[098] As implementações aqui descritas podem ser implementadas, por exemplo, em um método ou um processo, um aparelho, um produto de programa de computador, um fluxo de dados ou um sinal. Mesmo se apenas discutido no contexto de uma única forma de implementação (por exemplo, discutido apenas como um método ou um dispositivo), a implementação de características discutidas também pode ser implementada em outras formas (por exemplo, um programa). Um aparelho pode ser implementado, por exemplo, em hardware, software e firmware apropriados. Os métodos podem ser implementados, por exemplo, em um aparelho, tal como, por exemplo, um processador, que se refere a dispositivos de processamento em geral, incluindo, por exemplo, um computador, um microprocessador, um circuito integrado ou um dispositivo lógico programável. Os processadores também incluem dispositivos de comunicação, tais como, por exemplo, computadores, telefones celulares, assistentes digitais portáteis/pessoais (“PDAs”) e outros dispositivos que facilitam a comunicação de informação entre usuários finais.

[099] De acordo com um exemplo de codificação ou um codificador, o primeiro, segundo, terceiro e/ou quarto elementos de sintaxe são obtidos a partir de uma fonte. Por exemplo, a fonte pertence a um conjunto compreendendo: uma memória local (93 ou 94), por exemplo, uma memória de vídeo ou uma RAM (ou memória de acesso aleatório), uma memória flash, uma ROM (ou memória de somente leitura), um disco rígido; uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma memória flash, uma ROM, um disco óptico ou um suporte magnético; uma interface de comunicação (96), por exemplo, uma interface de rede fixa (por exemplo, uma interface de barramento, uma interface de rede de área ampla, uma interface de rede de área local) ou uma interface sem fio (tal como uma interface IEEE 802.11 ou uma interface Bluetooth®); e uma interface de usuário, tal como uma interface gráfica de usuário que permite ao usuário introduzir dados.

[0100] De acordo com exemplos de decodificação ou decodificador(es), a primeira, segunda e/ou terceira informações são enviadas para um destino; especificamente, o destino pertence a um conjunto compreendendo: uma memória local (93 ou 94), por exemplo, uma memória de vídeo ou uma RAM, uma memória flash, um disco rígido; uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma memória flash, uma ROM, um disco óptico ou um suporte magnético; e uma interface de comunicação (96), por exemplo, uma interface de rede fixa (por exemplo, uma interface de barramento (por exemplo, USB (ou Barramento Serial Universal)), uma interface de rede de área ampla, uma interface de rede de área local, uma interface HDMI (Interface Multimídia de Alta Definição) ou uma interface sem fio (tal como, uma interface IEEE 802.11, WiFi® ou uma interface Bluetooth ®).

[0101] De acordo com exemplos de codificação ou codificador, um fluxo de bits compreendendo dados representativos do objeto é enviado a um destino. Como exemplo, o fluxo de bits é armazenado em uma memória local ou remota, por exemplo, uma memória de vídeo (94) ou uma RAM (94), um disco rígido (93). Em uma variante, o fluxo de bits é enviado a uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma memória flash, ROM, um disco óptico ou um suporte magnético e/ou transmitido através de uma interface de comunicação (96), por exemplo, uma interface para um link ponto a ponto, um barramento de comunicação, um link ponto a multiponto ou uma rede de transmissão.

[0102] De acordo com exemplos de decodificação ou decodificador ou renderizador, o fluxo de bits é obtido a partir de uma fonte. Exemplificativamente, o fluxo de bits é lido a partir de uma memória local, por exemplo, uma memória de vídeo (94), uma RAM (94), uma ROM (93), uma memória flash (93) ou um disco rígido (93). em uma variante, o fluxo de bits é recebido a partir de uma interface de armazenamento (95), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma ROM, uma memória flash, um disco óptico ou um suporte magnético e/ou recebido de uma interface de comunicação (95), por exemplo, uma interface para um link ponto a ponto, um barramento, um link ponto a multiponto ou uma rede de transmissão.

[0103] De acordo com os exemplos, o dispositivo 9 é configurado para implementar um método descrito em relação à Figura 12, e pertence a um conjunto compreendendo: um dispositivo móvel; um dispositivo de comunicação; um dispositivo de jogo; um comprimido (ou computador tablet); um computador portátil; uma câmera de imagem fixa; uma câmera de vídeo; um chip de codificação; um servidor (por exemplo, um servidor de transmissão, um servidor de vídeo sob demanda ou um servidor web).

[0104] De acordo com os exemplos, o dispositivo 9 é configurado para implementar um método de renderização descrito em relação à Figura 13, e pertence a um conjunto compreendendo: um dispositivo móvel; um dispositivo de comunicação; um dispositivo de jogo; um conversor; um aparelho de televisão; um tablet (ou computador tablet); um computador portátil; e uma tela (tal como um HMD, por exemplo).

[0105] De acordo com um exemplo ilustrado na Figura 10, em um contexto de transmissão entre dois dispositivos remotos 1001 e 1002 (do tipo do dispositivo 9) em uma rede de comunicação NET 1000, o dispositivo 1001 compreende meios que são configurados para implementar um método de geração de um fluxo como descrito em relação à Figura 12, e o dispositivo 1002 compreende meios que são configurados para implementar um método para renderização de uma imagem como descrito em relação à Figura 13.

[0106] De acordo com um exemplo, a rede 1000 é uma rede LAN ou WLAN, adaptada para transmitir imagens fixas ou imagens de vídeo com informação de áudio associadas do dispositivo 1001 para dispositivos de decodificação/renderização, incluindo o dispositivo 1002.

[0107] A Figura 11 ilustra um exemplo de uma modalidade da sintaxe de um sinal quando os dados são transmitidos através de um protocolo de transmissão baseado em pacotes. A Figura 11 ilustra uma estrutura exemplificativa 1100 de um fluxo de vídeo imersivo. A estrutura consiste em um contêiner que organiza o fluxo em elementos de sintaxe independentes. A estrutura pode compreender uma parte de cabeçalho 1101 que é um conjunto de dados comum a todos os elementos de sintaxe do fluxo. Por exemplo, a parte de cabeçalho contém metadados sobre elementos de sintaxe, descrevendo a natureza e o papel de cada um deles. A estrutura pode compreender uma carga útil compreendendo elementos de sintaxe 1102, 1103, 1104 e 1105, sendo o primeiro elemento de sintaxe 1102 sendo relativo aos parâmetros que definem a superfície paramétrica, o segundo elemento de sintaxe sendo relativo ao mapa de altura associado à superfície paramétrica, o terceiro elemento de sintaxe sendo relativo ao um ou mais mapas de textura associados à superfície paramétrica e o quarto elemento de sintaxe sendo relativo a uma informação de posição do dispositivo de aquisição.

[0108] Naturalmente, a presente invenção não é limitada às modalidades anteriormente descritas.

[0109] Em particular, a presente invenção não se limita a um método e um dispositivo para a geração de um fluxo, mas também se estende a um método para codificar/decodificar um pacote compreendendo dados representativos de um objeto de uma cena e a qualquer dispositivo que implementa este método e notavelmente quaisquer dispositivos compreendendo pelo menos uma CPU e/ou pelo menos uma GPU.

[0110]A presente invenção também se refere a um método (e um dispositivo configurado) para exibição de imagens renderizadas a partir do fluxo de dados compreendendo as informações representativas do objeto da cena e a um método (e um dispositivo configurado) para renderizar e exibir o objeto com um vídeo plano.

[0111 ]A presente invenção também se refere a um método (e um dispositivo configurado) para transmitir e/ou receber o fluxo.

[0112] As implementações aqui descritas podem ser implementadas, por exemplo, em um método ou um processo, um aparelho, um produto de programa de computador, um fluxo de dados ou um sinal. Mesmo se apenas discutido no contexto de uma única forma de implementação (por exemplo, discutido apenas como um método ou um dispositivo), a implementação dos recursos discutidos também pode ser implementada em outras formas (por exemplo, um programa). Um aparelho pode ser implementado, por exemplo, em hardware, software e firmware apropriados. Os métodos podem ser implementados, por exemplo, em um aparelho, tal como, por exemplo, um processador, que se refere a dispositivos de processamento em geral, incluindo, por exemplo, um computador, um microprocessador, um circuito integrado ou um dispositivo lógico programável. Os processadores também incluem dispositivos de comunicação, tais como, por exemplo, smartphones, tablets, computadores, telefones móveis, assistentes digitais portáteis/pessoais (PDAs) e outros dispositivos que facilitam a comunicação de informação entre usuários finais.

[0113] As implementações dos vários processos e características aqui descritos podem ser incorporadas em uma variedade de diferentes equipamentos ou aplicações, particularmente, por exemplo, equipamento ou aplicações associadas com codificação de dados, decodificação de dados, geração de vista, processamento de textura e outros processamentos de imagens e informações de textura e/ou informações de profundidade relacionadas. Exemplos de tais equipamentos incluem um codificador, um decodificador, uma saída de processamento de pós-processador de um decodificador, um pré-processador que fornece entrada para um codificador, um codificador de vídeo, um decodificador de vídeo, um codec de vídeo, um servidor web, um conversor, um computador portátil, um computador pessoal, um telefone celular, um PDA e outros dispositivos de comunicação. Como deve estar claro, o equipamento pode ser móvel e até mesmo instalado em um veículo móvel.

[0114] Além disso, podem ser implementados métodos por instruções executadas por um processador, e tais instruções (e/ou valores de dados produzidos por uma implementação) podem ser armazenadas em um meio legível por processador, tal como, por exemplo, um circuito integrado, um suporte de software ou outro dispositivo de armazenamento, tal como, por exemplo, um disco rígido, um disco compacto (“CD”), um disco óptico (tal como, por exemplo, um DVD, geralmente referido como um disco versátil digital ou disco de vídeo digital), uma memória de acesso aleatório (“RAM”), ou uma memória de somente leitura (“ROM”). As instruções podem formar um programa de aplicação tangencialmente incorporado em um meio legível pelo processador. As instruções podem ser, por exemplo, em hardware, firmware, software ou uma combinação. As instruções podem ser encontradas, por exemplo, em um sistema operacional, uma aplicação separada, ou uma combinação dos dois. Um processador pode ser caracterizado, por conseguinte, como, por exemplo, um dispositivo configurado para executar um processo ou um dispositivo que inclui um meio legível por processador (tal como um dispositivo de armazenamento) com instruções para realizar um processo. Além disso, um meio legível por processador pode armazenar, além de ou em vez de instruções, valores de dados produzidos por uma implementação.

[0115] Como será evidente para um versado na técnica, as implementações podem produzir uma variedade de sinais formatados para transportar informação que podem ser, por exemplo, armazenadas ou transmitidas. As informações podem incluir, por exemplo, instruções para executar um método, ou dados produzidos por uma das implementações descritas. Por exemplo, um sinal pode ser formatado para transportar como dados as regras para gravação ou leitura da sintaxe de uma modalidade descrita, ou para transportar como dados os valores de sintaxe reais gravados por uma modalidade descrita. Tal sinal pode ser formatado, por exemplo, como uma onda eletromagnética (por exemplo, utilizando uma porção de espectro de radiofrequência) como um sinal de banda de base. A formatação pode incluir, por exemplo, a codificação de um fluxo de dados e a modulação de um portador com o fluxo de dados codificado. A informação que o sinal carrega pode ser, por exemplo, informação analógica ou digital. O sinal pode ser transmitido através de uma variedade de diferentes ligações com ou sem fios, como é conhecido. O sinal pode ser armazenado em um meio legível por processador.

[0116]Várias implementações foram descritas. No entanto, deve ser compreendido que podem ser feitas várias modificações. Por exemplo, elementos de diferentes implementações podem ser combinados, suplementados, modificados ou removidos para produzir outras implementações. Além disso, uma pessoa ordinariamente versada compreenderá que outras estruturas e processos podem ser substituídos por aqueles divulgados e as implementações resultantes realizarão pelo menos substancialmente a(s) mesma(s) função(ões), pelo menos substancialmente da(s) mesma(s) forma(s), para alcançar pelo menos substancialmente o(s) mesmo(s) resultado(s) que as implementações divulgadas. Por conseguinte, estas e outras implementações são contempladas por este pedido.

REIVINDICAÇÕES

Claims (15)

1. Método de geração de um fluxo a partir de pelo menos uma imagem de um objeto de uma cena, CARACTERIZADO pelo fato de que compreende: - obter (1201) dados associados com pontos de uma nuvem de pontos representando pelo menos uma parte do referido objeto; - obter (1202) parâmetros representativos de uma superfície paramétrica de acordo com pelo menos uma característica geométrica associada com a referida pelo menos uma parte do objeto e informações de posição de um dispositivo de aquisição usado para adquirir a referida pelo menos uma imagem, a referida pelo menos uma característica geométrica sendo obtida a partir dos referidos dados associados com pontos da referida nuvem de pontos associada com a referida pelo menos uma parte do objeto; - obter (1203) um mapa de altura associado com a referida superfície paramétrica a partir dos referidos dados, o referido mapa de altura compreendendo informações representativas da distância entre a referida pelo menos uma parte do objeto e a referida superfície paramétrica; - obter (1204) pelo menos um mapa de cores associado com a referida superfície paramétrica a partir de informações de cor associadas com pontos da referida nuvem de pontos associada com a referida pelo menos uma parte do objeto; - gerar (1205) o referido fluxo por combinação de um primeiro elemento de sintaxe relativo aos parâmetros, um segundo elemento de sintaxe relativo ao mapa de altura, um terceiro elemento de sintaxe relativo ao pelo menos um mapa de cores e um quarto elemento de sintaxe relativo a uma posição do referido dispositivo de aquisição.

2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a referida nuvem de pontos representa o referido objeto conforme visto a partir de uma gama de pontos de vista.

3. Método, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que os referidos parâmetros variam no tempo de acordo com uma deformação da referida pelo menos uma parte do objeto.

4. Dispositivo configurado para gerar um fluxo a partir de pelo menos uma imagem de um objeto de uma cena, CARACTERIZADO pelo fato de que compreende uma memória associada com pelo menos um processador configurado para: - obter dados associados com pontos de uma nuvem de pontos representando pelo menos uma parte do referido objeto; - obter parâmetros representativos de uma superfície paramétrica de acordo com pelo menos uma característica geométrica associada com a referida pelo menos uma parte do objeto e informações de posição de um dispositivo de aquisição usado para adquirir a referida pelo menos uma imagem, a referida pelo menos uma característica geométrica sendo obtida a partir dos referidos dados associados com pontos da referida nuvem de pontos associada com a referida pelo menos uma parte do objeto; - obter um mapa de altura associado com a referida superfície paramétrica a partir dos referidos dados, o referido mapa de altura compreendendo informações representativas da distância entre a referida pelo menos uma parte do objeto e a referida superfície paramétrica; - obter pelo menos um mapa de cores associado com a referida superfície paramétrica a partir de informações de cor associadas com pontos da referida nuvem de pontos associada com a referida pelo menos uma parte do objeto; - gerar o referido fluxo por combinação de um primeiro elemento de sintaxe relativo aos parâmetros, um segundo elemento de sintaxe relativo ao mapa de altura, um terceiro elemento de sintaxe relativo ao pelo menos um mapa de cores e um quarto elemento de sintaxe relativo a uma posição do referido dispositivo de aquisição.

5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que a referida nuvem de pontos representa o referido objeto conforme visto a partir de uma gama de pontos de vista.

6. Dispositivo, de acordo com a reivindicação 4 ou 5, CARACTERIZADO pelo fato de que o referido pelo menos um parâmetro varia no tempo de acordo com uma deformação da referida pelo menos uma parte do objeto.

7. Fluxo transportando primeiros dados representativos de um objeto de uma cena, CARACTERIZADO pelo fato de que os dados compreendem: - um primeiro elemento de sintaxe (1102) relativo a parâmetros representativos de uma superfície paramétrica obtidos de acordo com pelo menos uma característica geométrica associada com a referida pelo menos uma parte do objeto e informações de posição de um dispositivo de aquisição usado para adquirir a referida pelo menos uma imagem, a referida pelo menos uma característica geométrica sendo obtida a partir dos referidos dados associados com pontos da referida nuvem de pontos associada com a referida pelo menos uma parte do objeto; - um segundo elemento de sintaxe (1103) relativo a um mapa de altura obtido a partir de segundos dados associados com pontos de uma nuvem de pontos representando a referida pelo menos uma parte do objeto, o mapa de altura compreendendo informações representativas da distância entre a referida pelo menos uma parte do objeto e a referida superfície paramétrica; - um terceiro elemento de sintaxe (1104) relativo a pelo menos um mapa de cores obtidos a partir das referidas informações de cores associadas com pontos da referida nuvem de pontos associada com a referida pelo menos uma parte do objeto; e - um quarto elemento de sintaxe (1105) relativo a uma posição do referido dispositivo de aquisição.

8. Fluxo, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que a referida nuvem de pontos representa o referido objeto conforme visto a partir de uma gama de pontos de vista.

9. Fluxo, de acordo com a reivindicação 7 ou 8, CARACTERIZADO pelo fato de que o referido primeiro elemento de sintaxe (1102) varia no tempo de acordo com uma mudança do referido pelo menos um parâmetro que varia de acordo com uma deformação da referida pelo menos uma parte do objeto.

10. Método de renderização de uma imagem de pelo menos uma parte de um objeto a partir de um fluxo transportando dados representativos do referido objeto, CARACTERIZADO pelo fato de que compreende: - obter (1301) parâmetros representativos de uma superfície paramétrica a partir de um primeiro elemento de sintaxe do fluxo; - obter (1302) um mapa de altura a partir de um segundo elemento de sintaxe do fluxo, o mapa de altura compreendendo informações representativas da distância entre a referida pelo menos uma parte do objeto e a referida superfície paramétrica; - obter (1303) pelo menos um mapa de cores a partir de um terceiro elemento de sintaxe do fluxo; - obter (1304) dados associados com pontos de uma nuvem de pontos representando a referida pelo menos uma parte do objeto a partir da referida superfície paramétrica, do referido mapa de altura e do referido pelo menos um mapa de cores; - renderizar (1305) a referida imagem com base nos referidos dados e informações representativas de uma posição de um dispositivo de aquisição a partir de um quarto elemento de sintaxe do fluxo.

11. Método, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que a referida nuvem de pontos representa o referido objeto conforme visto a partir de uma gama de pontos de vista.

12. Método, de acordo com a reivindicação 10 ou 11, CARACTERIZADO pelo fato de que a renderização compreende a renderização por pontos dos referidos dados.

13. Dispositivo configurado para renderizar uma imagem de pelo menos uma parte de um objeto a partir de um fluxo transportando dados representativos do referido objeto, CARACTERIZADO pelo fato de que compreende uma memória associada com pelo menos um processador configurado para: - obter parâmetros representativos de uma superfície paramétrica a partir de um primeiro elemento de sintaxe do fluxo; - obter um mapa de altura a partir de um segundo elemento de sintaxe do fluxo, o mapa de altura compreendendo informações representativas da distância entre a referida pelo menos uma parte do objeto e a referida superfície paramétrica; - obter pelo menos um mapa de cores a partir de um terceiro elemento de sintaxe do fluxo; - obter dados associados com pontos de uma nuvem de pontos representando a referida pelo menos uma parte do objeto a partir da referida superfície paramétrica, do referido mapa de altura e do referido pelo menos um mapa de cores; - renderizar a referida imagem com base nos referidos dados e informações representativos de uma posição de um dispositivo de aquisição a partir de um quarto elemento de sintaxe do fluxo.

14. Dispositivo, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a referida nuvem de pontos representa o referido objeto conforme visto a partir de uma gama de pontos de vista.

15. Dispositivo, de acordo com a reivindicação 13 ou 14, CARACTERIZADO pelo fato de que o pelo menos um processador é ainda configurado para executar renderização por pontos dos referidos dados para renderizar a referida imagem.