BR112020013599A2 - aparelho e método de processamento de imagem. - Google Patents

Abstract

A presente descrição se refere a um dispositivo e método de processamento de formação de imagem que tornam possível suprimir uma redução na qualidade resultante de uma projeção bidimensional dos dados 3D. Os dados para cada posição incluídos nos dados 3D que representam uma estrutura tridimensional são projetados sobre planos bidimensionais em uma pluralidade de camadas. Adicionalmente, os dados para cada posição nos dados 3D projetados sobre planos bidimensionais em um número de camadas indicado pela informação do número de camada são projetados em um espaço tridimensional. A presente descrição é aplicável, por exemplo, em dispositivos de processamento de informação, dispositivos de processamento de imagem, equipamentos eletrônicos, métodos de processamento de informação e programas.

Description

1 / 61

APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM Campo Técnico

[001] A presente descrição se refere a um aparelho e a um método de processamento de formação de imagem e, particularmente, a um aparelho e a um método de processamento de imagem pelos quais a degradação da qualidade pela projeção bidimensional dos dados 3D pode ser suprimida. Fundamentos da Invenção

[002] Convencionalmente, como um método de codificação dos dados 3D representativos de uma estrutura tridimensional, tal como uma nuvem de pontos (Nuvem de pontos), por exemplo, uma abordagem de projeção das posições e informação de cor de uma nuvem de pontos em um plano bidimensional para cada pequena região e codificação das mesmas por um método de codificação para uma imagem bidimensional foi proposta (a seguir, a abordagem também é referida como uma abordagem com base em vídeo (abordagem com base em vídeo) (por exemplo, consulte NPL 1 a NPL 3). Lista de Citação Literatura Não Patente

[003] NPL 1 Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression", IEEE, 2015; NPL 2 K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG m41649, Oct. 2017; NPL 3 "PCC Test Model Category 2 v0", N17248 MPEG output document, October 2017. Sumário da Invenção Problema Técnico

[004] Entretanto, em uma nuvem de pontos, que é um alvo de codificação, um Ponto também existe em locais diferentes de uma superfície de objeto, devido ao ruído ou uma característica de um sistema de formação

2 / 61 de imagem. Portanto, algumas vezes, é difícil projetar a nuvem de pontos em um plano bidimensional, e há uma possibilidade de que a qualidade seja degradada devido à codificação que envolve tal projeção em um plano bidimensional.

[005] A presente descrição foi feita em vista de uma situação como esta supradescrita e torna possível suprimir a degradação da qualidade devido à projeção bidimensional dos dados 3D. Solução para o Problema

[006] O aparelho de processamento de imagem de um aspecto da presente tecnologia é um aparelho de processamento de imagem que inclui uma seção de projeção bidimensional configurada para projetar os dados para cada uma de todas as posições incluídas nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

[007] O método de processamento de formação de imagem de um aspecto da presente tecnologia é um método de processamento de imagem que inclui projetar os dados para cada uma de todas as posições incluídas nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

[008] O aparelho de processamento de imagem de um aspecto diferente da presente tecnologia é um aparelho de processamento de imagem que inclui uma seção de projeção tridimensional configurada para projetar os dados para cada uma de todas as posições dos dados 3D projetados em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada em relação a um espaço tridimensional.

[009] O método de processamento de imagem do aspecto diferente da presente tecnologia é um método de processamento de imagem que inclui projetar os dados para cada uma de todas as posições dos dados 3D projetados em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada em relação a um espaço tridimensional.

3 / 61

[0010] No aparelho e no método de processamento de imagem de um aspecto da presente tecnologia, os dados para cada uma de todas as posições incluídas nos dados 3D representativos de uma estrutura tridimensional são projetados em um plano bidimensional de diversas camadas.

[0011] No aparelho e no método de processamento de imagem do aspecto diferente da presente tecnologia, os dados para cada uma de todas as posições dos dados 3D projetados em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada são projetados em um espaço tridimensional. Efeito Vantajoso da Invenção

[0012] De acordo com a presente descrição, a informação pode ser processada. Especialmente, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida. Breve Descrição dos Desenhos

[0013] A figura 1 é uma vista que ilustra um exemplo de uma nuvem de pontos.

[0014] A figura 2 é uma vista que ilustra um exemplo de uma visão geral de uma abordagem com base em vídeo.

[0015] A figura 3 é uma vista em que a presente tecnologia aqui descrita em relação às modalidades é sumarizada.

[0016] A figura 4 é um diagrama de blocos que representa um exemplo dos componentes principais de um aparelho de codificação.

[0017] A figura 5 é uma vista que ilustra um exemplo dos componentes principais de uma seção de decomposição do trecho.

[0018] A figura 6 é um diagrama de blocos que representa um exemplo dos componentes principais de um aparelho de decodificação.

[0019] A figura 7 é um diagrama de blocos que representa um exemplo dos componentes principais de uma seção de reconstrução 3D.

[0020] A figura 8 é uma vista que representa um exemplo de uma

4 / 61 maneira de projeção bidimensional convencional.

[0021] A figura 9 é uma vista que representa um exemplo de uma maneira de projeção bidimensional na qual a presente tecnologia é aplicada.

[0022] A figura 10 é um fluxograma que ilustra um exemplo de um fluxo de um processo de codificação.

[0023] A figura 11 é um fluxograma que ilustra um exemplo de um fluxo de um processo de decomposição do trecho.

[0024] A figura 12 é um fluxograma que ilustra um exemplo de um fluxo de um processo de projeção bidimensional.

[0025] A figura 13 é um fluxograma que ilustra um exemplo de um fluxo de um processo de decodificação.

[0026] A figura 14 é um fluxograma que ilustra um exemplo de um fluxo de um processo de reconstrução da nuvem de pontos.

[0027] A figura 15 é um fluxograma que ilustra um exemplo de um fluxo de um processo de projeção tridimensional.

[0028] A figura 16 é uma vista que representa um exemplo de uma maneira de projeção bidimensional convencional.

[0029] A figura 17 é uma vista que representa um exemplo de uma maneira de projeção bidimensional na qual a presente tecnologia é aplicada.

[0030] A figura 18 é um fluxograma que ilustra um exemplo de um fluxo de um processo de projeção bidimensional.

[0031] A figura 19 é um fluxograma que ilustra um exemplo de um fluxo de um processo de projeção tridimensional.

[0032] A figura 20 é uma vista que representa um exemplo de uma maneira de projeção bidimensional convencional.

[0033] A figura 21 é uma vista que representa um exemplo de uma maneira de projeção bidimensional na qual a presente tecnologia é aplicada.

[0034] A figura 22 é um fluxograma que ilustra um exemplo de um fluxo de um processo de projeção bidimensional.

5 / 61

[0035] A figura 23 é um fluxograma que ilustra um exemplo de um fluxo de um processo de projeção tridimensional.

[0036] A figura 24 é um diagrama de blocos que representa um exemplo dos componentes principais de um computador. Descrição das Modalidades

[0037] A seguir, um modo para realizar a presente descrição (a seguir referido como uma modalidade) é descrito. Percebe-se que a descrição é dada na seguinte ordem.

[0038] 1. Abordagem com base em vídeo

2. Primeira modalidade (número de camada variável)

3. Segunda modalidade (definição de ponto ausente)

4. Terceira modalidade (parâmetro de profundidade variável)

5. Nota complementar <1. Abordagem com base em vídeo> <Documentos e similares que suportam conteúdos técnicos e termos técnicos>

[0039] O escopo descrito pela presente tecnologia inclui não apenas os conteúdos descritos em conexão com os exemplos de trabalho, mas, também, os conteúdos descritos nas seguintes peças de NPL que eram conhecidas no momento do depósito do presente relatório descritivo.

[0040] NPL 1: (dado anteriormente).

[0041] NPL 2: (dado anteriormente).

[0042] NPL 3: (dado anteriormente).

[0043] NPL 4: TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017.

[0044] NPL 5: TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "High efficiency video coding", H.265, 12/2016.

6 / 61

[0045] NPL 6: Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens- Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July

2017.

[0046] Em resumo, os conteúdos descritos nas peças de NPL listadas anteriormente também servem como a base quando a exigência de suporte na descrição precisar ser determinada. Por exemplo, deve ser reconhecido que, mesmo se a Estrutura de Bloco de Árvore Quádrupla descrita em NPL 5 ou a Estrutura de Bloco QTBT (Árvore Quádrupla Mais Árvore Binária) descrita em NPL 6 não forem descritas explicitamente na descrição dos exemplos de trabalho, as mesmas permanecem no escopo da descrição da presente tecnologia e satisfazem a exigência de suporte na descrição de acordo com as reivindicações. Adicionalmente, por exemplo, em relação a tais termos técnicos como análise sintática (Análise Sintática), sintaxe (Sintaxe), ou semântica (Semântica), deve ser reconhecido que, mesmo se os mesmos não forem descritos explicitamente na descrição dos exemplos de trabalho, os mesmos permanecem no escopo da descrição da presente tecnologia e satisfazem a exigência de suporte na descrição de acordo com as reivindicações. <Nuvem de pontos>

[0047] Convencionalmente, os dados de uma nuvem de pontos pelos quais uma estrutura tridimensional é representada pela informação de posição, a informação de atributo e informação semelhante de um grupo de pontos, uma malha que inclui vértices, bordas, e faces, e define uma forma tridimensional usando representações de polígono e similares estão disponíveis.

[0048] Por exemplo, no caso de uma nuvem de pontos, uma estrutura tridimensional como esta representada em A da figura 1 é representada como

7 / 61 uma agregação como esta de um grande número de pontos (grupo de pontos), da forma representada em B da figura 1. Em resumo, os dados de uma nuvem de pontos incluem a informação de posição e a informação de atributo (por exemplo, uma cor ou similares) de pontos individuais do grupo de pontos. Desta maneira, a estrutura de dados é relativamente simples e qualquer estrutura tridimensional pode ser representada com um grau de precisão suficientemente alto pelo uso de um número de pontos suficientemente grande. <Visão geral da abordagem com base em vídeo>

[0049] Uma abordagem com base em vídeo (abordagem com base em vídeo) que projeta as posições e a informação de cor de uma nuvem de pontos como esta, da forma supradescrita, individualmente em um plano bidimensional por cada pequena região e codifica as mesmas por um método de codificação para uma imagem bidimensional foi proposta.

[0050] Nesta abordagem com base em vídeo, uma nuvem de pontos inserida (Nuvem de pontos) é dividida em diversas segmentações (também chamadas de regiões ou trechos) e projetada por cada região em um plano bidimensional. Percebe-se que os dados para cada posição em uma nuvem de pontos (a saber, os dados de cada ponto) incluem a informação de posição (Geometria (também chamada de Profundidade)) e a informação de atributo (Textura), da forma descrita anteriormente, e são individualmente projetados por cada região em um plano bidimensional.

[0051] Então, os dados 3D (nuvem de pontos) projetados no plano bidimensional são, por exemplo, codificados por um método de codificação para uma imagem do plano bidimensional, tais como AVC (Codificação de Vídeo Avançada) ou HEVC (Codificação de Vídeo de Alta Eficiência). <Presente tecnologia em relação à abordagem com base em vídeo>

[0052] A presente tecnologia em relação a uma abordagem com base

8 / 61 em vídeo como esta, da forma supradescrita, é descrita. A figura 3 é uma tabela da presente tecnologia descrita na descrição das modalidades.

[0053] No primeiro estágio (sem o estágio do nome de item sendo contado) a partir de cima nesta tabela, uma abordagem com base em vídeo convencional (TMC2) é descrita. Em resumo, na abordagem com base em vídeo convencional, a projeção bidimensional dos dados 3D é realizada em relação a um plano bidimensional de duas camadas (duas camadas). Este relatório descritivo é comum à íntegra da imagem da tela (projeção similar é realizada em qualquer segmento). Desta maneira, a informação de controle da projeção a ser usada para tal controle de projeção é sinalizada como a informação em uma unidade de quadro do lado da codificação para o lado da decodificação.

[0054] Entretanto, em uma nuvem de pontos que se torna um alvo de codificação, um Ponto também existe em um local de um objeto diferente da superfície de objeto devido ao ruído ou a uma característica do sistema de formação de imagem. Portanto, há uma possibilidade de a projeção de dados em um plano bidimensional de duas camadas como este, como no caso de um método convencional como este, da forma supradescrita, ser difícil. Desta maneira, há uma possibilidade de que um ponto que não pode ser projetado em um plano bidimensional possa aparecer e a qualidade de dados possa ser degradada devido à codificação que envolve a projeção em um plano bidimensional.

[0055] Adicionalmente, por exemplo, no caso em que um alvo de compressão tiver uma natureza Esparsa (grosseira e esparsa), a projeção em uma unidade de uma região muito pequena (Ponto) é exigida, e já que muitas regiões pequenas são codificadas, há uma possibilidade de que tanto a quantidade de processamento quanto a eficiência de codificação sejam diminuídas.

[0056] No segundo estágio (sem o estágio do nome de item sendo

9 / 61 contado) a partir de cima na tabela da figura 3, a presente tecnologia descrita em conexão com a primeira modalidade (exemplo de trabalho 1) é descrita. Este método é um método em que o número de camada (Camada) de um plano bidimensional no qual os dados 3D são projetados é feito variável e o número de camada é definido de maneira tal que as peças de dados de todos os pontos (dados para cada posição) sobrepostos na direção da profundidade sejam todas projetadas.

[0057] Neste caso, por exemplo, a informação indicativa do número de camada pode ser sinalizada do lado da codificação para o lado da decodificação para cada região.

[0058] Isto torna possível reproduzir uma nuvem de pontos que tem uma espessura na superfície de objeto mais precisamente, isto é, para suprimir a degradação da qualidade devido à projeção bidimensional dos dados 3D.

[0059] No terceiro estágio (sem o estágio do nome de item sendo contado) a partir de cima na tabela da figura 3, a presente tecnologia descrita em conexão com a segunda modalidade (exemplo de trabalho 2) é descrita. Este método é um método pelo qual, quando os dados 3D forem projetados em um plano bidimensional, uma definição de "ponto ausente" é adicionada.

[0060] Neste caso, por exemplo, uma definição de um valor de pixel de um ponto a ser deletado no lado da decodificação pode ser sinalizada do lado da codificação para o lado da decodificação.

[0061] Isto torna possível reproduzir uma nuvem de pontos Esparsa mais precisamente. Em resumo, a projeção em uma unidade de uma região muito pequena (Ponto) torna-se desnecessária, e o aumento da quantidade de processamento e a diminuição da eficiência de codificação podem ser suprimidos.

[0062] No quarto estágio (sem o estágio do nome de item sendo contado) a partir de cima na tabela da figura 3, a presente tecnologia descrita em conexão com a terceira modalidade (exemplo de trabalho 3) é descrita.

10 / 61 Este método é um método pelo qual um parâmetro de profundidade para controlar a faixa da profundidade de dados 3D que serão projetados em um plano bidimensional pode ser definido para cada região.

[0063] Neste caso, por exemplo, o parâmetro de profundidade pode ser sinalizado do lado da codificação para o lado da decodificação.

[0064] Isto torna possível realizar o controle de qualidade da figura para cada região e suprimir a diminuição da eficiência da informação de posição (Geometria). <Aparelho de codificação>

[0065] Agora, uma configuração para implementar tais vários métodos, da forma supradescrita, é descrita. A figura 4 é um diagrama de blocos que representa um exemplo de uma configuração de um aparelho de codificação que é uma forma de um aparelho de processamento de imagem no qual a presente tecnologia é aplicada. Um aparelho de codificação 100 representado na figura 4 é um aparelho que projeta dados 3D, tal como uma nuvem de pontos, em um plano bidimensional para realizar a codificação por um método de codificação para uma imagem bidimensional.

[0066] Por exemplo, o aparelho de codificação 100 implementa as tecnologias descritas em NPL 1 a NPL 6 e realiza a codificação dos dados 3D por um método em conformidade com o padrão descrito em qualquer uma das peças da NPL.

[0067] Percebe-se que a figura 4 representa principais seções de processamento, fluxos de dados e similares e nem todas as seções de processamento, fluxos de dados e similares são representados na figura 4. Em resumo, o aparelho de codificação 100 pode incluir uma seção de processamento que não é representada como um bloco na figura 4 ou pode ter processos ou fluxos de dados que não são indicados por marcas de seta e similares na figura 4. Isto se aplica similarmente a outras figuras que ilustram as seções de processamento e similares no aparelho de codificação 100.

11 / 61

[0068] Da forma representada na figura 4, o aparelho de codificação 100 inclui uma seção de decomposição do trecho 111, uma seção de empacotamento 112, uma seção de compressão da informação de trecho auxiliar 113, uma seção de codificação de vídeo 114, uma outra seção de codificação de vídeo 115, uma seção de codificação de mapa O 116, e um multiplexador 117.

[0069] A seção de decomposição do trecho 111 realiza um processo em relação à decomposição de dados 3D. Por exemplo, a seção de decomposição do trecho 111 adquire os dados 3D (por exemplo, uma nuvem de pontos) inseridos no aparelho de codificação 100 e representativos de uma estrutura tridimensional (marca de seta 121). Adicionalmente, a seção de decomposição do trecho 111 decompõe os dados 3D adquiridos em diversos trechos e projeta os dados 3D por cada trecho em um plano bidimensional.

[0070] A seção de decomposição do trecho 111 supre os dados 3D projetados por cada trecho no plano bidimensional para a seção de empacotamento 112 (marca de seta 122). Adicionalmente, a seção de decomposição do trecho 111 supre a informação de trecho auxiliar, que é a informação em relação à decomposição, para a seção de compressão da informação de trecho auxiliar 113 (marca de seta 123).

[0071] A seção de empacotamento 112 realiza um processo em relação ao empacotamento de dados. Por exemplo, a seção de empacotamento 112 adquire os dados de um plano bidimensional no qual os dados 3D são projetados por cada trecho que é suprido a partir da seção de decomposição do trecho 111 (marca de seta 122). Adicionalmente, a seção de empacotamento 112 empacota diferentes camadas do plano bidimensional adquirido como quadros de vídeo diferentes uns dos outros. Por exemplo, a seção de empacotamento 112 realiza o empacotamento de cada uma da informação de posição (Geometria) indicativa de uma posição de cada ponto, da informação de atributo (Textura), tal como a informação de cor a ser

12 / 61 adicionada na informação de posição, e um mapa de ocupação (Mapa de ocupação) indicativo da presença ou da ausência de um ponto, como um quadro de vídeo.

[0072] A seção de empacotamento 112 supre os quadros de vídeo gerados para as seções de processamento em um estágio seguinte (marca de seta 124). Por exemplo, a seção de empacotamento 112 supre o quadro de vídeo gerado da informação de posição (Geometria) para a seção de codificação de vídeo 114. Adicionalmente, por exemplo, a seção de empacotamento 112 supre o quadro de vídeo gerado da informação de atributo (Textura) para a seção de codificação de vídeo 115. Além do mais, por exemplo, a seção de empacotamento 112 supre o quadro de vídeo gerado do mapa de ocupação para a seção de codificação de mapa O 116.

[0073] Adicionalmente, a seção de empacotamento 112 supre a informação de controle em relação ao empacotamento para o multiplexador 117 (marca de seta 125).

[0074] A seção de compressão da informação de trecho auxiliar 113 realiza um processo em relação à compressão da informação de trecho auxiliar. Por exemplo, a seção de compressão da informação de trecho auxiliar 113 adquire os dados que serão supridos a partir da seção de decomposição do trecho 111 (marca de seta 123). A seção de compressão da informação de trecho auxiliar 113 codifica (comprime) a informação de trecho auxiliar incluída nos dados adquiridos. A seção de compressão da informação de trecho auxiliar 113 supre os dados codificados resultantes da informação de trecho auxiliar para o multiplexador 117 (marca de seta 126).

[0075] A seção de codificação de vídeo 114 realiza um processo em relação à codificação de um quadro de vídeo da informação de posição (Geometria). Por exemplo, a seção de codificação de vídeo 114 adquire um quadro de vídeo da informação de posição (Geometria) a ser suprido a partir da seção de empacotamento 112 (marca de seta 124). Adicionalmente, a seção

13 / 61 de codificação de vídeo 114 codifica o quadro de vídeo adquirido da informação de posição (Geometria) por qualquer método de codificação para uma imagem bidimensional, tais como AVC ou HEVC, por exemplo. A seção de codificação de vídeo 114 supre os dados codificados obtidos pela codificação (os dados codificados do quadro de vídeo da informação de posição (Geometria)) para o multiplexador 117 (marca de seta 127).

[0076] A seção de codificação de vídeo 115 realiza um processo em relação à codificação de um quadro de vídeo da informação de atributo (Textura). Por exemplo, a seção de codificação de vídeo 115 adquire um quadro de vídeo da informação de atributo (Textura) a ser suprido a partir da seção de empacotamento 112 (marca de seta 124). Adicionalmente, a seção de codificação de vídeo 115 codifica o quadro de vídeo adquirido da informação de atributo (Textura) por qualquer método de codificação para uma imagem bidimensional, tais como AVC ou HEVC, por exemplo. A seção de codificação de vídeo 115 supre os dados codificados obtidos pela codificação (dados codificados do quadro de vídeo da informação de atributo (Textura)) para o multiplexador 117 (marca de seta 127).

[0077] A seção de codificação de mapa O 116 realiza um processo em relação à codificação de um quadro de vídeo de um mapa de ocupação. Por exemplo, a seção de codificação de mapa O 116 adquire um quadro de vídeo de um mapa de ocupação a ser suprido a partir da seção de empacotamento 112 (marca de seta 124). Adicionalmente, a seção de codificação de mapa O 116 codifica o quadro de vídeo adquirido do mapa de ocupação por qualquer método de codificação para uma imagem bidimensional, tais como AVC ou HEVC, por exemplo. A seção de codificação de mapa O 116 supre os dados codificados obtidos pela codificação (dados codificados do quadro de vídeo do mapa de ocupação) para o multiplexador 117 (marca de seta 129).

[0078] O multiplexador 117 realiza um processo em relação à multiplexação. Por exemplo, o multiplexador 117 adquire os dados

14 / 61 codificados da informação de trecho auxiliar que serão supridos a partir da seção de compressão da informação de trecho auxiliar 113 (marca de seta 126). Adicionalmente, por exemplo, o multiplexador 117 adquire a informação de controle em relação ao empacotamento a ser suprida a partir da seção de empacotamento 112 (marca de seta 125). Adicionalmente, por exemplo, o multiplexador 117 adquire os dados codificados de um quadro de vídeo da informação de posição (Geometria) que serão supridos a partir da seção de codificação de vídeo 114 (marca de seta 127). Adicionalmente, por exemplo, o multiplexador 117 adquire os dados codificados de um quadro de vídeo da informação de atributo (Textura) que serão supridos a partir da seção de codificação de vídeo 115 (marca de seta 128). Adicionalmente, por exemplo, o multiplexador 117 adquire os dados codificados de um quadro de vídeo de um mapa de ocupação que serão supridos a partir da seção de codificação de mapa O 116.

[0079] O multiplexador 117 multiplexa tais peças de informação adquiridas da forma supramencionada para gerar um fluxo contínuo de bits. O multiplexador 117 transmite o fluxo contínuo de bits gerado para o exterior do aparelho de codificação 100 (marca de seta 130). <Seção de decomposição do trecho>

[0080] A figura 5 é um diagrama de blocos que representa um exemplo dos componentes principais da seção de decomposição do trecho

111. Da forma representada na figura 5, a seção de decomposição do trecho 111 neste caso inclui uma seção de estimativa da direção normal 151, uma seção de definição inicial da segmentação 152, uma seção de atualização da segmentação 153, uma seção de projeção bidimensional 154, e uma seção de análise da distribuição de pixel 155.

[0081] A seção de estimativa da direção normal 151 realiza um processo em relação à estimativa de uma direção normal em relação à superfície de dados 3D. Por exemplo, a seção de estimativa da direção normal

15 / 61 151 adquire os dados 3D que serão inseridos na mesma. Adicionalmente, a seção de estimativa da direção normal 151 estima uma direção normal em relação à superfície de um objeto representado pelos dados 3D adquiridos. Por exemplo, a seção de estimativa da direção normal 151 constrói uma árvore kd, busca a proximidade, e calcula um plano tangente aproximado ideal para estimar uma direção normal. A seção de estimativa da direção normal 151 supre um resultado da estimativa da direção normal para a seção de definição inicial da segmentação 152 juntamente com outras peças de dados.

[0082] A seção de definição inicial da segmentação 152 realiza um processo em relação à definição inicial para a segmentação. Por exemplo, a seção de definição inicial da segmentação 152 adquire os dados que serão supridos a partir da seção de estimativa da direção normal 151. Adicionalmente, por exemplo, a seção de definição inicial da segmentação 152 classifica, com base nos componentes em seis eixos geométricos de uma direção normal estimada pela seção de estimativa da direção normal 151, uma face dos dados 3D correspondentes à direção normal. A seção de definição inicial da segmentação 152 supre um resultado da classificação para a seção de atualização da segmentação 153 juntamente com outras peças de dados.

[0083] A seção de atualização da segmentação 153 realiza um processo em relação à atualização da segmentação. Por exemplo, a seção de atualização da segmentação 153 adquire os dados que serão supridos a partir da seção de definição inicial da segmentação 152. Então, a seção de atualização da segmentação 153 coloca juntas regiões excessivamente pequenas na segmentação da definição inicial definida pela seção de definição inicial da segmentação 152 para formar uma região suficientemente grande. A seção de atualização da segmentação 153 supre a informação em relação à segmentação atualizada para a seção de projeção bidimensional 154 juntamente com outras peças de informação.

[0084] A seção de projeção bidimensional 154 realiza um processo

16 / 61 em relação à projeção bidimensional dos dados 3D. Por exemplo, a seção de projeção bidimensional 154 adquire os dados que serão supridos a partir da seção de atualização da segmentação 153. Adicionalmente, a seção de projeção bidimensional 154 usa a seção de análise da distribuição de pixel 155 para gerar um mapa de ocupação de dados 3D incluídos nos dados adquiridos e projetar os dados 3D ou os dados de ocupação por cada região em um plano bidimensional. A seção de projeção bidimensional 154 supre os dados 3D projetados no plano bidimensional para a seção de empacotamento 112 juntamente com outras peças de dados.

[0085] A seção de análise da distribuição de pixel 155 realiza um processo em relação à análise de uma distribuição de pixel dos dados 3D, que é um alvo de processamento, pela seção de projeção bidimensional 154. <Aparelho de decodificação>

[0086] A figura 6 é um diagrama de blocos que representa um exemplo de uma configuração de um aparelho de decodificação que é uma forma de um aparelho de processamento de imagem no qual a presente tecnologia é aplicada. Um aparelho de decodificação 200 representado na figura 6 é um aparelho pelo qual os dados codificados formados pela projeção dos dados 3D, tal como uma nuvem de pontos, em um plano bidimensional e codificação de tais dados 3D projetados são decodificados por um método de decodificação para uma imagem bidimensional e projetados em um espaço tridimensional.

[0087] Por exemplo, o aparelho de decodificação 200 implementa as tecnologias descritas em NPL 1 até NPL 6 e realiza a decodificação dos dados codificados dos dados 3D por um método em conformidade com o padrão descrito em qualquer uma das peças de NPL.

[0088] Percebe-se que a figura 6 representa principais seções de processamento, fluxos de dados e similares e nem todas as seções de processamento, fluxos de dados e similares são representados na figura 6. Em

17 / 61 resumo, o aparelho de decodificação 200 pode incluir uma seção de processamento que não é representada como um bloco na figura 6 ou pode ter processos ou fluxos de dados que não são indicados por marcas de seta e similares na figura 6. Isto se aplica similarmente às outras figuras que ilustram as seções de processamento e similares no aparelho de decodificação

200.

[0089] Da forma representada na figura 6, o aparelho de decodificação 200 inclui um demultiplexador 211, uma seção de decodificação da informação de trecho auxiliar 212, uma seção de decodificação de vídeo 213, uma outra seção de decodificação de vídeo 214, uma seção de decodificação do mapa O 215, uma seção de desempacotamento 216, e uma seção de reconstrução 3D 217.

[0090] O demultiplexador 211 realiza um processo em relação à demultiplexação dos dados. Por exemplo, o demultiplexador 211 adquire um fluxo contínuo de bits inserido no aparelho de decodificação 200. Este fluxo contínuo de bits é suprido, por exemplo, a partir do aparelho de codificação

100. O demultiplexador 211 demultiplexa o fluxo contínuo de bits, extrai os dados codificados da informação de trecho auxiliar, e supre os dados codificados extraídos para a seção de decodificação da informação de trecho auxiliar 212. Adicionalmente, o demultiplexador 211 extrai os dados codificados de um quadro de vídeo da informação de posição (Geometria) a partir de um fluxo contínuo de bits pela demultiplexação e supre os dados codificados extraídos para a seção de decodificação de vídeo 213. Adicionalmente, o demultiplexador 211 extrai os dados codificados de um quadro de vídeo da informação de atributo (Textura) a partir do fluxo contínuo de bits pela demultiplexação e supre os dados codificados extraídos para a seção de decodificação de vídeo 214. Adicionalmente, o demultiplexador 211 extrai os dados codificados de um quadro de vídeo de um mapa de ocupação a partir do fluxo contínuo de bits pela demultiplexação

18 / 61 e supre os dados codificados extraídos para a seção de decodificação do mapa O 215.

[0091] A seção de decodificação da informação de trecho auxiliar 212 realiza um processo em relação à decodificação dos dados codificados da informação de trecho auxiliar. Por exemplo, a seção de decodificação da informação de trecho auxiliar 212 adquire os dados codificados da informação de trecho auxiliar supridos a partir do demultiplexador 211. Adicionalmente, a seção de decodificação da informação de trecho auxiliar 212 decodifica os dados codificados da informação de trecho auxiliar incluída nos dados adquiridos. A seção de decodificação da informação de trecho auxiliar 212 supre a informação de trecho auxiliar obtida pela decodificação para a seção de reconstrução 3D 217.

[0092] A seção de decodificação de vídeo 213 realiza um processo em relação à decodificação dos dados codificados de um quadro de vídeo da informação de posição (Geometria). Por exemplo, a seção de decodificação de vídeo 213 adquire os dados codificados de um quadro de vídeo da informação de posição (Geometria) suprida a partir do demultiplexador 211. Adicionalmente, por exemplo, a seção de decodificação de vídeo 213 decodifica os dados adquiridos codificados para obter um quadro de vídeo da informação de posição (Geometria). A seção de decodificação de vídeo 213 supre o quadro de vídeo da informação de posição (Geometria) para a seção de desempacotamento 216.

[0093] A seção de decodificação de vídeo 214 realiza um processo em relação à decodificação dos dados codificados de um quadro de vídeo da informação de atributo (Textura). Por exemplo, a seção de decodificação de vídeo 214 adquire os dados codificados de um quadro de vídeo da informação de atributo (Textura) suprida a partir do demultiplexador 211. Adicionalmente, por exemplo, a seção de decodificação de vídeo 214 decodifica os dados adquiridos codificados para obter um quadro de vídeo da

19 / 61 informação de atributo (Textura). A seção de decodificação de vídeo 214 supre o quadro de vídeo da informação de atributo (Textura) para a seção de desempacotamento 216.

[0094] A seção de decodificação do mapa O 215 realiza um processo em relação à decodificação dos dados codificados de um quadro de vídeo de um mapa de ocupação. Por exemplo, a seção de decodificação do mapa O 215 adquire os dados codificados de um quadro de vídeo de um mapa de ocupação suprido a partir do demultiplexador 211. Adicionalmente, por exemplo, a seção de decodificação do mapa O 215 decodifica os dados adquiridos codificados para obter um quadro de vídeo do mapa de ocupação. A seção de decodificação do mapa O 215 supre o quadro de vídeo do mapa de ocupação para a seção de desempacotamento 216.

[0095] A seção de desempacotamento 216 realiza um processo em relação ao desempacotamento. Por exemplo, a seção de desempacotamento 216 adquire um quadro de vídeo da informação de posição (Geometria) a partir da seção de decodificação de vídeo 213, adquire um quadro de vídeo da informação de atributo (Textura) a partir da seção de decodificação de vídeo 214, e adquire um quadro de vídeo de um mapa de ocupação a partir da seção de decodificação do mapa O 215. A seção de desempacotamento 216 desempacota os quadros de vídeo. A seção de desempacotamento 216 supre os dados da informação de posição (Geometria), os dados da informação de atributo (Textura), e os dados do mapa de ocupação que são obtidos pelo desempacotamento para a seção de reconstrução 3D 217.

[0096] A seção de reconstrução 3D 217 realiza um processo em relação à reconstrução de dados 3D. Por exemplo, a seção de reconstrução 3D 217 reconstrói os dados 3D com base na informação de trecho auxiliar suprida a partir da seção de decodificação da informação de trecho auxiliar 212 e os dados da informação de posição (Geometria), os dados da informação de atributo (Textura), os dados de um mapa de ocupação que são supridos a

20 / 61 partir da seção de desempacotamento 216. A seção de reconstrução 3D 217 transmite os dados 3D obtidos por tais processos, da forma supradescrita, para o exterior do aparelho de decodificação 200.

[0097] Estes dados 3D são supridos, por exemplo, para uma seção de exibição de maneira tal que uma imagem dos mesmos seja exibida, são gravados em uma mídia de gravação, ou são supridos para um aparelho diferente através da comunicação. <Seção de reconstrução 3D>

[0098] A figura 7 é um diagrama de blocos que representa um exemplo dos componentes principais da seção de reconstrução 3D 217 da figura 6. Da forma representada na figura 7, a seção de reconstrução 3D 217 inclui uma seção de projeção tridimensional 251, uma seção de análise da distribuição de pixel 252, uma seção de atualização da segmentação inversa 253, uma seção de definição inicial da segmentação inversa 254, e uma seção de estimativa da direção normal inversa 255.

[0099] A seção de projeção tridimensional 251 realiza a projeção dos dados 3D projetados em um plano bidimensional por cada região em um espaço tridimensional. A seção de análise da distribuição de pixel 252 realiza um processo tal como análise de uma distribuição de pixel mediante a projeção dos dados 3D em um espaço tridimensional pela seção de projeção tridimensional 251.

[00100] A seção de atualização da segmentação inversa 253 realiza um processo inverso àquele da seção de atualização da segmentação 153. A seção de definição inicial da segmentação inversa 254 realiza um processo inverso àquele da seção de definição inicial da segmentação 152. A seção de estimativa da direção normal inversa 255 realiza um processo inverso àquele da seção de estimativa da direção normal 151. <2. Primeira modalidade> <Variação do número de camada do plano bidimensional no

21 / 61 qual os dados 3D são projetados>

[00101] No método convencional, os dados 3D são projetados em um plano bidimensional de duas camadas (camada 0 e camada 1), como em um exemplo representado na figura 8.

[00102] Na camada 0 (Camada 0), as peças de dados dos pontos na superfície como visualizados a partir de um plano de projeção de dados 3D são projetadas. Na camada 1 (Camada 1), os dados de um ponto espaçado ao máximo a partir da camada 0 em um valor limite predeterminado (Th Padrão = 4 Voxels) são projetados. As peças de dados dos pontos espaçados pelo valor limite predeterminado Th ou mais são soltos (Solto). Percebe-se que, na camada 1, um valor da diferença na distância a partir da camada 0 é um valor de pixel.

[00103] Já que o algoritmo representa uma superfície de objeto apenas por duas camadas fixas desta maneira, a informação dos outros pontos é perdida (não pode ser reproduzida). Desta maneira, os pontos que não podem ser projetados em um plano bidimensional aparecem, e há uma possibilidade de que a qualidade da figura dos dados possa ser degradada pela codificação que envolve a projeção dos dados em um plano bidimensional.

[00104] Assim, o número de camada do plano bidimensional no qual os dados 3D devem ser projetados pode ser feito variável. Por exemplo, as peças de dados para cada uma de todas as posições incluídas nos dados 3D representativos de uma estrutura tridimensional são projetadas em um plano bidimensional de diversas camadas. Por exemplo, o aparelho de processamento de informação é configurado de maneira tal que o mesmo inclua uma seção de projeção bidimensional que projeta peças de dados para cada uma de todas as posições incluídas nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

[00105] Por exemplo, no caso da figura 9, um plano bidimensional de uma camada 0 (Camada 0) até uma camada 3 (Camada 3) (um plano

22 / 61 bidimensional de camadas com mais do que duas camadas) é definido, e os dados 3D são projetados nas camadas. Isto torna possível reproduzir uma nuvem de pontos que tem uma espessura na superfície de objeto com um grau de precisão mais alto. Em outras palavras, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00106] Por exemplo, a seção de projeção bidimensional 154 pode ser configurada de maneira tal que a mesma projete peças de dados para cada posição sobrepondo na posição umas com as outras na direção da profundidade como visualizada a partir do plano de projeção que são incluídas nos dados 3D em camadas diferentes umas das outras do plano bidimensional das diversas camadas.

[00107] No caso do exemplo da figura 9, as peças de dados sobrepostas na direção da profundidade umas com as outras são projetadas nas camadas diferentes umas das outras entre a camada 0 até a camada 3. Isto torna possível projetar todas as peças de dados para cada posição sobrepondo na posição umas com as outras na direção da profundidade como visualizada a partir do plano de projeção que são incluídas nos dados 3D no plano bidimensional. Em outras palavras, a perda de informação pode ser suprimida. Desta maneira, a degradação da qualidade da figura devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00108] Adicionalmente, por exemplo, a seção de projeção bidimensional 154 pode gerar camadas em um número igual a um máximo número de peças de dados para cada posição sobrepondo na posição umas com as outras na direção da profundidade como visualizada a partir do plano de projeção que são incluídas nos dados 3D em relação ao plano bidimensional.

[00109] No caso do exemplo da figura 9, o máximo número de peças de dados que sobrepõem umas com as outras na direção da profundidade e que são incluídas nos dados 3D na região aplicável (Caixa de Delimitação de

23 / 61 Local) é quatro. Desta maneira, os dados 3D são projetados em um plano bidimensional de quatro camadas (camada 0 a camada 3).

[00110] Isto torna possível projetar todas as peças de dados para cada posição dos dados 3D que serão projetados no plano bidimensional. Desta maneira, já que a perda da informação pode ser suprimida, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00111] Percebe-se que, neste caso, a informação indicativa do número de camada do plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional 154 pode ser sinalizada por um fluxo contínuo de bits. Em particular, o multiplexador 117 que funciona como uma unidade de geração do fluxo contínuo de bits gera um fluxo contínuo de bits que inclui a informação indicativa do número de camada do plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional 154 e os dados codificados obtidos pela codificação do plano bidimensional pela seção de codificação de vídeo 114 ou similares.

[00112] Isto torna possível que o lado da decodificação projete facilmente os dados 3D projetados em todas as camadas do plano bidimensional em um espaço tridimensional pela referência à informação indicativa do número de camada do plano bidimensional. <Fluxo do processo de codificação>

[00113] Um exemplo de um fluxo de um processo de codificação executado pelo aparelho de codificação 100 é descrito em relação a um fluxograma da figura 10.

[00114] Depois que o processo de codificação for iniciado, a seção de decomposição do trecho 111 do aparelho de codificação 100 decompõe os dados 3D em trechos e projeta as peças de dados dos trechos em um plano bidimensional na etapa S101. Na etapa S102, a seção de compressão da informação de trecho auxiliar 113 comprime a informação de trecho auxiliar obtida pelo processo na etapa S101.

24 / 61

[00115] Na etapa S103, a seção de empacotamento 112 realiza o empacotamento dos dados 3D projetados por cada trecho no plano bidimensional pela seção de decomposição do trecho 111 em quadros de vídeo. Na etapa S104, a seção de codificação de vídeo 114 codifica os quadros de vídeo de geometria que são os quadros de vídeo da informação de posição obtida pelo processo na etapa S103, por um método de codificação para uma imagem bidimensional.

[00116] Na etapa S105, a seção de codificação de vídeo 114 codifica um quadro de vídeo em cores, que é um quadro de vídeo da informação de atributo obtida pelo processo na etapa S103, por um método de codificação para uma imagem bidimensional. Na etapa S106, a seção de codificação de vídeo 114 codifica um mapa de ocupação obtido pelo processo na etapa S103, por um método de codificação para uma imagem bidimensional.

[00117] Na etapa S107, o multiplexador 117 multiplexa os vários tipos de informação gerada de uma maneira como esta, da forma supradescrita, para gerar um fluxo contínuo de bits que inclui a informação.

[00118] Na etapa S108, o multiplexador 117 transmite o fluxo contínuo de bits gerado pelo processo na etapa S107 para o exterior do aparelho de codificação 100.

[00119] Quando o processo na etapa S108 terminar, o processo de codificação termina. <Fluxo do processo de decomposição do trecho>

[00120] Agora, um exemplo de um fluxo do processo de decomposição do trecho executado na etapa S101 da figura 10 é descrito em relação a um fluxograma da figura 11.

[00121] Depois que o processo de decomposição do trecho for iniciado, a seção de estimativa da direção normal 151 estima uma direção normal na etapa S121. Então, na etapa S122, a seção de definição inicial da segmentação 152 realiza a definição inicial para a segmentação. Na etapa

25 / 61 S123, a seção de atualização da segmentação 153 atualiza a segmentação no estado inicial definido na etapa S122 conforme a ocasião demandar. Na etapa S124, a seção de projeção bidimensional 154 projeta os dados 3D em um plano bidimensional.

[00122] Quando o processo na etapa S124 terminar, o processo de decomposição do trecho termina, e o processamento retorna para a figura 10. <Fluxo do processo de projeção bidimensional>

[00123] Agora, um exemplo de um fluxo do processo de projeção bidimensional executado na etapa S124 da figura 11 é descrito em relação a um fluxograma da figura 12.

[00124] Depois que o processo de projeção bidimensional for iniciado, a seção de projeção bidimensional 154 realiza a extração de região pela segmentação na etapa S141. Na etapa S142, a seção de projeção bidimensional 154 inicializa o número de camada (Camada) i em i = 0.

[00125] Na etapa S143, a seção de análise da distribuição de pixel 155 determina se um pixel não projetado (peças de dados para cada posição dos dados 3D que ainda não foram projetadas no plano bidimensional) existe ou não. No caso em que for determinado que um pixel não projetado existe, o processamento avança para a etapa S144.

[00126] Na etapa S144, a seção de projeção bidimensional 154 projeta a região na camada i (Camada i) do alvo de processamento. Na etapa S145, a seção de projeção bidimensional 154 incrementa a variável i (i++). Depois que o processo na etapa S145 terminar, o processamento retorna para a etapa S143 para repetir os processos começando com a etapa S143.

[00127] No caso em que for determinado, na etapa S143, que um pixel não projetado não existe (todos os pixels na região foram projetados), o processamento avança para a etapa S146.

[00128] Na etapa S146, a seção de projeção bidimensional 154 supre a informação indicativa do número de camada i para ser codificada.

26 / 61 Adicionalmente, na etapa S147, a seção de projeção bidimensional 154 faz com que uma imagem da geometria para o correspondente quadro i seja codificada. Em particular, a seção de projeção bidimensional 154 supre um plano bidimensional no qual os dados 3D devem ser projetados na seção de empacotamento 112, de maneira tal que as camadas do plano bidimensional sejam empacotadas em quadros diferentes uns dos outros.

[00129] Quando o processo na etapa S147 terminar, o processo de projeção bidimensional termina, e o processamento retorna para a figura 11.

[00130] Pela execução dos processos de uma maneira como esta, como exposto, uma nuvem de pontos que tem uma espessura na superfície de objeto pode ser reproduzida com um grau de precisão mais alto. Em resumo, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida. <Reconstrução dos dados 3D projetados em plano bidimensional que tem número de camada variável>

[00131] No lado da decodificação, pelo uso da informação indicativa de um número de camada de um plano bidimensional suprido a partir do lado da codificação, a reconstrução dos dados 3D projetados em um plano bidimensional cujo número de camada é variável, da forma supradescrita, pode ser implementada.

[00132] Em particular, todas as peças de dados para cada posição dos dados 3D projetadas em um plano bidimensional que tem um número de camada indicado pela informação do número de camada são projetadas em um espaço tridimensional. Por exemplo, o aparelho de processamento de imagem é provido com uma seção de projeção tridimensional que projeta todas as peças de dados para cada posição dos dados 3D projetadas em um plano bidimensional que tem um número de camada indicado pela informação do número de camada em um espaço tridimensional.

[00133] Isto torna possível implementar a reconstrução dos dados 3D

27 / 61 projetados em um plano bidimensional que tem um número de camada variável. Em particular, uma nuvem de pontos que tem uma espessura na superfície de objeto pode ser reproduzida com um grau de precisão mais alto. Em outras palavras, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida. <Fluxo do processo de decodificação>

[00134] Um exemplo de um fluxo de um processo de decodificação executado pelo aparelho de decodificação 200 é descrito em relação a um fluxograma da figura 13.

[00135] Depois que o processo de decodificação for iniciado, o demultiplexador 211 do aparelho de decodificação 200 demultiplexa um fluxo contínuo de bits na etapa S201.

[00136] Na etapa S202, a seção de decodificação da informação de trecho auxiliar 212 decodifica a informação de trecho auxiliar extraída a partir do fluxo contínuo de bits pelo processo na etapa S201. Na etapa S203, a seção de decodificação de vídeo 213 decodifica os dados codificados de um quadro de vídeo de geometria (quadro de vídeo da informação de posição) extraído a partir do fluxo contínuo de bits pelo processo na etapa S201.

[00137] Na etapa S204, a seção de decodificação de vídeo 214 decodifica os dados codificados de um quadro de vídeo em cores (quadro de vídeo da informação de atributo) extraído a partir do fluxo contínuo de bits pelo processo na etapa S201. Na etapa S205, a seção de decodificação do mapa O 215 decodifica os dados codificados de um mapa de ocupação extraído a partir do fluxo contínuo de bits pelo processo na etapa S201.

[00138] Na etapa S206, a seção de desempacotamento 216 realiza o desempacotamento do quadro de vídeo de geometria, do quadro de vídeo de cor, e o mapa de ocupação decodificado na etapa S203 até a etapa S205.

[00139] Na etapa S207, a seção de reconstrução 3D 217 reconstrói os dados 3D, por exemplo, de uma nuvem de pontos com base na informação de

28 / 61 trecho auxiliar obtida na etapa S202 e os vários tipos de informação obtidos na etapa S206.

[00140] Quando o processo na etapa S207 terminar, o processo de decodificação termina. <Fluxo do processo de reconstrução da nuvem de pontos>

[00141] Agora, um exemplo de um fluxo do processo de reconstrução da nuvem de pontos executado na etapa S207 da figura 13 é descrito em relação a um fluxograma da figura 14.

[00142] Depois que o processo de reconstrução da nuvem de pontos for iniciado, a unidade de projeção tridimensional 251 projeta uma imagem bidimensional em um espaço tridimensional na etapa S221.

[00143] Na etapa S222, a seção de atualização da segmentação inversa 253 atualiza a segmentação em uma direção reversa e divide as segmentações colocadas juntas.

[00144] Na etapa S223, a seção de definição inicial da segmentação inversa 254 realiza um processo inverso à definição inicial da segmentação e coloca juntos os pontos classificados.

[00145] Na etapa S224, a seção de estimativa da direção normal inversa 255 realiza um processo inverso à estimativa da direção normal para reconstruir uma nuvem de pontos.

[00146] Quando o processo na etapa S224 terminar, o processo de reconstrução da nuvem de pontos termina, e o processamento retorna para a figura 13. <Fluxo do processo de projeção tridimensional>

[00147] Agora, um exemplo de um fluxo do processo de projeção tridimensional executado na etapa S221 da figura 14 é descrito em relação a um fluxograma da figura 15.

[00148] Depois que o processo de projeção tridimensional for iniciado, a seção de projeção tridimensional 251 faz com que a informação indicativa

29 / 61 do número de camada i seja decodificada na etapa S241.

[00149] Na etapa S242, a seção de projeção tridimensional 251 faz com que uma imagem da geometria para os correspondentes quadros i seja decodificada.

[00150] Na etapa S243, a seção de análise da distribuição de pixel 252 inicializa a variável k em k = 0.

[00151] Na etapa S244, a seção de análise da distribuição de pixel 252 determina se ou não a variável k é k < i. No caso em que for determinado que k < i se mantém, o processamento avança para a etapa S245.

[00152] Na etapa S245, a seção de projeção tridimensional 251 projeta os dados 3D da camada k (Camada k) em um espaço tridimensional.

[00153] Na etapa S246, a seção de análise da distribuição de pixel 252 incrementa a variável k (k++).

[00154] Depois que o processo na etapa S246 terminar, o processamento retorna para a etapa S244.

[00155] Por outro lado, no caso em que for decidido, na etapa S244, que a variável k não é k < i, o processo de projeção tridimensional termina, e o processamento retorna para a figura 14.

[00156] Pela execução dos processos de uma maneira como esta, como exposto, a reconstrução de dados 3D projetados em um plano bidimensional cujo número de camada é variável pode ser implementada. Em resumo, uma nuvem de pontos que tem uma espessura na superfície de objeto pode ser reproduzida com um grau de precisão mais alto. Em outras palavras, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida. <3. Segunda modalidade> <Sinal de valor indicativo de "pixel ausente">

[00157] Se dados 3D esparsos (Esparso) forem projetados em uma imagem bidimensional, então, um pixel cujos dados 3D não são projetados na

30 / 61 imagem bidimensional, isto é, um pixel para o qual nenhum valor de pixel é definido (a seguir, também referido como um pixel ausente), aparece algumas vezes.

[00158] No método convencional, no caso em que os dados 3D forem esparsos (Esparso), um valor de pixel é complementado para um “pixel ausente" como este, como exposto, por exemplo, da forma representada na figura 16. Por exemplo, no caso da figura 16, para um "pixel ausente" da camada 0 (Camada 0), um valor de pixel é copiado a partir de um pixel à esquerda do "pixel ausente" (complementação de pixel é realizada). O motivo pelo qual um processo de complementação como este recém descrito é realizado é que o método de codificação para uma imagem bidimensional (por exemplo, AVC ou HEVC) não tem um conceito em que os dados não existem (em branco).

[00159] Entretanto, se um processo de complementação como este for realizado, então, isto adiciona um ponto que não existe originalmente nos dados 3D. Portanto, há uma possibilidade de que os dados 3D possam ser deteriorados. Em outras palavras, há uma possibilidade de que a qualidade possa ser degradada devido à projeção bidimensional dos dados 3D.

[00160] Percebe-se que, no caso em que um processo de complementação como este, da forma supradescrita, não for realizado, é necessário definir regiões de maneira tal que um "pixel ausente" não apareça em um plano bidimensional no qual os dados 3D devem ser projetados. Portanto, a projeção em uma unidade de uma região muito pequena (Ponto) é exigida, e há uma possibilidade de a quantidade de processamento aumentar ou a eficiência de codificação diminuir.

[00161] Portanto, as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional são projetadas em um plano bidimensional, e um valor predeterminado que indica que dados para cada posição não existem é definido para uma posição do plano

31 / 61 bidimensional na qual os dados para cada posição não existem. Por exemplo, o aparelho de processamento de imagem é provido com uma seção de projeção bidimensional que projeta peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional e define, para uma posição do plano bidimensional na qual os dados para cada posição não existem, um valor predeterminado que indica que dados para cada posição não existem.

[00162] Por exemplo, como um valor de pixel indicativo de um "pixel ausente" em um plano bidimensional no qual os dados 3D devem ser projetados, um valor prescrito X é usado, da forma representada na figura 17. Este valor de X pode ser, por exemplo, um dado valor fixo determinado em antecipação. Por exemplo, X pode ser X = 255 (limite superior de 8 bits).

[00163] Neste caso, é necessário sinalizar o valor de X em um fluxo contínuo de bits (é necessário notificar o lado da decodificação do mesmo).

[00164] Adicionalmente, por exemplo, como o valor de X, qualquer valor que satisfaz X > D pode ser usado. Aqui, D indica um valor máximo da profundidade da caixa delimitadora relevante. Um valor igual a ou maior do que o valor máximo da profundidade da caixa delimitadora não pode ser definido em nenhum valor de pixel de um plano bidimensional. Desta maneira, um valor não usado como este pode ser usado como X.

[00165] Neste caso, o lado da decodificação pode determinar a partir da informação em relação ao tamanho da caixa delimitadora se um valor de pixel definido no plano bidimensional é um valor não usado ou não. Desta maneira, não há necessidade de sinalizar este valor de X em um fluxo contínuo de bits (em resumo, não há necessidade de notificar o lado da decodificação deste valor de X). Entretanto, o valor de X pode ser naturalmente notificado para o lado da decodificação.

[00166] Isto torna possível que o aparelho de codificação 100 suprima a deterioração dos dados 3D em virtude de o aparelho de codificação 100

32 / 61 poder representar um "pixel ausente" sem a necessidade de complementação dos dados. Em resumo, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00167] Adicionalmente, já que isto torna possível que o aparelho de codificação 100 diminua o número de "pixels que não podem ser codificados" no plano bidimensional, a região pode ser definida maior em comparação com um caso alternativo em que um processo de complementação simplesmente não é realizado. Desta maneira, a projeção em uma unidade de uma região muito pequena (Ponto) torna-se desnecessária, e o aumento da quantidade de processamento e a diminuição da eficiência de codificação podem ser suprimidos. <Fluxo do processo de projeção bidimensional>

[00168] Também neste caso, o processo de codificação e o processo de decomposição do trecho são realizados similarmente ao caso descrito anteriormente em conexão com a primeira modalidade. Desta maneira, a descrição dos mesmos é omitida.

[00169] Um exemplo de um fluxo do processo de projeção bidimensional neste caso executado na etapa S214 da figura 11 é descrito em relação a um fluxograma da figura 18.

[00170] Depois que o processo de projeção bidimensional for iniciado, a seção de projeção bidimensional 154 realiza a extração de região pela segmentação na etapa S301. Na etapa S302, a seção de análise da distribuição de pixel 155 determina se a região inclui ou não ou não uma nuvem de pontos esparsa. No caso em que for determinado que a região inclui uma nuvem de pontos esparsa, o processamento avança para a etapa S303.

[00171] Na etapa S303, a seção de projeção bidimensional 154 sinaliza a informação que define um "pixel ausente" em relação à região. Em outras palavras, a seção de projeção bidimensional 154 define X descrito anteriormente e usa este X para representar um "ponto ausente" projetado no

33 / 61 plano bidimensional. Depois que o processo na etapa S303 terminar, o processamento avança para a etapa S305.

[00172] Por outro lado, no caso em que for determinado, na etapa S302, que a região não inclui uma nuvem de pontos esparsa, o processamento avança para a etapa S304.

[00173] Na etapa S304, a seção de projeção bidimensional 154 projeta a região nas camadas do plano bidimensional. Depois que o processo na etapa S304 terminar, o processamento avança para a etapa S305.

[00174] Na etapa S305, a seção de projeção bidimensional 154 faz com que uma imagem da geometria da região seja codificada.

[00175] Depois que o processo na etapa S305 terminar, o processo de projeção bidimensional termina, e o processamento retorna para a figura 11.

[00176] Pela realização de um processo de projeção bidimensional de uma maneira como esta, como exposto, o aparelho de codificação 100 pode representar um "pixel ausente" sem a necessidade de complementação de dados. Desta maneira, a deterioração de dados 3D pode ser suprimida. Em outras palavras, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00177] Adicionalmente, já que isto torna possível que o aparelho de codificação 100 diminua o número de "pixels que não podem ser codificados" no plano bidimensional, a região pode ser definida maior em comparação com um caso alternativo em que um processo de complementação simplesmente não é realizado. Desta maneira, a projeção em uma unidade de uma região muito pequena (Ponto) torna-se desnecessária, e o aumento da quantidade de processamento e a diminuição da eficiência de codificação podem ser suprimidos. <Uso do valor indicativo do "pixel ausente" sinalizado>

[00178] Quando o lado da decodificação projetar os dados 3D projetados em um plano bidimensional em um espaço tridimensional, o

34 / 61 mesmo detecta um valor de pixel indicativo de um "pixel ausente" (X supradescrito) no plano bidimensional sinalizado de uma maneira como esta, da forma supradescrita, e deleta o mesmo (para não ser projetado).

[00179] Em particular, os dados diferentes dos dados do valor predeterminado que indica que dados para cada posição não existem, entre as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional, são projetados em um espaço tridimensional. Por exemplo, o aparelho de processamento de imagem é provido com uma seção de projeção tridimensional que projeta, em um espaço tridimensional, os dados diferentes dos dados do valor predeterminado que indica que dados para cada posição não existem, entre as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional, são projetados.

[00180] Já que isto torna possível representar um "pixel ausente" sem a necessidade de complementação de dados, a deterioração dos dados 3D pode ser suprimida. Em resumo, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00181] Adicionalmente, já que isto torna possível diminuir o número de "pixels que não podem ser codificados" no plano bidimensional, a região pode ser definida maior em comparação com um caso alternativo em que um processo de complementação simplesmente não é realizado. Desta maneira, a projeção em uma unidade de uma região muito pequena (Ponto) torna-se desnecessária, e o aumento da quantidade de processamento e a diminuição da eficiência de codificação podem ser suprimidos. <Fluxo do processo de projeção tridimensional>

[00182] Também neste caso, o processo de decodificação e o processo de reconstrução da nuvem de pontos são realizados similarmente ao caso descrito anteriormente em conexão com a primeira modalidade. Desta

35 / 61 maneira, a descrição dos mesmos é omitida.

[00183] Um exemplo de um fluxo do processo de projeção tridimensional neste caso executado na etapa S221 da figura 14 é descrito em relação a um fluxograma da figura 19.

[00184] Depois que o processo de projeção tridimensional for iniciado, a seção de projeção tridimensional 251 decodifica uma imagem da geometria de uma região de um alvo de processamento na etapa S321.

[00185] Na etapa S322, a seção de análise da distribuição de pixel 252 determina se a informação que define um "pixel ausente" (valor de pixel indicativo de um "pixel ausente") existe ou não na imagem da geometria. No caso em que for determinado que tal informação existe, o processamento avança para a etapa S323.

[00186] Na etapa S323, a seção de projeção tridimensional 251 deleta os pixels do valor de pixel indicativo do "pixel ausente" detectados (define os mesmos para não ser projetados no espaço tridimensional). Depois que o processo na etapa S323 terminar, o processamento avança para a etapa S324.

[00187] Por outro lado, no caso em que for determinado na etapa S322 que um valor de pixel indicativo de um "pixel ausente" não existe, o processo na etapa S323 é omitido, e o processamento avança para a etapa S324.

[00188] Em resumo, a detecção de um valor de pixel indicativo de um "pixel ausente" é realizada para a imagem da geometria da região do alvo de processamento e, se um valor de pixel como este for detectado, então, o pixel é deletado.

[00189] Na etapa S324, a seção de projeção tridimensional 251 projeta a imagem da geometria da região do alvo de processamento no espaço tridimensional.

[00190] Depois que o processo na etapa S324 terminar, o processo de projeção tridimensional termina, e o processamento retorna para a figura 14.

[00191] Pela execução do processo de projeção tridimensional de uma

36 / 61 maneira como esta, como exposto, o aparelho de decodificação 200 pode representar um "pixel ausente" sem a necessidade de complementação de dados e, portanto, a deterioração de dados 3D pode ser suprimida. Em outras palavras, a degradação da qualidade devido à projeção bidimensional dos dados 3D pode ser suprimida.

[00192] Adicionalmente, já que isto torna possível que o aparelho de decodificação 200 diminua o número de "pixels que não podem ser codificados" no plano bidimensional, a região pode ser definida maior em comparação com um caso alternativo em que um processo de complementação simplesmente não é realizado. Desta maneira, a projeção em uma unidade de uma região muito pequena (Ponto) torna-se desnecessária, e o aumento da quantidade de processamento e a diminuição da eficiência de codificação podem ser suprimidos. <4. Terceira modalidade> <Controle do parâmetro de profundidade>

[00193] Quando os dados 3D forem projetados em um plano bidimensional, um parâmetro de profundidade th para controlar a faixa na direção da profundidade dos dados 3D que serão projetados no plano bidimensional é usado. Já que os pontos em uma faixa designada por este parâmetro de profundidade th torna-se um alvo da projeção do plano bidimensional, o valor do parâmetro de profundidade th tem uma relação com o comprimento na direção da profundidade da região (Caixa de Delimitação de Local). Por exemplo, se o valor do parâmetro de profundidade th for maior do que o comprimento na direção da profundidade da região, então, um ponto em uma região diferente também pode se tornar um alvo da projeção. Em resumo, há uma necessidade de tornar o comprimento da região na direção da profundidade maior do que o parâmetro de profundidade th.

[00194] No método convencional, este parâmetro de profundidade th é controlado em uma unidade de um quadro, da forma representada na figura

37 / 61

20. Desta maneira, todos os parâmetros de profundidade th em um quadro têm um valor comum.

[00195] Entretanto, um caso em que a densidade de superfície de uma nuvem de pontos não é fixa em um quadro, tais como, por exemplo, entre a face e os pés ou entre uma parte central e uma porta periférica, pode possivelmente ocorrer. Portanto, há uma possibilidade de que o valor do parâmetro de profundidade th possa nem sempre ser ideal e a eficiência de codificação possa ser diminuída. Por exemplo, um caso em que, apesar de que a divisão de uma região na direção da profundidade resulta em eficiência de codificação superior, o valor do parâmetro de profundidade th é tão alto que a região não pode ser dividida possivelmente ocorre.

[00196] Portanto, quando os dados para cada posição dos dados 3D representativos de uma estrutura tridimensional forem projetados em um plano bidimensional por cada região predeterminada de um espaço tridimensional, os dados para cada posição na faixa na direção da profundidade indicada pelo parâmetro de profundidade que restringe a faixa na direção da profundidade de dados para cada posição dos dados 3D representativos de uma estrutura tridimensional que podem ser projetados em uma camada definida para cada região são projetados no plano bidimensional. Por exemplo, o aparelho de processamento de imagem é provido com uma seção de projeção bidimensional para projetar, quando os dados para cada posição dos dados 3D representativos de uma estrutura tridimensional forem projetados em um plano bidimensional por cada região predeterminada de um espaço tridimensional, os dados para cada posição na faixa na direção da profundidade indicada pelo parâmetro de profundidade que restringe a faixa na direção da profundidade de dados para cada posição dos dados 3D representativos de uma estrutura tridimensional que podem ser projetados, em uma camada definida para cada região, no plano bidimensional.

[00197] Por exemplo, da forma representada na figura 21, o aparelho

38 / 61 de processamento de imagem é expandido de maneira tal que o parâmetro de profundidade seja transmitido por cada trecho e a posição (TH) de um pixel a ser projetado em uma camada (Camada) é transmitida por cada região. Isto torna possível, por exemplo, definir um parâmetro de profundidade th para uma região 1 e definir um parâmetro de profundidade th' para uma outra região 2. Desta maneira, a eficiência da camada 1 (Camada 1) (eficiência de codificação da Geometria) é melhorada. <Fluxo do processo de projeção bidimensional>

[00198] Também, neste caso, o processo de codificação e o processo de decomposição do trecho são realizados similarmente ao caso descrito anteriormente em conexão com a primeira modalidade. Desta maneira, a descrição dos mesmos é omitida.

[00199] Um exemplo de um fluxo do processo de projeção bidimensional neste caso executado na etapa S124 da figura 11 é descrito em relação a um fluxograma da figura 22.

[00200] Depois que o processo de projeção bidimensional for iniciado, a seção de análise da distribuição de pixel 155 inicializa o número de região i em i = 0 na etapa S401.

[00201] Na etapa S402, a seção de análise da distribuição de pixel 155 determina se um pixel não processado existe ou não. No caso em que for determinado que um pixel não processado existe, o processamento avança para a etapa S403.

[00202] Na etapa S403, a seção de projeção bidimensional 154 realiza a extração da região i pela segmentação.

[00203] Na etapa S404, a seção de projeção bidimensional 154 realiza ajuste e codificação (determinação RD) de um parâmetro de profundidade. Em resumo, a definição de um parâmetro de profundidade ideal th e faixa da região é realizada pela determinação RD.

[00204] Na etapa S405, a seção de projeção bidimensional 154 projeta

39 / 61 uma imagem da geometria da região alvo de processamento i no plano bidimensional com base na definição realizada na etapa S404.

[00205] Na etapa S406, a seção de projeção bidimensional 154 faz com que a imagem da geometria projetada no plano bidimensional seja codificada.

[00206] Na etapa S407, a seção de análise da distribuição de pixel 155 incrementa a variável i (i++). Depois que o processo na etapa S407 terminar, o processamento retorna para a etapa S402 para repetir os processos começando com a etapa S402.

[00207] Por outro lado, no caso em que for determinado, na etapa S402, que um pixel não processado não existe, o processamento avança para a etapa S408.

[00208] Na etapa S408, a seção de projeção bidimensional 154 faz com que um mapa de oclusão (Mapa de Oclusão) seja codificado. Quando o processo na etapa S408 terminar, o processo de projeção bidimensional termina, e o processamento retorna para a figura 11.

[00209] Pela realização do processo de projeção bidimensional de uma maneira como esta, como exposto, o aparelho de codificação 100 pode obter um parâmetro de profundidade th mais adequado para cada região e a diminuição da eficiência de codificação pode ser suprimida. <Uso do parâmetro de profundidade controlado>

[00210] O lado da decodificação é configurado de maneira tal que, quando os dados 3D projetados em um plano bidimensional precisarem ser projetados em um espaço tridimensional, os dados 3D são projetados em uma faixa indicada por um parâmetro de profundidade th controlado de uma maneira como esta, como exposto.

[00211] Em particular, quando, por cada região predeterminada do espaço tridimensional, as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional forem projetados no espaço tridimensional, as peças de dados

40 / 61 para cada posição são projetados na faixa na direção da profundidade de dados indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade de dados para cada posição dos dados 3D que pode ser projetada em uma camada definida para cada região do espaço tridimensional. Por exemplo, o aparelho de processamento de imagem é provido com uma seção de projeção tridimensional para projetar, quando, por cada região predeterminada do espaço tridimensional, as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional forem projetadas no espaço tridimensional, as peças de dados para cada posição na faixa na direção da profundidade de dados indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade de dados para cada posição dos dados 3D que pode ser projetada em uma camada definida para cada região do espaço tridimensional.

[00212] Já que isto torna possível realizar a projeção de dados 3D em um espaço tridimensional pelo uso do parâmetro de profundidade th definido para cada região, a diminuição da eficiência de codificação pode ser suprimida. <Fluxo do processo de projeção tridimensional>

[00213] Também, neste caso, o processo de decodificação e o processo de reconstrução da nuvem de pontos são realizados similarmente ao caso descrito anteriormente em conexão com a primeira modalidade. Desta maneira, a descrição dos mesmos é omitida.

[00214] Um exemplo de um fluxo do processo de projeção tridimensional neste caso executado na etapa S221 da figura 14 é descrito em relação a um fluxograma da figura 23.

[00215] Depois que o processo de projeção tridimensional for iniciado, a unidade de projeção tridimensional 251 faz com que um mapa de oclusão seja decodificado na etapa S421.

41 / 61

[00216] Na etapa S422, a seção de análise da distribuição de pixel 252 inicializa o número de região k em k = 0.

[00217] Na etapa S423, a seção de análise da distribuição de pixel 252 determina se a variável k satisfaz k < i ou não. No caso em que for determinado que k < i se mantém, o processamento avança para a etapa S424.

[00218] Na etapa S424, a seção de projeção tridimensional 251 faz com que o parâmetro de profundidade th seja decodificado. Na etapa S425, a seção de projeção tridimensional 251 faz com que uma imagem da geometria seja decodificada. Na etapa S426, a seção de projeção tridimensional 251 projeta uma imagem da região em um espaço tridimensional.

[00219] Na etapa S427, a seção de análise da distribuição de pixel 252 incrementa a variável k (k++). Depois que o processo na etapa S427 terminar, o processamento retorna para a etapa S423 para repetir os processos começando com a etapa S423.

[00220] Por outro lado, no caso em que for determinado que k < i não é satisfeito, o processo de projeção tridimensional é terminado, e o processamento retorna para a figura 14.

[00221] Pela execução do processo de projeção tridimensional de uma maneira como esta, como exposto, o aparelho de decodificação 200 pode realizar a projeção de dados 3D em um espaço tridimensional pelo uso do parâmetro de profundidade th definido para cada região e, portanto, a diminuição da eficiência de codificação pode ser suprimida. <5. Nota complementar> <Informação de controle>

[00222] A informação de controle em relação à presente tecnologia que foi descrita na descrição das modalidades pode ser transmitida do lado da codificação para o lado da decodificação. Por exemplo, a informação de controle (por exemplo, enabled_flag) para controlar se a aplicação da presente tecnologia supradescrita deve ser permitida ou não (ou inibida) pode ser

42 / 61 transmitida. Adicionalmente, por exemplo, a informação de controle que designa uma faixa em que a aplicação da presente tecnologia descrita anteriormente deve ser permitida (ou inibida) (por exemplo, um limite superior ou um limite inferior de um tamanho de bloco ou ambos os mesmos, uma fatia, uma figura, uma sequência, um componente, uma vista, uma camada, ou similares) pode ser transmitida. <Computador>

[00223] Embora a série de processos supradescrita possa ser executada por hardware, a mesma também pode ser de outra forma executada por software. No caso em que a série de processos precisar ser executada por software, um programa que constrói o software é instalado em um computador. Os exemplos do computador aqui expostos incluem um computador incorporado em hardware para uso exclusivo e um computador pessoal para uso universal que pode executar várias funções pela instalação de vários programas no computador pessoal.

[00224] A figura 24 é um diagrama de blocos que representa um exemplo de uma configuração de hardware de um computador que executa a série de processos descrita anteriormente de acordo com um programa.

[00225] Em um computador 900 representado na figura 24, uma CPU (unidade central de processamento) 901, uma ROM (memória exclusiva de leitura) 902, e uma RAM (memória de acesso aleatório) 903 são conectadas umas nas outras por um barramento 904.

[00226] Uma interface de entrada/saída 910 também é conectada no barramento 904. Uma seção de entrada 911, uma seção de saída 912, uma seção de armazenamento 913, uma seção de comunicação 914, e uma unidade 915 são conectadas na interface de entrada/saída 910.

[00227] A seção de entrada 911 inclui, por exemplo, um teclado, um mouse, um microfone, um painel sensível ao toque, um terminal de entrada e similares. A seção de saída 912 inclui, por exemplo, um visor, um alto-

43 / 61 falante, um terminal de saída e similares. A seção de armazenamento 913 inclui, por exemplo, um disco rígido, um disco RAM, uma memória não volátil ou similares. A seção de comunicação 914 inclui, por exemplo, uma interface de rede. A unidade 915 aciona uma mídia removível 921, tais como um disco magnético, um disco óptico, um disco magneto-óptico, ou uma memória semicondutora.

[00228] No computador configurado de uma maneira como esta, como exposto, a CPU 901 carrega um programa armazenado, por exemplo, na seção de armazenamento 913 na RAM 903 através da interface de entrada/saída 910 e do barramento 904 e executa o programa para realizar a série de processos supradescrita. Na RAM 903, os dados e similares necessários para que a CPU 901 execute vários processos também são armazenados adequadamente.

[00229] O programa a ser executado pelo computador (CPU 901) pode ser gravado em e aplicado como uma mídia removível 921, por exemplo, como um pacote de mídia. Em tal caso, pela montagem da mídia removível 921 na unidade 915, o programa pode ser instalado na seção de armazenamento 913 através da interface de entrada/saída 910.

[00230] Também, é possível prover este programa através de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet, ou uma difusão por satélite digital. Em tal caso, o programa pode ser recebido pela seção de comunicação 914 e instalado na seção de armazenamento 913.

[00231] Alternativamente, também é possível instalar o programa na ROM 902 ou na seção de armazenamento 913 em antecipação. <Alvo de aplicação da presente tecnologia>

[00232] Embora a descrição exposta seja direcionada aos em que a presente tecnologia é aplicada na Voxelização dos dados da nuvem de pontos, a presente tecnologia não é limitada a estes exemplos e pode ser aplicada na Voxelização dos dados 3D de qualquer padrão. Em outras palavras, as

44 / 61 especificações de vários processos, tais como métodos de codificação e de decodificação, e vários tipos de dados, tais como dados 3D e metadados, podem ser livremente selecionadas, a menos que as mesmas sejam contraditórias à presente tecnologia supradescrita. Adicionalmente, parte dos processos e das especificações supradescritos pode ser omitida, a menos que tal omissão seja contraditória à presente tecnologia.

[00233] Adicionalmente, embora a descrição exposta seja direcionada para o aparelho de codificação 100 e o aparelho de decodificação 200 como exemplos de aplicação da presente tecnologia, a presente tecnologia pode ser aplicada em qualquer configuração livremente selecionada.

[00234] Por exemplo, a presente tecnologia pode ser aplicada em vários tipos de equipamento eletrônico, tais como um transmissor e um receptor (por exemplo, um receptor de televisão e um aparelho de telefone portátil) em difusão via satélite, difusão a cabo de uma TV a cabo, distribuição na Internet, ou distribuição para um terminal por comunicação celular ou um aparelho que grava uma imagem em uma mídia, tais como um disco óptico, um disco magnético ou uma memória flash, ou reproduz uma imagem a partir de tal mídia de gravação (por exemplo, um gravador de disco rígido e uma câmera).

[00235] Adicionalmente, por exemplo, a presente tecnologia pode ser realizada como uma configuração de parte de um aparelho, tais como um processador como um sistema LSI (Integração em Larga Escala) ou similares (por exemplo, um processador de vídeo), um módulo que usa uma pluralidade de processadores e similares (por exemplo, um módulo de vídeo), uma unidade que usa uma pluralidade de módulos e similares (por exemplo, uma unidade de vídeo) ou um conjunto em que outras funções são adicionalmente adicionadas em uma unidade (por exemplo, um aparelho de vídeo).

[00236] Adicionalmente, por exemplo, a presente tecnologia também pode ser aplicada em um sistema em rede configurado a partir de diversos

45 / 61 aparelhos. Por exemplo, a presente tecnologia pode ser realizada em computação em nuvem pela qual diversos aparelhos compartilham e cooperam para o processamento através de uma rede. Por exemplo, a presente tecnologia pode ser realizada em um serviço em nuvem que provê um serviço em relação a uma imagem (imagem em movimento) para um terminal livremente selecionado, tais como um computador, equipamento AV (audiovisual), um terminal de processamento de informação portátil, e um dispositivo IoT (Internet das Coisas).

[00237] Percebe-se que, no presente relatório descritivo, o termo “sistema” é usado para significar uma agregação de diversos componentes (dispositivos, módulos (partes) e similares) e não importa se todos os componentes estão acomodados no mesmo alojamento ou não. Desta maneira, diversos aparelhos acomodados em alojamentos separados e conectados uns nos outros através de uma rede são um sistema, e um aparelho em que diversos módulos são acomodados em um único alojamento também é um sistema. <Campo e uso nos quais a presente tecnologia é aplicável>

[00238] Um sistema, um aparelho, uma unidade de processamento e similares nos quais a presente tecnologia é aplicada podem ser usados em qualquer campo, por exemplo, transporte, cuidados médicos, prevenção contra crimes, agricultura, indústria de zootecnia, mineração, cultura da beleza, fábricas, utensílios domésticos, clima, e vigilância natural. Também, o uso dos mesmos pode ser livremente selecionado.

[00239] Adicionalmente, a presente tecnologia pode ser aplicada em sistemas e dispositivos usados para a provisão de conteúdo de apreciação e similares. Adicionalmente, por exemplo, a presente tecnologia também pode ser aplicada em sistemas e dispositivos usados para transporte, tais como supervisão de condições de tráfego e controle de operação automática. Adicionalmente, por exemplo, a presente tecnologia também pode ser

46 / 61 aplicada em sistemas e dispositivos para uso para segurança. Adicionalmente, por exemplo, a presente tecnologia pode ser aplicada em sistemas e dispositivos para uso para controle automático de máquinas e similares. Adicionalmente, por exemplo, a presente tecnologia também pode ser aplicada em sistemas e dispositivos para uso para indústria de agricultura e zootecnia. Adicionalmente, a presente tecnologia também pode ser aplicada em sistemas e dispositivos para supervisionar, por exemplo, estados naturais de um vulcão, bosques, e uma costa, vida selvagem e similares. Além do mais, por exemplo, a presente tecnologia também pode ser aplicada em sistemas e dispositivos para uso para esportes. <Outros>

[00240] Percebe-se que o termo "indicador" no presente relatório descritivo significa a informação para identificar diversos estados e inclui não apenas a informação a ser usada quando dois estados do verdadeiro (1) e o falso (0) precisarem ser identificados, mas, também, a informação capaz de identificar três ou mais estados. Desta maneira, o valor que pode ser usado pelo "indicador" pode ser, por exemplo, dois valores de 1/0 ou pode ser três ou mais valores. Em outras palavras, o número de bit que configura o "indicador" pode ser livremente selecionado e pode ser 1 bit ou diversos bits. Adicionalmente, considera-se que a informação de identificação (incluindo um indicador) tem não apenas uma forma em que a informação de identificação é incluída em um fluxo contínuo de bits, mas, também, uma forma em que a informação de diferença da informação de identificação em relação à informação que se torna uma certa referência é incluída em um fluxo contínuo de bits. Portanto, no presente relatório descritivo, o "indicador" e a "informação de identificação" incluem não apenas tal informação, da forma supradescrita, mas, também, a informação de diferença em relação à informação que serve como uma referência.

[00241] Adicionalmente, vários tipos de informação (metadados e

47 / 61 similares) em relação aos dados codificados (fluxo contínuo de bits) podem ser transmitidos ou gravados em qualquer forma se os mesmos forem associados com os dados codificados. Aqui, o termo "associa" significa que, por exemplo, quando uma peça de dados precisar ser processada, a outra peça de dados é feita disponível (ligável). Em resumo, as peças de dados associadas umas com as outras podem ser colocadas juntas como dados ou podem ser dados individuais separados. Por exemplo, a informação associada com os dados codificados (imagem) pode ser transmitida em uma linha de transmissão diferente daquela dos dados codificados (imagem). Adicionalmente, por exemplo, a informação associada com os dados codificados (imagem) pode ser gravada em uma mídia de gravação separada daquela dos dados codificados (imagem) (ou em uma área de gravação diferente da mesma mídia de gravação). Percebe-se que esta "associação" pode estar presente em parte de tais dados, em vez dos dados gerais. Por exemplo, uma imagem e a informação correspondente à imagem podem ser associadas uma com a outra em qualquer unidade, tais como diversos quadros, um quadro, ou uma parte em um quadro.

[00242] Percebe-se que, no presente relatório descritivo, termos, tais como "sintetizar", "multiplexar", "adicionar", "integrar", "incluir", "armazenar", "impulsionar", "colocar em" e "inserir" significam combinar múltiplas coisas em uma, tal como combinar, por exemplo, os dados codificados e os metadados em dados e significa um método da "associação" supradescrita.

[00243] Adicionalmente, a modalidade da presente tecnologia não é limitada às modalidades descritas anteriormente e permite várias alterações sem fugir do assunto em questão da presente tecnologia.

[00244] Por exemplo, a configuração descrita como um aparelho (ou uma seção de processamento) pode ser dividida para configurar diversos aparelhos (ou seções de processamento). Inversamente, as configurações

48 / 61 descritas como diversos aparelhos (ou seções de processamento) na descrição exposta podem ser colocadas juntas para configurar um único aparelho (ou seção de processamento). Adicionalmente, uma configuração não descrita anteriormente pode ser naturalmente adicionada na configuração do aparelho (ou seções de processamento). Além do mais, se uma configuração ou operação da íntegra de um sistema forem substancialmente as mesmas, parte da configuração de um certo aparelho (ou seção de processamento) pode ser incluída na configuração de um outro aparelho (ou uma outra seção de processamento).

[00245] Adicionalmente, por exemplo, o programa supradescrito pode ser executado por qualquer aparelho livremente selecionado. Em tal caso, é suficiente se o aparelho tiver funções necessárias (blocos funcionais e similares) e puder obter a informação necessária.

[00246] Adicionalmente, por exemplo, cada uma das etapas de um fluxograma pode ser executada por um único aparelho ou pode ser compartilhada e executada por diversos aparelhos. Adicionalmente, no caso em que diversos processos forem incluídos em uma etapa, os diversos processos podem ser executados por um aparelho ou podem ser compartilhados e executados por diversos aparelhos. Em outras palavras, também é possível executar diversos processos incluídos em uma etapa como um processo de diversas etapas. Inversamente, também é possível executar um processo descrito como diversas etapas coletivamente como uma etapa.

[00247] Adicionalmente, por exemplo, em um programa a ser executado por um computador, os processos das etapas que descrevem o programa podem ser realizados em uma série de tempo na ordem descrita no presente relatório descritivo ou podem ser executados em paralelo ou individualmente em sincronismos necessários, tal como o tempo em que uma chamada for feita. Em resumo, os processos nas etapas podem ser executados em uma ordem diferente da ordem descrita anteriormente, a menos que

49 / 61 alguma contradição surja. Adicionalmente, os processos das etapas que descrevem este programa podem ser executados em paralelo com os processos de um outro programa ou podem ser executados em combinação com os processos de um outro aparelho.

[00248] Adicionalmente, por exemplo, diversas tecnologias em relação à presente tecnologia podem ser realizadas individualmente e independentemente umas das outras, a menos que alguma contradição surja. Naturalmente, qualquer número plural de presentes tecnologias pode ser realizado em conjunto. Por exemplo, também é possível realizar parte da ou a íntegra da presente tecnologia descrita em conexão com qualquer uma das modalidades em combinação com parte da ou a íntegra da presente tecnologia descrita em conexão com uma ou várias modalidade diferentes. Adicionalmente, também é possível realizar qualquer parte livremente selecionada ou a íntegra da presente tecnologia juntamente com qualquer outra tecnologia que não é descrita anteriormente.

[00249] Percebe-se que a presente tecnologia também pode tomar uma configuração como esta, da forma descrita a seguir.

[00250] (1) Um aparelho de processamento de imagem, que inclui: uma seção de projeção bidimensional configurada para projetar todas as peças de dados para cada posição incluída em dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

[00251] (2) O aparelho de processamento de imagem, de acordo com (1), em que a seção de projeção bidimensional projeta as peças de dados para cada posição sobrepondo na posição umas com as outras em uma direção da profundidade como visualizada a partir de um local de projeção que são incluídas nos dados 3D nas camadas do plano bidimensional das diversas camadas, as camadas sendo diferentes umas das outras.

50 / 61

[00252] (3) O aparelho de processamento de imagem, de acordo com (2), em que a seção de projeção bidimensional gera, em relação ao plano bidimensional, as camadas em um número igual a um máximo número das peças de dados para cada posição sobrepondo na posição umas com as outras na direção da profundidade como visualizada a partir do plano de projeção que são incluídas nos dados 3D.

[00253] (4) O aparelho de processamento de imagem, de acordo com qualquer um de (1) a (3), que inclui adicionalmente: uma seção de codificação configurada para codificar os dados 3D projetados no plano bidimensional pela seção de projeção bidimensional.

[00254] (5) O aparelho de processamento de imagem, de acordo com (4), em que a seção de codificação codifica cada um de uma informação de posição, uma informação de atributo e um mapa de ocupação dos dados 3D projetados em cada camada do plano bidimensional.

[00255] (6) O aparelho de processamento de imagem, de acordo com (4) ou (5), que inclui adicionalmente: uma seção de geração de fluxo contínuo de bits configurada para gerar um fluxo contínuo de bits que inclui a informação indicativa do número de camadas do plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional e os dados codificados obtidos pela codificação do plano bidimensional pela seção de codificação.

[00256] (7) O aparelho de processamento de imagem, de acordo com qualquer um de (4) a (6), que inclui adicionalmente: uma seção de empacotamento configurada para realizar empacotamento do plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional, como um quadro de vídeo, em que a seção de codificação é configurada de maneira tal que o

51 / 61 quadro de vídeo em que o plano bidimensional é empacotado pela seção de empacotamento seja codificado.

[00257] (8) O aparelho de processamento de imagem, de acordo com qualquer um de (1) a (7), em que a seção de projeção bidimensional projeta os dados 3D no plano bidimensional por cada região predeterminada.

[00258] (9) O aparelho de processamento de imagem, de acordo com qualquer um de (1) a (8), em que os dados 3D incluem uma nuvem de pontos.

[00259] (10) Um método de processamento de imagem, que inclui: projetar todas as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

[00260] (11) Um aparelho de processamento de imagem, que inclui: uma seção de projeção tridimensional configurada para projetar todas as peças de dados para cada posição dos dados 3D projetadas em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada em relação a um espaço tridimensional.

[00261] (12) O aparelho de processamento de imagem, de acordo com (11), que inclui adicionalmente: uma seção de extração configurada para extrair a informação do número de camada incluída em um fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que todas as peças de dados para cada posição dos dados 3D projetadas no plano bidimensional que tem o número de camadas indicado pela informação do número de camada extraída pela seção de extração sejam projetadas no espaço tridimensional.

[00262] (13) O aparelho de processamento de imagem, de acordo com (12), que inclui adicionalmente:

52 / 61 uma seção de decodificação configurada para decodificar os dados codificados dos dados 3D projetados no plano bidimensional incluído no fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que todas as peças de dados para cada posição dos dados 3D obtidas pela decodificação dos dados codificados pela seção de decodificação e projetados no plano bidimensional sejam projetadas no espaço tridimensional.

[00263] (14) O aparelho de processamento de imagem, de acordo com (13), em que a seção de decodificação decodifica os dados codificados de cada um de uma informação de posição, uma informação de atributo e um mapa de ocupação dos dados 3D projetados em cada camada do plano bidimensional.

[00264] (15) O aparelho de processamento de imagem, de acordo com (13) ou (14), que inclui adicionalmente: uma seção de desempacotamento configurada para desempacotar um quadro de vídeo que é obtido pela decodificação dos dados codificados pela seção de decodificação e em que os dados 3D projetados no plano bidimensional são empacotados, em que a seção de projeção tridimensional é configurada de maneira tal que todas as peças de dados para cada posição dos dados 3D obtidas pelo desempacotamento do quadro de vídeo pela seção de desempacotamento e projetadas no plano bidimensional sejam projetadas no espaço tridimensional.

[00265] (16) O aparelho de processamento de imagem, de acordo com qualquer um de (11) a (15), em que a seção de projeção tridimensional projeta os dados 3D projetados no plano bidimensional por cada região predeterminada no espaço tridimensional.

[00266] (17) O aparelho de processamento de imagem, de acordo com

53 / 61 qualquer um de (11) a (16), em que os dados 3D incluem uma nuvem de pontos.

[00267] (18) Um método de processamento de imagem, que inclui: projetar todas as peças de dados para cada posição dos dados 3D projetadas em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada em relação a um espaço tridimensional.

[00268] (21) Um aparelho de processamento de imagem, que inclui: uma seção de projeção bidimensional configurada para projetar os dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional e para definir, para uma posição do plano bidimensional na qual os dados para cada posição não existem, um valor predeterminado que indica que os dados para cada posição não existem.

[00269] (22) O aparelho de processamento de imagem, de acordo com (21), em que o valor predeterminado inclui um valor fixo determinado em antecipação.

[00270] (23) O aparelho de processamento de imagem, de acordo com (21), em que o valor predeterminado inclui um valor mais alto do que um valor máximo de uma profundidade dos dados 3D.

[00271] (24) O aparelho de processamento de imagem, de acordo com qualquer um de (21) a (23), que inclui adicionalmente: uma seção de codificação configurada para codificar os dados 3D projetados no plano bidimensional pela seção de projeção bidimensional.

[00272] (25) O aparelho de processamento de imagem, de acordo com (24), em que a seção de codificação codifica cada um de uma informação de

54 / 61 posição, uma informação de atributo e um mapa de ocupação dos dados 3D projetados no plano bidimensional.

[00273] (26) O aparelho de processamento de imagem, de acordo com (24) ou (25), que inclui adicionalmente: uma seção de geração de fluxo contínuo de bits configurada para gerar um fluxo contínuo de bits que inclui a informação indicativa do valor predeterminado e dados codificados obtidos pela codificação do plano bidimensional pela seção de codificação.

[00274] (27) O aparelho de processamento de imagem, de acordo com qualquer um de (24) a (26), que inclui adicionalmente: uma seção de empacotamento configurada para realizar empacotamento do plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional, como um quadro de vídeo, em que a seção de codificação é configurada de maneira tal que o quadro de vídeo em que o plano bidimensional é empacotado pela seção de empacotamento seja codificado.

[00275] (28) O aparelho de processamento de imagem, de acordo com qualquer um de (21) a (27), em que a seção de projeção bidimensional projeta os dados 3D no plano bidimensional por cada região predeterminada.

[00276] (29) O aparelho de processamento de imagem, de acordo com qualquer um de (21) a (28), em que os dados 3D incluem uma nuvem de pontos.

[00277] (30) Um método de processamento de imagem, que inclui: projetar os dados de cada posição incluídos nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional e definir, para uma posição do plano bidimensional na qual os dados para cada posição não existem, um valor predeterminado que indica que os dados para cada posição não existem.

55 / 61

[00278] (31) Um aparelho de processamento de imagem, que inclui: uma seção de projeção tridimensional configurada para projetar, em um espaço tridimensional, os dados que estão entre as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional e que são diferentes dos dados que têm um valor predeterminado que indica que os dados para cada posição não existem.

[00279] (32) O aparelho de processamento de imagem, de acordo com (31), em que o valor predeterminado inclui um valor fixo determinado em antecipação.

[00280] (33) O aparelho de processamento de imagem, de acordo com (31), em que o valor predeterminado inclui um valor mais alto do que um valor máximo de uma profundidade dos dados 3D.

[00281] (34) O aparelho de processamento de imagem, de acordo com qualquer um de (31) a (33), que inclui adicionalmente: uma seção de extração configurada para extrair a informação indicativa do valor predeterminado incluída em um fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que os dados que estão entre as peças de dados para cada posição incluída nos dados 3D e que são diferentes dos dados que têm o valor predeterminado indicado na informação extraída pela seção de extração sejam projetados no espaço tridimensional.

[00282] (35) O aparelho de processamento de imagem, de acordo com (34), que inclui adicionalmente: uma seção de decodificação configurada para decodificar os dados codificados dos dados 3D incluídos no fluxo contínuo de bits e

56 / 61 projetados no plano bidimensional, em que a seção de projeção tridimensional é configurada de maneira tal que os dados que estão entre as peças de dados para cada posição incluída nos dados 3D obtidos pela decodificação dos dados codificados pela seção de decodificação e projetados no plano bidimensional e que são diferentes dos dados que têm o valor predeterminado indicado na informação extraída pela seção de extração sejam projetados no espaço tridimensional.

[00283] (36) O aparelho de processamento de imagem, de acordo com (35), em que a seção de decodificação decodifica os dados codificados de cada um de uma informação de posição, uma informação de atributo e um mapa de ocupação dos dados 3D projetados em cada camada do plano bidimensional.

[00284] (37) O aparelho de processamento de imagem, de acordo com (35) ou (36), que inclui adicionalmente: uma seção de desempacotamento configurada para desempacotar um quadro de vídeo em que os dados 3D obtidos pela decodificação dos dados codificados pela seção de decodificação e projetados no plano bidimensional são empacotados, em que a seção de projeção tridimensional é configurada de maneira tal que os dados que estão entre as peças de dados para cada posição incluída nos dados 3D obtidos pelo desempacotamento do quadro de vídeo pela seção de desempacotamento e projetados no plano bidimensional e que são diferentes dos dados que têm o valor predeterminado indicado na informação extraída pela seção de extração sejam projetados no espaço tridimensional.

[00285] (38) O aparelho de processamento de imagem, de acordo com qualquer um de (31) a (37), em que a seção de projeção tridimensional projeta os dados 3D projetados no plano bidimensional por cada região predeterminada no espaço

57 / 61 tridimensional.

[00286] (39) O aparelho de processamento de imagem, de acordo com qualquer um de (31) a (38), em que os dados 3D incluem uma nuvem de pontos.

[00287] (40) Um método de processamento de imagem, que inclui: projetar os dados que estão entre as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional e que são diferentes dos dados que têm um valor predeterminado que indica que os dados para cada posição não existem em um espaço tridimensional.

[00288] (41) Um aparelho de processamento de imagem, que inclui: uma seção de projeção bidimensional configurada para projetar, quando as peças de dados para cada posição dos dados 3D representativos de uma estrutura tridimensional forem projetadas em um plano bidimensional por cada região predeterminada de um espaço tridimensional, as peças de dados para cada posição em uma faixa em uma direção da profundidade indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade das peças de dados para cada posição dos dados 3D representativos de uma estrutura tridimensional capaz de ser projetada em uma camada definida para cada região, no plano bidimensional.

[00289] (42) O aparelho de processamento de imagem, de acordo com (41), que inclui adicionalmente: uma seção de codificação configurada para codificar os dados 3D projetados no plano bidimensional pela seção de projeção bidimensional.

[00290] (43) O aparelho de processamento de imagem, de acordo com (42), em que a seção de codificação codifica cada um de uma informação de posição, uma informação de atributo e um mapa de ocupação dos dados 3D

58 / 61 projetados no plano bidimensional.

[00291] (44) O aparelho de processamento de imagem, de acordo com (42) ou (43), que inclui adicionalmente: uma seção de geração de fluxo contínuo de bits configurada para gerar um fluxo contínuo de bits que inclui o parâmetro de profundidade definido para cada região e dados codificados obtidos pela codificação do plano bidimensional pela seção de codificação.

[00292] (45) O aparelho de processamento de imagem, de acordo com qualquer um de (42) a (44), que inclui adicionalmente: uma seção de empacotamento configurada para empacotar o plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional, como um quadro de vídeo, em que a seção de codificação é configurada de maneira tal que o quadro de vídeo em que o plano bidimensional é empacotado pela seção de empacotamento seja codificado.

[00293] (46) O aparelho de processamento de imagem, de acordo com qualquer um de (41) a (45), em que os dados 3D incluem uma nuvem de pontos.

[00294] (47) Um método de processamento de imagem, que inclui: projetar, quando as peças de dados para cada posição dos dados 3D representativos de uma estrutura tridimensional forem projetadas em um plano bidimensional por cada região predeterminada de um espaço tridimensional, as peças de dados para cada posição em uma faixa em uma direção da profundidade indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade das peças de dados para cada posição dos dados 3D representativos de uma estrutura tridimensional capaz de ser projetada em uma camada definida para cada região.

[00295] (51) Um aparelho de processamento de imagem, que inclui: uma seção de projeção tridimensional configurada para

59 / 61 projetar, quando as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional forem projetadas em um espaço tridimensional por cada região predeterminada do espaço tridimensional, as peças de dados para cada posição em uma faixa em uma direção da profundidade indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade das peças de dados para cada posição dos dados 3D capaz de ser projetada em uma camada definida para cada região, no espaço tridimensional.

[00296] (52) O aparelho de processamento de imagem, de acordo com (51), que inclui adicionalmente: uma seção de extração configurada para extrair o parâmetro de profundidade incluído em um fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que as peças de dados para cada posição incluída nos dados 3D sejam projetados na faixa na direção da profundidade indicada pelo parâmetro de profundidade extraído pela seção de extração.

[00297] (53) O aparelho de processamento de imagem, de acordo com (52), que inclui adicionalmente: uma seção de decodificação configurada para decodificar os dados codificados dos dados 3D projetados no plano bidimensional incluídos no fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que as peças de dados para cada posição dos dados 3D obtidas pela decodificação dos dados codificados pela seção de decodificação e projetados no plano bidimensional sejam projetadas na faixa na direção da profundidade indicada pelo parâmetro de profundidade extraído pela seção de extração.

[00298] (54) O aparelho de processamento de imagem, de acordo com (53), em que a seção de decodificação decodifica os dados codificados de

60 / 61 cada um de uma informação de posição, uma informação de atributo e um mapa de ocupação dos dados 3D projetados em cada camada do plano bidimensional.

[00299] (55) O aparelho de processamento de imagem, de acordo com (53) ou (54), que inclui adicionalmente: uma seção de desempacotamento configurada para desempacotar um quadro de vídeo em que os dados 3D obtidos pela decodificação dos dados codificados pela seção de decodificação e projetados no plano bidimensional são empacotados, em que a seção de projeção tridimensional é configurada de maneira tal que as peças de dados para cada posição dos dados 3D obtidas pelo desempacotamento do quadro de vídeo pela seção de desempacotamento e projetadas no plano bidimensional sejam projetadas na faixa na direção da profundidade indicada pelo parâmetro de profundidade extraído pela seção de extração.

[00300] (56) O aparelho de processamento de imagem, de acordo com qualquer um de (51) a (55), em que os dados 3D incluem uma nuvem de pontos.

[00301] (57) Um método de processamento de imagem, que inclui: projetar, quando as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional projetada em um plano bidimensional forem projetadas em um espaço tridimensional por cada região predeterminada do espaço tridimensional, as peças de dados para cada posição em uma faixa em uma direção da profundidade indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade das peças de dados para cada posição dos dados 3D capaz de ser projetada em uma camada definida para cada região, no espaço tridimensional. Lista dos Sinais de Referência

[00302] 100 Aparelho de codificação, 111 Seção de decomposição do

61 / 61 trecho, 112 Seção de empacotamento, 113 Seção de compressão da informação de trecho auxiliar, 114 Seção de codificação de vídeo, 115 Seção de codificação de vídeo, 116 Seção de codificação de mapa O, 117 Multiplexador, 151 Seção de estimativa da direção normal, 152 Seção de definição inicial da segmentação, 153 Seção de atualização da segmentação, 154 Seção de projeção bidimensional, 155 Seção de análise da distribuição de pixel, 200 Aparelho de decodificação, 211 Demultiplexador, 212 Seção de decodificação da informação de trecho auxiliar, 213 Seção de decodificação de vídeo, 214 Seção de decodificação de vídeo, 215 Seção de decodificação do mapa O, 216 Seção de desempacotamento, 217 Seção de reconstrução 3D 251 Seção de projeção tridimensional, 252 Seção de análise da distribuição de pixel 253 Seção de atualização da segmentação inversa, 254 Seção de definição inicial da segmentação inversa, 255 Seção de estimativa da direção normal inversa

Claims (20)

REIVINDICAÇÕES

1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma seção de projeção bidimensional configurada para projetar todas as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de projeção bidimensional projeta as peças de dados para cada posição sobrepondo na posição umas com as outras em uma direção da profundidade como visualizada a partir de um plano de projeção que são incluídas nos dados 3D nas camadas do plano bidimensional das diversas camadas, as camadas sendo diferentes umas das outras.

3. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a seção de projeção bidimensional gera, em relação ao plano bidimensional, as camadas em um número igual a um número máximo de peças de dados para cada posição sobrepondo na posição umas com as outras na direção da profundidade como visualizada a partir do plano de projeção que são incluídas nos dados 3D.

4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de projeção bidimensional define, para uma posição do plano bidimensional na qual os dados para cada posição não existem, um valor predeterminado que indica que os dados para cada posição não existem.

5. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que o valor predeterminado inclui um valor fixo determinado em antecipação.

6. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que o valor predeterminado inclui um valor mais alto do que um valor máximo de uma profundidade dos dados 3D.

7. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a seção de projeção bidimensional projeta, quando as peças de dados para cada posição dos dados 3D forem projetadas em um plano bidimensional por cada região predeterminada de um espaço tridimensional em relação a um plano bidimensional, as peças de dados para cada posição em uma faixa em uma direção da profundidade indicada por um parâmetro de profundidade para restringir a faixa na direção da profundidade de peças de dados para cada posição dos dados 3D capaz de ser projetada em uma camada definida para cada região, no plano bidimensional.

8. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: uma seção de codificação configurada para codificar os dados 3D projetados no plano bidimensional pela seção de projeção bidimensional.

9. Aparelho de processamento de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que compreende adicionalmente: uma seção de geração de fluxo contínuo de bits configurada para gerar um fluxo contínuo de bits que inclui a informação indicativa do número de camadas do plano bidimensional no qual os dados 3D são projetados pela seção de projeção bidimensional e os dados codificados obtidos pela codificação do plano bidimensional pela seção de codificação.

10. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os dados 3D incluem uma nuvem de pontos.

11. Método de processamento de imagem, caracterizado pelo fato de que compreende: projetar todas as peças de dados para cada posição incluída nos dados 3D representativos de uma estrutura tridimensional em um plano bidimensional de diversas camadas.

12. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma seção de projeção tridimensional configurada para projetar todas as peças de dados para cada posição dos dados 3D projetadas em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada em relação a um espaço tridimensional.

13. Aparelho de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que a seção de projeção tridimensional projeta, no espaço tridimensional, os dados que estão entre as peças de dados para cada posição incluída nos dados 3D e que são diferentes dos dados que têm um valor predeterminado que indica que os dados para cada posição não existem.

14. Aparelho de processamento de imagem de acordo com a reivindicação 13, caracterizado pelo fato de que o valor predeterminado inclui um valor fixo determinado em antecipação.

15. Aparelho de processamento de imagem de acordo com a reivindicação 13, caracterizado pelo fato de que o valor predeterminado inclui um valor mais alto do que um valor máximo de uma profundidade dos dados 3D.

16. Aparelho de processamento de imagem, de acordo com a reivindicação 12, caracterizado pelo fato de que a seção de projeção tridimensional projeta, quando as peças de dados para cada posição incluída nos dados 3D forem projetadas no espaço tridimensional por cada região predeterminada do espaço tridimensional, as peças de dados para cada posição em uma faixa em uma direção da profundidade indicada por um parâmetro de profundidade que restringe a faixa na direção da profundidade das peças de dados para cada posição dos dados 3D capaz de ser projetada em uma camada definida para cada região, no espaço tridimensional.

17. Aparelho de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que compreende adicionalmente: uma seção de extração configurada para extrair a informação do número de camada incluída em um fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que todas as peças de dados para cada posição dos dados 3D projetadas no plano bidimensional de um número de camada indicado pela informação do número de camada extraída pela seção de extração sejam projetadas no espaço tridimensional.

18. Aparelho de processamento de imagem de acordo com a reivindicação 17, caracterizado pelo fato de que compreende adicionalmente: uma seção de decodificação configurada para decodificar os dados codificados dos dados 3D projetados no plano bidimensional incluídos no fluxo contínuo de bits, em que a seção de projeção tridimensional é configurada de maneira tal que todas as peças de dados para cada posição dos dados 3D obtidas pela decodificação dos dados codificados pela seção de decodificação e projetados no plano bidimensional sejam projetadas no espaço tridimensional.

19. Aparelho de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que os dados 3D incluem uma nuvem de pontos.

20. Método de processamento de imagem, caracterizado pelo fato de que compreende:

projetar todas as peças de dados para cada posição dos dados 3D projetadas em um plano bidimensional que tem o número de camadas indicado pela informação do número de camada em relação a um espaço tridimensional.