BR112021002981A2

BR112021002981A2 - método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais

Info

Publication number: BR112021002981A2
Application number: BR112021002981-8A
Authority: BR
Inventors: Chung Dean HAN; Chi Wang; Pongsak Lasang; Noritaka Iguchi; Toshiyasu Sugio
Original assignee: Panasonic Intellectual Property Corporation Of America
Priority date: 2018-09-21
Filing date: 2019-09-19
Publication date: 2021-05-11
Also published as: US20210168400A1; KR102713095B1; MX2021003267A; KR20210058841A; EP3855398A4; EP3855398A1; JP7512201B2; JP2024124436A; KR20240145088A; JPWO2020059826A1; WO2020059826A1; EP4432659A2; CN112313710A; US20240107064A1; EP3855398B1

Abstract

método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais. a presente invenção refere-se a um método de codificação de dados tridimensionais que inclui: combinar primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos (s5481); e codificar os terceiros dados de nuvem de pontos para gerar dados codificados (s5482). os dados codificados incluem informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos. por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos podem ser dados de nuvem de pontos do mesmo objeto e tendo tempos diferentes.

Description

Relatório Descritivo da Patente de Invenção para “MÉTODO DE CODIFICAÇÃO DE DADOS TRIDIMENSIONAIS, MÉTODO DE DECODIFICAÇÃO DE DADOS TRIDIMENSIONAIS, DISPOSITIVO DE

CODIFICAÇÃO DE DADOS TRIDIMENSIONAIS E DISPOSITIVO DE DECODIFICAÇÃO DE DADOS TRIDIMENSIONAIS”. CAMPO DA TÉCNICA

[0001] A presente invenção refere-se a um método de codificação de dados tridimensionais, um método de decodificação de dados tridimensionais, um dispositivo de codificação de dados tridimensionais e um dispositivo de decodificação de dados tridimensionais.

ANTECEDENTES DA TÉCNICA

[0002] Dispositivos ou serviços que utilizam dados tridimensionais devem ter ampla utilização em uma ampla faixa de campos, tal como visão de computador, que permite operações autônomas de carros ou robôs, informação de mapa, monitoramento, inspeção de infraestrutura e distribuição de vídeo. Os dados tridimensionais são obtidos através de vários meios, incluindo um sensor de distância, tal como um telêmetro, além de uma câmera estéreo e uma combinação de uma pluralidade de câmeras monoculares.

[0003] Os métodos de representação de dados tridimensionais incluem um método conhecido como um esquema de nuvem de pontos que representa o formato de uma estrutura tridimensional por uma nuvem de pontos em um espaço tridimensional. No esquema de nuvem de pontos, as posições e cores de uma nuvem de pontos são armazenadas. Enquanto a nuvem de pontos deve ser um método dominante de representação dos dados tridimensionais, uma quantidade massiva de dados de uma nuvem de pontos necessita de compressão da quantidade de dados tridimensionais por codificação, para fins de acúmulo e transmissão, como no caso de uma imagem em movimento bidimensional (exemplos incluem a Codificação de Vídeo

Avançada do Grupo 4 de Especialistas em Imagem em Movimento (MPEG-4 AVC) e Codificação de Vídeo de Alta Eficiência (HEVC) padronizadas por MPEG).

[0004] Enquanto isso, a compressão da nuvem de pontos é parcialmente suportada, por exemplo, por uma biblioteca de fonte aberta (Point Cloud Library) para o processamento relacionado com a nuvem de pontos.

[0005] Ainda, uma técnica de pesquisa e exibição de uma instalação localizada nas cercanias do veículo, utilizando dados de mapa tridimensionais, é conhecida (por exemplo, ver Literatura de Patente (PTL) 1). Lista de Citação Literatura de Patente

[0006] PTL 1: Publicação Internacional WO 2014/020663

SUMÁRIO DA INVENÇÃO PROBLEMA TÉCNICO

[0007] Tem havido uma demanda pela melhoria da eficiência de codificação em codificação e decodificação de dados tridimensionais.

[0008] A presente invenção provê um método de codificação de dados tridimensionais, um método de decodificação de dados tridimensionais, um dispositivo de codificação de dados tridimensionais ou um dispositivo de decodificação de dados tridimensionais que é capaz de melhorar a eficiência de codificação.

SOLUÇÕES PARA OS PROBLEMAS

[0009] Um método de codificação de dados tridimensionais de acordo com um aspecto da presente invenção inclui: combinar primeiros dados de nuvem de pontos e segundo dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos; e codificar os terceiros dados de nuvem de pontos para gerar dados codificados, em que os dados codificados incluem informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos.

[0010] Um método de decodificação de dados tridimensionais de acordo com um aspecto da presente invenção inclui: decodificar dados codificados para obter terceiros dados de nuvem de pontos e informação de identificação, os terceiros dados de nuvem de pontos sendo gerados combinando primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos, a informação de indicação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvens de pontos; e separar os primeiros dados de nuvens de pontos e os segundos dados de nuvem de pontos dos terceiros dados de nuvem de pontos, usando a informação de identificação.

EFEITOS VANTAJOSOS DA INVENÇÃO

[0011] A presente invenção pode prover um método de codificação de dados tridimensionais, um método de decodificação de dados tridimensionais, um dispositivo de codificação de dados tridimensionais ou um dispositivo de decodificação de dados tridimensionais que é capaz de melhorar a eficiência de codificação.

BREVE DESCRIÇÃO DOS DESENHOS

[0012] A figura 1 é um diagrama ilustrando uma configuração de um sistema de codificação e decodificação de dados tridimensionais de acordo com a modalidade 1.

[0013] A figura 2 é um diagrama ilustrando um exemplo de estrutura dos dados de nuvem de pontos de acordo com a modalidade 1.

[0014] A figura 3 é um diagrama ilustrando um exemplo de estrutura de um arquivo de dados indicando os dados de nuvem de pontos de acordo com a modalidade 1.

[0015] A figura 4 é um diagrama ilustrando os tipos de dados de nuvem de pontos de acordo com a modalidade 1.

[0016] A figura 5 é um diagrama ilustrando uma estrutura de um primeiro codificador de acordo com a modalidade 1.

[0017] A figura 6 é um diagrama em bloco ilustrando o primeiro codificador de acordo com a modalidade 1.

[0018] A figura 7 é um diagrama ilustrando uma estrutura de um primeiro decodificador de acordo com a modalidade 1.

[0019] A figura 8 é um diagrama em bloco ilustrando o primeiro decodificador de acordo com a modalidade 1.

[0020] A figura 9 é um diagrama ilustrando uma estrutura de um segundo codificador de acordo com a modalidade 1.

[0021] A figura 10 é um diagrama em bloco ilustrando o segundo codificador de acordo com a modalidade 1.

[0022] A figura 11 é um diagrama ilustrando uma estrutura de um segundo decodificador de acordo com a modalidade 1.

[0023] A figura 12 é um diagrama em bloco ilustrando o segundo decodificador de acordo com a modalidade 1.

[0024] A figura 13 é um diagrama ilustrando uma pilha de protocolo relacionada com os dados codificados PCC de acordo com a modalidade 1.

[0025] A figura 14 é um diagrama ilustrando uma estrutura básica de ISOBMFF de acordo com a modalidade 2.

[0026] A figura 15 é um diagrama ilustrando uma pilha de protocolo de acordo com a modalidade 2.

[0027] A figura 16 é um diagrama ilustrando estruturas de um codificador e um multiplexador de acordo com a modalidade 3.

[0028] A figura 17 é um diagrama ilustrando um exemplo de estrutura de dados codificados de acordo com a modalidade 3.

[0029] A figura 18 é um diagrama ilustrando um exemplo de estrutura de dados codificados e uma unidade NAL de acordo com a modalidade 3.

[0030] A figura 19 é um diagrama ilustrando um exemplo de semântica de pcc_nal_unit_type de acordo com a modalidade 3.

[0031] A figura 20 é um diagrama ilustrando um exemplo de uma ordem de transmissão de unidades NAL de acordo com a modalidade

3.

[0032] A figura 21 é um diagrama em bloco ilustrando um primeiro codificador de acordo com a modalidade 4.

[0033] A figura 22 é um diagrama em bloco ilustrando um primeiro decodificador de acordo com a modalidade 4.

[0034] A figura 23 é um diagrama em bloco ilustrando um divisor de acordo com a modalidade 4.

[0035] A figura 24 é um diagrama ilustrando um exemplo de divisão em fatias e tiles de acordo com a modalidade 4.

[0036] A figura 25 é um diagrama ilustrando exemplos de padrão de divisão de fatias e tiles de acordo com a modalidade 4.

[0037] A figura 26 é um diagrama ilustrando um exemplo de relações de dependência de acordo com a modalidade 4.

[0038] A figura 27 é um diagrama ilustrando um exemplo de ordem de decodificação de dados de acordo com a modalidade 4.

[0039] A figura 28 é um fluxograma de um processo de codificação de acordo com a modalidade 4.

[0040] A figura 29 é um diagrama em bloco de um combinador de acordo com a modalidade 4.

[0041] A figura 30 é um diagrama ilustrando um exemplo estrutural de dados codificados e unidades NAL de acordo com a modalidade 4.

[0042] A figura 31 é um fluxograma de um processo de codificação de acordo com a modalidade 4.

[0043] A figura 32 é um fluxograma de um processo de decodificação de acordo com a modalidade 4.

[0044] A figura 33 é um fluxograma de um processo de codificação de acordo com a modalidade 4.

[0045] A figura 34 é um fluxograma de um processo de decodificação de acordo com a modalidade 4.

[0046] A figura 35 é um diagrama ilustrando um conceito de geração de uma estrutura de árvore e um código de ocupação a partir de dados de nuvem de pontos de uma pluralidade de quadros de acordo com a modalidade 5.

[0047] A figura 36 é um diagrama ilustrando um exemplo de combinação de quadro de acordo com a modalidade 5.

[0048] A figura 37 é um diagrama ilustrando um exemplo de combinação de uma pluralidade de quatros de acordo com a modalidade 5.

[0049] A figura 38 é um fluxograma de um processo de codificação de dados tridimensionais de acordo com a modalidade 5.

[0050] A figura 39 é um fluxograma de um processo de codificação de acordo com a modalidade 5.

[0051] A figura 40 é um fluxograma de um processo de decodificação de dados tridimensionais de acordo com a modalidade 5.

[0052] A figura 41 é um fluxograma de um processo de decodificação e divisão de acordo com a modalidade 5.

[0053] A figura 42 é um diagrama em bloco ilustrando um codificador de acordo com a modalidade 5.

[0054] A figura 43 é um diagrama em bloco ilustrando um divisor de acordo com a modalidade 5.

[0055] A figura 44 é um diagrama em bloco ilustrando um codificador de informação de geometria de acordo com a modalidade 5.

[0056] A figura 45 é um diagrama em bloco ilustrando um codificador de informação de atributo de acordo com a modalidade 5.

[0057] A figura 46 é um fluxograma de um processo de codificação de dados de nuvem de pontos de acordo com a modalidade 5.

[0058] A figura 47 é um fluxograma de um processo de codificação de acordo com a modalidade 5.

[0059] A figura 48 é um diagrama em bloco ilustrando um decodificador de acordo com a modalidade 5.

[0060] A figura 49 é um diagrama em bloco ilustrando um decodificador de informação de geometria de acordo com a modalidade

5.

[0061] A figura 50 é um diagrama em bloco ilustrando um decodificador de informação de atributo de acordo com a modalidade 5.

[0062] A figura 51 é um diagrama em bloco ilustrando um combinador de acordo com a modalidade 5.

[0063] A figura 52 é um fluxograma de um processo de decodificação de dados de nuvem de pontos de acordo com a modalidade 5.

[0064] A figura 53 é um fluxograma de um processo de decodificação de acordo com a modalidade 5.

[0065] A figura 54 é um diagrama ilustrando um exemplo de padrão de combinação de quadro de acordo com a modalidade 5.

[0066] A figura 55 é um diagrama ilustrando um exemplo de configuração de quadros PCC de acordo com a modalidade 5.

[0067] A figura 56 é um diagrama ilustrando uma configuração de informação de geometria codificada de acordo com a modalidade 5.

[0068] A figura 57 é um diagrama ilustrando um exemplo de sintaxe de um cabeçalho de informação de geometria codificada de acordo com a modalidade 5.

[0069] A figura 58 é um diagrama ilustrando um exemplo de sintaxe de uma carga útil de informação de geometria codificada de acordo com a modalidade 5.

[0070] A figura 59 é um diagrama ilustrando um exemplo de informação de nó folha de acordo com a modalidade 5.

[0071] A figura 60 é um diagrama ilustrando um exemplo da informação de nó folha de acordo com a modalidade 5.

[0072] A figura 61 é um diagrama ilustrando um exemplo de informação de mapa bit de acordo com a modalidade 5.

[0073] A figura 62 é um diagrama ilustrando uma configuração de informação de atributo codificada de acordo com a modalidade 5.

[0074] A figura 63 é um diagrama ilustrando um exemplo de sintaxe de um cabeçalho de informação de atributo codificada de acordo com a modalidade 5.

[0075] A figura 64 é um diagrama ilustrando um exemplo de sintaxe de uma carga útil de informação de atributo codificada de acordo com a modalidade 5.

[0076] A figura 65 é um diagrama ilustrando uma configuração de dados codificados de acordo com a modalidade 5.

[0077] A figura 66 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0078] A figura 67 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0079] A figura 68 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0080] A figura 69 é um diagrama ilustrando um exemplo em que parte de quadros é decodificada de acordo com a modalidade 5.

[0081] A figura 70 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0082] A figura 71 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0083] A figura 72 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0084] A figura 73 é um diagrama ilustrando uma ordem de transmissão e uma relação de referência de dados de acordo com a modalidade 5.

[0085] A figura 74 é um fluxograma de um processo de codificação de acordo com a modalidade 5.

[0086] A figura 75 é um fluxograma de um processo de decodificação de acordo com a modalidade 5.

DESCRIÇÃO DE MODALIDADES EXEMPLARES

[0087] Um método de codificação de dados tridimensionais de acordo com um aspecto da presente invenção inclui: combinar primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos; e codificar os terceiros dados de nuvem de pontos para gerar dados codificados, em que os dados codificados incluem informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos.

[0088] Portanto, o método de codificação de dados tridimensionais pode melhorar a eficiência de codificação ao codificar partes de dados de nuvem de pontos todas de uma vez.

[0089] Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos podem ser dados de nuvem de pontos tendo tempos diferentes.

[0090] Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos podem ser dados de nuvem de pontos de um mesmo objeto e tendo tempos diferentes.

[0091] Por exemplo, os dados codificados podem incluir informação de geometria e informação de atributo de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos, e a informação de identificação pode ser incluída na informação de atributo.

[0092] Por exemplo, os dados codificados podem incluir informação de geometria em que uma posição de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos é expressa usando uma árvore N-ária, N sendo um inteiro superior a ou igual a 2.

[0093] Um método de decodificação de dados tridimensionais de acordo com um aspecto da presente invenção inclui: decodificar dados codificados para obter terceiros dados de nuvem de pontos e informação de identificação, os terceiros dados de nuvem de pontos sendo gerados combinando primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos, a informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos; e separar os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos dos terceiros dados de nuvem de pontos, usando a informação de identificação.

[0094] Portanto, o método de decodificação de dados tridimensionais pode decodificar dados codificados cuja eficiência de codificação foi melhorada ao ter partes de dados de nuvem de pontos codificadas todas de uma vez.

[0095] Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos podem ser dados de nuvem de pontos tendo tempos diferentes.

[0096] Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos podem ser dados de nuvem de pontos de um mesmo objeto e tendo tempos diferentes.

[0097] Por exemplo, os dados codificados podem incluir informação de geometria e informação de atributo de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos, e a informação de identificação pode ser incluída na informação de atributo.

[0098] Por exemplo, os dados codificados podem incluir informação de geometria em que uma posição de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos é expressa usando uma árvore N-ária, N sendo um inteiro superior a ou igual a 2.

[0099] Um dispositivo de codificação de dados tridimensionais de acordo com um aspecto da presente invenção inclui: um processador; e memória, em que, usando a memória, o processador: combina primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos; e codifica os terceiros dados de nuvem de pontos para gerar dados codificados, em que os dados codificados incluem informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos.

[0100] Portanto, o dispositivo de codificação de dados tridimensionais pode melhorar a eficiência de codificação ao codificar partes ou dados de nuvem de pontos todos de uma vez.

[0101] Um dispositivo de decodificação de dados tridimensionais de acordo com um aspecto da presente invenção inclui: um processador; e memória, em que, usando a memória, o processador: decodifica dados codificados para obter terceiros dados de nuvem de pontos e informação de identificação, os terceiros dados de nuvem de pontos sendo gerados combinando primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos, a informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos; e separa os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos dos terceiros dados de nuvem de pontos, usando a informação de identificação.

[0102] Portanto, o dispositivo de decodificação de dados tridimensionais pode decodificar dados codificados cuja eficiência de codificação foi melhorada ao ter partes de dados de nuvem de pontos codificadas todas de uma vez.

[0103] Note-se que esses aspectos gerais ou específicos podem ser implementados como um sistema, um método, um circuito integrado, um programa de computador, ou um meio de gravação legível por computador, tal como um CD-ROM, ou podem ser implementados como qualquer combinação de um sistema, um método, um circuito integrado, um programa de computador e um meio de gravação.

[0104] A seguir são descritas as modalidades com referência aos desenhos. Note-se que as modalidades a seguir ilustram as modalidades ilustrativas da presente descrição. Os valores numéricos, formatos, materiais, componentes estruturais, a disposição e conexão dos componentes estruturais, etapas, a ordem de processamento das etapas, etc., ilustrados nas modalidades a seguir são meramente exemplos e, dessa forma, não devem limitar a presente descrição. Dos componentes estruturais descritos nas modalidades a seguir, os componentes estruturais não mencionados em qualquer uma das reivindicações independentes, que indicam os conceitos mais amplos, serão descritos como componentes estruturais opcionais. Modalidade 1

[0105] Quando da utilização de dados codificados de uma nuvem de pontos em um dispositivo ou para um serviço na prática, a informação necessária para o aplicativo é transmitida e recebida de forma desejável a fim de reduzir a largura de banda da rede. No entanto, estruturas de codificação convencionais para os dados tridimensionais não apresentam tal função, e também não há método de codificação para tal função.

[0106] A modalidade 1 descrita abaixo se refere a um método de codificação de dados tridimensionais e a um dispositivo de codificação de dados tridimensionais para dados codificados de uma nuvem de pontos tridimensional que fornece uma função de transmissão e recepção da informação necessária para um aplicativo, um método de decodificação de dados tridimensionais e um dispositivo de decodificação de dados tridimensionais para decodificar os dados codificados, um método de multiplexação de dados tridimensionais para multiplexar os dados codificados e um método de transmissão de dados tridimensionais para transmitir os dados codificados.

[0107] Em particular, atualmente, um primeiro método de codificação e um segundo método de codificação estão sob investigação como métodos de codificação (esquemas de codificação) para os dados de nuvem de pontos. No entanto, não existe qualquer método definido para armazenar a configuração dos dados codificados e os dados codificados em um formato de sistema. Dessa forma, existe um problema no qual um codificador não pode realizar um processo MUX (multiplexação), transmissão ou acúmulo de dados.

[0108] Ainda, não há método para suportar um formato que envolva dois codecs, o primeiro método de codificação e o segundo método de codificação, tal como Compressão de Nuvem de Pontos (PCC).

[0109] Com relação a essa modalidade, uma configuração de dados codificados PCC, que envolve dois codecs, um primeiro método de codificação e um segundo método de codificação, e um método de armazenamento dos dados codificados em um formato de sistema serão descritos.

[0110] Uma configuração de um sistema de codificação e decodificação de dados tridimensionais (dados de nuvem de pontos), de acordo com essa modalidade, será descrita primeiramente. A figura 1 é um diagrama ilustrando um exemplo de uma configuração do sistema de codificação e decodificação de dados tridimensionais, de acordo com essa modalidade. Como ilustrado na figura 1, o sistema de codificação e decodificação de dados tridimensionais inclui o sistema de codificação de dados tridimensionais 4601, o sistema de decodificação de dados tridimensionais 4602, o terminal de sensor 4603 e o conector externo 4604.

[0111] O sistema de codificação de dados tridimensionais 4601 gera dados codificados ou dados multiplexados pela codificação de dados de nuvem de pontos, que são os dados tridimensionais. O sistema de codificação de dados tridimensionais 4601 pode ser um dispositivo de codificação de dados tridimensionais implementado por um único dispositivo ou um sistema implementado por uma pluralidade de dispositivos. O dispositivo de codificação de dados tridimensionais pode incluir uma parte de uma pluralidade de processadores incluídos no sistema de codificação de dados tridimensionais 4601.

[0112] O sistema de codificação de dados tridimensionais 4601 inclui sistema de geração de dados de nuvem de pontos 4611, o apresentador 4612, o codificador 4613, o multiplexador 4614, a unidade de entrada/saída 4615 e o controlador 4616. O sistema de geração de dados de nuvem de pontos 4611 inclui obtentor de informação de sensor 4617 e gerador de dados de nuvem de pontos 4618.

[0113] O obtentor de informação de sensor 4617 obtém informação de sensor a partir do terminal de sensor 4603 e envia a informação de sensor para o gerador de dados de nuvem de pontos 4618. O gerador de dados de nuvem de pontos 4618 gera os dados de nuvem de pontos a partir da informação de sensor, e envia os dados de nuvem de pontos para o codificador 4613.

[0114] O apresentador 4612 apresenta a informação de sensor ou os dados de nuvem de pontos para um usuário. Por exemplo, o apresentador 4612 exibe a informação ou uma imagem com base na informação de sensor ou dados de nuvem de pontos.

[0115] O codificador 4613 codifica (comprime) os dados de nuvem de pontos, e envia os dados codificados resultantes, a informação de controle (informação de sinalização) obtida no curso da codificação e outra informação adicional para o multiplexador 4614. A informação adicional inclui a informação de sensor, por exemplo.

[0116] O multiplexador 4614 gera os dados multiplexados pela multiplexação dos dados codificados, da informação de controle e da informação adicional registrados a partir do codificador 4613. Um formato de dados multiplexados é um formato de arquivo para acúmulo ou um formato de pacote para transmissão, por exemplo.

[0117] A unidade de entrada/saída 4615 (uma unidade de comunicação ou interface, por exemplo) envia os dados multiplexados para o exterior. Alternativamente, os dados multiplexados podem ser acumulados em um acumulador, tal como uma memória interna. O controlador 4616 (ou um executor de aplicativo) controla cada processador. Isso é, o controlador 4616 controla a codificação, a multiplexação ou outro processamento.

[0118] Note-se que a informação de sensor pode ser registrada no codificador 4613 ou multiplexador 4614. Alternativamente, a unidade de entrada/saída 4615 pode enviar os dados de nuvem de pontos ou os dados codificados para fora como estão.

[0119] Um sinal de transmissão (dados multiplexados), enviado a partir do sistema de codificação de dados tridimensionais 4601, é registrado no sistema de decodificação de dados tridimensionais 4602 através do conector externo 4604.

[0120] O sistema de decodificação de dados tridimensionais 4602 gera os dados de nuvem de pontos, que são os dados tridimensionais, pela decodificação dos dados codificados ou dados multiplexados. Note-se que o sistema de decodificação de dados tridimensionais 4602 pode ser um dispositivo de decodificação de dados tridimensionais implementado por um único dispositivo ou um sistema implementado por uma pluralidade de dispositivos. O dispositivo de decodificação de dados tridimensionais pode incluir uma parte de uma pluralidade de processadores incluída no sistema de decodificação de dados tridimensionais 4602.

[0121] O sistema de decodificação de dados tridimensionais 4602 inclui o obtentor de informação de sensor 4621, unidade de entrada/saída 4622, desmultiplexador 4623, decodificador 4624, apresentador 4625, interface de usuário 4626 e controlador 4627.

[0122] O obtentor de informação de sensor 4621 obtém a informação de sensor a partir do terminal de sensor 4603.

[0123] A unidade de entrada/saída 4622 obtém o sinal de transmissão, decodifica o sinal de transmissão em dados multiplexados (formato de arquivo ou pacote) e envia os dados multiplexados para o desmultiplexador 4623.

[0124] O desmultiplexador 4623 obtém os dados codificados, a informação de controle e a informação adicional a partir dos dados multiplexados, e envia os dados codificados, a informação de controle e a informação adicional para o decodificador 4624.

[0125] O decodificador 4624 reconstrói os dados de nuvem de pontos pela decodificação dos dados codificados.

[0126] O apresentador 4625 apresenta os dados de nuvem de pontos para um usuário. Por exemplo, o apresentador 4625 exibe a informação ou uma imagem com base nos dados de nuvem de pontos. A interface de usuário 4626 obtém uma indicação com base em uma manipulação realizada pelo usuário. O controlador 4627 (ou um executor de aplicativo) controla cada processador. Isso é, o controlador 4627 controla a desmultiplexação, a decodificação, a apresentação ou outro processamento.

[0127] Note-se que a unidade de entrada/saída 4622 pode obter os dados de nuvem de pontos ou dados codificados como são a partir do exterior. O apresentador 4625 pode obter informação adicional, tal como informação de sensor, e apresentar a informação com base na informação adicional. O apresentador 4625 pode realizar uma apresentação com base em uma indicação de um usuário, obtida na interface de usuário 4626.

[0128] O terminal de sensor 4603 gera a informação de sensor, que é a informação obtida por um sensor. O terminal de sensor 4603 é um terminal provido com um sensor ou uma câmera. Por exemplo, o terminal de sensor 4603 é um corpo móvel, tal como um automóvel, um objeto voador, tal como uma aeronave, um terminal móvel ou uma câmera.

[0129] A informação de sensor, que pode ser gerada pelo terminal de sensor 4603, inclui (1) a distância entre o terminal de sensor 4603 e um objeto ou a refletância do objeto obtida pelo LIDAR, um radar de onda milimétrica ou um sensor de infravermelho ou (2) a distância entre uma câmera e um objeto ou a refletância do objeto, obtida por uma pluralidade de imagens de câmera monocular, ou uma imagem de câmera estéreo, por exemplo. A informação de sensor pode incluir a postura, orientação, giro (velocidade angular), posição (informação de GPS ou altitude), velocidade ou aceleração do sensor, por exemplo. A informação de sensor pode incluir temperatura do ar, pressão do ar,

umidade do ar, ou magnetismo, por exemplo.

[0130] O conector externo 4604 é implementado por um circuito integrado (LSI ou IC), um acumulador externo, comunicação com um servidor de nuvem através da Internet ou difusão, por exemplo.

[0131] A seguir, os dados de nuvem de pontos serão descritos. A figura 2 é um diagrama ilustrando uma configuração dos dados de nuvem de pontos. A figura 3 é um diagrama ilustrando um exemplo de configuração de um arquivo de dados descrevendo informação dos dados de nuvem de pontos.

[0132] Os dados de nuvem de pontos incluem dados em uma pluralidade de pontos. Dados em cada ponto incluem informação de geometria (coordenadas tridimensionais) e informação de atributo associada à informação de geometria. Um conjunto de uma pluralidade de tais pontos é referido como uma nuvem de pontos. Por exemplo, uma nuvem de pontos indica um formato tridimensional de um objeto.

[0133] A informação de geometria (posição), tais como as coordenadas tridimensionais, pode ser referida como geometria. Dados em cada ponto podem incluir informação de atributo (atributo) em uma pluralidade de tipos de atributos. Um tipo de atributo é cor ou refletância, por exemplo.

[0134] Uma parte da informação de atributo pode ser associada a uma parte da informação de geometria, ou a informação de atributo em uma pluralidade de tipos diferentes de atributos pode ser associada a uma parte da informação de geometria. Alternativamente, uma pluralidade de partes de informação de atributo no mesmo tipo de atributo pode ser associada a uma parte da informação de geometria.

[0135] O exemplo de configuração de um arquivo de dados ilustrado na figura 3 é um exemplo no qual a informação de geometria e a informação de atributo são associadas uma à outra em uma relação de um para um, e a informação de geometria e a informação de atributo em

N pontos formando os dados de nuvem de pontos são ilustradas.

[0136] A informação de geometria é a informação em três eixos geométricos, especificamente, um eixo geométrico x, um eixo geométrico y e um eixo geométrico z, por exemplo. A informação de atributo é a informação de cor RGB, por exemplo. Um arquivo de dados representativo é o arquivo de ply, por exemplo.

[0137] A seguir, os tipos de dados de nuvem de pontos serão descritos. A figura 4 é um diagrama ilustrando tipos de dados de nuvem de pontos. Como ilustrado na figura 4, os dados de nuvem de pontos incluem um objeto estático e um objeto dinâmico.

[0138] O objeto estático são dados de nuvem de pontos tridimensionais em um momento arbitrário (um momento no tempo). O objeto dinâmico são dados de nuvem de pontos tridimensionais que variam com o tempo. A seguir, os dados de nuvem de pontos tridimensionais associados com um momento no tempo serão referidos como um quadro PCC ou um quadro.

[0139] O objeto pode ser uma nuvem de pontos cuja faixa é limitada até determinado ponto, tais como dados de vídeo comuns, ou pode ser uma nuvem de pontos grande cuja faixa não está limitada, tal como informação de mapa.

[0140] Existem dados de nuvem de pontos possuindo densidades variáveis. Pode haver dados de nuvem de pontos esparsos e dados de nuvem de pontos densos.

[0141] A seguir, cada processador será descrito em detalhes. A informação de sensor é obtida por vários meios, incluindo um sensor de distância, tal como LIDAR, ou um telêmetro, uma câmera estéreo, ou uma combinação de uma pluralidade de câmeras monoculares. O gerador de dados de nuvem de pontos 4618 gera dados de nuvem de pontos com base na informação do sensor obtida pelo obtentor de informação de sensor 4617. O gerador de dados de nuvem de pontos

4618 gera a informação de geometria como os dados de nuvem de pontos, e adiciona informação de atributo associada à informação de geometria à informação de geometria.

[0142] Quando da geração da informação de geometria ou adição da informação de atributo, o gerador de dados de nuvem de pontos 4618 pode processar os dados de nuvem de pontos. Por exemplo, o gerador de dados de nuvem de pontos 4618 pode reduzir a quantidade de dados pela omissão da nuvem de pontos cuja posição coincide com a posição de outra nuvem de pontos. O gerador de dados de nuvem de pontos 4618 também pode converter a informação de geometria (tal como mudança, rotação ou normalização da posição) ou criar a informação de atributo.

[0143] Note-se que apesar de a figura 1 ilustrar o sistema de geração de dados de nuvem de pontos 4611 como sendo incluído no sistema de codificação de dados tridimensionais 4601, o sistema de geração de dados de nuvem de pontos 4611 pode ser provido independentemente fora do sistema de codificação de dados tridimensionais 4601.

[0144] O codificador 4613 gera dados codificados pela codificação de dados de nuvem de pontos de acordo com um método de codificação previamente definido. Em geral, existem dois tipos de métodos de codificação descritos abaixo. Um é um método de codificação utilizando a informação de geometria, que será referido como um primeiro método de codificação, daqui em diante. O outro é um método de codificação utilizando um codec de vídeo, que será referido como um segundo método de codificação, daqui em diante.

[0145] O decodificador 4624 decodifica os dados codificados em dados de nuvem de pontos utilizando o método de codificação previamente definido.

[0146] O multiplexador 4614 gera dados multiplexados pela multiplexação dos dados codificados em um método de multiplexação existente. Os dados multiplexados gerados são transmitidos ou acumulados. O multiplexador 4614 multiplexa não apenas os dados codificados por PCC, mas também outro meio, tal como um vídeo, um áudio, legendas, um aplicativo, ou um arquivo, ou informação de tempo de referência. O multiplexador 4614 pode, ainda, multiplexar a informação de atributo associada à informação de sensor ou dados de nuvem de pontos.

[0147] Esquemas de multiplexação ou formatos de arquivo incluem ISOBMFF, MPEG-DASH, que é um esquema de transmissão com base em ISOBMFF, MMT, sistemas MPEG-2 TS, ou RMP, por exemplo.

[0148] O desmultiplexador 4623 extrai dados codificados por PCC, outros meios, informação de tempo e similares dos dados multiplexados.

[0149] A unidade de entrada/saída 4615 transmite os dados multiplexados em um método adequado para o meio de transmissão ou meio de acúmulo, tal como difusão ou comunicação. A unidade de entrada/saída 4615 pode se comunicar com outro dispositivo através da Internet ou se comunicar com um acumulador, tal como um servidor de nuvem.

[0150] Como um protocolo de comunicação, http, ftp, TCP, UDP ou similares é utilizado. O esquema de comunicação pull ou o esquema de comunicação push pode ser utilizado.

[0151] Uma transmissão com fio ou uma transmissão sem fio pode ser utilizada. Para a transmissão com fio, Ethernet (marca registrada), USB, RS-233C, HDMI (marca registrada) ou um cabo coaxial pode ser utilizado, por exemplo. Para a transmissão sem fio, LAN sem fio, Wi-Fi (marca registrada), Bluetooth (marca registrada), ou uma onda milimétrica é utilizado, por exemplo.

[0152] Como um esquema de difusão, DVB-T2, DVB-S2, DVB-C2,

ATSC3.0, ou ISDB-S3 é utilizado, por exemplo.

[0153] A figura 5 é um diagrama ilustrando uma configuração do primeiro codificador 4630, que é um exemplo do codificador 4613 que realiza codificação no primeiro método de codificação. A figura 6 é um diagrama em bloco ilustrando o primeiro codificador 4630. O primeiro codificador 4630 gera dados codificados (sequência codificada) pela codificação de dados de nuvem de pontos no primeiro método de codificação. O primeiro codificador 4630 inclui codificador de informação de geometria 4631, codificador de informação de atributo 4632, codificador de informação adicional 4633 e multiplexador 4634.

[0154] O primeiro codificador 4630 é caracterizado pela realização da codificação mantendo a estrutura tridimensional em mente. O primeiro codificador 4630 é ainda caracterizado pelo fato do codificador de informação de atributo 4632 realizar a codificação utilizando a informação obtida a partir do codificador de informação de geometria

4631. O primeiro método de codificação é referido também como PCC com base em geometria (GPCC).

[0155] Os dados de nuvem de pontos são dados de nuvem de pontos PCC como um arquivo PLY ou dados de nuvem de pontos PCC gerados a partir da informação de sensor, e incluem informação de geometria (posição), informação de atributo (atributo) e outras informações adicionais (metadados). A informação de geometria é registrada no codificador de informação de geometria 4631, a informação de atributo é registrada no codificador de informação de atributo 4632 e a informação adicional é registrada no codificador de informação adicional 4633.

[0156] O codificador de informação de geometria 4631 gera informação de geometria codificada (geometria comprimida), que são dados codificados, pela codificação da informação de geometria. Por exemplo, o codificador de informação de geometria 4631 codifica a informação de geometria utilizando uma estrutura de árvore N-ária, tal como uma octree. Especificamente, no caso de uma octree, um espaço atual é dividido em oito nós (subespaços), informação de 8 bits (código de ocupação) que indica se cada nó inclui uma nuvem de pontos, ou não, é gerada. Um nó incluindo uma nuvem de pontos é ainda dividido em oito nós, e a informação de 8 bits, que indica se cada um dos oito nós inclui uma nuvem de pontos, ou não, é gerada. Esse processo é repetido até que um nível predeterminado seja alcançado ou o número de nuvens de pontos, incluído em cada nó, se torne igual a ou inferior a um limite.

[0157] O codificador de informação de atributo 4632 gera a informação de atributo codificada (atributo comprimido), que são dados codificados, pela codificação da informação de atributo, utilizando a informação de configuração gerada pelo codificador de informação de geometria 4631. Por exemplo, o codificador de informação de atributo 4632 determina um ponto de referência (nó de referência) que deve ser referido na codificação de um ponto atual (nó atual) a ser processado com base na estrutura octree gerada pelo codificador de informação de geometria 4631. Por exemplo, o codificador de informação de atributo 4632 se refere a um nó, cujo nó parente na octree é igual ao nó parente do nó atual, de nós periféricos ou nós vizinhos. Note-se que o método de determinação de uma relação de referência não está limitado a esse método.

[0158] O processo de codificação da informação de atributo pode incluir pelo menos um dentre um processo de quantização, um processo de previsão e um processo de codificação aritmética. Nesse caso, "se referir a" significa utilizar um nó de referência para calcular um valor previsto de informação de atributo ou utilizar um estado de um nó de referência (informação de ocupação que indica se um nó de referência inclui uma nuvem de pontos, ou não, por exemplo) para determinar um parâmetro de codificação. Por exemplo, o parâmetro de codificação é um parâmetro de quantização no processo de quantização ou um contexto, ou similar, na codificação aritmética.

[0159] O codificador de informação adicional 4633 gera informação adicional codificada (metadados comprimidos), que são dados codificados, pela codificação de dados compressíveis de informação adicional.

[0160] O multiplexador 4634 gera a sequência codificada (sequência comprimida), que são dados codificados, pela multiplexação da informação de geometria codificada, informação de atributo codificada, informação adicional codificada e outra informação adicional. A sequência codificada gerada é enviada para um processador em uma camada de sistema (não ilustrada).

[0161] A seguir, o primeiro decodificador 4640, que é um exemplo do decodificador 4624 que realiza a decodificação no primeiro método de codificação, será descrito. A figura 7 é um diagrama ilustrando uma configuração do primeiro decodificador 4640. A figura 8 é um diagrama em bloco ilustrando o primeiro decodificador 4640. O primeiro decodificador 4640 gera os dados de nuvem de pontos pela decodificação de dados codificados (sequência codificada) codificados no primeiro método de codificação no primeiro método de codificação. O primeiro decodificador 4640 inclui o desmultiplexador 4641, o decodificador de informação de geometria 4642, o decodificador de informação de atributo 4643 e o decodificador de informação adicional

4644.

[0162] Uma sequência codificada (sequência comprimida), que são dados codificados, é registrada no primeiro decodificador 4640 a partir de um processador em uma camada do sistema (não ilustrada).

[0163] O desmultiplexador 4641 separa a informação de geometria codificada (geometria comprimida), informação de atributo codificada

(atributo comprimido), informação adicional codificada (metadados comprimidos) e outras informações adicionais a partir dos dados codificados.

[0164] O decodificador de informação de geometria 4642 gera a informação de geometria pela decodificação da informação de geometria codificada. Por exemplo, o decodificador de informação de geometria 4642 restaura a informação de geometria em uma nuvem de pontos representada pelas coordenadas tridimensionais a partir da informação de geometria codificada representada por uma estrutura N- ária, tal como uma octree.

[0165] O decodificador de informação de atributo 4643 decodifica a informação de atributo codificada com base na informação de configuração gerada pelo decodificador de informação de geometria

4642. Por exemplo, o decodificador de informação de atributo 4643 determina um ponto de referência (nó de referência) que deve ser referido na decodificação de um ponto atual (nó atual) a ser processado com base na estrutura octree gerada pelo decodificador de informação de geometria 4642. Por exemplo, o decodificador de informação de atributo 4643 se refere a um nó cujo nó parente na octree é igual ao nó parente do nó atual, dos nós periféricos ou nós vizinhos. Note-se que o método de determinação de uma relação de referência não está limitado a esse método.

[0166] O processo de decodificação da informação de atributo pode incluir pelo menos um dentre um processo de quantização inversa, um processo de previsão e um processo de decodificação aritmética. Nesse caso, "se referir a" significa utilizar um nó de referência para calcular um valor previsto da informação de atributo ou utilizar um estado de um nó de referência (informação de ocupação que indica se um nó de referência inclui uma nuvem de pontos ou não, por exemplo) para determinar um parâmetro de decodificação. Por exemplo, o parâmetro de decodificação é um parâmetro de quantização no processo de quantização inversa ou um contexto, ou similar, na decodificação aritmética.

[0167] O decodificador de informação adicional 4644 gera informação adicional pela decodificação da informação adicional codificada. O primeiro decodificador 4640 utiliza informação adicional necessária para o processo de decodificação para a informação de geometria e a informação de atributo na decodificação, e envia a informação adicional necessária para um aplicativo para o exterior.

[0168] A seguir, o segundo codificador 4650, que é um exemplo do codificador 4613 que realiza a codificação no segundo método de codificação, será descrito. A figura 9 é um diagrama ilustrando uma configuração do segundo codificador 4650. A figura 10 é um diagrama em bloco ilustrando o segundo codificador 4650.

[0169] O segundo codificador 4650 gera os dados codificados (sequência codificada) pela codificação dos dados de nuvem de pontos no segundo método de codificação. O segundo codificador 4650 inclui gerador de informação adicional 4651, gerador de imagem de geometria 4652, gerador de imagem de atributo 4653, codificador de vídeo 4654, codificador de informação adicional 4655 e multiplexador 4656.

[0170] O segundo codificador 4650 é caracterizado pela geração de uma imagem de geometria e uma imagem de atributo pela projeção de uma estrutura tridimensional em uma imagem bidimensional, e codificação da imagem de geometria e imagem de atributo geradas em um esquema de codificação de vídeo existente. O segundo método de codificação é referido como PCC com base em vídeo (VPCC).

[0171] Os dados de nuvem de pontos são dados de nuvem de pontos PCC como um arquivo PLY ou dados de nuvem de pontos PCC gerados a partir da informação de sensor, e incluem a informação de geometria (posição), informação de atributo (atributo) e outras informações adicionais (metadados).

[0172] O gerador de informação adicional 4651 gera a informação de mapa em uma pluralidade de imagens bidimensionais pela projeção de uma estrutura tridimensional em uma imagem bidimensional.

[0173] O gerador de imagem de geometria 4652 gera uma imagem de geometria com base na informação de geometria e na informação de mapa geradas pelo gerador de informação adicional 4651. A imagem de geometria é uma imagem de distância na qual a distância (profundidade) é indicada como um valor de pixel, por exemplo. A imagem de distância pode ser uma imagem de uma pluralidade de nuvens de pontos observadas a partir de um ponto de vista (uma imagem dentre uma pluralidade nuvens de pontos projetadas no plano bidimensional), uma pluralidade de imagens dentre uma pluralidade de nuvens de pontos observadas a partir de uma pluralidade de pontos de vista, ou uma imagem única integrando a pluralidade de imagens.

[0174] O gerador de imagem de atributo 4653 gera uma imagem de atributo com base na informação de atributo e na informação de mapa geradas pelo gerador de informação adicional 4651. A imagem de atributo é uma imagem na qual a informação de atributo (cor (RGB), por exemplo) é indicada como um valor de pixel, por exemplo. A imagem pode ser uma imagem de uma pluralidade de nuvens de pontos observadas a partir de um ponto de vista (uma imagem de uma pluralidade de nuvens de pontos projetada em um plano bidimensional), uma pluralidade de imagens dentre uma pluralidade de nuvens de pontos observadas a partir de uma pluralidade de pontos de vista, ou uma imagem única integrando a pluralidade de imagens.

[0175] O codificador de vídeo 4654 gera uma imagem de geometria codificada (imagem de geometria comprimida) e uma imagem de atributo codificada (imagem de atributo comprimida), que são dados codificados, pela codificação da imagem de geometria e da imagem de atributo em um esquema de codificação de vídeo. Note-se que, como o esquema de codificação de vídeo, qualquer método de codificação bem conhecido pode ser utilizado. Por exemplo, o esquema de codificação de vídeo é AVC ou HEVC.

[0176] O codificador de informação adicional 4655 gera a informação adicional codificada (metadados comprimidos) pela codificação da informação adicional, informação de mapa e similares incluídas nos dados de nuvem de pontos.

[0177] O multiplexador 4656 gera uma sequência codificada (sequência comprimida), que são dados codificados, pela multiplexação da imagem de geometria codificada, da imagem de atributo codificada, da informação adicional codificada e outras informações adicionais. A sequência codificada gerada é enviada para um processador em uma camada de sistema (não ilustrada).

[0178] A seguir, o segundo decodificador 4660, que é um exemplo do decodificador 4624 que realiza a decodificação no segundo método de codificação, será descrito. A figura 11 é um diagrama ilustrando uma configuração do segundo decodificador 4660. A figura 12 é um diagrama em bloco ilustrando o segundo decodificador 4660. O segundo decodificador 4660 gera os dados de nuvem de pontos pela decodificação de dados codificados (sequência codificada), codificados no segundo método de codificação, no segundo método de codificação. O segundo decodificador 4660 inclui desmultiplexador 4661, decodificador de vídeo 4662, decodificador de informação adicional 4663, gerador de informação de geometria 4664 e gerador de informação de atributo 4665.

[0179] Uma sequência codificada (sequência comprimida), que são dados codificados, é registrada para o segundo decodificador 4660 a partir de um processador em uma camada de sistema (não ilustrado).

[0180] O desmultiplexador 4661 separa uma imagem de geometria codificada (imagem de geometria comprimida), uma imagem de atributo codificada (imagem de atributo comprimida), uma informação adicional codificada (metadados comprimidos) e outra informação adicional a partir dos dados codificados.

[0181] O decodificador de vídeo 4662 gera uma imagem de geometria e uma imagem de atributo pela decodificação da imagem de geometria codificada e da imagem de atributo codificada em um esquema de codificação de vídeo. Note-se que, como o esquema de codificação de vídeo, qualquer método de codificação bem conhecido pode ser utilizado. Por exemplo, o esquema de codificação de vídeo é AVC ou HEVC.

[0182] O decodificador de informação adicional 4663 gera informação adicional incluindo a informação de mapa ou similares pela decodificação da informação adicional codificada.

[0183] O gerador de informação de geometria 4664 gera a informação de geometria a partir da imagem de geometria e da informação de mapa. O gerador de informação de atributo 4665 gera informação de atributo a partir da imagem de atributo e da informação de mapa.

[0184] O segundo decodificador 4660 utiliza informação adicional necessária para a decodificação, na decodificação, e envia a informação adicional necessária para um aplicativo para o exterior.

[0185] A seguir, um problema com o esquema de codificação por PCC será descrito. A figura 13 é um diagrama ilustrando uma pilha de protocolo referente aos dados codificados por PCC. A figura 13 ilustra um exemplo no qual os dados codificados por PCC são multiplexados com outros dados de meio, tal como um vídeo (HEVC, por exemplo) ou um áudio, e são transmitidos ou acumulados.

[0186] Um esquema de multiplexação e um formato de arquivo possuem uma função de multiplexação de vários dados codificados e transmissão ou acúmulo de dados. Para transmitir ou acumular dados codificados, os dados codificados precisam ser convertidos em um formato para o esquema de multiplexação. Por exemplo, com HEVC, uma técnica para armazenamento de dados codificados em uma estrutura de dados referida como uma unidade NAL e o armazenamento da unidade NAL em ISOBMFF é prescrita.

[0187] No momento, um primeiro método de codificação (Codec 1) e um segundo método de codificação (Codec 2) estão sob investigação como métodos de codificação para os dados de nuvem de pontos. No entanto, não existe qualquer método definido para armazenamento da configuração de dados codificados e dos dados codificados em um formato de sistema. Dessa forma, existe um problema no qual um codificador não pode realizar um processo MUX (multiplexação), transmissão ou acúmulo de dados.

[0188] Note-se que, a seguir, o termo "método de codificação" significa qualquer um dentre o primeiro método de codificação e o segundo método de codificação, a menos que um método de codificação em particular seja especificado. Modalidade 2

[0189] Na modalidade 2, um método de armazenamento da unidade NAL em um arquivo ISOBMFF será descrito.

[0190] ISOBMFF é um padrão de formato de arquivo prescrito em ISO/IEC 14496-12. ISOBMFF é um padrão que não depende de qualquer meio e prescreve um formato que permite que vários meios, tal como um vídeo, um áudio e um texto, sejam multiplexados e armazenados.

[0191] Uma estrutura básica (arquivo) de ISOBMFF será descrita. Uma unidade básica de ISOBMFF é uma caixa. Uma caixa é formada pelo tipo, comprimento e dados, e um arquivo é um conjunto de vários tipos de caixas.

[0192] A figura 14 é um diagrama ilustrando uma estrutura básica (arquivo) de ISOBMFF. Um arquivo em ISOBMFF inclui caixas, tal como ftyp que indica a marca do arquivo por um código de quatro caracteres (4CC), moov que armazena os metadados, tal como informação de controle (informação de sinalização) e mdat que armazena dados.

[0193] Um método de armazenamento de cada meio no arquivo ISOBMFF é prescrito separadamente. Por exemplo, um método de armazenamento de um vídeo AVC ou um vídeo HEVC é prescrito em ISO/IEC 14496-15. Aqui, pode ser contemplada a expansão da funcionalidade de ISOBMFF e uso de ISOBMFF para acumular ou transmitir dados codificados por PCC. No entanto, não tem havido qualquer convenção para armazenamento de dados codificados por PCC em um arquivo ISOBMFF. Nessa modalidade, um método de armazenamento de dados codificados por PCC em um arquivo ISOBMFF será descrito.

[0194] A figura 15 é um diagrama ilustrando uma pilha de protocolo em um caso no qual uma unidade NAL codec PCC comum está em um arquivo ISOBMFF. Aqui, uma unidade NAL codec PCC comum é armazenada em um arquivo ISOBMFF. Apesar da unidade NAL ser comum a codecs PCC, um método de armazenamento para cada codec (portador de Codec1, portador de Codec2) é desejavelmente prescrito, visto que uma pluralidade de codecs PCC é armazenada na unidade NAL. Modalidade 3

[0195] Nesta modalidade, tipos dos dados codificados (informação de geometria (geometria), informação de atributo (atributo) e informação adicional (metadados)) gerados pelo primeiro codificador 4630 ou segundo codificador 4650 descrito acima, um método de geração de informação adicional (metadados) e um processo de multiplexação no multiplexador serão descritos. A informação adicional (metadados) pode ser referida como um conjunto de parâmetro ou informação de controle (informação de sinalização).

[0196] Nessa modalidade, o objeto dinâmico (dados de nuvem de pontos tridimensionais que varia com o tempo) descrito acima com referência à figura 4 será descrito, por exemplo. No entanto, o mesmo método também pode ser utilizado para objeto estático (dados de nuvem de pontos tridimensionais associados com um momento arbitrário no tempo).

[0197] A figura 16 é um diagrama ilustrando as configurações do codificador 4801 e do multiplexador 4802 em um dispositivo de codificação de dados tridimensionais, de acordo com essa modalidade. O codificador 4801 corresponde ao primeiro codificador 4630 ou ao segundo codificador 4650 descrito acima, por exemplo. O multiplexador 4802 correspondem que ao multiplexador 4634 ou 4656, descritos acima.

[0198] O codificador 4801 codifica uma pluralidade de quadros PCC (compressão de nuvem de pontos) dos dados de nuvem de pontos para gerar uma pluralidade de partes de dados codificados (múltiplos dados comprimidos) da informação de geometria, informação de atributo e informação adicional.

[0199] O multiplexador 4802 integra uma pluralidade de tipos de dados (informação de geometria, informação de atributo e informação adicional) em uma unidade NAL, convertendo, assim, os dados em uma configuração de dados que leva o acesso a dados no dispositivo de decodificação em consideração.

[0200] A figura 17 é um diagrama ilustrando um exemplo de configuração dos dados codificados gerados pelo codificador 4801. As setas nos desenhos indicam uma dependência envolvida na decodificação dos dados codificados. A origem de uma seta depende dos dados do destino da seta. Isso é, o dispositivo de decodificação decodifica os dados do destino de uma seta, e decodifica os dados da origem da seta utilizando os dados decodificados. Em outras palavras, "uma primeira entidade depende de uma segunda entidade" significa que os dados da segunda entidade são referidos (utilizados) no processamento (codificação, decodificação ou similares) de dados da primeira entidade.

[0201] Primeiro, um processo de geração de dados codificados de informação de geometria será descrito. O codificador 4801 codifica a informação de geometria de cada quadro para gerar os dados de geometria codificados (dados de geometria comprimidos) para cada quadro. Os dados de geometria codificados são indicados por G(i). i denota um número de quadro ou um momento no tempo de um quadro, por exemplo.

[0202] Ainda, o codificador 4801 gera um conjunto de parâmetros de geometria (GPS(i)) para cada quadro. O conjunto de parâmetros de geometria inclui um parâmetro que pode ser utilizado para decodificação dos dados de geometria codificados. Os dados de geometria codificados para cada quadro dependem de um conjunto de parâmetros de geometria associado.

[0203] Os dados de geometria codificados formados por uma pluralidade de quadros são definidos como uma sequência de geometria. O codificador 4801 gera um conjunto de parâmetros de sequência de geometria (referido também como uma sequência de geometria PS ou geometria SPS) que armazena um parâmetro comumente utilizado para um processo de decodificação para a pluralidade de quadros na sequência de geometria. A sequência de geometria depende da geometria SPS.

[0204] A seguir, um processo de geração de dados codificados de informação de atributo será descrito. O codificador 4801 codifica informação de atributo de cada quadro para gerar os dados de atributo codificados (dados de atributo comprimidos) para cada quadro. Os dados de atributo codificados são indicados por A(i). A figura 17 ilustra um exemplo no qual existem o atributo X e o atributo Y, e os dados de atributo codificados para o atributo X são indicados por AX(i), e os dados de atributo codificados para o atributo Y são indicados por AY (i).

[0205] Ainda, o codificador 4801 gera um conjunto de parâmetros de atributo (APS(i)) para cada quadro. O conjunto de parâmetros de atributo, para o atributo X, é indicado por AXPS(i), e o conjunto de parâmetros de atributo, para o atributo Y, é indicado por AYPS(i). O conjunto de parâmetros de atributo inclui um parâmetro que pode ser utilizado para decodificar a informação de atributo codificada. Os dados de atributo codificados dependem de um conjunto de parâmetros de atributos associado.

[0206] Os dados de atributo codificados formados por uma pluralidade de quadros são definidos como uma sequência de atributos. O codificador 4801 gera um conjunto de parâmetros de sequência de atributos (referido também como sequência de atributos PS ou SPS de atributo) que armazena um parâmetro comumente utilizado para um processo de decodificação para a pluralidade de quadros na sequência de atributos. A sequência de atributos depende da SPS de atributo.

[0207] No primeiro método de codificação, os dados de atributo codificados dependem dos dados de geometria codificados.

[0208] A figura 17 ilustra um exemplo no qual existem dois tipos de informação de atributo (atributo X e atributo Y). Quando existem dois tipos de informação de atributo, por exemplo, dois codificadores geram dados e metadados para os dois tipos de informação de atributo. Por exemplo, uma sequência de atributos é definida para cada tipo de informação de atributo, e uma SPS de atributos é gerada para cada tipo de informação de atributo.

[0209] Note-se que, apesar da figura 17 ilustrar um exemplo no qual existe um tipo de informação de geometria, e existem dois tipos de informação de atributo, a presente invenção não está limitada a isso. Pode existir um tipo de informação de atributo ou três ou mais tipos de informação de atributo. Em tais casos, os dados codificados podem ser gerados da mesma forma. Se os dados de nuvem de pontos não possuírem qualquer informação de atributo, pode não haver qualquer informação de atributo. Em tal caso, o codificador 4801 não precisa gerar um conjunto de parâmetros associado à informação de atributo.

[0210] A seguir, um processo de geração de dados codificados de informação adicional (metadados) será descrito. O codificador 4801 gera um PS de sequência PCC (referido também como PS de sequência PCC ou PS de sequência), que é um conjunto de parâmetros para toda a sequência PCC. O codificador 4801 armazena um parâmetro que pode ser comumente utilizado para um processo de decodificação para uma ou mais sequências de geometria e uma ou mais sequências de atributo no PS de sequência. Por exemplo, o PS de sequência inclui informação de identificação indicando o codec para os dados de nuvem de pontos e informação indicando um algoritmo utilizado para a codificação, por exemplo. A sequência de geometria e a sequência de atributos dependem do PS de sequência.

[0211] A seguir, uma unidade de acesso e um GOF serão descritos. Nessa modalidade, os conceitos da unidade de acesso (AU) e grupo de quadros (GOF) são introduzidos recentemente.

[0212] Uma unidade de acesso é uma unidade básica para acessar dados na decodificação, e é formada por uma ou mais partes de dados e uma ou mais partes de metadados. Por exemplo, uma unidade de acesso é formada pela informação de geometria e uma ou mais partes da informação de atributo associadas a um mesmo momento no tempo. Um GOF é uma unidade de acesso randômico, e é formado por uma ou mais unidades de acesso.

[0213] O codificador 4801 gera um cabeçalho de unidade de acesso (cabeçalho AU) como a informação de identificação que indica o topo de uma unidade de acesso. O codificador 4801 armazena um parâmetro referente à unidade de acesso no cabeçalho de unidade de acesso. Por exemplo, o cabeçalho de unidade de acesso inclui uma configuração de ou informação sobre os dados codificados incluídos na unidade de acesso. O cabeçalho da unidade de acesso inclui, ainda, um parâmetro comumente utilizado para os dados incluídos na unidade de acesso, tal como um parâmetro referente à decodificação dos dados codificados.

[0214] Note-se que o codificador 4801 pode gerar um delimitador de unidade de acesso que não inclui qualquer parâmetro relacionado com a unidade de acesso, em vez do cabeçalho de unidade de acesso. O delimitador de unidade de acesso é utilizado como informação de identificação que indica o topo da unidade de acesso. O dispositivo de decodificação identifica o topo da unidade de acesso pela detecção do cabeçalho da unidade de acesso ou delimitador de unidade de acesso.

[0215] A seguir, a geração da informação de identificação para o topo de um GOF será descrita. Como a informação de identificação que indica o topo de um GOF, o codificador 4801 gera um cabeçalho GOF. O codificador 4801 armazena um parâmetro referente ao GOF no cabeçalho GOF. Por exemplo, o cabeçalho GOF inclui uma configuração de ou informação sobre os dados codificados incluídos no GOF. O cabeçalho GOF inclui, ainda, um parâmetro comumente utilizado para os dados incluídos no GOF, tal como um parâmetro relacionado com a decodificação dos dados codificados.

[0216] Note-se que o codificador 4801 pode gerar um delimitador GOF que não inclui qualquer parâmetro relacionado com GOF, em vez do cabeçalho GOF. O delimitador GOF é utilizado como informação de identificação indicando o topo do GOF. O dispositivo de decodificação identifica o topo do GOF pela detecção do cabeçalho GOF ou do delimitador GOF.

[0217] Nos dados codificados por PCC, a unidade de acesso é definida como uma unidade de quadro PCC, por exemplo. O dispositivo de decodificação acessa um quadro PCC com base na informação de identificação para o topo da unidade de acesso.

[0218] Por exemplo, o GOF é definido como uma unidade de acesso randômica. O dispositivo de decodificação acessa uma unidade de acesso randômica com base na informação de identificação para o topo do GOF. Por exemplo, se os quadros PCC forem independentes um do outro e puderem ser decodificados separadamente, um quadro PCC pode ser definido como uma unidade de acesso randômico.

[0219] Note-se que dois ou mais quadros PCC podem ser designados a uma unidade de acesso, e uma pluralidade de unidades de acesso randômico pode ser designada para um GOF.

[0220] O codificador 4801 pode definir e gerar um conjunto de parâmetros ou metadados além os descritos acima. Por exemplo, o codificador 4801 pode gerar a informação de aperfeiçoamento suplementar (SEI) que armazena um parâmetro (um parâmetro opcional) que nem sempre é utilizado para decodificação.

[0221] A seguir, uma configuração de dados codificados e um método de armazenamento de dados codificados em uma unidade NAL serão descritos.

[0222] Por exemplo, um formato de dados é definido para cada tipo de dados codificados. A figura 18 é um diagrama ilustrando um exemplo de dados codificados e uma unidade NAL.

[0223] Por exemplo, como ilustrado na figura 18, os dados codificados incluem um cabeçalho e uma carga útil. Os dados codificados podem incluir informação de comprimento indicando o comprimento (quantidade de dados) dos dados codificados, do cabeçalho ou da carga útil. Os dados codificados podem não incluir qualquer cabeçalho.

[0224] O cabeçalho inclui informação de identificação para identificar os dados, por exemplo. A informação de identificação indica um tipo de dados ou um número de quadro, por exemplo.

[0225] O cabeçalho inclui informação de identificação indicando uma relação de referência, por exemplo. A informação de identificação é armazenada no cabeçalho quando existe uma relação de dependência entre os dados, por exemplo, e permite que uma entidade se refira uma outra entidade. Por exemplo, o cabeçalho da entidade a ser referida inclui informação de identificação para identificar os dados. O cabeçalho da entidade de referência inclui informação de identificação que indica a entidade a ser referida.

[0226] Note-se que, quando a entidade a ser referida ou a entidade de referência pode ser identificada ou determinada a partir de outra informação, a informação de identificação, para identificação de dados, ou a informação de identificação, que indica a relação de referência, pode ser omitida.

[0227] O multiplexador 4802 armazena os dados codificados na carga útil da unidade NAL. O cabeçalho da unidade NAL inclui pcc_nal_unit_type, que é a informação de identificação para os dados codificados. A figura 19 é um diagrama ilustrando um exemplo de semântica de pcc_nal_unit_type.

[0228] Como ilustrado na figura 19, quando pcc_codec_type é o codec 1 (Codec1: primeiro método de codificação), os valores de 0 a 10 de pcc_nal_unit_type são designados para os dados de geometria codificados (Geometry), os dados de atributo X codificados (AttributeX), os dados de atributo Y codificados (AttributeY), PS de geometria (Geom. PS), atributo XPS (AttrX.S), atributo YPS (AttrY.PS), SPS de geometria (Geometry Sequence PS), SPS de atributo X (AttributeX Sequence PS), SPS de atributo Y (AttributeY Sequence PS), cabeçalho AU (AU

Header) e cabeçalho GOF (GOF Header) no codec 1. Os valores de 11 e superiores são reservados no codec 1.

[0229] Quando pcc_codec_type é o codec 2 (Codec2: segundo método de codificação), os valores de 0 a 2 de pcc_nal_unit_type são designados para os dados A (DataA), metadados A (MetaDataA) e metadados B (MetaDataB), no codec. Os valores de 3 ou mais são reservados no codec 2.

[0230] A seguir, uma ordem de transmissão de dados será descrita. A seguir, as restrições na ordem de transmissão de unidades NAL serão descritas.

[0231] O multiplexador 4802 transmite unidades NAL com base em GOF ou com base em AU. O multiplexador 4802 dispõe o cabeçalho GOF no topo de um GOF, e dispõe o cabeçalho AU no topo de um AU.

[0232] A fim de permitir que o dispositivo de decodificação decodifique a próxima AU e as AUs seguintes, mesmo quando dados são perdidos devido a uma perda de pacote ou similar, o multiplexador 4802 pode dispor um conjunto de parâmetros de sequência (SPS) em cada AU.

[0233] Quando houver uma relação de dependência para a decodificação entre dados codificados, o dispositivo de decodificação decodifica os dados da entidade a ser referida e, então, decodifica os dados da entidade de referência. A fim de permitir que o dispositivo de decodificação realize decodificação na ordem de recepção, sem realizar uma nova disposição dos dados, o multiplexador 4802 primeiro transmite os dados da entidade a ser referida.

[0234] A figura 20 é um diagrama ilustrando os exemplos da ordem de transmissão das unidades NAL. A figura 20 ilustra três exemplos, isto é, primeira ordem de informação de geometria, primeira ordem de parâmetro e a ordem de dados integrados.

[0235] A primeira ordem de transmissão de informação de geometria é um exemplo no qual a informação, referente à informação de geometria, é transmitida em conjunto, e a informação referente à informação de atributo é transmitida em conjunto. No caso dessa ordem de transmissão, a transmissão da informação referente à informação de geometria termina mais cedo do que a transmissão da informação referente à informação de atributo.

[0236] Por exemplo, de acordo com essa ordem de transmissão utilizada, quando o dispositivo de decodificação não decodifica a informação de atributo, o dispositivo de decodificação pode ser capaz de ter um tempo de inatividade visto que o dispositivo de decodificação pode omitir a decodificação da informação de atributo. Quando o dispositivo de decodificação precisa decodificar a informação de geometria cedo, o dispositivo de decodificação pode ser capaz de decodificar a informação de geometria mais cedo, visto que o dispositivo de decodificação obtém os dados codificados da informação de geometria mais cedo.

[0237] Note-se que, apesar de na figura 20 a SPS de atributo X e a SPS de atributo Y serem integradas e ilustradas como SPS de atributo, SPS de atributo X e SPS de atributo Y podem ser dispostas separadamente.

[0238] No conjunto de parâmetros de primeira ordem de transmissão, um conjunto de parâmetros é transmitido primeiro, e os dados são, então, transmitidos.

[0239] Como descrito acima, desde que as restrições na ordem de transmissão das unidades NAL sejam satisfeitas, o multiplexador 4802 pode transmitir as unidades NAL em qualquer ordem. Por exemplo, a informação de identificação de ordem pode ser definida, e o multiplexador 4802 pode ter uma função de transmissão das unidades NAL em uma pluralidade de ordens. Por exemplo, a informação de identificação de ordem para as unidades NAL é armazenada no PS de sequência.

[0240] O dispositivo de decodificação de dados tridimensionais pode realizar decodificação com base na informação de identificação de ordem. O dispositivo de decodificação de dados tridimensionais pode indicar uma ordem desejada de transmissão para o dispositivo de codificação de dados tridimensionais, e o dispositivo de codificação de dados tridimensionais (multiplexador 4802) pode controlar a ordem de transmissão de acordo com a ordem indicada de transmissão.

[0241] Note-se que o multiplexador 4802 pode gerar dados codificados possuindo uma pluralidade de funções misturadas uma com a outra como é o caso da ordem de transmissão de dados integrados, desde que as restrições na ordem de transmissões sejam correspondidas. Por exemplo, como ilustrado na figura 20, o cabeçalho GOF e o cabeçalho AU podem ser integrados, ou AXPS e AYPS podem ser integrados. Em tal caso, um identificador que indica os dados que possuem uma pluralidade de funções é definido em pcc_nal_unit_type.

[0242] A seguir, as variações dessa modalidade serão descritas. Existem níveis de PSs, tal como PS de nível de quadro, PS de nível de sequência e PS de nível de sequência PCC. Desde que o nível de sequência PCC seja um nível superior, e o nível de quadro seja um nível inferior, os parâmetros podem ser armazenados da forma descrita abaixo.

[0243] O valor de um PS padrão é indicado em um PS em um nível superior. Se o valor de um PS em um nível inferior diferir do valor do PS em um nível superior, o valor de PS é indicado no PS no nível inferior. Alternativamente, o valor de PS não é descrito no PS no nível superior, mas é descrito no PS no nível inferior. Alternativamente, a informação que indica se o valor de PS é indicado no PS no nível inferior, no nível superior ou em ambos os níveis é indicada em ambos ou em um dos PS no nível inferior e PS no nível superior. Alternativamente, o PS no nível inferior pode ser misturado com o PS no nível superior. Se o PS no nível inferior e o PS no nível superior se sobrepuserem um ao outro, o multiplexador 4802 pode omitir a transmissão de um dos PSs.

[0244] Note-se que o codificador 4801 ou o multiplexador 4802 pode dividir os dados em fatias ou tiles e transmitir cada uma das fatias ou tiles como dados divididos. Os dados divididos incluem informação para identificar os dados divididos, e um parâmetro utilizado para decodificar os dados divididos é incluído no conjunto de parâmetros. Nesse caso, um identificador que indica que os dados são dados referentes a um tile ou fatia, ou dados que armazenam um parâmetro, é definido em pcc_nal_unit_type. Modalidade 4

[0245] Para codificação HEVC, a fim de permitir processamento paralelo em um dispositivo de decodificação, há ferramentas de divisão de dados à base de fatia ou à base de tiles, por exemplo. No entanto, não há nenhuma ferramenta do tipo para codificação por compressão de nuvem de pontos (PCC).

[0246] Em PCC, vários métodos de divisão de dados são possíveis, dependendo do processamento paralelo, da eficiência de compressão e do algoritmo de compressão. Aqui, definições de uma fatia e um tile, uma estrutura de dados e métodos de transmissão e recepção serão descritas.

[0247] A figura 21 é um diagrama em bloco ilustrando uma configuração de um primeiro codificador 4910 incluído em um dispositivo de codificação de dados tridimensionais de acordo com essa modalidade. O primeiro codificador 4910 gera dados codificados (sequência codificada) através de codificação de dados de nuvem de pontos em um primeiro método de codificação (PCC baseado em geometria (GPCC)). O primeiro codificador 4910 inclui divisor 4911, uma pluralidade de codificadores de informação de geometria 4912, uma pluralidade de codificadores de informação de atributo 4913, codificador de informação adicional 4914 e multiplexador 4915.

[0248] O divisor 4911 gera uma pluralidade de partes de dados divididos ao dividir dados de nuvens de pontos. Especificamente, o divisor 4911 gera uma pluralidade de partes de dados divididos ao dividir um espaço de dados de nuvem de pontos em uma pluralidade de subespaços. Aqui, um subespaço é uma combinação de tiles ou fatias ou uma combinação de tiles e fatias. Mais especificamente, dados de nuvem de pontos incluem informação de geometria, informação de atributo e informação adicional. O divisor 4911 divide informação de geometria em uma pluralidade de partes de informação de geometria dividida, e divide informação de atributo em uma pluralidade de partes de informação de atributo dividida. O divisor 4911 também gera informação adicional com relação à divisão.

[0249] A pluralidade de codificadores de informação de geometria 4912 gera uma pluralidade de partes de informação de geometria codificada através da codificação de uma pluralidade de partes de informação de geometria dividida. Por exemplo, a pluralidade de codificadores de informação de geometria 4912 processa uma pluralidade de partes de informação de geometria dividida em paralelo.

[0250] A pluralidade de codificadores de informação de atributo 4913 gera uma pluralidade de partes de informação de atributo codificada através da codificação de uma pluralidade de partes de informação de atributo dividida. Por exemplo, a pluralidade de codificadores de informação de atributo 4913 processa uma pluralidade de partes de informação de atributo dividida em paralelo.

[0251] O codificador de informação adicional 4914 gera informação adicional codificada através da codificação de informação adicional incluída nos dados de nuvem de pontos e informação adicional com relação à divisão de dados gerada na divisão pelo divisor 4911.

[0252] O multiplexador 4915 gera dados codificados (sequência codificada) através da multiplexação de uma pluralidade de partes de informação de geometria codificada, uma pluralidade de partes de informação de atributo codificada e informação adicional codificada, e transmite os dados codificados gerados. A informação adicional codificada é usada para decodificação.

[0253] Note-se que, embora a figura 21 mostre um exemplo em que há dois codificadores de informação de geometria 4912 e dois codificadores de informação de atributo 4913, o número de codificadores de informação de geometria 4912 e o número de codificadores de informação de atributo 4913 pode ser um ou três ou mais. A pluralidade de partes de dados divididos pode ser processada em paralelo no mesmo chip, tal como por uma pluralidade de núcleos de uma CPU, processada em paralelo por núcleos de uma pluralidade de chips ou processada em paralelo por uma pluralidade de núcleos de uma pluralidade de chips.

[0254] A figura 22 é um diagrama em bloco ilustrando uma configuração de primeiro codificador 4920. O primeiro decodificador 4920 reproduz dados de nuvem de pontos através da decodificação dos dados codificados (sequência codificada) gerados pela codificação dos dados de nuvem de pontos no primeiro método de codificação (GPCC). O primeiro decodificador 4920 inclui desmultiplexador 4921, uma pluralidade de decodificadores de informação de geometria 4922, uma pluralidade de decodificadores de informação de atributo 4932, decodificador de informação adicional 4924 e combinador 4925.

[0255] O desmultiplexador 4921 gera uma pluralidade de partes de informação de geometria codificada, uma pluralidade de partes de informação de atributo codificada e informação adicional codificada através da desmultiplexação dos dados codificados (sequência de dados).

[0256] A pluralidade de decodificadores de informação de geometria 4922 gera uma pluralidade de partes de informação de geometria dividida através da decodificação de uma pluralidade de partes de informação de geometria codificada. Por exemplo, a pluralidade de decodificadores de informação de geometria 4922 processa uma pluralidade de partes de informação de geometria codificada em paralelo.

[0257] A pluralidade de decodificadores de informação de atributo 4923 gera uma pluralidade de partes de informação de atributo dividida através da decodificação de uma pluralidade de partes de informação de atributo codificada. Por exemplo, a pluralidade de decodificadores de informação de atributo 4923 processa uma pluralidade de partes de informação de atributo codificada em paralelo.

[0258] O decodificador de informação adicional 4924 gera informação adicional através de decodificação de informação adicional codificada.

[0259] O combinador 4925 gera informação de geometria combinando uma pluralidade de partes de informação de geometria dividida usando informação adicional. O combinador 4925 gera informação de atributo combinando uma pluralidade de partes de informação de atributo dividida usando informação adicional.

[0260] Note-se que, embora a figura 22 mostre um exemplo em que há dois decodificadores de informação de geometria 4922 e dois decodificadores de informação de atributo 4923, o número de decodificadores de informação de geometria 4922 e o número de decodificadores de informação de atributo 4923 podem ser um ou três ou mais. A pluralidade de partes de dados divididos pode ser processada em paralelo no mesmo chip, tal como por uma pluralidade de núcleos de uma CPU, processada em paralelo por núcleos de uma pluralidade de chips ou processada em paralelo por uma pluralidade de núcleos de uma pluralidade de chips.

[0261] Em seguida, uma configuração de divisor 4911 será descrita. A figura 23 é um diagrama em bloco ilustrando divisor 4911. O divisor 4911 inclui divisor em fatias 4931, divisor em tile de informação de geometria (divisor em tile de geometria) 4932, divisor em tile de informação de atributo (divisor em tile de atributo) 4933.

[0262] O divisor em fatias 4931 gera uma pluralidade de partes de informação de geometria em fatia ao dividir a informação de geometria (posição (geometria)) em fatias. O divisor em fatias 4931 também gera uma pluralidade de partes de informação de atributo em fatias ao dividir a informação de atributo (atributo) em fatias. O divisor em fatias 4931 também envia informação adicional em fatias (metadados em fatias) incluindo informação com relação à divisão em fatias e informação gerada na divisão em fatias.

[0263] O divisor em tile de informação de geometria 4932 gera uma pluralidade de partes de informação de geometria dividida (uma pluralidade de partes de informação de geometria em tile) ao dividir a pluralidade de partes de informação de geometria em fatias em tile. O divisor em tile de informação de geometria 4932 também envia informação adicional em tile de geometria (metadados em tile de geometria) incluindo informação com relação a divisão em tile de informação de geometria e informação gerada na divisão em tile de informação de geometria.

[0264] O divisor em tile de informação de atributo 4933 gera uma pluralidade de partes de informação de atributo dividida (uma pluralidade de partes de informação de atributo em tile) ao dividir uma pluralidade de partes de informação de atributo em fatias em tiles. O divisor em tile de informação de atributo 4933 também envia informação adicional em tile de atributo (metadados em tile de atributo) incluindo informação com relação à divisão em tile de informação de atributo e informação gerada na divisão em tile de informação de atributo.

[0265] Note-se que o número de fatias ou tiles gerados por divisão é igual a ou superior a 1. Isto é, a divisão em fatia ou a divisão em tile pode não ser realizada.

[0266] Embora um exemplo em que a divisão em tile é realizada após divisão em fatia tenha sido mostrado aqui, divisão em fatia pode ser realizada após divisão em tile. Alternativamente, outras unidades de divisão podem ser definidas em adição à fatia e tile, e a divisão pode ser realizada com base em três ou mais unidades de divisão.

[0267] Daqui em diante, o método de divisão para dados de nuvem de pontos será descrito. A figura 24 é um diagrama ilustrando um exemplo de divisão em fatia e tile.

[0268] Primeiro, o método para divisão em fatia será descrito. O divisor 4911 divide dados de nuvem de pontos tridimensionais em nuvens de ponto arbitrárias em uma base fatia-por-fatia. Na divisão em fatia, o divisor 4911 não divide os pontos constituindo a informação de geometria e a informação de atributo, mas divide coletivamente a informação de geometria e a informação de atributo. Isto é, o divisor 4911 realiza divisão em fatia de modo que a informação de geometria e a informação de atributo de um ponto arbitrário pertencem à mesma fatia. Note-se que, contanto que esses sejam seguidos, o número de divisões e o método de divisão podem ser qualquer número e qualquer método. Ainda, a unidade mínima de divisão é um ponto. Por exemplo, os números de divisões de informação de geometria e informação de atributo são os mesmos. Por exemplo, um ponto tridimensional correspondendo à informação de geometria após divisão em fatia e um ponto tridimensional correspondendo à informação de atributo são incluídos na mesma fatia.

[0269] Também, o divisor 4911 gera informação adicional de fatia, que é informação adicional relacionada com o número de divisões e o método de divisão no momento de divisão em fatia. A informação adicional de fatia é a mesma para informação de geometria e informação de atributo. Por exemplo, a informação adicional de fatia inclui a informação indicando a posição de coordenada de referência, tamanho ou comprimento lateral de uma caixa delimitadora após divisão. Também, a informação adicional de fatia inclui a informação indicando o número de divisões, o tipo de divisão, etc.

[0270] Em seguida, o método para divisão em tile será descrito. O divisor 4911 divide os dados divididos em fatias em informação de geometria de fatia (fatia G) e informação de atributo de fatia (Fatia A), e divide cada uma da informação de geometria de fatia e da informação de atributo de fatia em uma base tile-por-tile.

[0271] Note-se que, embora a figura 24 ilustre o exemplo em que divisão é realizada com uma estrutura octree, o número de divisões e o método de divisão podem ser qualquer número e qualquer método.

[0272] Também, o divisor 4911 pode dividir informação de geometria e informação de atributo com métodos de divisão diferentes ou pode dividir informação de geometria e informação de atributo com o mesmo método de divisão. Ainda, o divisor 4911 pode dividir uma pluralidade de fatias em tiles com métodos de divisão diferentes ou pode dividir uma pluralidade de fatias em tiles com o mesmo método de divisão.

[0273] Ainda, o divisor 4911 gera informação adicional de tile em relação ao número de divisões e o método de divisão no momento de divisão em tiles. A informação adicional de tiles (informação adicional de tile de geometria e informação adicional de tile de atributo) é separada para informação de geometria e informação de atributo. Por exemplo, a informação adicional de tile inclui a informação indicando a posição de coordenada de referência, tamanho ou comprimento lateral de uma caixa delimitadora após divisão. Adicionalmente, a informação adicional de tile inclui a informação indicando o número de divisões, o tipo de divisão, etc.

[0274] Em seguida, um exemplo do método de divisão de dados de nuvem de pontos em fatias ou tiles será descrito. Como o método para divisão em fatia ou tile, o divisor 4911 pode usar um método predeterminado ou pode mudar adaptativamente métodos a serem usados de acordo com dados de nuvem de pontos.

[0275] No momento da divisão em fatia, o divisor 4911 divide um espaço tridimensional ao manusear coletivamente informação de geometria e informação de atributo. Por exemplo, o divisor 4911 determinar o formato de um objeto, e divide um espaço tridimensional em fatias de acordo com o formato do objeto. Por exemplo, o divisor 4911 extrai objetos, tais como árvores ou construções, e realiza divisão em uma base objeto-por-objeto. Por exemplo, o divisor 4911 realiza divisão em fatia de modo que um inteiro ou uma pluralidade de objetos é incluído em uma fatia. Alternativamente, o divisor 4911 divide um objeto em uma pluralidade de fatias.

[0276] Nesse caso, o dispositivo de codificação pode mudar o método de codificação para cada fatia, por exemplo. Por exemplo, o dispositivo de codificação pode usar um método de compressão de alta qualidade para um objeto específico ou uma parte específica do objeto. Nesse caso, o dispositivo de codificação pode armazenar a informação indicando o método de codificação para cada fatia em informação adicional (metadados).

[0277] Também, o divisor 4911 pode realizar divisão em fatia de modo que cada fatia corresponde a um espaço de coordenadas predeterminado com base em informação de mapa ou informação de geometria.

[0278] No momento da divisão em tile, o divisor 4911 divide separadamente informação de geometria e informação de atributo. Por exemplo, o divisor 4911 divide fatias em tiles de acordo com a quantidade de dados ou a quantidade de processamento. Por exemplo, o divisor 4911 determina se a quantidade de dados de uma fatia (por exemplo, o número de pontos tridimensionais incluídos em uma fatia) é maior do que um valor limite predeterminado. Quando a quantidade de dados da fatia é maior do que o valor limite, o divisor 4911 divide fatias em tiles. Quando a quantidade de dados da fatia é menos do que o valor limite, o divisor 4911 não divide fatias em tiles.

[0279] Por exemplo, o divisor 4911 divide fatias em tiles de modo que a quantidade de processamento ou o tempo de processamento no dispositivo de codificação esteja dentro de uma certa faixa (igual a ou menos do que um valor predeterminado). Sendo assim, a quantidade de processamento por tile no dispositivo de decodificação se torna constante, e processamento distribuído no dispositivo de codificação se torna fácil.

[0280] Ainda, quando a quantidade de processamento é diferente entre informação de geometria e informação de atributo, por exemplo, quando a quantidade de processamento de informação de geometria é maior do que a quantidade de processamento de informação de atributo, o divisor 4911 torna o número de divisões de informação de geometria maior do que o número de divisões de informação de atributo.

[0281] Ainda, por exemplo, quando informação de geometria pode ser decodificada e exibida antes, e informação de atributo pode ser decodificada e exibida lentamente depois no dispositivo de codificação de acordo com os conteúdos, o divisor 4911 pode tornar o número de divisões de informação de geometria maior do que o número de divisões de informação de atributo. Portanto, uma vez que o dispositivo de decodificação pode aumentar o número paralelo de informação de geometria, é possível fazer o processamento de informação de geometria mais rápido do que o processamento de informação de atributo.

[0282] Note-se que o dispositivo de decodificação não tem que necessariamente processar dados fatiados ou em tile em paralelo, e pode determinar se ou não processá-los em paralelo de acordo com o número ou capacidade de processadores de decodificação.

[0283] Ao realizar divisão com o método como descrito acima, é possível obter codificação adaptativa de acordo com os conteúdos ou objetos. Também, processamento paralelo em processamento de decodificação pode ser obtido. Portanto, a flexibilidade de um sistema de codificação de nuvem de pontos ou um sistema de decodificação de nuvem de pontos é melhorada.

[0284] A figura 25 é um diagrama ilustrando exemplos de padrão de divisão de fatias e tiles. DU no diagrama é uma unidade de dados (DataUnit), e indica os dados de um tile ou uma fatia. Ainda, cada DU inclui um índice de fatia (SliceIndex) e um índice de tile (TileIndex). O valor numérico direito superior de uma DU no diagrama indica o índice de fatia, e o valor numérico esquerdo inferior da DU indica o índice de tile.

[0285] No Padrão 1, em divisão em fatia, o número de divisões e o método de divisão são iguais para fatia G e fatia A. Na divisão em tile, o número de divisões e o método de divisão para fatia G são diferentes do número de divisões e do método de divisão para a fatia A. Ainda, os mesmos número de divisões e método de divisão são usados dentre uma pluralidade de fatias G. Os mesmos número de divisões e método de divisão são usados dentre uma pluralidade de fatias A.

[0286] No Padrão 2, em divisão em fatia, o número de divisões e o método de divisão são iguais para a fatia G e para a fatia A. Na divisão em tile, o número de divisões e o método de divisão para a fatia G são diferentes do número de divisões e do método de divisão para a fatia A. Ainda, o número de divisões e o método de divisão são diferentes dentre uma pluralidade de fatias G. O número de divisões e o método de divisão são diferentes dentre uma pluralidade de fatias A.

[0287] Em seguida, um método de codificação de dados divididos será descrito. O dispositivo de codificação de dados tridimensionais (primeiro codificador 4910) codifica cada parte de dados divididos. Quando codificando informação de atributo, o dispositivo de codificação de dados tridimensionais gera, como informação adicional, informação de dependência que indica em qual informação de configuração (informação de geometria, informação adicional ou outra informação de atributo) a codificação é baseada. Isto é, a informação de dependência indica informação de configuração em um destino de referência (destino de dependência). Nesse caso, o dispositivo de codificação de dados tridimensionais gera informação de dependência com base em informação de configuração correspondendo a um padrão de divisão de informação de atributo. Note-se que o dispositivo de codificação de dados tridimensionais pode gerar informação de dependência com base em informação de configuração para uma pluralidade de padrões de divisão de informação de atributo.

[0288] A informação de dependência pode ser gerada pelo dispositivo de codificação de dados tridimensionais, e a informação de dependência gerada pode ser transmitida para um dispositivo de decodificação de dados tridimensionais. Alternativamente, o dispositivo de decodificação de dados tridimensionais pode gerar informação de dependência, e o dispositivo de codificação de dados tridimensionais pode não transmitir nenhuma informação de dependência. Alternativamente, uma dependência usada pelo dispositivo de codificação de dados tridimensionais pode ser determinada antecipadamente, e o dispositivo de codificação de dados tridimensionais pode não transmitir nenhuma informação de dependência.

[0289] A figura 26 é um diagrama ilustrando um exemplo da dependência entre dados. No desenho, o destino de uma seta indica um destino de dependência, e a origem de uma seta indica uma origem de dependência. O dispositivo de decodificação de dados tridimensionais primeiro decodifica dados referentes a um destino de dependência e então decodifica dados referentes a uma origem de dependência. Os dados indicados por uma linha sólida no desenho são dados que são realmente transmitidos, e dados indicados por uma linha pontilhada são dados que não são transmitidos.

[0290] No desenho, G significa informação de geometria e A indica informação de atributo. Gs1 significa informação de geometria referente à fatia número 1 e Gs2 significa informação de geometria referente à fatia número 2. Gs1t1 significa informação de geometria referente à fatia número 1 e tile número 1, Gs1t2 significa informação de geometria referente à fatia número 1 e tile número 2, Gs2t1 significa informação de geometria referente à fatia número 2 e tile número 1 e Gs2t2 significa informação de geometria referente à fatia número 2 e tile número 2. Similarmente, As1 significa informação de atributo referente à fatia número 1 e As2 significa informação de atributo referente à fatia número

2. As1t1 significa informação de atributo referente à fatia número 1 e tile número 1, As1t2 significa informação de atributo referente à fatia número 1 e tile número 2, As2t1 significa informação de atributo referente à fatia número 2 e tile número 1 e As2t2 significa informação de atributo referente à fatia número 2 e tile número 2.

[0291] Mfatia significa informação adicional de fatia, MGtile significa informação adicional de tile de geometria e MAtile significa informação adicional de tile de atributo. Ds1t1 significa informação de dependência para informação de atributo As1t1 e Ds2t1 significa informação de dependência para informação de atributo As2t1.

[0292] O dispositivo de codificação de dados tridimensionais pode rearranjar os dados na ordem de decodificação de modo que o dispositivo de decodificação de dados tridimensionais não necessita rearranjar os dados. Note-se que o dispositivo de decodificação de dados tridimensionais pode rearranjar dados, ou ambos o dispositivo de codificação de dados tridimensionais e o dispositivo de decodificação de dados tridimensionais podem rearranjar os dados.

[0293] A figura 27 é um diagrama ilustrando um exemplo da ordem de decodificação de dados. No exemplo na figura 27, dados são decodificados na ordem da esquerda para a direita. Quando há uma dependência entre dados a serem decodificados, o dispositivo de decodificação de dados tridimensionais primeiro decodifica dados no destino de dependência. Por exemplo, o dispositivo de codificação de dados tridimensionais transmite os dados após rearranjar os dados nessa ordem. Note-se que a ordem pode ser qualquer ordem contanto que os dados referentes ao destino de dependência sejam primeiro decodificados. O dispositivo de codificação de dados tridimensionais pode transmitir informação adicional e informação de dependência antes da transmissão dos dados.

[0294] A figura 28 é um fluxograma ilustrando um fluxo de um processo realizado pelo dispositivo de codificação de dados tridimensionais. Primeiro, o dispositivo de codificação de dados tridimensionais codifica uma pluralidade de fatias ou tiles de dados como descrito acima (S4901). O dispositivo de codificação de dados tridimensionais então rearranja os dados de modo que os dados referentes ao destino de dependência vêm primeiro como mostrado na FIG. 27 (S4902). O dispositivo de codificação de dados tridimensionais então realiza multiplexação dos dados rearranjados (em uma unidade NAL) (S4903).

[0295] Em seguida, uma configuração de combinador 4925 incluído no primeiro decodificador 4920 será descrita. A figura 29 é um diagrama em bloco ilustrando uma configuração de combinador 4925. O combinador 4925 inclui combinador de tile de informação de geometria (combinador de tile de geometria) 4941, combinador de tile de informação de atributo (combinador de tile de atributo) 4942 e combinador de fatia 4943.

[0296] O combinador de tile de informação de geometria 4941 gera uma pluralidade de partes de informação de geometria de fatia combinando uma pluralidade de partes de informação de geometria dividida usando informação adicional de tile de geometria. O combinador de tile de informação de atributo 4942 gera uma pluralidade de partes de informação de atributo de fatia combinando uma pluralidade de partes de informação de atributo dividida usando informação adicional de tile de atributo.

[0297] O combinador de fatia 4943 gera informação de geometria combinando uma pluralidade de partes de informação de geometria de fatia usando informação adicional de fatia. O combinador de fatia 4943 também geral informação de atributo combinando uma pluralidade de partes de informação de atributo de fatia usando informação adicional de fatia.

[0298] Note-se que o número de fatias ou tiles gerados por divisão é igual a ou superior a 1. Isto é, a divisão em fatia ou divisão em tile pode não ser realizada.

[0299] Ainda, embora um exemplo onde a divisão em tile é realizada após divisão em fatia tenha sido mostrado aqui, a divisão em fatia pode ser realizada após a divisão em tile. Alternativamente, outras unidades de divisão podem ser definidas em adição à fatia e tile, e a divisão pode ser realizada com base em três ou mais unidades de divisão.

[0300] Em seguida, uma configuração de dados codificados divididos em fatias ou tile e um método de armazenamento (multiplexação) de dados codificados em uma unidade NAL serão descritos. A figura 30 é um diagrama ilustrando uma configuração de dados codificados e um método de armazenamento de dados codificados em uma unidade NAL.

[0301] Os dados codificados (informação de geometria dividida e informação de atributo dividida) são armazenados em uma carga útil de uma unidade NAL.

[0302] Os dados codificados incluem um cabeçalho e uma carga útil. O cabeçalho inclui informação de identificação para identificação de dados incluídos na carga útiç. A informação de identificação inclui um tipo (slice_type, tile_type) de divisão em fatia ou divisão em tile, informação de índice (slice_idx, tile_idx) para identificação de uma fatia ou tile ou um endereço (address) de dados, por exemplo. A informação de índice para identificação de uma fatia é referida também como um índice de fatia (SliceIndex). A informação de índice para identificação de um tile é referida também como um índice de tile (TileIndex). O tipo de divisão pode ser um esquema baseado no formato de um objeto, um esquema baseado em informação do mapa ou informação de geometria ou um esquema baseado em uma quantidade de dados ou quantidade de processamento, por exemplo.

[0303] Toda ou parte da informação descrita acima pode ser armazenada em um do cabeçalho da informação de geometria dividida e do cabeçalho da informação de atributo dividida e não ser armazenada no outro. Por exemplo, quando o mesmo método de divisão é usado para a informação de geometria e a informação de atributo, o mesmo tipo de divisão (slice_type, tile_type) e a mesma informação de índice (slice_idx, tile_idx) são usados para a informação de geometria e a informação de atributo. Portanto, essas partes de informação podem ser incluídas no cabeçalho de uma da informação de geometria e da informação de atributo. Por exemplo, quando a informação de atributo depende da informação de geometria, a informação de geometria é processada primeiro. Portanto, o cabeçalho da informação de geometria pode incluir essas partes de informação, e o cabeçalho da informação de atributo pode não incluir essas partes de informação. Nesse caso, o dispositivo de decodificação de dados tridimensionais determina que a informação de atributo referente à origem de dependência pertence à mesma fatia ou tile que a fatia ou tile da informação de geometria referente ao destino de dependência, por exemplo.

[0304] A informação adicional (informação adicional de fatia, informação adicional de tile de geometria ou informação adicional de tile de atributo) referente à divisão em fatia ou divisão em tile, informação de dependência indicando uma dependência e similar pode ser armazenada em um conjunto de parâmetros existente (GPS, APS, SPS de geometria, SPS de atributo ou similar) e transmitida. Quando o método de divisão varia com o quadro, informação indicando um método de divisão pode ser armazenada em um conjunto de parâmetros (GPS, APS ou similar) para cada quadro. Quando o método de divisão não varia em uma sequência, informação indicando um método de divisão pode ser armazenada em um conjunto de parâmetros (SPS de geometria ou SPS de atributo) para cada sequência. Ainda, quando o mesmo método de divisão é usado para a informação de geometria e a informação de atributo, informação indicando o método de divisão pode ser armazenada em um conjunto de parâmetros (OS de sequência) para a sequência de PCC.

[0305] A informação descrita acima pode ser armazenada em qualquer um dos conjuntos de parâmetros descritos acima ou pode ser armazenada em uma pluralidade de conjuntos de parâmetros. Alternativamente, o conjunto de parâmetros para divisão em tile ou divisão em fatia pode ser definido, e a informação descrita acima pode ser armazenada no conjunto de parâmetros. Alternativamente, essas partes de informação podem ser armazenadas no cabeçalho de dados codificados.

[0306] O cabeçalho de dados codificados inclui informação de identificação indicando uma dependência. Isto é, quando há uma dependência entre dados, o cabeçalho inclui informação de identificação que permite que a origem de referência se refira ao destino de dependência. Por exemplo, o cabeçalho dos dados do destino de dependência inclui informação de identificação para identificação dos dados. O cabeçalho dos dados da origem de dependência inclui informação de identificação indicando o destino de dependência. Note- se que a informação de identificação para identificação dos dados, a informação adicional referente à divisão em fatia ou divisão em tile e a informação de identificação indicando uma dependência podem ser omitidas se essas partes de informação puderem ser identificadas ou derivadas de outra informação.

[0307] Em seguida, um fluxo de um processo de codificação de dados de nuvem de pontos e um fluxo de um processo de decodificação de dados de nuvem de pontos de acordo com esta modalidade serão descritos. A figura 31 é um fluxograma de um processo de codificação de dados de nuvem de pontos de acordo com esta modalidade.

[0308] Primeiro, o dispositivo de codificação de dados tridimensionais determina um método de divisão a ser usado (S4911). O método de divisão inclui uma determinação de se realizar divisão em fatia ou não e uma determinação de se realizar divisão em tile. O método de divisão pode incluir o número de fatias ou tiles no caso onde divisão em fatia ou divisão em tile é realizada, e o tipo de divisão, por exemplo. O tipo de divisão é um esquema baseado no formato de um objeto, um esquema baseado em informação de mapa ou informação de geometria ou um esquema baseado em quantidade de dados ou quantidade de processamento, por exemplo. O método de divisão pode ser determinado antecipadamente.

[0309] Quando divisão em fatia deve ser realizada (se Sim em S4912), o dispositivo de codificação de dados tridimensionais gera uma pluralidade de partes de informação de geometria de fatia e uma pluralidade de partes de informação de atributo de fatia dividindo coletivamente a informação de geometria e a informação de atributo (S4913). O dispositivo de codificação de dados tridimensionais também gera informação adicional de fatia referente à divisão em fatia. Note-se que o dispositivo de codificação de dados tridimensionais pode dividir independentemente a informação de geometria e a informação de atributo.

[0310] Quando divisão em tile deve ser realizada (se Sim em S4914), o dispositivo de codificação de dados tridimensionais gera uma pluralidade de partes de informação de geometria dividida e uma pluralidade de partes de informação de atributo dividida ao dividir independentemente a pluralidade de partes de informação de geometria em fatia e a pluralidade de partes de informação de atributo em fatia (ou a informação de geometria e a informação de atributo) (S4915). O dispositivo de codificação de dados tridimensionais também gera informação adicional de tile de geometria e informação adicional de tile de atributo referente à divisão em tile. O dispositivo de codificação de dados tridimensionais pode dividir coletivamente a informação de geometria em fatia e a informação de atributo em fatia.

[0311] O dispositivo de codificação de dados tridimensionais então gera uma pluralidade de partes de informação de geometria codificada e uma pluralidade de partes de informação de atributo codificada através da codificação de cada uma da pluralidade de partes de informação de geometria dividida e da pluralidade de partes de informação de atributo dividida (S4916). O dispositivo de codificação de dados tridimensionais também gera informação de dependência.

[0312] O dispositivo de codificação de dados tridimensionais então gera dados codificados (sequência codificada) através da integração (multiplexação) da pluralidade de partes de informação de geometria codificada, da pluralidade de partes de informação de atributo codificada e da informação adicional em uma unidade NAL (S4917). O dispositivo de codificação de dados tridimensionais também transmite os dados codificados gerados.

[0313] A figura 32 é um fluxograma de um processo de decodificação de dados de nuvem de pontos de acordo com a presente modalidade. Primeiro, o dispositivo de decodificação de dados tridimensionais determina o método de divisão através da análise de informação adicional (informação adicional de fatia, informação adicional de tile de geometria e informação adicional de tile de atributo) referente ao método de divisão incluído em dados codificados (sequência codificada) (S4921). O método de divisão inclui uma determinação de se realizar divisão em fatia ou não e uma determinação de se realizar divisão em tile ou não. O método de divisão pode incluir o número de fatias ou tiles no caso onde divisão em fatia ou divisão em tile é realizada, e o tipo de divisão, por exemplo.

[0314] O dispositivo de decodificação de dados tridimensionais então gera informação de geometria dividida e informação de atributo dividida através da decodificação de uma pluralidade de partes de informação de geometria codificada e uma pluralidade de partes de informação de atributo codificada incluída nos segundos dados usando informação de dependência incluída nos dados codificados (S4922).

[0315] Se a informação adicional indicar que a divisão em tile foi realizada (se Sim em S4923), o dispositivo de decodificação de dados tridimensionais gera uma pluralidade de partes de informação de geometria em fatia e uma pluralidade de partes de informação de atributo em fatia combinando a pluralidade de partes de informação de geometria dividida e a pluralidade de partes de informação de atributo dividida em respectivas maneiras com base na informação adicional de tile de geometria e na informação adicional de tile de atributo (S4924). Note-se que o dispositivo de decodificação de dados tridimensionais pode combinar a pluralidade de partes de informação de geometria dividida e a pluralidade de partes de informação de atributo dividida da mesma maneira.

[0316] Se a informação adicional indicar que a divisão em fatia foi realizada (se Sim em S4925), o dispositivo de decodificação de dados tridimensionais gera informação de geometria e informação de atributo combinando a pluralidade de partes de informação de geometria em fatia e a pluralidade de partes de informação de atributo em fatia (a pluralidade de partes de informação de geometria dividida e a pluralidade de partes de informação de atributo dividida) da mesma maneira com base na informação adicional de fatia (S4926). Note-se que o dispositivo de decodificação de dados tridimensionais pode combinar a pluralidade de partes de informação de geometria em fatia e a pluralidade de partes de informação de atributo em fatia de maneiras diferentes.

[0317] Como descrito acima, o dispositivo de codificação de dados tridimensionais de acordo com essa modalidade realiza o processo mostrado na figura 33. Primeiro, o dispositivo de codificação de dados tridimensionais divide dados em uma pluralidade de partes de dados divididos (tiles, por exemplo) que são incluídas em uma pluralidade de subespaços (fatias, por exemplo) gerados dividindo um espaço-alvo incluindo uma pluralidade de pontos tridimensionais e cada um dos quais inclui um ou mais pontos tridimensionais. Aqui, os dados divididos são uma coleção de uma ou mais partes de dados incluindo um ou mais pontos tridimensionais que estão incluídos em um subespaço. Os dados divididos podem ser também considerados como um espaço e podem incluir um espaço não incluindo qualquer ponto tridimensional. Um subespaço pode incluir uma pluralidade de partes de dados divididos ou um subespaço pode incluir uma parte de dados divididos. Note-se que uma pluralidade de subespaços ou um subespaço pode ser situado em um espaço-alvo.

[0318] O dispositivo de codificação de dados tridimensionais então gera uma pluralidade de partes de dados codificados cada uma associada com uma diferente da pluralidade de partes de dados divididos através da codificação de cada uma da pluralidade de partes de dados divididos (S4931). O dispositivo de codificação de dados tridimensionais gera uma sequência de bits incluindo a pluralidade de partes de dados codificados e uma pluralidade de partes de informação de controle (o cabeçalho mostrado na figura 30, por exemplo) cada uma associada com uma diferente da pluralidade de partes de dados codificados (S4932). Em cada uma da pluralidade de partes de informação de controle, um primeiro identificador (slice_idx, por exemplo) que indica um subespaço associado com a parte de dados codificados associada com a parte de informação de controle e um segundo identificador (tile_idx, por exemplo) que indica uma parte de dados divididos associada com a parte de dados codificados associada com a parte de informação de controle são armazenados.

[0319] Com tal configuração, o dispositivo de decodificação de dados tridimensionais que decodifica a sequência de bits gerada pelo dispositivo de codificação de dados tridimensionais pode reproduzir facilmente o espaço-alvo combinando a pluralidade de partes de dados divididos usando o primeiro identificador e o segundo identificador. Portanto, a quantidade de processamento do dispositivo de decodificação de dados tridimensionais pode ser reduzida.

[0320] Por exemplo, na codificação descrita acima, o dispositivo de codificação de dados tridimensionais codifica a informação de geometria e a informação de atributo nos pontos tridimensionais incluídos em cada uma da pluralidade de partes de dados divididos. Cada uma da pluralidade de partes de dados codificados inclui dados codificados da informação de geometria e os dados codificados da informação de atributo. Cada uma da pluralidade de partes de informação de controle inclui a informação de controle para os dados codificados da informação de geometria e a informação de controle dos dados codificados da informação de atributo. O primeiro identificador e o segundo identificador são armazenados na informação de controle para os dados codificados da informação de geometria.

[0321] Por exemplo, na sequência de bits, cada uma da pluralidade de partes de informação de controle é disposta para preceder os dados codificados associados com a informação de controle.

[0322] Um ou mais subespaços são localizados em um espaço-alvo incluindo uma pluralidade de pontos tridimensionais, e cada subespaço inclui uma ou mais partes de dados divididos cada uma incluindo um ou mais pontos tridimensionais. O dispositivo de codificação de dados tridimensionais gera uma pluralidade de partes de dados codificados cada uma associada com uma diferente de uma pluralidade de partes de dados divididos através da codificação de cada uma da pluralidade de partes de dados divididos, e gera uma sequência de bits incluindo a pluralidade de partes de dados codificados e uma pluralidade de partes de informação de controle cada uma associada com uma diferente da pluralidade de partes de dados codificados e cada uma da pluralidade de partes de informação de controle pode armazenar o primeiro identificador que indica um subespaço associado com a parte de dados codificados associados com a parte de informação de controle e o segundo identificador que indica uma parte de dados divididos associados com a parte de dados codificados associados com a parte de informação de controle.

[0323] Por exemplo, o dispositivo de codificação de dados tridimensionais inclui um processador e memória, e o processador realiza os processos descritos acima usando a memória.

[0324] O dispositivo de decodificação de dados tridimensionais de acordo com a essa modalidade realiza o processo mostrado na figura

34. Primeiro, a partir de uma sequência de bits incluindo uma pluralidade de partes de dados codificados gerados através da codificação de cada uma da pluralidade de partes de dados divididos (tiles, por exemplo) que são incluídas em uma pluralidade de subespaços (fatias, por exemplo) gerados dividindo um espaço-alvo incluindo uma pluralidade de pontos tridimensionais e cada um dos quais inclui um ou mais pontos tridimensionais, e uma pluralidade de partes de informação de controle (o cabeçalho mostrado na figura 30, por exemplo) para cada uma da pluralidade de partes de dados codificados, o dispositivo de decodificação de dados tridimensionais obtém o primeiro identificador (slice_idx), por exemplo) que indica um subespaço associado com a parte de dados codificados associada com a parte de informação de controle e o segundo identificador (tile_idx, por exemplo) que indica uma parte de dados divididos associada com a parte de dados codificados associada com a parte de informação de controle, que estão incluídas na pluralidade de partes de informação de controle (S4941). O dispositivo de decodificação de dados tridimensionais então reproduz a pluralidade de partes de dados divididos através da decodificação da pluralidade de partes de dados codificados (S4942). O dispositivo de decodificação de dados tridimensionais então reproduz a pluralidade de partes de dados divididos através da decodificação da pluralidade de partes de dados codificados (S4942). O dispositivo de decodificação de dados tridimensionais então reproduz o espaço-alvo combinando a pluralidade de partes de dados divididos usando o primeiro identificador e o segundo identificador (S4943). Por exemplo, o dispositivo de decodificação de dados tridimensionais reproduz a pluralidade de subespaços ao combinar a pluralidade de partes de dados divididos usando o segundo identificador, e reproduz o espaço-alvo (a pluralidade de pontos tridimensionais) ao combinar a pluralidade de subespaços usando o primeiro identificador. Note-se que o dispositivo de decodificação de dados tridimensionais pode obter dados codificados de um subespaço desejado ou dados divididos desejados a partir da sequência de bits usando pelo menos um do primeiro identificador e do segundo identificador, e seletivamente ou preferivelmente decodificar os dados codificados obtidos.

[0325] Com tal configuração, o dispositivo de decodificação de dados tridimensionais pode reproduzir facilmente o espaço-alvo combinando a pluralidade de partes de dados divididos usando o primeiro identificador e o segundo identificador. Portanto, a quantidade de processamento do dispositivo de decodificação de dados tridimensionais pode ser reduzida.

[0326] Por exemplo, cada uma da pluralidade de partes de dados codificados é gerada codificando informação de geometria e informação de atributo em um ponto tridimensional incluído em uma parte associada de dados divididos, e inclui dados codificados da informação de geometria e dados codificados da informação de atributo. Cada uma da pluralidade de partes de informação de controle inclui informação de controle para os dados codificados da informação de geometria e informação de controle para os dados codificados da informação de atributo. O primeiro identificador e o segundo identificador são armazenados na informação de controle para os dados codificados da informação de geometria.

[0327] Por exemplo, na sequência de bits, a informação de controle é disposta para preceder os dados codificados associados.

[0328] Por exemplo, o dispositivo de decodificação de dados tridimensionais inclui um processador e memória, e o processador realiza os processos descritos acima usando a memória. Modalidade 5

[0329] Na codificação de informação de geometria usando dependência de vizinhança, a eficiência de codificação pode ser melhorada conforme a densidade de uma nuvem de pontos aumenta. Nessa modalidade, o dispositivo de codificação de dados tridimensionais codifica coletivamente dados de nuvem de pontos de quadros sucessivos combinando os dados de nuvem de pontos dos quadros sucessivos. Nesse processo, o dispositivo de codificação de dados tridimensionais gera dados codificados incluindo ainda informação para identificação de um quatro ao qual cada nó folha incluído nos dados de nuvem de pontos combinados pertence.

[0330] Aqui, dados de nuvem de pontos de quadros sucessivos são prováveis ser similares uns aos outros. Isto é, códigos de ocupação para quadros sucessivos são prováveis ter uma parte de nível superior comum. Em outras palavras, códigos de ocupação para quadros sucessivos podem compartilhar uma parte de nível superior se os quadros sucessivos forem coletivamente codificados.

[0331] Através da codificação de um índice de um quadro, uma determinação a qual quadro uma nuvem de pontos pertence é feita em um nó folha.

[0332] A figura 35 é um diagrama ilustrando um conceito de geração de uma estrutura de árvore e um código de ocupação a partir de dados de nuvem de pontos de quadros de compressão de nuvem de pontos N (PCC). Nesse desenho, um ponto em uma seta oca indica um ponto que pertence a um quadro de PCC. Primeiro, um índice de quadro para identificação de um quadro é atribuído a um ponto que pertence a cada quadro de PCC.

[0333] Pontos pertencentes aos quadros N são então convertidos em uma estrutura de árvore, e um código de ocupação é gerado.

Especificamente, a qual nó folha na estrutura de árvore cada ponto pertencente é determinado. No desenho, a estrutura de árvore representa um conjunto de nós. A determinação a qual nó um ponto pertence é feita começando com o nó de nível mais alto. O resultado de determinação para cada nó é codificado em um código de ocupação. O código de ocupação é comum dentre os quadros N.

[0334] Um nó pode incluir pontos pertencentes a quadros diferentes aos quais índices de quadro diferentes são atribuídos. Quando a octree tem uma resolução baixa, um nó pode incluir pontos pertencentes ao mesmo quadro ao qual o mesmo índice de quadro é atribuído.

[0335] Em um nó de nível mais baixo (nó folha), pontos pertencentes a uma pluralidade de quadros podem ser misturados (duplicados).

[0336] Como para a estrutura de árvore e o código de ocupação, uma parte de nível superior da estrutura de árvore e códigos de ocupação na parte de nível superior podem ser um componente comum para todos os quadros, e uma parte de nível inferior da estrutura de árvore e os códigos de ocupação na parte de nível inferior podem ser um componente individual para cada quadro ou podem ser parcialmente um componente comum e parcialmente e um componente individual.

[0337] Por exemplo, em um nó de nível mais baixo, tal como um nó folha, zero ou mais pontos tendo um índice de quadro são gerados, e informação indicando o número de pontos e informação sobre o índice de quadro de cada ponto são geradas. Essas partes de informação podem ser consideradas como informações individuais para quadros.

[0338] A figura 36 é um diagrama ilustrando um exemplo de combinação de quadros. Como mostrado na parte (a) da figura 36, se uma estrutura de árvore é gerada combinando uma pluralidade de quadros, a densidade dos pontos dos quadros incluídos no mesmo nó aumenta. Ainda, se a estrutura de árvore for compartilhada, a quantidade de dados dos códigos de ocupação pode ser reduzida. Desta maneira, a eficiência de codificação pode ser melhorada.

[0339] Como mostrado na parte (b) da figura 36, conforme os componentes individuais dos códigos de ocupação na estrutura da árvore se tornam mais densos, a eficácia da codificação aritmética aumenta, de modo que a eficiência de codificação pode ser melhorada.

[0340] Abaixo, combinação de uma pluralidade de quadros de PCC associados com tempos diferentes será descrita como um exemplo. No entanto, a descrição é verdadeira para um caso onde não há uma pluralidade de quadros, isto é, combinação de quadros não é realizada (N = 1). Ainda, a pluralidade de partes de dados de nuvem de pontos a ser combinada não é limitada a uma pluralidade de quadros, isto é, uma pluralidade de partes de dados de nuvem de pontos no mesmo objeto associada com pontos de tempo diferentes. Isto é, o método descrito abaixo pode ser aplicado para combinação de uma pluralidade de partes de dados de nuvem de pontos associada com espaços diferentes ou tempos e espaços diferentes. O método descrito abaixo também pode ser aplicado para combinação de dados de nuvem de pontos ou arquivos de nuvem de pontos de conteúdos diferentes.

[0341] A figura 37 é um diagrama ilustrando um exemplo de combinação de uma pluralidade de quadros de PCC associados com tempos diferentes. A figura 37 mostra um exemplo em que um automóvel obtém dados de nuvem de pontos com um sensor tal como LiDAR enquanto o automóvel está se movimentando. Uma linha pontilhada indica uma faixa eficaz do sensor em cada quadro, isto é, uma faixa de dados de nuvem de pontos. Conforme a faixa eficaz do sensor aumenta, a faixa dos dados de nuvem de pontos também aumenta.

[0342] O método de combinação e codificação de dados de nuvem de pontos é eficaz para dados de nuvem de pontos, tais como dados de nuvem de pontos descritos abaixo. Por exemplo, no exemplo mostrado na figura 37, o automóvel está se movimentando, e um quadro é identificado por varredura de 360º da periferia do automóvel. Isto é, o quadro 2, o quadro seguindo o quadro 1, corresponde a uma outra varredura de 360º realizada quando o veículo se movimentou em uma direção X.

[0343] Nesse caso, o quadro 1 e o quadro 2 se sobrepõem parcialmente um ao outro e, portanto, podem incluir dados de nuvem de pontos comuns. Portanto, se o quadro 1 e o quadro 2 forem combinados e codificados, a eficiência de codificação pode ser melhorada. Note-se que mais quadros podem ser capazes de ser combinados. No entanto, conforme o número de quadros combinados aumenta, o número de bits requerido para codificação dos índices de quadro atribuídos aos nós principais aumenta.

[0344] Alternativamente, dados de nuvem de pontos podem ser obtidos por sensores em posições diferentes. Nesse caso, cada parte de dados de nuvem de pontos obtidos em uma posição diferente pode ser usada como um quadro. Isto é, a pluralidade de quadros pode ser dados de nuvem de pontos obtidos por um sensor único ou dados de nuvem de pontos obtidos por uma pluralidade de sensores. Ainda, os objetos podem ser parcialmente ou totalmente os mesmos ou podem ser diferentes na pluralidade de quadros.

[0345] Em seguida, um fluxo de um processo de codificação de dados tridimensionais de acordo com a presente modalidade será descrito. A figura 38 é um fluxograma do processo de codificação de dados tridimensionais. De acordo com a contagem de quadro combinado N, que é o número de quadros a ser combinado, o dispositivo de codificação de dados tridimensionais lê dados de nuvem de pontos de todos os quadros N.

[0346] Primeiro, o dispositivo de codificação de dados tridimensionais determina a contagem de quadro combinado N (S5401). Por exemplo, a contagem de quadro combinado N é especificada por um usuário.

[0347] O dispositivo de codificação de dados tridimensionais então obtém dados de nuvem de pontos (S5402). O dispositivo de codificação de dados tridimensionais então registra índices de quadro dos dados de nuvem de pontos obtidos (S5403).

[0348] Quando os quadros N não foram processados (se Não em S5404), o dispositivo de codificação de dados tridimensionais especifica próximos dados de nuvem de pontos (S5405), e realiza a etapa S5402 e o processamento que segue nos dados de nuvem de pontos especificados.

[0349] Por outro lado, quando os quadros N foram processados (se Sim em 5404), o dispositivo de codificação de dados tridimensionais combina os quadros N e codifica o quadro combinado, resultante (S5406).

[0350] A figura 39 é um fluxograma do processo de codificação (S5406). Primeiro, o dispositivo de codificação de dados tridimensionais gera informação comum que é comum para os quadros N (S5411). Por exemplo, a informação comum inclui um código de ocupação e informação indicando a contagem de quadro combinado N.

[0351] O dispositivo de codificação de dados tridimensionais então gera informação individual que é informação individual em cada quadro (S5412). Por exemplo, a informação individual inclui o número de pontos incluídos em um nó folha e os índices de quadro dos pontos incluídos no nó folha.

[0352] O dispositivo de codificação de dados tridimensionais então combina a informação comum e a informação individual, e gera dados codificados através da codificação da informação combinada (S5413). O dispositivo de codificação de dados tridimensionais então gera informação adicional (metadados) referente à combinação de quadros, e codifica a informação adicional gerada (S5414).

[0353] Em seguida, um fluxo de um processo de decodificação de dados tridimensionais de acordo com essa modalidade será descrito. A figura 40 é um fluxograma do processo de decodificação de dados tridimensionais.

[0354] Primeiro, o dispositivo de decodificação de dados tridimensionais obtém a contagem de quadro combinado N a partir de uma sequência de bits (S5421). O dispositivo de decodificação de dados tridimensionais então obtém dados codificados a partir da sequência de bits (S5422). O dispositivo de decodificação de dados tridimensionais decodifica os dados codificados para obter dados de nuvem de pontos e índices de quadro (S5423). Finalmente, o dispositivo de decodificação de dados tridimensionais divide os dados de nuvem de pontos decodificados usando os índices de quadro (S5424).

[0355] A figura 41 é um fluxograma do processo de decodificação e divisão (S5423 e S5424). Primeiro, o dispositivo de decodificação de dados tridimensionais decodifica os dados codificados (sequência de bits) em informação comum e informação individual (isto é, obtém informação comum e informação individual a partir dos dados codificados) (S5431).

[0356] O dispositivo de decodificação de dados tridimensionais então determina se decodifica um quadro único ou decodifica uma pluralidade de quadros (S5432). Por exemplo, se decodifica um quadro único ou decodifica uma pluralidade de quadros pode ser especificado externamente. Aqui, a pluralidade de quadros pode ser todos os quadros combinados ou alguns dos quadros combinados. Por exemplo, o dispositivo de decodificação de dados tridimensionais pode determinar decodificar um quadro particular requerido por um aplicativo e não decodificar os quadros que não são requeridos. Alternativamente,

quando decodificação em tempo real é requerida, o dispositivo de decodificação de dados tridimensionais pode determinar decodificar um quadro único da pluralidade de quadros combinados.

[0357] Quando decodificando um quadro único (se Sim em S5432), o dispositivo de decodificação de dados tridimensionais extrai informação individual associada com o índice de quadro do quadro único especificado da informação individual decodificada, e decodifica a informação individual extraída para reproduzir dados de nuvem de pontos do quadro especificado correspondendo ao índice de quadro (S5433).

[0358] Por outro lado, quando decodificando uma pluralidade de quadros (se Não em S5432), o dispositivo de decodificação de dados tridimensionais extrai informação individual associada com os índices de quadro da pluralidade de quadros especificada (ou todos os quadros), e decodifica a informação individual extraída para reproduzir dados de nuvem de pontos da pluralidade de quadros especificada (S5434). O dispositivo de decodificação de dados tridimensionais então divide os dados de nuvem de pontos decodificados (informação individual) com base nos índices de quadro (S5435). Isto é, o dispositivo de decodificação de dados tridimensionais divide os dados de nuvem de pontos decodificados na pluralidade de quadros.

[0359] Note-se que o dispositivo de decodificação de dados tridimensionais pode coletivamente decodificar dados de todos os quadros combinados e então dividir os dados decodificados em quadros, ou coletivamente decodificar dados de uma parte arbitrária dos quadros combinados e dividir os dados decodificados em quadros. Ainda, o dispositivo de decodificação de dados tridimensionais pode decodificar separadamente dados de um quadro unitário previamente determinado composto de uma pluralidade de quadros.

[0360] A seguir, uma configuração do dispositivo de codificação de dados tridimensionais de acordo com essa modalidade será descrita. A figura 42 é um diagrama em bloco ilustrando uma configuração de codificador 5410 incluída no dispositivo de codificação de dados tridimensionais de acordo com essa modalidade. O codificador 5410 gera dados codificados (sequência codificada) através da codificação de dados de nuvem de pontos (nuvem de pontos). O codificador 5410 inclui divisor 5411, uma pluralidade de codificadores de informação de geometria 5412, uma pluralidade de codificadores de informação de atributo 5413, codificador de informação adicional 5414 e multiplexador

5415.

[0361] O divisor 5411 gera uma pluralidade de partes de dados divididos de uma pluralidade de quadros dividindo dados de nuvem de pontos de uma pluralidade de quadros. Especificamente, o divisor 5411 gera uma pluralidade de partes de dados divididos ao dividir um espaço de dados de nuvem de pontos de cada quadro em uma pluralidade de subespaços. Aqui, um subespaço é um tile, uma fatia ou uma combinação de um tile e uma fatia. Mais especificamente, dados de nuvem de pontos inclui informação de geometria, informação de atributo (cor; refletância ou similar) e informação adicional. Um número de quadro é também inserido no divisor 5411. O divisor 5411 divide informação de geometria de cada quadro em uma pluralidade de partes de informação de geometria dividida, e divide informação de atributo de cada quadro em uma pluralidade de partes de informação de atributo dividida. O divisor 5411 também gera informação adicional referente à divisão.

[0362] Por exemplo, o divisor 5411 divide uma nuvem de pontos em tiles. O divisor 5411 então divide os tiles resultantes em fatias.

[0363] A pluralidade de codificadores de informação de geometria 5412 gera uma pluralidade de partes de informação de geometria codificada através da codificação de uma pluralidade de partes de informação de geometria dividida. Por exemplo, o codificador de informação de geometria 5412 codifica informação de geometria dividida usando uma árvore N-ária, tal como uma octree. Especificamente, no caso de uma octree, um espaço-alvo é dividido em oito nós (subespaços), e informação de 8 bits (código de ocupação) que indica se cada nó inclui uma nuvem de pontos ou não é gerado. Um nó incluindo uma nuvem de pontos é ainda dividido em oito nós, e informação de 8 bits que indica se cada um dos oito nós inclui uma nuvem de pontos ou não é gerada. Esse processo é repetido até que um nível predeterminado seja atingido ou o número de nuvens de pontos incluído em um nó predeterminado se torne igual a ou menos do que um limite. Por exemplo, a pluralidade de codificadores de informação de geometria 5412 processa a pluralidade de partes de informação de geometria dividida em paralelo.

[0364] O codificador de informação de atributo 4632 gera informação de atributo codificada, que são dados codificados, através da codificação de informação de atributo usando informação de configuração gerada pelo codificador de informação de geometria 4631. Por exemplo, o codificador de informação de atributo 4632 determina um ponto de referência (nó de referência) que deve ser referido em codificação de um ponto-alvo (nó-alvo) a ser processado com base na estrutura de octree gerada pelo codificador de informação de geometria

4631. Por exemplo, o codificador de informação de atributo 4632 se refere a um nó cujo nó parente na octree é o mesmo que o nó parente do nó-alvo, de nós periféricos ou nós vizinhos. Note-se que o método de determinação de uma relação de referência não é limitado a esse método.

[0365] O processo de codificação de informação de geometria ou informação de atributo pode incluir pelo menos um de um processo de quantização, um processo de previsão e um processo de codificação aritmética. Nesse caso, “se referir a” significa usar um nó de referência para calcular um valor previsto de informação de atributo ou usando um estado de um nó de referência (informação de ocupação que indica se um nó de referência inclui uma nuvem de pontos ou não, por exemplo) para determinação de um parâmetro de codificação. Por exemplo, o parâmetro de codificação é um parâmetro de quantização no processo de quantização ou um contexto ou similar na codificação aritmética.

[0366] Codificadores de informação de atributo 5413 geram partes de informação de atributo codificada ao codificar partes de informação de atributo dividida. Por exemplo, os codificadores de informação de atributo 5413 processam partes de informação de geometria dividida em paralelo.

[0367] O codificador de informação adicional 5414 gera informação adicional codificada através da codificação de informação adicional incluída em dados de nuvem de pontos e informação adicional com relação à divisão de dados gerados no momento da divisão pelo divisor

5411.

[0368] O multiplexador 5415 gera dados codificados (sequência codificada) através da multiplexação de partes de informação de geometria codificada, partes de informação de atributo codificada e informação adicional codificada, e transmite os dados codificados gerados. A informação adicional codificada é também usada no momento de decodificação.

[0369] A figura 43 é um diagrama em bloco ilustrando o divisor 5411. O divisor 5411 inclui o divisor em tile 5421 e o divisor em fatia 5422.

[0370] O divisor 5421 gera uma pluralidade de partes de informação de geometria em tile ao dividir informação de geometria (posição (geometria)) de cada uma da pluralidade de quadros em tiles. O divisor 5421 também gera uma pluralidade de partes de informação de atributo em tile ao dividir a informação de atributo (atributo) de uma pluralidade de quadros em tiles. O divisor em tile 5421 envia informação adicional em tile (metadados em tile) incluindo informação referente à divisão em tile e informação gerada na divisão em tile.

[0371] O divisor em fatia 5422 gera uma pluralidade de partes de informação de geometria dividida (uma pluralidade de partes de informação de geometria em fatia) dividindo uma pluralidade de partes de informação de geometria em tile em fatias. O divisor em fatia 5422 também gera uma pluralidade de partes de informação de atributo dividida (uma pluralidade de partes de informação de atributo em fatia) ao dividir uma pluralidade de partes de informação de atributo em tile em fatias. O divisor em fatia 5422 envia informação adicional de fatia (metadados de fatia) incluindo informação referente à divisão em fatia e informação gerada na divisão em fatia.

[0372] No processo de divisão, o divisor 5411 usa um número de quadro (índice de quadro) para indicar coordenadas de uma origem, informação de atributo ou similar.

[0373] A figura 44 é um diagrama em bloco ilustrando o codificador de informação de geometria 5412. O codificador de informação de geometria 5412 inclui gerador de índice de quadro 5431 e codificador de entropia 5432.

[0374] O gerador de índice de quadro 5431 determina um valor de um índice de quadro com base em um número de quadro, e adiciona o índice de quadro determinado à informação de geometria. O codificador de entropia 5432 gera informação de geometria codificada através de codificação de entropia da informação de geometria dividida com um índice de quadro adicionado à mesma.

[0375] A figura 45 é um diagrama em bloco ilustrando codificador de informação de atributo 5413. O codificador de informação de atributo 5413 inclui gerador de índice de quadro 5441 e codificador de entropia

54442.

[0376] O gerador de índice de quadro 5441 determina um valor de um índice de quadro com base em um número de quadro, e adiciona o índice de quadro determinado à informação de atributo. O codificador de entropia 5442 gera informação de atributo codificada através de codificação de entropia da informação de atributo dividida com um índice de quadro adicionado à mesma.

[0377] O que segue descreve procedimentos de um processo de codificação de dados de nuvem de pontos e um processo de decodificação de dados de nuvem de pontos de acordo com a presente modalidade. A figura 46 é um fluxograma de um processo de codificação de dados de nuvem de pontos de acordo com a presente modalidade.

[0378] Primeiro, o dispositivo de codificação de dados tridimensionais determina um método de divisão a ser usado (S5441). Exemplos do método de divisão incluem divisão em tile e divisão em fatia. Um método de divisão pode incluir um número de divisão, um tipo de divisão, etc., quando a divisão em tile ou divisão em fatia é realizada.

[0379] Quando a divisão em tile é realizada (SIM em S5442), o dispositivo de codificação de dados tridimensionais gera partes de informação de geometria em tile e partes de informação de atributo em tile dividindo informação de geometria e informação de atributo coletivamente (S5443). Além disso, o dispositivo de codificação de dados tridimensionais gera informação adicional de tile com relação à divisão em tile.

[0380] Quando divisão em fatia é realizada (SIM em S5444), o dispositivo de codificação de dados tridimensionais gera partes de informação de geometria dividida e partes de informação de atributo dividida dividindo as partes da informação de geometria em tile e partes de informação de atributo em tile (ou a informação de geometria e a informação de atributo) separadamente (S5445). Também, o dispositivo de codificação de dados tridimensionais gera informação adicional em fatia de geometria e informação adicional em fatia de atributo com relação à divisão em fatia.

[0381] Em seguida, o dispositivo de codificação de dados tridimensionais gera partes de informação de geometria codificada e partes de informação de atributo codificada ao respectivamente codificar as partes de informação de geometria dividida e as partes de informação de atributo dividida como índices de quadro (S5446). Ainda, o dispositivo de codificação de dados tridimensionais gera informação de relação de dependência.

[0382] Finalmente, o dispositivo de codificação de dados tridimensionais gera dados codificados (uma sequência codificada) ao armazenar em unidades NAL (multiplexação) as partes de informação de geometria codificada, as partes de informação de atributo codificada e informação adicional (S5447). Ainda, o dispositivo de codificação de dados tridimensionais transmite os dados codificados gerados.

[0383] A figura 47 é um fluxograma do processo de codificação (S5446). Primeiro, o dispositivo de codificação de dados tridimensionais codifica informação de geometria dividida (S5451). O dispositivo de codificação de dados tridimensionais então codifica um índice de quadro para a informação de geometria dividida (S5452).

[0384] Quando há informação de atributo dividida (se Sim em S5453), o dispositivo de codificação de dados tridimensionais codifica a informação de atributo dividida (S5454) e codifica um índice de quadro para a informação de atributo dividida (S5455). Por outro lado, quando não há nenhuma informação de atributo dividida (se Não em S5453), o dispositivo de codificação de dados tridimensionais não realiza codificação de nenhuma informação de atributo dividida e codificação de um índice de quadro para nenhuma informação de atributo dividida. Note-se que o índice de quadro pode ser armazenado em qualquer uma ou ambas da informação de geometria dividida e da informação de atributo dividida.

[0385] Note-se que o dispositivo de codificação de dados tridimensionais pode codificar informação de atributo usando um índice de quadro ou sem uso de um índice de quadro. Isto é, o dispositivo de codificação de dados tridimensionais pode identificar um quadro ao qual cada ponto pertence usando um índice de quadro e realiza codificação em uma base em quadro ou pode codificar os pontos pertencentes a todos os quadros sem identificação dos quadros.

[0386] Abaixo, uma configuração do dispositivo de decodificação de dados tridimensionais de acordo com essa modalidade será descrita. A figura 48 é um diagrama em bloco ilustrando uma configuração de decodificador 5450. O decodificador 5450 reproduz dados de nuvem de pontos através da decodificação dos dados codificados (sequência codificada) gerada pela codificação dos dados de nuvem de pontos. O decodificador 5450 inclui desmultiplexador 5451, uma pluralidade de decodificadores de informação de geometria 5452, uma pluralidade de decodificadores de informação de atributo 5453, decodificador de informação adicional 5454 e combinador 5455.

[0387] O desmultiplexador 5451 gera uma pluralidade de partes de informação de geometria codificada, uma pluralidade de partes de informação de atributo codificada e informação adicional codificada através da desmultiplexação dos dados codificados (sequência codificada).

[0388] A pluralidade de decodificadores de informação de geometria 5452 gera uma pluralidade de partes de informação de geometria dividida através da decodificação de uma pluralidade de partes de informação de geometria codificada. Por exemplo, a pluralidade de decodificadores de informação de geometria 5452 processa uma pluralidade de partes de informação de geometria codificada em paralelo.

[0389] A pluralidade de decodificadores de informação de atributo 5453 gera uma pluralidade de partes de informação de atributo dividida através da decodificação de uma pluralidade de partes de informação de atributo codificada. Por exemplo, a pluralidade de decodificadores de informação de atributo 5453 processa uma pluralidade de partes de informação de atributo codificada em paralelo.

[0390] A pluralidade de decodificadores de informação adicional 5454 gera informação adicional através da decodificação de informação adicional codificada.

[0391] O combinador 5455 gera informação de geometria combinando uma pluralidade de partes de informação de geometria dividida usando informação adicional. O combinador 5455 gera informação de atributo combinando uma pluralidade de partes de informação de atributo dividida usando informação adicional. O combinador 5455 também divide informação de geometria e informação de atributo em informação de geometria de uma pluralidade de quadros e informação de atributo de uma pluralidade de quadros usando índices de quadro.

[0392] A figura 49 é um diagrama em bloco ilustrando decodificador de informação de geometria 5452. O decodificador de informação de geometria 5452 inclui decodificador de entropia 5461 e obtentor de índice de quadro 5462. O decodificador de entropia 5461 gera informação de geometria dividida através de decodificação de entropia de informação de geometria codificada. O obtentor de índice de quadro 5462 obtém um índice de quadro a partir de informação de geometria dividida.

[0393] A figura 50 é um diagrama em bloco ilustrando decodificador de informação de atributo 5453. O decodificador de informação de atributo 5453 inclui decodificador de entropia 5471 e obtentor de índice de quadro 5472. O decodificador de entropia 5471 gera informação de atributo dividida através de decodificação de entropia da informação de atributo codificada. O obtentor de índice de quadro 5472 obtém um índice de quadro a partir de informação de atributo dividida.

[0394] A figura 51 é um diagrama ilustrando uma configuração de combinador 5455. O combinador 5455 gera informação de geometria combinando uma pluralidade de partes de informação de geometria dividida. O combinador 5455 gera informação de atributo combinando uma pluralidade de partes de informação de atributo dividida. O combinador 5455 também divide a informação de geometria e informação de atributo em informação de geometria de uma pluralidade de quadros e informação de atributo de uma pluralidade de quadros usando índices de quadro.

[0395] A figura 52 é um fluxograma de um processo de decodificação de dados de nuvem de pontos de acordo com a presente modalidade. Primeiro, o dispositivo de decodificação de dados tridimensionais determina um método de divisão através da análise de informação adicional (informação adicional em fatia e informação adicional em tile) com relação a um método de divisão incluído em dados codificados (e sequência codificada) (S5461). Exemplos do método de divisão incluem divisão em tile e divisão em fatia. Um método de divisão pode incluir um número de divisão, um tipo de divisão, etc., quando a divisão em tile ou a divisão em fatia é realizada.

[0396] Em seguida, o dispositivo de decodificação de dados tridimensionais gera informação de geometria dividida e informação de atributo dividida através da decodificação de partes de informação de geometria codificada e partes de informação de atributo codificada incluídas nos dados codificados, usando informação de relação de dependência incluída nos dados codificados (S5462).

[0397] Quando a informação adicional indica que a divisão em fatia foi realizada (Sim em S5463), o dispositivo de decodificação de dados tridimensionais gera partes da informação de geometria em tile e partes de informação de atributo em tile combinando partes de informação de geometria dividida e combinando partes de informação de atributo dividida, com base em informação adicional em fatia (S5464). Aqui, as partes de informação de geometria dividida, as partes de informação de atributo dividida, as partes de informação de geometria em tile e as partes de informação de atributo em tile incluem índices de quadro.

[0398] Quando a informação adicional indica que a divisão em tile foi realizada (SIM em S5465), o dispositivo de decodificação de dados tridimensionais gera informação de geometria e informação de atributo combinando as partes de informação de geometria em tile (as partes de informação de geometria dividida) e combinando as partes de informação de atributo em tile (as partes de informação de atributo dividida), com base em informação adicional em tile (S5466). Aqui, as partes de informação de geometria, as partes de informação de atributo, a informação de geometria e a informação de atributo incluem índices de quadro.

[0399] A figura 53 é um fluxograma do processo de decodificação (S5464 e S5466). Primeiro, o dispositivo de decodificação de dados tridimensionais decodifica informação de geometria dividida (informação de geometria em fatia) (S5471). O dispositivo de decodificação de dados tridimensionais então decodifica um índice de quadros para a informação de geometria dividida (S5472).

[0400] Quando há informação de atributo dividida (se Sim em S5473), o dispositivo de decodificação de dados tridimensionais decodifica a informação de atributo dividida (S5474) e decodifica um índice de quadro para a informação de atributo dividida (S5475). Por outro lado, quando não há nenhuma informação de atributo dividida (se Não em S5473), o dispositivo de decodificação de dados tridimensionais não realiza decodificação de nenhuma informação de atributo dividida e decodificação de um índice de quadro para nenhuma informação de atributo dividida.

[0401] Note-se que o dispositivo de decodificação de dados tridimensionais pode decodificar informação de atributo usando um índice de quadro ou sem uso de um índice de quadro.

[0402] A seguir, uma unidade de codificação em combinação de quadro será descrita. A figura 54 é um diagrama ilustrando um exemplo de um padrão de combinação de quadro. O exemplo nesse desenho é um exemplo em que quadros de PCC são uma série de tempo, e dados são gerados e codificados em tempo real.

[0403] A parte (a) da figura 54 mostra um caso onde quatro quadros são sempre combinados. O dispositivo de codificação de dados tridimensionais espera até que dados de quatro quadros sejam gerados, e então gera dados codificados.

[0404] A parte (b) da figura 54 mostra um caso onde o número de quadros a ser combinado varia adaptativamente. Por exemplo, o dispositivo de codificação de dados tridimensionais muda o número de quadros a ser combinado a fim de ajustar a quantidade de código de dados codificados em um controle de taxa.

[0405] Note-se que, se combinação de quadros pode ser inútil, o dispositivo de codificação de dados tridimensionais pode não combinar quadros. O dispositivo de codificação de dados tridimensionais pode também determinar se combinar quadros ou não.

[0406] A parte (c) da figura 54 mostra um exemplo de um caso onde uma pluralidade de quadros combinados se sobrepõe parcialmente a uma pluralidade de quadros a ser combinados em seguida. Esse exemplo é útil quando processamento em tempo real ou pouco retardo é requerido, tal como quando cada parte de dados é transmitida assim que os dados são codificados.

[0407] A figura 55 é um diagrama ilustrando um exemplo de configuração de quadros de PCC. O dispositivo de codificação de dados tridimensionais pode configurar quadros para serem combinados de tal maneira que os quadros incluam pelo menos uma unidade de dados que pode ser decodificada individualmente. Por exemplo, quando todos os quadros de PCC são intracodificados, e os quadros de PCC podem ser individualmente decodificados como mostrado na parte (a) da figura 55, qualquer um dos padrões descritos acima pode ser aplicado.

[0408] Quando uma unidade de acesso aleatório, tal como grupo de quadros (GOS), é definida, tal como quando interprevisão é aplicada, por exemplo, como mostrado na parte (b) da figura 55, o dispositivo de codificação de dados tridimensionais pode combinar dados com base na unidade de GOF como uma unidade mínima.

[0409] Note-se que o dispositivo de codificação de dados tridimensionais pode codificar coletivamente informação comum e informação individual ou codificar separadamente informação comum e informação individual. Ainda, o dispositivo de codificação de dados tridimensionais pode usar uma estrutura de dados comum ou estruturas de dados diferentes para informação comum e informação individual.

[0410] O dispositivo de codificação de dados tridimensionais pode comparar os códigos de ocupação para uma pluralidade de quadros após um código de ocupação ser gerado para cada quadro. Por exemplo, o dispositivo de codificação de dados tridimensionais pode determinar se há uma parte comum grande entre códigos de ocupação para uma pluralidade de quadros com base em um critério predeterminado, e gerar informação comum se houver uma parte comum. Alternativamente, com base em se há uma parte comum grande entre códigos de ocupação, o dispositivo de codificação de dados tridimensionais pode determinar se combinar quadros, quais quadros devem ser combinados ou o número de quadros a ser combinado.

[0411] Em seguida, uma configuração de informação de geometria codificada será descrita. A figura 56 é um diagrama ilustrando uma configuração de informação de geometria codificada. Informação de geometria codificada inclui um cabeçalho e uma carga útil.

[0412] A figura 57 é um diagrama ilustrando um exemplo de sintaxe de um cabeçalho (Geometry_header) de informação de geometria codificada. O cabeçalho de informação de geometria codificada inclui um índice GPS (gps_idx), informação de deslocamento (offset), outra informação (other_geometry_information), um marcador de combinação de estrutura (combine_frame_flag) e uma contagem de quadro combinado (number_of_combine_frame).

[0413] O índice de GPS indica um identificador (ID) de um conjunto de parâmetros (GPS) associado com informação de geometria codificada. GPS é um conjunto de parâmetros de informação de geometria codificada de um quadro ou uma pluralidade de quadros. Note-se que, quando há um conjunto de parâmetros para cada quadro, o cabeçalho pode indicar identificadores de uma pluralidade de conjuntos de parâmetros.

[0414] A informação de deslocamento indica uma posição de deslocamento para obtenção de dados combinados. A outra informação indica outra informação referente à informação de geometria (um valor de diferença de um parâmetro de quantização (QPdelta), por exemplo). O marcador de combinação de quadro indica se combinação de quadro foi realizada para dados codificados ou não. A contagem de quadro combinado indica o número de quadros combinados.

[0415] Note-se que parte ou toda a informação descrita acima pode ser descrita em SPS ou GPS. Note-se que SPS significa um conjunto de parâmetros baseado em uma sequência (uma pluralidade de quadros) como uma unidade, e é um conjunto de parâmetros comumente usado para informação de geometria codificada e informação de atributo codificada.

[0416] A figura 58 é um diagrama ilustrando um exemplo de sintaxe de uma carga útil (Geometry_data) de informação de geometria codificada. A carga útil de informação de geometria codificada inclui informação comum e informação de nó folha.

[0417] Informação comum são dados de um ou mais quadros combinados, e inclui um código de ocupação (occupancy_Code) ou similar.

[0418] Informação de nó folha (combine_information) é informação em cada nó folha. Informação de nó folha pode ser indicada para cada quadro como um loop do número de quadros.

[0419] Como um método de indicação de um índice de quadro de um ponto incluído em um nó principal, qualquer um do método 1 e do método 2 pode ser usado. A figura 59 é um diagrama ilustrando um exemplo da informação do nó folha no caso do método 1. A informação do nó folha mostrada na figura 59 inclui a contagem de ponto tridimensional (NumberOfPoints) que indica o número de pontos incluídos em um nó, e um índice de quadro (FrameIndex) para cada ponto.

[0420] A figura 60 é um diagrama ilustrando um exemplo da informação de nó folha no caso do método 2. No exemplo mostrado na figura 60, a informação do nó folha inclui informação de mapa de bits (bitmapIsFramePointsFlag) que indica índices de quadro de uma pluralidade de pontos com um mapa de bits. A figura 61 é um diagrama ilustrando um exemplo da informação de mapa de bits. Nesse exemplo, o mapa de bits indica que o nó principal inclui pontos tridimensionais de índices de quadro 1, 3 e 5.

[0421] Note-se que, quando a resolução de quantização é baixa, pode haver pontos duplicados no mesmo quadro. Nesse caso, a contagem de ponto tridimensional (NumberOfPoints) pode ser compartilhada, e o número de pontos tridimensionais em cada quadro e o número total dos pontos tridimensionais em uma pluralidade de quadros podem ser indicados.

[0422] Quando compressão com perda é usada, o dispositivo de codificação de dados tridimensionais pode deletar um ponto em duplicata para reduzir a quantidade de informação. O dispositivo de codificação de dados tridimensionais pode deletar um ponto em duplicata antes da combinação de quadro ou após combinação de quadro.

[0423] Em seguida, uma configuração de informação de atributo codificada será descrita. A figura 62 é um diagrama ilustrando uma configuração de informação de atributo codificada. A informação de atributo codificada inclui um cabeçalho e uma carga útil.

[0424] A figura 63 é um diagrama ilustrando um exemplo de sintaxe de um cabeçalho (Attribute_header) de informação de atributo codificada. O cabeçalho da informação de atributo codificada inclui um índice APS (aps_idx), informação de deslocamento (offset), outra informação (other_attribute_information), um marcador de combinação de quadro (combine_frame_flag) e uma contagem de quadro combinado (number_of_combine_frame).

[0425] O índice APS indica um identificador (ID) de um conjunto de parâmetros (APS) associado com informação de atributo codificada. APS é um conjunto de parâmetros de informação de atributo codificada de um quadro ou uma pluralidade de quadros. Note-se que, quando há um conjunto de parâmetros para cada quadro, o cabeçalho pode indicar identificadores de uma pluralidade de conjuntos de parâmetros.

[0426] A informação de deslocamento indica uma posição de deslocamento para obtenção de dados combinados. A outra informação indica outra informação referente à informação de atributo (um valor de diferença de parâmetro de quantização (QPdelta, por exemplo). O marcador de combinação de quadro indica se combinação de quadro foi realizada para dados codificados ou não. A contagem de quadro combinada indica o número de quadros combinados.

[0427] Note-se que toda ou parte da informação descrita acima pode ser descrita em SPS ou APS.

[0428] A figura 64 é um diagrama ilustrando um exemplo de sintaxe de uma carga útil (Attribute_data) de informação de atributo codificada. A carga útil de informação de atributo codificada inclui informação de nó folha (combine_information). Por exemplo, uma configuração da informação do nó folha é a mesma que aquela da informação de nó folha incluída na carga útil da informação de geometria codificada. Isto é, a informação de nó folha (índice de quadro) pode ser incluída na informação de atributo.

[0429] A informação do nó folha pode ser armazenada em uma da informação de geometria codificada e da informação de atributo codificada e não incluída na outra. Nesse caso, a informação de nó folha (índice de quadro) armazenada em uma da informação de geometria codificada e da informação de atributo codificada é referida quando decodificando a outra informação. Ainda, informação indicando um destino de referência pode ser incluída na informação de geometria codificada ou informação de atributo codificada.

[0430] Em seguida, um exemplo da ordem de transmissão de dados codificados e um exemplo da ordem de decodificação de dados codificados será descrito. A figura 65 é um diagrama ilustrando uma configuração de dados codificados. Os dados codificados incluem um cabeçalho e uma carga útil.

[0431] As figuras 66 a 68 são diagramas ilustrando uma ordem de transmissão de dados e uma relação de referência de dados. Nesses desenhos, G(1) ou similar significa informação de geometria codificada, GPS(1) ou similar significa um conjunto de parâmetros para informação de geometria codificada e SPS significa um conjunto de parâmetros para uma sequência (uma pluralidade de quadros). Um numeral em parênteses indica um valor de um índice de quadro. Note-se que o dispositivo de codificação de dados tridimensionais pode transmitir dados em qualquer ordem de decodificação.

[0432] A figura 66 é um diagrama ilustrando um exemplo da ordem de transmissão em um caso onde combinação de quadro não é realizada. A figura 67 é um diagrama ilustrando um exemplo de um caso onde combinação de quadro é realizada e metadados (um conjunto de parâmetros) são adicionados a cada quadro de PCC. A figura 68 é um diagrama ilustrando um exemplo de um caso onde combinação de quadro é realizada e metadados (um conjunto de parâmetros) são adicionados em uma base de quadros combinados.

[0433] No cabeçalho de dados de quadros combinados, um identificador de metadados de um destino de referência é armazenado, a fim de obter metadados dos quadros. Como mostrado na figura 68, metadados de uma pluralidade de quadros podem ser reunidos. Quaisquer parâmetros comuns à pluralidade de quadros combinados podem ser reunidos como um parâmetro. Parâmetros que não são comuns a quadros indicam valores para os respectivos quadros.

[0434] Informação em cada quadro (um parâmetro que não é comum a quadros) é um carimbo que indica um ponto de tempo de geração de dados de quadro, um ponto de tempo de codificação de dados de quadro ou um ponto de tempo de decodificação de dados de quadro, por exemplo. Informação em cada quadro pode incluir informação de um sensor que obteve os dados de quadro (tal como velocidade do sensor, aceleração do sensor, informação de posição do sensor, orientação do sensor ou outra informação do sensor).

[0435] A figura 69 é um diagrama ilustrando um exemplo em que parte do quadro é decodificada no exemplo mostrado na figura 67.

Como mostrado na figura 69, se não houver nenhuma dependência entre quadros nos dados dos quadros combinados, o dispositivo de decodificação de dados tridimensionais pode decodificar separadamente cada parte de dados.

[0436] Quando dados de nuvem de pontos têm informação de atributo, o dispositivo de codificação de dados tridimensionais pode combinar informação de atributo de quadros. Informação de atributo é codificada e decodificada através de referência à informação de geometria. A informação de geometria referida pode ser informação de geometria antes da combinação de quadro ou informação de geometria após combinação de quadro. A contagem de quadro combinado para informação de geometria e contagem de quadro combinado para informação de atributo podem ser comuns (iguais) ou independentes (diferentes).

[0437] As figuras 70 a 73 são diagramas ilustrando uma ordem de transmissão de dados e uma relação de referência de dados. As figuras 70 e 71 mostram um exemplo em que informação de geometria de quatro quadros e informação de atributo de quatro quadros são combinadas. Na figura 70, metadados (um conjunto de parâmetros) são adicionados a cada quadro de PCC. Na figura 71, metadados (um conjunto de parâmetros) são adicionado em uma base de quadros combinados. Nesses desenhos, A(1) ou similar significa informação de atributo codificada, APS(1) ou similar significa um conjunto de parâmetros para informação de atributo codificada e APS(1) ou similar significa um conjunto de parâmetros para informação de atributo codificada. Um numeral em parênteses indica um valor de um índice de quadro.

[0438] A figura 72 mostra um exemplo em que informações de geometria de quatro quadros são combinadas, e informações de atributo não são combinadas. Como mostrado na figura 72, informações de geometria de quadros podem ser combinadas, e informações de atributo de quadros podem não ser combinadas.

[0439] A figura 73 mostra um exemplo em que combinação de quadro e divisão em tile são combinadas. Quando a divisão em tile é realizada como mostrado na figura 73, o cabeçalho de cada parte da informação de geometria em tile inclui informação tal como um índice de GPS (gps_idx) e uma contagem de quadro combinado (number_of_combine_frame). O cabeçalho de cada parte de informação de geometria em tile também inclui um índice de tile (tile_idx) para identificação de um tile.

[0440] Como descrito acima, o dispositivo de codificação de dados tridimensionais de acordo com essa modalidade realiza o processo mostrado na figura 74. Primeiro, o dispositivo de codificação de dados tridimensionais combina primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos (S5481). O dispositivo de codificação de dados tridimensionais então codifica os terceiros dados de nuvem de pontos para gerar dados codificados (S5482). Os dados codificados incluem informação de identificação (um índice de quadro, por exemplo) que indica se cada um da pluralidade de pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos.

[0441] Com tal configuração, o dispositivo de codificação de dados tridimensionais codifica coletivamente uma pluralidade de partes de dados de nuvem de pontos, de modo que a eficiência de codificação pode ser melhorada.

[0442] Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos (quadros de PCC, por exemplo) associados com pontos de tempo diferentes. Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de ponto são dados de nuvem de pontos (quadros de PCC, por exemplo) no mesmo objeto associados com pontos de tempo diferentes.

[0443] Os dados codificados incluem informação de geometria e informação de atributo em cada um da pluralidade de pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos, e informação de identificação é incluída na informação de atributo.

[0444] Por exemplo, os dados codificados incluem informação de geometria (um código de ocupação, por exemplo) que representa a posição de cada um da pluralidade de pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos usando uma árvore N-ária (N representa um inteiro igual a ou maior do que 2).

[0445] Por exemplo, o dispositivo de codificação de dados tridimensionais inclui um processador e memória, e o processador realiza o processo descrito acima usando a memória.

[0446] O dispositivo de decodificação de dados tridimensionais de acordo com essa modalidade realiza o processo mostrado na figura 75. Primeiro, o dispositivo de decodificação de dados tridimensionais decodifica dados codificados para obter terceiros dados de nuvem de pontos gerados combinando primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos, e informação de identificação que indica se cada um da pluralidade de pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos (S5491). O dispositivo de decodificação de dados tridimensionais então separa os terceiros dados de nuvem de pontos nos primeiros dados de nuvem de pontos e nos segundos dados de nuvem de pontos usando a informação de identificação (S5492).

[0447] Com tal configuração, o dispositivo de decodificação de dados tridimensionais pode decodificar dados codificados com uma eficiência de codificação aperfeiçoada ao codificar coletivamente uma pluralidade de partes de dados de nuvem de pontos.

[0448] Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos (quadros de PCC, por exemplo) associados com pontos de tempo diferentes. Por exemplo, os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos (quadros de PCC, por exemplo) no mesmo objeto associados com pontos de tempo diferentes.

[0449] Os dados codificados incluem informação de geometria e informação de atributo em cada um da pluralidade de pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos, e a informação de identificação é incluída na informação de atributo.

[0450] Por exemplo, os dados codificados incluem informação de geometria (um código de ocupação, por exemplo) que representa a posição de cada um da pluralidade de pontos tridimensionais nos terceiros dados de nuvem de pontos usando uma árvore N-ária (N representa um inteiro igual a ou superior a 2).

[0451] Por exemplo, o dispositivo de decodificação de dados tridimensionais inclui um processador e memória, e o processador realiza o processo descrito acima usando a memória.

[0452] Um dispositivo de codificação de dados tridimensionais, um dispositivo de decodificação de dados tridimensionais e similares de acordo com as modalidades da presente descrição foram descritos acima, mas a presente descrição não está limitada a essas modalidades.

[0453] Note-se que cada um dos processadores incluídos no dispositivo de codificação de dados tridimensionais, no dispositivo de decodificação de dados tridimensionais, e similares, de acordo com as modalidades acima, é tipicamente implementado como um circuito integrado de grande escala (LSI), que é um circuito integrado (IC). Os mesmos podem assumir a forma de chips individuais, ou podem ser parcial ou totalmente empacotados em um único chip.

[0454] Tal IC não está limitado a um LSI, e, dessa forma, pode ser implementado como um circuito dedicado ou um processador de finalidade geral. Alternativamente, um conjunto de porta programável em campo (FPGA), que permite a programação depois da fabricação de um LSI, ou um processador reconfigurável, que permite a reconfiguração da conexão e a configuração de células de circuito dentro deum LSI, podem ser empregados.

[0455] Ademais, nas modalidades acima, componentes estruturais podem ser implementados como hardware dedicado ou podem ser realizados pela execução de um programa de software adequado a tais componentes estruturais. Alternativamente, os componentes estruturais podem ser implementados por um executor de programa, tal como uma CPU, ou um processador lendo e executando o programa de software gravado em um meio de gravação, tal como um disco rígido ou uma memória semicondutora.

[0456] A presente descrição também pode ser implementada como um método de codificação de dados tridimensionais, um método de decodificação de dados tridimensionais, ou similares, executados pelo dispositivo de codificação de dados tridimensionais, dispositivo de decodificação de dados tridimensionais, e similares.

[0457] Além disso, as divisões dos blocos funcionais ilustrados nos diagramas em bloco são meros exemplos e, dessa forma, uma pluralidade de blocos funcionais pode ser implementada como um único bloco funcional, ou um único bloco funcional pode ser dividido em uma pluralidade de blocos funcionais, ou uma ou mais funções podem ser movidas para outro bloco funcional. Além disso, as funções dentre uma pluralidade de blocos funcionais possuindo funções similares, podem ser processadas por hardware ou software singular de uma forma paralelizada ou dividida em tempo.

[0458] Além disso, a ordem de processamento de execução das etapas ilustradas nos fluxogramas é uma mera ilustração para descrever de forma específica a presente descrição e, dessa forma, pode ser uma ordem além da ordem ilustrada. Além disso, uma ou mais das etapas podem ser executadas de forma simultânea (em paralelo) com outra etapa.

[0459] Um dispositivo de codificação de dados tridimensionais, um dispositivo de decodificação de dados tridimensionais, e similares, de acordo com um ou mais aspectos, foram descritos acima com base nas modalidades, mas a presente descrição não deve ser limitada a essas modalidades. O um aspecto ou mais aspectos podem, dessa forma, incluir formas alcançadas pela realização de várias modificações às modalidades acima que podem ser concebidas pelos versados na técnica, além de formas alcançadas pela combinação de componentes estruturais em diferentes modalidades, sem se distanciar de forma material do espírito da presente descrição. Aplicabilidade Industrial

[0460] A presente descrição é aplicável a um dispositivo de codificação de dados tridimensionais e a um dispositivo de decodificação de dados tridimensionais. Marcas de Referência nos Desenhos 4601 sistema de codificação de dados tridimensionais 4602 sistema de decodificação de dados tridimensionais 4603 terminal de sensor 4604 conector externo 4611 sistema de geração de dados de nuvem de pontos 4612 apresentador

4613 codificador 4614 multiplexador 4615 unidade de entrada/saída 4616 controlador 4617 obtentor de informação de sensor 4618 gerador de dados de nuvem de pontos 4621 obtentor de informação de sensor 4622 unidade de entrada/saída 4623 desmultiplexador 4624 decodificador 4625 apresentador 4626 interface de usuário 4627 controlador 4630 primeiro codificador 4631 codificador de informação de geometria 4632 codificador de informação de atributo 4633 codificador de informação adicional 4634 multiplexador 4640 primeiro decodificador 4641 desmultiplexador 4642 decodificador de informação de geometria 4643 decodificador de informação de atributo 4644 decodificador de informação adicional 4650 segundo codificador 4651 gerador de informação adicional 4652 gerador de imagem de geometria 4653 gerador de informação de atributo 4654 codificador de vídeo 4655 codificador de informação adicional 4656 multiplexador

4660 segundo decodificador 4661 desmultiplexador 4662 decodificador de vídeo 4663 decodificador de informação adicional 4664 gerador de informação de geometria 4665 gerador de informação adicional 4670 codificador 4671 multiplexador 4680 decodificador 4681 desmultiplexador 4710 primeiro multiplexador 4711 conversor de arquivo 4720 primeiro desmultiplexador 4721 primeiro conversor inverso 4730 segundo multiplexador 4731 primeiro conversor 4740 segundo desmultiplexador 4741 conversor inverso de arquivo 4750 terceiro multiplexador 4751 conversor de arquivo 4760 terceiro desmultiplexador 4761 conversor inverso de arquivo 4801 codificador 4802 multiplexador 4910 primeiro codificador 4911 divisor 4912 codificador de informação de geometria 4913 codificadores de informação de atributo 4914 codificador de informação adicional 4915 multiplexador

4920 primeiro decodificador 4921 desmultiplexador 4922 decodificador de informação de geometria 4923 decodificador de informação de atributo 4924 decodificador de informação adicional 4925 combinador 4931 divisor em fatia 4932 divisor em tile de informação de geometria 4933 divisor em tile de informação de atributo 4941 combinador em tile de informação de geometria 4942 combinador em tile de informação de atributo 4943 combinador em fatia 5410 codificador 5411 divisor 5412 codificador de informação de geometria 5413 codificador de informação de atributo 5414 codificador de informação adicional 5415 multiplexador 5421 divisor em tile 5422 divisor em tile 5431, 5441 gerador de índice de quadro 5432, 5442 codificador de entropia 5450 decodificador 5451 desmultiplexador 5452 decodificador de informação de geometria 5443 decodificador de informação de atributo 5454 decodificador de informação adicional 5455 combinador 5461, 5471 decodificador de entropia 5462, 5472 obtentor de índice de quadro

Claims

REIVINDICAÇÕES

1. Método de codificação de dados tridimensionais, caracterizado pelo fato de que compreende: combinar primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos; e codificar os terceiros dados de nuvem de pontos para gerar dados codificados; em que os dados codificados incluem informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos.

2. Método de codificação de dados tridimensionais, de acordo com a reivindicação 1, caracterizado pelo fato de que os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos tendo tempos diferentes.

3. Método de codificação de dados tridimensionais, de acordo com a reivindicação 2, caracterizado pelo fato de que os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos de um mesmo objeto e tendo tempos diferentes.

4. Método de codificação de dados tridimensionais, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que os dados codificados incluem informação de geometria e informação de atributo de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos, e a informação de identificação é incluída na informação de atributo.

5. Método de codificação de dados tridimensionais, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que os dados codificados incluem informação de geometria em que uma posição de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos é expressa usando uma árvore N- ária, N sendo um inteiro superior a ou igual a 2.

6. Método de decodificação de dados tridimensionais, caracterizado pelo fato de que compreende: decodificar dados codificados para obter terceiros dados de nuvem de pontos e informação de identificação, os terceiros dados de nuvem de pontos sendo gerados combinando primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos, a informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos; e separar os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos dos terceiros dados de nuvem de pontos usando a informação de identificação.

7. Método de decodificação de dados tridimensionais, de acordo com a reivindicação 6, caracterizado pelo fato de que os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos tendo tempos diferentes.

8. Método de decodificação de dados tridimensionais, de acordo com a reivindicação 7, caracterizado pelo fato de que os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos são dados de nuvem de pontos de um mesmo indivíduo e tendo tempos diferentes.

9. Método de decodificação de dados tridimensionais, de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo fato de que os dados codificados incluem informação de geometria e informação de atributo de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos, e a informação de identificação é incluída na informação de atributo.

10. Método de decodificação de dados tridimensionais, de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo fato de que os dados codificados incluem informação de geometria em que uma posição de cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos é expressa usando uma árvore N- ária, N sendo um inteiro superior a ou igual a 2.

11. Dispositivo de codificação de dados tridimensionais, caracterizado pelo fato de que compreende: um processador; e memória, em que, usando a memória, o processador: combina primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos para gerar terceiros dados de nuvem de pontos; e codifica os terceiros dados de nuvem de pontos para gerar dados codificados, em que os dados codificados incluem informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos.

12. Dispositivo de decodificação de dados tridimensionais, caracterizado pelo fato de que compreende: um processador, e memória, em que, usando a memória, o processador: decodifica dados codificados para obter terceiros dados de nuvem de pontos e informação de identificação, os terceiros dados de nuvem de pontos sendo gerados combinando primeiros dados de nuvem de pontos e segundos dados de nuvem de pontos, a informação de identificação indicando se cada um dos pontos tridimensionais incluídos nos terceiros dados de nuvem de pontos pertence aos primeiros dados de nuvem de pontos ou aos segundos dados de nuvem de pontos; e separa os primeiros dados de nuvem de pontos e os segundos dados de nuvem de pontos dos terceiros dados de nuvem de pontos, usando a informação de identificação.

Sistema de codificação de dados tridimensionais Dados codificados, Apresentador informação de Gerador de dados controle Codificador Multiplexador

Petição 870210016083, de 18/02/2021, pág. 110/177 de nuvem de pontos Dados de nuvem de pontos Controlador (executor de Obtentor de aplicativo) Dados informação multiplexados de sensor Sistema de geração de Unidade de entrada/saída (acumulador) dados de nuvem de pontos Sinal de sensor Sinal de transmissão (com fio, sem fio) Terminal de Conector 1/59 sensor externo Internet Armazenador externo Comunicação Difusão Servidor de nuvem Câmera, Lidar Sinal de transmissão Terminal Sinal de sensor (com fio, sem fio) de usuário

Obtentor de informação Interface de Unidade de entrada/saída (acumulador) de sensor usuário

Dados Controlador (executor multiplexados de aplicativo)

Desmultiplexador Decodi- Apresentador Dados codificados, ficador Dados de ponto de nuvem, informação adicional nformação de controle Sistema de decodificação de dados tridimensionais

Informação de Informação geometria de atributo

Petição 870210016083, de 18/02/2021, pág. 112/177 Objeto estático

Quadro No. 1 3/59

Objeto dinâmico

Quadro No. 1 Quadro No. 2 Quadro No. 3

Tempo

Dados de nuve Dados m de pontos codificados Primeiro codificador

Petição 870210016083, de 18/02/2021, pág. 114/177 Primeiro codificador

Informação de geometria Informação de Codificador de codificada geometria Dados informação de codificados geometria Informação adicional (sequência codificada) Informação de atributo Multiplexador Informação 5/59

Codificador de codificada de atributo informação de atributo Informação adicional

Codificador de informação Informação adicional Informação adicional codificada adicional

Dados Dados de codificados Primeiro nuvem de pontos decodificador

Petição 870210016083, de 18/02/2021, pág. 116/177 Primeiro codificador Informação de Informação geometria codificada Decodificador de de geometria informação de Informação adicional geometria Dados codificados (sequência codificada) Desmultiplexador Informação de atributo Informação 7/59 codificada Decodificador de de atributo informação Informação adicional de atributo Informação Decodificador adicional de informação Informação adicional codificada adicional

Dados de nuvem Dados de pontos codificados Segundo codificador

Petição 870210016083, de 18/02/2021, pág. 118/177 Segundo codificador Imagem de geometria Informação de Imagem de codificada Gerador de Dados geometria geometria imagem de Informação codificados geometria adicional (sequência Codificador Multiple- codificada) Informação de vídeo xador 9/59

Imagem de atributo Gerador de de atributo Informação imagem de adicional atributo Imagem de Gerador de atributo Informação informação Codificador de codificada adicional adicional informação adicional Informação adicional codificada

Dados Dados de codificados nuvem de pontos Segundo decodificador

Petição 870210016083, de 18/02/2021, pág. 120/177 Segundo decodificador

Imagem de geometria Informação Dados Imagem de codificada Gerador de de geometria codificados geometria Informação informação de (sequência adicional geometria codificada) Desmulti- Decodifi- plexador cador de Informação Imagem 11/59

Informação vídeo Gerador de de atributo de atributo adicional informação Imagem de de atributo atributo Informação codificada Decodificador de adicional informação Informação adicional adicional codificada

Petição 870210016083, de 18/02/2021, pág. 121/177 Vídeo Áudio, texto, aplicativo Codificador Unidade NAL de vídeo

Multiplexador Flute/ rota 12/59

Armazenador

Transmissor, acumulador Transmissão em banda larga, download progressivo por demanda Difusão

Unidade NAL Unidade NAL

Unidade NAL PCC

Carregamento de Carregamento de Codec 1 Codec 2

Petição 870210016083, de 18/02/2021, pág. 123/177 Dados de nuvem de Dados Dados 14/59 pontos codificados multiplexados Codificador Multiplexador

Quadro Quadro Quadro Quadro

Petição 870210016083, de 18/02/2021, pág. 124/177 Dados de nuvem de pontos

Quadro #0 Quadro #1 Quadro #2 Quadro #3

Dados codificados Cabeçalho GOF Cabeçalho GOF

Cabeçalho AU Cabeçalho AU Cabeçalho AU Cabeçalho AU Sequência de geometria 15/59

SPS de geometria

PS de sequência Sequência de atributo X XSPS de atributo

Sequência de atributo Y YSPS de atributo

Dados codificados Cabeçalho Carga útil

Cabeçalho de Carga da unidade NAL Unidade NAL de PCC unidade NAL

EXEMPLOS DE SEMÂNTICA DE pcc_nal_unit_type (1)se pcc_codec_type = = Codec 1 0:Geometria Codec1 1:AtributoX Codec1 2:AtributoY Codec1 3:PS Geom.

Codec1 4:PS Atr.X Codec1 5:PS Atr.X Codec1 6:PS Sequência Geometria Codec1 7:PS Sequência AtributoX Codec1 8:PS Sequência AtributoY Codec1 9:Cabeçalho AU Codec1 10:Cabeçalho GOF Codec1 11~:reservado para uso futuro Codec1 se pcc_codec_type == Codec 2 0:DadosA Codec2 1:MetaDadosA Codec2 2:MetaDadosB Codec2 3~: reservado para uso futuro Codec2

Petição 870210016083, de 18/02/2021, pág. 127/177

INFORMAÇÃO CABEÇALHO CABEÇALHO PS DE SPS DE SPS DE CABEÇALHO PS DE SPS DE DE GEOMETRIA- DE GOF DE AU SEQUÊNCIA GEOMETRIA ATRIBUTO DE AU SEQUÊNCIA GEOMETRIA

PRIMEIRA 18/59

INFORMAÇÃO DE GEOMETRIA INFORMAÇÃO DE ATRIBUTO

AJUSTE DE CABEÇALHO CABEÇALHO PS DE SPS DE SPS DE SPS DE

CABEÇALHO PS DE PARÂMETRO- DE GOF DE AU SEQUÊNCIA GEOMETRIA ATRIBUTO DE AU SEQUÊNCIA GEOMETRIA

PRIMEIRO

AJUSTE DE PARÂMETRO DADOS

DADOS CABEÇALHO PS DE SPS DE SPS DE CABEÇALHO PS DE SPS DE

INTEGRADOS DE GOFAU SEQUÊNCIA GEOMETRIA ATRIBUTO DE AU SEQUÊNCIA GEOMETRIA

Petição 870210016083, de 18/02/2021, pág. 128/177

PRIMEIRO CODIFICADOR

INFORMAÇÃO

DE GEOMETRIA

INFORMAÇÃO CODIFICADA

CODIFICADOR DE

DE GEOMETRIA INFORMAÇÃO DE

GEOMETRIA DADOS

INFORMAÇÃO CODIFICADOS ADICIONAL (SEQUÊNCIA CODIFICADA)

DIVISOR MULTIPLEXADOR

INFORMAÇÃO 19/59

DE ATRIBUTO

CODIFICADA

INFORMAÇÃO CODIFICADOR DE

DE ATRIBUTO INFORMAÇÃO DE

ATRIBUTO

INFORMAÇÃO

ADICIONAL

CODIFICADOR DE

INFORMAÇÃO INFORMAÇÃO

ADICIONAL ADICIONAL INFORMAÇÃO

ADICIONAL

CODIFICADA

Petição 870210016083, de 18/02/2021, pág. 129/177

PRIMEIRO DECODIFICADOR

INFORMAÇÃO

DE GEOMETRIA

CODIFICADA INFORMAÇÃO

DECODIFICADOR

DE INFORMAÇÃO

DE GEOMETRIA

DADOS DE GEOMETRIA

CODIFICADOS INFORMAÇÃO (SEQUÊNCIA ADICIONAL

CODIFICADA

DESMULTIPLEXADOR COMBINADOR

INFORMAÇÃO 20/59

DE ATRIBUTO

CODIFICADA

DECODIFICADOR INFORMAÇÃO

DE INFORMAÇÃO DE ATRIBUTO

DE ATRIBUTO

INFORMAÇÃO

ADICIONAL

DECODIFICADOR INFORMAÇÃO

DE INFORMAÇÃO ADICIONAL

INFORMAÇÃO ADICIONAL

ADICIONAL

CODIFICADA

Petição 870210016083, de 18/02/2021, pág. 130/177

DIVISOR

DIVISOR EM TILE

INFORMAÇÃO

DE INFORMAÇÃO DE GEOMETRIA

INFORMAÇÃO DIVIDIDA

DE GEOMETRIA

INFORMAÇÃO 21/59

DIVISOR ADICIONAL DE

EM FATIAS TILE DE GEOMETRIA

INFORMAÇÃO DIVISOR EM TILE INFORMAÇÃO

DE ATRIBUTO DE INFORMAÇÃO DE ATRIBUTO

DE ATRIBUTO DIVIDIDA

INFORMAÇÃO

ADICIONAL DE TILE

DE ATRIBUTO

INFORMAÇÃO

ADICIONAL

DE FATIA

Petição 870210016083, de 18/02/2021, pág. 131/177 FATIA G 1 FATIA G 1 FATIA 1 FATIA A 1 FATIA A 1

DADOS

DE NUVEM 22/59

DE PONTOS FATIA G 2 FATIA G 2 FATIA 2 DIVIDIDOS FATIA A 2 FATIA A 2

EM FATIAS

DIVIDIDO TILED

Petição 870210016083, de 18/02/2021, pág. 132/177

INFORMAÇÃO DE GEOMETRIA INFORMAÇÃO DE ATRIBUTO

TILE G TILE A 23/59 PADRÃO 1

FATIA A

FATIA G

TILE A PADRÃO 2

FATIA A

FATIA G

ANTES DA DIVISÃO

EM FATIA

APÓS DIVISÃO

EM FATIA

APÓS DIVISÃO

EM TILE Mfatia

INÍCIO

CODIFICAR

REARRANJAR

MULTIPLEXAR

FIM

Petição 870210016083, de 18/02/2021, pág. 135/177

COMBINADOR

INFORMAÇÃO COMBINADOR DE TILE

DE GEOMETRIA DE INFORMAÇÃO INFORMAÇÃO

DIVIDIDA DE GEOMETRIA

DE GEOMETRIA

INFORMAÇÃO

COMBINADOR

ADICIONAL DE TILE DE FATIA 26/59

DE GEOMETRIA

INFORMAÇÃO

INFORMAÇÃO COMBINADOR DE TILE DE ATRIBUTO

DE ATRIBUTO DE INFORMAÇÃO

DIVIDIDA DE ATRIBUTO

INFORMAÇÃO

ADICIONAL DE TILE

DE ATRIBUTO

INFORMAÇÃO ADICIONAL

DE FATIA

Petição 870210016083, de 18/02/2021, pág. 136/177

INFORMAÇÃO INFORMAÇÃO

DE GEOMETRIA CABEÇALHO CARGA ÚTIL DE GEOMETRIA CABEÇALHO CARGA ÚTIL

DIVIDIDA DIVIDIDA 27/59

CABEÇALHO CARGA ÚTIL DE CABEÇALHO

DE UNIDADE

UNIDADE NAL DE UNIDADE

CARGA ÚTIL DE

UNIDADE NAL DE PCC

NAL UNIDADE NAL DE PCC NAL UNIDADE NAL INFORMAÇÃO DE GEOMETRIA CODED1 INFORMAÇÃO DE ATRIBUTO X CODEC1

INÍCIO

MÉTODO DE DIVISÃO DETERMINADO

NÃO DIVISÃO EM FATIA?

SIM

DIVIDIR COLETIVAMENTE INFORMAÇÃO

DE GEOMETRIA E INFORMAÇÃO

DE ATRIBUTO

NÃO DIVISÃO EM TILE?

SIM

DIVIDIR SEPARADAMENTE INFORMAÇÃO

DE GEOMETRIA E INFORMAÇÃO

DE ATRIBUTO

CODIFICAR INFORMAÇÃO DE GEOMETRIA

DIVIDIDA E INFORMAÇÃO DE ATRIBUTO

DIVIDIDA

INTEGRAR À UNIDADE NAL

FIM

INÍCIO

ANALISAR INFORMAÇÃO ADICIONAL

RELACIONADA AO MÉTODO DE DIVISÃO

DECODIFICAR INFORMAÇÃO DE

GEOMETRIA DIVIDIDA E INFORMAÇÃO

DE ATRIBUTO DIVIDIDA

NÃO DIVISÃO EM TILE?

SIM

COMBINAR INFORMAÇÃO DE GEOMETRIA

DIVIDIDA E INFORMAÇÃO DE ATRIBUTO DIVIDIDA

COM OS RESPECTIVOS MÉTODOS

NÃO DIVISÃO EM FATIAS?

SIM

COMBINAR INFORMAÇÃO DE GEOMETRIA E

INFORMAÇÃO DE ATRIBUTO COM O MESMO

MÉTODO

FIM

INÍCIO

CODIFICAR PLURALIDADE DE DADOS DIVIDIDOS GERAR SEQUÊNCIA DE BITS (ARMAZENAR PRIMEIRO

IDENTIFICADOR E SEGUNDO IDENTIFICADOR EM INFORMAÇÃO DE CONTROLE)

FIM

INÍCIO

OBTER PRIMEIRO IDENTIFICADOR E SEGUNDO

IDENTIFICADOR A PARTIR DE SEQUÊNCIA DE BITS

DECODIFICAR UMA PLURALIDADE DE DADOS CODIFICADOS

PARA RESTAURAR UMA PLURALIDADE DE DADOS DIVIDIDOS

COMBINAR UMA PLURALIDADE DE DADOS DIVIDIDOS

FIM

QUADRO Petição 870210016083, de 18/02/2021, pág. 140/177

DO PCC

COMPONENTE 31/59

COMUM

QUADRO DA ÁRVORE CÓDIGO DE (COMUM) OCUPAÇÃO

COMPONENTE

INDIVIDUAL

NÓ FOLHA (INFORMAÇÃO INDIVIDUAL)

COMBINADO

QUADRO QUADRO 2 QUADRO 1

QUADRO N QUADRO 3 QUADRO 2 QUADRO 1

INÍCIO

DETERMINAR CONTAGEM DE QUADRO

COMBINADO N

OBTER DADOS DE NUVEM DE PONTOS

ESPECIFICIAR PRÓXIMOS DADOS

REGISTRAR ÍNDICES DE QUADRO DE NUVEM DE PONTOS

OS

QUADROS N FORAM NÃO PROCESSADOS?

SIM

PROCESSO DE CODIFICAÇÃO

FIM

INÍCIO

GERAR INFORMAÇÃO COMUM

GERAR INFORMAÇÃO INDIVIDUAL

COMBINAR INFORMAÇÃO COMUM E

INFORMAÇÃO INDIVIDUAL PARA GERAR

DADOS CODIFICADOS

GERAR E CODIFICAR INFORMAÇÃO ADICIONAL

COM RELAÇÃO À COMBINAÇÃO DE QUADRO

FIM

INÍCIO

OBTER CONTAGEM DE QUADRO COMBINADO N

OBTER DADOS CODIFICADOS

DECODIFICAR DADOS CODIFICADOS PARA OBTER

ÍNDICES DE DADOS DE NUVEM DE PONTOS

E QUADRO

DIVIDIR OS DADOS DE NUVEM DE PONTOS USANDO

ÍNDICES DE QUADRO

FIM

INÍCIO

DECODIFICAR INFORMAÇÃO COMUM

E INFORMAÇÃO INDIVIDUAL

QUADRO

ÚNICO DEVE SER DECODIFICADO?

EXTRAIR E DECODIFICAR EXTRAIR E DECODIFICAR

INFORMAÇÃO INDIVIDUAL INFORMAÇÃO INDIVIDUAL

ASSOCIADA COM O ÍNDICE DE ASSOCIADA COM ÍNDICES

QUADRO ÚNICO DE QUADROS PLURAIS

DIVIDIR OS DADOS COM BASE

EM ÍNDICES DE QUADRO

FIM

Petição 870210016083, de 18/02/2021, pág. 147/177

CODIFICADOR

INFORMAÇÃO DE

GEOMETRIA

CODIFICADA

INFORMAÇÃO CODIFICADOR

INFORMAÇÃO

DE GEOMETRIA DE INFORMAÇÃO

ADICIONAL

DE GEOMETRIA DADOS

INFORMAÇÃO CODIFICADOS ADICIONAL (SEQUÊNCIA

NÚMERO DIVISOR CODIFICADA)

DA QUADRO MULTIPLEXADOR

INFORMAÇÃO 38/59

DE ATRIBUTO

CODIFICADA

CODIFICADOR DE

INFORMAÇÃO

DE ATRIBUTO

INFORMAÇÃO

ADICIONAL

CODIFICADOR

INFORMAÇÃO DE INFORMAÇÃO

DE ATRIBUTO ADICIONAL INFORMAÇÃO

ADICIONAL

CODIFICADA

Petição 870210016083, de 18/02/2021, pág. 148/177

DIVISOR

INFORMAÇÃO

INFORMAÇÃO DE GEOMETRIA

DE GEOMETRIA DIVIDIDA

DIVISOR

NÚMERO EM TILE

DIVISOR

DE QUADRO EM FATIA 39/59

INFORMAÇÃO

DE ATRIBUTO DE ATRIBUTO

DIVIDIDA

INFORMAÇÃO

ADICIONAL

DE FATIA

INFORMAÇÃO

ADICIONAL

DE TILE

CODIFICADOR DE INFORMAÇÃO DE GEOMETRIA

GERADOR DE ÍNDICE CODIFICADOR

DE QUADRO DE ENTROPIA

CODIFICADOR DE INFORMAÇÃO DE ATRIBUTO

GERADOR DE ÍNDICE CODIFICADOR

DE QUADRO DE ENTROPIA

INÍCIO

DETERMINAR MÉTODO DE DIVISÃO

A

DIVISÃO EM TILE DEVE NÃO SER REALIZADA?

SIM

DIVISÃO EM TILE

A

DIVISÃO EM FATIA DEVE NÃO SER REALIZADA?

SIM

DIVISÃO EM FATIA

CODIFICAR INFORMAÇÃO DE GEOMETRIA

DIVIDIDA E INFORMAÇÃO DE ATRIBUTO

DIVIDIDA JUNTO COM ÍNDICES

DE QUADRO

INTEGRAR À UNIDADE NAL

FIM

INÍCIO

CODIFICAR INFORMAÇÃO DE GEOMETRIA

DIVIDIDA

CODIFICAR ÍNDICE DE QUADRO PARA

INFORMAÇÃO DE GEOMETRIA DIVIDIDA

EXISTE SIM

INFORMAÇÃO DE ATRIBUTO DIVIDIDA?

NÃO

CODIFICAR INFORMAÇÃO DE

ATRIBUTO DIVIDIDA

CODIFICAR ÍNDICE DE QUADRO

PARA INFORMAÇÃO DE

ATRIBUTO DIVIDIDA

FIM

Petição 870210016083, de 18/02/2021, pág. 152/177

CODIFICADOR

INFORMAÇÃO

DE GEOMETRIA

CODIFICADA DECODIFICADOR INFORMAÇÃO

DE INFORMAÇÃO DE GEOMETRIA

DADOS DE GEOMETRIA

CODIFICADOS INFORMAÇÃO (SEQUÊNCIA ADICIONAL CODIFICADA) DESMULTIPLE-

XADOR INFORMAÇÃO

COMBINADOR 43/59

DE ATRIBUTO

CODIFICADA

DECODIFICADOR INFORMAÇÃO

DE INFORMAÇÃO DE ATRIBUTO

DE ATRIBUTO

INFORMAÇÃO

ADICIONAL

DECODIFICADOR INFORMAÇÃO

DE INFORMAÇÃO

INFORMAÇÃO ADICIONAL

ADICIONAL

CODIFICADA

DECODIFICADOR DE INFORMAÇÃO DE GEOMETRIA

DECODIFICADOR OBTENTOR DE ÍNDICE

DE ENTROPIA

DE QUADRO

DECODIFICADOR DE INFORMAÇÃO DE ATRIBUTO

DECODIFICADOR OBTENTOR DE ÍNDICE

DE ENTROPIA DE QUADRO

Petição 870210016083, de 18/02/2021, pág. 154/177

COMBINADOR

INFORMAÇÃO DE GEOMETRIA 45/59

DIVIDIDA INFORMAÇÃO

DE GEOMETRIA

NÚMERO DE QUADRO

INFORMAÇÃO

INFORMAÇÃO DE ATRIBUTO DE ATRIBUTO

DIVIDIDA

INÍCIO

ANALISAR INFORMAÇÃO ADICIONAL

COM RELAÇÃO AO MÉTODO DE DIVISÃO

DECODIFICAR INFORMAÇAÕ DE GEOMETRIA

DIVIDIDA E INFORMAÇÃO DE ATRIBUTO DIVIDIDA

A

DIVISÃO EM FATIA NÃO FOI REALIZADA?

SIM

COMBINAR INFORMAÇÃO DE GEOMETRIA

DIVIDIDA E INFORMAÇÃO DE ATRIBUTO

DIVIDIDA

A NÃO

DIVISÃO EM TILE FOI REALIZADA?

SIM

COMBINAR INFORMAÇÃO DE GEOMETRIA E

INFORMAÇÃO DE ATRIBUTO

FIM

INÍCIO

DECODIFICAR INFORMAÇÃO DE

GEOMETRIA DIVIDIDA

DECODIFICAR ÍNDICE DE QUADRO

PARA INFORMAÇÃO DE GEOMETRIA

DIVIDIDA

EXISTE

SIM

INFORMAÇÃO DE ATRIBUTO DIVIDIDA?

NÃO

DECODIFICAR INFORMAÇÃO

DE ATRIBUTO DIVIDIDA

DECODIFICAR ÍNDICE DE QUADRO

PARA INFORMAÇÃO DE ATRIBUTO

DIVIDIDA

FIM

Petição 870210016083, de 18/02/2021, pág. 157/177

ENTRADA DA QUADRO DE PCC

DADOS CODIFICADOS - CÓDIGO DE OCUPAÇÃO - ÍNDICE DE QUADRO 48/59 - NÚMERO DE PONTOS

TRIDIMENSIONAIS

TEMPO

Petição 870210016083, de 18/02/2021, pág. 158/177

EXEMPLO DE QUADROS

DE PCC EM QUE

INTERPREDIÇÃO NÃO É APLICADA (TODOS OS

QUADROS SÃO INTRACODIFICADOS) 49/59

QUADROS DE PCC

EXEMPLO NO QUAL

INTERPREDIÇÃO

É APLICADAS

INFORMAÇÃO DE GEOMETRIA

CODIFICADA

CABEÇALHO CARGA ÚTIL

NÓ FOLHA

INFORMAÇÃO DE ATRIBUTO

CODIFICADA

CABEÇALHO CARGA ÚTIL

QUADRO idx1 QUADRO idx2 QUADRO idx3 QUADRO idx4

QUADRO idx1

Petição 870210016083, de 18/02/2021, pág. 164/177 QUADRO idx1 QUADRO idx1 QUADRO idx2 QUADRO idx2 QUADRO idx3 QUADRO idx3 QUADRO idx4 QUADRO idx4 55/59

Petição 870210016083, de 18/02/2021, pág. 165/177 QUADRO idx1 QUADRO idx1

QUADRO idx2 QUADRO idx2

QUADRO idx3 QUADRO idx3

QUADRO idx4 QUADRO idx4 56/59

QUADRO idx1 QUADRO idx2 QUADRO idx3 QUADRO idx4

QUADRO 1

QUADRO 2 QUADRO 1

QUADRO 2

INÍCIO

COMBINAR PRIMEIROS DADOS DE NUVEM DE PONTOS

E SEGUNDOS DADOS DE NUVEM DE PONTOS PARA

GERAR TERCEIROS DADOS DE NUVEM DE PONTOS

CODIFICAR TERCEIROS DADOS DE NUVEM DE PONTOS

FIM

INÍCIO

DECODIFICAR DADOS CODIFICADOS PARA OBTER

TERCEIROS DADOS DE NUVEM DE PONTOS E

INFORMAÇÃO DE IDENTIFICAÇÃO

SEPARAR TERCEIROS DADOS DE NUVEM DE PONTOS EM

PRIMEIROS DADOS DE NUVEM DE PONTOS E SEGUNDOS

DADOS DE NUVEM DE PONTOS USANDO INFORMAÇÃO

DE IDENTIFICAÇÃO

FIM