BR112021005904A2 - dispositivo e método de processamento de imagem - Google Patents

dispositivo e método de processamento de imagem Download PDF

Info

Publication number
BR112021005904A2
BR112021005904A2 BR112021005904-0A BR112021005904A BR112021005904A2 BR 112021005904 A2 BR112021005904 A2 BR 112021005904A2 BR 112021005904 A BR112021005904 A BR 112021005904A BR 112021005904 A2 BR112021005904 A2 BR 112021005904A2
Authority
BR
Brazil
Prior art keywords
section
geometry
raht
data
attribute
Prior art date
Application number
BR112021005904-0A
Other languages
English (en)
Inventor
Ohji Nakagami
Koji Yano
Satoru Kuma
Tsuyoshi Kato
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112021005904A2 publication Critical patent/BR112021005904A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM. A presente descrição se refere a um dispositivo e a um método de processamento de imagem que tornam possível suprimir um aumento da carga durante a codificação/decodificação da informação de atributo da nuvem de pontos. A presente descrição codifica a informação de atributo da nuvem de pontos pelo uso de um contexto que corresponde ao valor de peso de uma transformação ortogonal que leva uma estrutura tridimensional em consideração e é realizada na informação de localização da nuvem de pontos. Além do mais, a presente descrição decodifica os dados da informação de atributo da nuvem de pontos codificada pelo uso de um contexto que corresponde ao valor de peso de uma transformação ortogonal que leva uma estrutura tridimensional em consideração e é realizada na informação de localização da nuvem de pontos. Por exemplo, a presente descrição é aplicável em um dispositivo de processamento de imagem, um dispositivo eletrônico, um método de processamento de imagem ou um programa.

Description

1 / 43
DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM Campo Técnico
[001] A presente descrição se refere a um dispositivo e a um método de processamento de imagem, e, em particular, se refere a um dispositivo e a um método de processamento de imagem que são configurados para serem capazes de reduzir o aumento de uma carga na codificação/decodificação da informação de atributo de uma nuvem de pontos. Fundamentos da Técnica
[002] Até aqui, por exemplo, um método de codificação que usa uma árvore óctupla foi conhecido como um método de codificação para dados 3D que representam uma estrutura tridimensional, tal como uma nuvem de pontos (veja, por exemplo, NPL 1).
[003] Recentemente, foi proposto um método para a codificação da informação de atributo pelo uso da RAHT (Transformação Hierárquica Adaptativa à Região) (veja, por exemplo, NPL 2). Lista de Citação Literatura Não Patentária
[004] NPL 1 R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, “Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video”, tcsvt_paper_submitted_february.pdf.
[005] NPL 2 Ohji Nakagami, Phil Chou, Maja Krivokuca, Khaled Mammou, Robert Cohen, Vladyslav Zakharchenko, Gaelle Martin-Cocher, “Second Working Draft for PCC Categories 1, 3”, ISO/IEC JTC1/SC29/WG11, MPEG 2018/N17533, April 2018, San Diego, US. Sumário Problema Técnico
[006] No caso dos métodos expostos, entretanto, é provável que surja uma situação em que uma carga na codificação/decodificação da informação de atributo da nuvem de pontos aumenta em virtude do maior
2 / 43 processamento causado pelo rearranjo dos coeficientes na ordem descendente dos valores de peso obtidos pela RAHT.
[007] A presente descrição foi feita em vista da situação exposta e visa a tornar possível reduzir o aumento da carga na codificação/decodificação da informação de atributo da nuvem de pontos. Solução para o Problema
[008] Um dispositivo de processamento de imagem de acordo com um aspecto da presente tecnologia é um dispositivo de processamento de imagem que inclui uma seção de codificação que codifica a informação de atributo de uma nuvem de pontos pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[009] Um método de processamento de imagem de acordo com um aspecto da presente tecnologia é um método de processamento de imagem que inclui codificar a informação de atributo de uma nuvem de pontos pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0010] Um dispositivo de processamento de imagem de acordo com um outro aspecto da presente tecnologia é um dispositivo de processamento de informação que inclui uma seção de decodificação que decodifica os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0011] Um método de processamento de imagem de acordo com um
3 / 43 outro aspecto da presente tecnologia é um método de processamento de imagem que inclui decodificar os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0012] No dispositivo e no método de processamento de imagem de acordo com um aspecto da presente tecnologia, a informação de atributo de uma nuvem de pontos é codificada usando os contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0013] No dispositivo e no método de processamento de imagem de acordo com um outro aspecto da presente invenção, os dados codificados associados com a informação de atributo de uma nuvem de pontos são decodificados usando os contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional. Breve Descrição dos Desenhos
[0014] A figura 1 é um diagrama que descreve o esboço de RAHT.
[0015] A figura 2 é um diagrama de blocos que ilustra um exemplo da configuração principal de um dispositivo de codificação.
[0016] A figura 3 é um diagrama de blocos que ilustra um exemplo da configuração principal de um dispositivo de decodificação.
[0017] A figura 4 é um diagrama que ilustra um exemplo de uma condição da distribuição dos valores de coeficiente correspondentes a valores de peso individuais.
[0018] A figura 5 é um diagrama de blocos que ilustra um exemplo da
4 / 43 configuração principal de um dispositivo de codificação.
[0019] A figura 6 é um fluxograma que ilustra um exemplo do fluxo do processamento de codificação.
[0020] A figura 7 é um diagrama de blocos que ilustra um exemplo da configuração principal de um dispositivo de decodificação.
[0021] A figura 8 é um fluxograma que ilustra um exemplo do fluxo do processamento de decodificação.
[0022] A figura 9 é um diagrama de blocos que ilustra um exemplo da configuração principal de um dispositivo de codificação.
[0023] A figura 10 é um fluxograma que ilustra um exemplo do fluxo do processamento de codificação.
[0024] A figura 11 é um diagrama de blocos que ilustra um exemplo da configuração principal de um dispositivo de decodificação.
[0025] A figura 12 é um fluxograma que ilustra um exemplo do fluxo do processamento de decodificação.
[0026] A figura 13 é um diagrama de blocos que ilustra um exemplo da configuração principal de um computador. Descrição das Modalidades
[0027] A seguir, os modos para praticar a presente descrição (a seguir referidos como modalidades) serão descritos. Aqui, a descrição será feita na seguinte ordem.
1. Codificação da informação de atributo
2. Primeira modalidade (dispositivo de codificação)
3. Segunda modalidade (dispositivo de decodificação)
4. Terceira modalidade (dispositivo de codificação)
5. Quarta modalidade (dispositivo de decodificação)
6. Notas anexas <1. Codificação da informação de atributo> <Documentos, etc., que suportam conteúdos técnicos e termos técnicos>
5 / 43
[0028] O escopo da descrição da presente tecnologia inclui não apenas os conteúdos descritos nas modalidades, mas, também, os conteúdos descritos nas seguintes peças de literatura não patentária que já são publicamente conhecidas no momento do depósito da presente descrição.
[0029] NPL 1: (supramencionada).
[0030] NPL 2: (supramencionada).
[0031] NPL 3: SETOR DE PADRONIZAÇÃO DE TELECOMUNICAÇÃO DA ITU (União Internacional de Telecomunicação), “Codificação de vídeo avançada para serviços audiovisuais genéricos”, H.264, 04/2017.
[0032] NPL 4: SETOR DE PADRONIZAÇÃO DE TELECOMUNICAÇÃO DA ITU (União Internacional de Telecomunicação), “Codificação de vídeo de alta eficiência”, H.265, 12/2016.
[0033] NPL 5: Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens- Rainer, Jill Boyce, “Algorithm Description of Joint Exploration Test Model 4”, JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July
2017.
[0034] Isto é, os conteúdos descritos nas peças de literatura não patentária expostas também servem como fundamentos no momento da determinação das exigências de suporte. Por exemplo, considera-se que a Estrutura do Bloco de Árvore Quádrupla descrita em NPL 4 e a Estrutura de Bloco QTBT (Árvore Quádrupla Mais Árvore Binária) descrita em NPL 5 caem no escopo da descrição da presente tecnologia e satisfazem as exigências de suporte para o escopo das reivindicações anexas mesmo quando não diretamente descritas nas modalidades. Adicionalmente, considera-se que os termos técnicos, tais como análise sintática, sintaxe e semântica, caem similarmente no escopo da descrição da presente tecnologia e satisfazem as exigências de suporte para o escopo das reivindicações anexas mesmo quando
6 / 43 não diretamente descritos nas modalidades. <Nuvem de pontos>
[0035] No passado, existiam vários tipos de dados 3D que incluem uma nuvem de pontos que representa uma estrutura tridimensional pelo uso da informação de localização, da informação de atributo e similares de um agrupamento de pontos, uma malha que inclui ápices, bordas e faces e define uma forma tridimensional pelo uso de uma representação poligonal e similares.
[0036] Por exemplo, no caso da nuvem de pontos, uma estrutura tridimensional (um objeto tridimensionalmente modelado) é representada como um conjunto de um grande número de pontos (um agrupamento de pontos). Isto é, as peças de dados que constituem a nuvem de pontos (que também são referidas como dados da nuvem de pontos) incluem a informação de localização e a informação de atributo (por exemplo, cor e similares) associadas com cada um dos pontos que constituem o agrupamento de pontos. Assim, a nuvem de pontos tem uma estrutura relativamente simples e é capaz de representar de forma suficientemente precisa qualquer estrutura tridimensional pelo uso de um número de pontos suficientemente grande. <Quantização da informação de localização pelo uso de voxels>
[0037] Para tais dados da nuvem de pontos, já que sua quantidade de dados é relativamente grande, um método de codificação que usa voxels foi verificado para comprimir uma quantidade de dados visada para a codificação e similares. Os voxels são regiões tridimensionais para uso na quantização da informação de localização visada para a codificação.
[0038] Isto é, uma região tridimensional que contém uma nuvem de pontos é separada em pequenas regiões tridimensionais chamadas de voxels e é configurada para indicar, para cada um dos voxels, se ou não cada voxel contém um ou mais pontos. De uma maneira como esta, os locais dos pontos individuais são quantizados para cada um dos voxels. Assim, a conversão dos
7 / 43 dados da nuvem de pontos em dados de tais voxels (também referidos como dados de voxel) torna possível reduzir o aumento da quantidade de informação (tipicamente, para diminuir a quantidade de informação). <Árvore óctupla>
[0039] Além do mais, um método foi verificado para estabelecer uma árvore óctupla pelo uso de tais dados de voxel. Uma árvore óctupla é uma estrutura resultante a partir da estruturação de árvore dos dados de voxel. O valor de cada um dos bits de um nó da camada mais inferior da árvore óctupla indica a presença/ausência de um ponto de um voxel correspondente. Por exemplo, um valor “1” indica um voxel que contém um ou mais pontos, e um valor “0” indica um voxel que contém nenhum ponto. Na árvore óctupla, um nó corresponde a oito voxels. Isto é, cada um dos nós que constituem a árvore óctupla inclui os dados compostos por oito bits, e cada um dos oito bits indica a presença/ausência de um ponto de um correspondente dos oito voxels.
[0040] Adicionalmente, um nó de camada superior da árvore óctupla indica a presença/ausência de um ou mais pontos em relação a uma região obtida pela integração de oito voxels correspondentes a cada um dos nós de camada inferior que pertence ao nó de camada superior. Isto é, o nó de camada superior é gerado pela integração da informação em relação aos voxels dos nós de camada inferior. Aqui, para um nó que tem o valor “0”, isto é, para um nó no caso em que todos os oito voxels correspondentes contêm nenhum ponto, o nó é deletado.
[0041] De uma maneira como esta, uma estrutura de árvore (árvore óctupla) que inclui os nós que, cada qual, não têm o valor “0” é estabelecida. Isto é, a árvore óctupla é capaz de indicar, para cada um dos níveis de resolução, a presença/ausência de um ou mais pontos em relação aos voxels. Assim, a codificação dos dados de voxel que foram transformados em uma estrutura de árvore óctupla como esta torna possível restaurar adicionalmente de forma fácil os dados de voxel que têm vários níveis de resolução adicionais
8 / 43 no momento da decodificação dos dados de voxel. Isto é, a escalabilidade dos voxels pode ser adicionalmente alcançada de fácil.
[0042] Adicionalmente, o supradescrito método de omitir o nó que tem o valor “0” torna possível fazer com que um voxel que inclui as regiões em que nenhum ponto existe seja um voxel de um nível de baixa resolução, assim, habilitando a redução adicional do aumento da quantidade da informação (tipicamente, diminuição adicional da quantidade de informação). <RAHT>
[0043] Recentemente, da forma descrita, por exemplo, em PTL 2, foi proposto um método para a codificação da informação de atributo de uma nuvem de pontos pelo uso da RAHT (Transformação Hierárquica Adaptativa à Região). A informação de atributo inclui, por exemplo, informação de cor, informação de reflectância, informação de linha normal e similares.
[0044] A RAHT é uma das transformações ortogonais que leva em consideração uma estrutura tridimensional, e é uma transformada Haar que usa ponderação (valores de peso) de acordo com um relacionamento de localização ponto a ponto (por exemplo, se ou não um ou mais pontos existirem em um voxel adjacente) em um espaço voxelizado.
[0045] Por exemplo, da forma ilustrada na figura 1, o processamento prossegue de maneira tal que, no caso em que um ou mais pontos existirem em uma região adjacente a uma região visada para a transformada Haar, o valor de peso da região adjacente seja adicionado no valor de peso da região visada para a transformada Haar, enquanto que, no caso em que nenhum ponto existir na região adjacente, o valor de peso da região visada para a transformação Haa é herdado como está. Isto é, quanto mais densos forem os pontos de uma parte, maior é o valor de peso da parte. Assim, a característica denso/não denso dos pontos pode ser determinada a partir de um valor de peso.
[0046] Por exemplo, a realização da quantização para permitir que os
9 / 43 pontos incluídos em partes densas permaneçam com base em valores de peso torna possível aumentar a eficiência da codificação simultaneamente com a redução da degradação da qualidade da nuvem de pontos. <Dispositivo de codificação>
[0047] Um dispositivo de codificação 10 ilustrado na figura 2 é um exemplo de um dispositivo que codifica uma nuvem de pontos fazendo um rearranjo de coeficiente como este. Por exemplo, no caso do dispositivo de codificação 10, uma seção de codificação da geometria 11 gera os dados codificados da geometria pela codificação da informação de localização dos dados da nuvem de pontos de entrada.
[0048] Uma seção de rearranjo do coeficiente de geometria 12 rearranja os coeficientes dos dados codificados da geometria na ordem do código de Morton. Uma seção de processamento de RAHT 13 realiza a RAHT nos coeficientes dos dados codificados da geometria na ordem do código de Morton. Através deste processamento, os valores de peso são derivados.
[0049] Uma seção de processamento de RAHT 21 de uma seção de codificação do atributo 15 realiza a RAHT na informação de atributo pelo uso dos valores de peso que a seção de processamento de RAHT 13 derivou com base na informação de localização. Uma seção de quantização 22 quantiza os coeficientes transformados da informação de atributo que são obtidos pela RAHT exposta.
[0050] Adicionalmente, uma seção de rearranjo do coeficiente de geometria 14 rearranja os coeficientes na ordem descendente dos valores de peso que foram derivados pela seção de processamento de RAHT 13. Uma seção de rearranjo do coeficiente de atributo 23 rearranja os coeficientes quantizados que foram obtidos pela seção de quantização 22 na mesma ordem dos coeficientes que foram rearranjados pela seção de rearranjo do coeficiente de geometria 14. Isto é, uma seção de codificação sem perdas 24 codifica os
10 / 43 coeficientes individuais da informação de atributo na ordem descendente dos valores de peso.
[0051] Adicionalmente, uma seção de geração do fluxo contínuo de bits 16 gera e transmite um fluxo contínuo de bits que inclui os dados codificados da geometria que são os dados codificados associados com a informação de localização e que foram gerados pela seção de codificação da geometria 11 e os dados codificados de atributo que são os dados codificados associados com a informação de atributo e que foram gerados pela seção de codificação sem perdas 24. <Dispositivo de decodificação>
[0052] Um dispositivo de decodificação 50 ilustrado na figura 3 é um exemplo de um dispositivo que decodifica os dados codificados de uma nuvem de pontos fazendo um rearranjo de coeficiente como este. Por exemplo, no caso do dispositivo de decodificação 50, uma seção de decodificação da geometria 51 decodifica os dados codificados da geometria incluídos em um fluxo contínuo de bits de entrada. Uma seção de rearranjo do coeficiente de geometria 52 rearranja os dados de coeficiente (coeficientes de geometria) que foram decodificados e obtidos na ordem do código de Morton.
[0053] Uma seção de processamento de RAHT 53 realiza a RAHT nos coeficientes de geometria que são arranjados na ordem do código de Morton, para derivar os valores de peso. Uma seção de rearranjo do coeficiente de geometria 54 rearranja os coeficientes na ordem descendente dos valores de peso que foram derivados pela seção de processamento de RAHT 53.
[0054] Uma seção de decodificação sem perdas 61 de uma seção de decodificação do atributo 55 decodifica os dados codificados de atributo incluídos no fluxo contínuo de bits de entrada. Uma seção de rearranjo do coeficiente de atributo inverso 62 rearranja os coeficientes de atributo que foram arranjados na ordem descendente dos valores de peso na ordem do
11 / 43 código de Morton, com base na ordem descendente dos valores de peso, que é indicada pela seção de rearranjo do coeficiente de geometria 54. Adicionalmente, a seção de quantização inversa 63 realiza a quantização inversa nos coeficientes de atributo arranjados na ordem do código de Morton.
[0055] Uma seção de processamento de RAHT inversa 64 realiza a RAHT inversa, que é o processamento inverso à RAHT, nos coeficientes de atributo quantizados inversamente pelo uso dos valores de peso que foram derivados pela seção de processamento de RAHT 53, para gerar a informação de atributo (dados de atributo).
[0056] Uma seção de geração de dados da nuvem de pontos 56 gera os dados da nuvem de pontos pela sintetização da informação de localização (dados de geometria) que foi gerada pela seção de decodificação da geometria 51 e da informação de atributo (dados de atributo) que foi gerada pela seção de processamento de RAHT inversa 64, e transmite os dados da nuvem de pontos gerados. <Rearranjo dos coeficientes>
[0057] Como exposto, na codificação e decodificação expostas, o rearranjo que faz com que os dados de coeficiente associados com a informação de atributo sejam arranjados na ordem descendente dos valores de peso foi feito.
[0058] A figura 4 ilustra um gráfico que representa as relações entre os valores de peso e as variações do coeficiente. Da forma indicada na figura 4, quanto maior for o valor de peso, menor é a variação do coeficiente. Assim, a realização da codificação/decodificação a partir de um maior valor de peso com prioridade mais alta torna possível aumentar a eficiência da codificação.
[0059] Este rearranjo, entretanto, exige uma quantidade significativamente grande de processamento. Em particular, no caso de uma nuvem de pontos como esta que tem uma quantidade significativamente
12 / 43 grande de dados, o aumento da carga no processamento de rearranjo torna-se adicionalmente notável. Assim, é provável que um método como este, da forma supradescrita, cause o aumento da carga na codificação/decodificação da informação de atributo da nuvem de pontos. <Seleção de contextos>
[0060] Por este motivo, é implementada uma configuração na qual, em vez do rearranjo dos coeficientes, os contextos são selecionados de acordo com os supradescritos valores de peso.
[0061] Por exemplo, no caso da codificação, é implementada uma configuração em que a informação de atributo de uma nuvem de pontos é codificada usando os contextos correspondentes aos valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0062] Por exemplo, um dispositivo de processamento de imagem inclui uma seção de codificação que codifica a informação de atributo de uma nuvem de pontos usando os contextos correspondentes aos valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0063] O emprego de uma configuração como esta habilita a redução do aumento da carga na codificação da informação de atributo da nuvem de pontos.
[0064] Adicionalmente, por exemplo, no caso da decodificação, é implementada uma configuração em que os dados codificados associados com a informação de atributo de uma nuvem de pontos são decodificados pelo uso de contextos correspondentes aos valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura
13 / 43 tridimensional.
[0065] Por exemplo, um dispositivo de processamento de imagem inclui uma seção de decodificação que decodifica os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes aos valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[0066] O emprego de uma configuração como esta habilita a redução do aumento da carga na decodificação da informação de atributo da nuvem de pontos.
[0067] Por exemplo, no gráfico da figura 4, há uma diferença significativamente grande entre as variações dos coeficientes nas áreas em que os valores de peso são pequenos (por exemplo, na vizinhança confinada por um quadro 71) e aqueles nas áreas em que os valores de peso são grandes (por exemplo, na vizinhança confinada por um quadro 72). Isto é, os graus de variação dos coeficientes dependem dos valores de peso. Em outras palavras, os graus de variação dos coeficientes são, em alguma extensão, determinados de acordo com os valores de peso. Por este motivo, é implementada uma configuração em que diversos contextos, cada qual associado com graus de variação mutuamente diferentes dos coeficientes, são preparados, e um contexto a ser aplicado é selecionado a partir dos contextos com base em valores de peso. A implementação de uma configuração como esta torna possível, com base em um valor de peso, selecionar um contexto que é adicionalmente adequado para as variações do coeficiente no valor de peso. Isto é, a realização da codificação/decodificação usando um contexto de acordo com um valor de peso (variações do coeficiente) habilita a redução da diminuição da eficiência da codificação.
[0068] Adicionalmente, no caso deste método, o rearranjo dos
14 / 43 coeficientes é desnecessário e, assim, a redução do aumento da carga pode ser alcançada. Isto é, a diminuição da eficiência da codificação pode ser reduzida simultaneamente com a redução do aumento da carga na mesma. <2. Primeira modalidade> <Dispositivo de codificação>
[0069] A figura 5 é um diagrama de blocos que ilustra um exemplo de configuração de um dispositivo de codificação que é uma modalidade de um dispositivo de processamento de imagem no qual a presente tecnologia é aplicada. Um dispositivo de codificação 100 ilustrado na figura 4 é um dispositivo que codifica a informação de localização e a informação de atributo de uma nuvem de pontos.
[0070] Note que a figura 5 ilustra apenas os elementos principais das seções de processamento, dos fluxos de dados e similares, e os elementos ilustrados na figura 5 não são necessariamente todos os elementos. Isto é, no dispositivo de codificação 100, uma ou mais seções de processamento que não são ilustradas como blocos na figura 5 podem existir, e um ou mais processos e um ou mais fluxos de dados que não são ilustrados como setas na figura 5 podem existir.
[0071] Da forma ilustrada na figura 5, o dispositivo de codificação 100 inclui uma seção de codificação da geometria 111, uma seção de rearranjo do coeficiente de geometria 112, uma seção de processamento de RAHT 113, uma seção de seleção do contexto 114, uma seção de codificação do atributo 115, e uma seção de geração do fluxo contínuo de bits 116.
[0072] A seção de codificação da geometria 111 realiza o processamento em relação à codificação da informação de localização. Por exemplo, a seção de codificação da geometria 111 obtém e codifica a informação de localização dos dados da nuvem de pontos que foram inseridos no dispositivo de codificação 100. A seção de codificação da geometria 111 supre os dados codificados da geometria obtidos pela codificação para a seção
15 / 43 de geração do fluxo contínuo de bits 116. Adicionalmente, a seção de codificação da geometria 111 também supre os coeficientes de geometria, que são a informação de localização, para a seção de rearranjo do coeficiente de geometria 112.
[0073] A seção de rearranjo do coeficiente de geometria 112 realiza o processamento em relação ao rearranjo dos dados de coeficiente. Por exemplo, a seção de rearranjo do coeficiente de geometria 112 obtém os coeficientes de geometria supridos a partir da seção de codificação da geometria 111. A seção de rearranjo do coeficiente de geometria 112 rearranja os coeficientes de geometria na ordem do código de Morton, e supre os coeficientes de geometria rearranjados para a seção de processamento de RAHT 113.
[0074] A seção de processamento de RAHT 113 realiza o processamento em relação à RAHT. Por exemplo, a seção de processamento de RAHT 113 realiza a RAHT nos coeficientes de geometria que são supridos na ordem do código de Morton a partir da seção de rearranjo do coeficiente de geometria 112, para derivar os valores de peso em relação à informação de localização. A seção de processamento de RAHT 113 supre os valores de peso derivados para a seção de seleção do contexto 114 e a (uma seção de processamento de RAHT 121 da) seção de codificação do atributo 115.
[0075] A seção de seleção do contexto 114 realiza o processamento em relação à seleção de contextos. Por exemplo, a seção de seleção do contexto 114 obtém os valores de peso a partir da seção de processamento de RAHT 113. A seção de seleção do contexto 114 seleciona os contextos com base nos valores de peso.
[0076] Por exemplo, a seção de seleção do contexto 114 armazena preliminarmente na mesma uma pluralidade de candidatos para os contextos. Os valores de peso mutuamente diferentes (uma região de valor dos mesmos) são (é) atribuídos a cada um dos candidatos, e qualquer um dos candidatos é
16 / 43 selecionado de acordo com a magnitude de um valor de peso. Por exemplo, esta seleção de qualquer um dos candidatos de acordo com a magnitude de um valor de peso é feita de uma maneira tal que, no caso em que o valor de peso for menor do que um valor limite A, um contexto A atribuído a esta região seja selecionado, no caso em que o valor de peso for igual a ou maior do que A, mas menor do que B, um contexto B atribuído a esta região é selecionado, · · ·, e, no caso em que o valor de peso for igual a ou maior do que Y, um contexto Z atribuído a esta região é selecionado. Note que cada um dos candidatos é definido em um valor que é adicionalmente adequado para os graus de variação do coeficiente correspondentes a uma região de valor atribuída.
[0077] Isto é, é implementada uma configuração em que a seção de seleção do contexto 114 seleciona um contexto com base em um valor de peso e esta seleção habilita a seleção do contexto que é adicionalmente adequado para um grau de variação do coeficiente correspondente ao valor de peso.
[0078] Aqui, o número dos candidatos e as magnitudes dos valores limites podem ser determinados livremente. Estes valores podem ser, por exemplo, valores fixos preliminarmente determinados, ou podem ser definíveis por um usuário ou similares (ou podem ser variáveis). No caso de serem variáveis, o número dos candidatos e as magnitudes dos valores limites podem ser configurados para serem transmitidos para um lado de decodificação de uma maneira tal para ser incluído em um fluxo contínuo de bits como sua informação de cabeçalho ou similares. A implementação de uma configuração como esta habilita que um decodificador selecione mais facilmente os contextos similares àqueles para o dispositivo de codificação 100 pelo uso da informação de cabeçalho ou similares.
[0079] A seção de seleção do contexto 114 supre os contextos selecionados para a (uma seção de codificação sem perdas 123 da) seção de
17 / 43 codificação do atributo 115.
[0080] A seção de codificação do atributo 115 realiza o processamento em relação à codificação da informação de atributo. Por exemplo, a seção de codificação do atributo 115 obtém a informação de atributo dos dados da nuvem de pontos que são inseridos no dispositivo de codificação 100, e codifica a informação de atributo para gerar os dados codificados de atributo. A seção de codificação do atributo 115 supre os dados codificados de atributo gerados para a seção de geração do fluxo contínuo de bits 116.
[0081] A seção de geração do fluxo contínuo de bits 116 gera um fluxo contínuo de bits que inclui os dados codificados da geometria supridos a partir da seção de codificação da geometria 111 e os dados codificados de atributo supridos a partir da seção de codificação do atributo 115, e transmite o fluxo contínuo de bits para o exterior do dispositivo de codificação 100.
[0082] Adicionalmente, a seção de codificação do atributo 115 inclui a seção de processamento de RAHT 121, uma seção de quantização 122, e a seção de codificação sem perdas 123.
[0083] A seção de processamento de RAHT 121 realiza o processamento em relação à RAHT. Por exemplo, o processamento de RAHT obtém a informação de atributo dos dados da nuvem de pontos que é inserida no dispositivo de codificação 100. Adicionalmente, a seção de processamento de RAHT 121 obtém os valores de peso supridos a partir da seção de processamento de RAHT 113. A seção de processamento de RAHT 121 realiza a RAHT na informação de atributo pelo uso dos valores de peso. A seção de processamento de RAHT 121 supre os coeficientes transformados que foram obtidos pela RAHT para a seção de quantização 122.
[0084] A seção de quantização 122 realiza o processamento em relação à quantização. Por exemplo, a seção de quantização 122 obtém os coeficientes transformados supridos a partir da seção de processamento de
18 / 43 RAHT. Adicionalmente, a seção de quantização 122 quantiza os coeficientes transformados obtidos. A seção de quantização 122 supre os coeficientes quantizados que foram obtidos pela quantização para a seção de codificação sem perdas 123.
[0085] A seção de codificação sem perdas 123 realiza o processamento em relação à codificação sem perdas. Por exemplo, a seção de codificação sem perdas 123 obtém os coeficientes quantizados supridos a partir da seção de quantização 122. Adicionalmente, a seção de codificação sem perdas 123 obtém os contextos que foram selecionados pela seção de seleção do contexto 114. A seção de codificação sem perdas 123 codifica os coeficientes quantizados pelo uso dos contextos. Isto é, a seção de codificação sem perdas 123 codifica a informação de atributo da nuvem de pontos pelo uso dos contextos correspondentes aos valores de peso obtidos pela transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional. A seção de codificação sem perdas 123 supre a seção de geração do fluxo contínuo de bits 116 com dados codificados (dados codificados de atributo) que são associados com a informação de atributo e que foram gerados de uma maneira como esta, como exposto.
[0086] Aqui, cada uma destas seções de processamento (que variam da seção de codificação da geometria 111 até a seção de geração do fluxo contínuo de bits 116 e que variam da seção de processamento de RAHT 121 até a seção de codificação sem perdas 123) tem uma configuração opcional. Por exemplo, cada uma destas seções de processamento pode incluir um circuito lógico que implementa um correspondente dos supradescritos tipos de processamento. Adicionalmente, cada uma das seções de processamento pode incluir componentes, tais como uma CPU, uma ROM, e uma RAM, e implementa um correspondente dos supradescritos tipos de processamento pela execução de um programa com os componentes. Naturalmente, cada uma
19 / 43 das seções de processamento pode ter ambas as configurações supradescritas para implementar uma parte de um correspondente dos supradescritos tipos de processamento com o circuito lógico e implementar a outra parte do correspondente processamento pela execução do programa. As configurações das seções de processamento individuais podem ser mutuamente independentes e podem ser feitas de maneira tal que, por exemplo, uma ou mais seções de processamento dentre cada uma das seções de processamento expostas implemente um correspondente dos supradescritos tipos de processamento com um circuito lógico, uma outra ou mais de cada uma das seções de processamento dentre as seções de processamento expostas implemente um correspondente dos supradescritos tipos de processamento pela execução de um programa, e uma outra uma ou mais seções de processamento adicionais dentre cada uma das seções de processamento expostas implemente um correspondente dos supradescritos tipos de processamento por meio tanto de um circuito lógico quanto da execução de um programa.
[0087] A implementação de uma configuração como esta da forma supradescrita torna possível que o dispositivo de codificação 100 proporcione efeitos tais como aqueles descritos em <1. Codificação da informação de atributo>. Por exemplo, o dispositivo de codificação 100 é capaz de reduzir a diminuição da eficiência da codificação simultaneamente com a redução do aumento da carga no mesmo. <Fluxo do processamento de codificação>
[0088] A seguir, um exemplo do fluxo do processamento de codificação realizado pelo dispositivo de codificação 100 será descrito em relação ao fluxograma da figura 6.
[0089] Mediante o início do processamento de codificação, a seção de codificação da geometria 111 codifica os dados de geometria (informação de localização) na etapa S101.
20 / 43
[0090] Na etapa S102, a seção de rearranjo do coeficiente de geometria 112 rearranja os coeficientes de geometria na ordem do código de Morton.
[0091] Na etapa S103, a seção de processamento de RAHT 113 realiza a RAHT nos dados de geometria para derivar os valores de peso.
[0092] Na etapa S104, a seção de seleção do contexto 114 seleciona os contextos com base em valores de peso que foram derivados na etapa S103.
[0093] Na etapa S105, a seção de processamento de RAHT 121 realiza a RAHT nos dados de atributo (informação de atributo) pelo uso dos valores de peso associados com a geometria e derivados na etapa S103.
[0094] Na etapa S106, a seção de quantização 122 realiza a quantização nos coeficientes transformados que foram obtidos na etapa S105.
[0095] Na etapa S107, a seção de codificação sem perdas 123 realiza a codificação sem perdas nos coeficientes quantizados (dados de atributo) que foram obtidos na etapa S106, pelo uso dos contextos que foram selecionados na etapa S104.
[0096] Na etapa S108, a seção de geração do fluxo contínuo de bits 116 gera um fluxo contínuo de bits que inclui os dados codificados da geometria que foram obtidos na etapa S101 e os dados codificados de atributo que foram obtidos na etapa S107.
[0097] Na etapa S109, a seção de codificação sem perdas 123 transmite o fluxo contínuo de bits que foi gerado na etapa S108.
[0098] Mediante a conclusão do processo da etapa S109, o processamento de codificação é terminado.
[0099] A realização dos processos individuais de uma maneira como esta, da forma supradescrita, torna possível que o dispositivo de codificação 100 proporcione efeitos tais como aqueles descritos em <1. Codificação da informação de atributo>. Por exemplo, o dispositivo de codificação 100 é
21 / 43 capaz de reduzir a diminuição da eficiência da codificação simultaneamente com a redução do aumento da carga no mesmo. <3. Segunda modalidade> <Dispositivo de decodificação>
[00100] A figura 7 é um diagrama de blocos que ilustra um exemplo de configuração de um dispositivo de decodificação que é uma modalidade do dispositivo de processamento de imagem no qual a presente tecnologia é aplicada. Um dispositivo de decodificação 200 ilustrado na figura 7 é um dispositivo de decodificação correspondente ao dispositivo de codificação 100 da figura 5, e é um dispositivo que decodifica o fluxo contínuo de bits que foi gerado, por exemplo, pelo dispositivo de codificação 100 e restaura os dados da nuvem de pontos.
[00101] Note que a figura 7 ilustra apenas os elementos principais de seções de processamento, dos fluxos de dados e similares, e os elementos ilustrados na figura 7 não são necessariamente todos os elementos. Isto é, no dispositivo de decodificação 200, uma ou mais seções de processamento que não são ilustradas como blocos na figura 7 podem existir, e um ou mais processos e um ou mais fluxos de dados que não são ilustrados como setas na figura 7 podem existir.
[00102] Da forma ilustrada na figura 7, o dispositivo de decodificação 200 inclui uma seção de decodificação da geometria 211, uma seção de rearranjo do coeficiente de geometria 212, uma seção de processamento de RAHT 213, uma seção de seleção do contexto 214, uma seção de decodificação do atributo 215, e uma seção de geração de dados da nuvem de pontos 216.
[00103] A seção de decodificação da geometria 211 realiza o processamento em relação à decodificação dos dados codificados associados com a informação de localização. Por exemplo, a seção de decodificação da geometria 211 obtém um fluxo contínuo de bits que é inserido no dispositivo
22 / 43 de decodificação 200, e extrai e decodifica os dados codificados (dados codificados da geometria) associados com a informação de localização incluída no fluxo contínuo de bits. A seção de decodificação da geometria 211 supre os dados de coeficiente (dados de geometria) que foram obtidos de uma maneira como esta, da forma supradescrita, para a seção de rearranjo do coeficiente de geometria 212 e a seção de geração de dados da nuvem de pontos 216.
[00104] A seção de rearranjo do coeficiente de geometria 212 realiza o processamento em relação ao rearranjo dos coeficientes de geometria. Por exemplo, a seção de rearranjo do coeficiente de geometria 212 obtém os dados de geometria supridos a partir da seção de decodificação da geometria
211. A seção de rearranjo do coeficiente de geometria 212 rearranja os coeficientes individuais dos dados de geometria (a saber, os coeficientes de geometria) na ordem do código de Morton. A seção de rearranjo do coeficiente de geometria 212 supre os dados de geometria rearranjados para a seção de processamento de RAHT 213. Isto é, a seção de rearranjo do coeficiente de geometria 212 supre os coeficientes de geometria para a seção de processamento de RAHT 213 na ordem do código de Morton.
[00105] A seção de processamento de RAHT 231 realiza o processamento em relação à RAHT. Por exemplo, a seção de processamento de RAHT 213 obtém os dados de geometria supridos a partir da seção de rearranjo do coeficiente de geometria 212. Adicionalmente, a seção de processamento de RAHT 213 realiza a RAHT nos dados de geometria para derivar os valores de peso em relação à informação de localização. A seção de processamento de RAHT 213 supre os valores de peso derivados para a seção de seleção do contexto 214 e a (uma seção de processamento de RAHT inversa 223 da) seção de decodificação do atributo 215.
[00106] A seção de seleção do contexto 214 realiza o processamento em relação à seleção de contextos. Por exemplo, a seção de seleção do
23 / 43 contexto 214 obtém os valores de peso supridos a partir da seção de processamento de RAHT 213. A seção de seleção do contexto 214 seleciona os contextos com base em valores de peso.
[00107] Por exemplo, a seção de seleção do contexto 214 armazena preliminarmente na mesma uma pluralidade de candidatos para os contextos. Os valores de peso mutuamente diferentes (uma região de valor dos mesmos) são (é) atribuídos a cada um dos candidatos, e qualquer um dos candidatos é selecionado de acordo com a magnitude de um valor de peso. Por exemplo, a seleção de qualquer um dos candidatos de acordo com a magnitude de um valor de peso é feita de uma maneira tal que, no caso em que o valor de peso for menor do que um valor limite A, um contexto A atribuído a esta região seja selecionado, no caso em que o valor de peso for igual a ou maior do que A, mas menor do que B, um contexto B atribuído a esta região seja selecionado, · · ·, e no caso em que o valor de peso for igual a ou maior do que Y, um contexto Z atribuído a esta região seja selecionado. Note que cada um dos candidatos é definido em um valor que é adicionalmente adequado para os graus de variação do coeficiente correspondente a uma região de valor atribuída.
[00108] Isto é, é implementada uma configuração em que a seção de seleção do contexto 214 seleciona um contexto com base em um valor de peso e esta seleção habilita a seleção do contexto que é adicionalmente adequado para os graus de variação do coeficiente correspondentes ao valor de peso.
[00109] Aqui, o número dos candidatos e as magnitudes dos valores limites podem ser determinados livremente. Estes valores podem ser, por exemplo, valores fixos preliminarmente determinados, ou podem ser valores que foram definidos em um lado de codificação (no dispositivo de codificação 100) e que foram transmitidos a partir do mesmo (ou podem ser variáveis). A implementação de uma configuração como esta habilita que o dispositivo de
24 / 43 decodificação 200 selecione mais facilmente os contextos similares àqueles para um codificador (por exemplo, o dispositivo de codificação 100) pelo uso de tal informação.
[00110] A seção de seleção do contexto 214 supre os contextos selecionados para a (uma seção de processamento de RAHT inversa 223 da) seção de decodificação do atributo 215.
[00111] A seção de decodificação do atributo 215 realiza o processamento em relação à decodificação da informação de atributo. Por exemplo, a seção de decodificação do atributo 215 obtém os dados codificados (dados codificados de atributo) associados com a informação de atributo incluída no fluxo contínuo de bits que é inserido no dispositivo de decodificação 200, e decodifica os dados codificados para gerar a informação de atributo (dados de atributo). A seção de decodificação do atributo 215 supre os dados de atributo gerados para a seção de geração de dados da nuvem de pontos 216.
[00112] A seção de geração de dados da nuvem de pontos 216 gera os dados da nuvem de pontos que incluem os dados de geometria supridos a partir da seção de decodificação da geometria 211 e os dados de atributo supridos a partir da seção de decodificação do atributo 215, e transmite os dados da nuvem de pontos gerados para o exterior do dispositivo de decodificação 200.
[00113] Adicionalmente, a seção de decodificação do atributo 215 inclui a seção de decodificação sem perdas 221, uma seção de quantização inversa 222, e a seção de processamento de RAHT inversa 223.
[00114] A seção de decodificação sem perdas 221 realiza o processamento em relação à decodificação sem perdas. Por exemplo, a seção de decodificação sem perdas 221 obtém os dados codificados (dados codificados de atributo) associados com a informação de atributo incluída no fluxo contínuo de bits que é inserido no dispositivo de decodificação 200.
25 / 43 Adicionalmente, a seção de decodificação sem perdas 221 obtém os contextos que foram selecionados pela seção de seleção do contexto 214. A seção de decodificação sem perdas 221 decodifica os dados codificados de atributo obtidos pelo uso dos contextos que foram selecionados pela seção de seleção do contexto 214. Isto é, a seção de decodificação sem perdas 221 decodifica os dados codificados da informação de atributo da nuvem de pontos pelo uso dos contextos correspondentes aos valores de peso obtidos pela transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional. A seção de decodificação sem perdas 221 supre a informação de atributo (dados de atributo) que foi gerada de uma maneira como esta, da forma supradescrita, para a seção de quantização inversa 222.
[00115] A seção de quantização inversa 222 realiza o processamento em relação à quantização inversa. Por exemplo, a seção de quantização inversa 222 obtém os dados de atributo supridos a partir da seção de decodificação sem perdas 221. Adicionalmente, a seção de quantização inversa 222 quantiza inversamente os dados de atributo obtidos. A seção de quantização inversa 222 supre os coeficientes transformados que foram obtidos pela quantização inversa para a seção de processamento de RAHT inversa 223.
[00116] A seção de processamento de RAHT inversa 223 realiza o processamento em relação à RAHT inversa, que é o processamento inverso à RAHT. Por exemplo, a seção de processamento de RAHT inversa 223 obtém os coeficientes transformados supridos a partir da seção de quantização inversa 222. Adicionalmente, a seção de processamento de RAHT inversa 223 obtém os valores de peso associados com a informação de localização e gerados pela seção de processamento de RAHT 213. A seção de processamento de RAHT inversa 223 realiza a RAHT inversa nos coeficientes transformados pelo uso dos valores de peso. A seção de processamento de
26 / 43 RAHT inversa 223 supre para a seção de geração de dados da nuvem de pontos 216 a informação de atributo (dados de atributo) que foi obtida pela RAHT inversa.
[00117] Aqui, cada uma destas seções de processamento (variando da seção de decodificação da geometria 211 até a seção de geração de dados da nuvem de pontos 216 e variando da seção de decodificação sem perdas 221 até a seção de processamento de RAHT inversa 223) tem uma configuração opcional. Por exemplo, cada uma destas seções de processamento pode incluir um circuito lógico que implementa um correspondente dos supradescritos tipos de processamento. Adicionalmente, cada uma das seções de processamento pode incluir os componentes, tais como uma CPU, uma ROM e uma RAM, e implementa um correspondente dos supradescritos tipos de processamento pela execução de um programa com os componentes. Naturalmente, cada uma das seções de processamento pode ter ambas as supradescritas configurações para implementar uma parte de um correspondente dos supradescritos tipos de processamento com o circuito lógico e implementar a outra parte do correspondente processamento pela execução do programa. As configurações das seções de processamento individuais podem ser mutuamente independentes e podem ser feitas de maneira tal que, por exemplo, cada uma ou mais seções de processamento dentre as seções de processamento expostas implemente um correspondente dos supradescritos tipos de processamento com um circuito lógico, cada uma outra uma ou mais seções de processamento dentre as seções de processamento expostas implemente um correspondente dos supradescritos tipos de processamento pela execução de um programa, e cada uma outra uma ou mais seções de processamento adicionais dentre as seções de processamento expostas e um correspondente dos supradescritos tipos de processamento por meio tanto de um circuito lógico quanto da execução de um programa.
27 / 43
[00118] A implementação de uma configuração como esta, da forma supradescrita, torna possível que o dispositivo de decodificação 200 proporcione os efeitos tais como aqueles descritos em <1. Codificação da informação de atributo>. Por exemplo, o dispositivo de decodificação 200 é capaz de reduzir a diminuição da eficiência da codificação simultaneamente com a redução do aumento da carga no mesmo. <Fluxo do processamento de decodificação>
[00119] A seguir, um exemplo do fluxo do processamento de decodificação realizado pelo dispositivo de decodificação 200 será descrito em relação ao fluxograma da figura 8.
[00120] Mediante o início do processamento de decodificação, a seção de decodificação da geometria 211 decodifica um fluxo contínuo de bits em relação à geometria na etapa S201.
[00121] Na etapa S202, a seção de rearranjo do coeficiente de geometria 212 rearranja os coeficientes de geometria que foram obtidos na etapa S201 na ordem do código de Morton.
[00122] Na etapa S203, a seção de processamento de RAHT 213 realiza a RAHT nos dados de geometria para derivar os valores de peso.
[00123] Na etapa S204, a seção de seleção do contexto 214 seleciona os contextos com base em valores de peso que foram obtidos na etapa S203.
[00124] Na etapa S205, a seção de decodificação sem perdas 221 realiza decodificação sem perdas no fluxo contínuo de bits em relação a atributos pelo uso dos contextos que foram selecionados na etapa S204. Isto é, a seção de decodificação sem perdas 221 decodifica os dados codificados associados com a informação de atributo da nuvem de pontos, pelo uso dos contextos correspondentes aos valores de peso obtidos pela transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
28 / 43
[00125] Na etapa S206, a seção de quantização inversa 222 realiza a quantização inversa nos coeficientes quantizados que foram obtidos na etapa S205.
[00126] Na etapa S207, a seção de processamento de RAHT inversa 223 realiza o processamento de RAHT inverso nos coeficientes transformados pelo uso dos valores de peso em relação à geometria, para gerar os dados de atributo.
[00127] Na etapa S208, a seção de geração de dados da nuvem de pontos 216 gera os dados da nuvem de pontos que incluem os dados de geometria que foram obtidos na etapa S201 e os dados de atributo que foram obtidos na etapa S207.
[00128] Na etapa S209, a seção de geração de dados da nuvem de pontos 216 transmite os dados da nuvem de pontos que foram gerados na etapa S208 para o exterior do dispositivo de decodificação 200.
[00129] Mediante a conclusão do processo da etapa S209, o processamento de decodificação é terminado.
[00130] A realização dos processos individuais de uma maneira como esta, da forma supradescrita, torna possível que o dispositivo de decodificação 200 proporcione efeitos, tais como aqueles descritos em <1. Codificação da informação de atributo>. Por exemplo, o dispositivo de decodificação 200 é capaz de reduzir a diminuição da eficiência da codificação simultaneamente com a redução do aumento da carga no mesmo. <4. Terceira modalidade> <Dispositivo de codificação>
[00131] Por exemplo, no caso em que os dados de geometria forem codificados em relação a uma árvore óctupla, a condição da distribuição de pontos pode ser facilmente compreendida a partir da árvore óctupla. Isto é, os valores de peso podem ser facilmente derivados a partir da árvore óctupla até mesmo sem realizar o processamento de RAHT.
29 / 43
[00132] A figura 9 ilustra um exemplo da configuração principal do dispositivo de codificação 100 neste caso. Quando comparado com o exemplo da figura 5, o dispositivo de codificação 100, neste caso, inclui uma seção de cálculo do peso 301, em vez da seção de rearranjo do coeficiente de geometria 112 e da seção de processamento de RAHT 113.
[00133] A seção de cálculo do peso 301 realiza o processamento em relação ao cálculo dos valores de peso. Por exemplo, a seção de cálculo do peso 301 obtém os dados da Árvore óctupla em relação à informação de localização proveniente da seção de codificação da geometria 111. A seção de cálculo do peso 301 deriva os valores de peso com base em árvore óctupla em relação à informação de localização. A seção de cálculo do peso 301 supre os valores de peso derivados para a seção de seleção do contexto 114 e a seção de processamento de RAHT 121.
[00134] Quando comparada com a configuração da figura 5, a configuração implementada de uma maneira como esta, da forma supradescrita, torna os processos de grande carga, isto é, o rearranjo dos coeficientes de geometria e o processamento de RAHT, desnecessários, e torna possível derivar os valores de peso por meio do cálculo de pequena carga dos pesos a partir da árvore óctupla. Assim, o dispositivo de codificação 100 é capaz de reduzir o aumento da carga em um grau adicional em relação ao caso da primeira modalidade. <Fluxo do processamento de codificação>
[00135] Um exemplo do fluxo do processamento de codificação neste caso será descrito em relação ao fluxograma da figura 10.
[00136] Mediante o início do processamento de codificação, a seção de codificação da geometria 111 codifica os dados de geometria (informação de localização) na etapa S301, exatamente como no caso da etapa S101.
[00137] Na etapa S302, a seção de cálculo do peso 301 calcula os valores de peso a partir de uma árvore óctupla que foi obtida na etapa S301.
30 / 43
[00138] Cada um dos processos das etapas S303 até S308 é realizado de uma maneira similar àquela de cada um dos processes das etapas S104 a S109 da figura 6.
[00139] Assim, a realização dos processos individuais expostos de uma maneira como esta, da forma supradescrita, habilita o dispositivo de codificação 100 a reduzir a diminuição da eficiência da codificação simultaneamente com a redução do aumento da carga no mesmo, exatamente como no caso da primeira modalidade. Adicionalmente, o dispositivo de codificação 100 neste caso é capaz de reduzir o aumento da carga em um grau adicional em relação ao caso da primeira modalidade. <5. Quarta modalidade> <Dispositivo de decodificação>
[00140] O dispositivo de decodificação 200 também pode ser configurado de maneira tal que os valores de peso sejam derivados a partir da árvore óctupla, exatamente como no caso da terceira modalidade. A implementação de uma configuração como esta torna possível facilmente derivar os valores de peso da árvore óctupla mesmo sem realizar o processamento de RAHT.
[00141] A figura 11 ilustra um exemplo da configuração principal do dispositivo de decodificação 200 neste caso. Quando comparado com o exemplo da figura 7, o dispositivo de decodificação 200 neste caso inclui uma seção de cálculo do peso 401, em vez da seção de rearranjo do coeficiente de geometria 212 e da seção de processamento de RAHT 213.
[00142] A seção de cálculo do peso 401 realiza o processamento em relação ao cálculo dos valores de peso. Por exemplo, a seção de cálculo do peso 401 obtém os dados da árvore óctupla em relação à informação de localização a partir da seção de decodificação da geometria 211. A seção de cálculo do peso 401 deriva os valores de peso com base em árvore óctupla em relação à informação de localização. A seção de cálculo do peso 401 supre os
31 / 43 valores de peso derivados para a seção de seleção do contexto 214 e a seção de processamento de RAHT inversa 223.
[00143] Quando comparada com a configuração da figura 7, a configuração implementada de uma maneira como esta, da forma supradescrita, torna os processos de grande carga, isto é, o rearranjo dos coeficientes de geometria e o processamento de RAHT, desnecessários, e torna possível derivar os valores de peso por meio do cálculo de pequena carga dos pesos da árvore óctupla. Assim, o dispositivo de decodificação 200, neste caso, é capaz de reduzir o aumento da carga em um grau adicional em relação ao o caso da segunda modalidade. <Fluxo do processamento de decodificação>
[00144] Um exemplo do fluxo do processamento de decodificação, neste caso, será descrito em relação ao fluxograma da figura 12.
[00145] Mediante o início do processamento de decodificação, a seção de decodificação da geometria 211 decodifica um fluxo contínuo de bits em relação à geometria na etapa S401, exatamente como no caso da etapa S201.
[00146] Na etapa S402, a seção de cálculo do peso 401 calcula os valores de peso a partir de uma árvore óctupla que foram obtidos na etapa S401.
[00147] Cada um dos processos das etapas S403 a S408 é realizado de uma maneira similar àquela de cada um dos processes das etapas S204 até S209 da figura 8.
[00148] Assim, a realização dos processos individuais expostos de uma maneira como esta, da forma supradescrita, habilita o dispositivo de decodificação 200 a reduzir a diminuição da eficiência da codificação simultaneamente com a supressão do aumento da carga no mesmo, exatamente como no caso da segunda modalidade. Adicionalmente, o dispositivo de decodificação 200, neste caso, é capaz de reduzir o aumento da carga em um grau adicional em relação ao caso da segunda modalidade.
32 / 43 <6. Notas anexas> <Transformação ortogonal>
[00149] Note que, no exposto, é descrito um exemplo em que a RAHT é empregada como uma transformação ortogonal, mas a transformação ortogonal a ser realizada na codificação/decodificação não é limitada à RAHT, e é suficiente empregar somente, como a transformação ortogonal, uma transformação ortogonal que levando em consideração uma estrutura tridimensional. Por exemplo, é suficiente somente empregar uma transformação gráfica ou similares. <Computador>
[00150] A supradescrita série de processos pode ser executada por hardware ou pode ser executada por software. No caso em que a série de processos for executada por software, os programas que constituem o software são instalados em um computador. Aqui, o computador abrange um computador embutido em hardware dedicado e um computador, tal como um computador pessoal de propósito geral, que pode executar vários tipos de funções pela permissão que vários tipos de programas sejam instalados no mesmo.
[00151] A figura 13 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um computador que realiza a supradescrita série de processes pela execução dos programas.
[00152] Em um computador 900 ilustrado na figura 13, uma CPU (unidade central de processamento) 901, uma ROM (memória exclusiva de leitura) 902 e uma RAM (memória de acesso aleatório) 903 são acopladas umas nas outras por meio de um barramento 904.
[00153] Uma interface de entrada/saída 910 também é acoplada no barramento 904. A interface de entrada/saída 910 é acoplada em uma unidade de entrada 911, uma unidade de saída 912, uma unidade de armazenamento 913, uma unidade de comunicação 914, e um drive 915.
33 / 43
[00154] A unidade de entrada 911 inclui, por exemplo, um teclado, um mouse, um microfone, um painel sensível ao toque, um terminal de entrada e similares. A unidade de saída 912 inclui, por exemplo, um visor, um alto- falante, um terminal de saída e similares. A unidade de armazenamento 913 inclui, por exemplo, um disco rígido, um disco RAM, uma memória não volátil e similares. A unidade de comunicação 914 inclui, por exemplo, uma interface de rede. O drive 915 aciona uma mídia removível 921, tais como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora.
[00155] No computador configurado de uma maneira como esta, como exposto, a supradescrita série de processos é realizada pela permissão que a CPU 901 carregue os programas armazenados, por exemplo, na unidade de armazenamento 913 na RAM 903 por meio da interface de entrada/saída 910 e do barramento 904, e execute os programas. Os dados que a CPU 901 precisa durante a execução dos vários tipos de processos e qualquer outro tipo de dados também são armazenados na RAM 903, conforme necessário.
[00156] Os programas executados pelo computador (CPU 901) podem ser aplicados por serem gravados na mídia removível 921 que serve, por exemplo, como uma mídia acondicionada ou similares. Em tal caso, a anexação da mídia removível 921 no drive 915 habilita que os programas sejam instalados na unidade de armazenamento 913 por meio da interface de entrada/saída 910.
[00157] Adicionalmente, os programas também podem ser providos por meio de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet, ou difusão por satélite digital. Em tal caso, os programas podem ser recebidos pela unidade de comunicação 914 e podem, então, ser instalados na unidade de armazenamento 913.
[00158] Além do exposto, os programas também podem ser instalados em antecipação na ROM 902 ou na unidade de armazenamento 913.
34 / 43 <Alvo de aplicação da presente tecnologia>
[00159] Até aqui, são descritos os exemplos em que a presente tecnologia é aplicada na codificação/decodificação dos dados da nuvem de pontos, mas sem ser limitada a estes exemplos, a presente tecnologia pode ser aplicada à codificação/decodificação de dados 3D que se conformam a qualquer padrão. Isto é, a menos que inconsistentes com a supradescrita presente tecnologia, as especificações para processos individuais para um método de codificação/decodificação e similares, bem como as especificações para vários tipos de dados, tais como dados 3D e metadados, são opcionais. Adicionalmente, uma parte dos supradescritos processos e/ou uma parte das supradescritas especificações podem ser omitidas, a menos que surja inconsistência com a presente tecnologia.
[00160] A presente tecnologia pode ser aplicada a qualquer configuração. Por exemplo, a presente tecnologia pode ser aplicada em transmissores e receptores (por exemplo, receptores de televisão e telefones celulares) para uso em difusão via satélite, difusão a cabo, tal como TV a cabo, distribuição através da Internet, distribuição para os terminais com uso de comunicação celular e similares. Adicionalmente, por exemplo, a presente tecnologia pode ser aplicada a vários dispositivos eletrônicos, tais como cada um dos dispositivos (por exemplo, um gravador de disco rígido e uma câmera) para gravação de imagens em uma mídia de armazenamento, tais como um disco óptico, um disco magnético ou uma memória flash, e reprodução das imagens provenientes da mídia de armazenamento.
[00161] Adicionalmente, por exemplo, a presente tecnologia também pode ser praticada como um elemento constituinte parcial de um dispositivo, tais como um processador (por exemplo, um processador de vídeo) como sistema LSI (Integração em Larga Escala) ou similares, um módulo (por exemplo, um módulo de vídeo) que usa uma pluralidade de processadores ou similares, uma unidade (por exemplo, uma unidade de vídeo) que usa uma
35 / 43 pluralidade de módulos ou similares, um aparelho (por exemplo, um aparelho de vídeo) que inclui uma unidade e outras funções adicionadas na unidade, ou qualquer outro dispositivo similar.
[00162] Adicionalmente, por exemplo, a presente tecnologia também pode ser aplicada em um sistema em rede que inclui diversos dispositivos. Por exemplo, a presente tecnologia pode ser configurada para ser praticada como uma computação em nuvem que permite que diversos dispositivos realizem o processamento por meio de uma rede à maneira de carga compartilhada e colaborada. Por exemplo, a presente tecnologia pode ser configurada para ser praticada em um serviço em nuvem que provê serviços em relação às imagens (imagens em movimento) a qualquer um dos terminais, tais como um computador, um equipamento AV (Áudio Visual), um terminal de processamento de informação portátil, e um dispositivo IoT (Internet das Coisas).
[00163] Note que, na presente descrição, um sistema significa um conjunto de diversos elementos constituintes (dispositivos, módulos (partes) e similares), e todos os elementos constituintes não estão necessariamente montados no mesmo alojamento. Assim, diversos dispositivos montados em diferentes alojamentos e acoplados uns nos outros por meio de uma rede e um dispositivo cujos diversos módulos são montados em um alojamento são, ambos, sistemas. <Campos e aplicações nos quais a presente tecnologia é aplicável>
[00164] Um sistema, um dispositivo, uma unidade de processamento e similares nos quais a presente tecnologia é aplicada podem ser usados em qualquer um de tais campos, como transporte, cuidados médicos, prevenção criminal, agricultura, indústria pecuária, mineração, beleza, fábricas, utensílios domésticos, clima e monitoramento da natureza. Adicionalmente, a aplicação da presente tecnologia também pode ser determinada livremente. <Outros>
36 / 43
[00165] Note que, na presente descrição, um “indicador” é a informação para identificar diversos estados e inclui não apenas a informação para uso na identificação de dois estados de verdadeiro (1) ou falso (0), mas, também, a informação capaz de identificar três ou mais estados. Assim, os valores que o “indicador” pode tomar podem ser, por exemplo, dois valores, isto é, “1” e “0”, ou três ou mais valores. Isto é, o número de bits que constituem o “indicador” pode ser qualquer número, e um bit ou diversos bits podem ser empregados. Adicionalmente, é considerado que a informação de identificação (incluindo o indicador) tem não apenas uma forma em que a informação de identificação é incluída em um fluxo contínuo de bits, mas, também uma forma em que a informação da diferença em relação à informação da identificação em relação a certa informação de referência é incluída no fluxo contínuo de bits e, assim, na presente descrição, o “indicador” e a “informação de identificação” abrangem não apenas a própria informação, mas, também, a informação da diferença em relação à própria informação em relação à informação de referência.
[00166] Adicionalmente, vários tipos de informação (metadados e similares) em relação aos dados codificados (fluxo contínuo de bits) podem ser configurados para serem transmitidos ou gravados em qualquer forma, desde que os vários tipos de informação sejam associados com os dados codificados. Aqui, o termo “associar” significa, por exemplo, no momento do processamento de dados em um lado, tornar possível usar (ligar) os dados no outro lado. Isto é, as peças de dados associadas umas com as outras podem ser integradas como um conjunto de dados, ou podem, cada qual, ser tratadas como uma única peça de dados. Por exemplo, a informação associada com os dados codificados (imagem) pode ser transmitida através de um caminho de transmissão diferente daquele para os dados codificados (imagem). Adicionalmente, por exemplo, a informação associada com os dados codificados (imagem) pode ser gravada em uma mídia de gravação diferente
37 / 43 daquela para os dados codificados (imagem) (ou em uma área de gravação diferente daquela para os dados codificados (imagem) na mesma mídia de gravação). Além do mais, o alvo da “associação” pode ser não apenas a íntegra dos dados, mas, também, uma porção parcial dos dados. Por exemplo, uma imagem e uma informação correspondentes à imagem podem ser associadas uma com a outra em uma unidade de qualquer um de diversos quadros, um quadro, uma porção parcial em um quadro e similares.
[00167] Além do mais, na presente descrição, os termos “sintetizar”, “multiplexar”, “adicionar”, “integrar”, “incorporar”, “armazenar”, “colocar em”, “embutir”, “inserir” e similares significam que diversos objetos são unificados em um objeto, como um exemplo em que os dados codificados e os metadados são unificados em um conjunto de dados, e cada um dos termos expostos significa um dos métodos para a “associação” exposta.
[00168] Adicionalmente, as modalidades da presente tecnologia não são limitadas às supradescritas modalidades, e várias modificações podem ser feitas no escopo sem fugir da essência da presente tecnologia.
[00169] Por exemplo, a configuração que foi descrita como um dispositivo (seção de processamento) pode ser separada e configurada como diversos dispositivos (seções de processamento). Ao contrário, as configurações que foram supradescritas como diversos dispositivos (seções de processamento) podem ser unificadas e configuradas como um dispositivo (seção de processamento). Adicionalmente, naturalmente, uma configuração diferente das configurações supradescritas pode ser adicionada à configuração de cada dispositivo (ou cada seção de processamento). Adicionalmente, uma porção parcial da configuração de um certo dispositivo (ou seção de processamento) pode ser incluída na configuração de um outro dispositivo (ou uma outra seção de processamento), desde que a configuração e a operação da íntegra do sistema não sejam substancialmente mudadas.
[00170] Adicionalmente, por exemplo, o programa supradescrito pode
38 / 43 ser executado em qualquer dispositivo. Em tal caso, é suficiente somente habilitar o dispositivo a ter funções necessárias (blocos de função ou similares) e obter a informação necessária.
[00171] Adicionalmente, por exemplo, as etapas individuais de um fluxograma podem ser executadas por um dispositivo, ou podem ser compartilhadas e executadas por diversos dispositivos. Além do mais, no caso em que diversos processos forem incluídos em uma etapa, os diversos processos podem ser realizados por um dispositivo, ou podem ser compartilhados e realizados por diversos dispositivos. Em outras palavras, os diversos processos incluídos em uma etapa podem ser realizados como processos de diversas etapas. Ao contrário, os processos que foram descritos como diversas etapas podem ser unificados e realizados como uma etapa.
[00172] Adicionalmente, por exemplo, para os programas executados por um computador, os processos das etapas para escrever os programas podem ser executados em ordem cronológica de acordo com a ordem descrita na presente descrição, ou podem ser executados em paralelo. Alternativamente, os programas podem ser executados individualmente nos sincronismos exigidos, tal como um sincronismo no qual a chamada é feita. Isto é, a menos que surja inconsistência, os processos das etapas individuais podem ser executados em uma ordem diferente da ordem supradescrita. Adicionalmente, os processos das etapas para escrever um programa podem ser realizados em paralelo com os processos de um outro programa, ou podem ser realizados em combinação com os processos de um outro programa.
[00173] Adicionalmente, por exemplo, diversas tecnologias em relação à presente tecnologia podem ser individualmente e independentemente praticadas a menos que surja inconsistência. Naturalmente, qualquer uma das diversas tecnologias em relação às presentes tecnologias pode ser praticada em combinação. Por exemplo, uma porção parte ou a porção integral da presente tecnologia, que foi descrita em qualquer uma das modalidades, pode
39 / 43 ser praticada em combinação com uma porção parcial ou a porção integral da presente tecnologia, que foi descrita em uma outra das modalidades. Adicionalmente, qualquer porção parcial ou a porção integral da presente tecnologia que foi supradescrita pode ser praticada em combinação com uma outra tecnologia que não é incluída na descrição exposta.
[00174] Deve-se notar que a presente tecnologia também pode ter as seguintes configurações.
[00175] (1) Um dispositivo de processamento de imagem, que inclui: uma seção de codificação que codifica a informação de atributo de uma nuvem de pontos pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[00176] (2) O dispositivo de processamento de imagem, de acordo com (1), que inclui adicionalmente: uma seção de seleção do contexto que seleciona os contextos correspondentes aos valores de peso, em que a seção de codificação codifica a informação de atributo pelo uso dos contextos que foram selecionados pela seção de seleção do contexto.
[00177] (3) O dispositivo de processamento de imagem, de acordo com (2), em que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso de um número preliminarmente determinado dos contextos e valores limites preliminarmente determinados associados com os valores de peso.
[00178] (4) O dispositivo de processamento de imagem, de acordo com (2) ou (3), em que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso de um número definido dos contextos e valores limites definidos associados com os valores de peso.
40 / 43
[00179] (5) O dispositivo de processamento de imagem, de acordo com qualquer um de (2) até (4), que inclui adicionalmente: uma seção de derivação do valor de peso que deriva os valores de peso, em que a seção de seleção do contexto seleciona os contextos correspondentes aos valores de peso que foram derivados pela seção de derivação do valor de peso.
[00180] (6) O dispositivo de processamento de imagem, de acordo com (5), em que a seção de derivação do valor de peso realiza a RAHT (Transformação Hierárquica Adaptativa à Região) como a transformação ortogonal na informação de localização para derivar os valores de peso.
[00181] (7) O dispositivo de processamento de imagem, de acordo com (5) ou (6), em que a seção de derivação do valor de peso deriva os valores de peso com base em uma árvore óctupla em relação à informação de localização.
[00182] (8) O dispositivo de processamento de imagem, de acordo com qualquer um de (5) até (7), que inclui adicionalmente: uma seção de processamento de RAHT (Transformação Hierárquica Adaptativa à Região) que realiza a RAHT na informação de atributo pelo uso dos valores de peso que foram derivados pela seção de derivação do valor de peso, em que a seção de codificação codifica os coeficientes transformados associados com a informação de atributo e gerados pela seção de processamento de RAHT.
[00183] (9) O dispositivo de processamento de imagem, de acordo com qualquer um de (1) até (8), que inclui adicionalmente: uma seção de geração do fluxo contínuo de bits que gera um fluxo contínuo de bits que inclui os dados codificados associados com a informação de localização e os dados codificados associados com a
41 / 43 informação de atributo e gerados pela seção de codificação.
[00184] (10) Um método de processamento de imagem, que inclui: codificar a informação de atributo de uma nuvem de pontos pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[00185] (11) Um dispositivo de processamento de imagem, que inclui: uma seção de decodificação que decodifica os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
[00186] (12) O dispositivo de processamento de imagem, de acordo com (11), que inclui adicionalmente: uma seção de seleção do contexto que seleciona os contextos correspondentes aos valores de peso, em que a seção de decodificação decodifica os dados codificados associados com a informação de atributo, pelo uso dos contextos que foram selecionados pela seção de seleção do contexto.
[00187] (13) O dispositivo de processamento de imagem, de acordo com (12), em que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso de um número preliminarmente determinado dos contextos e valores limites preliminarmente determinados associados com os valores de peso.
[00188] (14) O dispositivo de processamento de imagem, de acordo com (12) ou (13), em que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso do número dos
42 / 43 contextos e dos valores limites associados com os valores de peso que são supridos a partir de um lado de codificação.
[00189] (15) O dispositivo de processamento de imagem, de acordo com qualquer um de (12) até (14), que inclui adicionalmente: uma seção de derivação do valor de peso que deriva os valores de peso, em que a seção de seleção do contexto seleciona os contextos correspondentes aos valores de peso que foram derivados pela seção de derivação do valor de peso.
[00190] (16) O dispositivo de processamento de imagem, de acordo com (15), em que a seção de derivação do valor de peso realiza a RAHT (Transformação Hierárquica Adaptativa à Região) como a transformação ortogonal na informação de localização para derivar os valores de peso.
[00191] (17) O dispositivo de processamento de imagem, de acordo com (15) ou (16), em que a seção de derivação do valor de peso deriva os valores de peso com base em uma árvore óctupla em relação à informação de localização.
[00192] (18) O dispositivo de processamento de imagem, de acordo com qualquer um de (15) até (17), que inclui adicionalmente: uma seção de processamento de RAHT (Transformação Hierárquica Adaptativa à Região) inversa que realiza a RAHT inversa na informação de atributo que foi gerada pela seção de decodificação, pelo uso dos valores de peso que foram derivados pela seção de derivação do valor de peso.
[00193] (19) O dispositivo de processamento de imagem, de acordo com qualquer um de (11) até (18), que inclui adicionalmente: uma seção de geração de dados da nuvem de pontos que gera os dados da nuvem de pontos que incluem a informação de localização e a informação de atributo que foi gerada pela seção de decodificação.
43 / 43
[00194] (20) Um método de processamento de imagem, que inclui: decodificar os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional. Lista dos Sinais de Referência
[00195] 100: Dispositivo de codificação 111: Seção de codificação da geometria 112: Seção de rearranjo do coeficiente de geometria 113: Seção de processamento de RAHT 114: Seção de seleção do contexto 115: Seção de codificação do atributo 116: Seção de geração do fluxo contínuo de bits 121: Seção de processamento de RAHT 122: Seção de quantização 123: Seção de codificação sem perdas 200: Dispositivo de decodificação 211: Seção de decodificação da geometria 212: Seção de rearranjo do coeficiente de geometria 213: Seção de processamento de RAHT 214: Seção de seleção do contexto 215: Seção de decodificação do atributo 216: Seção de geração de dados da nuvem de pontos 221: Seção de decodificação sem perdas 222: Seção de quantização inversa 223: Seção de processamento de RAHT inversa 301: Seção de cálculo do peso 401: Seção de cálculo do peso

Claims (20)

REIVINDICAÇÕES
1. Dispositivo de processamento de imagem, caracterizado pelo fato de que compreende: uma seção de codificação que codifica a informação de atributo de uma nuvem de pontos pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
2. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: uma seção de seleção do contexto que seleciona os contextos correspondentes aos valores de peso, em que a seção de codificação codifica a informação de atributo pelo uso dos contextos que foram selecionados pela seção de seleção do contexto.
3. Dispositivo de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso de um número preliminarmente determinado dos contextos e valores limites preliminarmente determinados associados com os valores de peso.
4. Dispositivo de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso de um número definido dos contextos e valores limites definidos associados com os valores de peso.
5. Dispositivo de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que compreende adicionalmente: uma seção de derivação do valor de peso que deriva os valores de peso,
em que a seção de seleção do contexto seleciona os contextos correspondentes aos valores de peso que foram derivados pela seção de derivação do valor de peso.
6. Dispositivo de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que a seção de derivação do valor de peso realiza a RAHT (Transformação Hierárquica Adaptativa à Região) como a transformação ortogonal na informação de localização para derivar os valores de peso.
7. Dispositivo de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que a seção de derivação do valor de peso deriva os valores de peso com base em uma árvore óctupla em relação à informação de localização.
8. Dispositivo de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que compreende adicionalmente: uma seção de processamento de RAHT (Transformação Hierárquica Adaptativa à Região) que realiza a RAHT na informação de atributo pelo uso dos valores de peso que foram derivados pela seção de derivação do valor de peso, em que a seção de codificação codifica os coeficientes transformados associados com a informação de atributo e gerados pela seção de processamento de RAHT.
9. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: uma seção de geração do fluxo contínuo de bits que gera um fluxo contínuo de bits que inclui os dados codificados associados com a informação de localização e os dados codificados associados com a informação de atributo e gerados pela seção de codificação.
10. Método de processamento de imagem, caracterizado pelo fato de que compreende:
codificar a informação de atributo de uma nuvem de pontos pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
11. Dispositivo de processamento de imagem, caracterizado pelo fato de que compreende: uma seção de decodificação que decodifica os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
12. Dispositivo de processamento de imagem de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente: uma seção de seleção do contexto que seleciona os contextos correspondentes aos valores de peso, em que a seção de decodificação decodifica os dados codificados associados com a informação de atributo, pelo uso dos contextos que foram selecionados pela seção de seleção do contexto.
13. Dispositivo de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso de um número preliminarmente determinado dos contextos e valores limites preliminarmente determinados associados com os valores de peso.
14. Dispositivo de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que a seção de seleção do contexto seleciona os contextos de acordo com os valores de peso pelo uso do número dos contextos e dos valores limites associados com os valores de peso que são supridos a partir de um lado de codificação.
15. Dispositivo de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que compreende adicionalmente: uma seção de derivação do valor de peso que deriva os valores de peso, em que a seção de seleção do contexto seleciona os contextos correspondentes aos valores de peso que foram derivados pela seção de derivação do valor de peso.
16. Dispositivo de processamento de imagem de acordo com a reivindicação 15, caracterizado pelo fato de que a seção de derivação do valor de peso realiza a RAHT (Transformação Hierárquica Adaptativa à Região) como a transformação ortogonal na informação de localização para derivar os valores de peso.
17. Dispositivo de processamento de imagem de acordo com a reivindicação 15, caracterizado pelo fato de que a seção de derivação do valor de peso deriva os valores de peso com base em uma árvore óctupla em relação à informação de localização.
18. Dispositivo de processamento de imagem de acordo com a reivindicação 15, caracterizado pelo fato de que compreende adicionalmente: uma seção de processamento de RAHT (Transformação Hierárquica Adaptativa à Região) inversa que realiza a RAHT inversa na informação de atributo que foi gerada pela seção de decodificação, pelo uso dos valores de peso que foram derivados pela seção de derivação do valor de peso.
19. Dispositivo de processamento de imagem de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente: uma seção de geração de dados da nuvem de pontos que gera os dados da nuvem de pontos que incluem a informação de localização e a informação de atributo que foi gerada pela seção de decodificação.
20. Método de processamento de imagem, caracterizado pelo fato de que compreende: decodificar os dados codificados associados com a informação de atributo de uma nuvem de pontos, pelo uso de contextos correspondentes a valores de peso obtidos por uma transformação ortogonal feita na informação de localização da nuvem de pontos, a transformação ortogonal levando em consideração uma estrutura tridimensional.
Petição 870210028672, de 26/03/2021, pág. 60/73 Transformação 1/13
Quantização, codificação de entropia e transmissão
Transformação inversa DC escalada
Petição 870210028672, de 26/03/2021, pág. 61/73 Dados da nuvem Pesos Dados codificados de pontos Seção de rearranjo de (W[b]) de geometria Seção de coeficiente de Seção de Seção de rearranjo do codificação de processamento coeficiente de geometria (código de da RAHT geometria Morton) geometria (peso)
Fluxo contínuo Seção de geração de bits do fluxo contínuo de bits 2/13
Dados codificados do atributo
Seção de Seção de rearranjo do Seção de codificação processamento Seções de coeficiente de atributo sem perdas de RAHT quantização (peso)
Seção de codificação de atributo
Petição 870210028672, de 26/03/2021, pág. 62/73 Pesos Dados de Fluxo contínuo Seção de rearranjo de (W[b]) geometria de bits Seção de Seção de Seção de rearranjo do codificação de coeficiente de processamento coeficiente de geometria geometria (código de da RAHT geometria (peso) Morton)
Dados da nuvem de Seção de geração pontos dos dados da nuvem de pontos 3/13
Dados do atributo
Seção de Seção de rearranjo do Seção de Seção de coeficiente de atributo processamento decodificação quantização de RAHT sem perdas inverso (código de inversa inversa Morton)
Seção de decodificação de atributo
Sequência 1
Peso (log)
Valor do coeficiente
Petição 870210028672, de 26/03/2021, pág. 64/73 Dados da nuvem Pesos Dados codificados de pontos Seção de rearranjo de (W[b]) de geometria Seção de coeficiente de Seção de Seção de seleção do processamento contexto (TH(W[b])) codificação de geometria (código de geometria da RAHT Morton)
Fluxo contínuo Seção de geração de bits do fluxo contínuo Contexto (w) de bits 5/13
Dados codificados do atributo
Seção de Seções de Seção de codificação processamento quantização sem perdas de RAHT
Seção de codificação de atributo
Início do processamento de codificação
Codificar dados de geometria
Rearranjar coeficientes de geometria na ordem do código de Morton
Realizar processamento da RAHT nos dados de geometria para derivar pesos
Selecionar contextos com base nos pesos
Realizar processamento de RAHT nos dados de atributo pelo uso de pesos em relação à geometria
Realizar quantização
Realizar codificação sem perdas nos dados de atributo pelo uso de contextos selecionados
Gerar fluxo contínuo de bits
Transmitir fluxo contínuo de bits
Fim
Petição 870210028672, de 26/03/2021, pág. 66/73 Dados de Fluxo contínuo Pesos geometria de bits Seção de Seção de rearranjo Seção de (W[b]) Seção de seleção do decodificação da do coeficiente de processamento contexto (TH(W[b])) geometria geometria (código da RAHT de Morton)
Dados da nuvem Seção de geração dos de pontos Contexto (w) dados da nuvem de pontos 7/13
Dados de atributo
Seção de Seção de Seção de decodificação processamento quantização da RAHT sem perdas inversa inversa
Seção de decodificação de atributo
Início do processamento de codificação
Decodificar fluxo contínuo de bits em relação à geometria
Rearranjar coeficientes de geometria na ordem do código de Morton
Realizar processamento da RAHT nos dados de geometria para derivar pesos
Selecionar contextos com base nos pesos
Realizar decodificação sem perdas no fluxo contínuo de bits em relação aos atributos
Realizar quantização inversa
Realizar processamento de RAHT inversa nos dados de atributo pelo uso de pesos em relação à geometria
Gerar fluxo contínuo de bits
Transmitir fluxo contínuo de bits
Fim
Petição 870210028672, de 26/03/2021, pág. 68/73 Dados da nuvem Pesos Dados codificados de pontos Seção de Árvore óctupla Seção de (W[b]) da geometria codificação da Seção de seleção do cálculo de geometria contexto (TH(W[b])) peso
Fluxo contínuo Seção de geração de bits do fluxo contínuo Contexto (w) de bits 9/13
Dados codificados de atributo
Seção de Seção de Seção de codificação processamento quantização sem perdas da RAHT
Seção de codificação de atributo
Início do processamento de codificação
Codificar dados da geometria
Calcular pesos a partir da árvore óctupla
Selecionar contextos com base nos pesos
Realizar processamento de RAHT nos dados de atributo pelo uso dos pesos em relação à geometria
Realizar quantização
Realizar codificação sem perdas nos dados de atributo pelo uso dos contextos selecionados
Gerar fluxo contínuo de bits
Transmitir fluxo contínuo de bits
Fim
Petição 870210028672, de 26/03/2021, pág. 70/73 Pesos Dados de Dados da nuvem (W[b]) geometria Árvore óctupla de pontos Seção de Seção de Seção de seleção do geração da cálculo de contexto (TH(W[b])) geometria peso
Dados da nuvem Seção de geração dos de pontos Contexto (w) dados da nuvem de pontos 11/13
Dados de atributo
Seção de Seção de Seção de processamento decodificação quantização da RAHT sem perdas inversa inversa
Seção de codificação de atributo
Início do processamento de codificação
Decodificar fluxo contínuo de bits em relação à geometria
Calcular pesos a partir da árvore óctupla
Selecionar contextos com base nos pesos
Realizar decodificação sem perdas no fluxo contínuo de bits em relação aos atributos
Realizar quantização inversa
Realizar processamento de RAHT inversa nos dados de atributo pelo uso de pesos em relação à geometria
Gerar fluxo contínuo de bits
Transmitir fluxo contínuo de bits
Fim
Petição 870210028672, de 26/03/2021, pág. 72/73 13/13
Interface de entrada/saída
Unidade de Unidade de Unidade de Unidade de entrada saída armazenamento comunicação Unidade
Mídia removível
BR112021005904-0A 2018-10-02 2019-09-18 dispositivo e método de processamento de imagem BR112021005904A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018187483 2018-10-02
JP2018-187483 2018-10-02
PCT/JP2019/036470 WO2020071115A1 (ja) 2018-10-02 2019-09-18 画像処理装置および方法

Publications (1)

Publication Number Publication Date
BR112021005904A2 true BR112021005904A2 (pt) 2021-07-27

Family

ID=70055225

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021005904-0A BR112021005904A2 (pt) 2018-10-02 2019-09-18 dispositivo e método de processamento de imagem

Country Status (13)

Country Link
US (1) US20220044448A1 (pt)
EP (1) EP3843040A4 (pt)
JP (1) JPWO2020071115A1 (pt)
KR (1) KR20210070282A (pt)
CN (1) CN112789657A (pt)
AU (1) AU2019353279A1 (pt)
BR (1) BR112021005904A2 (pt)
CA (1) CA3115213A1 (pt)
MX (1) MX2021003524A (pt)
PH (1) PH12021550655A1 (pt)
SG (1) SG11202103046VA (pt)
TW (1) TW202015398A (pt)
WO (1) WO2020071115A1 (pt)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210550A1 (ja) * 2020-04-14 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN116233386A (zh) * 2021-12-03 2023-06-06 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds

Also Published As

Publication number Publication date
EP3843040A1 (en) 2021-06-30
CA3115213A1 (en) 2020-04-09
CN112789657A (zh) 2021-05-11
US20220044448A1 (en) 2022-02-10
PH12021550655A1 (en) 2022-02-21
SG11202103046VA (en) 2021-05-28
TW202015398A (zh) 2020-04-16
EP3843040A4 (en) 2021-10-27
JPWO2020071115A1 (ja) 2021-09-02
AU2019353279A1 (en) 2021-05-27
MX2021003524A (es) 2021-04-28
KR20210070282A (ko) 2021-06-14
WO2020071115A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7359153B2 (ja) 画像処理装置および方法
JP7327399B2 (ja) 画像処理装置および方法
US11310518B2 (en) Image processing apparatus and method
JP7331852B2 (ja) 画像処理装置および方法
JP7424299B2 (ja) 画像処理装置および方法
US11399189B2 (en) Image processing apparatus and method
US20210168394A1 (en) Image processing apparatus and method
BR112019006726B1 (pt) Dispositivo de codificação de imagem, método de codificação de imagem, dispositivo de decodificação de imagem e método de decodificação de imagem
US20220353492A1 (en) Information processing device and method
BR112021005904A2 (pt) dispositivo e método de processamento de imagem
WO2020145143A1 (ja) 情報処理装置および方法
PT2938077T (pt) Método de codificação preditiva de vídeo animado, dispositivo de codificação preditiva de vídeo animado, programa de codificação preditiva de vídeo animado, método de descodificação preditiva de vídeo animado, dispositivo de descodificação preditiva de vídeo animado e programa de descodificação preditiva de vídeo animado
US20210158575A1 (en) Information processing apparatus and method
US20220038674A1 (en) Image processing device and method
WO2020262020A1 (ja) 情報処理装置および方法
WO2021193428A1 (ja) 情報処理装置及び情報処理方法
JP2022051968A (ja) 情報処理装置および方法
BR102013020614B1 (pt) Decodificador e método

Legal Events

Date Code Title Description
B11A Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing
B11Y Definitive dismissal - extension of time limit for request of examination expired [chapter 11.1.1 patent gazette]