BR112020002317A2 - método e aparelho para configurar uma transformada para compressão de vídeo - Google Patents

método e aparelho para configurar uma transformada para compressão de vídeo Download PDF

Info

Publication number
BR112020002317A2
BR112020002317A2 BR112020002317-5A BR112020002317A BR112020002317A2 BR 112020002317 A2 BR112020002317 A2 BR 112020002317A2 BR 112020002317 A BR112020002317 A BR 112020002317A BR 112020002317 A2 BR112020002317 A2 BR 112020002317A2
Authority
BR
Brazil
Prior art keywords
transform
amt
transforms
unit
block
Prior art date
Application number
BR112020002317-5A
Other languages
English (en)
Other versions
BR112020002317A8 (pt
Inventor
Moonmo KOO
Original Assignee
Lg Electronics Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Electronics Inc. filed Critical Lg Electronics Inc.
Publication of BR112020002317A2 publication Critical patent/BR112020002317A2/pt
Publication of BR112020002317A8 publication Critical patent/BR112020002317A8/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

A presente invenção relaciona-se a um método para decodificar um sinal de vídeo com base nas transformadas múltiplas adaptativas (AMT), o método compreendendo as etapas de: obter um índice AMT a partir do sinal de vídeo, em que o índice AMT indica qualquer uma de uma pluralidade de combinações de transformada em um grupo de configuração de transformada, e o grupo de configuração de transformada inclui a transformada discreta de seno tipo 7 (DST7) e a transformada discreta de cosseno tipo 8 (DCT 8); derivar uma combinação de transformadas correspondendo ao índice AMT, em que a combinação de transformadas consiste de uma transformada horizontal e uma transformada vertical, e inclui pelo menos uma dentre a DST-7 ou a DCT-8, realizar uma transformada inversa em um bloco atual com base na combinação de transformadas, e restaurar o sinal de vídeo usando o bloco atual transformado inversamente, em que a AMT representa um esquema de transformadas que é realizado com base em uma combinação de transformadas selecionada adaptativamente a partir de uma pluralidade de combinações de transformada.

Description

“MÉTODO E APARELHO PARA CONFIGURAR UMA TRANSFORMADA PARA COMPRESSÃO DE VÍDEO” CAMPO TÉCNICO
[001] A presente revelação relaciona-se a um método e aparelho para processamento de um sinal de vídeo, e, mais particularmente, a uma tecnologia para configurar uma combinação de transformada para cada grupo de configuração de transformada distinguido com base em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco.
ANTECEDENTES DA INVENÇÃO
[002] O conteúdo de vídeo de próxima geração deverá apresentar características de alta resolução espacial, alta taxa de quadros e alta dimensionalidade de representação da cena. De modo a processar tal conteúdo, tecnologias como o armazenamento em memória, taxa de acesso à memória e capacidade de processamento precisarão ser razoavelmente aumentadas.
[003] Logo, é necessário elaborar uma ferramenta de codificação para processar de maneira eficiente o conteúdo de vídeo de próxima geração.
Particularmente, é necessário projetar uma transformada mais eficiente em termos de eficiência de codificação e complexidade quando uma transformada é aplicada.
REVELAÇÃO PROBLEMA TÉCNICO
[004] A presente revelação tem por objetivo projetar uma configuração de transformada mais eficiente em termos de eficiência de codificação e complexidade.
[005] A revelação propõe um método para configurar uma combinação de transformada para cada grupo de configuração de transformada distinguido com base em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco.
[006] Adicionalmente, a revelação propõe uma estrutura de codificador/decodificador para incorporar um novo esquema de transformada.
SOLUÇÃO TÉCNICA
[007] De modo a alcançar os objetivos, a revelação propõe um método para substituir a transformada discreta de cosseno tipo 8 (DCT 8) por uma forma modificada de transformada discreta de seno tipo 7 (DST7), ao mesmo tempo utilizando dados de coeficiente de núcleo da DST7 sem qualquer alteração.
[008] Adicionalmente, a revelação propõe um método para substituir a DST7 pela DST4 e substituir a DCT8 por uma forma modificada da DCT4 ao mesmo tempo utilizando dados de coeficiente de núcleo da DST4 sem qualquer alteração.
[009] Adicionalmente, a revelação propõe um método para configurar grupos de configuração de transformada com base em pelo menos um de um modo de predição, um tamanho de bloco ou um formato de bloco, e configurar de maneira diferente uma transformada correspondendo a cada linha ou coluna, em que um grupo de configuração de transformada é configurado com uma ou mais combinações de transformada e uma combinação de transformada é configurada com transformadas correspondendo a todas as linhas e colunas.
[010] Adicionalmente, a revelação propõe um método para configurar transformadas para todas as linhas e colunas com base em uma transformada, tal como DST7 ou DST4, e uma transformada modificada a partir da mesma.
[011] Adicionalmente, a revelação propõe um método para configurar um conjunto de transformadas que pode ser derivado com respeito a todas as transformadas de tal maneira a utilizar relações lineares entre todas as transformadas trigonométricas (8 DCTs, 8 DSTs) ou adicionar um processo de pós/pré-processamento a uma parte de entrada/saída de transformada, calcular uma união dos conjuntos de transformada derivados, e utilizar a união para determinar uma combinação de transformadas.
EFEITOS VANTAJOSOS
[012] A revelação pode gerar coeficientes de transformada possuindo maior eficiência de codificação por meio da configuração de transformadas para todas as linhas e colunas para cada grupo de configuração de transformada com base em um número predeterminado de transformadas quando uma imagem fixa ou uma imagem em movimento é codificada.
DESCRIÇÃO DOS DESENHOS
[013] A FIG. 1 é um diagrama de blocos ilustrando a configuração de um codificador para codificar um sinal de vídeo de acordo com uma modalidade da presente invenção.
[014] A FIG. 2 é um diagrama de blocos ilustrando a configuração de um decodificador para decodificar um sinal de vídeo de acordo com uma modalidade da presente invenção.
[015] A FIG. 3 ilustra modalidades às quais a revelação pode ser aplicada, a FIG. 3A é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore quaternária (doravante denominada “QT”), a FIG. 3B é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore binária (doravante denominada “BT”), a FIG. 3C é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore ternária (doravante denominada “TT”), e a FIG. 3D é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore assimétrica (doravante chamada de “AT”).
[016] A FIG. 4 é uma modalidade à qual a revelação é aplicada, e ilustra um diagrama de blocos esquemático de uma unidade de transformada e quantização 120/130 e uma unidade de desquantização e transformada 140/150 dentro de um codificador.
[017] A FIG. 5 é uma modalidade à qual a revelação é aplicada e ilustra um diagrama de bloco esquemático de uma unidade de desquantização e transformada 220/230 dentro de um decodificador.
[018] A FIG. 6 é uma modalidade à qual a revelação é aplicada e é uma tabela ilustrando um grupo de configuração de transformada ao qual transformadas múltiplas adaptativas (AMT) são aplicadas.
[019] A FIG. 7 é uma modalidade à qual a revelação é aplicada e é um fluxograma ilustrando um processo de codificação no qual transformadas múltiplas adaptativas (AMT) são executadas.
[020] A FIG. 8 é uma modalidade à qual a revelação é aplicada e é um fluxograma ilustrando um processo de decodificação no qual transformadas múltiplas adaptativas (AMT) são executadas.
[021] A FIG. 9 é uma modalidade à qual a revelação é aplicada e é um fluxograma para descrever um processo de codificação de um sinalizador AMT e um índice AMT.
[022] A FIG. 10 é uma modalidade à qual a revelação é aplicada e é um fluxograma para descrever um processo de decodificação para aplicar uma transformada horizontal ou uma transformada vertical a uma linha ou coluna baseado em um sinalizador AMT e em um índice AMT.
[023] A FIG. 11 é uma modalidade à qual a revelação é aplicada e é um diagrama para descrever um método para configurar de maneira diferente uma transformada correspondendo a cada linha ou coluna de uma combinação de transformadas.
[024] A FIG. 12 é uma modalidade à qual a revelação é aplicada e é um diagrama para descrever um método para configurar um grupo de configuração de transformada comum baseado em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco.
[025] As FIGS. 13 e 14 são modalidades às quais a revelação é aplicada e são tabelas para descrever um método para dividir grupos de configuração de transformada em uma pluralidade de tabelas com base em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco, e combinar os grupos de configuração de transformada.
[026] A FIG. 15 é uma modalidade à qual a revelação é aplicada e ilustra um exemplo no qual um grupo de configuração de transformada é configurado usando um conjunto de transformadas.
[027] A FIG. 16 é uma modalidade à qual a revelação é aplicada e ilustra um exemplo no qual um grupo de configuração de transformada é configurado usando diferentes conjuntos de transformada com base em um tamanho de bloco de transformada.
[028] A FIG. 17 é uma modalidade à qual a revelação é aplicada e ilustra um exemplo no qual um conjunto intervalar é configurado.
[029] A FIG. 18 ilustra um sistema de codificação de vídeo ao qual a revelação é aplicada.
[030] A FIG. 19 ilustra um sistema de transmissão em fluxo de conteúdo ao qual a revelação é aplicada.
MELHOR MODO
[031] A revelação propõe um método para decodificar um sinal de vídeo baseado em transformadas múltiplas adaptativas (AMT), incluindo obter um índice AMT a partir do sinal de vídeo, em que o índice AMT indica qualquer uma de uma pluralidade de combinações de transformada dentro de um grupo de configuração de transformada, e o grupo de configuração de transformada inclui a transformada discreta de seno tipo 7 (DST7) e a transformada discreta de cosseno tipo 8 (DCT 8), derivando uma combinação de transformada correspondendo ao índice AMT, em que a combinação de transformadas é configurada com uma transformada horizontal e uma transformada vertical, e inclui pelo menos uma da DST-7 ou da DCT-8, realizar uma transformada inversa em um bloco atual baseado na combinação de transformada, e reconstruir o sinal de vídeo usando o bloco atual transformado inversamente, em que a AMT indica um método de transformada realizada com base em uma combinação de transformadas selecionada adaptativamente a partir da pluralidade de combinações de transformada.
[032] Na revelação, o grupo de configuração de transformada é configurado com base em pelo menos um dentre um modo de predição, tamanho de bloco ou formato de bloco do bloco atual.
[033] Na revelação a transformada inversa é aplicada somente quando tanto a largura quanto a altura de uma unidade de transformada são de 32 ou menos.
[034] Na revelação, o método adicionalmente inclui obter um sinalizador AMT a partir do sinal de vídeo, em que o sinalizador AMT indica se a AMT é realizada, e em que o índice AMT é obtido quando uma AMT é executada com base no sinalizador AMT.
[035] Na revelação, o método adicionalmente inclui verificar se o número do coeficiente de transformada diferente de zero é maior do que um limiar se uma AMT for executada com base no sinalizador AMT, em que o índice AMT é obtido quando o número do coeficiente de transformada diferente de zero é maior do que o limiar.
[036] Na revelação, realizar a transformada inversa inclui aplicar uma transformada inversa da DST-7 ou uma transformada inversa da DCT-8 a cada linha após aplicar a transformada inversa da DST-7 ou a transformada inversa da DCT-8 a cada coluna se a transformada vertical ou a transformada horizontal for a DST-7 ou a DCT-8.
[037] Na revelação, a transformada vertical ou a transformada horizontal é aplicada de maneira diferente a cada linha e/ou cada coluna.
[038] Na revelação, um sinalizador AMT ou o índice AMT é definido em pelo menos um nível de uma sequência, uma imagem, uma fatia, um bloco, uma unidade de codificação, uma unidade de transformada ou uma unidade de predição.
[039] A revelação proporciona um aparelho para decodificar um sinal de vídeo baseado em transformadas múltiplas adaptativas (AMT), incluindo uma unidade de análise configurada para analisar um índice AMT a partir do sinal de vídeo, em que o índice AMT indica qualquer uma de uma pluralidade de combinações de transformada dentro de um grupo de configuração de transformada, e o grupo de configuração de transformada inclui a transformada discreta de seno tipo 7 (DST7) e a transformada discreta de cosseno tipo 8 (DCT8), uma unidade de transformada inversa configurada para derivar uma combinação de transformada correspondendo ao índice AMT e realizar uma transformada inversa em um bloco atual baseado na combinação de transformadas, e uma unidade de reconstrução configurada para reconstruir o sinal de vídeo usando o bloco atual transformado inversamente. A AMT indica um método de transformada executado com base em uma combinação de transformadas selecionada adaptativamente a partir da pluralidade de combinações de transformadas. A combinação de transformadas é configurada com uma transformada horizontal e uma transformada vertical e inclui pelo menos uma dentre a DST-7 ou a DCT-8.
[040] Na revelação, a unidade de análise é configurada para adicionalmente analisar, a partir do sinal de vídeo, um sinalizador AMT indicando se uma AMT é executada, e o índice AMT é obtido quando uma AMT é realizada com base no sinalizador AMT.
[041] Na revelação, a unidade de transformada inversa é configurada para adicionalmente verificar se um número do coeficiente de transformada diferente de zero é maior do que um limiar se uma AMT for executada com base no sinalizador AMT, em que o índice AMT é obtido quando o número do coeficiente de transformada diferente de zero é maior do que o limiar.
[042] Na revelação, a unidade de transformada inversa é configurada para aplicar uma transformada inversa da DST-7 ou uma transformada inversa da DCT-8 a cada linha após aplicar a transformada inversa da DST-7 ou a transformada inversa da DCT-8 a cada coluna se a transformada vertical ou a transformada horizontal for a DST-7 ou a DCT-8.
MODO PARA A INVENÇÃO
[043] Daqui em diante, será descrita uma configuração e operação de uma modalidade da presente invenção em detalhes com referência aos desenhos acompanhantes, uma configuração e operação da presente invenção descrita com referência aos desenhos são descritas como uma modalidade, e o escopo, uma configuração essencial e a operação da presente invenção não se limitam às mesmas.
[044] Além disso, os termos usados na presente invenção são selecionados dentre os termos gerais amplamente usados atualmente, mas, em um caso específico, utilizam-se termos selecionados aleatoriamente por um requerente. Em tal caso, em uma descrição detalhada de uma parte correspondente, uma vez que um significado da mesma é descrito claramente, os termos não devem ser simplesmente interpretados com somente um nome dos termos usados em uma descrição da presente invenção, devendo-se compreender e interpretar o significado do termo correspondente.
[045] Além disso, quando há um termo geral selecionado para descrever a invenção ou outro termo possuindo um significado similar, os termos usados na presente invenção podem ser substituídos para uma interpretação mais apropriada.
Por exemplo, em cada processo de codificação, um sinal, um dado, uma amostra, uma imagem, um quadro, e um bloco podem ser substituídos e interpretados apropriadamente. Além disso, em cada processo de codificação, o particionamento, decomposição, separação e divisão podem ser substituídos e interpretados apropriadamente.
[046] A FIG. 1 mostra um diagrama de blocos esquemático de um codificador para codificar um sinal de vídeo, de acordo com uma modalidade da presente invenção.
[047] Referindo-se à FIG. 1, o codificador 100 pode incluir uma unidade de segmentação de imagem 110, uma unidade de transformada 120, uma unidade de quantização 130, uma unidade de desquantização 140, uma unidade de transformada inversa 150, uma unidade de filtragem 160, um armazenamento intermediário de imagens decodificadas (DPB) 170, uma unidade de predição inter 180, um preditor intra 185 e uma unidade de codificação por entropia 190.
[048] A unidade de segmentação de imagem 110 pode segmentar uma imagem de entrada (ou uma imagem ou quadro), passada ao codificador 100, em uma ou mais unidades de processamento. Por exemplo, a unidade de processamento pode ser uma unidade de árvore de codificação (CTU), uma unidade de codificação (CU), uma unidade de predição (PU) ou uma unidade de transformada (TU).
[049] No entanto, os termos são usados somente por conveniência de ilustração da presente revelação, e a presente invenção não se restringe às definições dos termos. Neste relatório descritivo, por conveniência de ilustração, o termo “unidade de codificação” é empregado como uma unidade usada em um processo de codificação ou decodificação de um sinal de vídeo; entretanto, a presente invenção não se restringe à mesma, podendo outra unidade de processamento ser selecionada apropriadamente com base nos conteúdos da presente revelação.
[050] O codificador 100 pode gerar um sinal residual subtraindo-se um sinal de predição emitido a partir da unidade de predição inter 180 ou unidade de predição intra 185 a partir do sinal de imagem de entrada. O sinal residual gerado pode ser transmitido à unidade de transformada 120.
[051] A unidade de transformada 120 pode gerar um coeficiente de transformada aplicando-se um esquema de transformada a um sinal residual. O processo de transformada pode ser aplicado a um bloco (quadrado ou retângulo) dividido por um bloco quadrado de uma estrutura de árvore quaternária ou uma estrutura de árvore binária, uma estrutura ternária ou uma estrutura assimétrica.
[052] A unidade de transformada 120 pode executar uma transformada com base em uma pluralidade de transformadas (ou combinações de transformadas). Tal método de transformada pode ser chamado de transformada múltipla aperfeiçoada (EMT). A EMT pode ser chamada de transformada múltipla adaptativa (AMT) ou seleção de transformada múltipla (MTS).
[053] A EMT (ou AMT ou MTS) pode significar um método de transformada executado com base na transformada (ou combinações de transformada) selecionada adaptativamente a partir de uma pluralidade de transformadas (ou combinações de transformadas).
[054] A pluralidade de transformadas (ou combinações de transformadas) pode incluir a transformada (ou combinações de transformadas) descrita nas FIGS.
6 e 12 a 17 da revelação. Na revelação, a transformada ou o tipo de transformada pode ser indicado como DCT-Tipo 2, DCT-II, DCT-2 ou DCT2, por exemplo.
[055] A unidade de transformada 120 pode implementar as seguintes modalidades.
[056] A revelação propõe um método para substituir a transformada discreta de cosseno tipo 8 (DCT 8) por uma forma modificada de transformada discreta de seno tipo 7 (DST7), ao mesmo tempo utilizando dados de coeficiente de núcleo da DST7 sem qualquer alteração.
[057] Adicionalmente, a revelação propõe um método para substituir a DST7 pela DST4 e substituir a DCT8 por uma forma modificada da DCT4 ao mesmo tempo utilizando dados de coeficiente de núcleo da DST4 sem qualquer alteração.
[058] Adicionalmente, a revelação propõe um método para configurar grupos de configuração de transformada com base em pelo menos um de um modo de predição, um tamanho de bloco ou um formato de bloco, e configurar de maneira diferente uma transformada correspondendo a cada linha ou coluna, em que um grupo de configuração de transformada é configurado com uma ou mais combinações de transformada e uma combinação de transformada é configurada com transformadas correspondendo a todas as linhas e colunas.
[059] Adicionalmente, a revelação propõe um método para configurar transformadas para todas as linhas e colunas com base em uma transformada, tal como DST7 ou DST4, e uma transformada modificada a partir da mesma.
[060] Adicionalmente, a revelação propõe um método para configurar um conjunto de transformadas que pode ser derivado com respeito a todas as transformadas de tal maneira a utilizar relações lineares entre todas as transformadas trigonométricas (8 DCTs, 8 DSTs) ou adicionar um processo de pós/pré-processamento a um parte de entrada/saída de transformada, calcular uma união dos conjuntos de transformada derivados, e utilizar a união para determinar uma combinação de transformadas.
[061] As modalidades detalhadas da mesma são descritas mais especificamente na revelação.
[062] A unidade de quantização 130 pode quantizar um coeficiente de transformada e transmiti-lo à unidade de codificação por entropia 190. A unidade de codificação por entropia 190 pode codificar por entropia um sinal quantizado e emiti- lo como um fluxo de bits.
[063] A unidade de transformada 120 e a unidade de quantização 130 são descritas como unidades funcionais separadas, mas a revelação não se limita a isto.
A unidade de transformada 120 e a unidade de quantização 130 podem ser combinadas em uma única unidade funcional. De modo similar, a unidade de desquantização 140 e a unidade de transformada 150 podem ser combinadas em uma única unidade funcional.
[064] O sinal quantizado emitido pela unidade de quantização 130 pode ser usado para gerar um sinal de predição. Por exemplo, um sinal residual pode ser reconstruído aplicando-se desquantização e uma transformada inversa ao sinal quantizado através da unidade de desquantização 140 e da unidade de transformada 150 dentro de um loop. Um sinal reconstruído pode ser gerado adicionando-se o sinal residual reconstruído a um sinal de predição emitido pela unidade de predição inter 180 ou pela unidade de predição intra 185.
[065] Enquanto isso, um artefato no qual surge um limite de bloco pode ocorrer devido a um erro de quantização ocorrendo em tal processo de compressão.
Tal fenômeno é chamado de artefato de blocagem, que é um dos fatores importantes para avaliar a qualidade da imagem. De modo a reduzir tal artefato, um processo de filtragem pode ser realizado. A qualidade da imagem pode ser melhorada reduzindo- se um erro de uma imagem atual ao mesmo tempo em que se remove um artefato de blocagem através de tal processo de filtragem.
[066] A unidade de filtragem 160 pode aplicar filtragem ao sinal reconstruído, e então emitir o sinal reconstruído filtrado para um dispositivo de reprodução ou para o armazenamento intermediário de imagens decodificadas 170. O sinal filtrado transmitido ao armazenamento intermediário de imagens decodificadas 170 pode ser usado como uma imagem de referência na unidade de predição inter 180. Desta forma, usando a imagem filtrada como a imagem de referência no modo de predição de imagem inter, não apenas a qualidade da imagem, mas também a eficiência de codificação pode ser aperfeiçoada.
[067] O armazenamento intermediário de imagens decodificadas 170 pode armazenar a imagem filtrada para uso como a imagem de referência na unidade de predição inter 180.
[068] A unidade de predição inter 180 pode realizar uma predição temporal e/ou uma predição espacial na imagem reconstruída de modo a remover a redundância temporal e/ou a redundância espacial. Neste caso, a imagem de referência usada para a predição pode ser um sinal transformado obtido por meio da quantização e desquantização em uma base por bloco na codificação/decodificação anterior. Assim, isso pode resultar em artefatos de blocagem ou artefatos de anel.
[069] Por conseguinte, de modo a resolver o artefato de desempenho que pode ser atribuído à descontinuidade ou quantização do sinal, a unidade de predição inter 180 pode interpolar sinais entre os pixels em uma base por subpixel usando um filtro passa-baixa. Neste caso, o subpixel pode significar um pixel virtual gerado pela aplicação de um filtro de interpolação. Um pixel inteiro significa um pixel real existente em uma imagem reconstruída. Um método de interpolação pode incluir interpolação linear, interpolação bilinear, um filtro de Wiener, etc.
[070] O filtro de interpolação é aplicado a uma imagem reconstruída, e, dessa forma, pode melhorar a precisão de uma predição. Por exemplo, a unidade de predição inter 180 pode gerar um pixel interpolado aplicando o filtro de interpolação a um pixel inteiro, e pode realizar uma predição usando um bloco interpolado configurado com pixels interpolados como um bloco de predição.
[071] Enquanto isso, a unidade de predição intra 185 pode predizer um bloco atual com referência às amostras periféricas a um bloco a ser agora codificado. A unidade de predição intra 185 pode realizar o seguinte processo de modo a realizar a predição intra. Primeiro, a unidade de predição pode preparar uma amostra de referência necessária para gerar um sinal de predição. Adicionalmente, a unidade de predição pode gerar um sinal de predição usando a amostra de referência preparada. Em seguida, a unidade de predição codifica um modo de predição. Neste caso, a amostra de referência pode ser preparada através de enchimento da amostra de referência e/ou filtragem da amostra de referência. A amostra de referência pode incluir um erro de quantização, uma vez que um processo de predição e reconstrução foi realizado na amostra de referência. Consequentemente,
de modo a reduzir tal erro, um processo de filtragem de amostra de referência pode ser realizado em cada modo de predição usado para predição intra.
[072] O sinal de predição gerado através da unidade de predição inter 180 ou da unidade de predição intra 185 pode ser usado para gerar um sinal reconstruído ou pode ser usado para gerar um sinal residual.
[073] A FIG. 2 é um diagrama de blocos ilustrando a configuração de um decodificador para decodificar um sinal de vídeo de acordo com uma modalidade da presente invenção.
[074] Referindo-se à FIG. 2, o decodificador 200 pode ser configurado para incluir uma unidade de análise (não ilustrada), uma unidade de decodificação por entropia 210, uma unidade de desquantização 220, uma unidade de transformada 230, um filtro 240, um armazenamento intermediário de imagens decodificadas (DPB) 250, uma unidade de predição inter 260 e uma unidade de predição intra 265.
[075] Adicionalmente, um sinal de imagem reconstruído emitido através do decodificador 200 pode ser reproduzido através de um dispositivo de reprodução.
[076] O decodificador 200 pode receber um sinal emitido pelo codificador 100 da FIG. 1. O sinal recebido pode ser decodificado por entropia através da unidade de decodificação por entropia 210.
[077] A unidade de desquantização 220 obtém um coeficiente de transformada a partir do sinal decodificado por entropia usando informações de tamanho de passo de quantização.
[078] A unidade de transformada 230 obtém um sinal residual transformando inversamente o coeficiente de transformada.
[079] Neste caso, a revelação propõe um método para configurar uma combinação de transformada para cada grupo de configuração de transformada distinguido com base em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco. A unidade de transformada 230 pode realizar uma transformada inversa com base em uma combinação de transformada configurada pela revelação. Adicionalmente, as modalidades descritas na revelação podem ser aplicadas.
[080] A unidade de desquantização 220 e a unidade de transformada 230 são descritas como unidades funcionais separadas, mas a revelação não se limita a isto. A unidade de desquantização 220 e a unidade de transformada 230 podem ser combinadas em uma única unidade funcional.
[081] Um sinal reconstruído é gerado adicionando-se o sinal residual obtido a um sinal de predição emitido pela unidade de predição inter 260 ou pela unidade de predição intra 265.
[082] O filtro 240 pode emitir ou transmitir o sinal reconstruído a um dispositivo de reprodução ou à unidade de armazenamento intermediário de imagens decodificadas 250 mediante a aplicação de filtragem ao sinal reconstruído.
O sinal filtrado transmitido à unidade de armazenamento intermediário de imagens decodificadas 250 pode ser usado como uma imagem de referência na unidade de predição inter 260.
[083] Na revelação, as modalidades descritas na unidade de transformada 120 e cada unidade funcional do codificador 100 podem ser aplicadas de maneira idêntica à unidade de transformada 230 e à unidade funcional correspondente do decodificador.
[084] A FIG. 3 ilustra modalidades às quais a revelação pode ser aplicada, a FIG. 3A é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore quaternária (doravante denominada “QT”), a FIG. 3B é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore binária (doravante denominada “BT”), a FIG. 3C é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore ternária (doravante denominada “TT”), e a FIG. 3D é um diagrama para descrever uma estrutura de divisão de bloco baseada em uma árvore assimétrica (doravante chamada de “AT”).
[085] Na codificação de vídeo, um bloco pode ser dividido com base em uma árvore quaternária (QT). Adicionalmente, um sub-bloco dividido pela QT pode ser adicionalmente dividido recursivamente usando a QT. Um bloco-folha que não é mais dividido por QT pode ser dividido usando pelo menos um método dentre uma árvore binária (BT), uma árvore ternária (TT) ou uma árvore assimétrica (AT). A BT pode ter dois tipos de divisões de uma BT horizontal (2NxN, 2NxN) e uma BT vertical (Nx2N, Nx2N). A TT pode ter dois tipos de divisões de uma TT horizontal (2Nx1/2N, 2NxN, 2Nx1/2N) e uma TT vertical (1/2Nx2N, Nx2N, 1/2Nx2N). A AT pode ter quatro tipos de divisões de uma AT horizontal-cima (2Nx1/2N, 2Nx3/2N), uma AT horizontal- baixo (2Nx3/2N, 2Nx1/2N), uma AT vertical-esquerda (1/2Nx2N, 3/2Nx2N), e uma AT vertical-direita (3/2Nx2N, 1/2Nx2N). Cada BT, TT ou AT pode ser adicionalmente dividida recursivamente usando a BT, TT ou AT.
[086] A FIG. 3A mostra um exemplo de uma divisão por QT. Um bloco A pode ser dividido em quatro sub-blocos A0, A1, A2 e A3 por uma QT. O sub-bloco A1 pode ser dividido em quatro sub-blocos B0, B1, B2 e B3 por uma QT.
[087] A FIG. 3B mostra um exemplo de uma divisão por BT. Um bloco B3 que não é mais dividido por uma QT pode ser dividido nas BTs verticais C0 e C1 ou nas BTs horizontais D0 e D1. Assim como no bloco C0, cada sub-bloco pode ser adicionalmente dividido de maneira recursiva, como a forma das BTs horizontais E0 e E1 ou das BTs verticais F0 e F1.
[088] A FIG. 3C mostra um exemplo de uma divisão por TT. Um bloco B3 que não é mais dividido por uma QT pode ser dividido nas TTs verticais C0 e C1 ou nas TTs horizontais D0, D1 e D2. Assim como no bloco C1, cada sub-bloco pode ser adicionalmente dividido de maneira recursiva, como a forma das TTs horizontais E0, E1 e E2 ou das TTs verticais F0, F1 e F2.
[089] A FIG. 3D mostra um exemplo de uma divisão por AT. Um bloco B3 que não é mais dividido por uma QT pode ser dividido nas ATs verticais C0 e C1 ou nas ATS horizontais D0 e D1. Assim como no bloco C1, cada sub-bloco pode ser adicionalmente dividido de maneira recursiva, como a forma das ATs horizontais E0 e E1 ou das TTs verticais F0 e F1.
[090] Enquanto isso, as divisões por BT, TT e AT podem ser divididas juntas.
Por exemplo, um sub-bloco dividido por uma BT pode ser dividido por uma TT ou AT.
Adicionalmente, um sub-bloco dividido por uma TT pode ser dividido por uma BT ou AT. Um sub-bloco dividido por uma AT pode ser dividido por uma BT ou TT. Por exemplo, após uma divisão por BT horizontal, cada sub-bloco pode ser dividido em BTs verticais ou após uma divisão por BT vertical, cada sub-bloco pode ser dividido em BTs horizontais. Os dois tipos de métodos de divisão são diferentes em uma sequência de divisão, mas possuem a mesma forma finalmente dividida.
[091] Adicionalmente, se um bloco for dividido, a sequência em que o bloco é buscado pode ser definida de várias maneiras. Em geral, a busca é realizada da esquerda para a direita ou de cima para baixo. Buscar um bloco pode significar uma sequência para determinar se irá dividir um bloco adicional de cada sub-bloco dividido ou pode significar uma sequência de codificação de cada sub-bloco se um bloco não for mais dividido ou pode significar uma sequência de busca quando a informação de outro bloco vizinho é referida em um sub-bloco.
[092] As FIGS. 4 e 5 são modalidades às quais a revelação é aplicada. A FIG. 4 ilustra um diagrama de blocos esquemático de uma unidade de transformada e quantização 120/130 e uma unidade de desquantização e transformada 140/150 dentro do codificador, e a FIG. 5 ilustra um diagrama de blocos esquemático de uma unidade de desquantização e transformada 220/230 dentro do decodificador.
[093] Referindo-se à FIG. 4, a unidade de transformada e quantização 120/130 pode incluir uma unidade de transformada primária 121, uma unidade de transformada secundária 122 e a unidade de quantização 130. A unidade de desquantização e transformada 140/150 pode incluir a unidade de desquantização 140, uma unidade de transformada secundária inversa 151 e uma unidade de transformada primária inversa 152.
[094] Referindo-se à FIG. 5, a unidade de desquantização e transformada 220/230 pode incluir a unidade de desquantização 220, uma unidade de transformada secundária inversa 231 e uma unidade de transformada primária inversa 232.
[095] Na revelação, quando uma transformada é efetuada, a transformada pode ser efetuada através de uma pluralidade de etapas. Por exemplo, como na FIG. 4, duas etapas de uma transformada primária e uma transformada secundária podem ser aplicadas ou mais etapas de transformada podem ser usadas de acordo com um algoritmo. Neste caso, a transformada primária pode ser chamada de transformada de núcleo.
[096] A unidade de transformada primária 121 pode aplicar uma transformada primária em um sinal residual. Neste caso, a transformada primária pode ser predefinida em uma forma de tabela no codificador e/ou no decodificador.
[097] Uma transformada discreta de cosseno tipo 2 (doravante “DCT2”) pode ser aplicada à transformada primária. Como alternativa, uma transformada discreta de seno tipo 7 (doravante chamada de “DST7”) pode ser aplicada a um caso específico. Por exemplo, no modo de predição intra, a DST7 pode ser aplicada a um bloco 4x4.
[098] Adicionalmente, combinações de várias transformadas (DST 7, DCT 8, DST 1 e DCT 5) das transformadas múltiplas adaptativas (AMT) podem ser aplicadas à transformada primária. Por exemplo, a FIG. 6 pode ser aplicada.
[099] A unidade de transformada secundária 122 pode aplicar uma transformada secundária ao sinal transformado primário. Neste caso, a transformada secundária pode ser predefinida em uma forma de tabela no codificador e/ou no decodificador.
[0100] Em uma modalidade, uma transformada secundária não-separável (doravante “NSST”) pode ser aplicada condicionalmente à transformada secundária.
Por exemplo, a NSST é aplicada a somente um bloco de predição intra, e pode ter um conjunto de transformada que pode ser aplicado a cada grupo de modo de predição.
[0101] Neste caso, o grupo de modo de predição pode ser configurado com base em uma simetria para uma direção de predição. Por exemplo, um modo de predição 52 e um modo de predição 16 são simétricos com respeito a um modo de predição 34 (direção diagonal) e podem formar um único grupo. Por conseguinte, o mesmo conjunto de transformada pode ser aplicado ao único grupo. Neste caso, quando uma transformada para o modo de predição 52 é aplicada, ela é aplicada após os dados de entrada serem transpostos. A razão para isso é que o conjunto de transformada para o modo de predição 16 é o mesmo que para o modo de predição
52.
[0102] Enquanto isso, o modo planar e o modo DC possuem o respectivo conjunto de transformadas, pois a simetria para a direção não está presente, o respectivo conjunto de transformadas pode ser configurado com duas transformadas. O modo direcional restante pode ser configurado com três transformadas para cada conjunto de transformadas.
[0103] Em outra modalidade, a NSST não é aplicada a toda a área do bloco transformado primário, mas pode ser aplicada a somente uma área de 8x8 superior esquerda. Por exemplo, se o tamanho de um bloco for de 8x8 ou mais, uma NSST de 8x8 é aplicada. Se o tamanho de um bloco for menor do que 8x8, uma NSST de 4x4 é aplicada, neste caso, após o bloco ser dividido em blocos de 4x4, uma NSST de 4x4 é aplicada a cada um dos blocos.
[0104] A unidade de quantização 130 pode efetuar quantização no sinal secundário transformado.
[0105] A unidade de desquantização e transformada 140/150 realiza inversamente o processo supramencionado, e uma descrição redundante da mesma é omitida.
[0106] A FIG. 5 ilustra um diagrama de blocos esquemático de uma unidade de desquantização e transformada 220/230 dentro do decodificador.
[0107] Referindo-se à FIG. 5, a unidade de desquantização e transformada 220/230 pode incluir a unidade de desquantização 220, uma unidade de transformada secundária inversa 231 e uma unidade de transformada primária inversa 232.
[0108] A unidade de desquantização 220 obtém um coeficiente de transformada a partir de um sinal decodificado por entropia usando informações de tamanho de passo de quantização.
[0109] A unidade de transformada inversa secundária 231 realiza uma transformada secundária inversa no coeficiente de transformada. Neste caso, a transformada secundária inversa indica uma transformada inversa da transformada secundária descrita na FIG. 4.
[0110] A unidade de transformada inversa primária 232 realiza uma transformada inversa primária no sinal (ou bloco) transformado inverso secundário, e obtém um sinal residual. Neste caso, a transformada primária inversa indica uma transformada inversa da transformada primária descrita na FIG. 4.
[0111] A revelação propõe um método para configurar uma combinação de transformada para cada grupo de configuração de transformada distinguido por pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco. A unidade de transformada primária inversa 232 pode realizar uma transformada inversa com base em uma combinação de transformada configurada pela revelação. Adicionalmente, as modalidades descritas na revelação podem ser aplicadas.
[0112] A FIG. 6 é uma modalidade à qual a revelação é aplicada e é uma tabela ilustrando um grupo de configuração de transformada ao qual transformadas múltiplas adaptativas (AMT) são aplicadas.
Grupo de configuração de transformada ao qual as transformadas múltiplas adaptativas (AMT) são aplicadas
[0113] Na revelação, um j-ésimo candidato de combinação de transformada para um grupo de configuração de transformada Gi é indicado em pares, tal como a Equação 1.
[Equação 1] (H(Gi, j), V(Gi, j))
[0114] Neste caso, H(Gi, j) indica uma transformada horizontal para um j- ésimo candidato, e V(Gi, j) indica uma transformada vertical para o j-ésimo candidato. Por exemplo, na FIG. 6, H(G3, 2) = DST7, V(G3, 2) = DCT8 pode ser indicado. De acordo com o contexto, um valor atribuído a H(Gi, j) ou V(Gi, j) pode ser um valor nominal para distinção entre as transformadas, como no exemplo, ou pode ser um valor de índice indicando uma transformada correspondente, ou pode ser uma matriz bidimensional (matriz 2D) para uma transformada correspondente.
[0115] Adicionalmente, na revelação, valores de matriz 2D para uma DCT e uma DST podem ser indicados como as equações 2 e 3.
[Equação 2]
II VIII DCT tipo 2: C N , DCT tipo 8: C N [Equação 3]
VII IV DST tipo 7: S N , DST tipo 4: S N
[0116] Neste caso, a indicação quanto a se uma transformada é uma DST ou uma DCT é dada por S ou C, um número de tipo é indicado como um símbolo sobrescrito na forma de um número Romano, e N de um sobrescrito indica uma transformada de NxN. Adicionalmente, assume-se que, nas matrizes 2D, tal como C NII e S NIV , os vetores de coluna formam uma base de transformada.
[0117] Referindo-se à FIG. 6, os grupos de configuração de transformada podem ser determinados com base em um modo de predição, e o número de grupos pode ser um total de 6 G0 ~ G5. Adicionalmente, G0 ~ G4 correspondem a um caso em que uma predição intra é aplicada, e G5 indica combinações de transformada (ou conjunto de transformada, o conjunto de combinação de transformada) aplicadas a um bloco residual gerado por uma predição inter.
[0118] Uma combinação de transformada pode ser configurada com uma transformada horizontal (ou transformada de linha) aplicada às linhas de um bloco 2D correspondente e uma transformada vertical (ou transformada de coluna) aplicada às colunas do bloco 2D correspondente.
[0119] Neste caso, cada um dos grupos de configuração de transformada pode ter quatro candidatos a combinação de transformada. Os quatro candidatos a combinação de transformada podem ser selecionados ou determinados através dos índices de combinação de transformada 0~3. O codificador pode codificar um índice de combinação de transformada e transmiti-lo ao decodificador.
[0120] Em uma modalidade, os dados residuais (ou um sinal residual) obtidos através de uma predição intra podem ter diferentes características estatísticas, dependendo de seu modo de predição intra. Por conseguinte, como na FIG. 6, outras transformadas que não sejam uma transformada de cosseno comum podem ser aplicadas para cada modo de predição intra.
[0121] A FIG. 6 ilustra um caso em que 35 modos de predição intra são usados e um caso em que 67 modos de predição intra são usados. Uma pluralidade de combinações de transformada pode ser aplicada a cada grupo de configuração de transformada distinguido em uma coluna de modo de predição intra. Por exemplo, a pluralidade de combinações de transformada pode ser configurada com quatro combinações (transformada na direção da linha e transformada na direção da coluna). Como um exemplo detalhado, em um grupo 0, um total de quatro combinações estão disponíveis, uma vez que DST-7 e DCT-5 podem ser aplicados tanto a uma direção de linha (horizontal) quanto a uma direção de coluna (vertical).
[0122] Uma vez que um total de quatro combinações de núcleo de transformada pode ser aplicado a cada modo de predição intra, um índice de combinação de transformada para selecionar uma das quatro combinações de núcleo de transformada pode ser transmitido para cada unidade de transformada.
Na revelação, o índice de combinação de transformada pode ser chamado de índice AMT e pode ser representado como amt_idx.
[0123] Adicionalmente, além dos núcleos de transformada propostos na FIG.
6, um caso em que DCT-2 é a melhor tanto para uma direção de linha quanto para uma direção de coluna pode ocorrer pela natureza de um sinal residual. Por conseguinte, uma transformada pode ser realizada de forma adaptativa definindo-se um sinalizador AMT para cada unidade de codificação. Neste caso, quando o sinalizador AMT é 0, a DCT-2 pode ser aplicada tanto à direção de linha quanto à direção de coluna. Quando o sinalizador AMT é 1, uma das quatro combinações pode ser selecionada ou determinada através de um índice AMT.
[0124] Em uma modalidade, quando o sinalizador AMT é 1, se o número do coeficiente de transformada diferente de zero para uma unidade de transformada não for maior do que um limiar, DST-7 pode ser aplicada tanto à direção de linha quanto à direção de coluna sem aplicar os núcleos de transformada da FIG. 6. Por exemplo, o limiar pode ser definido como 2, podendo ser definido de maneira diferente baseado no tamanho de um tamanho de bloco ou unidade de transformada. Isto também pode ser aplicado a outras modalidades da revelação.
[0125] Em uma modalidade, os valores de coeficiente de transformada podem ser primeiro analisados. Se o número do coeficiente de transformada diferente de zero não for maior do que o limiar, um índice AMT não é analisado e DST-7 é aplicada, dessa forma sendo capaz de reduzir a quantidade de informação adicional transmitida.
[0126] Em uma modalidade, quando o sinalizador AMT é 1, se o número do coeficiente de transformada diferente de zero para uma unidade de transformada for maior do que o limiar, um índice AMT é analisado, e uma transformada horizontal e uma transformada vertical podem ser determinadas com base no índice AMT.
[0127] Em uma modalidade, uma AMT pode ser aplicada a um caso em que tanto a largura quanto a altura de uma unidade de transformada é 32 ou menos.
[0128] Em uma modalidade, a FIG. 6 pode estar presente através de treinamento offline.
[0129] Em uma modalidade, o índice AMT pode ser definido como um índice capaz de indicar uma combinação de uma transformada horizontal e uma transformada vertical. Como alternativa, o índice AMT pode definir separadamente um índice de transformada horizontal e um índice de transformada vertical.
[0130] Em uma modalidade, o sinalizador AMT ou o índice AMT pode ser definido em pelo menos um nível de uma sequência, uma imagem, uma fatia, um bloco, uma unidade de codificação, uma unidade de transformada ou uma unidade de predição. Por exemplo, o sinalizador AMT ou o índice AMT pode ser definido em pelo menos um dentre um conjunto de parâmetro de sequência (SPS) ou unidade de transformada.
Modalidade (1): método para substituir DCT8 pela forma modificada de DST7
VIII VII
[0131] C N e S N satisfazem uma equação de relação da Equação 4.
[Equação 4] C NVIII  J N S NVII DN onde
 1i , i  j   DN ij , i , j 0 ,..., N 1  diag  1 , k  0 ,..., N  1   k i j e 0 ,
J
[0132] Na Equação 4, N é uma matriz possuindo um valor de 1 somente na
D linha diagonal inversa, e N é uma matriz na qual 1 e -1 aparecem alternadamente apenas em uma linha diagonal.
[0133] A Equação 5 ilustra um processo para obter um vetor de coeficiente de transformada Nx1 y por meio da aplicação de uma transformada direta ( C N )
VIII T de DCT8 a um vetor de entrada Nx1 .
[Equação 5]  y  C NVIII  x  D S  J
T N
VII T N N  T  
T x  S NVII , A xR  S NVII , AR x
[0134] Neste caso, um subscrito A é uma abreviação de alternado e indica que um sinal é trocado alternadamente Um subscrito R significa que a ordem dos vetores é alterada, e um subscrito AR significa que os dois casos se aplicam.
[0135] Se a equação for implementada como na Equação 5 por meio da
VIII aplicação da Equação 4, um espaço de memória separado para armazenar C N não
VIII é necessário dentro de um codec, pois uma transformada para C N pode ser
VII aplicada usando somente vetores de base de transformada formando S N .
VIII
[0136] Como na Equação 5, quando uma transformada direta para C N é aplicada, xR pode ser calculado e S N  pode ser multiplicado ou S N  pode VII , A T VII , AR T ser multiplicado sem alterar x . Adicionalmente, quando S N  VII , A T e S  VII , AR T N são aplicados, a inversão de sinal não é aplicada aos próprios vetores de base formando
S NVII , mas como na Equação 6, um produto interno pode ser calculado aplicando inversão de sinal a x R quando cada vetor de base e um produto interno para x são calculados.
[Equação 6]
[0137] As Equações 5 e 6 propõem um método para evitar uma memória
VIII VIII necessária para armazenar C N representando C N como dados de coeficiente de VII VIII , F VIII núcleo de S N . Além disso, C N pode ser usado em vez de C N como na Equação 7 sem aplicar a equação de relação da Equação 4 sem qualquer alteração.
[Equação 7] VIII , F VIII , F
[0138] Neste caso, C N indica DST7 invertida. Se C N for usado como na
VII Equação 7, isto é o mesmo que S N é aplicado a xR em vez de x . Por conseguinte, não é necessário aplicar alternadamente a inversão de sinal como nas Equações 5 e
6. Um método de aplicação de transformada regressiva (inverso) correspondendo à Equação 5 é igual à Equação 8, e um método de aplicação de transformada regressiva (inversa) correspondendo à Equação 7 é igual à Equação 9.
[Equação 8]     x  C NVIII y  J N S NVII DN y  S NVII , R y A  S NVII , AR y onde [Equação 9]   x  C NVIII , F  J N S NVII y  S NVII , R y  J N z  z R onde Modalidade (2): método para substituir DST7 por DST4 e substituir DCT8 com uma forma modificada de DST4
[0139] Em uma modalidade da revelação, propõe-se um método para usar
DST4 em vez de DST7. Como na Equação 10, a mesma equação de relação é estabelecida entre a DST4 e a DCT4 assim como entre DST7 e DCT8.
[0140] [Equação 10] C NIV  J N S NIV DN
[0141] Por conseguinte, se DST4 for usado em vez de DST7, se DCT4 for usado em vez de DCT8, DCT4 pode ser representado como DST4 usando a Equação 10. Por conseguinte, um espaço de memória separado para armazenar DCT4 não é necessário. Um método para aplicar uma transformada direta a DCT4 usando o mesmo método que na Equação 5 é descrito como na Equação 11.
[Equação 11]   x  D S  J y  C NIV
T N
IV T N N  
T  T x  S NIV , A xR  S NIV , AR x
[0142] Na Equação 12, como na Equação 6, os mesmos resultados que na Equação 11 podem ser obtidos sem qualquer modificação para dados de coeficiente
IV de núcleo de S N tomando-se apropriadamente a inversão de sinal para x R . [Equação 12]
[0143] Adicionalmente, como na Equação 13, a inversão de sinal pode ser IV , F IV evitada usando C N em vez de C N usando o mesmo método que na Equação 7.
[Equação 13]
[0144] Um método de aplicação de transformada regressiva (inverso) correspondendo à Equação 11 é igual à Equação 14, e um método de aplicação de transformada regressiva (inversa) correspondendo à Equação 13 é igual à Equação
15.
[Equação 14]     x  C NIV y  J N S NIV DN y  S NIV , R y A  S NIV , AR y em que [Equação 15]   x  C NIV , F  J N S NIV y  S NIV , R y  J N z  z R em que
[0145] A FIG. 7 é uma modalidade à qual a revelação é aplicada e é um fluxograma ilustrando um processo de codificação no qual transformadas de múltiplo adaptativo (AMT) são executadas.
[0146] Na revelação, basicamente, uma modalidade na qual as transformadas são aplicadas separadamente a uma direção horizontal e a uma direção vertical é descrita, mas uma combinação de transformadas pode ser configurada com transformadas não-separáveis.
[0147] Como alternativa, transformadas separáveis e transformadas não- separáveis podem ser misturadas e configuradas. Neste caso, se uma transformada não-separável for usada, não é necessário selecionar a transformada para cada linha/coluna ou para cada direção horizontal/vertical, e as combinações de transformada da FIG. 6 podem ser usadas somente quando transformadas separáveis forem selecionadas.
[0148] Adicionalmente, os métodos propostos na revelação podem ser aplicados independentemente de uma transformada primária ou de uma transformada secundária. Ou seja, não há o limite de que os métodos deverão ser aplicados a somente uma dentre uma transformada primária ou uma transformada secundária, e podem ser aplicados a ambas. Neste caso, a transformada primária pode significar uma transformada para primeiramente transformar um bloco residual, e a transformada secundária pode significar uma transformada para aplicar uma transformada a um bloco gerado como os resultados da transformada primária.
[0149] Primeiro, o codificador pode determinar um grupo de configuração de transformada correspondendo a um bloco atual (S710). Neste caso, o grupo de configuração de transformada pode significar o grupo de configuração de transformada da FIG. 6, mas a revelação não se limita ao mesmo O grupo de configuração de transformada pode ser configurado com as outras combinações de transformada.
[0150] O codificador pode realizar uma transformada nas combinações de transformada candidatas disponíveis dentro do grupo de configuração de transformada (S720).
[0151] O codificador pode determinar ou selecionar uma combinação de transformadas possuindo o menos custo de taxa-distorção (RD) baseado em um resultado da execução da transformada (S730).
[0152] O codificador pode codificar um índice de combinação de transformada correspondendo à combinação de transformada selecionada (S740).
[0153] A FIG. 8 é uma modalidade à qual a revelação é aplicada e é um fluxograma ilustrando um processo de decodificação no qual transformadas de múltiplo adaptativo (AMT) são executadas.
[0154] Primeiro, o decodificador pode determinar um grupo de configuração de transformada para um bloco atual (S810).
[0155] O decodificador pode analisar (ou obter) um índice de combinação de transformada a partir de um sinal de vídeo. Neste caso, o índice de combinação de transformada pode corresponder a qualquer uma de uma pluralidade de combinações de transformada dentro do grupo de configuração de transformada
(S820). Por exemplo, o grupo de configuração de transformada pode incluir transformada discreta de seno tipo 7 (DST7) e transformada discreta de cosseno tipo 8 (DCT8). O índice de combinação de transformada pode ser chamado de índice AMT.
[0156] Em uma modalidade, o grupo de configuração de transformada pode ser configurado com base em pelo menos um dentre um modo de predição, tamanho de bloco ou formato de bloco de um bloco atual.
[0157] O decodificador pode derivar uma combinação de transformadas correspondendo ao índice de combinação de transformada (S830). Neste caso, a combinação de transformadas é configurada com uma transformada horizontal e uma transformada vertical, e pode incluir pelo menos uma dentre a DST-7 ou a DCT-
8.
[0158] Adicionalmente, a combinação de transformadas pode significar a combinação de transformadas descrita na FIG. 6, mas a revelação não se limita à mesma. Isto é, uma configuração baseada em outra combinação de transformadas de acordo com outra modalidade da revelação é possível.
[0159] O decodificador pode realizar uma transformada inversa no bloco atual com base na combinação de transformadas (S840). Se a combinação de transformadas for configurada com uma transformada de linha (horizontal) e uma transformada de coluna (vertical), após a transformada de linha (horizontal) ser primeiro aplicada, a transformada de coluna (vertical) pode ser aplicada. Neste caso, a revelação não se limita à mesma e pode ser aplicada de maneira inversa ou, se a combinação de transformadas for configurada com transformadas não-separáveis, as transformadas não-separáveis podem ser aplicadas imediatamente.
[0160] Em uma modalidade, se a transformada vertical ou a transformada horizontal for a DST-7 ou DCT-8, uma transformada inversa da DST-7 ou uma transformada inversa da DCT-8 pode ser aplicada para cada coluna e então aplicada para cada linha.
[0161] Em uma modalidade, a transformada vertical ou a transformada horizontal pode ser aplicada de maneira diferente a cada linha e/ou cada coluna.
[0162] Em uma modalidade, o índice de combinação de transformada pode ser obtido com base em um sinalizador AMT indicando se uma AMT é realizada. Isto é, o índice de combinação de transformada pode ser obtido se uma AMT for realizada com base no sinalizador AMT.
[0163] Em uma modalidade, o decodificador pode verificar se o número do coeficiente de transformada diferente de zero é maior do que um limiar. Neste caso, o índice de combinação de transformada pode ser obtido quando o número do coeficiente de transformada diferente de zero é maior do que o limiar.
[0164] Em uma modalidade, o sinalizador AMT ou o índice AMT pode ser definido em pelo menos um nível de uma sequência, uma imagem, uma fatia, um bloco, uma unidade de codificação, uma unidade de transformada ou uma unidade de predição.
[0165] Em uma modalidade, a transformada inversa pode ser aplicada somente quando tanto a largura quanto a altura de uma unidade de transformada forem 32 ou menos.
[0166] Enquanto isso, em outra modalidade, o processo de determinar um grupo de configuração de transformada e o processo de analisar um índice de combinação de transformada podem ser realizados ao mesmo tempo. Como alternativa, a etapa S810 pode ser predefinida no codificador e/ou no decodificador e omitida.
[0167] A FIG. 9 é uma modalidade à qual a revelação é aplicada e é um fluxograma para descrever um processo de codificação de um sinalizador AMT e um índice AMT
[0168] O codificador pode determinar se transformadas múltiplas adaptativas
(AMT) são aplicadas a um bloco atual (S910).
[0169] Se as transformadas múltiplas adaptativas (AMT) forem aplicadas, o codificador pode codificar um sinalizador AMT = 1 (S920).
[0170] Adicionalmente, o codificador pode determinar um índice AMT baseado em pelo menos um dentre um modo de predição, transformada horizontal e transformada vertical do bloco atual (S930). Neste caso, o índice AMT significa um índice indicando qualquer uma de uma pluralidade de combinações de transformada para cada modo de predição intra, e o índice AMT pode ser transmitido para cada unidade de transformada.
[0171] Quando o índice AMT é determinado, o codificador pode codificar o índice AMT (S940).
[0172] Enquanto isso, se as transformadas múltiplas adaptativas (AMT) não forem aplicadas, o codificador pode codificar o sinalizador AMT = 0 (S950).
[0173] A FIG. 10 é uma modalidade à qual a revelação é aplicada e é um fluxograma para descrever um processo de decodificação para aplicar uma transformada horizontal ou uma transformada vertical a uma linha ou coluna baseado em um sinalizador AMT e em um índice AMT.
[0174] O decodificador pode analisar um sinalizador AMT a partir de um fluxo de bits (S1010). Neste caso, o sinalizador AMT pode indicar se transformadas múltiplas adaptativas (AMT) são aplicadas a um bloco atual.
[0175] O decodificador pode verificar se as transformadas múltiplas adaptativas (AMT) são aplicadas ao bloco atual com base no sinalizador AMT (S1020). Por exemplo, o decodificador pode verificar se o sinalizador AMT é 1.
[0176] Se o sinalizador AMT for 1, o decodificador pode verificar se o número do coeficiente de transformada diferente de zero é maior do que um limiar (ou mais) (S1030). Por exemplo, o limiar pode ser definido como 2. Este pode ser definido de maneira diferente com base em um tamanho de bloco ou no tamanho de uma unidade de transformada.
[0177] Se o número do coeficiente de transformada diferente de zero for maior do que o limiar, o decodificador pode analisar o índice AMT (S1040). Neste caso, o índice AMT significa um índice indicando qualquer uma de uma pluralidade de combinações de transformada para cada modo de predição intra ou modo de predição inter. O índice AMT pode ser transmitido para cada unidade de transformada. Como alternativa, o índice AMT pode significar um índice indicando qualquer combinação de transformadas definida em uma tabela de combinação de transformadas predefinida. A tabela de combinação de transformada predefinida pode se referir à FIG. 6, mas a revelação não se limita a isto.
[0178] O decodificador pode derivar ou determinar uma transformada horizontal e uma transformada vertical com base em pelo menos um do índice AMT ou um modo de predição (S1050).
[0179] Como alternativa, o decodificador pode derivar uma combinação de transformadas correspondendo ao índice AMT. Por exemplo, o decodificador pode derivar ou determinar uma transformada horizontal e uma transformada vertical correspondendo ao índice AMT.
[0180] No entanto, se o número do coeficiente de transformada diferente de zero não for maior do que um limiar, o decodificador pode aplicar uma transformada inversa vertical predefinida a cada coluna (S1060). Por exemplo, a transformada inversa vertical pode ser uma transformada inversa de DST7.
[0181] Adicionalmente, o decodificador pode aplicar uma transformada inversa horizontal predefinida a cada linha (S1070). Por exemplo, a transformada inversa horizontal pode ser uma transformada inversa de DST7. Isto é, se o número do coeficiente de transformada diferente de zero não for maior do que o limiar, um núcleo de transformada predefinido no codificador ou no decodificador pode ser usado. Por exemplo, pode-se usar não os núcleos de transformada definidos na tabela de combinação de transformada da FIG. 6, mas sim núcleos de transformada geralmente utilizados.
[0182] Enquanto isso, quando o sinalizador AMT é 0, o decodificador pode aplicar uma transformada inversa vertical predefinida a cada coluna (S1080). Por exemplo, a transformada inversa vertical pode ser uma transformada inversa de DCT-2.
[0183] Adicionalmente, o decodificador pode aplicar uma transformada inversa horizontal predefinida a cada linha (S1090). Por exemplo, a transformada inversa horizontal pode ser uma transformada inversa de DCT-2. Isto é, quando o sinalizador AMT é 0, um núcleo de transformada predefinido no codificador ou no decodificador pode ser usado. Por exemplo, pode-se usar não os núcleos de transformada definidos na tabela de combinação de transformada da FIG. 6, mas sim núcleos de transformada geralmente utilizados.
[0184] A FIG. 11 é uma modalidade à qual a revelação é aplicada e é um diagrama para descrever um método para configurar de maneira diferente uma transformada correspondendo a cada linha ou coluna de uma combinação de transformadas.
Modalidade (3): método para configurar de maneira diferente uma transformada correspondendo a cada linha ou coluna da combinação de transformadas
[0185] Em uma modalidade da revelação, uma transformada N x N pode ser aplicada a um bloco MxN bidimensional (2D) em uma direção horizontal (linha), e uma transformada M x M pode ser aplicada a um bloco 2D MxN em uma direção vertical (coluna).
[0186] Em outra modalidade, diferentes transformadas podem ser aplicadas a M linhas da FIG. 11, e diferentes transformadas podem ser aplicadas a N colunas da FIG. 11. Todas as transformadas horizontais (linhas) e transformadas verticais
(colunas) podem ser indicadas como sinais, como na Equação 16.
[Equação 16] TH , r , r  0 , ... , M  1 Transformadas horizontais (linha): T , c  0 , ... , N  1 Transformadas verticais (coluna): V , c
T T
[0187] O H , r e V ,c podem ser elementos pertencendo a respectivos conjuntos de transformada designados. Por exemplo, como se segue, supondo que HN  N , ou seja, um conjunto de transformadas para TH , r , e VM  M , isto é, um conjunto
T de transformadas para V ,c , estejam presentes, a Equação 17 e a Equação 18 podem ser representadas.
[Equação 17]
[0188] Em que (o número de M M elementos formando  V , cardinalidade) [Equação 18] em que (o número de M M elementos formando  V , cardinalidade) T  HN  N , r T  VM  M , c
[0189] Neste caso, H , r e H ,c são estabelecidos, e TH , r T s e V ,c s podem se sobrepor. Ou seja, eles podem ter a mesma transformada.
T T
[0190] Se todos os H , r s forem a mesma transformada e os V ,c s também forem a mesma transformada, uma transformada separável 2D comum é obtida. Se NN M M M = N, H e V puderem ter um elemento comum, isto é, podem ter uma interseção e não um conjunto nulo. N N M M
[0191] Os exemplos H e V são listados como as Equações 19 a 21. N N M M Para fins de conveniência, na revelação, assume-se que H e V sejam daqui em diante chamados coletivamente de  , e uma direção aplicada (horizontal ou vertical) ou tamanho de transformada (MxM ou NxN) pode ser verificada pelo contexto.
[Equação 19]    C NII , C NV , C NVIII , S NI , S NVII  [Equação 20]    C NVIII , S NVII  [Equação 21]      CII , CV , CVIII , SI , SVII  C II , C V , C VIII , S I , S VII 
[0192] Como na FIG. 6,  s pode ser diferente, dependendo de um grupo de configuração de transformada. Adicionalmente, s podem ser diferentes, dependendo do comprimento de cada lado de um bloco 2D além de um grupo de configuração de transformada. Diferentes  s podem ser configurados dependendo de um formato de bloco.
[0193] Na Equação 21, um tamanho de transformada não foi designado (marcado por •). Isto significa que um tamanho não é considerado ao selecionar (ou determinar) uma transformada ou um tamanho apropriado é selecionado de forma adaptativa, dependendo de uma situação na qual uma transformada é aplicada. Por
IV exemplo, supondo que C tenha sido selecionado, isto pode significar que C8 é
IV
IV aplicado se o comprimento for 8 e C4 é usado se o comprimento for 4. Por exemplo, na FIG. 6,  para a transformada horizontal em G1 é   S , S .
VII I  
[0194] A FIG. 12 é uma modalidade à qual a revelação é aplicada e é um diagrama para descrever um método para configurar um grupo de configuração de transformada comum baseado em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco.
[0195] Como descrito na FIG. 6, um j-ésimo candidato a combinação de transformada para um grupo de configuração de transformada Gi foi indicado como (H(Gi, j), V(Gi, j)). Neste caso, H(Gi, j) e V(Gi, j) indicam a respectiva transformada horizontal e transformada vertical aplicadas.
[0196] Na FIG. 6, a transformada horizontal e a transformada vertical de cada candidato foram indicadas como uma equação, tal como H(Gi, j) = DST7, uma vez que elas são uma única transformada (por exemplo, DST7, DCT5). Se diferentes transformadas puderem ser aplicadas a todas as linhas ou colunas, H(Gi, j) e V(Gi, j) podem ser representados como uma tupla configurada com M e N elementos como na Equação 22.
[Equação 22] H (Gi , j )  T j ,0 , T j ,1, ... , T j , M 1  V (Gi , j )  S j ,0 , S j ,1, ... , S j , N 1  T j , k , k  0 , ... , M  1
[0197] Na Equação 22, pode ser selecionado a partir de diferentes  s, e pode ser designado a partir do mesmo  . O mesmo se aplica a S j ,k , k  0 , ... , N  1 . Uma tabela para configurar um grupo de configuração de transformada comum usando a notação na Equação 22 é apresentada na FIG. 12.
[0198] O grupo de configuração de transformada da FIG. 12 pode ser configurado com base em um modo de predição como na FIG. 6, e pode ser configurado com base em uma combinação de pelo menos um de um modo de predição, um tamanho de bloco ou um formato de bloco. Por exemplo, os candidatos a transformada aplicados a um bloco residual de 4x8 gerado pelo modo de predição intra 0 (modo planar) podem ser designados como o Grupo 0. Neste caso, H(G0, j) é uma tupla configurada com quatro transformadas de 8x8, e V(G0, j) é uma tupla configurada com oito transformadas de 4 x 4.
[0199] Os grupos de configuração de transformada podem ser configurados distinguindo entre todos os casos de uma só vez como na FIG. 12, mas os grupos de configuração de transformada podem ser combinados dividindo-os em uma pluralidade de tabelas.
[0200] As FIGS. 13 e 14 são modalidades às quais a revelação é aplicada e são tabelas para descrever um método para dividir grupos de configuração de transformada em uma pluralidade de tabelas com base em pelo menos um dentre um modo de predição, um tamanho de bloco ou um formato de bloco, e combinar os grupos de configuração de transformada.
[0201] A FIG. 13 mostra um grupo configurando uma transformada de linha (ou transformada horizontal), e a FIG. 14 mostra um grupo configurando uma transformada de coluna (ou transformada vertical).
[0202] Em uma modalidade da revelação, é proporcionado um método para divisão em uma tabela para uma configuração de transformada de linha e uma tabela para uma configuração de transformada de coluna.
[0203] Se o codificador transmitir um índice de transformada indicando qual combinação de transformada será usada, ele pode sinalizar separadamente um índice de transformada de linha para designar uma transformada de linha (H(HGi, j)) e um índice de transformada de coluna indicando uma transformada de coluna (V(VGi, j)), ou pode sinalizar um índice de transformada incluindo duas unidades de informação de índice.
[0204] Nas FIGS. 13 e 14, somente as tabelas para uma transformada de 4x4 são proporcionadas, mas a revelação não se limita às mesmas. Por exemplo, diferentes tabelas de grupos de configuração de transformada podem ser definidas para outros tamanhos (por exemplo, 8x8 e 32x32).
[0205] Se uma transformada for aplicada a um bloco de 16x8, é feita referência a uma tabela de transformada horizontal de 8x8 na direção horizontal e a uma tabela de transformada vertical de 16x16 na direção vertical.
[0206] A FIG. 15 é uma modalidade à qual a revelação é aplicada e ilustra um exemplo no qual um grupo de configuração de transformada é configurado usando um conjunto de transformadas.
Modalidade (4): método para configurar um grupo de configuração de transformada usando um conjunto de transformadas
[0207] Como descrito na Modalidade (1) da FIG. 6, DST7 e uma forma modificada de DST7 podem ser usadas como o conjunto de transformadas  . O mesmo  pode ser aplicado a uma tupla (H(Gi, j)) para todas as transformadas horizontais e a uma tupla (V(Gi, j)) para todas as transformadas verticais. Neste caso, nas transformadas configurando o conjunto de transformadas  , um tamanho correspondente pode ser selecionado de acordo com as circunstâncias, independentemente dos tamanhos de transformada (4x4 e 8x8). Os conjuntos de transformadas disponíveis relacionados  podem ser listados como a Equação 23.
[Equação 23]    SVII , SVII , A    S VII  , SVII , AR    S VII  , SVII , R 
[0208] Neste caso, um sobrescrito A é uma abreviação de alternado e indica que um sinal é trocado alternadamente Um sobrescrito R significa que a ordem dos vetores é alterada, e um sobrescrito AR significa que os dois tipos se aplicam. VII , A VII , AR VII , R
[0209] Na Equação 23, S , S , S não requerem praticamente a adição de dados de coeficiente de núcleo separados, uma vez que os mesmos
VII dados de coeficiente de núcleo que S são usados.
[0210] Adicionalmente, em um codec comum, DCT2 pode ser incluída no conjunto de transformadas  sem a adição de uma memória, pois DCT2 já está incluído. Exemplos do conjunto de transformadas  incluindo DCT2 são ilustrados na Equação 24.
[Equação 24]    SVII , SVII , A , CII    S VII  , SVII , AR ,C  II    S VII  , SVII , R ,C  II 
[0211] Um grupo de configuração de transformadas pode ser configurado como a FIG. 6 ou a FIG. 12 usando os conjuntos de transformadas  na Equação 23 ou na Equação 24.
[0212] Por exemplo, se um grupo de configuração de transformada for configurado como na FIG. 6, isso indica um método para aplicar a mesma transformada horizontal a todas as linhas e a mesma transformada vertical a todas as colunas com respeito a um bloco.
[0213] Adicionalmente, na FIG. 6, uma transformada correspondendo ao tamanho de um bloco correspondente somente tem que ser selecionada com respeito a uma transformada designada, uma vez que uma tabela não é diferente, dependendo do formato ou tamanho de um bloco. Se um grupo de configuração de transformada for configurado como a FIG. 6, de modo a reduzir uma memória necessária para armazenar dados de coeficiente de núcleo de transformada, um dos conjuntos de transformada  propostos na Equação 23 pode ser selecionado e os candidatos de todos os grupos de configuração de transformada podem ser descritos ou um dos conjuntos de transformada  propostos na Equação 24 pode ser selecionado e os candidatos de todos os grupos de configuração de transformada podem ser determinados.
[0214] A FIG. 15 ilustra um exemplo no qual as combinações de transformada de todos os grupos de configuração de transformada são descritas
VII  usando apenas o conjunto de transformadas   S , S VII , R  .
[0215] Daqui em diante, a FIG. 16 descreve um exemplo no qual um grupo de configuração de transformada é configurado usando diferentes conjuntos de transformadas baseado em um tamanho de bloco de transformada.
[0216] A FIG. 16 é uma modalidade à qual a revelação é aplicada e ilustra um exemplo no qual um grupo de configuração de transformada é configurado usando diferentes conjuntos de transformada com base em um tamanho de bloco de transformada.
[0217] Como um exemplo no qual um grupo de configuração de transformada é configurado usando o método da FIG. 12, a FIG. 16 ilustra um caso
VII  VII , R  em que um conjunto de transformadas   S4 , S4 , C4 é usado no caso de uma
II transformada de 4x4 e um conjunto de transformadas   S 
VII 8 , S8VII ,R , C8II é usado no caso de uma transformada de 8x8.
[0218] Por exemplo, na FIG. 16, o Grupo 0 corresponde a um bloco de 8x4 ao qual o modo planar e o modo DC são aplicados.
[0219] Em uma modalidade da revelação, supondo que DST4 possa ser usado em vez de DST7 como na Modalidade (2), o conjunto de transformadas  pode ser definido usando o mesmo método que nas Equações 23 e 24. A Equação
IV 25 indica exemplos nos quais somente S é usado como dados de coeficiente de
IV II núcleo de transformada, e a Equação 26 mostra exemplos nos quais S e C são usados como dados de coeficiente de núcleo de transformada.
[Equação 25]    SIV , SIV , A    S IV  , SIV , AR    S IV  , SIV ,R  [Equação 26]    SIV , SIV , A , CII    S IV  , SIV , AR ,C  II    S IV  , SIV ,R ,C  II 
[0220] De maneira similar, combinações de transformadas, tal como a FIG.
15 ou a FIG. 16, podem ser configuradas usando os conjuntos de transformadas  propostos nas Equações 25 e 26. Se um grupo de configuração de transformada for diferente dependendo de um tamanho de bloco ou de um formato de bloco, somente um conjunto de transformadas  correspondendo ao tamanho de bloco tem de ser usado.
[0221] Basicamente, um conjunto de transformadas  pode incluir quaisquer transformadas. Por exemplo, como na Equação 27, um conjunto de transformadas 
VII IV pode ser configurado incluindo todas as transformadas relacionadas a S e S . Como alternativa, como na Equação 28, um conjunto de transformadas  pode ser configurado incluindo-se todos os tipos de transformadas de cosseno / transformadas de seno. Como alternativa, como na Equação 29, um conjunto de transformadas  pode ser configurado incluindo-se uma transformada de Karhunen Loeve (KLT) ou uma transformada ortonormal esparsa (SOT) obtida a partir de dados de treinamento.
[Equação 27]    SVII , SVII ,R , SIV , SIV ,R    S VII  , SVII ,R , SIV , SIV ,R , CII  [Equação 28]    SI , SII , SIII , SIV , SV , SVI , SVII , SVIII , CI , CII , CIII , CIV , CV , CVI , CVII , CVIII  [Equação 29]    S VII , S VII ,R , CII , KLT1 , KLT2    S VII  , S VII ,R , CII , SOT , SOT  1 2   KLT1, KLT2 , KLT3 , KLT4    SOT1, SOT2 , SOT3 
[0222] Adicionalmente, na revelação, assume-se que, basicamente, transformadas são aplicadas separadamente a uma direção horizontal e a uma direção vertical, mas um conjunto de transformadas  pode ser configurado com transformadas não-separáveis e transformadas separáveis, e transformadas não- separáveis podem ser misturadas e configuradas de acordo com as circunstâncias.
[0223] No caso da configuração mista, se uma transformada não-separável for selecionada, não é necessário selecionar a transformada para cada linha/coluna ou para cada direção horizontal/vertical. As combinações de transformadas propostas através das modalidades supramencionadas podem ser configuradas somente se transformadas separáveis forem selecionadas.
[0224] As modalidades da revelação podem ser aplicadas independentemente de uma transformada primária ou de uma transformada secundária. Ou seja, não há o limite de que as modalidades deverão ser aplicadas a qualquer uma dentre uma transformada primária ou uma transformada secundária, e podem ser aplicadas a ambas.
[0225] A FIG. 17 é uma modalidade à qual a revelação é aplicada e ilustra um exemplo no qual um conjunto intervalar é configurado.
Modalidade (5): configurar conjunto intervalar
[0226] Uma equação para uma transformada de cosseno aplicada na revelação é a mesma que a Equação 30.
[Equação 30]   C I N lk   k l 2  cos kl N  1  N  1 , k , l  0 ,1,  , N  1  1  k  C II N lk  2
N  k cos  l   , k , l  0 ,1, , N  1  2  N   1   C III N lk  2
N  l cos l  k   , k , l  0 ,1, , N  1 2N   1  1   C IV N lk 2 
N cos  l   k   , k , l  0 ,1,  , N  1 2N  2    2   C V N lk  2  l k coskl  , k , l  0 ,1,, N  1 2 N 1   2 N  1  1  2  C VI N lk  2  k  l cos  l  k , k , l  0 ,1,  , N  1 2 N 1  2  2 N  1  1  2  C VII N lk  2  k l cos l  k   2  2 N  1 , k , l  0 ,1, ... , N  1 2 N 1   1  1  2  C VIII N lk  2 cos  l   k   2  2 N  1 , k , l  0 ,1,  , N  1 2 N 1  2 
[0227] Neste caso, , , tem um valor de 1 em casos de outros além dos valores. Isto é, ele tem um valor de 1 por padrão.
[0228] Adicionalmente, uma equação para uma transformada de seno aplicada na revelação é a mesma que na Equação 31.
[Equação 31]     S NI lk  2 N 1   sin l  1k  1 N  1 , k , l  0 ,1,  , N  1  1   S 
II N lk  2
N  k sin  l  k  1 , k , l  0 ,1,  , N  1 N  2   1   S 
III N lk  2
N   l sin l  1 k   , k , l  0 ,1,  , N  1 2N    1  1   S 
IV N lk 2 
N sin  l   k   , k , l  0 ,1,  , N  1 2N  2  2  S 
V N lk  2  sin l  1k  1 2 N  1 , k , l  0 ,1,  , N  1 2 N 1   1  2  S 
VI N lk  2 sin  l  k  1 2 N  1 , k , l  0 ,1,  , N  1 2 N  1  2   1  2  S 
VII N lk  2  sin l  1 k   2  2 N  1 , k , l  0 ,1,  , N  1 2 N 1    1  1  2  S 
VIII N lk  2  l  k sin  l   k   2  2 N  1 , k , l  0 ,1, , N  1 2 N 1  2  em que
[0229] Neste caso, , tem um valor de 1 em casos que não sejam os valores. Isto é, ele tem um valor de 1 por padrão.
VIII
[0230] As equações de relação da Equação 32, incluindo a relação com C N
VII IV VI e S N proposta através das Modalidades (1) e (2) e a relação com C N e S N , podem ser derivadas das equações para transformadas de cosseno e transformadas de seno.
[Equação 32] C NII  DN S NII J N C   J S  D
II T N N II T
N N C NIII  J N S NIII DN C   D S  J
III T N N III T N N
C NIV  J N S NIV DN C   D S  J
IV T N N IV T
N N C NV  J N C NVI DN C   D C  J
V T N N VI T
N N C NV  DN C NVII J N C   J C  D
V T N N VII T
N N C NVI  J N C NV DN C   D C  J
VI T N N V T
N N C NVI  DN S NVIII J N C   J S  D
VI T N N VIII T
N N C NVII  DN C NV J N C   J C  D
VII T N N V T
N N C NVII  J N S NVIII DN C   D S  J
VII T N N VIII T
N N C NVIII  J N S NVII DN C   D S  J
VIII T N N VII T
N N C NVIII  DN S NVI J N C   J S  D
VIII T N N VI T
N N S NII  DN C NII J N S   J C  D
II T N N II T
N N S NIII  J N C NIII DN S   D C  J
III T N N III T
N N S NIV  J N C NIV DN S   D C  J
IV T N N IV T
N N S NV  J N S NVI DN S   D S  J
V T N N VI T
N N S NV  DN S NVII J N S   J S  D
V T N N VII T
N N S NVI  J N S NV DN S   D S  J
VI T N N V T
N N S NVI  DN C NVIII J N S   J C  D
VI T N N VIII T
N N S NVII  D N S NV J N S   J S  D
VII T N N V T
N N S NVII  J N C NVIII D N S   D C  J
VII T N N VIII T
N N S NVIII  D N C NVI J N S   J C  D
VIII T N N VI T
N N S NVIII  J N C NVII D N S   D C  J
VIII T N N VII T N N
[0231] Adicionalmente, as equações de relação, tal como a Equação 33, podem ser derivadas das equações de relação da Equação 32.
[Equação 33] C NV  J N D N S NVIII J N D N C   D J S
V T N N N N DJ
VIII T
N N C NVI  J N D N C NVII J N D N C   D J C
VI T N N N N DJ
VII T
N N C NVII  D N J N C NVI D N J N C   J D C
VII T N N N NJ D
VI T
N N C NVIII  D N J N S NV D N J N C   J D S
VIII T N N N N J D
V T N N
S NV  J N D N C NVIII J N D N S N   D J C  D J
V T N N VIII T
N N N S NVI  J N D N S NVII J N D N S N   D J S  D J
VI T N N VII T
N N N S NVII  D N J N S NVI D N J N S N   J D S  J D
VII T N N VI T
N N N S NVIII  D N J N C NV D N J N S N   J D C  J D
VIII T N N V T N N N
[0232] O cálculo de DN J N e J N DN aparecendo na Equação 33 pode ser realizado combinando-se apropriadamente os padrões da inversão de sequência e da inversão de sinal para entrada como uma Equação de seno 34.
[Equação 34]
[0233] Por conseguinte, várias outras transformadas podem ser derivadas usando somente dados de coeficiente de núcleo para uma única transformada específica a partir das equações de relação das Equações 32 e 33. A Equação 35 representa, como um conjunto, transformadas que podem ser percorridas a partir de uma transformada.
[Equação 35]     Span C I  C I SpanC   C , S 
II II II SpanC   C , S 
III III III SpanC   C , S 
IV IV IV SpanC   C , C , C , S
V V VI VII VIII  SpanC   C , C , C , S
VI V VI VII VIII  SpanC   C , C , C , S
VII V VI VII VIII  SpanC   C , S , S , S
VIII VIII V VI VII  SpanS   S 
I I SpanS   C , S 
II II II SpanS   C , S 
III III III
   Span S IV  C IV , S IV  SpanS V   C VIII , S V , S VI , S VII  SpanS VI   C VIII , S V , S VI , S VII  SpanS VII   C VIII , S V , S VI , S VII  SpanS VIII   C V , C VI , C VII , S VIII 
[0234] Um conjunto de potência correspondente para cada conjunto intervalar proposto na Equação 35 pode ser calculado. Por exemplo, um conjunto de potência P Span CV   para SpanC  pode ser representado como a Equação 36.
V [Equação 36] PSpanCV   {  , CV , CVI , CVII , S VIII , CV , CVI , CV , CVII , CV , SVIII , C VI      , CVII , CVI , S VIII , CV , CVI , CVII , CV , CVI , SVIII , CV , CVII , S VIII , C VI  , CVII , S VIII , CV , CVI , CVII , S VIII }
[0235] Se um elemento de um conjunto de potência para um conjunto intervalar chamado A for indicado como e A  PSpan A , ele pode ser representado como a Equação 37.
[Equação 37]    
VIII VIII   e Ci  e S j ,    iI j I
[0236] O conjunto de transformadas  definido nas Modalidades (2) e (3) pode ser configurado como a Equação 37. e aparecendo na Equação 37 pode não ser disjunto, pois os elementos sobrepostos entre os conjuntos de potência para os conjuntos intervalares na Equação 35 estão presentes.
[0237] O número de transformadas que precisam ser armazenadas em um espaço de memória real na forma de dados de coeficiente pode ser muito menor, uma vez que uma transformada pode ser percorrida para várias transformadas como na Equação 35. Por exemplo, duas transformadas são suficientes para o intervalo     C V , C VI , C VII , C VIII , S V , S VI , S VII , S VIII , e C VI , S VII   é possível como uma dentre várias combinações.
VII
[0238] Na maioria dos sistemas de codec, sabe-se que, em geral S é eficiente para dados residuais gerados a partir de uma predição intra, uma vez que C II é incluído. Se S VII puder ser substituído por S IV como na Modalidade (2), um conjunto máximo de transformadas capaz de ser percorrido a partir das transformadas, isto é, uma semente (seed), pode ser grado como na FIG. 17.
[0239] O conjunto intervalar ao máximo proposto na FIG. 17 é um conjunto de transformadas que pode ser usado em máximo grau. Quando o conjunto intervalar ao máximo é usado como um conjunto de transformadas  , um conjunto parcial da FIG. 17 pode ser usado.
[0240] Um conjunto intervalar para S
VII e S
VII   T a partir das equações de relação das Equações 32 e 33 pode ser representado usando J N e DN como na Equação 38. Neste caso, J N e DN são definidos na Equação 4.
[Equação 38]     Span S VII  C VIII , S V , S VI , S VII J S D , D S J , J D S J D , S 
N VII N N N VII N N N N VII N N N VII
N Span S     D S  J , J S  D , D J S  D J , S 
VII T N VII T N N N VII T N N N N VII T N N N
VII T N 
[0241] A modalidade (1) propõe um exemplo no qual S VII , R  J N S NVII é usado
VIII em vez de C como na Equação 7. Neste caso, há um efeito de que o sinal de um coeficiente gerado quando uma transformada direta (por exemplo, S 
VII T N ) é aplicado é usado sem ser invertido. Se o mesmo método for aplicado à Equação 38, um conjunto intervalar correspondente é alterado como na Equação 39, uma vez que DN multiplicado na frente de uma transformada direta é eliminado.
[Equação 39]  Span S VII     S  J
T VII T N N   T   T , J N S NVII DN , J N S NVII DN J N , S NVII   T     Span S VII  J N S NVII , D N S NVII J N , J N D N S NVII J N , S NVII 
[0242] Por conseguinte, mesmo nos conjuntos intervalares listados na Equação 35 e na FIG. 17, todas as transformadas incluídas em cada conjunto intervalar podem ser representadas como uma relação linear de J N e DN e uma transformada de semente como a Equação 38 usando as equações de relação nas
Equações 32 e 33. Em seguida, uma transformada direta é calculada como na
D Equação 39. Se a frente N for eliminada, um conjunto intervalar configurado com transformadas cujos sinais dos coeficientes de transformada não são invertidos pode ser derivado. Um conjunto de transformadas desejado  pode ser configurado com base na equação de relação da Equação 37 usando os conjuntos intervalares obtidos.
[0243] A partir da Equação 38, pode-se observar que uma transformada de
VII semente denominada S N é colocada no centro e as transformadas são percorridas multiplicando-se apropriadamente J N e DN antes e atrás. Pode-se ver que, nas matrizes multiplicadas antes, a saída obtida após a transformada de semente no centro ser aplicada é pós-processada. Adicionalmente, pode-se ver que n matrizes multiplicadas atrás, o pré-processamento é realizado na entrada antes de a transformada de semente no centro ser aplicada. Os resultados obtidos multiplicando-se J N e DN várias vezes em várias combinações podem ser sumarizados como na Equação 40.
[Equação 40] cAB , em que
[0244] Por conseguinte, ocorrem 64 casos para duas combinações, uma vez que 8 casos são possíveis para cada um do pré-processamento e do pós- processamento em relação a uma transformada de semente. No entanto, se tanto um valor de c no lado de pré-processamento quanto um valor de c no lado de pós- processamento forem considerados, casos sobrepostos ocorrem (isto é, uma vez que uma mudança de sinal finalmente resulta em dois casos de +/-), o número de casos é um total de 32 casos. Se somente o aspecto de mudança de sinal dos resultados de transformada for considerado e o valor do sinal em si for negligenciado, o número total de casos é 16, já que o valor de c pode ser fixado em 1 na Equação 40. Um exemplo no qual a Equação 40 é aplicada tanto ao pré-
processamento quanto ao pós-processamento inclui a Equação 41.
[Equação 41]   Span S NVII  { S NVII ,  S NVII , S NVII J N ,  S NVII J N , S NVII DN ,  S NVII DN , S NVII DN J N ,  S NVII DN J N , J N S NVII ,  J N S NVII , J N S NVII J N ,  J N S NVII J N , J N S NVII DN ,  J N S NVII DN , J N S NVII DN J N ,  J N S NVII DN J N , DN S NVII ,  DN S NVII , DN S NVII J N ,  DN S NVII J N , DN S NVII DN ,  DN S NVII DN , DN S NVII DN J N ,  DN S NVII DN J N , DN J N S NVII ,  DN J N S NVII , DN J N S NVII J N ,  DN J N S NVII J N , DN J N S NVII DN ,  DN J N S NVII DN , DN J N S NVII DN J N ,  DN J N S NVII DN J N }
[0245] Um exemplo para um caso onde um valor de c não é considerado com respeito ao exemplo da Equação 41 inclui a Equação 42.
[Equação 42] SpanS NVII   { S NVII , S NVII J N , S NVII DN , S NVII DN J N , J N S NVII , J N S NVII J N , J N S NVII DN , J N S NVII DN J N , DN S NVII , DN S NVII J N , DN S NVII DN , DN S NVII DN J N , DN J N S NVII , DN J N S NVII J N , DN J N S NVII DN , DN J N S NVII DN J N }
[0246] Se o sinal dos coeficientes de transformada obtidos pela aplicação de uma transformada direta como na Equação 39 for negligenciado, o número total de
J D casos é reduzido a 8, uma vez que uma combinação de N e N é usada sem qualquer alteração no lado de pré-processamento de entrada e somente J N tem que ser usado no pós-processamento de saída com relação a uma transformada direta.
A Equação 43 mostra um exemplo correspondente.
[Equação 43]  Span S VII N    { S  , S  J , S  D , S  D J ,
T VII T N VII T N N VII T N N VII T
N N N J S  , J S  J , J S  D , J S  D
N VII T N N VII T N N N VII T N N N
VII T N N JN }   Span S NVII  { S NVII , J N S NVII , DN S NVII , J N DN S NVII , S NVII J N , J N S NVII J N , DN S NVII J N , J N DN S NVII J N }
[0247] Na revelação, um conjunto intervalar pode ser derivado como na Equação 43 com relação a todas as transformadas de cosseno / transformadas de seno. Cada conjunto de potência correspondente pode ser configurado como na Equação 36. Um conjunto de transformadas  a ser usado para determinar uma combinação de transformadas pode ser configurado através da Equação 37.
[0248] Adicionalmente, métodos para configurar várias combinações de transformadas propostos na Modalidade (3) podem ser aplicados usando os conjuntos de transformadas  derivados a partir dos métodos propostos na Modalidade (4).
[0249] Um método para adicionar uma etapa de pré-processamento de entrada e uma etapa de pós-processamento de saída a uma transformada em várias formas como nas Equações 40 a 43 não é aplicado somente a transformadas trigonométricas como nas Equações 41 a 43, mas também é aplicado a outras dadas transformadas (por exemplo, KLF e SOT), e, dessa forma, um conjunto intervalar correspondente pode ser derivado.
[0250] Adicionalmente, nas Equações 40 a 43, uma matriz correspondendo às etapas de pré- e pós-processamento foi configurada com somente uma combinação de J N e DN , mas quaisquer outras matrizes além de J N e DN podem ser configuradas através de cálculos de qualquer forma.
[0251] A FIG. 18 ilustra um sistema de codificação de vídeo ao qual a revelação é aplicada.
[0252] O sistema de codificação de vídeo pode incluir um dispositivo de origem e um dispositivo receptor. O dispositivo de origem pode transmitir, ao dispositivo receptor, informações ou dados de vídeo/imagem codificadas através de um meio de armazenamento digital ou através de uma rede na forma de arquivo ou transmissão em fluxo contínuo (streaming).
[0253] O dispositivo de origem pode incluir uma fonte de vídeo, um aparelho de codificação e um transmissor. O dispositivo receptor pode incluir um receptor, um aparelho de decodificação e um renderizador. O aparelho de codificação pode ser chamado de aparelho de codificação de vídeo/imagem. O aparelho de decodificação pode ser chamado de aparelho de decodificação de vídeo/imagem. O transmissor pode ser incluído no aparelho de codificação. O receptor pode ser incluído no aparelho de decodificação. O renderizador pode incluir um meio de exibição. O meio de exibição pode ser configurado para cada dispositivo ou componente externo.
[0254] A fonte de vídeo pode obter um vídeo/imagem através do processo de captura, síntese ou geração de um vídeo/imagem. A fonte de vídeo pode incluir um dispositivo de captura de vídeo/imagem e/ou um dispositivo de geração de vídeo/imagem. O dispositivo de captura de vídeo/imagem pode incluir uma ou mais câmeras, um arquivo de vídeo/imagem incluindo um vídeo/imagem capturado anteriormente, por exemplo. O dispositivo de geração de vídeo/imagem pode incluir um computador, um tablet e um smartphone, por exemplo, e pode gerar (eletronicamente) um vídeo/imagem. Por exemplo, um vídeo/imagem virtual pode ser gerado através de um computador. Neste caso, um processo de geração de dados relacionados pode ser substituído por um processo de captura de vídeo/imagem.
[0255] O aparelho de codificação pode codificar uma imagem de entrada/imagem. O aparelho de codificação pode realizar uma série de procedimentos, tal como predição, uma transformada, e quantização para eficiência de compressão e codificação. Os dados codificados (informações de vídeo/imagem codificadas) podem ser emitidas em uma forma de fluxo de bits.
[0256] O transmissor pode transmitir, ao receptor do dispositivo receptor, informações ou dados de vídeo/imagem emitidos na forma de um fluxo de bits através de um meio de armazenamento digital ou através de uma rede na forma de arquivo ou transmissão em fluxo contínuo. O meio de armazenamento digital pode incluir vários meios de armazenamento, tal como um USB, um SD, um CD, um DVD, Blu-ray, um HDD e um SSD. O transmissor pode incluir um elemento para gerar um arquivo de mídia através de um formato de arquivo predefinido, e pode incluir um elemento para transmissão através de uma rede de difusão/comunicação. O receptor pode extrair o fluxo de bits e transmiti-lo ao aparelho de decodificação.
[0257] O aparelho de decodificação pode decodificar um vídeo/imagem realizando uma série de procedimentos, tal como desquantização, uma transformada inversa, e predição correspondendo às operações do aparelho de codificação.
[0258] O renderizador pode renderizar um vídeo/imagem decodificado. O vídeo/imagem renderizado(a) pode ser exibido através de um meio de exibição.
[0259] A FIG. 19 ilustra um sistema de transmissão em fluxo de conteúdo ao qual a revelação é aplicada.
[0260] Referindo-se à FIG. 19, o sistema de transmissão em fluxo de conteúdo ao qual a revelação é aplicada pode basicamente incluir um servidor de codificação, um servidor de transmissão em fluxo, um servidor da Rede (web), um armazenamento em mídia, um equipamento do usuário e um dispositivo de entrada multimídia.
[0261] O servidor de codificação basicamente funciona gerando um fluxo de bits por meio da compressão do conteúdo transmitido por dispositivos de entrada de multimídia, tal como um smartphone, uma câmera ou uma filmadora de mão, em dados digitais, e transmitindo o fluxo de bits ao servidor de transmissão em fluxo contínuo. Para outro exemplo, se os dispositivos de entrada de multimídia, tal como um smartphone, uma câmera ou uma filmadora de mão, gerarem diretamente um fluxo de bits, o servidor de codificação pode ser omitido.
[0262] O fluxo de bits pode ser gerado por um método de codificação ou método de geração de fluxo de bits ao qual a revelação é aplicada. O servidor de transmissão em fluxo contínuo pode armazenar temporalmente um fluxo de bits em um processo de transmitir ou receber o fluxo de bits.
[0263] O servidor de transmissão em fluxo contínuo transmite dados multimídia ao equipamento do usuário com base em uma solicitação do usuário através do servidor da Rede. O servidor da Rede desempenha um papel como um meio para notificar um usuário de qual serviço é oferecido. Quando um usuário solicita um serviço desejado a partir do servidor da Rede, o servidor da Rede transmite a solicitação ao servidor de transmissão em fluxo contínuo. O servidor de streaming transmite dados multimídia ao usuário. Neste caso, o sistema de transmissão em fluxo contínuo de conteúdo pode incluir um servidor de controle separado. Neste caso, o servidor de controle funciona controlando uma instrução/resposta entre os aparelhos dentro do sistema de transmissão em fluxo de conteúdo.
[0264] O servidor de transmissão em fluxo contínuo pode receber conteúdo a partir do armazenamento em mídia e/ou do servidor de codificação. Por exemplo, se o conteúdo for recebido a partir do servidor de codificação, o servidor de transmissão em fluxo contínuo pode receber o conteúdo em tempo real. Neste caso, de modo a oferecer um serviço de transmissão em fluxo contínuo sem interrupções, o servidor de transmissão em fluxo contínuo pode armazenar um fluxo de bits por um dado tempo.
[0265] Exemplos do equipamento do usuário podem incluir um telefone celular, um smartphone, um computador laptop, um terminal para difusão digital, assistentes digitais pessoais (PDA), um reprodutor multimídia portátil (PMP), um navegador, um PC slate, um PC tablet, um ultrabook, um dispositivo vestível (por exemplo, um terminal do tipo relógio (smartwatch), um terminal do tipo óculos (smartglass), e um óculos de realidade virtual (HMD)), uma TV digital, um computador de mesa, e uma assinatura digital.
[0266] Os servidores dentro do sistema de transmissão em fluxo contínuo de conteúdo podem operar como servidores distribuídos. Neste caso, os dados recebidos a partir dos servidores podem ser distribuídos e processados.
[0267] Como descrito acima, as modalidades descritas na revelação podem ser implementadas e realizadas em um processador, um microprocessador, um controlador ou um chip. Por exemplo, as unidades de função ilustradas nos desenhos podem ser implementadas e realizadas em um computador, um processador, um microprocessador, um controlador ou um chip.
[0268] Adicionalmente, o decodificador e o codificador aos quais a revelação é aplicada podem ser incluídos em uma transmissão de difusão de multimídia e dispositivo de recepção, um terminal de comunicação móvel, um dispositivo de vídeo de cinema em casa, um dispositivo de vídeo de cinema digital, uma câmera para monitoramento, um dispositivo de diálogo de vídeo, um dispositivo de comunicação em tempo real, tal como comunicação de vídeo, um dispositivo móvel de transmissão em fluxo contínuo, um meio de armazenamento, uma filmadora digital, um dispositivo de provisão de serviços de vídeo sob demanda (VoD), um dispositivo de vídeo “over the top” (OTT), um dispositivo de provisão de serviços de transmissão em fluxo contínuo de Internet, um dispositivo de vídeo tridimensional (3D), um dispositivo de videotelefonia, e um dispositivo de vídeo médico, e pode ser usado para processar um sinal de vídeo ou um sinal de dados. Por exemplo, o dispositivo de vídeo OTT pode incluir um console de jogo, um reprodutor de Blu-ray, TV com acesso à Internet, um sistema de home theater, um smartphone, um OC tablet e um gravador de vídeo digital (DVR).
[0269] Adicionalmente, o método de processamento ao qual a revelação é aplicada pode ser produzido na forma de um programa executado por um computador, e pode ser armazenado em um meio de gravação legível por computador. Dados multimídia possuindo uma estrutura de dados de acordo com a revelação também podem ser armazenados em um meio de armazenamento legível por computador. O meio de gravação legível por computador inclui todos os tipos de dispositivos de armazenamento nos quais dados legíveis por computador são armazenados. O meio de gravação legível por computador pode incluir um disco Blu-ray (BD), um barramento serial universal (USB), uma ROM, uma PROM, uma EPROM, uma EEPROM, uma RAM, um CD-ROM, uma fita magnética, um disco flexível, e um dispositivo de armazenamento de dados ópticos, por exemplo.
Adicionalmente, o meio de gravação legível por computador inclui meios implementados na forma de portadoras (por exemplo, transmissão através da Internet). Adicionalmente, um fluxo de bits gerado usando um método de codificação pode ser armazenado em um meio de gravação legível por computador ou pode ser transmitido através de redes de comunicação com fio e sem fio.
[0270] Adicionalmente, uma modalidade da revelação pode ser implementada como um produto de programa de computador usando código de programa. O código de programa pode ser executado por um computador de acordo com uma modalidade da revelação. O código de programa pode ser armazenado em uma portadora legível por um computador.
[Aplicabilidade Industrial]
[0271] As modalidades preferidas supracitadas da revelação foram reveladas para fins ilustrativos, e os versados na técnica poderão aperfeiçoar, alterar, substituir ou adicionar várias outras modalidades sem se afastar do espírito e escopo técnico da revelação revelado nas reivindicações anexas.

Claims (15)

REIVINDICAÇÕES
1. Método para decodificar um sinal de vídeo com base em transformadas múltiplas adaptativas (AMT), o método sendo CARACTERIZADO por compreender: obter um índice AMT a partir do sinal de vídeo, em que o índice AMT indica qualquer uma de uma pluralidade de combinações de transformada dentro de um grupo de configuração de transformada, e o grupo de configuração de transformada inclui a transformada discreta de seno tipo 7 (DST7) e a transformada discreta de cosseno tipo 8 (DCT8); derivar uma combinação de transformadas correspondendo ao índice AMT, em que a combinação de transformadas é configurada com uma transformada horizontal e uma transformada vertical e inclui pelo menos uma dentre a DST-7 ou a DCT-8; realizar uma transformada inversa em um bloco atual com base na combinação de transformadas; e reconstruir o sinal de vídeo usando o bloco atual transformado inversamente, em que a AMT indica um método de transformada executado com base em uma combinação de transformadas selecionada adaptativamente a partir da pluralidade de combinações de transformadas.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o grupo de configuração de transformada é configurado com base em pelo menos um dentre um modo de predição, tamanho de bloco ou formato de bloco do bloco atual.
3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a transformada inversa é aplicada somente quando tanto a largura quanto a altura de uma unidade de transformada são de 32 ou menos.
4. Método, de acordo com a reivindicação 1, CARACTERIZADO por adicionalmente compreender: obter um sinalizador AMT a partir do sinal de vídeo, em que o sinalizador AMT indica se a AMT é executada, e em que o índice AMT é obtido quando uma AMT é executada com base no sinalizador AMT.
5. Método, de acordo com a reivindicação 4, CARACTERIZADO por adicionalmente compreender: verificar se um número do coeficiente de transformada diferente de zero é maior do que um limiar se uma AMT for executada com base no sinalizador AMT, em que o índice AMT é obtido quando o número do coeficiente de transformada diferente de zero é maior do que o limiar.
6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que realizar a transformada inversa compreende aplicar uma transformada inversa da DST-7 ou uma transformada inversa da DCT-8 a cada linha após aplicar a transformada inversa da DST-7 ou a transformada inversa da DCT-8 a cada coluna se a transformada vertical ou a transformada horizontal for a DST-7 ou a DCT-8.
7. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a transformada vertical ou a transformada horizontal é aplicada de maneira diferente a cada linha e/ou cada coluna.
8. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que um sinalizador AMT ou o índice AMT é definido em pelo menos um nível de uma sequência, uma imagem, uma fatia, um bloco, uma unidade de codificação, uma unidade de transformada ou uma unidade de predição.
9. Aparelho para decodificar um sinal de vídeo com base em transformadas múltiplas adaptativas (AMT), o aparelho sendo CARACTERIZADO por compreender: uma unidade de análise configurada para analisar um índice AMT a partir do sinal de vídeo, em que o índice AMT indica qualquer uma de uma pluralidade de combinações de transformada dentro de um grupo de configuração de transformada, e o grupo de configuração de transformada inclui a transformada discreta de seno tipo 7 (DST7) e a transformada discreta de cosseno tipo 8 (DCT8); uma unidade de transformada inversa configurada para derivar uma combinação de transformadas correspondendo ao índice AMT e realizar uma transformada inversa em um bloco atual com base na combinação de transformadas; e uma unidade de reconstrução configurada para reconstruir o sinal de vídeo usando o bloco atual transformado inversamente, em que a AMT indica um método de transformada executado com base em uma combinação de transformadas selecionada adaptativamente a partir da pluralidade de combinações de transformadas, e em que a combinação de transformadas é configurada com uma transformada horizontal e uma transformada vertical e inclui pelo menos uma dentre a DST-7 ou a DCT-8.
10. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o grupo de configuração de transformada é configurado com base em pelo menos um dentre um modo de predição, tamanho de bloco ou formato de bloco do bloco atual.
11. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a transformada inversa é aplicada somente quando tanto a largura quanto a altura de uma unidade de transformada são de 32 ou menos.
12. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a unidade de análise é configurada para adicionalmente analisar, a partir do sinal de vídeo, um sinalizador AMT indicando se uma AMT é executada, e em que o índice AMT é obtido quando uma AMT é executada com base no sinalizador AMT.
13. Aparelho, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que a unidade de transformada inversa é configurada para adicionalmente verificar se um número do coeficiente de transformada diferente de zero é maior do que um limiar se uma AMT for executada com base no sinalizador AMT, em que o índice AMT é obtido quando o número do coeficiente de transformada diferente de zero é maior do que o limiar.
14. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a unidade de transformada inversa é configurada para aplicar uma transformada inversa da DST-7 ou uma transformada inversa da DCT-8 a cada linha após aplicar a transformada inversa da DST-7 ou a transformada inversa da DCT-8 a cada coluna se a transformada vertical ou a transformada horizontal for a DST-7 ou a DCT-8.
15. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a transformada vertical ou a transformada horizontal é aplicada de maneira diferente a cada linha e/ou cada coluna.
BR112020002317A 2017-08-04 2018-08-06 Método e aparelho para configurar uma transformada para compressão de vídeo BR112020002317A8 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762541103P 2017-08-04 2017-08-04
US62/541,103 2017-08-04
PCT/KR2018/008907 WO2019027302A1 (ko) 2017-08-04 2018-08-06 비디오 압축을 위한 변환을 구성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
BR112020002317A2 true BR112020002317A2 (pt) 2020-09-08
BR112020002317A8 BR112020002317A8 (pt) 2023-01-24

Family

ID=65233487

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112020002317A BR112020002317A8 (pt) 2017-08-04 2018-08-06 Método e aparelho para configurar uma transformada para compressão de vídeo

Country Status (11)

Country Link
US (3) US11277640B2 (pt)
EP (1) EP3661214B1 (pt)
JP (1) JP7446988B2 (pt)
KR (4) KR20240015154A (pt)
CN (1) CN111226442B (pt)
AU (2) AU2018311237B2 (pt)
BR (1) BR112020002317A8 (pt)
CA (3) CA3238672A1 (pt)
MX (1) MX2020001377A (pt)
RU (2) RU2745021C1 (pt)
WO (1) WO2019027302A1 (pt)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4106333A1 (en) * 2016-02-12 2022-12-21 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
FR3071690B1 (fr) * 2017-09-22 2022-09-30 Bcom Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
JP7036123B2 (ja) * 2017-12-05 2022-03-15 株式会社ソシオネクスト 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
KR102553341B1 (ko) * 2018-08-12 2023-07-06 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
US11589075B2 (en) * 2018-10-01 2023-02-21 Lg Electronics Inc. Encoding/decoding method for video signal and device therefor
BR112021013565A2 (pt) * 2019-01-11 2021-09-21 Huawei Technologies Co., Ltd. Codificador, decodificador, meio legível por computador não transitório e método de codificação de vídeo de um bloco de uma imagem
CN113905232A (zh) * 2019-03-09 2022-01-07 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
SG11202113262WA (en) * 2019-05-31 2021-12-30 Interdigital Vc Holdings Inc Transform selection for implicit multiple transform selection
WO2020260313A1 (en) * 2019-06-25 2020-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and methods comprising a coding for intra subpartitions
CN115004704A (zh) * 2019-11-21 2022-09-02 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
GB2593778A (en) * 2020-04-03 2021-10-06 Sony Group Corp Video data encoding and decoding
GB2603559B (en) * 2021-07-22 2023-08-09 Imagination Tech Ltd Coding blocks of pixels
WO2023146358A1 (ko) * 2022-01-27 2023-08-03 세종대학교 산학협력단 영상 부호화/복호화 방법 및 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230140A (ja) * 2002-02-04 2003-08-15 Sony Corp 画像圧縮装置と画像圧縮方法、並びにその画像伸張装置と画像伸張方法
EP2595385A4 (en) * 2010-07-15 2014-06-25 Toshiba Inc Kk IMAGE ENCODING AND DECODING METHOD
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
MX2014004776A (es) * 2011-10-17 2014-07-09 Kt Corp Metodo de transformacion adaptable con base en la prediccion en pantalla y aparato que usa el metodo.
GB2551088B (en) * 2011-10-17 2018-09-19 Kt Corp Method and apparatus for encoding/decoding image
US9319684B2 (en) * 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
CN107005695B (zh) * 2014-11-28 2020-01-07 联发科技股份有限公司 用于视频编码的替代变换的方法及装置
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
ES2739668B1 (es) * 2016-03-28 2021-12-03 Kt Corp Metodo y aparato para procesar senales de video
CN113411579B (zh) * 2016-05-13 2024-01-23 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
KR20230066148A (ko) * 2016-07-14 2023-05-12 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
EP3586511B1 (en) * 2017-03-16 2022-01-05 MediaTek Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
WO2019004749A1 (ko) * 2017-06-28 2019-01-03 엘지전자 주식회사 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
US11589066B2 (en) * 2017-07-04 2023-02-21 Samsung Electronics Co., Ltd. Video decoding method and apparatus using multi-core transform, and video encoding method and apparatus using multi-core transform
US11303928B2 (en) * 2017-09-28 2022-04-12 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
US11665367B2 (en) * 2018-03-30 2023-05-30 Sony Corporation Image processing apparatus and method
CN111758261B (zh) * 2018-09-02 2022-06-10 Lg电子株式会社 用于处理图像信号的方法和设备
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
EP3949407A4 (en) * 2019-04-16 2023-04-12 HFI Innovation Inc. METHODS AND APPARATUS FOR ENCODING VIDEO DATA WITH ADAPTIVE SECONDARY TRANSFORMATION SIGNALING DEPENDING ON THE TB-PLANE SYNTAX
WO2020228671A1 (en) * 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
KR20200144511A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 2차 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
MX2021016152A (es) * 2019-06-19 2022-02-22 Lg Electronics Inc Se?alizacion de informacion que indica el conjunto de nucleo de transformacion en codificacion de imagen.

Also Published As

Publication number Publication date
CA3073674A1 (en) 2019-02-07
KR20220048044A (ko) 2022-04-19
KR20240015154A (ko) 2024-02-02
CA3238672A1 (en) 2019-02-07
KR102629234B1 (ko) 2024-01-24
JP7446988B2 (ja) 2024-03-11
EP3661214B1 (en) 2022-07-20
RU2769944C1 (ru) 2022-04-11
AU2018311237A1 (en) 2020-03-05
US11277640B2 (en) 2022-03-15
RU2745021C1 (ru) 2021-03-18
US11825119B2 (en) 2023-11-21
KR102385399B1 (ko) 2022-04-11
MX2020001377A (es) 2020-03-09
AU2021258067B2 (en) 2023-02-16
KR20200023480A (ko) 2020-03-04
KR102447500B1 (ko) 2022-09-23
US20240056607A1 (en) 2024-02-15
BR112020002317A8 (pt) 2023-01-24
JP2020529782A (ja) 2020-10-08
EP3661214A1 (en) 2020-06-03
EP3661214A4 (en) 2020-06-03
CN111226442B (zh) 2022-06-21
US20220167018A1 (en) 2022-05-26
KR20220132065A (ko) 2022-09-29
WO2019027302A1 (ko) 2019-02-07
US20200177921A1 (en) 2020-06-04
CA3073674C (en) 2022-11-29
AU2021258067A1 (en) 2021-11-25
CA3175176A1 (en) 2019-02-07
AU2018311237B2 (en) 2021-07-29
CN111226442A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
BR112020002317A2 (pt) método e aparelho para configurar uma transformada para compressão de vídeo
KR102504694B1 (ko) 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2019194504A1 (ko) 축소된 2차 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
JP2024050763A (ja) ビデオ信号の符号化/復号方法及びそのための装置
US11870982B2 (en) Method and apparatus for processing image signal
KR102342870B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11689744B2 (en) Methods and apparatuses for processing video signal
US20240114159A1 (en) Image encoding/decoding method and device therefor
WO2019194503A1 (ko) 분할된 블록에 2차 변환을 적용하여 비디오 신호를 처리하는 방법 및 장치
RU2795258C1 (ru) Способ и устройство для конфигурирования преобразования для сжатия видео
KR102664785B1 (ko) 비디오 신호를 처리하기 위한 방법 및 장치

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: H04N 19/625 , H04N 19/61 , H04N 19/176 , H04N 19/70

Ipc: H04N 19/625 (2014.01), H04N 19/61 (2014.01)