BR112019012707A2 - aparelho e método de processamento de imagem. - Google Patents

aparelho e método de processamento de imagem. Download PDF

Info

Publication number
BR112019012707A2
BR112019012707A2 BR112019012707-0A BR112019012707A BR112019012707A2 BR 112019012707 A2 BR112019012707 A2 BR 112019012707A2 BR 112019012707 A BR112019012707 A BR 112019012707A BR 112019012707 A2 BR112019012707 A2 BR 112019012707A2
Authority
BR
Brazil
Prior art keywords
transform
flag
chrominance
primary
case
Prior art date
Application number
BR112019012707-0A
Other languages
English (en)
Inventor
Tsukuba Takeshi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of BR112019012707A2 publication Critical patent/BR112019012707A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

a presente descrição refere-se a um aparelho de processamento de imagem e a um método que pode refrear uma diminuição na eficiência de codificação. de acordo com a presente invenção, a transformada ortogonal inversa de uma diferença de cor é realizada usando informações sobre a transformada ortogonal inversa da diferença de cor derivada com base nas informações sobre a transformada ortogonal inversa da luminância. por exemplo, informações sobre transformada ortogonal incluem um sinalizador de transformada primária adaptativa indicando se deve-se aplicar transformada primária adaptativa na qual qualquer uma de uma pluralidade de diferentes transformações ortogonais é adaptativamente selecionada e usada como transformada primária em um bloco de transformada a ser processado. a presente invenção pode ser aplicada a, por exemplo, um aparelho de processamento de imagem, um aparelho de codificação de imagem, um aparelho de decodificação de imagem ou similares.

Description

APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM Campo Técnico [001] A presente descrição refere-se a um aparelho e método de processamento de imagem, e particularmente a um aparelho e método de processamento de imagem que pode refrear a deterioração na eficiência de codificação.
Fundamentos da Técnica [002] Na técnica relacionada, é descrita uma transformada primária adaptativa (Transformadas de Múltiplos Núcleos Adaptativa ou AMT) para selecionar de forma adaptativa uma transformada primária de uma pluralidade de diferentes transformadas ortogonais para cada uma de uma transformada primária em uma direção horizontal PThor (que também é chamada de transformada horizontal primária) e uma transformada primária em uma direção vertical PTver (que também é chamada de transformada vertical primária) de cada unidade de transformada (TU) para luminância (por exemplo, consultar Literatura Não Patente 1).
Lista de Citação Literatura não Patente [003] Literatura não Patente 1: Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, and Jill Boyce, “Algorithm Description of Joint Exploration Test Model 4” JVET-D1001_v3, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting at Chengdu, China, October 15 th to 21st, 2016
Descrição da Invenção
Problema Técnico [004] No entanto, na Literatura Não Patente 1, embora a transformada primária adaptativa possa ser aplicada apenas à luminância (Y), ela não é aplicada às crominâncias (Cb e Cr). Assim, há preocupação de que a eficiência de codificação da transformada primária para as crominâncias se
Petição 870190056776, de 19/06/2019, pág. 10/305
2/215 deteriore mais em comparação com a para luminância.
[005] A presente descrição leva em consideração as circunstâncias acima e visa refrear a deterioração na eficiência de codificação.
Solução para o Problema [006] Um aparelho de processamento de imagem de um primeiro aspecto da presente tecnologia é um aparelho de processamento de imagem incluindo: uma unidade de transformada ortogonal inversa configurada para realizar uma transformada ortogonal inversa de crominância usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
[007] As informações referentes à transformada ortogonal inversa podem incluir um sinalizador de transformada primária adaptativa indicando se uma transformada primária inversa adaptativa de selecionar adaptativamente uma de uma pluralidade de transformadas ortogonais inversas diferentes e usar a transformada selecionada como uma transformada primária inversa deve ser aplicada.
[008] Um valor do sinalizador de transformada primária adaptativa de crominância pode ser definido como um valor do sinalizador de transformada primária adaptativa de luminância.
[009] As informações referentes à transformada ortogonal inversa podem incluir um identificador de transformada primária indicando que a transformada primária inversa deve ser aplicada a transformadas primárias inversas em uma direção vertical e em uma direção horizontal.
[0010] Um valor do identificador de transformada primária de crominância pode ser definido como um valor do identificador de transformada primária de luminância em um caso no qual o sinalizador de transformada primária adaptativa de crominância é verdadeiro, e pode ser definido como um valor predeterminado em um caso em que o sinalizador de
Petição 870190056776, de 19/06/2019, pág. 11/305
3/215 transformada primária adaptativa de crominância é falso.
[0011] A unidade de transformada ortogonal inversa pode realizar a transformada primária inversa como a transformada ortogonal inversa.
[0012] A unidade de transformada ortogonal inversa pode realizar uma transformada horizontal primária inversa que é a transformada primária inversa na direção horizontal e uma transformada vertical primária inversa que é a transformada primária inversa na direção vertical como a transformada ortogonal inversa.
[0013] Um valor do sinalizador de transformada primária adaptativa de crominância pode ser definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição.
[0014] Um valor do sinalizador de transformada primária adaptativa de crominância pode ser definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou um caso em que o tipo de predição é intrapredição do qual um modo de predição é cópia intrabloco.
[0015] Um valor do sinalizador de transformada primária adaptativa de crominância pode ser definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou um caso em que o tipo de predição é intrapredição em que modos de predição para luminância e crominância correspondem um ao outro.
[0016] Um valor do sinalizador de transformada primária adaptativa de crominância pode ser definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um
Petição 870190056776, de 19/06/2019, pág. 12/305
4/215 sinalizador de inferência de informações de transformada primária adaptativa de crominância indicando se o sinalizador de transformada primária adaptativa de crominância deve ser inferido com base no sinalizador de transformada primária adaptativa da luminância é verdadeiro.
[0017] Um valor do sinalizador de transformada primária adaptativa de crominância pode ser definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tamanho de um lado curto de um bloco de transformadas a ser processado de crominância é maior que ou igual a um valor limite predeterminado.
[0018] A unidade de transformada ortogonal inversa pode ser configurada para realizar uma transformada horizontal primária inversa que é uma transformada primária inversa em uma direção horizontal e uma transformada vertical primária inversa que é uma transformada primária inversa em uma direção vertical como a transformada ortogonal inversa, um tipo de transformada da transformada horizontal primária inversa pode ser definida com base em um conjunto de transformadas horizontais e um sinalizador de especificação de transformada horizontal primária em um caso em que um tamanho de uma largura de gravura de um bloco de transformadas a ser processado de crominância é maior que um valor limite predeterminado, e um tipo de transformada da transformada vertical primária inversa pode ser definida com base em um conjunto de transformadas verticais e um sinalizador de especificação de transformada vertical primária em um caso em que um tamanho de uma altura de gravura do bloco de transformadas a ser processado de crominância é maior que um valor limite predeterminado.
[0019] As informações referentes à transformada ortogonal inversa podem incluir um sinalizador de salto de transformada indicando se um processo de transformada ortogonal inversa deve ser saltado.
[0020] Um valor do sinalizador de salto de transformada de crominância pode ser definido como um valor do sinalizador de salto de
Petição 870190056776, de 19/06/2019, pág. 13/305
5/215 transformada de luminância.
[0021] As informações referentes à transformada ortogonal inversa podem incluir um identificador de transformada secundária indicando qual transformada secundária inversa deve ser aplicada.
[0022] Um valor do identificador de transformada secundária de crominância pode ser definido como um valor do identificador de transformada secundária de luminância.
[0023] Um método de processamento de imagem do primeiro aspecto da presente tecnologia é um método de processamento de imagem incluindo: realizar uma transformada ortogonal inversa de crominância usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
[0024] Um aparelho de processamento de imagem de um segundo aspecto da presente tecnologia é um aparelho de processamento de imagem incluindo: uma unidade de transformada ortogonal configurada para realizar uma transformada ortogonal de crominância usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
[0025] Um método de processamento de imagem do segundo aspecto da presente tecnologia é um método de processamento de imagem incluindo: realizar uma transformada ortogonal de crominância usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
[0026] No aparelho e método de processamento de imagem do primeiro aspecto da presente tecnologia, uma transformada ortogonal inversa de crominância é realizada usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
Petição 870190056776, de 19/06/2019, pág. 14/305
6/215 [0027] No aparelho e método de processamento de imagem do segundo aspecto da presente tecnologia, uma transformada ortogonal de crominância é realizada usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
Efeitos Vantajosos da Invenção [0028] De acordo com a presente descrição, as imagens podem ser processadas. Particularmente, a deterioração na eficiência de codificação pode ser refreada.
Breve Descrição dos Desenhos [0029] [FIG. 1] A FIG. 1 é um diagrama que ilustra uma relação de correspondência entre conjuntos de transformadas e transformadas ortogonais selecionadas.
[0030] [FIG. 2] A FIG. 2 é um diagrama que ilustra uma relação de correspondência entre tipos de transformada ortogonal e funções a serem usadas.
[0031] [FIG. 3] A FIG. 3 é um diagrama que ilustra uma relação de correspondência entre conjuntos de transformadas e modos de predição.
[0032] [FIG. 4] A FIG. 4 é um diagrama que ilustra um exemplo de sintaxe e semântica de uma unidade de transformada.
[0033] [FIG. 5] A FIG. 5 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0034] [FIG. 6] A FIG. 6 é um diagrama que ilustra exemplos de parâmetros de crominância derivados usando valores de luminância.
[0035] [FIG. 7] A FIG. 7 é um diagrama que ilustra um exemplo de um método de derivação de sinalizadores de transformada primária adaptativa de crominância.
[0036] [FIG. 8] A FIG. 8 é um diagrama que ilustra formatos de uma CU, uma PU e uma TU.
Petição 870190056776, de 19/06/2019, pág. 15/305
7/215 [0037] [FIG. 9] A FIG. 9 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem.
[0038] [FIG. 10] A FIG. 10 é um diagrama de blocos que ilustra um exemplo da configuração principal de uma unidade de transformada inversa.
[0039] [FIG. 11] A FIG. 11 é um diagrama de blocos que ilustra um exemplo da configuração principal de uma unidade de derivação de informações de transformada primária adaptativa de crominância.
[0040] [FIG. 12] A FIG. 12 é um fluxograma que descreve um exemplo do fluxo de um processo de decodificação de imagem.
[0041] [FIG. 13] A FIG. 13 é um fluxograma que descreve um exemplo do fluxo de um processo de decodificação de informações de transformada primária.
[0042] [FIG. 14] A FIG. 14 é um fluxograma que descreve um exemplo do fluxo de um processo de transformada inversa.
[0043] [FIG. 15] A FIG. 15 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de informações de transformada primária adaptativa de crominância.
[0044] [FIG. 16] A FIG. 16 é um fluxograma que descreve um exemplo do fluxo de um processo de seleção de transformada primária inversa.
[0045] [FIG. 17] A FIG. 17 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de informações de transformada primária adaptativa de crominância.
[0046] [FIG. 18] A FIG. 18 é um fluxograma que descreveum exemplo do fluxo de um processo de derivação de informaçõesde transformada primária adaptativa de crominância.
[0047] [FIG. 19] A FIG. 19 é um fluxograma que descreveum exemplo do fluxo de um processo de derivação de informaçõesde
Petição 870190056776, de 19/06/2019, pág. 16/305
8/215 transformada primária adaptativa de crominância.
[0048] [FIG. 20] A FIG. 20 é um diagrama que ilustra um exemplo de sintaxe e semântica de uma unidade de transformada.
[0049] [FIG. 21] A FIG. 21 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0050] [FIG. 22] A FIG. 22 é um fluxograma que descreve um exemplo do fluxo de um processo de decodificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância.
[0051] [FIG. 23] A FIG. 23 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de informações de transformada primária adaptativa de crominância.
[0052] [FIG. 24] A FIG. 24 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de informações de transformada primária adaptativa de crominância.
[0053] [FIG. 25] A FIG. 25 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de tipo de transformada horizontal primária.
[0054] [FIG. 26] A FIG. 26 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de tipo de transformada vertical primária.
[0055] [FIG. 27] A FIG. 27 é um diagrama que ilustra um exemplo de um método de derivação para um sinalizador de salto de transformada de uma crominância.
[0056] [FIG. 28] A FIG. 28 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0057] [FIG. 29] A FIG. 29 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de sinalizador de salto de transformada.
Petição 870190056776, de 19/06/2019, pág. 17/305
9/215 [0058] [FIG. 30] A FIG. 30 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0059] [FIG. 31] A FIG. 31 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de sinalizador de salto de transformada.
[0060] [FIG. 32] A FIG. 32 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0061] [FIG. 33] A FIG. 33 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de sinalizador de salto de transformada.
[0062] [FIG. 34] A FIG. 34 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0063] [FIG. 35] A FIG. 35 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de sinalizador de salto de transformada.
[0064] [FIG. 36] A FIG. 36 é um diagrama que ilustra um exemplo de sintaxe e semântica de uma unidade de transformada.
[0065] [FIG. 37] A FIG. 37 é um diagrama que ilustra um exemplo de sintaxe de residual_coding.
[0066] [FIG. 38] A FIG. 38 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de sinalizador de salto de transformada.
[0067] [FIG. 39] A FIG. 39 é um diagrama que ilustra um exemplo de um método de derivação de identificador de transformada secundária de uma crominância.
[0068] [FIG. 40] A FIG. 40 é um diagrama que ilustra um exemplo de sintaxe de uma unidade de transformada.
[0069] [FIG. 41] A FIG. 41 é um diagrama que ilustra um exemplo de sintaxe de uma unidade de transformada.
Petição 870190056776, de 19/06/2019, pág. 18/305
10/215 [0070] [FIG. 42] A FIG. 42 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de identificador de transformada secundária.
[0071] [FIG. 43] A FIG. 43 é um diagrama que ilustra um exemplo de sintaxe de uma unidade de transformada.
[0072] [FIG. 44] A FIG. 44 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de identificador de transformada secundária.
[0073] [FIG. 45] A FIG. 45 é um diagrama que ilustra um exemplo de sintaxe de uma unidade de transformada.
[0074] [FIG. 46] A FIG. 46 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de identificador de transformada secundária.
[0075] [FIG. 47] A FIG. 47 é um diagrama que ilustra um exemplo de sintaxe de uma unidade de transformada.
[0076] [FIG. 48] A FIG. 48 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de identificador de transformada secundária.
[0077] [FIG. 49] A FIG. 49 é um diagrama que ilustra um exemplo de sintaxe de uma unidade de transformada.
[0078] [FIG. 50] A FIG. 50 é um fluxograma que descreve um exemplo do fluxo de um processo de derivação de identificador de transformada secundária.
[0079] [FIG. 51] A FIG. 51 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem. [0080] [FIG. 52] A FIG. 52 é um diagrama de blocos que ilustra um exemplo da configuração principal de uma unidade de transformada.
[0081] [FIG. 53] A FIG. 53 é um diagrama de blocos que ilustra um exemplo da configuração principal de uma unidade de derivação de
Petição 870190056776, de 19/06/2019, pág. 19/305
11/215 informações de transformada primária adaptativa de crominância.
[0082] [FIG. 54] A FIG. 54 é um fluxograma que descreve um exemplo do fluxo de um processo de decodificação de imagem.
[0083] [FIG. 55] A FIG. 55 é um fluxograma que descreve um exemplo do fluxo de um processo de transformada.
[0084] [FIG. 56] A FIG. 56 é um fluxograma que descreve um exemplo do fluxo de um processo de seleção de transformada primária.
[0085] [FIG. 57] A FIG. 57 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de informações de transformada primária.
[0086] [FIG. 58] A FIG. 58 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância.
[0087] [FIG. 59] A FIG. 59 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de sinalizador de salto de transformada.
[0088] [FIG. 60] A FIG. 60 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de sinalizador de salto de transformada.
[0089] [FIG. 61] A FIG. 61 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de sinalizador de salto de transformada.
[0090] [FIG. 62] A FIG. 62 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de sinalizador de salto de transformada.
[0091] [FIG. 63] A FIG. 63 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de sinalizador de salto de transformada.
[0092] [FIG. 64] A FIG. 64 é um fluxograma que descreve um
Petição 870190056776, de 19/06/2019, pág. 20/305
12/215 exemplo do fluxo de um processo de codificação de identificador de transformada secundária.
[0093] [FIG. 65] A FIG. 65 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de identificador de transformada secundária.
[0094] [FIG. 66] A FIG. 66 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de identificador de transformada secundária.
[0095] [FIG. 67] A FIG. 67 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de identificador de transformada secundária.
[0096] [FIG. 68] A FIG. 68 é um fluxograma que descreve um exemplo do fluxo de um processo de codificação de identificador de transformada secundária.
[0097] [FIG. 69] A FIG. 69 é um diagrama de blocos que ilustra um exemplo de configuração principal de um computador.
[0098] [FIG. 70] A FIG. 70 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um aparelho de televisão.
[0099] [FIG. 71] A FIG. 71 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um telefone celular.
[00100] [FIG. 72] A FIG. 72 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um aparelho de gravação/reprodução.
[00101] [FIG. 73] A FIG. 73 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um aparelho de formação de imagem.
[00102] [FIG. 74] A FIG. 74 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um conjunto de vídeo.
[00103] [FIG. 75] A FIG. 75 é um diagrama de blocos que ilustra um
Petição 870190056776, de 19/06/2019, pág. 21/305
13/215 exemplo de uma configuração esquemática de um processador de vídeo.
[00104] [FIG. 76] A FIG. 76 é um diagrama de blocos que ilustra um outro exemplo de uma configuração esquemática de um processador de vídeo. [00105] [FIG. 77] A FIG. 77 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um sistema de rede.
Modo(s) para Realizar a Invenção [00106] Modalidades exemplificativas para implementar a presente descrição (que serão chamadas de modalidades abaixo) serão descritas abaixo. Observe que a descrição será provida na seguinte ordem.
[00107] 1. Transformada ortogonal de crominância
2. Primeira modalidade (aparelho de decodificação de imagem, apt_flag, e pt_idx)
3. Segunda modalidade (aparelho de decodificação de imagem e ts_flag)
4. Terceira modalidade (aparelho de decodificação de imagem e st_idx)
5. Quarta modalidade (aparelho de codificação de imagem, apt_flag, e pt_idx)
6. Quinta modalidade (aparelho de codificação de imagem e ts_flag)
7. Sexta modalidade (aparelho de codificação de imagem e st_idx)
8. Outros <1. Transformada ortogonal de crominância>
<Transformada primária>
[00108] No modelo de teste descrito na Eiteratura Não Patente 1 (Modelo de Teste de Exploração Conjunta 4 (JEM 4)), com a finalidade de melhorar a eficiência de codificação de uma imagem 4K de alta resolução ou similar, o tamanho máximo de uma unidade de árvore de codificação (CTU) é
Petição 870190056776, de 19/06/2019, pág. 22/305
14/215 expandido de 128 x 128 para 256 x 256. Além disso, como uma estrutura de divisão de blocos, além da divisão de quadtree da técnica relacionada, foram introduzidas árvores binárias nas direções horizontal/vertical e, consequentemente, blocos de transformadas retangulares também foram introduzidos além dos blocos de transformadas quadradas.
[00109] Além disso, no JEM 4, é descrita uma transformada primária adaptativa (Transformadas de Múltiplos Núcleos Adaptativa (AMT)) para selecionar de forma adaptativa uma transformada primária de uma pluralidade de diferentes transformadas ortogonais para cada transformada primária em uma direção horizontal PThor (que também é chamada de transformada horizontal primária) e uma transformada primária PTver em uma direção vertical (que também é chamada de transformada vertical primária) de cada bloco de transformadas para luminância.
[00110] Mais especificamente, em um caso em que um sinalizador de transformada primária adaptativa apt_flag (que também é chamado de amt_flag, cu_pt_flag ou emt_flag) indicando se uma transformada primária adaptativa para luminância deve ou não ser executada na unidade de um bloco de transformadas de luminância (que também é chamado de bloco de transformadas de luminância) é 0 (falso), uma transformada discreta de cosseno (DCT)-II ou uma transformada discreta de seno (DST)-VII é (unicamente) decidida usando informações de modo como uma transformada ortogonal aplicadas a uma transformada primária horizontal e a uma transformada primária vertical.
[00111] Por outro lado, em um caso em que, por exemplo, um sinalizador de transformada primária adaptativa apt_flag de luminância é 1 (verdadeiro) como na tabela (LUT_TrSetToTrTypIdx) ilustrada na FIG. 1, um conjunto de transformadas TrSet incluindo transformadas ortogonais servindo como candidatas para a transformada primária em cada uma da direção horizontal (direção x) e da direção vertical (direção y) é selecionado de quatro
Petição 870190056776, de 19/06/2019, pág. 23/305
15/215 candidatos (Id do Conjunto de Transformadas = 0 a 3). A DST-VII, o DCTVIII e similares ilustradas na FIG. 1 indicam tipos de transformada ortogonal, e cada uma das funções mostradas na tabela da FIG. 2 é usada para elas.
[00112] Deve-se observar que, na tabela da FIG. 2, identificadores correspondentes às transformadas ortogonais dos respectivos tipos (identificador de tipo de transformada TrTypeldx) são definidos. Por exemplo, se um tipo de transformada ortogonal (Tipo de Transformada) for DCT-II, 0 será alocado como um valor do identificador de tipo de transformada TrTypeldx.
[00113] A seleção (decisão) de um conjunto de transformadas TransformSet varia dependendo de um tipo de predição de uma unidade de codificação (CU; que também é chamada de unidade de codificação) à qual pertence um bloco de transformadas a ser processado. Por exemplo, se o tipo de predição é intrapredição, a seleção é feita com base no modo de intrapredição (IntraPredMode) como ilustrado na tabela da FIG. 3 (LUT_IntraModeToTrSet). Por exemplo, a seleção é feita para definir um identificador de conjunto de transformadas TrSetldx para designar um conjunto de transformadas TrSet correspondente a um conjunto de transformadas (TrSetH ou TrSetV) de cada direção, conforme ilustrado nas seguintes fórmulas (1) e (2).
[00114] TrSetH = LUTJntraModeToTrSet [ IntraPredMode ] [ H (=0) ]···(!) [00115] TrSetV = LUTJntraModeToTrSet [ IntraPredMode ] [ V (= 1) ] ..· (2) [00116] Aqui, TrSetH representa um conjunto de transformadas de uma transformada horizontal primária PThor (também chamado de conjunto de transformadas horizontais primárias), e TrSetV representa um conjunto de transformadas de uma transformada vertical principal PTver (também chamado de conjunto de transformadas verticais primárias). Além disso, uma
Petição 870190056776, de 19/06/2019, pág. 24/305
16/215 tabela de pesquisa LUT_IntraModeToTrSet representa a tabela de correspondência da FIG. 3. A primeira matriz da tabela de pesquisa LUT_IntraModeToTrSet[][] tem um modo de intrapredição IntraPredMode como argumento e a segunda matriz tem {H=0, V= I} como argumento.
[00117] Em um caso do modo de intrapredição número 18 (IntraPredMode == 18), o conjunto de transformadas do identificador do conjunto de transformadas TrSetIdx=2 indicado na tabela (LUT_TrSetToTrTypeIdx) da FIG. 1 é selecionado como um conjunto de transformadas horizontais primárias TrSetH, e o conjunto de transformadas do identificador de conjunto de transformadas TrSetIdx=O indicado na tabela da FIG. 1 é selecionado como um conjunto de transformadas verticais primárias TrSetV.
[00118] Se o tipo de predição for interpredição, um identificador de conjunto de transformadas TrSetldx para designar um conjunto de transformadas TrSet para interpredição (=InterTrSetIdx) é definido para os conjuntos de transformadas em cada uma das direções (TrSetH e TrSetV) como nas seguintes fórmulas (3) e (4). Por exemplo, o valor de InterTrSet é 3 no caso da tabela da FIG. 1.
[00119] TrSetH = InterTrSetldx ... (3) [00120] TrSetV = InterTrSetldx ... (4) [00121] Além disso, qual transformada ortogonal no conjunto de transformadas selecionado TrSet deve ser aplicada à transformada horizontal primária é selecionada usando um sinalizador de especificação de transformada horizontal primária pt_hor_flag. Além disso, qual transformada ortogonal no conjunto de transformadas selecionado TrSet deve ser aplicada à transformada vertical primária é selecionada usando um sinalizador de especificação de transformada vertical primária pt_ver_flag. Por exemplo, estas são derivadas da tabela de definição dos conjuntos de transformadas (EUT_TrSetToTrTypeIdx) ilustrados na FIG. 1 usando o conjunto de
Petição 870190056776, de 19/06/2019, pág. 25/305
17/215 transformadas primárias {horizontal, vertical} TrSet {Η, V} e o sinalizador de especificação de transformada {horizontal, vertical} primária pt_ {hor, ver} _flag como argumentos, conforme ilustrado nas seguintes fórmulas (5) e (6).
[00122] TrTypeldxH = LUT.TrSetToTrTypeldx [ TrSetH ][ pt_hor_flag ] ... (5) [00123] TrTypeldx V = LUT.TrSetToTrTypeldx [ TrSetV ][ pt_ver_flag ] ... (6) [00124] No caso de um modo de intrapredição número18 (IntraPredMode==l8), uma vez que o valor do identificador de conjunto de transformadas TrSetldx do conjunto de transformadas horizontais primárias TrSetH tem base na tabela da FIG. 3, uma transformada ortogonal a ser aplicada à transformada horizontal primária é selecionada (designada) do conjunto de transformadas com o identificador de conjunto de transformadas TrSetIdx==2 na tabela de definição de conjunto de transformadas LUT_TrSetToTrTypeIdx da FIG. 1. Ou seja, em um caso em que o sinalizador de especificação de transformada horizontal primária pt_hor_flag é 0, o valor “4” do identificador de tipo de transformada TrTypeldx indicando DST-VII é definido para o identificador de tipo de transformada horizontal TrTypeldxH designando o tipo de transformada ortogonal da transformada horizontal primária PThor, como ilustrado na FIG. 1, e em um caso em que o sinalizador de especificação de transformada horizontal primária pt_hor_flag é 1, o valor “1” do identificador de tipo de transformada TrTypeldx indicando DCT-V é definido para o identificador de tipo de transformada horizontal TrTypeldxH.
[00125] Deve-se observar que um identificador de transformada primária pt_idx é derivado do sinalizador de especificação de transformada horizontal primária pt_hor_flag e do sinalizador de especificação de transformada vertical primária pt_ver_flag usando a seguinte fórmula (7).
[00126] pt_idx=(pt_ver_flag « l)+pt_hor_flag ... (7)
Petição 870190056776, de 19/06/2019, pág. 26/305
18/215 [00127] Ou seja, o bit superior 1 do identificador de transformada primária pt_idx corresponde ao sinalizador de especificação de transformada vertical principal e o bit inferior 1 corresponde ao valor do sinalizador de especificação de transformada horizontal principal. A codificação é executada aplicando a codificação aritmética a uma cadeia bin do identificador de transformada primária derivado pt_idx e gerando uma cadeia de bits. Observe que o bit superior 1 do pt_idx pode ser definido como o sinalizador de especificação de transformada horizontal primária e o bit inferior 1 pode ser definido como o sinalizador de especificação de transformada vertical primária.
[00128] Por outro lado, uma transformada primária adaptativa não é aplicada para transformar blocos de crominância (Cb e Cr), e a DCT-II é selecionada todas as vezes como um tipo de transformada ortogonal, tal como a transformada horizontal primária e a transformada vertical primária.
[00129] A da FIG. 4 é um exemplo de uma tabela de sintaxe de uma unidade de transformada TU, e B da FIG. 4 mostra um exemplo de semântica correspondente. Na sintaxe mostrada em A da FIG. 4, o sinalizador de presença de dados residuais cbf [xO] [yO] [compID] (coded_block_flag) mostrado na linha denotada pelo símbolo de referência SYN11 é um sinalizador indicando se há ou não um ou mais coeficientes não nulos em um bloco de transformadas de um sinal de cor designado com um identificador de sinal de cor compID como ilustrado em B da FIG. 4. Em um caso em que o sinalizador é 1 (verdadeiro), indica que há um ou mais coeficientes não nulos no bloco de transformadas correspondente e, em um caso em que o sinalizador é 0 (falso), indica que há nenhum coeficiente não nulo no bloco de transformadas. Deve-se observar que também há um caso em que um sinalizador de presença de dados residuais cbf [xO] [yO] [COMPONENT_Y] para luminância é chamado de cbf_luma (cbf_luma = cbf[x()][yO] [COMPONENT-Y]) por conveniência.
Petição 870190056776, de 19/06/2019, pág. 27/305
19/215 [00130] Além disso, o sinalizador de transformada primária adaptativa habilitado apt_enabled_flag mostrado em A da FIG. 4 é a informação referente à permissão para uma transformada primária adaptativa, como ilustrado em B da FIG. 4. Em um caso em que o valor do sinalizador é 1 (verdadeiro), indica que as informações referentes à transformada primária adaptativa estão presentes nos dados codificados. Além disso, em um caso em que o valor do sinalizador é 0 (falso), indica que nenhuma informação referente à transformada primária adaptativa está presente nos dados codificados.
[00131] Além disso, o sinalizador de transformada primária adaptativa apt_flag do bloco de transformadas de luminância mostrado na linha denotada pelo símbolo de referência SYN12 na sintaxe mostrada em A da FIG. 4 é um sinalizador que indica se a transformada primária adaptativa deve ou não ser aplicada ao bloco de transformadas de luminância, como ilustrado em B da FIG. 4. Em um caso em que o valor do sinalizador é 1 (verdadeiro), a transformada primária adaptativa é aplicada e, em um caso em que o valor do sinalizador é 0 (falso), a transformada primária do aplicativo não é aplicada. Como ilustrado na tabela de sintaxe de A da FIG. 4, no caso em que o sinalizador de presença de dados residuais cbf_lum de luminância é “1” (isto é, verdadeiro) e o sinalizador de transformada primária adaptativa habilitado apt_enabled_flag é “1” (isto é, verdadeiro), o sinalizador de transformada primária adaptativa apt_flag de luminância é codificado (decodificado). Em um caso em que não há apt_flag nos dados codificados, o valor de apt_flag é interpretado como 0.
[00132] Além disso, na sintaxe mostrada em A da FIG. 4, os dados residuais residual_coding () do bloco de transformadas do sinal de cor designado com o identificador de sinal de cor compID mostrado na linha denotada pelo símbolo de referência SYN13 são codificados (decodificados) em um caso em que o sinalizador de presença de dados residuais do sinal de
Petição 870190056776, de 19/06/2019, pág. 28/305
20/215 cor correspondente é 1 (verdadeiro).
[00133] A FIG. 5 ilustra um exemplo de sintaxe de residual_coding. Na tabela de sintaxe mostrada na FIG. 5, o identificador de transformada primária pt_idx para luminância denotado pelo símbolo de referência SYN22 é codificado (decodificado) em um caso em que o sinalizador de transformada primária adaptativa apt_flag de luminância é 1 (verdadeiro), um sinalizador de desvio de quantização de transformada transquant_bypass_flag é 0 (falso), um sinalizador de salto de transformada ts_flag é 0 (falso), e um identificador de sinal de cor compID indica luminância (compID == COMPONENT_Y) e em um caso em que o número total de coeficientes não nulos presentes em um bloco de transformadas numSig é maior que ou igual a um valor limite predeterminado ptNumSigTH e um lado longo do bloco de transformadas (max (log2TBWSize, log2TBHSize)) é igual a ou menor que um valor limite predeterminado maxPTSize, conforme ilustrado na tabela de sintaxe. Em um caso em que não há identificador de transformada primária pt_idx para luminância nos dados codificados, o valor de pt_idx é interpretado como 0.
[00134] Na Eiteratura Não Patente 1, embora a transformada primária adaptativa possa ser aplicada apenas à luminância (Y), ela não é aplicada às crominâncias (Cb e Cr). Assim, há preocupação de que a eficiência de codificação da transformada primária para as crominâncias se deteriore mais em comparação com a para luminância.
[00135] Por outro lado, é concebível codificar explicitamente, por exemplo, um sinalizador de transformada primária adaptativa apt_flag e um identificador de transformada primária pt_idx para cada bloco de transformadas de uma crominância (Cb ou Cr), similarmente à luminância (Y). No entanto, no caso desse método, uma vez que um sinalizador de transformada primária adaptativa apt_flag e um identificador de transformada primária pt_idx para uma crominância são codificados, há preocupação com o aumento da quantidade de código e a deterioração da eficiência da
Petição 870190056776, de 19/06/2019, pág. 29/305
21/215 codificação.
[00136] Deve-se observar que, também nesse caso, no lado da codificação, é necessário determinar um modo para seleção/não seleção de uma transformada primária adaptativa e determinação de um identificador de transformada primária para cada um dos sinais de cor (Y, Cb e Cr), e, portanto, há preocupação com o aumento da quantidade de processamento. Além disso, também no lado de decodificação, o sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx devem ser decodificados para cada um dos sinais de cor (Y, Cb e Cr) e, portanto, há uma preocupação com o aumento da quantidade de processamento.
<Uso do parâmetro de luminância>
[00137] Assim, as informações referentes a uma transformada ortogonal (inversa) para uma crominância são derivadas com base nas informações referentes a uma transformada ortogonal (inversa) para luminância. Ou seja, ao usar as informações referentes à transformada ortogonal (inversa) para uma crominância derivada com base na transformada ortogonal (inversa) para luminância, é realizada a transformada ortogonal (inversa) para uma crominância. Por exemplo, ao usar as informações referentes à transformada ortogonal (inversa) para uma crominância derivada com base na transformada ortogonal (inversa) para luminância, uma unidade de transformada ortogonal (inversa) que realiza a transformada ortogonal (inversa) para uma crominância é provida em um aparelho de processamento de imagem.
[00138] Dessa maneira, é possível omitir a codificação e decodificação das informações referentes à transformada ortogonal (inversa) para uma crominância, e assim um aumento na quantidade de código pode ser refreado, e a deterioração na eficiência de codificação pode ser evitada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
Petição 870190056776, de 19/06/2019, pág. 30/305
22/215
Deve-se observar que, no presente relatório descritivo, uma transformada ortogonal e uma transformada ortogonal inversa são processos inversos uns em relação aos outros, e presume-se que os dados que não foram transformados ortogonalmente podem ser restaurados, por exemplo, realizando uma transformada ortogonal inversa nos dados transformados ortogonalmente. Além disso, embora as informações referentes a uma transformada ortogonal sejam informações a serem usadas na transformada ortogonal, também há um caso em que as informações podem ser usadas na transformada ortogonal inversa. Além disso, embora as informações referentes a uma transformada ortogonal inversa sejam informações a serem usadas na transformada ortogonal inversa, também há um caso em que as informações podem ser usadas na transformada ortogonal. Ou seja, no presente relatório descritivo, há um caso em que as informações referentes a uma transformada ortogonal e as informações referentes à transformada ortogonal inversa se referem às mesmas informações (as informações referentes a ambas as transformadas podem incluir as mesmas informações). O mesmo também se aplica às relações entre uma transformada primária e a transformada primária inversa, e uma transformada secundária e a transformada secundária inversa.
[00139] O conteúdo das informações referentes à transformada ortogonal (inversa) é arbitrário. Por exemplo, como ilustrado na tabela da FIG. 6, as informações podem incluir um sinalizador de transformada primária adaptativa apt_flag indicando se uma transformada primária adaptativa (inversa) a ser usada como uma transformada primária (inversa) por seleção adaptativa de qualquer de uma pluralidade de diferentes transformada ortogonais inversas é aplicada a um bloco de transformadas a ser processado. Além disso, as informações podem também incluir um identificador de transformada primária pt_idx indicando que a transformada primária (inversa) deve ser aplicada a transformadas primárias (inversas) na
Petição 870190056776, de 19/06/2019, pág. 31/305
23/215 direção vertical e na direção horizontal.
[00140] Por exemplo, ao derivar cada um de um sinalizador de transformada adaptativa primária apt_flag[Cb] de uma crominância (Cb) e um sinalizador de transformada adaptativa primária apt_flag[Cr] de uma crominância (Cr) com base em um sinalizador de transformada adaptativa primária apt_flag [Y] de luminância, é possível refrear a deterioração na eficiência de codificação da crominância (Cb/Cr). Além disso, também é possível refrear um aumento na sobrecarga para a quantidade de código. Além disso, por exemplo, ao derivar cada um de um identificador de transformada primária da crominância (Cb) pt_idx[Cb] e um identificador de transformada primária da crominância (Cr) pt_idx[Cr] com base em um identificador de transformada primária de luminância pt_idx[Y], é possível refrear a deterioração na eficiência de codificação da crominância (Cb/Cr). Além disso, também é possível refrear um aumento na sobrecarga para a quantidade de código. Deve-se observar que um identificador de transformada primária de uma crominância pode ser comum para (compartilhado entre) Cb e Cr.
[00141] Uma descrição adicional será provida com referência à tabela da FIG. 7. Na técnica relacionada, uma transformada primária (inversa) adaptativa não é empregada para uma crominância, e um sinalizador de transformada primária adaptativa apt_flag e um identificador de transformada primária pt_idx para a crominância são omitidos todas as vezes, conforme indicado na linha do N° #0. Uma vez que nenhuma transformada primária (inversa) adaptativa é usada em tais casos, há preocupação de deterioração da eficiência de codificação como descrito acima.
[00142] Por outro lado, uma transformada primária (inversa) adaptativa pode ser configurada para ser aplicável à crominância, e adicionalmente um sinalizador de transformada primária adaptativa apt_flag e um identificador de transformada primária pt_idx para a crominância pode ser inferido a partir de um sinalizador de transformada primária adaptativa apt_flag e um
Petição 870190056776, de 19/06/2019, pág. 32/305
24/215 identificador de transformada primária pt_idx para luminância todas as vezes, conforme indicado na linha do N° 1. Por exemplo, um valor de um sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como um valor de um sinalizador de transformada primária adaptativa apt_flag [Y] de luminância. Além disso, por exemplo, em um caso em que o sinalizador de transformada adaptativa primária apt_flag[Cb/Cr] da crominância é verdadeiro, um valor de um identificador de transformada primária pt_idx[Cb/Cr] de uma crominância pode ser definido como um valor de um identificador de transformada primária pt_idx[Y] de luminância, e em um caso em que o sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância é falso, um valor do identificador de transformada primária pt_idx[Cb/Cr] da crominância pode ser definido como um valor predeterminado. Dessa maneira, não apenas uma transformada primária (inversa) adaptativa pode ser aplicada a uma crominância, mas a transmissão (codificação e decodificação) do sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx da crominância também podem ser omitidos, e assim a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
[00143] Além disso, em um caso em que uma transformada primária (inversa) adaptativa é definida como aplicável à crominância também e, além disso, por exemplo, o tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição (CuPredMode == MODE_INTER), o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como o valor do sinalizador de transformada primária adaptativa apt_flag [Y] de luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição, o sinalizador de transformada adaptativa primária apt_flag[Cb/Cr] da crominância pode ser definido como 0 (falso), conforme
Petição 870190056776, de 19/06/2019, pág. 33/305
25/215 indicado na linha do N° 2. Dessa maneira, não apenas a transformada primária (inversa) adaptativa pode ser aplicada à crominância, mas também o sinalizador de transformada primária adaptativa de luminância pode ser usado somente no caso do modo de interpredição no qual tendências de sinais residuais são similares, e assim é possível refrear a deterioração na eficiência de codificação.
[00144] Além disso, em um caso em que a transformada primária (inversa) adaptativa é definida como aplicável à crominância também e, além disso, por exemplo, o tipo de predição do bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como o valor do sinalizador de transformada primária adaptativa apt_flag [Y] de luminância conforme indicado na linha do N° #3, e em um caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o sinalizador de transformada adaptativa primária apt_flag[Cb/Cr] da crominância pode ser definido como 0 (falso). Dessa maneira, não apenas a transformada primária (inversa) adaptativa pode ser aplicada à crominância, mas também o sinalizador de transformada primária adaptativa de luminância pode ser usado somente no caso do modo de predição no qual tendências de sinais residuais são similares, e assim é possível refrear a deterioração na eficiência de codificação.
[00145] Além disso, em um caso em que a transformada primária (inversa) adaptativa é definida como aplicável à crominância também e, além disso, por exemplo, o tipo de predição do bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou intrapredição cujo modo de predição é cópia intrabloco conforme indicado na
Petição 870190056776, de 19/06/2019, pág. 34/305
26/215 linha do N° #4, o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como o valor do sinalizador de transformada primária adaptativa apt_flag [Y] de luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição cujo modo de predição não é cópia intrabloco (IntraBC; também chamado de “compensação de movimento na tela”), o valor do sinalizador de transformada adaptativa primária apt_flag[Cb/Cr] da crominância pode ser definido como 0 (falso). Dessa maneira, não apenas a transformada primária (inversa) adaptativa pode ser aplicada à crominância, mas também o sinalizador de transformada primária adaptativa de luminância pode ser usado somente no caso do modo de predição no qual tendências de sinais residuais são similares, e assim é possível refrear a deterioração na eficiência de codificação.
[00146] Além disso, em um caso em que a transformada primária (inversa) adaptativa é definida como aplicável à crominância também e, adicionalmente, por exemplo, um sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag indicando se o sinalizador de transformada adaptativa primária apt_flag[Cb/Cr] de uma crominância é inferido com base no sinalizador de transformada primária adaptativa apt_flag[Y] de luminância é 1 (verdadeiro) conforme indicado na linha n°5, o sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância pode ser definido como o valor do sinalizador de transformada primária adaptativa apt_flag [Y] de luminância, e em um caso em que o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag é 0 (falso), o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como 0 (falso). Dessa maneira, é possível controlar explicitamente se o valor do sinalizador de transformada primária adaptativa de luminância deve ou não ser usado usando
Petição 870190056776, de 19/06/2019, pág. 35/305
27/215 o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_mfo_mfer_flag. Portanto, é possível fazer com que o valor do sinalizador de transformada primária adaptativa de luminância seja usado apenas em um caso em que efeitos suficientemente grandes possam ser facilmente obtidos e, assim, a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00147] Além disso, em um caso em que a transformada primária (inversa) adaptativa é definida como aplicável à crominância também e, adicionalmente, por exemplo, o tamanho de um lado curto do bloco de transformadas a ser processado é maior que ou igual a um valor limite predeterminado como indicado na linha n°6, o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como o valor do sinalizador de transformada primária adaptativa apt_flag [Y] de luminância, e em um caso em que o tamanho do lado curto do bloco de transformadas é menor que o valor limite, o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser definido como 0 (falso). Dessa maneira, uma vez que é possível não aplicar a transformada primária (inversa) adaptativa a um bloco de transformadas a partir do qual efeitos suficientemente grandes não são obtidos, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada, e é possível evitar uma aumento desnecessário em uma escala de circuito resultante de uma aplicação da transformada primária (inversa) adaptativa a um pequeno bloco de transformadas na medida em que efeitos suficientemente grandes não são obtidos.
[00148] Além disso, a transformada primária (inversa) adaptativa é definida como aplicável à crominância também e, adicionalmente, por exemplo, o tamanho da largura de gravura de um bloco de transformadas com a crominância a ser processado é igual a ou menor que um valor limite predeterminado como indicado na linha n°7, o tipo de transformada da
Petição 870190056776, de 19/06/2019, pág. 36/305
28/215 transformada horizontal primária (inversa) pode ser definido como um tipo de transformada predeterminado, e em um caso em que o tamanho da largura de gravura do bloco de transformadas é maior que o valor limite, o tipo de transformada da transformada horizontal primária (inversa) pode ser definido com base em um conjunto de transformadas horizontais e um sinalizador de especificação de transformada horizontal primária. De modo semelhante, em um caso em que o tamanho da altura de gravura do bloco de transformadas com uma crominância a ser processado é igual a ou menor que um valor limite predeterminado, o tipo de transformada da transformada vertical primária (inversa) pode ser definido como um tipo de transformada predeterminado, e em um caso em que o tamanho da altura de gravura do bloco de transformadas é maior que o valor limite, o tipo de transformada da transformada vertical primária (inversa) pode ser definido com base em um conjunto de transformadas verticais e um sinalizador de especificação de transformada vertical primária. Dessa maneira, é possível não aplicar a transformada primária (inversa) adaptativa ao bloco de transformadas que é estreito na medida em que efeitos suficientemente grandes não são obtidos (a transformada primária (inversa) na direção de largura), e assim a deterioração na eficiência de codificação pode ser ainda mais refreada, e é possível evitar uma aumento desnecessário em uma escala de circuito resultante de uma aplicação da transformada primária (inversa) adaptativa a um bloco de transformadas estreito na medida em que efeitos suficientemente grandes não são obtidos.
[00149] Deve-se observar que também é possível combinar arbitrariamente cada um dos casos descritos acima. Por exemplo, o caso na linha n° 2 pode ser combinado com a linha n° 7, como no caso da linha n° 8. Dessa maneira, os efeitos obtidos em cada um dos casos podem ser exibidos. Além disso, cada um dos casos descritos acima também pode ser combinado com outro caso que não esteja descrito acima. Por exemplo, em um caso em
Petição 870190056776, de 19/06/2019, pág. 37/305
29/215 que o tipo de predição de um bloco de codificação a ser processado é intrapredição no caso da linha n° 2, o sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância pode ser transmitido (sinalizado). Ou seja, a codificação e a decodificação do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância são realizadas nesse caso. Além disso, em um caso em que o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância é 1 (verdadeiro), o identificador de transformada primária adaptativa pt_idx[Cb/Cr] de uma crominância é adicionalmente transmitido (sinalizado). Ou seja, a codificação e a decodificação do identificador de transformada primária adaptativa pt_idx[Cb/Cr] de uma crominância são realizadas nesse caso.
<Formas de CU, PU e TU>
[00150] Formas de uma unidade de codificação (CU), uma unidade de predição (PU) e uma TU que são regiões parciais (unidades de processamento) de uma imagem em movimento em um fluxo de bits (dados codificados) serão descritas aqui. As CUs, PUs e unidades de transformada (TUs) ilustradas na FIG. 8 são CUs, PUs e TUs de uma quad tree mais árvore binária (QTBT) descrita em JVET-C0024, ΈΕ2.1: Quadtree plus binary tree structure integration with JEM tools.” Especificamente, na divisão de blocos para CUs, um bloco pode ser dividido em não apenas quatro (=2x2) subblocos, mas também dois (=1x2 ou 2x1) sub-blocos. Em outras palavras, repetindo recursivamente a divisão de um bloco em quatro ou dois sub-blocos na divisão de bloco para CUs, uma estrutura de árvore em uma forma de árvore quádrupla (Quad-Tree) ou uma forma de árvore binária (Binary-Tree) em uma direção horizontal ou uma direção vertical é consequentemente formada.
[00151] Como resultado, existe a possibilidade de uma CU ter uma forma quadrada bem como uma forma retangular. Por exemplo, em um caso
Petição 870190056776, de 19/06/2019, pág. 38/305
30/215 em que um tamanho de uma unidade de codificação maior (LCU) é 128x128, existe a possibilidade de um tamanho de uma CU (um tamanho em uma direção horizontal w x um tamanho em uma direção vertical h) ser um tamanho de um quadrado como 128x128, 64x64, 32x32, 16x16, 8x8, ou 4x4 bem como um tamanho de um retângulo como 128x64, 128x32, 128x16, 128x8, 128x4, 64x128, 32x128, 16x128, 8x128, 4x128, 64x32, 64x16, 64x8, 64x4, 32x64, 16x64, 8x64, 4x64, 32x16, 32x8, 32x4, 16x32, 8x32, 4x32, 16x8, 16x4, 8x16, 4x16, 8x4, ou 4x8 como ilustrado na FIG. 8. Deve-se observar que uma PU e uma TU têm a mesma possibilidade que uma CU.
[00152] Além disso, uma TU inclui um bloco de transformadas de luminância (Y) e um bloco de transformadas de uma crominância (Cb/Cr). Em um caso em que um formato de cor é 4:2:0 (por exemplo, YUV420), a proporção de um tamanho de gravura de uma crominância para um tamanho de gravura de luminância em relação a uma altura de gravura e uma largura de gravura é 1/2. Assim, se o tamanho de um bloco de transformadas de luminância é 8x4, o tamanho de um bloco de transformadas correspondente de uma crominância é 4x2. Além disso, em um caso em que um formato de cor é 4:2:2 (por exemplo, YUV422), a proporção de um tamanho de gravura de uma crominância para um tamanho de gravura de luminância é 1/2 em relação a uma altura de gravura e 1 em relação a uma largura de gravura. Assim, se o tamanho de um bloco de transformadas de luminância é 8x4, o tamanho de um bloco de transformadas para uma crominância correspondente é 8x2. Além disso, em um caso em que um formato de cor é 4:4:4 (por exemplo, YUV444), a proporção de um tamanho de gravura de uma crominância para um tamanho de gravura de luminância é 1 em relação à altura de gravura e 1 em relação à largura de gravura. Assim, se o tamanho de um bloco de transformadas de luminância é 8x4, o tamanho de um bloco de transformadas de uma crominância correspondente é 8x4.
[00153] Deve-se observar que, com relação às fatias em I, a luminância
Petição 870190056776, de 19/06/2019, pág. 39/305
31/215 (Y) e a crominância (Cb/Cr) podem ser codificadas como CUs diferentes. Uma vez que a luminância e a crominância podem ter estruturas de divisão de CU diferentes, nesse caso, um efeito de melhoria da eficiência de codificação de fatias em I é exibido. Embora a descrição seja provida abaixo, partindo do pressuposto de que as informações de luminância e crominância estão incluídas na mesma CU por razões de conveniência, a invenção não está limitada a isso.
<2. Primeira modalidado <Aparelho de decodificação de imagem>
[00154] A FIG. 9 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho de decodificação de imagem que é um aspecto de um aparelho de processamento de imagem ao qual a presente tecnologia foi aplicada. O aparelho de decodificação de imagem 100 ilustrado na FIG. 9 é um aparelho que decodifica dados codificados obtidos por codificação de um resíduo preditivo de uma imagem e uma imagem preditiva como na AVC ou HEVC. O aparelho de decodificação de imagem 100 implementa, por exemplo, uma tecnologia proposta pela HEVC ou pela Equipe de Exploração de Vídeo Conjunta (JVET).
[00155] Na FIG. 9, o aparelho de decodificação de imagem 100 tem uma unidade de decodificação 111, uma unidade de quantização inversa 112, uma unidade de transformada inversa 113, uma unidade de operação aritmética 114, uma memória de quadro 115 e uma unidade de predição 116. Deve-se observar que a unidade de predição 116 tem uma unidade de intrapredição e uma unidade de interpredição que não são ilustradas. O aparelho de decodificação de imagem 100 é um aparelho para gerar uma imagem em movimento 2 pela decodificação de dados codificados 1 (um fluxo de bits).
[00156] A unidade de decodificação 111 recebe uma entrada dos dados codificados 1 e executa a decodificação de comprimento variável em um
Petição 870190056776, de 19/06/2019, pág. 40/305
32/215 valor de sintaxe de cada um dos elementos de sintaxe de uma cadeia de bits dos dados codificados 1 de acordo com uma decisão de uma tabela de sintaxe. Além disso, cada elemento de sintaxe inclui informações como informações de cabeçalho Hinfo, informações do modo de predição Pinfo, informações de transformada Tinfo e informações residuais Rinfo.
[00157] Informações de cabeçalho Hinfo como VPS/SPS/PPS/cabeçalho de fatia SH incluem informações que definem tamanhos de imagem (uma largura de gravura PicWidth e uma altura de gravura PicHeight), profundidades de bit (luminância bitDepthY e crominância bitDepthC), um valor máximo de um tamanho de CU MaxCUSize/um valor mínimo do mesmo MinCUSize, uma profundidade máxima de divisão de quadtree (também chamada de divisão de árvore quádrupla) MaxQTDepth/uma profundidade mínima da mesma MinQTDepth, uma profundidade máxima de divisão de árvore binária (divisão de árvore binária) MaxBTDepth/uma profundidade mínima da mesma MinBTDepth, um valor máximo de um bloco de salto de transformada MaxTSSize (também chamado de tamanho máximo de bloco de salto de transformada), um sinalizador de ativação/desativação de cada ferramenta de codificação (também chamado de sinalizador habilitado) e similares.
[00158] Como um sinalizador de ativação/desativação de uma ferramenta de codificação incluída nas informações de cabeçalho Hinfo, por exemplo, um sinalizador de ativação/desativação para processos de transformada e quantização que serão introduzidos abaixo. Deve-se observar que o sinalizador de ativação/desativação da ferramenta de codificação também pode ser interpretado como um sinalizador indicando se a sintaxe da ferramenta de codificação está ou não presente nos dados codificados. Além disso, em um caso em que um valor do sinalizador de ativação/desativação é 1 (verdadeiro), indica que a ferramenta de codificação está disponível, e em um caso em que um valor do sinalizador de ativação/desativação é 0 (falso),
Petição 870190056776, de 19/06/2019, pág. 41/305
33/215 indica que a ferramenta de codificação não está disponível. Deve-se observar que a interpretação do valor do sinalizador pode ser revertida.
[00159] Um sinalizador habilitado de transformada primária adaptativa apt_enabled_flag (também chamado de adaptive_primary_transform_enabled_flag, adaptive_pt_enabled_flag, de amt_enabled_flag) é um sinalizador que indica se uma ferramenta de codificação que pode selecionar uma transformada primária adaptativa (também chamada de transformada primária adaptativa) como um processo de transformada e um processo inverso está disponível ou não.
[00160] Um sinalizador habilitado de transformada secundária st_enabled_flag é um sinalizador que indica se uma ferramenta de codificação que realiza uma transformada secundária/uma transformada secundária inversa como um de um processo de transformada e um processo inverso está disponível ou não.
[00161] Um sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é um sinalizador que indica se uma ferramenta de codificação que salta uma transformada e uma quantização/uma quantização inversa e uma transformada inversa como um de uma transformada/quantização e processos inversos está disponível ou não. [00162] Um sinalizador habilitado de sinalizador de salto de transformada ts_enabled_flag é um sinalizador que indica se o salto de transformada bidimensional ou o salto de transformada unidimensional está disponível ou não como um de um processo de transformada e um processo inverso do mesmo. O salto de transformada bidimensional é uma ferramenta de codificação que salta uma transformada ortogonal e um processo inverso (transformada ortogonal inversa) do mesmo, incluindo uma transformada primária e uma transformada secundária. Além disso, o salto de transformada unidimensional é uma ferramenta de codificação que salta uma transformada primária em uma direção horizontal ou vertical e uma transformada inversa
Petição 870190056776, de 19/06/2019, pág. 42/305
34/215 (transformada primária inversa) correspondente à mesma dentre transformadas primárias, e uma transformada secundária e uma transformada secundária inversa da mesma.
[00163] As informações do modo de predição Pinfo incluem adicionalmente um tamanho de PU (um tamanho de bloco de predição) de uma PU a ser processada PUSize, informações de modo de intrapredição IPinfo (por exemplo, prev_mtra_luma_pred_flag, mpm_idx, rem_mtra_pred_mode em 7.3.8.5 Sintaxe de unidade de codificação de JCTVC-W1005, um modo de intrapredição de luminância IntraPredModeY e um modo de intrapredição de crominância IntraPredModeC derivado da sintaxe, etc.), informações de predição de movimento MVinfo (por exemplo, merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1} e mvd com referência a 7.3.8.6 Sintaxe de Unidade de Predição de JCTVCW1005) e similares.
[00164] Além disso, as informações de transformada Tinfo podem incluir a sintaxe de, por exemplo, um tamanho de largura de gravura TB Width e um tamanho de altura de gravura TBHeight de um bloco de transformadas a ser processado, um sinalizador de desvio de quantização de transformada transquant_bypass_flag indicando se os processos de transformada (inversa) e quantização (inversa) devem ser saltados, um sinalizador de salto de transformada ts_flag indicando se o salto de transformada bidimensional deve ou não ser aplicado, um sinalizador de transformada primária adaptativa apt_flag indicando se uma transformada primária adaptativa deve ser aplicada a um bloco de transformadas alvo, um identificador de transformada primária pt_idx indicando qual transformada primária (inversa) deve ser aplicada entre transformadas primárias (inversas) na direção vertical e na direção horizontal, um identificador de transformada secundária st_idx (também chamado de dnsst_idx, nsst_idx ou rot_idx) indicando qual transformada secundária (inversa) deve ser aplicada, um identificador de varredura scanldx, um
Petição 870190056776, de 19/06/2019, pág. 43/305
35/215 parâmetro de quantização qp, uma matriz de quantização scaling_matrix e similares. Deve-se observar que, em vez do tamanho da largura de gravura TBWidth e do tamanho da altura de gravura TBHeight do bloco de transformadas a ser processado, e um valor logarítmico de cada TBWidth e TBHeight tendo 2 como base log2TBWidth (também chamada de log2TBWSize ou log2TBW) ou log2TBHeight (também chamada de log2TBHSize ou log2TBH).
[00165] As informações residuais Rinfo podem incluir, por exemplo, um sinalizador de presença/ausência de dados residuais (cbf (coded_block_flag)), uma última coordenada X de coeficiente não nulo (last_sig_coeff_x_pos), uma última coordenada Y de coeficiente não nulo (last_sig_coeff_y_pos), um sinalizador de presença/ausência de coeficiente não nulo de sub-bloco (coded_sub_block_flag), um sinalizador de presença/ausência de coeficiente não nulo (sig_coeff_flag), um sinalizador indicando se o nível de um coeficiente não nulo é maior que 1 (grl_flag) (também chamado de sinalizador GR1), um sinalizador indicando se o nível de um coeficiente não nulo é maior que 2 (gr2_flag) (também chamado de sinalizador GR2), um sinal indicando a positividade/negatividade de um coeficiente não nulo (sign_flag) (também chamado de um símbolo de sinal), o nível restante de um coeficiente não nulo (coeff_abs_level_remaining) (também chamado de um nível restante de coeficiente não nulo) e similares.
[00166] A unidade de decodificação 111 deriva um nível de nível de coeficiente de transformada quantizado de cada posição de coeficiente em cada bloco de transformadas com referência às informações residuais Rinfo. A unidade de decodificação 111 fornece informações de modo de predição Pinfo, nível de nível de coeficiente de transformada quantizado e informações de transformada Tinfo obtidas da decodificação para cada bloco. Por exemplo, a unidade de decodificação 111 fornece as informações de modo de predição Pinfo para a unidade de transformada inversa 113 e a unidade de
Petição 870190056776, de 19/06/2019, pág. 44/305
36/215 predição 116, o nível de nível de coeficiente de transformada quantizado para unidade de quantização inversa 112, e as informações de transformada Tinfo para a unidade de transformada inversa 113 e a unidade de quantização inversa 112.
[00167] A unidade de quantização inversa 112 recebe uma entrada das informações de transformada Tinfo e o nível de nível de coeficiente de transformada quantizado, realiza dimensionamento (quantização inversa) no valor do nível de nível de coeficiente de transformada quantizado com base nas informações de transformada Tinfo e gera o coeficiente de transformada que passou por quantização inversa Coeff_IQ para a unidade de transformada inversa 113.
[00168] A unidade de transformada inversa 113 recebe uma entrada do coeficiente de transformada Coeff_IQ, das informações de transformada Tinfo e das informações do modo de predição Pinfo, aplica uma transformada inversa no coeficiente de transformada Coeff_IQ com base nas informações de transformada Tinfo, nas informações do modo de predição Pinfo, e similares, deriva um resíduo preditivo D’ e gera o resíduo preditivo para a unidade de operação aritmética 114. Deve-se observar que a transformada inversa é o processo inverso do processo de transformada realizado no lado de codificação ou similar. Por exemplo, uma transformada ortogonal inversa tal como um processo inverso a uma transformada ortogonal realizada em um lado de codificação ou similar é incluída na transformada inversa. Além disso, em um caso em que uma transformada primária ou secundária é realizada como uma transformada ortogonal no lado de codificação, por exemplo, uma transformada primária inversa que é um processo inverso à transformada primária, uma transformada secundária inversa que é um processo inverso à transformada secundária, ou similar é incluída na transformada inversa. Detalhes da unidade de transformada inversa 113 serão descritos abaixo.
[00169] A unidade de operação aritmética 114 recebe uma entrada do
Petição 870190056776, de 19/06/2019, pág. 45/305
37/215 resíduo preditivo D’ e uma imagem preditiva P fornecida a partir da unidade de predição 116, adiciona o resíduo preditivo D’ à imagem preditiva P (sinal preditivo) correspondente ao resíduo preditivo D’ como ilustrado na seguinte fórmula (8), deriva uma imagem decodificada local Rec, e fornece a imagem decodificada local para a memória de quadro 115 ou a parte externa do aparelho de decodificação de imagem 100.
Rec = D’ + P ... (8) [00170] A memória de quadro 115 recebe uma entrada da imagem decodificada local Rec fornecida a partir da unidade de operação aritmética 114, reconstrói uma imagem decodificada em cada unidade de gravura, e depois armazena a imagem decodificada na memória de quadro 115. A memória de quadro 115 lê a imagem decodificada especificada pelas informações do modo de predição Pinfo da unidade de predição 116 como uma imagem de referência do buffer, e fornece a imagem decodificada à unidade de predição 116. Além disso, a memória de quadro 115 pode armazenar as informações de cabeçalho Hinfo, as informações do modo de predição Pinfo, as informações de transformada Tinfo e similares relacionadas com a geração da imagem decodificada no buffer dentro da memória de quadro.
[00171] A unidade de predição 116 recebe uma entrada das informações do modo de predição Pinfo, gera a imagem preditiva P usando, como imagem de referência, a imagem decodificada armazenada na memória de quadro 115 especificada pelas informações do modo de predição Pinfo usando um método de predição especificado pelas informações de modo de predição Pinfo, e envia a imagem preditiva para a unidade de operação aritmética 114.
<Unidade de transformada inversa>
[00172] A FIG. 10 é um diagrama de blocos que ilustra um exemplo da configuração principal da unidade de transformada inversa 113 do aparelho de
Petição 870190056776, de 19/06/2019, pág. 46/305
38/215 decodificação de imagem 100 da FIG. 9. A unidade de transformada inversa 113 inclui um comutador 121, uma unidade de transformada secundária inversa 122 e uma unidade de transformada primária inversa 123 como ilustrado na FIG. 9.
[00173] O comutador 121 recebe um coeficiente de transformada Coeff_IQ e um sinalizador de salto de transformada ts_flag[compID]. Em um caso em que o valor do sinalizador de salto de transformada ts_flag[compID] é NO_TS (=0), isto é, em um caso em que o salto de transformada não é aplicado, o comutador 121 produz o coeficiente de transformada Coeff_IQ para a unidade de transformada secundária inversa 122. Além disso, em um caso em que o valor do sinalizador de salto de transformada ts_flag[compID] é 2D_TS (= I), isto é, em um caso em que o sinalizador indica aplicar salto de transformada bidimensional, o comutador 121 salta a unidade de transformada secundária 122 inversa e a unidade de transformada primária inversa 123, e produz o coeficiente de transformada Coeff_IQ como preditivo residual D’.
[00174] A unidade de transformada secundária inversa 122 realiza um processo relacionado a uma transformada secundária inversa que é o processo inverso para uma transformada secundária que é um processo de transformada predeterminado, por exemplo, uma transformada ortogonal, ou similar. Por exemplo, a unidade de transformada secundária inversa 122 recebe uma entrada de um identificador de transformada secundária st_idx, um identificador de varredura scanldx indicando um método de varredura de um coeficiente de transformada e o coeficiente de transformada Coeff_IQ, deriva um coeficiente de transformada Coeff_IS (também chamado de coeficiente de transformada primária Coeff_P) que passou por uma transformada secundária inversa, e fornece o coeficiente de transformada à unidade de transformada primária inversa 123. Mais especificamente, em um caso em que o identificador de transformada secundária st_idx indica a aplicação da transformada secundária inversa (st_idx>0), a unidade de transformada
Petição 870190056776, de 19/06/2019, pág. 47/305
39/215 secundária inversa 122 executa o processo da transformada secundária inversa correspondente ao identificador de transformada secundária st_idx no coeficiente de transformada Coeff_IQ e produz o coeficiente de transformada Coeff_IS que passou pela transformada secundária inversa. Em um caso em que o identificador de transformada secundária st_idx indica que não se aplica a transformada secundária inversa (st_idx==O), a unidade de transformada secundária inversa 122 salta a transformada secundária inversa e produz o coeficiente de transformada Coeff_IQ como o coeficiente de transformada Coeff_IS que passou pela transformada secundária inversa.
[00175] A unidade de transformada primária inversa 123 realiza um processo relacionado a uma transformada primária inversa que é o processo inverso para uma transformada primária que é um processo de transformada predeterminado, por exemplo, uma transformada ortogonal. Por exemplo, a unidade de transformada primária inversa 123 recebe entradas de um identificador de sinal de cor compID, sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] de luminância, um identificador de transformada primária de luminância pt_idx [COMPONENT_Y], informações de modo de predição PInfo, tamanhos de um bloco de transformadas (um valor logarítmico da largura da gravura log2TBWSize e um valor logarítmico da altura da gravura log2TBHSize), e o coeficiente de transformada Coeff_IS que passou pela transformada secundária inversa. A unidade de transformada primária inversa 123 seleciona o tipo da transformada horizontal primária inversa TrTypeldxH e o tipo da transformada vertical primária inversa TrTypeldxV de um sinal de cor especificado pelo identificador de sinal de cor compID com referência às informações de modo de predição PInfo, ao identificador de sinal de cor compID, ao sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] de luminância, ao identificador de transformada primária de luminância pt_idx [COMPONENT_Y] e identificador de transformada
Petição 870190056776, de 19/06/2019, pág. 48/305
40/215 primária de luminância pt_idx [COMPONENT_Y], realiza uma transformada vertical primária inversa definida pelo tipo de transformada vertical inversa primária TrTypeldxV e a altura da gravura log2TBHSize do bloco de transformadas e a transformada horizontal inversa primária definida pelo tipo de transformada horizontal primária inversa TrTypeldxH e a largura da gravura log2TBWSize do bloco de transformadas no coeficiente de transformada Coeff_IS que passou pela secundária inversa, e, em seguida, deriva e produz o resíduo preditivo D’ que passou pela transformada primária inversa.
<Unidade de transformada primária inversa>
[00176] A unidade de transformada primária inversa 123 tem uma unidade de derivação de informações de transformada primária adaptativa de crominância 131, uma unidade de seleção de transformada primária inversa 132, uma unidade de transformada vertical primária inversa 133 e uma unidade de transformada horizontal primária inversa 134 como ilustrado na FIG. 11.
[00177] A unidade de derivação de informações de transformada primária adaptativa de crominância 131 deriva informações de transformada primária adaptativa de uma crominância (apt_flag[compID] e pt_idx[compID] (compID=COMPONENT_Cb or COMPONENT_Cr)) usando as informações de transformada primária adaptativa (apt_flag [COMPONENT-Y], pt_idx[COMPONENT_Y]) do bloco de transformadas de luminância correspondente ao bloco de transformadas de crominância em um caso em que o identificador de sinal de cor compID indica a crominância (compID==COMPONENT_Cb ou COMPONENT_Cr) e fornece o resultado para a unidade de seleção de transformada primária inversa 132.
<Unidade de derivação de informações de transformada primária adaptativa de crominância>
[00178] A FIG. 11 é um diagrama de blocos de funções que ilustra um
Petição 870190056776, de 19/06/2019, pág. 49/305
41/215 exemplo da configuração principal de funções da unidade de derivação de informações de transformada primária adaptativa de crominância 131. A unidade de derivação de informações de transformada primária adaptativa de crominância 131 tem uma unidade de derivação de apt_flag 151 e uma unidade de derivação de pt_idx 152 como ilustrado na FIG. 11. A unidade de derivação de apt_flag 151 realiza um processo em relação à derivação do sinalizador de transformada primária adaptativa apt_flag de uma crominância. [00179] Por exemplo, a unidade de derivação de apt_flag 151 deriva um sinalizador de transformada primária adaptativa apt_flag[compID] (compID=COMPONET_Cb ou COMPONENT_Cr) em relação a um bloco de transformadas de crominância a ser processado como ilustrado na seguinte fórmula (9) com base em um sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] relacionado a um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância.
[00180] apt_flag[compID] = apt.flag [COMPONENT. Y] [00181] (aqui, compID=COMPONENT.Cb ou COMPONENT.Cr) ...
(9) [00182] Isto é, a unidade de derivação de apt.flag 151 define um valor de um sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância correspondente ao sinalizador de transformada primária adaptativa apt_flag[compID] da crominância (compID=COMPONENT_Cb ou COMPONENT.Cr).
[00183] Deve-se observar que, como um exemplo modificado da fórmula (9), a unidade de derivação de apt.flag 151 pode derivar o sinalizador de transformada primária adaptativa apt_flag[compID] da crominância, conforme ilustrado na fórmula (10) a seguir com referência a um sinalizador de presença de dados residuais cbf.luma de luminância.
[00184] apt.flag [compID] = cbfjuma ? apt.flag [COMPONENT. Y]:
0...(10)
Petição 870190056776, de 19/06/2019, pág. 50/305
42/215 [00185] Isto é, a unidade de derivação de apt_flag 151 define o valor do sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância correspondente ao sinalizador de transformada primária adaptativa apt_flag[compID] da crominância (compID=COMPONENT_Cb ou COMPONENT_Cr) em um caso em que o sinalizador de presença de dados residuais cbf_luma de luminância é 1 (verdadeiro), e define 0 em outros casos (em um caso em que o sinalizador de presença de dados residuais cbf_luma de luminância é 0 (falso)).
[00186] Deve-se observar que, em um caso em que apt_flag[COMPONENT_Y] não está presente nos dados codificados e o valor do sinalizador é definido como 0, não é necessário referir-se ao sinalizador de presença de dados residuais de luminância. No entanto, em um caso em que não há operação de inicialização de apt_flag[COMPONENT_Y] para 0, o valor de apt_flag[COMPONENT-Y] se toma indefinido e, portanto, é desejável controlar se o valor do sinalizador de transformada primária adaptativa apt_flag[ COMPONENT_Y] de luminância deve ser referido ou não, com referência à presença de dados residuais cbf_luma de luminância.
[00187] Além disso, a unidade de derivação de pt_idx 152 realiza um processo em relação à derivação de um identificador de transformada primária pt_idx de uma crominância. Por exemplo, a unidade de derivação de pt_idx 152 deriva um identificador de transformada primária pt_idx[compID] de um bloco de transformadas de uma crominância como ilustrado na seguinte fórmula (11) com base no sinalizador de transformada primária adaptativa apt_flag[compID] do bloco de transformadas de crominância (compID=COMPONET_Cb or COMPONENT_Cr) e um identificador de transformada primária pt_idx [COMPONENT-Y] de um bloco de transformadas de luminância correspondente ao bloco de transformadas de crominância.
[00188] pt_idx[compID] = apt_flag[compID] ?
Petição 870190056776, de 19/06/2019, pág. 51/305
43/215 pt_idx[COMPONENT_Y]: valor predeterminado ... (11) [00189] Ou seja, em um caso em que o sinalizador de transformada primária adaptativa apt_flag[compID] do bloco de transformadas de crominância é 1 (verdadeiro), a unidade de derivação de pt_idx 152 define adicionalmente o identificador de transformada primária pt_idx[compID] do bloco de transformadas de crominância como o valor do identificador de transformada primária para o bloco de transformadas de luminância pt_idx[COMPONENT_Y] correspondente ao bloco de transformadas de crominância. Em outros casos, um valor predeterminado é definido.
[00190] Como descrito acima, a unidade de derivação de informações de transformada primária adaptativa de crominância 131 pode derivar as informações de transformada primária adaptativa do bloco de transformadas de crominância com base nas informações de transformada primária adaptativa de luminância correspondentes ao bloco de transformadas de crominância. Portanto, é possível reduzir a quantidade de processamento de decodificação sem decodificar as informações de transformada primária adaptativa do bloco de transformadas de crominância a partir dos dados codificados.
<Unidade de transformada primária inversa>
[00191] Voltando à FIG. 10, a unidade de seleção de transformada primária inversa 132 recebe uma entrada das informações de modo de predição PInfo, do identificador de sinal de cor compID, do sinalizador de transformada primária adaptativa apt_flag[compID] do sinal de cor correspondente ao identificador de sinal de cor compID, e do identificador de transformada primária pt_idx [compID] do sinal de cor correspondente ao identificador de sinal de cor compID. A unidade de seleção de transformada primária inversa 132 deriva o tipo de transformada TrTypeldxH da transformada horizontal primária inversa e o tipo de transformada TrTypeldxV da transformada vertical primária inversa do sinal de cor
Petição 870190056776, de 19/06/2019, pág. 52/305
44/215 especificado pelo identificador de sinal de cor compID com referência às informações do modo de predição PInfo, ao identificador de sinal de cor compID, ao sinalizador de transformada primária adaptativa apt_flag [compID] do sinal de cor correspondente ao identificador de sinal de cor compID e ao identificador de transformada primária pt_idx [compID] do sinal de cor correspondente ao identificador de sinal de cor compID, e fornece os resultados para a unidade de transformada horizontal primária inversa 134 e a unidade de transformada vertical primária inversa 133.
[00192] A unidade de transformada vertical primária inversa 133 recebe uma entrada do coeficiente de transformada Coeff_IS que passou pela transformada secundária inversa, o tipo de transformada TrTypeldxV da transformada vertical primária inversa e o log2TBHSize (o valor logarítmico da altura da gravura) indicando a altura da gravura do bloco de transformadas para cada bloco de transformadas de cada sinal de cor. A unidade de transformada vertical primária inversa 133 executa uma transformada vertical primária inversa IPver definida pelo tipo de transformada TrTypeldxV e a altura da gravura do bloco de transformadas no coeficiente de transformada Coeff_IS que passou pela transformada secundária inversa e fornece o resultado para a unidade de transformada horizontal primária inversa 134 como um coeficiente de transformada Coeff_IPver que passou pela transformada vertical primária inversa. Deve-se observar que a transformada vertical primária inversa IPver é a transformada inversa para uma transformada vertical primária Pver.
[00193] A unidade de transformada horizontal primária inversa 134 recebe entradas do coeficiente de transformada Coeff_IPver que passou pela transformada vertical primária inversa, o tipo de transformada TrTypeldxH da transformada horizontal primária inversa e o log2TBWSize (o valor logarítmico da largura da gravura) indicando a altura da gravura do bloco de transformadas para cada bloco de transformadas de cada sinal de cor. A
Petição 870190056776, de 19/06/2019, pág. 53/305
45/215 unidade de transformada horizontal primária inversa 134 executa uma transformada horizontal primária inversa IPhor definida pelo tipo de transformada TrTypeldxH e a largura da gravura do bloco de transformadas no coeficiente de transformada Coeff_IPver que passou pela transformada vertical primária inversa, e produz o resultado para o exterior da unidade de transformada inversa 113 como o resíduo preditivo D’ (fornece o resultado para a unidade de operação aritmética 114). Deve-se observar que a transformada horizontal primária inversa IPhor é a transformada inversa de uma transformada horizontal primária Phor.
<Processo de unidade de seleção de transformada primária inversa>
[00194] Em seguida, a derivação do tipo de transformada horizontal primária inversa TrTypeldxH e o tipo da transformada vertical primária inversa TrTypeldxV de um sinal de cor especificado por um identificador de sinal de cor compID pela unidade de seleção de transformada primária inversa 132 será descrita em detalhe.
[00195] Especificamente, em um caso em que o sinalizador de transformada primária adaptativa apt_flag[compID] do sinal de cor especificado pelo identificador de sinal de cor compID é 1 (verdadeiro), a unidade de seleção de transformada primária inversa 132 seleciona um conjunto de transformada TrSet incluindo uma transformada ortogonal que serve como candidata a uma transformada primária dos quatro conjuntos de transformadas TrSet com os identificadores de conjuntos de transformadas TrSetSetIdx=0...3 mostrados na tabela da FIG. 1 em cada uma das direções horizontal e vertical com referência às informações do modo de predição PInfo. Deve-se observar que a correspondência entre os tipos de transformada ortogonal e os valores correspondentes dos identificadores TrTypeldx não está limitada à tabela da FIG. 2 e pode ser alterada em uma faixa executável.
[00196] Deve-se observar que, em um caso em que o sinalizador de transformada primária adaptativa apt_flag[compID] é 0 (falso), indica que
Petição 870190056776, de 19/06/2019, pág. 54/305
46/215 uma transformada primária adaptativa não será executada e, portanto, a unidade de seleção de transformada primária inversa 132 define um valor do identificador do tipo de transformada indicando o tipo de uma transformada ortogonal predeterminada (por exemplo, DCT-II) para o tipo de transformada TrTypeldxH da transformada horizontal primária inversa e o tipo de transformada TrTypeldxV da transformada vertical primária inversa (TrldxTypeH = TrldxTypeV = valor predeterminado).
<Seleção do conjunto de transformadas>
[00197] Em um caso em que um tipo de predição de uma CU à qual um bloco de transformadas a ser processado pertence CuPredMode é intrapredição (CuPredMode==MODE_INTRA), a definição é feita com base em um modo de intrapredição (IntraPredMode) como na tabela (LUT_IntraModeToTrSet) mostrada na FIG. 3. Por exemplo, a definição de um identificador de conjunto de transformadas TrSetldx que especifica um conjunto de transformadas correspondente TrSet é feita para um conjunto de transformadas em cada uma das direções (TrSetH e TrSetV) usando as seguintes fórmulas (12) e (13). Além disso, em um caso em que o tipo de predição da CU à qual o bloco de transformadas a ser processado pertence é interpredição, um identificador de conjunto de transformadas TrSetldx que especifica um conjunto de transformadas TrSet para interpredição (=InterTrSetIdx) é definido como na seguinte fórmula (14). Deve-se observar que, se o modo de intrapredição IntraPredMode for para luminância, um valor de um modo de intrapredição de luminância IntraPredModeY será definido e, se o modo de intrapredição for para uma crominância, será definidoum valor de um modo de intrapredição de crominância IntraPredModeC.
[00198] if (CuPredMode == MODE JNTRA) { [00199] TrSetH = LUTJntraModeToTrSet [ IntraPredMode ] [ H (=0) ] ... (12) [00200] TrSetV = LUTJntraModeToTrSet [ IntraPredMode ] [ V (=1)
Petição 870190056776, de 19/06/2019, pág. 55/305
47/215 ] ...(13) [00201] } else {// CuPredMode==MODE_INTER [00202] TrSetH = InterTrSetldx [00203] TrSetV = InterTrSetldx ... (14) [00204] } [00205] Aqui, TrSetH representa um conjunto de transformadas de uma transformada horizontal primária PThor (chamado de conjunto de transformadas horizontais primárias), e TrSetV representa um conjunto de transformadas de uma transformada vertical principal PTver (também chamado de conjunto de transformadas verticais primárias). Além disso, uma tabela de pesquisa LUT_IntraModeToTrSet é a tabela de correspondência da FIG. 3. A primeira matriz da tabela de pesquisa LUT_IntraModeToTrSet[][] tem um modo de intrapredição IntraPredMode como argumento e a segunda matriz tem {H=0, V= I} como argumento.
[00206] Em um caso do modo de intrapredição número 18 (IntraPredMode == 18), o conjunto de transformadas do identificador do conjunto de transformadas TrSetIdx=2 indicado na tabela (LUT_TrSetToTrTypeIdx) da FIG. 1 é selecionado como um conjunto de transformadas horizontais primárias TrSetH, e o conjunto de transformadas do identificador de conjunto de transformadas TrSetIdx=0 indicado na tabela da FIG. 1 é selecionado como um conjunto de transformadas verticais primárias TrSetV.
[00207] Deve-se observar que, em um caso em que o modo de intrapredição IntraPredMode indica a cópia intrabloco (IBC ou IntraBC; também chamada de “compensação de movimento na tela”) (na tabela da FIG. 3, IntraPredMode==67 corresponde a IntraBC) na FIG. 3, um identificador de conjunto de transformadas dedicado à interpredição pode ser alocado. Como a interpredição e a cópia intrabloco tendem a ter um resíduo similar em geral, é razoável alocar o mesmo conjunto de transformadas. Além
Petição 870190056776, de 19/06/2019, pág. 56/305
48/215 disso, um identificador de conjunto de transformadas dedicado à cópia intrabloco pode ser alocado.
<Derivação de sinalizador de especificação de transformada (horizontal/vertical) primária>
[00208] Além disso, a unidade de seleção de transformada primária inversa 132 deriva um um sinalizador de especificação de transformada horizontal primária pt_hor_flag e um sinalizador de especificação de transformada vertical primária pt_ver_flag de um identificador de transformada primária pt_idx[compID] (compID=COMPONENT_Y, COMPONENT_Cb, COMPONENT_Cr) de um sinal de cor especificado por um identificador de sinal de cor compID de acordo com, por exemplo, a seguinte fórmula (15).
[00209] pt_hor_flag = pt_dx[compID] & 0x01 [00210] pt_ver_flag = pt_idx[compID] » 1 (= (pt_idx[compID] & 0x10) »1) ... (15) [00211] Ou seja, o identificador de transformada primária pt_idx[compID] tem um valor de 2 bits, o 1 bit superior do mesmo corresponde ao sinalizador de especificação de transformada vertical primária pt_ver_flag, e o 1 bit inferior do mesmo corresponde ao sinalizador de especificação de transformada horizontal primária pt_hor_flag.
<Seleção do tipo de transformada de transformada (horizontal/vertical) primária inversa>
[00212] Além disso, a unidade de seleção de transformada primária inversa 132 seleciona o tipo de transformada da transformada ortogonal a ser usada na transformada primária inversa dos conjuntos de transformadas TrSetH e TrSetV selecionados em cada direção horizontal/vertical usando cada um do sinalizador de especificação de transformada horizontal primária pt_hor_flag e do sinalizador de especificação de transformada vertical primária pt_ver_flag.
Petição 870190056776, de 19/06/2019, pág. 57/305
49/215 [00213] Especificamente, a unidade de seleção de transformada primária inversa 132 determina o tipo de transformada TrTypeldxH da transformada ortogonal a ser aplicada à transformada horizontal primária inversa com base na tabela de correspondência para os conjuntos de transformada e os tipos de transformada (LUT_TrSetToTrTypeIdx) ilustrados na FIG. 1, o conjunto de transformadas horizontais primárias TrSetH e o sinalizador de especificação de transformada horizontal primária pt_hor_flag, como ilustrado na seguinte fórmula (16).
[00214] TrTypeldxH = FUT.TrSetToTrTypeldx [ TrSetH ] [ pt_hor_flag ] ... (16) [00215] De modo similar, a unidade de seleção de transformada primária inversa 132 determina o tipo de transformada TrTypeldxV da transformada ortogonal a ser aplicada à transformada vertical primária inversa com base na tabela de correspondência para os conjuntos de transformada e os tipos de transformada (EUT_TrSetToTrTypeIdx) ilustrados na FIG. 1, o conjunto de transformadas verticais primárias TrSetVx e o sinalizador de especificação de transformada vertical primária pt_ver_flag, como ilustrado na seguinte fórmula (17).
[00216] TrTypeldxV = FUT.TrSetToTrTypeldx [ TrSetV ] [ pt_ver_flag ] ... (17) [00217] Se o valor do identificador de conjunto de transformadas TrSetldx indicado pelo conjunto de transformadas horizontais primárias TrSetH for 2, uma transformada ortogonal a ser aplicada à transformada horizontal primária é selecionada do conjunto de transformadas com o identificador de conjunto de transformadas TrSetldx==2 na tabela de definição de conjunto de transformadas EUT_TrSetToTrTypeIdx da FIG. 1. Ou seja, em um caso em que o sinalizador de especificação de transformada horizontal primária pt_hor_flag é 0, o valor “4” do identificador de tipo de transformada TrTypeldx indicando DST-VII é definido para o identificador
Petição 870190056776, de 19/06/2019, pág. 58/305
50/215 de tipo de transformada horizontal TrTypeldxH designando o tipo de transformada ortogonal da transformada horizontal primária PThor, como ilustrado na FIG. 1, e em um caso em que o sinalizador de especificação de transformada horizontal primária pt_hor_flag é 1, o valor “1” do identificador de tipo de transformada TrTypeldx indicando DCT-V é definido para o identificador de tipo de transformada horizontal TrTypeldxH.
[00218] Deve-se observar que um tipo de transformada determinado com os valores do identificador do conjunto de transformadas TrSetldx da tabela mostrada na FIG. 1, o sinalizador de especificação de transformada horizontal primária e o sinalizador de especificação de transformada vertical primária podem ser definidos como alteráveis dentro de uma faixa executável. [00219] Posteriormente, a unidade de seleção de transformada primária inversa 132 fornece o tipo de transformada TrTypeldxH da transformada horizontal primária inversa IPThor e o tipo de transformada TrTypeldxV da transformada vertical primária inversa IPTver do sinal de cor especificado pelo identificador de sinal de cor compID para cada uma da unidade de transformada vertical primária inversa 133 e da unidade de transformada horizontal primária inversa 134.
[00220] Como descrito acima, a unidade de transformada primária inversa 123 pode aplicar uma transformada primária adaptativa inversa selecionada para luminância a um bloco de transformadas da crominância em um caso em que um sinal residual do sinal de cor mostra uma tendência similar a um sinal residual de luminância. Assim, é possível realizar um processo de transformada primária inversa no sinal residual da crominância com maior eficiência de codificação do que na técnica relacionada.
[00221] Além disso, é possível reduzir uma quantidade de processamento de um codificador, enquanto se evita uma diminuição na eficiência de codificação para crominância em comparação a um caso em que um sinalizador de transformada primária adaptativa apt_flag e um
Petição 870190056776, de 19/06/2019, pág. 59/305
51/215 identificador de transformada primária pt_idx são explicitamente decodificados para cada uma da luminância e crominância.
[00222] <Fluxo do processo de decodificação de imagem>
[00223] Em seguida, será descrito o fluxo de cada processo executado pelo aparelho de decodificação de imagem 100, como descrito acima. Primeiro, um exemplo do fluxo de um processo de decodificação de imagem será descrito com referência ao fluxograma da FIG. 12.
[00224] Quando o processo de decodificação de imagem é iniciado, a unidade de decodificação 111 decodifica um fluxo de bits (dados codificados) fornecido ao aparelho de decodificação de imagem 100 e obtém assim informações tais como informações de cabeçalho Hinfo, informações de modo de predição Pinfo, informações de transformada Tinfo, informações residuais Rinfo, e um nível de nível do coeficiente de transformada quantizado na Etapa S101.
[00225] Na Etapa SI02, a unidade de quantização inversa 112 realiza quantização inversa no nível de nível de coeficiente de transformada quantizado obtido a partir do processo da Etapa S101 e, assim, deriva um coeficiente de transformada Coeff_IQ. A quantização inversa é o processo inverso à quantização realizada em um processo de codificação de imagem, que será descrito a seguir, e é um processo similar à quantização inversa realizada no processo de codificação da imagem.
[00226] Na Etapa S103, a unidade de transformada inversa 113 realiza transformada inversa no coeficiente de transformada Coeff_IQ obtido a partir do processo da Etapa S102 e, assim, deriva um resíduo preditivo D’. A transformada inversa é o processo inverso a um processo de transformada realizado no processo de codificação de imagem, que será descrito a seguir, e é um processo similar a uma transformada inversa realizada no processo de codificação da imagem.
[00227] Na Etapa S104, a unidade de predição 116 realiza a predição
Petição 870190056776, de 19/06/2019, pág. 60/305
52/215 no mesmo modo de predição que a predição realizada no momento da codificação com base nas informações de modo de predição PInfo e gera uma imagem preditiva.
[00228] Na Etapa S105, a unidade de operação aritmética 114 adiciona a imagem preditiva obtida do processo da Etapa S104 ao resíduo preditivo D’ obtido a partir do processo da Etapa SI03 e obtém assim uma imagem decodificada.
[00229] Na Etapa S106, a unidade de operação aritmética 114 produz a imagem decodificada obtida do processo da Etapa S105 para o exterior do aparelho de decodificação de imagem 100.
[00230] Na Etapa S107, a memória de quadro 115 armazena a imagem decodificada obtida a partir do processo da Etapa S105.
[00231] Quando o processo da Etapa S107 termina, o processo de decodificação da imagem termina.
<Processo de decodificação de informações de transformada primária> [00232] Vários tipos de informação incluídos nos dados codificados n° 1 são decodificados na Etapa S101 da FIG. 12 como descrito acima. Nesse momento, a unidade de decodificação 111 também decodifica apropriadamente informações tal como o sinalizador de transformada primária adaptativa apt_flag, o identificador de transformada primária pt_idx e similares. A unidade de decodificação 111 decodifica, por exemplo, o sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] da luminância e o identificador de transformada primária pt_idx[COMPONENT_Y] de luminância. No entanto, os dados codificados n° 1 não incluem o sinalizador de transformada primária adaptativa apt_flag [compID] de uma crominância (compID=COMPONET_Cb ou COMPONENT_Cr) e o identificador de transformada primária pt_idx [compID] da crominância (compID=COMPONET_Cb ou COMPONENT_Cr) como descrito acima. Assim, a unidade de decodificação
Petição 870190056776, de 19/06/2019, pág. 61/305
53/215
111 omite a decodificação das informações dos elementos.
[00233] De modo a realizar a decodificação como descrito acima, a unidade de decodificação 111 executa um processo de decodificação de informações de transformada primária na Etapa S101. Um exemplo do fluxo do processo de decodificação de informações de transformada primária será descrito com referência ao fluxograma da FIG. 13.
[00234] Quando o processo de decodificação de informações de transformada primária é iniciado, a unidade de decodificação 111 determina se um componente a ser processado é ou não uma luminância (compID == COMPONENT_Y) na Etapa SI 11. Em um caso em que o componente é determinado como luminância, o processo prossegue para a Etapa SI 12.
[00235] Na Etapa SI 12, a unidade de decodificação 111 pode decodificar o sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] de luminância incluída nos dados codificados n° 1. Na Etapa SI 13, a unidade de decodificação 111 pode decodificar o identificador de transformada primária pt_idx[COMPONENT_Y] de luminância incluída nos dados codificados n° 1. Quando o processo da Etapa SI 13 termina, o processo de decodificação de informações de transformada primária termina.
[00236] Além disso, em um caso em que o componente a ser processado é determinado como uma crominância (compID != COMPONENT_Y) na Etapa SI 11, os processos da Etapa SI 12 e da Etapa SI 13 são omitidos e o processo de decodificação de informações da transformada primária termina. Ou seja, no caso da crominância, a decodificação do sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx são omitidos. Portanto, um aumento na carga de decodificação pode ser refreado.
<Fluxo do processo de transformada inversa>
[00237] Em seguida, um exemplo do fluxo do processo de transformada inversa executado na Etapa S103 da FIG. 12 será descrito com
Petição 870190056776, de 19/06/2019, pág. 62/305
54/215 referência ao fluxograma da FIG. 14. Quando o processo de transformada inversa é iniciado, o comutador 121 determina se o sinalizador de salto de transformada ts_flag é 2D_TS (um modo de salto de transformada bidimensional) ou o sinalizador de desvio de quantização de transformada transquant_bypass_flag é 1 (verdadeiro) na Etapa SI21. Em um caso em que é determinado que o identificador de salto de transformada ts_idx é 2D_TS ou o sinalizador de desvio de quantização de transformada é 1 (verdadeiro), o comutador 121 produz o coeficiente de transformada Coeff_IQ para o exterior como resíduo preditivo D’ (fornecido para a unidade de operação aritmética 114), o processo de transformada inversa termina e o processo regressa à FIG.
12.
[00238] Além disso, em um caso em que é determinado que o identificador de salto de transformada ts_idx não é 2D_TS (um modo diferente de salto de transformada bidimensional) e o sinalizador de desvio de quantização de transformada é 0 (falso) na Etapa SI21, o comutador 121 fornece o coeficiente de transformada Coeff_IQ para a unidade de transformada secundária inversa 122, e o processo prossegue para a Etapa S122.
[00239] Na Etapa S122, a unidade de transformada secundária inversa 122 realiza a transformada secundária inversa no coeficiente de transformada de entrada Coeff_IQ com base no identificador de transformada secundária st_idx, e deriva e produz o coeficiente de transformada Coeff_IS que sofreu a transformada secundária inversa.
[00240] Na Etapa S123, a unidade de seleção de transformada primária inversa 132 determina se o identificador de sinal de cor compID indica luminância ou uma crominância. Em um caso em que o identificador de sinal de cor compID indica a crominância (compID !=COMPONENT_Y), o processo prossegue para a Etapa S124. Na Etapa S124, a unidade de derivação de informações de transformada primária 131 deriva um
Petição 870190056776, de 19/06/2019, pág. 63/305
55/215 identificador de transformada primária pt_idx [compID] para um bloco de transformadas da crominância com base no sinalizador de transformada primária adaptativa apt_flag[compID] (compID=COMPONET_Cb ou COMPONENT_Cr) do bloco de transformadas de crominância e o identificador de transformada primária pt_idx [COMPONENT-Y] para um bloco de transformadas de luminância correspondente ao bloco de transformadas de crominância. Quando o processo da Etapa SI24 termina, o processo prossegue para a Etapa SI25.
[00241] Além disso, na Etapa SI23, em um caso em que o identificador de sinal de cor compID indica luminância (compID==COMPONENT_Y), o processo prossegue para a Etapa SI25.
[00242] Na Etapa S125, a unidade de seleção de transformada primária inversa 132 deriva o tipo de transformada TrTypeldxH da transformada horizontal primária inversa e o tipo de transformada TrTypeldxV da transformada vertical primária inversa do sinal de cor especificado pelo identificador de sinal de cor compID com referência às informações do modo de predição Pinfo, ao identificador de sinal de cor compID, ao sinalizador de transformada primária adaptativa apt_flag [compID] do sinal de cor correspondente ao identificador de sinal de cor compID e ao identificador de transformada primária pt_idx [compID] do sinal de cor correspondente ao identificador de sinal de cor compID.
[00243] Na Etapa S126, a unidade de transformada vertical primária inversa 133 executa a transformada vertical primária inversa IPver definida pelo tipo de transformada TrTypeldxV da transformada vertical primária inversa e a altura da gravura do bloco de transformadas no coeficiente de transformada Coeff_IS que passou pela transformada secundária inversa do bloco de transformadas para cada bloco de transformadas especificado pelo identificador de sinal de cor compID e produz o resultado como um coeficiente de transformada Coeff_IPver que passou pela transformada
Petição 870190056776, de 19/06/2019, pág. 64/305
56/215 vertical primária inversa.
[00244] Na Etapa S127, a unidade de transformada horizontal primária inversa 134 executa a transformada horizontal primária inversa IPhor definida pelo tipo de transformada TrTypeldxH da transformada horizontal primária inversa e a altura da gravura do bloco de transformadas no coeficiente de transformada Coeff_IPver que passou pela transformada vertical primária inversa do bloco de transformadas para cada bloco de transformadas especificado pelo identificador de sinal de cor compID e produz o resultado como resíduo preditivo D’. Quando o processo da Etapa S127 termina, o processo de transformada inversa termina e o processo regressa à FIG. 12.
[00245] <Fluxo do processo de derivação de informações de transformada primária adaptativa de crominância>
[00246] Em seguida, um exemplo do fluxo do processo de derivação de informações de transformada primária adaptativa de crominância executado na Etapa SI24 da FIG. 14 será descrito com referência ao fluxograma da FIG.
15. Quando o processo de derivação de informações de transformada primária adaptativa de crominância é iniciado, a unidade de derivação de apt_flag 151 da unidade de derivação de informações de transformada primária adaptativa de crominância 131 define um valor do sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] de luminância para um valor do sinalizador de transformada primária adaptativa apt_flag [compID] da crominância na Etapa S131.
[00247] Na Etapa S132, a unidade de derivação de pt_idx 152 da unidade de derivação de informações de transformada primária adaptativa de crominância 131 determina se o sinalizador de transformada primária adaptativa apt_flag[compID] da crominância é ou não verdadeiro. Quando é determinado que é verdadeiro, o processo prossegue para a Etapa SI33. Na Etapa SI33, a unidade de derivação de pt_idx 152 define um valor do identificador de transformada primária pt_idx [COMPONENT-Y] da
Petição 870190056776, de 19/06/2019, pág. 65/305
57/215 luminância para o identificador de transformada primária pt_idx[compID] da crominância. Quando o processo da Etapa SI33 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
[00248] Além disso, em um caso em que o sinalizador de transformada primária adaptativa apt_flag[compID] da crominância é determinado como falso na Etapa SI32 da FIG. 15, o processo prossegue para a Etapa SI34. Na Etapa S134, a unidade de derivação de pt_idx 152 define um valor predeterminado para o identificador de transformada primária pt_idx[compID] da crominância. Quando o processo da Etapa SI34 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
<Fluxo de processo de seleção de transformada primária inversa>
[00249] Em seguida, um exemplo do fluxo do processo de seleção de transformada primária inversa executado na Etapa SI25 da FIG. 14 será descrito com referência ao fluxograma da FIG. 16.
[00250] Quando o processo de seleção de transformada primária inversa é iniciado, a unidade de seleção de transformada primária inversa 132 determina se o sinalizador de transformada primária adaptativa apt_flag[compID] do sinal de cor correspondente ao identificador de sinal de cor compID é 1 (verdadeiro) na Etapa S141. Em um caso em que o sinalizador de transformada primária adaptativa apt_flag[compID] é determinado como 1 (verdadeiro), o processo prossegue para a Etapa S142.
[00251] Na Etapa S142, a unidade de seleção de transformada primária inversa 132 seleciona um conjunto de transformadas TrSetV (conjunto de transformadas horizontais primárias) da transformada vertical primária inversa e um conjunto de transformadas TrSetH (conjunto de transformadas verticais primárias) da transformada horizontal primária inversa com base nas informações de modo de predição PInfo.
Petição 870190056776, de 19/06/2019, pág. 66/305
58/215 [00252] Na Etapa S143, a unidade de seleção de transformada primária inversa 132 deriva um um sinalizador de especificação de transformada horizontal primária pt_hor_flag e um sinalizador de especificação de transformada vertical primária pt_ver_flag do identificador de transformada primária pt_idx[compID] do sinal de cor correspondente ao identificador de sinal de cor compID.
[00253] Na Etapa S144, a unidade de seleção de transformada primária inversa 132 seleciona o tipo de transformada TrTypeldxH de uma transformada ortogonal aplicada como a transformada horizontal primária inversa IPThor com referência ao conjunto de transformadas horizontais primárias TrSetH e ao sinalizador de especificação de transformada horizontal primária pt_hor_flag.
[00254] Na Etapa S145, a unidade de seleção de transformada primária inversa 132 seleciona o tipo de transformada TrTypeldxV de uma transformada ortogonal aplicada como a transformada vertical primária inversa IPTver com referência ao conjunto de transformadas verticais primárias TrSetV e ao sinalizador de especificação de transformada vertical primária pt_ver_flag. Quando o processo da Etapa SI45 termina, o processo de seleção de transformada primária inversa termina e o processo regressa à FIG. 14.
[00255] Além disso, na Etapa S141, em um caso em que é determinado que o sinalizador de transformada primária adaptativa apt_flag[compID] é 0 (falso), o processo prossegue para a Etapa S146. Na Etapa S146, a unidade de seleção de transformada primária inversa 132 seleciona uma transformada ortogonal predeterminada como o tipo de transformada TrTypeldxH da transformada horizontal primária inversa IPThor (TrTypeldxH = valor predeterminado).
[00256] Na Etapa S147, a unidade de seleção de transformada primária inversa 132 seleciona uma transformada ortogonal predeterminada como o
Petição 870190056776, de 19/06/2019, pág. 67/305
59/215 tipo de transformada TrTypeldxV da transformada vertical primária inversa IPTver (TrTypeldxV = valor predeterminado). Quando o processo da Etapa S147 termina, o processo de seleção de transformada primária inversa termina e o processo regressa à FIG. 14.
[00257] Isto é, a unidade de seleção de transformada primária inversa 132 deriva o tipo de transformada TrTypeldxH da transformada horizontal primária inversa IPThor e o tipo de transformada TrTypeldxV da transformada vertical primária inversa IPTver usando o método de acordo com o valor do sinalizador de transformada primária adaptativa apt_flag [compID] da crominância.
[00258] Como descrito acima, a unidade de transformada inversa 113 incluída no aparelho de decodificação de imagem 100 pode aplicar a transformada primária adaptativa inversa selecionada para luminância ao bloco de transformadas da crominância em um caso em que um sinal residual de uma crominância mostra uma tendência similar a um sinal residual de luminância. Portanto, o processo de transformada primária inversa pode ser realizado no sinal residual da crominância com mais eficiência de codificação melhorada que na técnica relacionada. Além disso, as quantidades de processamento de codificação e decodificação podem ser reduzidas, enquanto se mitiga a deterioração na eficiência de codificação para a crominância em comparação ao caso em que o sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx são explicitamente decodificados para cada uma da luminância e crominância.
<Exemplo modificado 1>
[00259] Deve-se observar que a derivação do sinalizador de transformada primária adaptativa da crominância pode ser limitada a um caso em que o tipo de predição é uma CU inter. Por exemplo, o sinalizador de transformada primária adaptativa apt_flag [compID] (compID=COMPONET_Cb ou COMPONENT_Cr) em relação a um bloco
Petição 870190056776, de 19/06/2019, pág. 68/305
60/215 de transformadas de crominância a ser processado pode ser derivado com base no sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] em relação a um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância e um tipo de predição CuPredMode da CU (uma unidade de codificação) à qual o bloco de transformadas da crominância pertence, conforme ilustrado na seguinte fórmula (18).
[00260] if ( CuPredMode == MODE.INTER ) { [00261] apt_flag [compID] = apt.flag [COMPONENT. Y] [00262] } else { [00263] apt_flag [compID] = 0 [00264] } [00265] ...(18) [00266] Em um caso no qual o tipo de predição CuPredMode de uma CU à qual o bloco de transformadas da crominância pertence é interpredição (CuPredMode==MODE_INTER), por exemplo, o sinalizador de transformada primária adaptativa apt.flag [compID] em relação ao bloco de transformadas da crominância é definido com base no sinalizador de transformada primária adaptativa apt.flag [COMPONENT.Y] de um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância. Por outro lado, em um caso no qual o tipo de predição CuPredMode da CU ao qual o bloco de transformadas da crominância pertence não é interpredição (mas é intrapredição), o valor do sinalizador de transformada primária adaptativa apt.flag [compID] em relação ao bloco de transformadas da crominância é definido como 0 (falso).
[00267] Um exemplo do fluxo do processo de derivação de informações de transformada primária adaptativa de crominância de tal caso será descrito com referência ao fluxograma da FIG. 17. O fluxograma corresponde ao fluxograma da FIG. 15. Nesse caso, quando o processo de
Petição 870190056776, de 19/06/2019, pág. 69/305
61/215 derivação de informações de transformada primária adaptativa de crominância é iniciado, a unidade de derivação de apt_flag 151 determina se o tipo de predição CUPredMode de uma CU à qual um bloco de transformadas a ser processado pertence é ou não interpredição (MODE_INTER) na Etapa S151. Em um caso em que o tipo de predição é determinado como interpredição, o processo prossegue para a Etapa S152.
[00268] Na Etapa S152, a unidade de derivação de apt_flag 151 define um valor do sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância como o valor do sinalizador de transformada primária adaptativa apt_flag[compID] da crominância como no caso da Etapa S131 da FIG. 15. Quando o processo da Etapa S152 termina, o processo prossegue para a Etapa S154.
[00269] Além disso, em um caso em que o tipo de predição CUPredMode da CU à qual o bloco de transformadas a ser processado pertence é determinado como sendo intrapredição na Etapa S151, o processo prossegue para a Etapa SI53. Na Etapa SI53, a unidade de derivação de apt_flag 151 define o sinalizador de transformada primária adaptativa apt_flag[compID] da crominância como 0 (falso). Quando o processo da Etapa S153 termina, o processo prossegue para a Etapa SI54.
[00270] Cada um dos processos da Etapa S154 à Etapa S156 é executado de forma similar a cada um dos processos da Etapa S132 à Etapa SI34 da FIG. 15. Dessa forma, quando o processo da Etapa SI55 ou Etapa S156 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
[00271] No caso em que o tipo de predição é intrapredição, pode haver um caso em que os modos de intrapredição são diferentes entre a luminância e a crominância. Nesse momento, uma vez que os sinais residuais da luminância e da crominância mostram tendências diferentes, se as informações de transformada primária adaptativa da luminância forem
Petição 870190056776, de 19/06/2019, pág. 70/305
62/215 aplicadas à crominância, existe uma possibilidade de deterioração da eficiência de codificação. Portanto, ao aplicar as informações de transformada primária adaptativa da luminância à crominância somente no caso em que o processo de derivação de informações de transformada primária adaptativa de crominância é executado como ilustrado na FIG. 17 e o tipo de previsão é interpredição, uma diminuição na eficiência de codificação pode ser ainda mais refreada do que no caso da FIG. 15.
[00272] <Exemplo modificado 2>
[00273] Além disso, a derivação do sinalizador de transformada primária adaptativa da crominância pode ser limitada a uma CU inter ou uma CU intra e quando um modo de intrapredição de luminância é uma cópia intrabloco (compensação de movimento na tela). Por exemplo, o sinalizador de transformada primária adaptativa apt_flag [compID] (compID=COMPONET.Cb ou COMPONENT_Cr) de um bloco de transformadas de uma crominância a ser processado pode ser definido com base no sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância e no tipo de predição CUPredMode de uma CU (uma unidade de codificação) à qual o bloco de transformadas da crominância pertence, a nas informações de modo de predição PInfo conforme ilustrado na seguinte fórmula (19).
[00274] if ( CuPredMode == MODEJNTER ) { [00275] apt_flag [compID] = apt.flag [COMPONENT. Y] [00276] } else if (IntraPredModeC == “IntraBC”) { //
CuPredMODE == MODE.INTRA [00277] apt.flag [compID] = apt.flag [COMPONENT. Y] [00278] } else { [00279] apt.flag [compID] = 0 [00280] }
Petição 870190056776, de 19/06/2019, pág. 71/305
63/215 [00281] -.-(19) [00282] Ou seja, em um caso no qual o tipo de predição CUPredMode da CU à qual o bloco de transformadas da crominância pertence é interpredição, ou um caso em que o tipo de predição da CU é intrapredição e o modo de intrapredição IntraPredModeC da crominância é cópia intrabloco (IntraBC), o sinalizador de transformada primária adaptativa apt_flag[compID] em relação ao bloco de transformadas da crominância é definido com base no sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] em relação ao bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância. Por outro lado, em outros casos (um caso no qual o tipo de predição CUPredMode da CU é intrapredição e o modo de intrapredição IntraPredModeC não é cópia intrabloco), o valor do sinalizador de transformada primária adaptativa apt_flag[compID] em relação ao bloco de transformadas da crominância é definido como 0 (falso). Deve-se observar que, em um caso em que as informações de luminância e a crominância são incluídas na mesma CU, em vez do modo de intrapredição IntraPredModeC da crominância, a determinação condicional pode ser realizada usando o modo de intrapredição IntraPredModeY da luminância na fórmula descrita acima (19).
[00283] Um exemplo do fluxo do processo de derivação de informações de transformada primária adaptativa de crominância de tal caso será descrito com referência ao fluxograma da FIG. 18. O fluxograma corresponde ao fluxograma da FIG. 15. Nesse caso, quando o processo de derivação de informações de transformada primária adaptativa de crominância é iniciado, a unidade de derivação de apt_flag 151 determina se o tipo de predição CUPredMode de uma CU à qual um bloco de transformadas a ser processado pertence é ou não interpredição (MODE_INTER) na Etapa S171. Em um caso em que o tipo de predição é determinado como intrapredição, o processo prossegue para a Etapa S172.
Petição 870190056776, de 19/06/2019, pág. 72/305
64/215 [00284] Na Etapa S172, a unidade de derivação de apt_flag 151 determina se o modo de intrapredição IntraPredModeC da crominância é ou não cópia intrabloco (IntraBC). Em um caso em que o modo é determinado como cópia intrabloco (IntraBC), o processo prossegue para a Etapa S173. Além disso, o tipo de predição CUPredMode da CU à qual o bloco de transformadas a ser processado pertence é determinado como sendo interpredição (MODE_INTER) na Etapa S171, o processo prossegue para a Etapa S173.
[00285] Na Etapa S173, a unidade de derivação de apt_flag 151 define um valor do sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância como o valor do sinalizador de transformada primária adaptativa apt_flag[compID] da crominância como no caso da Etapa S131 da FIG. 15. Quando o processo da Etapa S173 termina, o processo prossegue para a Etapa S175.
[00286] Além disso, em um caso em que o modo de intrapredição IntraPredModeC da crominância é determinado como não sendo cópia intrabloco (IntraBC) na Etapa S172, o processo prossegue para a Etapa S174. Na Etapa SI74, a unidade de derivação de apt_flag 151 define o valor do sinalizador de transformada primária adaptativa apt_flag[compID] da crominância como 0 (falso). Quando o processo da Etapa S174 termina, o processo prossegue para a Etapa S175.
[00287] Cada um dos processos da Etapa S175 à Etapa S177 é executado de forma similar a cada um dos processos da Etapa S132 à Etapa S134 da FIG. 15. Dessa forma, quando o processo da Etapa S176 ou Etapa S177 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
[00288] No caso em que o tipo de predição é intrapredição e o modo de intrapredição IntraPredMode é cópia intrabloco, as tendências do resíduo de luminância e do resíduo da crominância são similares, como no caso da
Petição 870190056776, de 19/06/2019, pág. 73/305
65/215 intrapredição. Portanto, uma vez que a transformada primária adaptativa de luminância pode ser aplicada à crominância no caso em que o tipo de predição é intrapredição e o modo de intrapredição IntraPredMode é IntraBC, a eficiência de codificação pode ser melhorada em comparação com o <Exemplo modificado 1> .
<Exemplo modificado 3>
[00289] Além disso, a derivação do sinalizador de transformada primária adaptativa da crominância pode ser limitada a uma CU inter ou uma CU intra e quando um modo de intrapredição de luminância é equivalente a um modo de intrapredição de crominância. Por exemplo, o sinalizador de transformada primária adaptativa apt_flag[compID] (compID=COMPONET_Cb ou COMPONENT_Cr) de um bloco de transformadas de uma crominância a ser processado pode ser definido com base no sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] em relação a um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância, ao tipo de predição CUPredMode da CU (uma unidade de codificação) à qual o bloco de transformadas da crominância pertence, ao modo de intrapredição de luminância IntraPredModeY da CU, e ao modo intra de crominância IntraPredModeC da CU conforme ilustrado na seguinte fórmula (20).
[00290] if ( CuPredMode == MODE.INTER ) { [00291] apt.flag [compID] = apt.flag [COMPONENT. Y] [00292] } else if (IntraPredModeY == IntraPredModeC) { //
CuPredMode==MODE_INTRA [00293] apt.flag [compID] = apt.flag [COMPONENT. Y] [00294] } else { [00295] apt.flag [compID] = 0 [00296] } [00297] ...(20)
Petição 870190056776, de 19/06/2019, pág. 74/305
66/215 [00298] Ou seja, em um caso no qual o tipo de predição CUPredMode da CU à qual o bloco de transformadas da crominância é interpredição, ou o tipo de predição da CU é intrapredição e o modo de intrapredição IntraPredModeC da crominância é igual ao modo de intrapredição IntraPredModeY de luminância, o sinalizador de transformada primária adaptativa apt_flag[compID] do bloco de transformadas da crominância é definido com base no sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] em relação ao bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância. Por outro lado, em outros casos (um caso no qual o tipo de predição CUPredMode da CU é intrapredição e o modo de intrapredição da crominância é diferente do modo de intrapredição de luminância), o valor do sinalizador de transformada primária adaptativa apt_flag[compID] em relação ao bloco de transformadas da crominância é definido como 0 (falso).
[00299] Um exemplo do fluxo do processo de derivação de informações de transformada primária adaptativa de crominância de tal caso será descrito com referência ao fluxograma da FIG. 19. O fluxograma corresponde ao fluxograma da FIG. 15. Nesse caso, quando o processo de derivação de informações de transformada primária adaptativa de crominância é iniciado, a unidade de derivação de apt_flag 151 determina se o tipo de predição CUPredMode de uma CU à qual um bloco de transformadas a ser processado pertence é ou não interpredição (MODE_INTER) na Etapa S181. Em um caso em que o tipo de predição é determinado como intrapredição, o processo prossegue para a Etapa SI82.
[00300] Na Etapa SI82, a unidade de derivação de apt_flag 151 determina se o modo de intrapredição IntraPredModeC da crominância é igual ao modo de intrapredição IntraPredModeY de luminância. Em um caso em que os modos são iguais, o processo prossegue para a Etapa S183. Além disso, o modo de intrapredição IntraPredModeC da crominância é
Petição 870190056776, de 19/06/2019, pág. 75/305
67/215 determinado como não sendo igual ao modo de intrapredição IntraPredModeY de luminância na Etapa SI82, o processo prossegue para a Etapa SI84.
[00301] Cada um dos processos da Etapa SI83 à Etapa SI87 é executado de forma similar a cada um dos processos da Etapa S173 à Etapa S177 da FIG. 18. Dessa forma, quando o processo da Etapa S186 ou Etapa SI87 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
[00302] No caso em que o tipo de predição da CU é intrapredição, ou seja, a luminância e a crominância têm o mesmo modo de intrapredição, os sinais residuais de luminância e a crominância têm tendências similares. Assim, ao aplicar as informações da transformada primária adaptativa de luminância à crominância somente no caso em que o modo de intrapredição de luminância tem o mesmo valor que o modo de intrapredição da crominância, a transformada primária adaptativa de luminância pode ser aplicada à crominância no caso em que o tipo de predição é intrapredição e o modo de intrapredição de luminância tem o mesmo valor que o modo de intrapredição da crominância, e assim a eficiência de codificação pode ser mais melhorada do que no caso de <Exemplo modificado 1>.
<Exemplo modificado 4>
[00303] Além disso, um sinalizador indicando se as informações referentes a uma transformada primária adaptativa de uma crominância são ou não definidas com base em uma transformada primária adaptativa de luminância pode ser adicionado e a configuração das informações referentes à transformada primária adaptativa da crominância pode ser controlada usando o sinalizador. Por exemplo, o sinalizador de transformada primária adaptativa apt_flag [compID] (compID=COMPONET_Cb ou COMPONENT_Cr) em relação a um bloco de transformadas de uma crominância a ser processado pode ser definido com base em um sinalizador de inferência de informações
Petição 870190056776, de 19/06/2019, pág. 76/305
68/215 de transformada primária adaptativa de crominância chroma_apt_infer_flag indicando se deve realizar ou não a configuração (inferência) usando informações de um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância e um sinalizador de transformada primária adaptativa apt_flag [COMPONENT. Y] em relação ao bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância como ilustrado na seguinte fórmula (21).
[00304] if ( chroma_apt_info_infer_flag [compID] ) { [00305] apt.flag [compID] = apt.flag[COMPONENT.Y] : 0 [00306] } else { [00307] apt_flag[compID] = 0 [00308] } [00309] ...(21) [00310] Ou seja, em um caso em que o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag[compID] é 1 (verdadeiro), o sinalizador de transformada adaptativa primária apt_flag[compID] em relação ao bloco de transformadas da crominância é definido com base em o sinalizador de transformada primária adaptativa apt.flag[COMPONENT.Y] com relação ao bloco de transformadas de luminância do bloco de transformadas da crominância. Por outro lado, em outros casos (um caso no qual o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag[compID] é 0 (falso)), o valor do sinalizador de transformada primária adaptativa apt.flag[compID] em relação ao bloco de transformadas da crominância é definido como 0 (falso).
[00311] Um exemplo de sintaxe de uma TU nesse caso é ilustrado em A da FIG. 20. A semântica de cada parâmetro é como ilustrada em B da FIG. 20. Além disso, um exemplo de sintaxe de codificação residual incluído na sintaxe de A da FIG. 20 seja ilustrado na FIG. 21. O sinalizador de inferência
Petição 870190056776, de 19/06/2019, pág. 77/305
69/215 de informações de transformada primária adaptativa de crominância chroma_apt_mfo_mfer_flag é decodificada pela unidade de decodificação 111 de acordo com a tabela de sintaxe mostrada na FIG. 21.
[00312] Ou seja, em um caso em que um identificador de sinal de cor compID indica uma crominância, o sinalizador de transformada adaptativa primária apt_flag [COMPONENT_Y] de luminância é 1 (verdadeiro), o sinalizador de salto de transformada ts_flag[compID] do sinal de cor correspondente ao identificador de sinal de cor compID é 0 (falso), e o sinalizador de desvio de quantização de transformada é 0 (falso), o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_mfo_mfer_flag é decodificado. Em um caso de outras condições, infere-se que o valor do sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_mfo_mfer_flag é 0.
[00313] A unidade de decodificação 111 realiza essa decodificação na Etapa S101 da FIG. 12 executando o processo de decodificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância. Um exemplo do fluxo do processo de decodificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância será descrito com referência ao fluxograma da FIG. 22.
[00314] Quando o processo de decodificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância é iniciado, a unidade de decodificação 111 determina se o identificador de sinal de cor compID é de luminância na Etapa S191. Em um caso em que o identificador de sinal de cor compID é determinado como de uma crominância (compID != COMPONENT_Y), o processo prossegue para a Etapa S192. Na Etapa SI92, a unidade de decodificação 111 determina se o sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] de luminância é 1 (verdadeiro). No caso em que o sinalizador de transformada
Petição 870190056776, de 19/06/2019, pág. 78/305
70/215 primária adaptativa apt_flag [COMPONENT_Y] de luminância é determinado como 1 (verdadeiro), o processo prossegue para a Etapa S193.
[00315] Na Etapa S193, a unidade de decodificação 111 determina se o sinalizador de desvio de quantização de transformada transquant_bypass_flag é 1 (verdadeiro). Em um caso em que o sinalizador de desvio de quantização de transformada é determinado como 0 (falso) (! transquant_bypass_flag), o processo prossegue para a Etapa S194. Na Etapa S194, a unidade de decodificação 111 determina se o sinalizador de salto de transformada ts_flag [compID] do sinal de cor correspondente ao identificador de sinal de cor compID é 1 (verdadeiro). Em um caso em que o sinalizador de salto de transformada ts_flag [compID] é determinado como 0 (falso) (! ts_flag[compID]), o processo prossegue para a Etapa S195.
[00316] Na Etapa SI95, a unidade de decodificação 111 decodifica o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag [compID] correspondente ao identificador de sinal de cor compID de uma cadeia de bits dos dados codificados 1 e produz o resultado como parte das informações de transformada Tinfo. Quando o processo da Etapa SI95 termina, o processo de decodificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 12. [00317] Além disso, em um caso em que o identificador de sinal de cor compID é de luminância (compID==COMPONENT_Y) na Etapa S191, o processo prossegue para a Etapa S196. Além disso, em um caso em que o sinalizador de transformada primária adaptativa apt_flag [COMPONENT_Y] de luminância é determinado como 0 (falso) na Etapa SI92 (! apt_flag[COMPONENT_Y]), o processo prossegue para a Etapa S196. Além disso, em um caso em que o sinalizador de desvio de quantização de transformada é determinado como 1 (verdadeiro) (transquant_bypass_flag) na Etapa S193, o processo prossegue para a Etapa S196. Além disso, em um caso
Petição 870190056776, de 19/06/2019, pág. 79/305
71/215 em que o sinalizador de salto de transformada ts_flag[compID] é 1 (verdadeiro) (ts_flag[compID]) na Etapa SI94, o processo prossegue para a Etapa S196.
[00318] Na Etapa S196, a unidade de decodificação 111 omite a decodificação do sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag [compID] correspondente ao identificador de sinal de cor compID e define o valor do sinalizador como 0 (falso) (chroma_apt_mfo_mfer_flag[compID] = 0). Quando o processo da Etapa SI96 termina, o processo de decodificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 12.
[00319] A unidade de derivação de informações de transformada primária adaptativa de crominância 131 realiza o processo de derivação de informações de transformada primária adaptativa de crominância usando o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag [compID] decodificado ou definido como descrito acima. Um exemplo do fluxo do processo de derivação de informações de transformada primária adaptativa de crominância do caso será descrito com referência ao fluxograma da FIG. 23. Esse fluxograma corresponde ao fluxograma da FIG. 15. Nesse caso, quando o processo de derivação de informações de transformada primária adaptativa de crominância é iniciado, a unidade de derivação de apt_flag 151 determina se o valor do sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_mfo_mfer_flag [compID] é verdadeiro na Etapa S201. Em um caso em que é determinado que é verdadeiro, o processo prossegue para a Etapa S202. Além disso, em um caso em que o valor do sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_mfo_mfer_flag [compID] é determinado como falso na Etapa S201, o processo prossegue para a Etapa
Petição 870190056776, de 19/06/2019, pág. 80/305
72/215
S203.
[00320] Cada um dos processos da Etapa S202 à Etapa S206 é executado de forma similar a cada um dos processos da Etapa S183 à Etapa S187 da FIG. 19. Dessa forma, quando o processo da Etapa S205 ou Etapa S206 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
[00321] Se as informações de transformada primária adaptativa de luminância devem ou não ser aplicadas a uma crominância pode ser explicitamente controlado com base no sinalizador de inferência de informações de transformada primária adaptativa de crominância em relação a sinais que mostram tendências de diferença em resíduo de luminância e resíduo da crominância. Portanto, a transformada primária adaptativa pode ser aplicada à crominância com maior eficiência do que no caso da FIG. 15, e assim a eficiência de codificação pode ser melhorada.
<Exemplo modificado 5>
[00322] Além disso, a derivação do sinalizador de transformada primária adaptativa de uma crominância pode ser limitada a um caso em que o tamanho de um lado curto de um bloco de transformadas da crominância é maior que ou igual a um valor limite predeterminado. Por exemplo, o sinalizador de transformada primária adaptativa apt_flag[compID] (complD=COMPONET_Cb ou COMPONENT_Cr) em relação a um bloco de transformadas de uma crominância a ser processado pode ser definido com base no sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] em relação a um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância e ao tamanho do lado curto do bloco de transformadas da crominância conforme ilustrado na seguinte fórmula (22).
[00323] if ( min (log2TBWSize, log2TBHSize) >= TH ) { [00324] apt_flag[compID] = apt.flag [COMPONENT. Y]
Petição 870190056776, de 19/06/2019, pág. 81/305
73/215 [00325] } else { [00326] apt_flag [compID] = 0 [00327] } [00328] ...(22) [00329] Ou seja, em um caso em que o tamanho do lado curto do bloco de transformadas da crominância é maior que ou igual ao valor limite (min (log2TBWSize, log2TBHSize) >=TH), o sinalizador de transformada adaptativa primária apt_flag [compID] em relação ao bloco de transformadas da crominância é definido com base em o sinalizador de transformada primária adaptativa apt_flag [COMPONENT-Y] com relação ao bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância. Por outro lado, em outros casos (um caso no qual o tamanho do lado curto do bloco de transformadas da crominância é menor que o valor limite), o valor do sinalizador de transformada primária adaptativa apt_flag [compID] em relação ao bloco de transformadas da crominância é definido como 0 (falso).
[00330] Um exemplo do fluxo do processo de derivação de informações de transformada primária adaptativa de crominância desse caso será descrito com referência ao fluxograma da FIG. 24. Esse fluxograma corresponde ao fluxograma da FIG. 15. Nesse caso, quando o processo de derivação de informações de transformada primária adaptativa de crominância é iniciado, a unidade de derivação de apt_flag 151 determina se o tamanho de um lado curto de um bloco de transformadas a ser processado (min (log2TBWSize, log2TBHSize)) é maior que ou igual a um valor limite predeterminado TH na Etapa S211. Em um caso em que o tamanho do lado curto do bloco de transformadas a ser processado é determinado como maior que ou igual ao valor limite predeterminado (min (log2TBWSize, log2TBHSize) >= TH), o processo prossegue para a Etapa S212. Além disso, em um caso em que o tamanho do lado curto do bloco de transformadas a ser
Petição 870190056776, de 19/06/2019, pág. 82/305
74/215 processado é determinado como menor que o valor limite predeterminado (min (log2TBWSize, log2TBHSize) < TH) na Etapa S211, o processo prossegue para a Etapa S213.
[00331] Cada um dos processos da Etapa S212 à Etapa S216 é executado de forma similar a cada um dos processos da Etapa S202 à Etapa S206 da FIG. 23. Dessa forma, quando o processo da Etapa S215 ou Etapa S216 termina, o processo de derivação de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 14.
[00332] No caso em que o tamanho do lado curto do bloco de transformadas da crominância é menor que o valor predeterminado (por exemplo, 4), mesmo se uma transformada primária adaptativa de DST7/DST-1/DCT-5/DCT-8 ou similar para um tamanho igual ao tamanho do lado curto for aplicada ao lado curto, a faixa de melhoria da eficiência de codificação é pequena. Por essa razão, ao não aplicar a transformada primária adaptativa em um caso em que o tamanho do lado curto do bloco de transformadas da crominância é menor que o valor predeterminado, uma escala de circuito em relação à transformada usada na transformada primária adaptativa para um tamanho menor do que o valor predeterminado pode ser reduzida enquanto se mitiga uma diminuição na eficiência de codificação.
<Exemplo modificado 6>
[00333] Além disso, é possível selecionar o tipo de transformada da transformada horizontal primária inversa IPhor e da transformada vertical primária inversa IPver usando os tamanhos da altura da gravura e a largura da gravura de um bloco de transformadas de uma crominância. Por exemplo, embora tenha sido descrito acima que a unidade de seleção de transformada primária inversa 132 determina o tipo de uma transformada ortogonal a ser aplicada a uma transformada inversa de cada direção com base na tabela de correspondência de conjuntos de transformadas e tipos de transformada (LUT_TrSetToTrTypeIdx) mostrada na FIG. 1, um conjunto de transformadas
Petição 870190056776, de 19/06/2019, pág. 83/305
75/215 {horizontais, verticais} primárias TrSet{H,V}, e um sinalizador de especificação de transformada {horizontal, vertical} primária pt_{hor,ver}_flag, a tecnologia não está limitada a isso. Por exemplo, em um caso de um bloco de transformadas de uma crominância, o tipo de transformada de cada direção pode ser determinado adicionalmente com referência ao tamanho do bloco de transformadas da crominância.
[00334] Em um caso em que a largura da gravura do bloco de transformadas da crominância (aqui, um valor logarítmico da largura da gravura log2TBWSize) é igual a ou menor que um valor limite TH na Etapa S144 da FIG. 16 como ilustrado na seguinte fórmula (23), por exemplo, o tipo de transformada TrTypeldxH da transformada horizontal primária (inversa) pode ser definido para um tipo de transformada predeterminado (DCT-2), e em outros casos, o tipo de transformada TrTypeldxH da transformada horizontal primária (inversa) pode ser definido com base no conjunto de transformadas horizontais TrSetH e no sinalizador de especificação de transformada horizontal primária pt_hor_flag. Deve-se observar que, na fórmula (23), um exemplo específico do valor limite TH pode ser definido como, por exemplo, 1 ou 2. Deve-se observar que, na fórmula (23), o valor logarítmico log2TBWSize da largura de gravura do bloco de transformadas pode ser substituído por uma largura de gravura TBW. Nesse caso, um valor limite TH’ é definido como 1«TH.
[00335] if (compID==COMPONENT_Y ) { [00336] TrTypeldxH = LUT_TrSetToTrTypeIdx[ TrSetH ][ pt_hor_flag ] [00337] } else if (log2TBWSize<=TH) { [00338] TrTypeldxH = valor predeterminado (definido como o valor do tipo de transformada indicando DCT-II) [00339] } else { [00340] TrTypeldxH = LUT_TrSetToTrTypeIdx[ TrSetH ][
Petição 870190056776, de 19/06/2019, pág. 84/305
76/215 pt_hor_flag ] [00341] } [00342] ...(23) [00343] Um exemplo do fluxo do processo de derivação de tipo de transformada horizontal primária executado na Etapa SI44 da FIG. 16 como descrito acima será descrito com referência ao fluxograma da FIG. 25. Quando o processo de derivação de tipo de transformada horizontal primária é iniciado, a unidade de seleção de transformada primária inversa 132 determina se o objeto de processamento é ou não um bloco de transformadas de luminância na Etapa S221. Em um caso em que o objeto de processamento é determinado como um bloco de transformadas de uma crominância, o processo prossegue para a Etapa S222. Na Etapa S222, a unidade de seleção de transformada primária inversa 132 determina se a largura da gravura do bloco de transformadas da crominância (o valor logarítmico log2TBWSize da largura da gravura) é igual a ou menor que o valor limite TH. Em um caso em que a largura da gravura do bloco de transformadas da crominância é determinado como maior que o valor limite predeterminado (log2TBWSize > TH), o processo prossegue para a Etapa S223. Além disso, em um caso em que o objeto de processamento é determinado como um bloco de transformadas de luminância na Etapa S221, o processo prossegue para a Etapa S223.
[00344] Na Etapa S223, a unidade de seleção de transformada primária inversa 132 define o tipo de transformada TrTypeldxH da transformada horizontal primária (inversa) com base na tabela de correspondência de conjuntos de transformada e tipos de transformada (LUT_TrSetToTrTypeIdx) mostrada na FIG. 1, o conjunto de transformadas horizontais primárias TrSetH e o sinalizador de especificação de transformada horizontal primária pt_hor_flag. Quando o processo da Etapa S223 termina, o processo de derivação de tipo de transformada horizontal primária de crominância termina
Petição 870190056776, de 19/06/2019, pág. 85/305
77/215 e o processo regressa à FIG. 16.
[00345] Além disso, em um caso em que a largura da gravura do bloco de transformadas da crominância é determinado como igual a ou menor que o valor limite predeterminado (log2TBWSize <= TH) na Etapa S222, o processo prossegue para a Etapa S224. Na Etapa S224, a unidade de seleção de transformada primária inversa 132 define o tipo de transformada TrTypeldxH da transformada horizontal primária (inversa) como um valor predeterminado. Quando o processo da Etapa S224 termina, o processo de derivação de tipo de transformada horizontal primária de crominância termina e o processo regressa à FIG. 16.
[00346] O mesmo também se aplica à direção vertical. Em um caso em que a altura da gravura do bloco de transformadas da crominância (aqui, um valor logarítmico da altura da gravura log2TBHSize) é igual a ou menor que o valor limite TH na Etapa S145 da FIG. 16 como ilustrado na seguinte fórmula (24), por exemplo, o tipo de transformada predeterminado (DCT-2) pode ser definido como o tipo de transformada TrTypeldxV da transformada vertical primária (inversa) e, em outros casos, o tipo de transformada TrTypeldxV da transformada vertical primária (inversa) pode ser definida com base no identificador de conjunto de transformadas verticais TrSetV e no sinalizador de especificação de transformada vertical primária pt_ver_flag. Deve-se observar que, na fórmula (24), um exemplo específico do valor limite TH pode ser definido como, por exemplo, 1 ou 2. Além disso, na fórmula (24), o valor logarítmico log2TBHSize da altura de gravura do bloco de transformadas pode ser substituído por uma altura de gravura TBH. Nesse caso, um valor limite TH’ é definido como 1«TH.
[00347] if (compID==COMPONENT_Y ) { [00348] TrTypeldxV = LUT_TrSetToTrTypeIdx[ TrSetV ][ pt_ver_flag ] [00349] } else if (log2TBHSize<=TH) {
Petição 870190056776, de 19/06/2019, pág. 86/305
78/215 [00350] TrTypeldxV = valor predeterminado (um valor do tipo de transformada indicando DCT-II é definido) [00351] } else { [00352] TrTypeldxV = LUT_TrSetToTrTypeIdx[ TrSetV ][ pt_ver_flag ] [00353] } [00354] ...(24) [00355] Um exemplo do fluxo do processo de derivação de tipo de transformada vertical primária executado na Etapa S145 da FIG. 16 como descrito acima será descrito com referência ao fluxograma da FIG. 26. Quando o processo de derivação de tipo de transformada vertical primária é iniciado, a unidade de seleção de transformada primária inversa 132 determina se o objeto de processamento é ou não um bloco de transformadas de luminância na Etapa S231. Em um caso em que o objeto de processamento é determinado como um bloco de transformadas de uma crominância, o processo prossegue para a Etapa S232. Na Etapa S232, a unidade de seleção de transformada primária inversa 132 determina se a altura da gravura do bloco de transformadas da crominância (o valor logarítmico log2TBHSize da altura da gravura) é igual a ou menor que o valor limite TH. Em um caso em que a altura da gravura do bloco de transformadas da crominância é determinado como maior que o valor limite predeterminado (log2TBHSize > TH), o processo prossegue para a Etapa S233. Além disso, em um caso em que o objeto de processamento é determinado como um bloco de transformadas de luminância na Etapa S231, o processo prossegue para a Etapa S233.
[00356] Na Etapa S233, a unidade de seleção de transformada primária inversa 132 define o tipo de transformada TrTypeldxV da transformada vertical primária (inversa) com base na tabela de correspondência de conjuntos de transformada e tipos de transformada (LUT_TrSetToTrTypeIdx)
Petição 870190056776, de 19/06/2019, pág. 87/305
79/215 mostrada na FIG. 1, o conjunto de transformadas verticais primárias TrSetV e o sinalizador de especificação de transformada vertical primária pt_ver_flag. Quando o processo da Etapa S233 termina, o processo de derivação de tipo de transformada vertical primária de crominância termina e o processo regressa à FIG. 16.
[00357] Além disso, em um caso em que a largura da gravura do bloco de transformadas da crominância é determinado como igual a ou menor que o valor limite predeterminado (log2TBHSize <= TH) na Etapa S232, o processo prossegue para a Etapa S234. Na Etapa S234, a unidade de seleção de transformada primária inversa 132 define o tipo de transformada TrTypeldxV da transformada vertical primária (inversa) como um valor predeterminado. Quando o processo da Etapa S234 termina, o processo de derivação de tipo de transformada vertical primária de crominância termina e o processo regressa à FIG. 16.
[00358] Em um caso em que a largura da gravura (altura da gravura) do bloco de transformadas da crominância é menor que o valor predeterminado (por exemplo, 4), há uma pequena diferença na eficiência de codificação entre DST-7/DST-1/DCT-5/DCT-8 e DCT-2 como uma transformada horizontal (vertical) primária (inversa). Portanto, ao selecionar uma transformada ortogonal predeterminada (DCT-2) como uma transformada horizontal (vertical) primária (inversa) no caso em que a largura da gravura (altura da gravura) do bloco de transformadas da crominância é menor que o valor predeterminado (por exemplo, 4), uma escala de circuito em relação à transformada ortogonal usada na transformada primária adaptativa para um tamanho menor que o valor predeterminado pode ser reduzida.
<3. Segunda modalidado [00359] <ts_flag>
[00360] Deve-se observar que, embora os exemplos do sinalizador de
Petição 870190056776, de 19/06/2019, pág. 88/305
80/215 transformada primária adaptativa apt.flag e do identificador de transformada primária pt_idx tenham sido descritos como informações referentes à transformada ortogonal (inversa) na primeira modalidade, detalhes das informações sobre a transformada ortogonal (inversa) são arbitrários e não estão limitados aos parâmetros. Por exemplo, um sinalizador de salto de transformada ts_flag indicando se o processo de transformada ortogonal (inversa) deve ser saltado pode ser incluído como ilustrado na tabela da FIG.
6. Ao derivar cada um de sinalizador de salto de transformada ts_flag[Cb] de uma crominância (Cb) e um sinalizador de salto de transformada ts_flag[Cr] de uma crominância (Cr) com base em um sinalizador de salto de transformada ts_flag[Y] de luminância, por exemplo , um aumento na sobrecarga da quantidade de código da sintaxe sinalizada pela crominância (Cb/Cr) também pode ser refreado.
[00361] A descrição do sinalizador será provida adicionalmente com referência à tabela da FIG. 27. Na técnica relacionada, um sinalizador de salto de transformada ts_flag de uma crominância é transmitido (sinalizado) de um lado de codificação para um lado de decodificação, como indicado na linha n° 0. Se os sinalizadores de salto de transformada ts_flag não apenas de luminância, mas também de uma crominância forem explicados codificados como descrito acima, há preocupação com o aumento da quantidade de código e a deterioração da eficiência de codificação. Nesse caso, o lado de codificação também deve realizar as configurações e a codificação do sinalizador de salto de transformada ts_flag para cada um dos sinais (Y, Cb e Cr) e, portanto, também há preocupação com o aumento da quantidade de processamento. Além disso, o lado de decodificação deve decodificar o sinalizador de salto de transformada ts_flag para cada um dos sinais (Y, Cb e Cr) e, portanto, há uma preocupação com o aumento da quantidade de processamento.
[00362] Assim, o sinalizador de salto de transformada ts_flag de uma
Petição 870190056776, de 19/06/2019, pág. 89/305
81/215 crominância é inferido do sinalizador de salto de transformada ts_flag da luminância em todos os momentos, por exemplo, conforme indicado na linha n° 1. Por exemplo, um valor do sinalizador de salto de transformada ts_flag [compID] de uma crominância pode ser definido como um valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância. Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts_flag da crominância pode ser omitida, e assim a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
[00363] Além disso, em um caso no qual o tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição, por exemplo, conforme indicado na linha n° 2, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT-Y] da luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição, o sinalizador de salto de transformada ts_flag [compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir de dados codificados). Dessa maneira, o valor do sinalizador de salto de transformada ts_flag de luminância pode ser usado apenas em um caso do modo de interpredição no qual os sinais residuais do mesmo mostram tendências similares, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00364] Além disso, em um caso no qual o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, por exemplo, conforme indicado na linha n° 3, ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, o valor do sinalizador de salto de transformada ts_flag[compID]
Petição 870190056776, de 19/06/2019, pág. 90/305
82/215 da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT_Y] da luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados). Dessa maneira, o valor do sinalizador de salto de transformada ts_flag de luminância pode ser usado apenas no caso do modo de predição no qual os sinais residuais do mesmo mostram tendências similares, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00365] Além disso, em um caso no qual o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, por exemplo, conforme indicado na linha n° 4, ou intrapredição do qual o modo de predição é cópia intrabloco, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] da luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados). Dessa maneira, o valor do sinalizador de salto de transformada ts_flag de luminância pode ser usado apenas no caso do modo de predição no qual os sinais residuais do mesmo mostram tendências similares, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00366] Além disso, em um caso no qual o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag que indica se o sinalizador de salto de
Petição 870190056776, de 19/06/2019, pág. 91/305
83/215 transformada ts_flag[compID] da crominância deve ser inferido com base no sinalizador de salto de transformada ts_fl agf COMPONENT-Y] de luminância é 1 (verdadeiro), por exemplo, como indicado na linha n° 5, o valor do sinalizador de salto de transformada ts_flag[copmID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT-Y] de luminância, e em um caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag é 0 (falso), o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados). Dessa maneira, é possível controlar explicitamente se o valor do sinalizador de salto de transformada de luminância deve ou não ser usado usando o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag. Portanto, é possível fazer facilmente com que o valor do sinalizador de salto de transformada de luminância seja usado apenas em um caso em que um efeito suficientemente grande pode ser obtido e, assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00367] Deve-se observar que cada um dos casos descritos acima pode ser arbitrariamente combinado de forma similar ao caso da FIG. 7. Dessa maneira, os efeitos obtidos em cada um dos casos podem ser exibidos. Além disso, cada um dos casos descritos acima também pode ser combinado com outros casos que não estejam descritos acima.
<Exemplo básico 1>
[00368] O sinalizador de salto de transformada ts_flag da crominância pode ser inferido do sinalizador de salto de transformada ts_flag da luminância em todos os momentos como descrito com referência à linha n° 1 da FIG. 27. Um exemplo de sintaxe de residual_coding desse caso é ilustrado
Petição 870190056776, de 19/06/2019, pág. 92/305
84/215 na FIG. 28. Nesse caso, “compID == COMPONENT_Y” é incluído na condição para sinalizar o sinalizador de salto de transformada ts_flag como ilustrado na FIG. 28. Em outras palavras, no caso da crominância (compID != COMPONENT_Y), a configuração é executada usando o sinalizador de salto de transformada de luminância sem sinalizar o sinalizador de salto de transformada ts_flag.
[00369] Nesse caso, a unidade de decodificação 111 define o sinalizador de salto de transformada ts_flag[compID] da crominância, executando um processo de derivação de sinalizador de salto de transformada. Um exemplo do fluxo do processo de derivação de sinalizador de salto de transformada será descrito com referência ao fluxograma da FIG. 29.
[00370] Quando o processo de derivação de sinalizador de salto de transformada é iniciado, a unidade de decodificação 111 determina se o sinalizador habilitado de sinalizador de salto de transformada ts_enabled_flag é verdadeiro na Etapa S241. Em um caso em que o sinalizador habilitado de sinalizador de salto de transformada ts_enabled_flag é determinado como verdadeiro, o processo prossegue para a Etapa S242. Na Etapa S242, a unidade de decodificação 111 determina se o sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é falso. Em um caso em que o sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é falso, o processo prossegue para a Etapa S243. Na Etapa S243, a unidade de decodificação 111 determina se o tamanho do bloco de transformadas a ser processado é igual a ou menor que um tamanho máximo de bloco de salto de transformada. Em um caso em que o tamanho é determinado como igual a ou menor que o tamanho máximo do bloco de salto de transformada, o processo prossegue para a Etapa S244.
[00371] Na Etapa S244, a unidade de decodificação 111 determina se o objeto de processamento é ou não uma crominância (compID != COMPONENT_Y). Em um caso em que o objeto de processamento é
Petição 870190056776, de 19/06/2019, pág. 93/305
85/215 determinado como uma crominância (compID != COMPONENT_Y), o processo prossegue para a Etapa S245. Na Etapa S245, a unidade de decodificação 111 define um valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância para um valor do sinalizador de salto de transformada ts_flag[compID] da crominância. Quando o processo da Etapa S245 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00372] Além disso, em um caso em que o objeto de processamento é determinado como luminância (compID == COMPONENT_Y) na Etapa S244, o processo prossegue para a Etapa S246. Uma vez o sinalizador de salto de transformada ts_flag[compID] de luminância é sinalizado, a unidade de decodificação 111 decodifica os dados codificados e, desse modo, obtém o sinalizador de salto de transformada ts_flag[compID] de luminância na Etapa S246. Quando o processo da Etapa S246 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00373] Deve-se observar que, em um caso em que o sinalizador habilitado de sinalizador de salto de transformada ts_enabled_flag é determinado como falso na Etapa S241, um caso no qual o sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é determinado como verdadeiro na Etapa S242, ou um caso em que o tamanho do bloco de transformadas do objeto de processamento é determinado como maior que o tamanho máximo do bloco de salto de transformada na Etapa S243, o processo de derivação de sinalizador de salto de transformada termina.
[00374] Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts_flag da crominância pode ser omitida, e assim a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação pode ser refreado. [00375] <Exemplo modificado 1>
Petição 870190056776, de 19/06/2019, pág. 94/305
86/215 [00376] Como descrito com referência à linha n° 2 da FIG. 27, no caso no qual o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT-Y] da luminância, e no caso em que o tipo de predição do bloco de codificação é intrapredição, o sinalizador de salto de transformada ts_flag [compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00377] Um exemplo de sintaxe de residual_coding desse caso é ilustrado na FIG. 30. Nesse caso, “&& (CuPreMode == MODE_INTRA II CuPreMode == MODEJNTER && compID == COMPONENT_Y)” é incluído na condição para sinalizar o sinalizador de salto de transformada ts_flag como ilustrado na FIG. 30. Ou seja, mesmo que o modo de predição seja intrapredição ou o modo de predição seja interpredição, o sinalizador de salto de transformada ts_flag é sinalizado no caso de luminância. Em outras palavras, o sinalizador de salto de transformada ts_flag não é sinalizado apenas no caso em que o modo de predição para a crominância é interpredição. Ou seja, nesse caso, o sinalizador de salto de transformada ts_flag é definido usando o sinalizador de salto de transformada ts_flag de luminância.
[00378] Um exemplo do fluxo do processo de derivação de sinalizador de salto de transformada desse caso será descrito com referência ao fluxograma da FIG. 31. Cada um dos processos da Etapa S251 à Etapa S254 é executado de forma similar a cada um dos processos da Etapa S241 à Etapa S244 da FIG. 29.
[00379] Na Etapa S255, a unidade de decodificação 111 determina adicionalmente se o modo de predição é interpredição ou não. Em um caso
Petição 870190056776, de 19/06/2019, pág. 95/305
87/215 em que o modo de predição é determinado como interpredição (CuPredMode == MODE.INTER), o processo prossegue para a Etapa S256. Além disso, em um caso em que o modo de predição é determinado como intrapredição (CuPredMode == MODE.INTRA), o processo prossegue para a Etapa S257. [00380] O processo da Etapa S256 é executado de modo similar ao processo da Etapa S245 da FIG. 29. Ou seja, a unidade de decodificação 111 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts.flag[COMPONENT.Y] de luminância. Quando o processo da Etapa S256 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00381] Além disso, o processo da Etapa S257 é executado de modo similar ao processo da Etapa S246 da FIG. 29. Ou seja, a unidade de decodificação 111 decodifica os dados codificados e assim obtém o sinalizador de salto de transformada sinalizado ts.flag[compID]. Quando o processo da Etapa S257 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00382] Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts.flag da crominância pode ser omitida usando o valor do sinalizador de salto de transformada ts.flag de luminância somente no caso do modo de interpredição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 2>
[00383] No caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição conforme descrito com referência à linha n° 3 da FIG. 27, ou intrapredição em que os modos de predição para luminância e a crominância correspondem um
Petição 870190056776, de 19/06/2019, pág. 96/305
88/215 ao outro, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT_Y] de luminância, no caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00384] Um exemplo de sintaxe de residual_coding nesse caso é ilustrado na FIG. 32. Como ilustrado na FIG. 32, “&& (CuPreMode == MODE.INTRA && compID == COMPONENT. Y II CuPreMode == MODE.INTRA && compID != COMPONENT.Y && IntraPredModeY != IntraPredModeC CuPredMode == MODE.INTER && compID == COMPONENT.Y)” está incluído na condição para sinalizar o sinalizador de salto de transformada ts.flag nesse caso. Ou seja, independentemente de o sinalizador ser de luminância ou crominância, o sinalizador de salto de transformada ts.flag é sinalizado no caso em que o tipo de predição é intrapredição em que os modos de predição de luminância e de crominância não correspondem um ao outro. Em outras palavras, somente em um caso em que o tipo de predição é interpredição para uma crominância ou intrapredição para a crominância em que os modos de predição para luminância e a crominância correspondem um ao outro, o sinalizador de salto de transformada ts.flag não é sinalizado. Ou seja, o sinalizador de salto de transformada ts.flag é definido usando o sinalizador de salto de transformada ts.flag de luminância nesse caso.
[00385] Um exemplo do fluxo do processo de derivação de sinalizador de salto de transformada nesse caso será descrito com referência ao fluxograma da FIG. 33. Cada um dos processos da Etapa S261 à Etapa S265 é executado de forma similar a cada um dos processos da Etapa S251 à Etapa
Petição 870190056776, de 19/06/2019, pág. 97/305
89/215
S255 da FIG. 31.
[00386] Em um caso em que o tipo de predição é determinado como intrapredição na Etapa S265, o processo prossegue para a Etapa S266. Na Etapa S266, a unidade de decodificação 111 determina se os modos de predição para luminância e a crominância correspondem um ao outro ou não. Em um caso em que os modos de predição são determinados como correspondentes um ao outro como interpredição (IntraPredModeY == IntraPredModeC), o processo prossegue para a Etapa S267. Além disso, em um caso em que os modos de predição são determinados como não correspondentes um ao outro, o processo prossegue para a Etapa S268.
[00387] O processo da Etapa S267 é executado de modo similar ao processo da Etapa S256 da FIG. 31. Ou seja, a unidade de decodificação 111 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts.flag [COMPONENT. Y] de luminância. Quando o processo da Etapa S267 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00388] Além disso, o processo da Etapa S268 é executado de modo similar ao processo da Etapa S257 da FIG. 31. Ou seja, a unidade de decodificação 111 decodifica os dados codificados e assim obtém o sinalizador de salto de transformada sinalizado ts_flag[compID]. Quando o processo da Etapa S268 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00389] Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts.flag da crominância pode ser omitido usando o valor do sinalizador de salto de transformada ts.flag de luminância somente no caso do modo de predição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e
Petição 870190056776, de 19/06/2019, pág. 98/305
90/215 decodificação também pode ser refreado.
<Exemplo modificado 3>
[00390] No caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição conforme descrito com referência à linha n° 4 da FIG. 27, ou intrapredição do qual o modo de predição é cópia intrabloco, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT_Y] de luminância, no caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00391] Um exemplo de sintaxe de residual_coding nesse caso é ilustrado na FIG. 34. Como ilustrado na FIG. 34, “&& (CuPreMode == MODE.INTRA && compID == COMPONENT.Y II CuPreMode == MODE.INTRA && compID != COMPONENT.Y && IntraPredModeY != IntraBC CuPredMode == MODE.INTER && compID == COMPONENT.Y)” está incluído na condição para sinalizar o sinalizador de salto de transformada ts.flag nesse caso. Ou seja, independentemente de o sinalizador ser de luminância ou crominância, o sinalizador de salto de transformada ts.flag é sinalizado no caso em que o tipo de predição é intrapredição do qual o modo de predição não é cópia intrabloco. Em outras palavras, somente em um caso em que o tipo de predição é interpredição para uma crominância ou intrapredição para a crominância em que o modo de predição é cópia intrabloco, o sinalizador de salto de transformada ts.flag não é sinalizado. Ou seja, o sinalizador de salto de transformada ts.flag é definido usando o sinalizador de salto de transformada ts.flag de luminância nesse caso.
Petição 870190056776, de 19/06/2019, pág. 99/305
91/215 [00392] Um exemplo do fluxo do processo de derivação de sinalizador de salto de transformada nesse caso será descrito com referência ao fluxograma da FIG. 35. Cada um dos processos da Etapa S271 à Etapa S275 é executado de forma similar a cada um dos processos da Etapa S261 à Etapa S265 da FIG. 33.
[00393] Em um caso em que o tipo de predição é determinado como intrapredição na Etapa S275, o processo prossegue para a Etapa S276. Na Etapa S276, a unidade de decodificação 111 determina se o modo de predição é cópia intrabloco. Em um caso em que o modo de predição é determinado como cópia intrabloco (IntraPredModeY == IntraBC), o processo prossegue para a Etapa S277. Além disso, em um caso em que o modo de predição é determinado como cópia intrabloco, o processo prossegue para a Etapa S278.
[00394] O processo da Etapa S277 é executado de modo similar ao processo da Etapa S267 da FIG. 33. Ou seja, a unidade de decodificação 111 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts_flag[COMPONENT-Y] de luminância. Quando o processo da Etapa S277 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00395] Além disso, o processo da Etapa S278 é executado de modo similar ao processo da Etapa S268 da FIG. 33. Ou seja, a unidade de decodificação 111 decodifica os dados codificados e assim obtém o sinalizador de salto de transformada sinalizado ts_flag[compID]. Quando o processo da Etapa S278 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00396] Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts_flag da crominância pode ser omitido usando o valor do sinalizador de salto de transformada ts_flag de luminância somente no caso do modo de predição no qual as tendências dos sinais
Petição 870190056776, de 19/06/2019, pág. 100/305
92/215 residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 4>
[00397] No caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_info_infer_flag é 1 (verdadeiro) como descrito com referência à linha n° 5 da FIG. 27, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag [COMPONENT. Y] da luminância, e no caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_info_infer_flag é 0 (falso), o sinalizador de salto de transformada ts_flag [compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00398] Um exemplo de sintaxe de uma unidade de transformada nesse caso é ilustrado na FIG. 36. Como ilustrado na FIG. 36, um sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_info_infer_flag é definido. Além disso, um exemplo de sintaxe de residual_coding é ilustrado na FIG. 37. Como ilustrado na FIG. 37, “&& compID != COMPONENT-Y && !chroma_ts_info_infer_flag” é incluído na condição para sinalizar o sinalizador de salto de transformada ts_flag nesse caso. Ou seja, independentemente de o sinalizador ser de luminância ou uma crominância, o sinalizador de salto de transformada ts_flag é sinalizado em um caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_info_infer_flag é falso. Em outras palavras, apenas em um caso em que o sinalizador é de uma crominância e o sinalizador de inferência de informações de salto de transformada de crominância
Petição 870190056776, de 19/06/2019, pág. 101/305
93/215 chroma_ts_info_info_infer_flag é verdadeiro, o sinalizador de salto de transformada ts_flag não é sinalizado. Ou seja, o sinalizador de salto de transformada ts_flag é definido usando o sinalizador de salto de transformada ts_flag de luminância nesse caso.
[00399] Um exemplo do fluxo do processo de derivação de sinalizador de salto de transformada nesse caso será descrito com referência ao fluxograma da FIG. 38. Cada um dos processos da Etapa S281 à Etapa S283 é executado de forma similar a cada um dos processos da Etapa S241 à Etapa S245 da FIG. 29.
[00400] Na Etapa S284, a unidade de decodificação 111 determina se o objeto de processamento é uma crominância e o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag é verdadeiro. Em um caso em que o sinalizador é determinado como de uma crominância e verdadeiro, o processo prossegue para a Etapa S285. Além disso, em um caso em que o objeto de processamento é determinado como luminância ou o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag é determinado como falso na Etapa S284, o processo prossegue para a Etapa S286.
[00401] O processo da Etapa S285 é executado de modo similar ao processo da Etapa S245 da FIG. 29. Ou seja, a unidade de decodificação 111 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts_flag[COMPONENT-Y] de luminância. Quando o processo da Etapa S285 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00402] Além disso, o processo da Etapa S286 é executado de modo similar ao processo da Etapa S246 da FIG. 29. Ou seja, a unidade de decodificação 111 decodifica os dados codificados e assim obtém o
Petição 870190056776, de 19/06/2019, pág. 102/305
94/215 sinalizador de salto de transformada sinalizado ts.flag[compID]. Quando ο processo da Etapa S286 termina, o processo de derivação de sinalizador de salto de transformada termina.
[00403] Dessa maneira, se o valor do sinalizador de salto de transformada de luminância deve ou não ser usado pode ser explicitamente controlado usando o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag. Portanto, é possível fazer facilmente com que o valor do sinalizador de salto de transformada de luminância usado apenas em um caso em que um efeito suficientemente grande possa ser obtido e, assim a deterioração na eficiência de codificação pode ser ainda mais refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<4. Terceira modalidado [00404] <st_idx>
[00405] Além disso, como informação referente a uma transformada ortogonal (inversa), por exemplo, um identificador de transformada secundária st.idx indicando qual a transformada secundária (inversa) deve ser aplicada pode ser incluído como mostrado na tabela da FIG. 6. Ao derivar um identificador de transformada secundária chroma_st_idx de uma crominância (comum para Cb e Cr) com base em um identificador de transformada secundária st_idx[Y] de luminância, por exemplo, um aumento na sobrecarga da quantidade de código da sintaxe pela qual a crominância (Cb ou Cr) é sinalizada também pode ser refreado.
[00406] Uma descrição adicional será provida com referência à tabela da FIG. 39. Na técnica relacionada, o identificador de transformada secundária st.idx de uma crominância também é transmitido (sinalizado) do lado de decodificação para o lado de codificação, como indicado na linha n° 0. A FIG. 40 é um exemplo de sintaxe de uma TU na técnica relacionada. Como é indicado na sintaxe da FIG. 40, o identificador de transformada secundária
Petição 870190056776, de 19/06/2019, pág. 103/305
95/215 chroma_st_idx da crominância também é sinalizado. Se o identificador de transformada secundária st_idx for explicitamente codificado não apenas para a luminância, mas também para a crominância, há preocupação com a quantidade de código que aumenta a deterioração da eficiência da codificação. Além disso, nesse caso, o lado de codificação deve realizar as configurações e a codificação do identificador de transformada secundária st_idx para cada um dos sinais (Y, Cb e Cr) e, portanto, há preocupação com o aumento da quantidade de processamento. Além disso, o lado de decodificação deve decodificar o identificador de transformada secundária st_idx para cada um dos sinais (Y, Cb e Cr) e, portanto, há uma preocupação com o aumento da quantidade de processamento.
[00407] Assim, o identificador de transformada secundária chroma_st_idx da crominância é inferido do identificador de transformada secundária st_idx da luminância em todos os momentos, por exemplo, conforme indicado na linha n° 1. Por exemplo, o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st_idx de luminância. Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_st_idx da crominância pode ser omitida, e assim a sobrecarga da quantidade de código pode ser reduzida e a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
[00408] Além disso, em um caso no qual o tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição, conforme indicado na linha n° 2, por exemplo, o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st_idx da luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição, o identificador de transformada
Petição 870190056776, de 19/06/2019, pág. 104/305
96/215 secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados). Dessa maneira, o valor do identificador de transformada secundária st.idx de luminância pode ser usado apenas no caso do modo de interpredição no qual as tendências dos sinais residuais do mesmo são similares, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00409] Além disso, em um caso no qual o tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição, por exemplo, conforme indicado na linha n° 3, ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st.idx da luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados). Dessa maneira, o valor do identificador de transformada secundária st.idx de luminância pode ser usado apenas no caso do modo de predição no qual as tendências dos sinais residuais do mesmo são similares, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00410] Além disso, em um caso no qual o tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição, por exemplo, conforme indicado na linha n° 4, ou intrapredição do qual o modo de predição é cópia intrabloco, o valor do identificador de transformada secundária chroma_st_idx da crominância pode
Petição 870190056776, de 19/06/2019, pág. 105/305
97/215 ser definido como o valor do identificador de transformada secundária st_idx da luminância, e em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados). Dessa maneira, o valor do identificador de transformada secundária st_idx de luminância pode ser usado apenas no caso do modo de predição no qual as tendências dos sinais residuais do mesmo são similares, e assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00411] Além disso, por exemplo, em um caso no qual um sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag que indica se o identificador de transformada secundária chroma_st_idx da crominância deve ser inferido com base no identificador de transformada secundária st_idx de luminância é 1 (verdadeiro), o valor do identificador de transformada secundária st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st_idx de luminância, e em um caso em que o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag é 0 (falso), o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados) como indicado na linha n° 5. Dessa maneira, se o valor do identificador de transformada secundária st_idx de luminância deve ou não ser usado pode ser explicitamente controlado usando o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag. Portanto, é possível fazer facilmente com que o valor do sinalizador de inferência de identificador
Petição 870190056776, de 19/06/2019, pág. 106/305
98/215 de transformada secundária de crominância chroma_st_idx_infer_flag de luminância seja usado apenas em um caso em que um efeito suficientemente grande pode ser obtido e, assim a deterioração na eficiência de codificação pode ser ainda mais refreada.
[00412] Deve-se observar que cada um dos casos descritos acima pode ser arbitrariamente combinado de forma similar ao caso da FIG. 7. Dessa maneira, os efeitos obtidos em cada um dos casos podem ser exibidos. Além disso, cada um dos casos descritos acima também pode ser combinado com outros casos que não estejam descritos acima.
<Exemplo básico 1>
[00413] O identificador de transformada secundária chroma_st_idx da crominância pode ser inferido do identificador de transformada secundária st.idx da luminância em todos os momentos como descrito com referência à linha n° 1 da FIG. 39. Um exemplo de sintaxe de uma TU nesse caso é ilustrado na FIG. 41. Nesse caso, a configuração é realizada usando o identificador de transformada secundária st.idx de luminância sem sinalizar o identificador de transformada secundária chroma_st_idx da crominância como ilustrado na FIG. 41.
[00414] Nesse caso, a unidade de decodificação 111 executa um processo de derivação do identificador de transformada secundária para a crominância e, desse modo, define o identificador de transformada secundária chroma_st_idx da crominância. Um exemplo do fluxo do processo de derivação de identificador de transformada secundária para a crominância será descrito com referência ao fluxograma da FIG. 42.
[00415] Quando o processo de derivação de identificador de transformada secundária é iniciado, a unidade de decodificação 111 determina se o sinalizador habilitado de transformada secundária st_enabled_flag é verdadeiro na Etapa S291. Em um caso em que o sinalizador habilitado de transformada secundária st_enabled_flag é determinado como verdadeiro, o
Petição 870190056776, de 19/06/2019, pág. 107/305
99/215 processo prossegue para a Etapa S292. Na Etapa S292, a unidade de decodificação 111 determina se um sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é falso. Em um caso em que o sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é determinado como falso, o processo prossegue para a Etapa S293. Na Etapa S293, a unidade de decodificação 111 determina se o número de coeficientes não nulos (numNonZeroCoeffTH) da crominância é maior que ou igual a um valor limite predeterminado (stNumZeroCoeffTH). Em um caso em que o número de coeficientes não nulos da crominância é determinado como maior que ou igual ao valor limite predeterminado, o processo prossegue para a Etapa S294. [00416] Na Etapa S294, a unidade de decodificação 111 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st_idx da luminância. Quando o processo da Etapa S294 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00417] Deve-se observar que, em um caso em que o sinalizador de transformada secundária st_enabled_flag é determinado como falso na Etapa
5291, o processo de derivação do identificador de transformada secundária para a crominância termina. Além disso, em um caso em que o sinalizador habilitado de desvio de quantização de transformada transquant_bypass_enabled_flag é determinado como verdadeiro na Etapa
5292, o processo de derivação do identificador de transformada secundária para a crominância termina. Além disso, em um caso em que o número de coeficientes não nulos da crominância é determinado como menor que o valor limite predeterminado na Etapa S293, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00418] Dessa maneira, a transmissão (codificação e decodificação) do
Petição 870190056776, de 19/06/2019, pág. 108/305
100/215 identificador de transformada secundária chroma_st_idx da crominância pode ser omitida, e assim a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 1>
[00419] No caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st_idx de luminância como descrito com referência à linha n° 2 da FIG. 39, e no caso em que o tipo de predição do bloco de codificação é intrapredição, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00420] Um exemplo de sintaxe de uma TU nesse caso é ilustrado na FIG. 43. Como ilustrado na FIG. 43, em um caso em que o modo de predição é intrapredição (CuPreMode == MODE_INTRA) nesse caso, o identificador de transformada secundária chroma_st_idx da crominância é sinalizado. Além disso, em um caso em que o modo de predição é intrapredição (CuPreMode == MODE_INTER), o identificador de transformada secundária chroma_st_idx da crominância é definido usando o identificador de transformada secundária st_idx de luminância.
[00421] Um exemplo do fluxo do processo de derivação de identificador de transformada secundária para a crominância nesse caso será descrito com referência ao fluxograma da FIG. 44. Cada um dos processos da Etapa S301 à Etapa S3O3 é executado de forma similar a cada um dos processos da Etapa S291 à Etapa S293 da FIG. 42.
[00422] Na Etapa S304, a unidade de decodificação 111 determina
Petição 870190056776, de 19/06/2019, pág. 109/305
101/215 adicionalmente se o modo de predição é intrapredição ou não. Em um caso em que o modo de predição é interpredição (CuPredMode == MODE_INTER), o processo prossegue para a Etapa S305.
[00423] O processo da Etapa S305 é executado de modo similar ao processo da Etapa S294 da FIG. 42. Ou seja, a unidade de decodificação 111 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st_idx da luminância. Quando o processo da Etapa S305 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00424] Além disso, em um caso em que o modo de predição é determinado como intrapredição (CuPredMode == MODE_INTRA), o processo prossegue para a Etapa S306. Na Etapa S306, a unidade de decodificação 111 decodifica os dados codificados e assim obtém o identificador de transformada secundária sinalizado st_idx. Quando o processo da Etapa S306 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00425] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_st_idx da crominância pode ser omitida usando o valor do identificador de transformada secundária st_idx de luminância somente no caso do modo de interpredição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 2>
[00426] No caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro conforme descrito com referência à linha n° 3 da
Petição 870190056776, de 19/06/2019, pág. 110/305
102/215
FIG. 39, a unidade de decodificação 111 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st_idx da luminância. Além disso, no caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00427] Um exemplo de sintaxe de uma TU nesse caso é ilustrado na FIG. 45. Como ilustrado na FIG. 45, em um caso em que o modo de predição é o modo de intrapredição (CuPredMode==MODE_INTRA) e os modos de predição para luminância e a crominância não correspondem um ao outro, o identificador de transformada secundária chroma_st_idx é sinalizado. Em outros casos, o valor do identificador de transformada secundária chroma_st_idx da crominância é definido como o identificador de transformada secundária st_idx de luminância.
[00428] Um exemplo do fluxo do processo de derivação de identificador de transformada secundária para a crominância nesse caso será descrito com referência ao fluxograma da FIG. 46. Cada um dos processos da Etapa S311 à Etapa S314 é executado de forma similar a cada um dos processos da Etapa S301 à Etapa S304 da FIG. 44.
[00429] Em um caso em que o modo de predição é determinado como intrapredição na Etapa S314, o processo prossegue para a Etapa S315. Além disso, em um caso em que é determinado como interpredição, o processo prossegue para a Etapa S316. Na Etapa S315, a unidade de decodificação 111 determina se os modos de predição para luminância e a crominância correspondem um ao outro ou não. Em um caso em que os modos de predição correspondem um ao outro como interpredição (IntraPredModeY ==
Petição 870190056776, de 19/06/2019, pág. 111/305
103/215
IntraPredModeC), o processo prossegue para a Etapa S316. Além disso, em um caso em que os modos de predição não correspondem um ao outro como interpredição (IntraPredModeY != IntraPredModeC), o processo prossegue para a Etapa S317.
[00430] O processo da Etapa S316 é executado de modo similar ao processo da Etapa S305 da FIG. 44. Além disso, o processo da Etapa S317 é executado de modo similar ao processo da Etapa S306 da FIG. 44.
[00431] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_st_idx da crominância pode ser omitidao usando o valor do identificador de transformada secundária st_idx de luminância somente no caso do modo de predição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 3>
[00432] No caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que o modo de predição é cópia intrabloco conforme descrito com referência à linha n° 4 da FIG. 39, o valor do identificador de transformada secundária chroma_st_idx da crominância é definido como o valor do identificador de transformada secundária st_idx de luminância. Além disso, no caso em que o tipo de predição do bloco de codificação é intrapredição em que o modo de predição não é cópia intrabloco, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00433] Um exemplo de sintaxe de uma TU nesse caso é ilustrado na FIG. 47. Como ilustrado na FIG. 47, o identificador de transformada
Petição 870190056776, de 19/06/2019, pág. 112/305
104/215 secundária st_idx do sinalizador de salto de transformada ts_flag é sinalizado no caso em que o tipo de predição é intrapredição de que o modo de predição não é cópia intrabloco (CuPredMode == MODE_INTRA && IntraPredModeY != IntraBC) independentemente de o identificador ser de luminância ou crominância. Em outras palavras, o identificador de transformada secundária st_idx não é sinalizado apenas em um caso em que o identificador é de crominância e o tipo de predição é interpredição, ou um caso em que o identificador é de crominância e o tipo de predição é intrapredição em que o modo de predição é cópia intrabloco. Ou seja, nesse caso, o valor do identificador de transformada secundária chroma_st_idx é definido usando o identificador de transformada secundária st_idx de luminância.
[00434] Um exemplo do fluxo do processo de derivação de identificador de transformada secundária para a crominância nesse caso será descrito com referência ao fluxograma da FIG. 48. Cada um dos processos da Etapa S321 à Etapa S324 é executado de forma similar a cada um dos processos da Etapa S311 à Etapa S314 da FIG. 46.
[00435] Em um caso em que o tipo de predição é determinado como intrapredição na Etapa S324, o processo prossegue para a Etapa S325. Além disso, em um caso em que o tipo de predição é determinado como interpredição, o processo prossegue para a Etapa S326.
[00436] Na Etapa S325, a unidade de decodificação 111 determina se o modo de predição é cópia intrabloco. Em um caso em que o modo de predição é determinado como cópia intrabloco (IntraPredModeY == IntraBC), o processo prossegue para a Etapa S326. Além disso, em um caso em que o modo de predição é determinado como cópia intrabloco, o processo prossegue para a Etapa S327.
[00437] O processo da Etapa S326 é executado de modo similar ao processo da Etapa S316 da FIG. 46. Ou seja, a unidade de decodificação 111
Petição 870190056776, de 19/06/2019, pág. 113/305
105/215 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o identificador de transformada secundária st_idx da luminância. Quando o processo da Etapa S326 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00438] Além disso, o processo da Etapa S327 é executado de modo similar ao processo da Etapa S317 da FIG. 46. Ou seja, a unidade de decodificação 111 pode decodificar os dados codificados e assim obtém o identificador de transformada secundária sinalizado st_idx. Quando o processo da Etapa S327 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00439] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária st_Idx da crominância pode ser omitida usando o valor do identificador de transformada secundária st_idx de luminância somente no caso do modo de predição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 4>
[00440] Como descrito com referência à linha n° 5 da FIG. 39, no caso no qual o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag é 1 (verdadeiro), o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st_idx de luminância, e no caso em que o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag é 0 (falso), o identificador de transformada secundária st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser
Petição 870190056776, de 19/06/2019, pág. 114/305
106/215 decodificado a partir dos dados codificados).
[00441] Um exemplo de sintaxe de uma TU nesse caso é ilustrado na FIG. 49. Como ilustrado na FIG. 49, é controlado se o sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_infer_flag é definido e, em seguida, o identificador de transformada secundária chroma_st_idx da crominância é sinalizado de acordo com o valor, ou o identificador é obtido do identificador de transformada secundária st_idx de luminância.
[00442] Um exemplo do fluxo do processo de derivação de identificador de transformada secundária para a crominância nesse caso será descrito com referência ao fluxograma da FIG. 50. Cada um dos processos da Etapa S331 à Etapa S333 é executado de forma similar a cada um dos processos da Etapa S321 à Etapa S323 da FIG. 48.
[00443] Na Etapa S334, a unidade de decodificação 111 decodifica e adquire o sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_mfer_flag. Na Etapa S335, a unidade de decodificação 111 determina se o sinalizador de inferência do identificador de transformada secundária de crominância adquirido chroma_st_idx_mfer_flag é verdadeiro ou não. Em um caso em que o sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_mfer_flag é determinado como verdadeiro, o processo prossegue para a Etapa S336. Além disso, o sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_mfer_flag é determinado como falso, o processo prossegue para a Etapa S337.
[00444] O processo da Etapa S336 é executado de modo similar ao processo da Etapa S326 da FIG. 48. Ou seja, a unidade de decodificação 111 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st_idx
Petição 870190056776, de 19/06/2019, pág. 115/305
107/215 da luminância. Quando o processo da Etapa S336 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00445] Além disso, o processo da Etapa S337 é executado de modo similar ao processo da Etapa S327 da FIG. 48. Ou seja, a unidade de decodificação 111 pode decodificar os dados codificados e assim obtém o identificador de transformada secundária sinalizado chroma_st_idx da crominância. Quando o processo da Etapa S337 termina, o processo de derivação do identificador de transformada secundária para a crominância termina.
[00446] Dessa maneira, é possível controlar explicitamente se o valor do identificador de transformada secundária st_idx de luminância deve ou não ser usado usando o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx. Portanto, é possível fazer facilmente com que o valor do identificador de transformada secundária de luminância seja usado apenas em um caso em que um efeito suficientemente grande é obtido e, assim a deterioração na eficiência de codificação pode ser ainda mais refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<5. Quarta modalidado <Aparelho de codificação de imagem>
[00447] Em seguida, a codificação para gerar dados codificados a serem decodificados como descrito acima será descrita. A FIG. 51 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem que é um aspecto do aparelho de processamento de imagem ao qual a presente tecnologia é aplicada. O aparelho de codificação de imagem 400 ilustrado na FIG. 51 é um aparelho de codificação de imagem correspondente ao aparelho de decodificação de imagem 100 da FIG. 9 e gera dados codificados (fluxo de bits) que foram
Petição 870190056776, de 19/06/2019, pág. 116/305
108/215 decodificados pelo aparelho de decodificação de imagem 100 por codificação de uma formação de imagem usando um método de codificação correspondente a um método de decodificação usado pelo aparelho de decodificação de imagem 100. O aparelho de codificação de imagem 400 implementa, por exemplo, uma tecnologia proposta pela HEVC ou JVET.
[00448] Deve-se observar que a FIG. 51 ilustra configurações principais, tais como fluxos de unidades de processamento e dados, e similares, e a FIG. 51 não está ilustrando configurações inteiras. Isto é, podem existir unidades de processamento no aparelho de codificação de imagem 400 que não estão ilustradas como blocos na FIG. 51 ou fluxos de processos e dados que não são indicados por setas e similares na FIG. 51.
[00449] O aparelho de codificação de imagem 400 tem uma unidade de controle 411, uma unidade de operação aritmética 412, uma unidade de transformada 413, uma unidade de quantização 414, uma unidade de codificação 415, uma unidade de quantização inversa 416, uma unidade de transformada inversa 417, uma unidade de operação aritmética 418, uma memória de quadro 419 e uma unidade de predição 420 como ilustrado na FIG. 51.
[00450] A unidade de controle 411 divide uma imagem em movimento 2 em blocos que são unidades de processamento (CUs, PUs, blocos de transformada, etc.) com base no tamanho do bloco das unidades de processamento especificadas a partir do exterior ou antecipadamente, e insere uma imagem I que corresponde aos blocos divididos para a unidade de operação aritmética 412. Além disso, a unidade de controle 411 determina os parâmetros de codificação (informações de cabeçalho Hinfo, informações de modo de predição Pinfo, informações de transformada Tinfo, etc.) a serem fornecidos a cada um dos blocos, por exemplo, com base na Otimização por Distorção de Taxa (RDO). Os parâmetros de codificação determinados são fornecidos para cada um dos blocos. Os detalhes dos parâmetros são os
Petição 870190056776, de 19/06/2019, pág. 117/305
109/215 seguintes.
[00451] As informações de cabeçalho Hinfo são fornecidas para cada um dos blocos. As informações do modo de predição Pinfo são fornecidas à unidade de transformada 413, à unidade de codificação 415 e à unidade de predição 420. As informações de transformada Tinfo são fornecidas à unidade de codificação 415, à unidade de transformada 413, à unidade de quantização 414, à unidade de quantização inversa 416 e à unidade de transformada inversa 417.
[00452] A unidade de operação aritmética 412 recebe a entrada da imagem I correspondente aos blocos que são as unidades de processamento e uma imagem preditiva P fornecida a partir da unidade de predição 420, subtrai a imagem preditiva P da imagem I como indicado na fórmula (25 ), desse modo, deriva o resíduo preditivo D e fornece o resíduo preditivo para a unidade de transformada 413.
[00453] D = I-P...(25) [00454] A unidade de transformada 413 é uma unidade de processamento que realiza uma transformada inversa que é um processo inverso a um processo de transformada realizado pela unidade de transformada inversa 417, recebe a entrada do resíduo preditivo D, as informações do modo de predição Pinfo e as informações de transformada Tinfo , aplica uma transformada ao resíduo preditivo D com base nas informações do modo de predição Pinfo e nas informações de transformada Tinfo, desse modo, deriva um coeficiente de transformada Coeff e fornece o coeficiente de transformada para a unidade de quantização 414.
[00455] A unidade de quantização 414 é um processo inverso à unidade de quantização inversa 416, recebe a entrada das informações de transformada Tinfo e o coeficiente de transformada Coeff, dimensiona (quantiza) o coeficiente de transformada Coeff com base nas informações de transformada Tinfo e fornece o valor de coeficiente de transformada
Petição 870190056776, de 19/06/2019, pág. 118/305
110/215 quantizado, isto é, um nível de nível de coeficiente de transformada quantizado para a unidade de codificação 415.
[00456] A unidade de codificação 415 é um processo inverso à unidade de decodificação 111 (FIG. 9), transforma os parâmetros de codificação (as informações de cabeçalho, as informações de modo de predição Pinfo e as informações de transformada Tinfo) fornecidos a partir da unidade de controle 411, e o nível de nível de coeficiente de transformada quantizado fornecido pela unidade de quantização 414 em valores de sintaxe de cada um dos elementos de sintaxe de acordo com as definições de uma tabela de sintaxe, toma cada um dos valores de sintaxe em códigos de comprimento variável (por exemplo, código aritmético) e, assim, gera cadeias de bits.
[00457] Deve-se observar que a unidade de codificação 415 deriva informações residuais RInfo do nível de nível de coeficiente de transformada quantizado, toma as informações residuais RInfo em códigos de comprimento variável e gera cadeias de bits. Além disso, a unidade de codificação 415 multiplexa as cadeias de bits de cada um dos elementos de sintaxe que foram transformados em códigos de comprimento variável e, em seguida, gera e produz dados codificados 1.
[00458] A unidade de quantização inversa 416 é uma unidade de processamento similar à unidade de quantização inversa 112 (FIG. 9) e realiza um processo similar ao da unidade de quantização inversa 112 no aparelho de codificação de imagem 400. A unidade de transformada inversa 417 é uma unidade de processamento similar à unidade de transformada inversa 113 (FIG. 9) e realiza um processo similar ao da unidade de transformada inversa 113d no aparelho de codificação de imagem 400. A memória de quadro 419 é uma unidade de processamento similar à memória de quadro 115 (FIG. 9) e realiza um processo similar ao da memória de quadro 115 no aparelho de codificação de imagem 400. A unidade de predição 420 é uma unidade de processamento similar à unidade de predição 116 (FIG. 9) e realiza um
Petição 870190056776, de 19/06/2019, pág. 119/305
111/215 processo similar ao da unidade de predição 116 no aparelho de codificação de imagem 400.
<Unidade de transformada>
[00459] A FIG. 52 é um diagrama de blocos que ilustra um exemplo da configuração principal da unidade de transformada 413. Como ilustrado na FIG. 52, a unidade de transformada 413 tem um comutador 431, uma unidade de transformada primária 432 e uma unidade de transformada secundária 433. [00460] O comutador 431 recebe a entrada do resíduo preditivo D e um sinalizador de salto de transformada ts_flag[compID] de um sinal de cor correspondente a um identificador de sinal de cor compID, e produz o resíduo preditivo D para a unidade de transformada 432 em um caso em que o valor do sinalizador de salto de transformada ts_flag[compID] é NO_TS (=0) (um caso em que um salto de transformada não é aplicado). Além disso, em um caso em que o valor do sinalizador de salto de transformada ts_flag[compID] é 2D_TS (=1) (um caso em que o sinalizador indica que um salto de transformada bidimensional é aplicado), a unidade de transformada primária 432 e a unidade de transformada secundária 433 são saltadas, e o resíduo preditivo D é produzido como um coeficiente de transformada Coeff.
[00461] A unidade de transformada primária 432 realiza um processo relacionado a uma transformada primária que é um processo de transformada predeterminado, por exemplo, uma transformada ortogonal. A transformada primária é um processo inverso da transformada primária inversa executada pela unidade de transformada primária inversa 123 ou similar do aparelho de decodificação de imagem 100. A unidade de transformada primária 432 recebe entradas, por exemplo, do identificador de sinal de cor compID, do sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância, do identificador de transformada primária pt_idx[COMPONENT_Y] de luminância, das informações de modo de predição PInfo, tamanhos do bloco de transformadas (um valor logarítmico
Petição 870190056776, de 19/06/2019, pág. 120/305
112/215 log2TBWSize da largura da gravura e um valor logaritmico log2TBHSize de uma altura da gravura), e resíduo preditivo D. A unidade de transformada primária 432 seleciona um tipo de transformada TrTypeldxH de uma transformada horizontal primária e um tipo de transformada TrTypeldxV de uma transformada vertical primária do sinal de cor especificado pelo identificador de sinal de cor compID com referência às informações de modo de predição PInfo, ao identificador de sinal de cor compID, ao sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância, ao identificador de transformada primária pt_idx[COMPONENT_Y] de luminância, e o identificador de transformada primária pt_idx[COMPONENT_Y] de luminância realiza a transformada horizontal primária definida pelo tipo de transformada horizontal primária TrTypeldxH e a largura da gravura log2TBWSize do bloco de transformadas e a transformada vertical primária definida pelo tipo de transformada vertical primária TrTypeldxV e a altura da gravura log2TBHSize do bloco de transformadas no resíduo preditivo D, e assim deriva e produz um coeficiente de transformada Coeff_P que passou pela transformada primária (também chamado de coeficiente de transformada primária).
[00462] A unidade de transformada primária 432 será descrita abaixo em mais detalhes. Como ilustrado na FIG. 52, a unidade de transformada primária 432 tem uma unidade de derivação de informações de transformada primária adaptativa de crominância 441, uma unidade de seleção de transformada primária 442, a unidade de transformada horizontal primária 443 e a unidade de transformada vertical primária 444.
[00463] A unidade de derivação de informações de transformada primária adaptativa de crominância 441 deriva informações de transformada primária adaptativa de uma crominância (apt_flag [compID] e pt_idx [compID] (compID=COMPONENT_Cb or COMPONENT_Cr)) usando as informações de transformada primária adaptativa (apt_fl agf COMPONENT-Y],
Petição 870190056776, de 19/06/2019, pág. 121/305
113/215 pt_idx[COMPONENT_Y]) do bloco de transformadas de luminância correspondente ao bloco de transformadas de crominância em um caso em que o identificador de sinal de cor compID indica a crominância (compID==COMPONENT_Cb ou COMPONENT_Cr) e fornece o resultado para a unidade de seleção de transformada primária 442.
<Unidade de derivação de informações de transformada primária adaptativa de crominância>
[00464] A FIG. 53 é um diagrama de blocos funcional que ilustra um exemplo da configuração principal da unidade de derivação de informações de transformada primária adaptativa de crominância 441. Como ilustrado na FIG. 53, a unidade de derivação de informações de transformada primária adaptativa de crominância 441 tem uma unidade de derivação de apt_flag 451 e uma unidade de derivação de pt_idx 452. A unidade de derivação de apt_flag 451 realiza um processo em relação à derivação do sinalizador de transformada primária adaptativa apt_flag da crominância. Além disso, a unidade de derivação de pt_idx 452 realiza um processo em relação à derivação do identificador de transformada primária pt_idx da crominância. Ou seja, cada uma da unidade de derivação de apt_flag 451 e da unidade de derivação de pt_idx 452 tem uma configuração similar e realiza processos similares aos da unidade de derivação de apt_flag 151 e da unidade de derivação de pt_idx 152 (FIG. 11). Isto é, a unidade de derivação de informações de transformada primária adaptativa de crominância 441 tem uma configuração similar e executa processos similares aos da unidade de derivação de informações de transformada primária adaptativa de crominância 131. Portanto, a descrição detalhada das operações da unidade de derivação de informações de transformada primária adaptativa de crominância 441 (a unidade de derivação de apt_flag 151 e a unidade de derivação de pt_idx 152) é similar à da unidade de derivação de informações de transformada primária adaptativa de crominância 131 na primeira modalidade, e portanto é omitida.
Petição 870190056776, de 19/06/2019, pág. 122/305
114/215 [00465] A unidade de derivação de informações de transformada primária adaptativa de crominância 441 pode derivar as informações de transformada primária adaptativa do bloco de transformadas de crominância com base nas informações de transformada primária adaptativa de luminância correspondentes ao bloco de transformadas de crominância. Portanto, é possível reduzir a quantidade de processamento de codificação sem codificar as informações de transformada primária adaptativa do bloco de transformadas de crominância.
[00466] A unidade de seleção de transformada primária 442 recebe uma entrada das informações de modo de predição PInfo, do identificador de sinal de cor compID, do sinalizador de transformada primária adaptativa apt.flag [compID] do sinal de cor correspondente ao identificador de sinal de cor compID, e do identificador de transformada primária pt.idx [compID] do sinal de cor correspondente ao identificador de sinal de cor compID. A unidade de seleção de transformada primária 442 deriva o tipo de transformada TrTypeldxH da transformada horizontal primária e o tipo de transformada TrTypeldxV da transformada vertical primária do sinal de cor especificado pelo identificador de sinal de cor compID com referência às informações do modo de predição PInfo, ao identificador de sinal de cor compID, ao sinalizador de transformada primária adaptativa apt.flag [compID] do sinal de cor correspondente ao identificador de sinal de cor compID e ao identificador de transformada primária pt.idx [compID] do sinal de cor correspondente ao identificador de sinal de cor compID. A unidade de seleção de transformada primária 442 fornece o tipo de transformada derivado TrTypeldxH da transformada horizontal primária para a unidade de transformada horizontal primária 443. Além disso, a unidade de seleção de transformada primária 442 fornece o tipo de transformada derivado TrTypeldxV da transformada vertical primária para a unidade de transformada vertical primária 444.
Petição 870190056776, de 19/06/2019, pág. 123/305
115/215 [00467] Deve-se observar que as operações da unidade de seleção de transformada primária 442 são basicamente similares às da unidade de seleção de transformada primária inversa 132 do aparelho de decodificação de imagem 100. Ou seja, a descrição em relação à unidade de seleção de transformada primária inversa 132 na primeira modalidade pode ser uma descrição em relação à unidade de seleção de transformada primária 442 pela substituição da transformada horizontal primária inversa IPThor por uma transformada horizontal primária PThor, substituindo a transformada vertical primária inversa IPTver pela transformada vertical primária PTver, e substituição da transformada primária inversa pela transformada primária.
[00468] A unidade de transformada horizontal primária 443 recebe uma entrada do resíduo preditivo D, o tipo de transformada TrTypeldxH da transformada horizontal primária, e log2TBWSize indicando a largura da gravura do bloco de transformadas (o valor logarítmico da largura da gravura) para cada bloco de transformadas de cada sinal de cor. A unidade de transformada horizontal primária 443 executa a transformada horizontal primária Phor definida pelo tipo de transformada TrTypeldxH e a largura da gravura do bloco de transformadas no resíduo preditivo D e produz o resultado como um coeficiente de transformada Coeff_Phor que passou pela transformada horizontal primária.
[00469] A unidade de transformada vertical primária 444 recebe uma entrada do coeficiente de transformada Coeff_Phor que passou pela transformada horizontal primária, o tipo de transformada TrTypeldxV da transformada vertical primária e log2TBHSize indicando a altura da gravura do bloco de transformadas (o valor logarítmico da altura da gravura) para cada bloco de transformadas de cada sinal de cor. A transformada vertical primária Pver definida pelo tipo de transformada TrTypeldxV e a altura da gravura do bloco de transformadas é executada no coeficiente de transformada Coeff_Phor que passou pela transformada horizontal primária e
Petição 870190056776, de 19/06/2019, pág. 124/305
116/215 o resultado é produzido como um coeficiente de transformada Coeff_P que passou pela transformada primária.
[00470] Como descrito acima, a unidade de transformada primária 432 pode aplicar uma transformada primária adaptativa selecionada para luminância a um bloco de transformadas da crominância em um caso em que um sinal residual do sinal de cor mostra uma tendência similar a um sinal residual de luminância. Assim, é possível realizar um processo de transformada primária no sinal residual da crominância com maior eficiência de codificação do que na técnica relacionada.
[00471] Além disso, é possível reduzir uma quantidade de processamento de um codificador, enquanto se evita uma diminuição na eficiência de codificação para crominância em comparação a um caso em que um sinalizador de transformada primária adaptativa apt_flag e um identificador de transformada primária pt_idx são explicitamente decodificados para cada uma da luminância e crominância.
[00472] A unidade de transformada secundária 433 realiza um processo relacionado a uma transformada secundária que é um processo de transformada predeterminado, por exemplo, uma transformada ortogonal. A transformada secundária é um processo inverso à transformada secundária inversa executada pela unidade de transformada secundária inversa 122 ou similar do aparelho de decodificação de imagem 100. A unidade de transformada secundária 433 recebe uma entrada de, por exemplo, um identificador de transformada secundária st_idx, um identificador de varredura scanldx indicando um método de varredura do coeficiente de transformada, e um coeficiente de transformada primária Coeff_P e deriva e produz um coeficiente de transformada Coeff que passou pela transformada secundária (também chamado de coeficiente de transformada secundária). Mais especificamente, em um caso em que o identificador de transformada secundária st_idx indica a aplicação da transformada secundária (st_idx>0), a
Petição 870190056776, de 19/06/2019, pág. 125/305
117/215 unidade de transformada secundária 433 executa o processo da transformada secundária correspondente ao identificador de transformada secundária st_idx no coeficiente de transformada primária Coeff.P e produz um coeficiente de transformada Coeff.S que passou pela transformada secundária.
[00473] Em um caso em que o identificador de transformada secundária st_idx indica que não se aplica a transformada secundária (st_idx==O), a unidade de transformada secundária 433 salta a transformada secundária e produz o coeficiente de transformada Coeff.P que passou pela transformada primária como o coeficiente de transformada Coeff.S que passou pela transformada secundária.
<Fluxo do processo de codificação de imagem>
[00474] Em seguida, serão descritos os fluxos dos processos executados pelo aparelho de codificação de imagem 400, como descrito acima. Primeiro, um exemplo do fluxo do processo de codificação de imagem será descrito com referência ao fluxograma da FIG. 54.
[00475] Quando o processo de codificação de imagem é iniciado, a unidade de controle 411 realiza um processo de controle de codificação e realiza divisão de bloco, uma definição de parâmetros de codificação e similares na Etapa S401.
[00476] Na Etapa S402, a unidade de predição 420 realiza um processo de predição e gera uma imagem preditiva e similares em um modo de predição ideal. Por exemplo, no processo de predição, a unidade de predição 420 gera uma intrapredição e gera uma imagem preditiva e similares em um modo de intrapredição ideal, e realiza a interpredição e gera uma imagem preditiva e similares em um modo de predição ideal, e seleciona um modo de predição ideal entre os modos com base em um valor de função de custo ou similar.
[00477] Na Etapa S403, a unidade de operação aritmética 412 calcula a diferença entre a imagem de entrada e a imagem preditiva no modo ideal
Petição 870190056776, de 19/06/2019, pág. 126/305
118/215 selecionado no processo de predição da Etapa S402. Isto é, a unidade de operação aritmética 412 gera um resíduo preditivo D entre a imagem de entrada e a imagem preditiva. A quantidade de dados do resíduo preditivo D obtido como descrito acima é menor do que a dos dados da imagem original. Portanto, a quantidade de dados pode ser mais compactada do que em um caso em que a imagem é codificada sem alteração.
[00478] Na Etapa S404, a unidade de transformada 413 realiza um processo de transformada no resíduo preditivo D gerado no processo da Etapa S403 e deriva um coeficiente de transformada Coeff. Deve-se observar que o processo de transformada é um processo inverso ao processo de transformada inversa da Etapa S407 e um processo inverso do processo de transformada inversa executado no processo de decodificação de imagem descrito acima. Detalhes do processo da Etapa S404 serão descritos abaixo.
[00479] Na Etapa S405, a unidade de quantização 414 quantiza o coeficiente de transformada Coeff obtido a partir do processo da Etapa S404 usando um parâmetro de quantização calculado pela unidade de controle 411 ou similar e deriva um nível de nível de coeficiente de transformada quantizado.
[00480] Na Etapa S406, a unidade de quantização inversa 416 realiza quantização inversa no nível de nível de coeficiente de transformada quantizado gerado a partir do processo da Etapa S405 usando características correspondentes às da quantização da Etapa S405 e deriva um coeficiente de transformada Coeff_IQ.
[00481] Na Etapa S407, a unidade de transformada inversa 417 realiza transformada inversa no coeficiente de transformada Coeff_IQ obtido a partir do processo da Etapa S406 usando um método correspondente ao processo de transformada da Etapa S404 e deriva um resíduo preditivo D’. Deve-se observar que o processo de transformada inversa é executado de forma similar ao processo de transformada inversa executado no processo de decodificação
Petição 870190056776, de 19/06/2019, pág. 127/305
119/215 de imagem descrito acima.
[00482] Na Etapa S408, a unidade de operação aritmética 418 gera uma imagem decodificada que foi localmente decodificada adicionando a imagem preditiva obtida do processo de previsão da Etapa S402 ao resíduo preditivo D derivado do processo da Etapa S407.
[00483] Na Etapa S409, a memória de quadro 419 armazena a imagem decodificada que foi decodificada localmente obtida a partir do processo da Etapa S408.
[00484] Na Etapa S410, a unidade de codificação 415 codifica o nível de nível de coeficiente de transformada quantizado obtido a partir do processo da Etapa S405. Por exemplo, a unidade de codificação 415 codifica o nível de nível de coeficiente de transformada quantizado que são informações referentes à imagem usando codificação aritmética ou similar e gera dados codificados. Além disso, nesse momento, a unidade de codificação 415 codifica vários parâmetros de codificação (informações de cabeçalho Hinfo, informações de modo de predição Pinfo e informações de transformada Tinfo). Além disso, a unidade de codificação 415 deriva informações residuais RInfo do nível de nível de coeficiente de transformada quantizado e codifica as informações residuais RInfo.
[00485] Na Etapa S411, a unidade de codificação 415 coloca os dados codificados dos vários tipos de informação gerados como descrito acima e envia os dados como um fluxo de bits para o exterior do aparelho de codificação de imagem 400. O fluxo de bits é transmitido para o lado de decodificação através, por exemplo, de um trajeto de transmissão ou de um meio de gravação. Quando o processo da Etapa S411 termina, o processo de codificação da imagem termina.
<Fluxo do processo de transformada>
[00486] Em seguida, um exemplo do fluxo do processo de transformada executado na Etapa S404 da FIG. 54 será descrito com
Petição 870190056776, de 19/06/2019, pág. 128/305
120/215 referência ao fluxograma da FIG. 55. Quando o processo de transformada é iniciado, o comutador 431 determina se o sinalizador de salto de transformada ts_flag é 2D_TS (um caso em que o sinalizador indica salto de transformada bidimensional) na Etapa S421 ou o sinalizador de desvio de quantização de transformada transquant_bypass_flag é (verdadeiro). Em um caso em que o sinalizador de salto de transformada ts_flag é determinado como 2D_TS ou o sinalizador de desvio de quantização de transformada é determinado como 1 (verdadeiro), o processo de transformada termina e o processo retoma para a FIG. 54. Nesse caso, o comutador 431 omite o processo de transformada ortogonal (a transformada primária ou a transformada secundária) e produz o resíduo preditivo de entrada D para o exterior da unidade de transformada 413 (fomece-o à unidade de quantização 414) como um coeficiente de transformada Coeff.
[00487] Além disso, em um caso em que o sinalizador de salto de transformada ts_flag é determinado como não sendo 2D_TS (não indicando o salto de transformada bidimensional) e o sinalizador de desvio de quantização de transformada é determinado como 0 (falso) na Etapa S421 da FIG. 55, o processo prossegue para a Etapa S422. Nesse caso, o comutador 431 fornece o resíduo preditivo de entrada D para a unidade de transformada primária 432. [00488] A unidade de transformada primária 432 realiza a transformada primária no resíduo preditivo D com base nas informações de transformada primária adaptativa de um sinal de cor especificado pelo identificador de sinal de cor compID e produz o coeficiente de transformada Coeff_P que passou pela transformada primária. Mais especificamente, na Etapa S422, a unidade de transformada primária 432 identifica se o identificador de sinal de cor compID é de luminância ou uma crominância. Em um caso em que o identificador de sinal de cor compID é determinado como indicando uma crominância (compID != COMPONENT_Y), o processo prossegue para a Etapa S423.
Petição 870190056776, de 19/06/2019, pág. 129/305
121/215 [00489] Na Etapa S423, a unidade de derivação de informações de transformada primária adaptativa de crominância 441 executa um processo de derivação de informações de transformada primária adaptativa de crominância e deriva o identificador de transformada primária pt.idx [compID] de um bloco de transformadas da crominância com base em um sinalizador de transformada primária adaptativa apt.flag [compID] (compID=COMPONET_Cb oru COMPONENT.Cr) do bloco de transformadas da crominância e um identificador de transformada primária pt.idx [COMPONENT.Y] de um bloco de transformadas de luminância correspondente ao bloco de transformadas da crominância. Deve-se observar que uma vez que o processo é similar ao processo de derivação de informações de transformada primária adaptativa de crominância (FIG. 15) executado pelo aparelho de decodificação de imagem 100 (a unidade de derivação de informações de transformada primária adaptativa de crominância 131) descrito na primeira modalidade, a descrição do mesmo será omitida. Em outras palavras, a descrição provida com referência ao fluxograma da FIG. 15 também pode ser aplicada à descrição do processo de derivação de informações de transformada primária adaptativa de crominância executado pela unidade de derivação de informações de transformada primária adaptativa de crominância 441.
[00490] Quando o processo da Etapa S423 termina, o processo prossegue para a Etapa S424. Além disso, em um caso em que o identificador de sinal de cor compID é determinado como indicando luminância (compID==COMPONENT_Y) na Etapa S422, o processo prossegue para a Etapa S424.
[00491] Na Etapa S424, a unidade de seleção de transformada primária 442 executa um processo de seleção de transformada primária, deriva um tipo de transformada TrTypeldxH de uma transformada horizontal primária e um tipo de transformada TrTypeldxV de uma transformada vertical primária do
Petição 870190056776, de 19/06/2019, pág. 130/305
122/215 sinal de cor especificado pelo identificador de sinal de cor compID com referência às informações do modo de predição Pinfo, ao identificador de sinal de cor compID, ao sinalizador de transformada primária adaptativa apt_flag [compID] do sinal de cor correspondente ao identificador de sinal de cor compID e ao identificador de transformada primária pt_idx [compID] do sinal de cor correspondente ao identificador de sinal de cor compID, e produz cada um dos tipos de transformada para a unidade de transformada horizontal primária 443 e a unidade de transformada vertical primária 444.
[00492] Na Etapa S425, a unidade de transformada horizontal primária
443 executa a transformada horizontal primária Phor definida pelo tipo de transformada TrTypeldxH da transformada horizontal primária e a altura da gravura do bloco de transformadas no resíduo preditivo D do bloco de transformadas para cada bloco de transformadas especificado pelo identificador de sinal de cor compID e produz o resultado como um coeficiente de transformada Coeff_Phor que passou pela transformada horizontal primária.
[00493] Na Etapa S426, a unidade de transformada vertical primária
444 executa a transformada vertical primária Pver definida pelo tipo de transformada TrTypeldxV da transformada vertical primária e a altura da gravura do bloco de transformadas no coeficiente de transformada Coeff_Phor do bloco de transformadas que passou pela transformada horizontal primária para cada bloco de transformadas especificado pelo identificador de sinal de cor compID e produz o resultado como o coeficiente de transformada Coeff_P que passou pela transformada primária.
[00494] Na Etapa S427, a unidade de transformada secundária 433 realiza a transformada secundária no coeficiente de transformada primária de entrada Coeff_P com base no identificador de transformada secundária st_idx e deriva e produz o coeficiente de transformada Coeff. Quando o processo da Etapa S427 termina, o processo de transformada termina e o processo regressa
Petição 870190056776, de 19/06/2019, pág. 131/305
123/215 àFIG. 54.
<Fluxo de processo de seleção de transformada primária>
[00495] Em seguida, um exemplo do fluxo do processo de seleção de transformada primária executado na Etapa S424 da FIG. 55 será descrito com referência ao fluxograma da FIG. 56.
[00496] Quando o processo de seleção de transformada primária é iniciado, a unidade de seleção de transformada primária 442 determina se o sinalizador de transformada primária adaptativa apt_flag[compID] do sinal de cor correspondente ao identificador de sinal de cor compID é 1 (verdadeiro) na Etapa S431. Em um caso em que o sinalizador de transformada primária adaptativa apt_flag[compID] é determinado como 1 (verdadeiro), o processo prossegue para a Etapa S432.
[00497] Na Etapa S432, a unidade de seleção de transformada primária 442 seleciona um conjunto de transformadas TrSetV (conjunto de transformadas horizontais primárias) da transformada vertical primária e um conjunto de transformadas TrSetH (conjunto de transformadas verticais primárias) da transformada horizontal primária com base nas informações de modo de predição PInfo.
[00498] Na Etapa S433, a unidade de seleção de transformada primária 442 deriva um sinalizador de especificação de transformada horizontal primária pt_hor_flag e um sinalizador de especificação de transformada vertical primária pt_ver_flag do identificador de transformada primária pt_idx[compID] do sinal de cor correspondente ao identificador de sinal de cor compID.
[00499] Na Etapa S434, a unidade de seleção de transformada primária 442 seleciona o tipo de transformada TrTypeldxH de uma transformada ortogonal aplicada como a transformada horizontal primária IPThor com referência ao conjunto de transformadas horizontais primárias TrSetH e ao sinalizador de especificação de transformada horizontal primária pt_hor_flag.
Petição 870190056776, de 19/06/2019, pág. 132/305
124/215 [00500] Na Etapa S435, a unidade de seleção de transformada primária 442 seleciona o tipo de transformada TrTypeldxV de uma transformada ortogonal aplicada como a transformada vertical primária inversa IPTver com referência ao conjunto de transformadas verticais primárias TrSetV e ao sinalizador de especificação de transformada vertical primária pt_ver_flag. Quando o processo da Etapa S435 termina, o processo de seleção de transformada primária termina e o processo regressa à FIG. 55.
[00501] Além disso, na Etapa S431, em um caso em que é determinado que o sinalizador de transformada primária adaptativa apt.flag[compID] é 0 (falso), o processo prossegue para a Etapa S436. Na Etapa S436, a unidade de seleção de transformada primária 442 seleciona uma transformada ortogonal predeterminada como o tipo de transformada TrTypeldxH da transformada horizontal primária IPThor (TrTypeldxH = valor predeterminado).
[00502] Além disso, na Etapa S437, a unidade de seleção de transformada primária 442 seleciona uma transformada ortogonal predeterminada como o tipo de transformada TrTypeldxV da transformada vertical primária IPTver (TrTypeldxV = valor predeterminado). Quando o processo da Etapa S437 termina, o processo de seleção de transformada primária termina e o processo regressa à FIG. 56.
[00503] Isto é, a unidade de transformada primária 432 deriva o tipo de transformada TrTypeldxH da transformada horizontal primária inversa IPThor e o tipo de transformada TrTypeldxV da transformada vertical primária inversa IPTver usando o método de acordo com o valor do sinalizador de transformada primária adaptativa apt.flag [compID] da crominância.
<Fluxo de processo de codificação de informações de transformada primária> [00504] A unidade de codificação 415 codifica o sinalizador de transformada primária adaptativa apt.flag e o identificador de transformada primária pt.idx gerado pela unidade de transformada 413. No entanto, a
Petição 870190056776, de 19/06/2019, pág. 133/305
125/215 unidade de codificação 415 pode codificar o sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx de luminância e fazer com que o sinalizador e o identificador sejam sinalizados, e pode não codificar o sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx da crominância.
[00505] Um exemplo do fluxo de um processo de codificação de informações de transformada primária executado pela unidade de codificação 415 para executar a codificação descrita acima será descrito com referência ao fluxograma da FIG. 57. Quando o processo de codificação de informações de transformada primária é iniciado, a unidade de codificação 415 determina se um objeto de processamento é ou não luminância na Etapa S441. Em um caso em que o objeto de processamento é determinado como luminância (compID == COMPONENT_Y), o processo prossegue para a Etapa S442. Na Etapa S442, a unidade de codificação 415 codifica o sinalizador de transformada primária adaptativa apt_flag[COMPONENT_Y] de luminância (faz com que o sinalizador seja sinalizado). Além disso, a unidade de codificação 415 codifica o identificador de transformada primária pt_idx[COMPONENT_Y] de luminância (faz com que o sinalizador seja sinalizado) na Etapa S443. Quando o processo da Etapa S443 termina, o processo de codificação de informações de transformada primária termina.
[00506] Deve-se observar que a unidade de codificação 415 determina se o objeto de processamento é ou não uma crominância na Etapa S441. Em um caso em que o objeto de processamento é determinado como uma crominância (compID != COMPONENT_Y), os processos da Etapa S442 e da Etapa S443 são omitidos, ou seja, o sinalizador de transformada primária adaptativa apt_flag e o identificador de transformada primária pt_idx não são sinalizados e o processo de codificação de informações de transformada primária termina.
Petição 870190056776, de 19/06/2019, pág. 134/305
126/215 [00507] Ao executar cada processo como descrito acima, a transformada primária adaptativa selecionada para luminância pode ser aplicada ao bloco de transformadas da crominância no caso em que o sinal residual da crominância tem uma tendência similar ao sinal residual de luminância. Portanto, o processo de transformada primária com eficiência de codificação adicionalmente melhorada pode ser realizado no sinal residual da crominância em comparação com tecnologias da técnica relacionada. Além disso, como não é necessário codificar as informações de transformada primária adaptativa da crominância, a quantidade do processo de codificação pode ser reduzida mais do que no caso em que o sinalizador de transformada primária adaptativa apt.flag e o identificador de transformada primária pt.idx são explicitamente codificados para cada luminância e crominância.
<Processo de derivação de informações de transformada primária adaptativa de crominância>
[00508] Deve-se observar que a unidade de derivação de informações de transformada primária adaptativa de crominância 441 tem uma configuração similar e executa processos similares aos da unidade de derivação de informações de transformada primária adaptativa de crominância 131. Isto é, a unidade de derivação de informações de transformada primária adaptativa de crominância 441 pode executar o processo de derivação de informações de transformada primária adaptativa de crominância, de modo similar à unidade de derivação de informações de transformada primária adaptativa de crominância 131. Portanto, o aparelho de codificação de imagem 400 pode tornar possível aplicar a transformada primária adaptativa também à crominância e inferir adicionalmente o sinalizador de transformada primária adaptativa apt.flag e o identificador de transformada primária pt.idx da crominância do sinalizador de transformada primária adaptativa apt.flag e do identificador de transformada primária pt.idx de luminância em todos os momentos, conforme indicado na linha n° 1 na tabela da FIG. 7, e portanto
Petição 870190056776, de 19/06/2019, pág. 135/305
127/215 efeitos similares aos do aparelho de decodificação de imagem 100 podem ser obtidos.
[00509] De modo semelhante, o aparelho de codificação de imagem 400 pode possibilitar aplicar a transformada primária adaptativa também à crominância, adicionalmente pode definir o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como o valor do sinalizador de transformada primária adaptativa apt_flag[Y] de luminância no caso em que o tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição (CuPredMode == MODE_INTER), por exemplo, e pode definir o sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como 0 (falso) no caso em que o tipo de predição do bloco de codificação é intrapredição, como indicado na linha n° 2 na tabela da FIG. 7. Ou seja, efeitos similares aos do aparelho de decodificação de imagem 100 podem ser obtidos no caso também.
[00510] De modo semelhante, o aparelho de codificação de imagem 400 pode possibilitar aplicar a transformada primária adaptativa também à crominância e adicionalmente pode definir o valor do sinalizador de transformada primária adaptativa de apt_flag[Cb/Cr] da crominância como o valor do sinalizador de transformada primária adaptativa apt_flag[Y] de luminância no caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, por exemplo, e pode definir o sinalizador de transformada primária adaptativa de apt_flag[Cb/Cr] da crominância como 0 (falso) no caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro como indicado na linha n° 3 na tabela da FIG. 7. Ou seja, efeitos similares aos do aparelho de decodificação de imagem 100
Petição 870190056776, de 19/06/2019, pág. 136/305
128/215 podem ser obtidos nesse caso também.
[00511] De modo semelhante, o aparelho de codificação de imagem 400 pode possibilitar aplicar a transformada primária adaptativa também à crominância e adicionalmente pode definir o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como o valor do sinalizador de transformada primária adaptativa apt_flag[Y] de luminância no caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que o modo de predição é cópia intrabloco, por exemplo, e pode definir o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como 0 (falso) no caso em que o tipo de predição do bloco de codificação é intrapredição em que o modo de predição não é cópia intrabloco (IntraBC; também chamado de compensação de movimento na tela), como indicado na linha n° 4 na tabela da FIG. 7. Ou seja, efeitos similares aos do aparelho de decodificação de imagem 100 podem ser obtidos nesse caso também.
[00512] De modo semelhante, o aparelho de codificação de imagem 400 pode possibilitar aplicar a transformada primária adaptativa também à crominância e adicionalmente pode definir o sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como o valor do sinalizador de transformada primária adaptativa apt_flag[Y] de luminância em um caso em que um sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag indicando se o sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância é inferido com base no sinalizador de transformada primária adaptativa apt.flag [Y] de luminância ser 1 (verdadeiro), por exemplo, e pode definir o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] de uma crominância como 0 (falso) em um caso em que o sinalizador de inferência de informações de transformada primária adaptativa
Petição 870190056776, de 19/06/2019, pág. 137/305
129/215 de crominância chroma_apt_info_infer_flag é 0 (falso), como indicado na linha n° 5 da tabela da FIG. 7. Dessa maneira, é possível controlar explicitamente se o valor do sinalizador de transformada primária adaptativa de luminância deve ser usado usando o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag. Ou seja, efeitos similares aos do aparelho de decodificação de imagem 100 podem ser obtidos nesse caso também.
[00513] Um exemplo do fluxo de um processo de codificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância para codificar um sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag será descrito com referência ao fluxograma da FIG. 58.
[00514] Quando o processo de codificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância é iniciado, a unidade de codificação 415 determina se um objeto de processamento é ou não uma crominância na Etapa S451. Em um caso em que o objeto de processamento é determinado como a crominância, o processo prossegue para a Etapa S452. Na Etapa S452, a unidade de codificação 415 determina se o sinalizador de transformada primária adaptativa apt.flag[COMPONENT.Y] de luminância é verdadeiro. Em um caso em que o sinalizador é determinado como verdadeiro, o processo prossegue para a Etapa S453. Na Etapa S453, a unidade de codificação 415 determina se o sinalizador habilitado de desvio de quantização de transformada transquant.bypass.enabled.flag é falso. Em um caso em que o sinalizador é determinado como falso, o processo prossegue para a Etapa S454. Na Etapa S454, a unidade de codificação 415 determina se o sinalizador de salto de transformada ts.flag da crominância é falso. Em um caso em que o sinalizador de salto de transformada ts.flag da crominância é determinado como falso, o processo prossegue para a Etapa S455. Na Etapa S455, a
Petição 870190056776, de 19/06/2019, pág. 138/305
130/215 unidade de codificação 415 codifica o sinalizador de inferência de informações de transformada primária adaptativa de crominância chroma_apt_info_infer_flag. Quando o processo da Etapa S455 termina, o processo de codificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 54.
[00515] Deve-se observar que no caso em que o objeto de processamento é determinado como luminância na Etapa S451 da FIG. 58, o processo de codificação de sinalizador de inferência de informações de transformada primária adaptativa de crominância termina e o processo regressa à FIG. 54. Além disso, em um caso em que o sinalizador de transformada primária adaptativa apt.flag [COMPONENT.Y] de luminância é determinado como falso na Etapa S452, o processo de codificação do sinalizador de inferência de informações de transformada primária adaptativa de crominância termina, e o processo retorna à FIG. 54. Além disso, em um caso em que o sinalizador habilitado de desvio de quantização de transformada transquant.bypass.enabled.flag é determinado como verdadeiro na Etapa S453, o processo de codificação do sinalizador de inferência de informações de transformada primária adaptativa de crominância termina, e o processo retorna à FIG. 54. Além disso, em um caso em que o sinalizador de salto de transformada ts.flag da crominância é determinado como verdadeiro na Etapa S454, o processo de codificação do sinalizador de inferência de informações de transformada primária adaptativa de crominância termina, e o processo retoma à FIG. 54.
[00516] Além disso, o aparelho de codificação de imagem 400 pode possibilitar aplicar a transformada primária adaptativa também à crominância e adicionalmente pode definir o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como o valor do sinalizador de transformada primária adaptativa apt_flag[Y] de luminância no caso em que o
Petição 870190056776, de 19/06/2019, pág. 139/305
131/215 tamanho do lado curto do bloco de transformadas a ser processado da crominância é maior que ou igual a um valor limite predeterminado, por exemplo, e pode definir o valor do sinalizador de transformada primária adaptativa apt_flag[Cb/Cr] da crominância como 0 (falso) em um caso em que o tamanho do lado curto do bloco de transformadas é menor que o valor limite, como indicado na linha n° 6 na tabela da FIG. 7. Ou seja, efeitos similares aos do aparelho de decodificação de imagem 100 podem ser obtidos nesse caso também.
[00517] De modo semelhante, o aparelho de codificação de imagem 400 pode possibiltar aplicar a transformada primária (inversa) adaptativa também à crominância, e adicionalmente, pode definir o tipo de transformada da transformada horizontal primária (inversa) como um tipo de transformada predeterminado em um caso em que o tamanho da largura da gravura de um bloco de transformadas com a crominância a ser processado é igual a ou menor que um valor limite predeterminado, por exemplo, e pode definir o tipo de transformada da transformada horizontal primária (inversa) com base em um conjunto de transformadas horizontais e um sinalizador de especificação de transformada horizontal primária em um caso em que o tamanho da largura da gravura do bloco de transformadas é maior que o valor limite, como indicado na linha n° 7 na tabela da FIG. 7. Além disso, de modo semelhante, em um caso em que o tamanho da altura de gravura do bloco de transformadas com uma crominância a ser processado é igual a ou menor que um valor limite predeterminado, o tipo de transformada da transformada vertical primária (inversa) pode ser definido como um tipo de transformada predeterminado, e em um caso em que o tamanho da altura de gravura do bloco de transformadas é maior que o valor limite, o tipo de transformada da transformada vertical primária (inversa) pode ser definido com base em um conjunto de transformadas verticais e um sinalizador de especificação de transformada vertical primária. Ou seja, efeitos similares aos do aparelho de
Petição 870190056776, de 19/06/2019, pág. 140/305
132/215 decodificação de imagem 100 podem ser obtidos nesse caso também.
[00518] Naturalmente, a pluralidade dos casos descritos acima pode ser arbitrariamente combinada, bem como no caso do aparelho de codificação de imagem 400. Além disso, cada um dos casos descritos acima também pode ser combinado com outros casos que não estejam descritos acima. Ou seja, efeitos similares aos do aparelho de decodificação de imagem 100 podem ser obtidos nesse caso também.
<6. Quinta modalidado [00519] <ts_flag>
[00520] As informações referentes a uma transformada ortogonal (inversa) podem incluir um sinalizador de salto de transformada ts_flag indicando se um processo de transformada ortogonal (inversa) deve ser saltado, como no caso de decodificação. Ao derivar cada um de sinalizador de salto de transformada ts_flag[Cb] de uma crominância (Cb) e um sinalizador de salto de transformada ts_flag[Cr] de uma crominância (Cr) com base em um sinalizador de salto de transformada ts_flag[Y] de luminância, por exemplo , um aumento na sobrecarga da quantidade de código da sintaxe sinalizada pela crominância (Cb/Cr) também pode ser refreado.
<Exemplo básico 1>
[00521] O sinalizador de salto de transformada ts_flag de uma crominância é inferido do sinalizador de salto de transformada ts_flag da luminância em todos os momentos, por exemplo, conforme indicado na linha n° 1 na FIG. 27. Por exemplo, um valor do sinalizador de salto de transformada ts_flag [compID] de uma crominância pode ser definido como um valor do sinalizador de salto de transformada ts_fl ag [COMPONENT-Y] de luminância.
[00522] Nesse caso, a unidade de controle 411 executa um processo de codificação de sinalizador de salto de transformada e controla a codificação do sinalizador de salto de transformada ts_flag. Um exemplo do fluxo do
Petição 870190056776, de 19/06/2019, pág. 141/305
133/215 processo de codificação de sinalizador de salto de transformada será descrito com referência ao fluxograma da FIG. 59.
[00523] Quando o processo de codificação do sinalizador de salto de transformada é iniciado, cada um dos processos da Etapa S461 à Etapa S464 da FIG. 59 é executado de forma similar a cada um dos processos da Etapa S241 à Etapa S244 do processo de derivação do sinalizador de salto de transformada da FIG. 29.
[00524] Quando o objeto de processamento é determinado como uma crominância (compID != COMPONENT_Y) na Etapa S464, o processo prossegue para a Etapa S465. Na Etapa S465, a unidade de controle 411 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância (ts_flag [compID] == ts_flag[COMPONENT-¥]). Quando o processo da Etapa S465 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser derivado do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância de modo semelhante no lado de decodificação, e assim o sinalizador não é sinalizado.
[00525] Além disso, em um caso em que o objeto de processamento é determinado como luminância (compID == COMPONENT_Y) na Etapa S464, o processo prossegue para a Etapa S466. Na Etapa S466, a unidade de controle 411 define um valor arbitrário para o sinalizador de salto de transformada ts_flag [compID] de luminância. Em seguida, a unidade de controle 411 fornece o sinalizador de salto de transformada ts_flag[compID] de luminância para a unidade de codificação 415 para fazer com que o sinalizador seja codificado na Etapa S467. Quando o processo da Etapa S467 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, o sinalizador de salto de transformada
Petição 870190056776, de 19/06/2019, pág. 142/305
134/215 ts_flag[compID] de luminância é sinalizado (transmitido). O lado de decodificação obtém o sinalizador de salto de transformada ts_flag[compID] de luminância através de extração e decodificação usando um fluxo de bits.
[00526] Ou seja, no caso do <Exemplo básico 1>, todos os sinalizadores de salto de transformada ts_flag de luminância são sinalizados, e todos os sinalizadores de salto de transformada ts_flag da crominância não são sinalizados. Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts_flag da crominância pode ser omitida, e assim a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 1>
[00527] Além disso, como na linha n° 2 da FIG. 27, por exemplo, no caso no qual o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT-Y] da luminância, e no caso em que o tipo de predição do bloco de codificação é intrapredição, o sinalizador de salto de transformada ts_flag [compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00528] Um exemplo do fluxo do processo de codificação de sinalizador de salto de transformada nesse caso será descrito com referência ao fluxograma da FIG. 60. Cada um dos processos da Etapa S471 à Etapa S475 é executado de forma similar a cada um dos processos da Etapa S251 à Etapa S255 da FIG. 31.
[00529] Ou seja, em um caso em que o objeto de processamento é determinado como a crominância na Etapa S474 e o tipo de predição é
Petição 870190056776, de 19/06/2019, pág. 143/305
135/215 interpredição na Etapa S475, o processo prossegue para a Etapa S476. Na Etapa S476, a unidade de controle 411 define o valor do sinalizador de salto de transformada ts.flag [compID] da crominância como o valor do sinalizador de salto de transformada ts.flag [COMPONENT. Y] de luminância (ts.flag[compID] == ts.flag[COMPONENT.Y]). Quando o processo da Etapa S476 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, o lado de decodificação pode similarmente derivar o sinalizador de salto de transformada ts.flag[compID] do bloco de transformadas no caso da crominância e interpredição do sinalizador de salto de transformada ts.flag [COMPONENT. Y] de luminância, e assim o sinalizador não é sinalizado.
[00530] Por outro lado, em um caso em que o objeto de processamento é determinado como luminância (compID == COMPONENT.Y) na Etapa S474 ou um caso em que o tipo de predição é determinado como interpredição na Etapa S475, o processo prossegue para a Etapa S477. Na Etapa S477, a unidade de controle 411 define um valor arbitrário para o sinalizador de salto de transformada ts_flag[compID]. Em seguida, na Etapa S478, a unidade de controle 411 fornece o sinalizador de salto de transformada ts.flag [compID] para a unidade de codificação 415 para fazer com que o sinalizador seja codificado. Quando o processo da Etapa S478 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, o sinalizador de salto de transformada ts.flag[compID] do bloco de transformadas no caso de luminância ou intrapredição é sinalizado (transmitido). O lado de decodificação pode obter o sinalizador de salto de transformada ts.flag[compID] através de extração e decodificação usando um fluxo de bits.
[00531] Ou seja, no caso do <Exemplo modificado 1>, o sinalizador de salto de transformada ts.flag de luminância e o sinalizador de salto de transformada ts.flag do bloco de transformadas do qual o modo de predição é
Petição 870190056776, de 19/06/2019, pág. 144/305
136/215 intrapredição são sinalizados e o sinalizador de salto de transformada ts_flag da crominância do qual o modo de predição é interpredição não é sinalizado. Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts_flag da crominância pode ser omitida somente no caso do modo de interpredição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 2>
[00532] Além disso, no caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição como na linha n° 3 da FIG. 27, ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, por exemplo, o valor do sinalizador de salto de transformada ts_flag[compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância, no caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00533] Um exemplo do fluxo do processo de codificação de sinalizador de salto de transformada nesse caso será descrito com referência ao fluxograma da FIG. 61. Cada um dos processos da Etapa S481 à Etapa S486 é executado de forma similar a cada um dos processos da Etapa S261 à Etapa S266 da FIG. 33.
[00534] Ou seja, em um caso em que o objeto de processamento é determinado como uma crominância na Etapa S484 e o tipo de predição é
Petição 870190056776, de 19/06/2019, pág. 145/305
137/215 determinado como interpredição na Etapa S485 ou determinado como intrapredição na Etapa S485, e um caso em que os modos de predição para luminância e a crominância correspondem um ao outro na Etapa S486, o processo prossegue para a Etapa S487. Na Etapa S487, a unidade de controle 411 define o valor do sinalizador de salto de transformada ts.flag[compID] da crominância como o valor do sinalizador de salto de transformada ts.flag [COMPONENT. Y] de luminância (ts.flag [compID] == ts.flag[COMPONENT.Y]). Quando o processo da Etapa S487 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, também no caso de intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, bem como sob a condição do <Exemplo modificado 1>, as tendências dos sinais residuais são similares, e assim o sinalizador de salto de transformada ts.flag[compID] não é sinalizado.
[00535] Por outro lado, em um caso em que o objeto de processamento é determinado como luminância (compID == COMPONENT.Y) na Etapa S484 ou um caso em que o tipo de predição é determinado como intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro na Etapa S486, o processo prossegue para a Etapa S488. Na Etapa S488, a unidade de controle 411 define um valor arbitrário para o sinalizador de salto de transformada ts.flag[compID]. Em seguida, na Etapa S489, a unidade de controle 411 fornece o sinalizador de salto de transformada ts.flag[compID] para a unidade de codificação 415 para fazer com que o sinalizador seja codificado. Quando o processo da Etapa S489 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, o sinalizador de salto de transformada ts.flag[compID] de luminância e o sinalizador de salto de transformada ts.flag [compID] do bloco de transformadas para intrapredição em que os modos de predição para luminância e a crominância não
Petição 870190056776, de 19/06/2019, pág. 146/305
138/215 correspondem um ao outro são sinalizados (transmitidos). O lado de decodificação pode obter o sinalizador de salto de transformada ts_flag[compID] através de extração e decodificação usando um fluxo de bits. [00536] Ou seja, no caso do <Exemplo modificado 2>, o sinalizador de salto de transformada ts_flag de luminância e o sinalizador de salto de transformada ts_flag do bloco de transformadas para intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro são sinalizados, e outros sinalizadores de salto de transformada ts_flag não são sinalizados. Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts_flag da crominância pode ser omitida somente no caso do modo de interpredição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 3>
[00537] Além disso, no caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição como na linha n° 4 da FIG. 27, ou intrapredição em que o modo de predição é cópia intrabloco, por exemplo, o valor do sinalizador de salto de transformada ts_flag [compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts_flag[COMPONENT_Y] de luminância, no caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o sinalizador de salto de transformada ts_flag [compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts_flag[compID] da crominância pode ser decodificado a partir dos dados codificados).
[00538] Um exemplo do fluxo do processo de codificação de sinalizador de salto de transformada nesse caso será descrito com referência
Petição 870190056776, de 19/06/2019, pág. 147/305
139/215 ao fluxograma da FIG. 62. Cada um dos processos da Etapa S491 à Etapa S496 é executado de forma similar a cada um dos processos da Etapa S271 à Etapa S276 da FIG. 35.
[00539] Ou seja, em um caso em que o objeto de processamento é determinado como uma crominância na Etapa S494 e o tipo de predição é determinado como interpredição na Etapa S495, ou um caso em que o tipo de predição é determinado como intrapredição em que o modo de predição é cópia intrabloco na Etapa S495 e na Etapa S496, o processo prossegue para a Etapa S497. Na Etapa S497, a unidade de controle 411 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância (ts_flag [compID] == ts_flag [COMPONENT-Y]). Quando o processo da Etapa S497 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou seja, nesse caso, também no caso de intrapredição em que o modo de predição é cópia intrabloco, bem como sob a condição do <Exemplo modificado 1>, as tendências dos sinais residuais são similares, e assim o sinalizador de salto de transformada ts_flag[compID] não é sinalizado.
[00540] Por outro lado, em um caso em que o objeto de processamento é determinado como luminância (compID == COMPONENT_Y) na Etapa
5494 ou um caso em que o tipo de predição é determinado como intrapredição em que o modo de predição não é cópia intrabloco na Etapa
5495 e Etapa S496, o processo prossegue para a Etapa S498. Na Etapa S498, a unidade de controle 411 define um valor arbitrário para o sinalizador de salto de transformada ts_flag[compID]. Em seguida, na Etapa S499, a unidade de controle 411 fornece o sinalizador de salto de transformada ts_flag [compID] para a unidade de codificação 415 para fazer com que o sinalizador seja codificado. Quando o processo da Etapa S489 termina, o processo de codificação de sinalizador de salto de transformada termina. Ou
Petição 870190056776, de 19/06/2019, pág. 148/305
140/215 seja, nesse caso, o sinalizador de salto de transformada ts.flag[compID] de luminância e o sinalizador de salto de transformada ts.flag[compID] do bloco de transformadas para intrapredição em que o modo de predição não é cópia intrabloco são sinalizados (transmitidos). O lado de decodificação pode obter o sinalizador de salto de transformada ts.flag [compID] através de extração e decodificação usando um fluxo de bits.
[00541] Ou seja, no caso do <Exemplo modificado 3>, o sinalizador de salto de transformada ts.flag de luminância e o sinalizador de salto de transformada ts.flag do bloco de transformadas para intrapredição em que o modo de predição não é cópia intrabloco são sinalizados, e outros sinalizadores de salto de transformada ts.flag não são sinalizados. Dessa maneira, a transmissão (codificação e decodificação) do sinalizador de salto de transformada ts.flag da crominância pode ser omitida somente no caso do modo de interpredição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 4>
[00542] Além disso, no caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_info_infer_flag é 1 (verdadeiro) como na linha n° 5 da FIG. 27, por exemplo, o valor do sinalizador de salto de transformada ts.flag [compID] da crominância pode ser definido como o valor do sinalizador de salto de transformada ts.flag [COMPONENT. Y] da luminância, e no caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma.ts.info.info.infer.flag é 0 (falso), o sinalizador de salto de transformada ts.flag[compID] da crominância pode ser sinalizado (isto é, o sinalizador de salto de transformada ts.flag[compID] da crominância pode ser decodificado a partir dos dados
Petição 870190056776, de 19/06/2019, pág. 149/305
141/215 codificados).
[00543] Um exemplo do fluxo do processo de codificação de sinalizador de salto de transformada nesse caso será descrito com referência ao fluxograma da FIG. 63. Cada um dos processos da Etapa S501 à Etapa S504 é executado de forma similar a cada um dos processos da Etapa S281 à Etapa S284 da FIG. 38.
[00544] Ou seja, em um caso em que o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag é determinado como verdadeiro na Etapa S504, o processo prossegue para a Etapa S505. Na Etapa S505, a unidade de controle 411 define o valor do sinalizador de salto de transformada ts_flag[compID] da crominância como o valor do sinalizador de salto de transformada ts_flag [COMPONENT-Y] de luminância (ts_flag [compID] == ts_flag[COMPONENT-¥]). Quando o processo da Etapa S4505 termina, o processo de codificação de sinalizador de salto de transformada termina.
[00545] Por outro lado, o sinalizador de inferência de informações de salto de transformada de crominância chroma_ts_info_infer_flag é determinado como falso na Etapa S504, o processo prossegue para a Etapa S506. Na Etapa S506, a unidade de controle 411 define um valor arbitrário para o sinalizador de salto de transformada ts_flag[compID]. Em seguida, a unidade de controle 411 fornece o sinalizador de salto de transformada ts_flag [compID] para a unidade de codificação 415 e faz com que o sinalizador seja codificado na Etapa S507. Quando o processo da Etapa S507 termina, o processo de codificação de sinalizador de salto de transformada termina.
[00546] Ou seja, no caso do <Exemplo modificado 4>, é explicitamente controlado se deve-se sinalizar o sinalizador de salto de transformada ts_flag[compID] usando o sinalizador de inferência de informações de salto de transformada de crominância
Petição 870190056776, de 19/06/2019, pág. 150/305
142/215 chroma_ts_info_infer_flag. Portanto, é possível fazer facilmente com que o valor do sinalizador de salto de transformada de luminância usado apenas em um caso em que um efeito suficientemente grande possa ser obtido e, assim a deterioração na eficiência de codificação pode ser ainda mais refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<7. Sexta modalidado [00547] <st_idx>
[00548] Como no caso da decodificação, um identificador de transformada secundária st_idx indicando qual transformada secundária (inversa) deve ser aplicada pode ser incluído nas informações referentes a uma transformada ortogonal (inversa). Ao derivar um identificador de transformada secundária chroma_st_idx de uma crominância (comum para Cb e Cr) com base em um identificador de transformada secundária st_idx[Y] de luminância, por exemplo, um aumento na sobrecarga da quantidade de código da sintaxe pela qual a crominância (Cb ou Cr) é sinalizada também pode ser refreado.
<Exemplo básico 1>
[00549] Por exemplo, um identificador de transformada secundária st_idx de uma crominância pode ser inferido do identificador de transformada secundária st_idx da luminância em todos os momentos como indicado na linha n° 1 da FIG. 39. Por exemplo, o identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor de identificador de transformada secundária st_idx de luminância.
[00550] Nesse caso, a unidade de controle 411 executa o processo de codificação do identificador de transformada secundária para a crominância e controla a codificação do identificador de transformada secundária chroma_st_idx para crominância. Um exemplo do fluxo do processo de codificação de identificador de transformada secundária para a crominância
Petição 870190056776, de 19/06/2019, pág. 151/305
143/215 será descrito com referência ao fluxograma da FIG. 64.
[00551] Quando o processo de codificação do identificador de transformada secundária para a crominância é iniciado, cada um dos processos da Etapa S511 à Etapa S514 da FIG. 64 é executado de forma similar a cada um dos processos da Etapa S291 à Etapa S294 do processo de codificação do identificador de transformada secundária de crominância da FIG. 42.
[00552] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_ts_flag da crominância pode ser omitida, e assim a deterioração na eficiência de codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 1>
[00553] No caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st.idx de luminância como descrito com referência à linha n° 2 da FIG. 39, e no caso em que o tipo de predição do bloco de codificação é intrapredição, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00554] Nesse caso, a unidade de controle 411 executa o processo de codificação do identificador de transformada secundária para a crominância e controla a codificação do identificador de transformada secundária chroma_st_idx da crominância. Um exemplo do fluxo do processo de codificação de identificador de transformada secundária para a crominância será descrito com referência ao fluxograma da FIG. 65.
Petição 870190056776, de 19/06/2019, pág. 152/305
144/215 [00555] Quando o processo de codificação do identificador de transformada secundária para a crominância é iniciado, cada um dos processos da Etapa S521 à Etapa S524 da FIG. 65 é executado de forma similar a cada um dos processos da Etapa S301 à Etapa S304 do processo de codificação do identificador de transformada secundária de crominância da FIG. 44.
[00556] Ou seja, em um caso em que o tipo de predição é determinado como interpredição na Etapa S524, o processo prossegue para a Etapa S525. Na Etapa S525, a unidade de controle 411 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st_idx da luminância (chroma_st_idx == st_idx). Quando o processo da Etapa S525 termina, o processo de codificação do identificador de transformada secundária para a crominância termina. Ou seja, nesse caso, o lado de decodificação pode similarmente derivar o identificador de transformada secundária chroma_st_idx do bloco de transformadas no caso da crominância e interpredição do identificador de transformada secundária st_idx de luminância, e assim o identificador não é sinalizado.
[00557] Por outro lado, em um caso em que o tipo de predição é determinado como intrapredição na Etapa S524, o processo prossegue para a Etapa S526. Na Etapa S526, a unidade de controle 411 define um valor arbitrário para o identificador de transformada secundária chroma_st_idx da crominância. Em seguida, na Etapa S527, a unidade de controle 411 fornece o identificador de transformada secundária chroma_st_idx da crominância para a unidade de codificação 415 para fazer com que o identificador seja codificado. Quando o processo da Etapa S527 termina, o processo de codificação do identificador de transformada secundária para a crominância termina. Ou seja, nesse caso, o identificador de transformada secundária chroma_st_idx da crominância do bloco de transformadas para intrapredição é
Petição 870190056776, de 19/06/2019, pág. 153/305
145/215 sinalizado (transmitido). O lado de decodificação pode obter o identificador de transformada secundária chroma_st_idx da crominância através de extração e decodificação usando um fluxo de bits.
[00558] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_st_idx da crominância pode ser omitida somente no caso do modo de interpredição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 2>
[00559] Além disso, no caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro como na linha n° 3 da FIG. 39, por exemplo, o valor do identificador de transformada secundária chroma_st_idx da crominância é definido como o valor do identificador de transformada secundária st_idx de luminância. Além disso, no caso em que o tipo de predição do bloco de codificação é intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00560] Um exemplo do fluxo do processo de codificação de identificador de transformada secundária para a crominância será descrito com referência ao fluxograma da FIG. 66. Cada um dos processos da Etapa S531 à Etapa S535 é executado de forma similar a cada um dos processos da Etapa S311 à Etapa S315 da FIG. 46.
[00561] Ou seja, em um caso em que é determinado que o tipo de
Petição 870190056776, de 19/06/2019, pág. 154/305
146/215 predição é interpredição na Etapa S534, ou um caso em que o tipo de predição é determinado como intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro na Etapa S534 e S535, o processo prossegue para a Etapa S536. Na Etapa S536, a unidade de controle 411 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st.idx da luminância (chroma_st_idx == st_idx). Quando o processo da Etapa S536 termina, o processo de codificação do identificador de transformada secundária para a crominância termina. Ou seja, também no caso de intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, bem como sob a condição do <Exemplo modificado 1>, as tendências dos sinais residuais são similares, e assim o identificador de transformada secundária chroma_st_idx da crominância pode não ser sinalizado.
[00562] Por outro lado, em um caso em que o tipo de predição é determinado como intrapredição em que os modos de predição para luminância e a crominância não correspondem um ao outro na Etapa S535 (compID != COMPONENT.Y), o processo prossegue para a Etapa S537. Na Etapa S537, a unidade de controle 411 define um valor arbitrário para o identificador de transformada secundária chroma_st_idx da crominância. Em seguida, na Etapa S538, a unidade de controle 411 fornece o identificador de transformada secundária chroma_st_idx da crominância para a unidade de codificação 415 para fazer com que o identificador seja codificado. Quando o processo da Etapa S538 termina, o processo de codificação do identificador de transformada secundária para a crominância termina.
[00563] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_st_idx da crominância pode ser omitida somente no caso do modo de predição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da
Petição 870190056776, de 19/06/2019, pág. 155/305
147/215 codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 3>
[00564] Além disso, no caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que o modo de predição é cópia intrabloco como na linha n° 4 da FIG. 39, por exemplo, o valor do identificador de transformada secundária chroma_st_idx da crominância é definido como o valor do identificador de transformada secundária st_idx de luminância. Além disso, no caso em que o tipo de predição é intrapredição em que o modo de predição não é cópia intrabloco, o identificador de transformada secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00565] Um exemplo do fluxo do processo de codificação de identificador de transformada secundária para a crominância será descrito com referência ao fluxograma da FIG. 67. Cada um dos processos da Etapa S541 à Etapa S545 é executado de forma similar a cada um dos processos da Etapa S321 à Etapa S325 da FIG. 48.
[00566] Ou seja, em um caso em que é determinado que o tipo de predição é interpredição na Etapa S544, ou um caso em que o tipo de predição é determinado como intrapredição em que o modo de predição é cópia intrabloco na Etapa S544 e S545, o processo prossegue para a Etapa S546. Na Etapa S546, a unidade de controle 411 define o valor do identificador de transformada secundária chroma_st_idx da crominância como o valor do identificador de transformada secundária st_idx da luminância (chroma_st_idx == st_idx). Quando o processo da Etapa S546 termina, o processo de codificação do identificador de transformada secundária para a crominância termina. Ou seja, também no caso de intrapredição em que o
Petição 870190056776, de 19/06/2019, pág. 156/305
148/215 modo de predição é cópia intrabloco, bem como sob a condição do <Exemplo modificado 1>, as tendências dos sinais residuais são similares, e assim o identificador de transformada secundária chroma_st_idx da crominância pode não ser sinalizado.
[00567] Por outro lado, em um caso em que o tipo de predição é determinado como intrapredição em que o modo de predição não é cópia intrabloco na Etapa S545, o processo prossegue para a Etapa S547. Na Etapa S547, a unidade de controle 411 define um valor arbitrário para o identificador de transformada secundária chroma_st_idx da crominância. Em seguida, na Etapa S548, a unidade de controle 411 fornece o identificador de transformada secundária chroma_st_idx da crominância para a unidade de codificação 415 para fazer com que o identificador seja codificado. Quando o processo da Etapa S548 termina, o processo de codificação do identificador de transformada secundária para a crominância termina.
[00568] Dessa maneira, a transmissão (codificação e decodificação) do identificador de transformada secundária chroma_st_idx da crominância pode ser omitida somente no caso do modo de predição no qual as tendências dos sinais residuais são similares e, portanto, a deterioração na eficiência da codificação pode ser refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser refreado.
<Exemplo modificado 5>
[00569] Além disso, como na linha n° 5 da FIG. 39, por exemplo, no caso no qual o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag é 1 (verdadeiro), o valor do identificador de transformada secundária chroma_st_idx da crominância pode ser definido como o valor do identificador de transformada secundária st_idx de luminância, e no caso em que o sinalizador de inferência de identificador de transformada secundária de crominância chroma_st_idx_infer_flag é 0 (falso), o identificador de transformada
Petição 870190056776, de 19/06/2019, pág. 157/305
149/215 secundária chroma_st_idx da crominância pode ser sinalizado (isto é, o identificador de transformada secundária chroma_st_idx da crominância pode ser decodificado a partir dos dados codificados).
[00570] Um exemplo do fluxo do processo de codificação de sinalizador de inferência do identificador de transformada secundária de crominância nesse caso será descrito com referência ao fluxograma da FIG. 68. Cada um dos processos da Etapa S551 à Etapa S553 é executado de forma similar a cada um dos processos da Etapa S331 à Etapa S333 da FIG. 50.
[00571] Ou seja, a unidade de controle 411 define o sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_infer_flag na Etapa S554 e fornece o sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_infer_flag para a unidade de codificação 415 de modo a ser codificado na Etapa S555.
[00572] Na Etapa S556, a unidade de controle 411 determina se o valor do sinalizador de inferência do identificador de transformada secundária de crominância adquirido chroma_st_idx_infer_flag é verdadeiro ou não. Em um caso em que o valor do sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_infer_flag é determinado como verdadeiro, o processo prossegue para a Etapa S557. Na Etapa S557, a unidade de controle 411 aplica o identificador de transformada secundária st.idx para luminância ao identificador de transformada secundária chroma_st_idx da crominância.
[00573] Além disso, em um caso em que o valor do sinalizador de inferência do identificador de transformada secundária de crominância chroma_st_idx_infer_flag é determinado como falso na Etapa S556, o processo prossegue para a Etapa S558. Na Etapa S558, a unidade de controle 411 define o identificador de transformada secundária chroma_st_idx da crominância. Além disso, na Etapa S559, a unidade de controle 411 fornece o
Petição 870190056776, de 19/06/2019, pág. 158/305
150/215 identificador para a unidade de codificação 415 para fazer com que o identificador seja codificado. Quando o processo da Etapa S559 termina, o processo de codificação de sinalizador de salto de transformada termina.
[00574] Ou seja, no caso do <Exemplo modificado 5>, é explicitamente controlado se deve-se sinalizar o identificador de transformada secundária chroma_st_idx da crominância usando o sinalizador de inferência do identificador de transformada secundária de crominância. Portanto, é possível selecionar um método mais eficaz fácil e confiavelmente. Portanto, a deterioração na eficiência de codificação pode ser adicionalmente refreada. Além disso, um aumento na carga de codificação e decodificação também pode ser controlado.
<8. Outros>
<Unidade de dados de informação>
[00575] Uma unidade de dados pela qual as informações referentes a uma imagem e informações referentes à codificação e decodificação da imagem descrita acima são definidas (ou uma unidade de dados de dados alvo) é arbitrária em cada caso e não está limitada aos exemplos descritos acima. Por exemplo, as informações podem ser definidas em cada um de uma unidade de transformada (TU), um bloco de transformadas (TB), uma unidade de predição (PU), um bloco de predição (PB), uma unidade de codificação (CU), uma unidade de codificação maior (LCU), um sub-bloco, um bloco, um quadriculado, uma fatia, uma gravura, uma sequência ou um componente, ou dados das unidades de dados podem ser alvejados. Naturalmente, uma unidade de dados é definida para cada informação. Ou seja, todas as informações podem não estar definidas (ou alvejadas) na mesma unidade de dados. Deve-se observar que um local de armazenamento de informações é arbitrário e as informações podem ser armazenadas no cabeçalho da unidade de dados descrita acima, um conjunto de parâmetros ou similares. Além disso, as informações podem ser armazenadas em uma pluralidade de locais.
Petição 870190056776, de 19/06/2019, pág. 159/305
151/215 <Informações de controlo [00576] As informações de controle relacionadas à presente tecnologia descrita em cada uma das modalidades acima podem ser transmitidas do lado de codificação para o lado de decodificação. Por exemplo, informações de controle que controlam se deve-se ou não permitir (ou negar) a aplicação da presente tecnologia descrita acima podem ser transmitidas. Além disso, por exemplo, informações de controle que especificam um limite superior, um limite inferior ou ambos de um tamanho de bloco que permite (ou nega) a aplicação da presente tecnologia descrita acima podem ser transmitidas.
<Codificação e decodificação [00577] A presente tecnologia pode ser aplicada à codificação e decodificação de imagens arbitrárias, em que uma transformada primária e uma transformada secundária (uma mudança secundária inversa e uma transformada primária inversa) são realizadas. Isto é, as especificações de uma transformada (transformada inversa), quantização (quantização inversa), codificação (decodificação), predição e similares são arbitrárias e não estão limitadas aos exemplos descritos acima. Por exemplo, no que se refere a uma transformada (transformada inversa), podem ser realizadas transformadas (inversas) (isto é, três ou mais transformadas (inversas)) que não uma transformada primária (inversa) e uma transformada secundária (inversa). Além disso, a codificação (decodificação) pode ser de um método reversível ou um método irreversível. Além disso, a quantização (quantização inversa), predição ou similares podem ser omitidas. Além disso, um processo que não é descrito acima, como um processo de filtragem, pode ser realizado.
[00578] <Campos de aplicação da presente tecnologia>
[00579] O sistema, aparelho, processador e similares aos quais a tecnologia atual é aplicada podem ser usados em qualquer campo, como tráfego, assistência médica, prevenção de crimes, agricultura, pecuária, indústria de mineração, beleza, fábricas, eletrodomésticos, clima, vigilância
Petição 870190056776, de 19/06/2019, pág. 160/305
152/215 natural ou similares.
[00580] Em um exemplo, a presente tecnologia é aplicável a sistemas e dispositivos que transmitem uma imagem provida para visualização. Além disso, em um exemplo, a presente tecnologia é aplicável a sistemas e dispositivos providos para o tráfego. Além disso, em um exemplo, a presente tecnologia é aplicável a sistemas e dispositivos providos para segurança. Além disso, em um exemplo, a presente tecnologia é aplicável a sistemas e dispositivos providos para esportes. Além disso, em um exemplo, a presente tecnologia é aplicável a sistemas e dispositivos providos para agricultura. Além disso, em um exemplo, a presente tecnologia é aplicável a sistemas e dispositivos providos para pecuária. Além disso, em um exemplo, a presente tecnologia também é aplicável a sistemas e dispositivos para monitorar condições naturais como vulcões, florestas, oceanos e similares. Além disso, em um exemplo, a presente tecnologia é aplicável a sistemas de observação climática e dispositivos de observação climática para observação de clima, temperatura, umidade, velocidade do vento, duração da luz do sol e similares. Além disso, em um exemplo, a presente tecnologia também é aplicável a sistemas, dispositivos ou similares para observar a ecologia da vida selvagem, como pássaros, peixes, répteis, anfíbios, mamíferos, insetos, plantas e similares.
<Aplicação a um sistema de codificação e decodificação de imagem com múltiplas visualizações>
[00581] A série de processos descritos acima pode ser aplicada a um sistema de codificação e decodificação de imagens com múltiplas visualizações que realiza a codificação e a decodificação de imagens com múltiplas visualizações, incluindo imagens com uma pluralidade de visualizações (visualização). Nesse caso, a presente tecnologia pode ser aplicada à codificação e decodificação de cada visualização (visualização). <Aplicação a um sistema de codificação e decodificação de imagem
Petição 870190056776, de 19/06/2019, pág. 161/305
153/215 hierárquica>
[00582] Além disso, a série de processos descritos acima pode ser aplicada a uma codificação de imagem hierárquica (codificação dimensionável) e sistema de decodificação que realiza codificação e decodificação em imagens hierárquicas que foram feitas em uma pluralidade de camadas (hierarquias) para ter uma função de dimensionamento em relação a um parâmetro predeterminado. Nesse caso, a presente tecnologia pode ser aplicada à codificação e decodificação de cada uma das hierarquias (camadas).
<Computador>
[00583] A série de processos descritos acima pode ser executada por hardware e também pode ser executada em software. No caso de executar a série de processos por software, um programa que forma o software é instalado em um computador. Aqui, o termo computador inclui um computador embutido em um hardware para fins especiais, um computador capaz de executar várias funções instalando vários programas no mesmo, como um computador pessoal de uso geral, por exemplo, e assim por diante.
[00584] A FIG. 69 é um diagrama de blocos que ilustra uma configuração de hardware exemplificativa de um computador que executa a série de processos descrita acima de acordo com um programa.
[00585] No computador 800 ilustrado na FIG. 69, uma unidade de processamento central (CPU) 801, memória de somente leitura (ROM) 802 e memória de acesso aleatório (RAM) 803 são interligadas através de um barramento 804.
[00586] Adicionalmente, uma interface de entrada/saída 810 também está conectada ao barramento 804. Uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade de disco 815 são conectados à interface de entrada/saída 810.
Petição 870190056776, de 19/06/2019, pág. 162/305
154/215 [00587] A unidade de entrada 811 inclui um teclado, um mouse, um microfone, um painel de toque, um terminal de entrada e similares, por exemplo. A unidade de saída 812 inclui um monitor, um alto-falante, um terminal de saída e similares, por exemplo. A unidade de armazenamento 813 inclui um disco rígido, um disco RAM, memória n volátil e similares, por exemplo. A unidade de comunicação 814 inclui uma interface de rede, por exemplo. A unidade de disco 815 aciona um meio removível 821, tal como um disco magnético, um disco óptico, um disco magneto-óptico ou memória semicondutora.
[00588] Em um computador configurado como acima, a série de processos descritos acima é realizada fazendo a CPU 801 carregar um programa armazenado na unidade de armazenamento 813 na RAM 803 através da interface de entrada/saída 810 e do barramento 804, e executar o programa, por exemplo. Adicionalmente, os dados requeridos para que a CPU 801 execute vários processos e similares são também armazenados na RAM 803, conforme apropriado.
[00589] O programa executado pelo computador (CPU 801) pode ser aplicado sendo gravado no meio removível 821 como uma instância de mídia empacotada ou similar, por exemplo. Nesse caso, o programa pode ser instalado na unidade de armazenamento 813 através da interface de entrada/saída 810 inserindo o meio removível 821 na unidade de disco 815.
[00590] Além disso, o programa também pode ser fornecido através de um meio de transmissão com ou sem fio, como uma rede de área local, a Internet ou a difusão por satélite digital. Nesse caso, o programa pode ser recebido pela unidade de comunicação 814 e instalado na unidade de armazenamento 813.
[00591] De outro modo, o programa também pode ser pré-instalado na ROM 802 ou na unidade de armazenamento 813.
<Aplicação da presente tecnologia>
Petição 870190056776, de 19/06/2019, pág. 163/305
155/215 [00592] O aparelho de codificação de imagem 400 e o aparelho de decodificação de imagem 100 de acordo com as modalidades descritas acima podem ser aplicados a, por exemplo, vários aparelhos eletrônicos tais como: transmissores ou receptores para difusão por satélite, difusão com fio tais como TV a cabo, distribuição na Internet e distribuição para terminais através de comunicação celular; dispositivos de gravação que gravam imagens em mídia, como discos ópticos, discos magnéticos e memórias flash; ou dispositivos de reprodução que reproduzem imagens dos meios de armazenamento anteriores.
<Primeiro exemplo de aplicação: receptor de tele vis ão>
[00593] A FIG. 70 ilustra um exemplo de uma configuração esquemática de um aparelho de televisão ao qual a modalidade descrita acima é aplicada. O aparelho de televisão 900 tem uma antena 901, um sintonizador 902, um demultiplexador 903, um decodificador 904, uma unidade de processamento de sinal de vídeo 905, uma unidade de exibição 906, uma unidade de processamento de sinal de áudio 907, um alto-falante 908, uma unidade de interface (I/F) externa 909, uma unidade de controle 910, uma unidade de interface (I/F) de usuário 911 e um barramento 912.
[00594] O sintonizador 902 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através da antena 901 e demodula o sinal extraído. Então, o sintonizador 902 envia um fluxo de bits codificado obtido da demodulação para o demultiplexador 903. Isto é, o sintonizador 902 desempenha um papel como uma seção de transmissão do aparelho de televisão 900 que recebe um fluxo codificado no qual as imagens são codificadas.
[00595] O demultiplexador 903 demultiplexa um fluxo de vídeo e um fluxo de áudio de um programa a ser visualizado a partir do fluxo codificado e envia os fluxos demultiplexados para o decodificador 904. Além disso, o demultiplexador 903 extrai dados auxiliares, tais como um guia de programa
Petição 870190056776, de 19/06/2019, pág. 164/305
156/215 eletrônico (EPG) do fluxo de bits codificado e fomece os dados extraídos para a unidade de controle 910. Deve-se observar que, no caso em que o fluxo de bits codificado foi embaralhado, o demultiplexador 903 pode realizar o desembaralhamento.
[00596] O decodificador 904 decodifica o fluxo de vídeo e a entrada de fluxo de áudio do demultiplexador 903. Em seguida, o decodificador 904 envia dados de vídeo gerados a partir do processo de decodificação para a unidade de processamento de sinal de vídeo 905. Além disso, o decodificador 904 envia dados de áudio gerados a partir do processo de decodificação para a unidade de processamento de sinal de áudio 907.
[00597] A unidade de processamento de sinal de vídeo 905 reproduz a entrada de dados de vídeo do decodificador 904 para fazer com que a unidade de exibição 906 exiba um vídeo. Além disso, a unidade de processamento de sinal de vídeo 905 pode fazer com que a unidade de exibição 906 exiba uma tela de aplicação fornecida através de uma rede. Além disso, a unidade de processamento de sinal de vídeo 905 pode realizar um processo adicional, por exemplo, redução de ruído, nos dados de vídeo de acordo com uma configuração. Além disso, a unidade de processamento de sinal de vídeo 905 pode gerar uma imagem de uma interface gráfica de usuário (GUI), por exemplo, um menu, um botão ou um cursor e sobrepor a imagem gerada em uma imagem de saída.
[00598] A unidade de exibição 906 é acionada com um sinal de acionamento fornecido pela unidade de processamento de sinal de vídeo 905 e exibe um vídeo ou uma imagem em um plano de vídeo de um dispositivo de exibição (por exemplo, um visor de cristal líquido, um visor de plasma, um visor de eletroluminescência orgânica (OLED), etc.).
[00599] A unidade de processamento de sinal de áudio 907 realiza um processo de reprodução incluindo conversão D/A e amplificação na entrada de dados de áudio do decodificador 904 e faz com que o alto-falante 908
Petição 870190056776, de 19/06/2019, pág. 165/305
157/215 emita um som. Além disso, a unidade de processamento de sinal de áudio 907 pode realizar um processo adicional, tal como remoção de ruído nos dados de áudio.
[00600] A unidade de interface externa 909 é uma interface para conectar o aparelho de televisão 900 a um aparelho externo ou a uma rede. Por exemplo, um fluxo de vídeo ou um fluxo de áudio recebido através da unidade de interface externa 909 pode ser decodificado pelo decodificador 904. Em outras palavras, a unidade de interface externa 909 também desempenha o papel de uma seção de transmissão do aparelho de televisão 900 que recebe um fluxo codificado no qual as imagens são codificadas.
[00601] A unidade de controle 910 tem um processador, como uma CPU e uma memória, como uma RAM e uma ROM. A memória armazena um programa executado pela CPU, dados do programa, dados EPG e dados adquiridos através de uma rede. O programa armazenado na memória é lido e executado pela CPU no momento da, por exemplo, inicialização do aparelho de televisão 900. A CPU controla as operações do aparelho de televisão 900, executando o programa em resposta a, por exemplo, sinais de operação introduzidos a partir da seção de interface de usuário 911.
[00602] A seção de interface de usuário 911 é conectada à unidade de controle 910. A seção de interface de usuário 911 inclui, por exemplo, botões e comutadores com os quais um usuário opera o aparelho de televisão 900, uma unidade de recepção para sinais de controle remoto e similares. A seção de interface de usuário 911 gera um sinal de operação detectando uma operação por um usuário através de qualquer elemento constituinte mencionado acima e envia o sinal de operação gerado para a unidade de controle 910.
[00603] O barramento 912 conecta o sintonizador 902, o demultiplexador 903, o decodificador 904, a unidade de processamento de sinal de vídeo 905, a unidade de processamento de sinal de áudio 907, a
Petição 870190056776, de 19/06/2019, pág. 166/305
158/215 unidade de interface externa 909 e a unidade de controle 910 uns aos outros.
[00604] No aparelho de televisão 900 configurado desse modo, o decodificador 904 pode também incluir as funções do aparelho de decodificação de imagem 100 descrito acima. Em outras palavras, o decodificador 904 pode ser configurado para decodificar dados codificados de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o aparelho de televisão 900 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
[00605] Além disso, no aparelho de televisão 900 configurado desse modo, a unidade de processamento de sinal de vídeo 905 pode ser capaz de codificar dados de imagem providos a partir do decodificador 904 e fazer com que os dados codificados obtidos sejam enviados extemamente para o aparelho de televisão 900 através da unidade de interface externa 909. Adicionalmente, a unidade de processamento de sinal de vídeo 905 pode também incluir as funções do aparelho de codificação de imagem 400 descrito acima. Em outras palavras, a unidade de processamento de sinal de vídeo 905 pode ser configurada para codificar dados de imagem providos a partir do decodificador 904 de acordo com o método descrito em cada uma das modalidades acima. Com esse arranjo, o aparelho de televisão 900 toma-se capaz de diminuir ainda mais a quantidade de transmissão relacionada à transmissão (transmissão) de parâmetros. Dessa maneira, o aparelho de televisão 900 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
<Segundo exemplo de aplicação: telefone celular>
[00606] A FIG. 71 ilustra um exemplo de uma configuração esquemática de um telefone celular ao qual as modalidades descritas acima são aplicadas. Um telefone celular 920 inclui uma antena 921, uma unidade de comunicação 922, um codec de áudio 923, um alto-falante 924, um microfone 925, uma unidade de câmera 926, uma unidade de processamento
Petição 870190056776, de 19/06/2019, pág. 167/305
159/215 de imagem 927, uma unidade de multiplexação/demultiplexação 928, uma unidade de gravação/reprodução 929, uma unidade de exibição 930, uma unidade de controle 931, uma unidade de operação 932 e um barramento 933. [00607] A antena 921 é conectada à unidade de comunicação 922. O alto-falante 924 e o microfone 925 são conectados ao codec de áudio 923. A unidade de operação 932 é conectada à unidade de controle 931. O barramento 933 conecta mutuamente a unidade de comunicação 922, o codec de áudio 923, a unidade de câmera 926, a unidade de processamento de imagem 927, a unidade de multiplexação/demultiplexação 928, a unidade de gravação/reprodução 929, a unidade de exibição 930 e a unidade de controle 931.
[00608] O telefone celular 920 realiza ações como transmitir/receber um sinal de áudio, transmitir/receber um correio eletrônico ou dados de imagem, capturar uma imagem e gravar dados em vários modos de operação, incluindo um modo de chamada de áudio, um modo de comunicação de dados, um modo de fotografia e um modo de videofone.
[00609] No modo de chamada de áudio, um sinal de áudio analógico gerado pelo microfone 925 é fornecido ao codec de áudio 923. O codec de áudio 923 converte o sinal de áudio analógico em dados de áudio, realiza conversão A/D nos dados de áudio convertidos e comprime os dados. O codec de áudio 923 depois envia os dados de áudio comprimidos para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de áudio para gerar um sinal de transmissão. A unidade de comunicação 922 transmite então o sinal de transmissão gerado para uma estação base (não mostrada) através da antena 921. Além disso, a unidade de comunicação 922 amplifica um sinal de rádio recebido através da antena 921, realiza a conversão de frequência e adquire um sinal de recepção. A unidade de comunicação 922 subsequentemente demodula e decodifica o sinal de recepção para gerar os dados de áudio e envia os dados de áudio gerados para
Petição 870190056776, de 19/06/2019, pág. 168/305
160/215 o codec de áudio 923. O codec de áudio 923 expande os dados de áudio, realiza a conversão D/A nos dados e gera o sinal de áudio analógico. O codec de áudio 923 fornece então o sinal de áudio gerado ao alto-falante 924 para fazer com que ele reproduza o áudio.
[00610] No modo de comunicação de dados, por exemplo, a unidade de controle 931 gera dados de caracteres configurando um correio eletrônico, de acordo com uma operação do usuário detectada através da unidade de operação 932. A unidade de controle 931 apresenta adicionalmente caracteres na unidade de exibição 930. Além disso, a unidade de controle 931 gera dados de correio eletrônico de acordo com uma instrução para envio obtidas de um usuário através da unidade de operação 932 e envia os dados de correio eletrônico gerados para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados do correio eletrônico para gerar um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para a estação base (não mostrada) através da antena 921. A unidade de comunicação 922 amplifica adicionalmente um sinal de rádio recebido através da antena 921, realiza a conversão de frequência e adquire um sinal de recepção. A unidade de comunicação 922 subsequentemente demodula e decodifica o sinal de recepção, restaura os dados de correio eletrônico e envia os dados de correio eletrônico restaurados para a unidade de controle 931. A unidade de controle 931 exibe o conteúdo do correio eletrônico na unidade de exibição 930, assim como fornece os dados de correio eletrônico a um meio de armazenamento da unidade de gravação/reprodução 929 para fazer com que os dados sejam gravados no meio.
[00611] A unidade de gravação/reprodução 929 inclui um meio de armazenamento arbitrário que é legível e gravável. Por exemplo, o meio de armazenamento pode ser um meio de armazenamento embutido, como uma RAM ou uma memória flash, ou pode ser um meio de armazenamento
Petição 870190056776, de 19/06/2019, pág. 169/305
161/215 montado externamente, como um disco rígido, um disco magnético, um disco magneto-óptico, um disco óptico, uma memória USB ou um cartão de memória.
[00612] No modo de fotografia, por exemplo, a unidade de câmera 926 forma a imagem de um objeto para gerar dados de imagem e envia os dados de imagem gerados para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 codifica a entrada de dados de imagem da unidade de câmera 926 e fornece um fluxo codificado para o meio de armazenamento da unidade de gravação/reprodução 929 para fazer com que o fluxo codificado seja gravado no meio.
[00613] Além disso, no modo de exibição de imagem, a unidade de gravação/reprodução 929 lê um fluxo codificado gravado em um meio de armazenamento, e envia para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 decodifica a entrada de fluxo codificada da unidade de gravação/reprodução 929, fornece dados de imagem para a unidade de exibição 930 e faz com que a imagem seja exibida.
[00614] No modo de videofone, por exemplo, a unidade de multiplexação/demultiplexação 928 multiplexa um fluxo de vídeo codificado pela unidade de processamento de imagem 927 e uma entrada de fluxo de áudio do codec de áudio 923 e envia o fluxo multiplexado para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula o fluxo para gerar um sinal de transmissão. A unidade de comunicação 922 transmite então o sinal de transmissão gerado para a estação base (não mostrada) através da antena 921. Além disso, a unidade de comunicação 922 amplifica um sinal de rádio recebido através da antena 921, realiza a conversão de frequência e adquire um sinal de recepção. O sinal de transmissão e o sinal de recepção podem incluir um fluxo de bits codificado. A unidade de comunicação 922 assim demodula e decodifica o sinal de recepção para restaurar o fluxo e envia o fluxo restaurado para a unidade de
Petição 870190056776, de 19/06/2019, pág. 170/305
162/215 multiplexação/demultiplexação 928. A unidade de multiplexação/demultiplexação 928 demultiplexa o fluxo de vídeo e o fluxo de áudio a partir do fluxo de entrada e envia o fluxo de vídeo e o fluxo de áudio para a unidade de processamento de imagem 927 e o codec de áudio 923, respectivamente. A unidade de processamento de imagem 927 decodifica o fluxo de vídeo para gerar dados de vídeo. Os dados de vídeo são então fornecidos para a unidade de exibição 930, que exibe uma série de imagens. O codec de áudio 923 expande e executa a conversão D/A no fluxo de áudio para gerar um sinal de áudio analógico. O codec de áudio 923 fornece então o sinal de áudio gerado ao alto-falante 924 para fazer com que ele reproduza o áudio.
[00615] No telefone celular 920 configurado desse modo, a unidade de processamento de imagem 927 pode incluir as funções do aparelho de codificação de imagem 400 descrito acima, por exemplo. Em outras palavras, a unidade de processamento de imagem 927 pode ser configurada para codificar dados de imagem de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o telefone celular 920 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
[00616] Além disso, no telefone celular 920 configurado desse modo, a unidade de processamento de imagem 904 pode incluir as funções do aparelho de decodificação de imagem 100 descrito acima, por exemplo. Em outras palavras, a unidade de processamento de imagem 927 pode ser configurada para decodificar dados codificados de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o telefone celular 920 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
<Terceiro exemplo de aplicação: aparelho de gravação/reprodução> [00617] A FIG. 72 ilustra um exemplo de uma configuração
Petição 870190056776, de 19/06/2019, pág. 171/305
163/215 esquemática de um aparelho de gravação/reprodução ao qual as modalidades descritas acima são aplicadas. O aparelho de gravação/reprodução 940 codifica dados de áudio e dados de vídeo de um programa de difusão recebido e grava os dados em um meio de gravação, por exemplo. O aparelho de gravação/reprodução 940 também pode codificar dados de áudio e dados de vídeo adquiridos de outro aparelho e gravar os dados no meio de gravação, por exemplo. O aparelho de gravação/reprodução 940 reproduz os dados gravados no meio de gravação em um monitor e em um alto-falante, por exemplo, em resposta a uma instrução do usuário. Nesse caso, o aparelho de gravação/reprodução 940 decodifica os dados de áudio e os dados de vídeo. [00618] O aparelho de gravação/reprodução 940 inclui um sintonizador 941, uma unidade de interface externa 942, um codificador 943, um disco rígido (HDD) 944, uma unidade de disco 945, um seletor 946, um decodificador 947, uma unidade de exibição na tela (OSD) 948, uma unidade de controle 949, e uma unidade de interface de usuário 950.
[00619] O sintonizador 941 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através de uma antena (não mostrada) e demodula o sinal extraído. O sintonizador 941 então envia um fluxo de bits codificado obtido pela demodulação para o seletor 946. Isto é, o sintonizador 941 tem um papel como unidade de transmissão no aparelho de gravação/reprodução 940.
[00620] A unidade de interface externa 942 é uma interface que conecta o aparelho de gravação/reprodução 940 com um dispositivo externo ou uma rede. A unidade de interface externa 942 pode ser, por exemplo, uma interface de instituto de engenheiros elétricos e eletrônicos (IEEE) 1394, uma interface de rede, uma interface de USB ou uma interface de memória flash. Os dados de vídeo e os dados de áudio recebidos através da unidade de interface externa 942 são introduzidos no codificador 943, por exemplo. Isto é, a unidade de interface externa 942 tem um papel como unidade de
Petição 870190056776, de 19/06/2019, pág. 172/305
164/215 transmissão no aparelho de gravação/reprodução 940.
[00621] O codificador 943 codifica os dados de vídeo e os dados de áudio no caso em que os dados de vídeo e a entrada de dados de áudio da unidade de interface externa 942 não são codificados. O codificador 943 subsequentemente envia um fluxo de bits codificado para o seletor 946.
[00622] A unidade de HDD 944 grava, em um disco rígido interno, o fluxo de bits codificado, no qual dados de conteúdo, como vídeo e áudio, são comprimidos, vários programas e outros dados. A unidade de HDD 944 lê esses dados do disco rígido quando o vídeo e o áudio são reproduzidos.
[00623] A unidade de disco 945 grava e lê dados para/de um meio de gravação ligado à unidade de disco. O meio de gravação ligado à unidade de disco 945 pode ser, por exemplo, um disco de disco versátil digital (DVD) (como DVD-Vídeo, DVD - memória de acesso aleatório (DVD-RAM), DVD gravável (DVD-R), DVD regravável (DVD-RW), DVD + gravável (DVD+R) ou DVD + regravável (DVD+RW)) ou um disco Blu-ray (marca registrada).
[00624] O seletor 946 seleciona a entrada de fluxo de bits codificado do sintonizador 941 ou do codificador 943 ao gravar o vídeo e o áudio, e envia o fluxo de bits codificado selecionado para a unidade de HDD 944 ou a unidade de disco 945. Ao reproduzir o vídeo e o áudio, por outro lado, o seletor 946 envia a entrada de fluxo de bits codificado da unidade de HDD 944 ou da unidade de disco 945 para o decodificador 947.
[00625] O decodificador 947 decodifica o fluxo de bits codificado para gerar os dados de vídeo e os dados de áudio. O decodificador 947 então envia os dados de vídeo gerados para a unidade de OSD 948 e os dados de áudio gerados para um alto-falante externo.
[00626] A unidade de OSD 948 reproduz a entrada de dados de vídeo do decodificador 947 e exibe o vídeo. A unidade de OSD 948 também pode sobrepor uma imagem de uma GUI, como um menu, botões ou um cursor sobre o vídeo exibido.
Petição 870190056776, de 19/06/2019, pág. 173/305
165/215 [00627] A unidade de controle 949 inclui um processador, como uma CPU e uma memória, como uma RAM e uma ROM. A memória armazena um programa executado pela CPU, bem como dados do programa. O programa armazenado na memória é lido pela CPU na inicialização do aparelho de gravação/reprodução 940 e executado, por exemplo. Ao executar o programa, a CPU controla o funcionamento do aparelho de gravação/reprodução 940 de acordo com um sinal de operação que é introduzido a partir da unidade de interface de usuário 950, por exemplo.
[00628] A unidade de interface de usuário 950 é conectada à unidade de controle 949. A unidade de interface de usuário 950 inclui um botão e um comutador para um usuário operar o aparelho de gravação/reprodução 940, bem como uma parte de recepção que recebe um sinal de controle remoto, por exemplo. A unidade de interface de usuário 950 detecta uma operação do usuário através desses componentes para gerar um sinal de operação e envia o sinal de operação gerado para a unidade de controle 949.
[00629] No aparelho de gravação/reprodução 940 configurado desse modo, o codificador 943 pode incluir as funções do aparelho de codificação de imagem 400 descrito acima, por exemplo. Em outras palavras, o codificador 943 pode ser configurado para codificar dados de imagem de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o aparelho de gravação/reprodução 940 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
[00630] Além disso, no aparelho de gravação/reprodução 940 configurado desse modo, o decodificador 947 pode incluir as funções do aparelho de decodificação de imagem 100 descrito acima, por exemplo. Em outras palavras, o decodificador 947 pode ser configurado para decodificar dados codificados de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o aparelho de gravação/reprodução 940
Petição 870190056776, de 19/06/2019, pág. 174/305
166/215 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
<Quarto exemplo de aplicação: aparelho de formação de imagem>
[00631] A FIG. 73 ilustra um exemplo de uma configuração esquemática de um aparelho de formação de imagem ao qual as modalidades descritas acima são aplicadas. O aparelho de geração de imagem 960 grava um objeto para gerar uma imagem, codifica dados de imagem e grava os dados em um meio de gravação.
[00632] O aparelho de formação de imagem 960 inclui um bloco óptico 961, uma unidade de formação de imagem 962, uma unidade de processamento de sinal 963, uma unidade de processamento de imagem 964, uma unidade de exibição 965, uma unidade de interface externa 966, uma unidade de memória 967, uma unidade de mídia 968, uma unidade de OSD 969, uma unidade de controle 970, uma unidade de interface de usuário 971 e um barramento 972.
[00633] O bloco óptico 961 é conectado à unidade de formação de imagem 962. A unidade de formação de imagem 962 é conectada à unidade de processamento de sinal 963. A unidade de exibição 965 é conectada à unidade de processamento de imagem 964. A unidade de interface de usuário 971 é conectada à unidade de controle 970. O barramento 972 conecta mutuamente a unidade de processamento de imagem 964, a unidade de interface externa 966, a unidade de memória 967, a unidade de mídia 968, a unidade de OSD 969 e a unidade de controle 970.
[00634] O bloco óptico 961 inclui uma lente de foco e um mecanismo de diafragma. O bloco óptico 961 forma uma imagem óptica de um objeto em um plano de formação de imagem da unidade de formação de imagem 962. A unidade de formação de imagem 962 inclui um sensor de imagem, tal como um Dispositivo de Carga Acoplada (CCD) ou um Semicondutor de Oxido de Metal Complementar (CMOS) e realiza conversão fotoelétrica para converter
Petição 870190056776, de 19/06/2019, pág. 175/305
167/215 a imagem óptica formada no plano de formação de imagem em um sinal de imagem como um sinal elétrico. Então, a unidade de formação de imagem 962 envia o sinal de imagem para a unidade de processamento de sinal 963.
[00635] A unidade de processamento de sinal 963 realiza vários processos de sinal de câmera, tais como uma correção de knee, uma correção gama e uma correção de cor na entrada do sinal de imagem da unidade de formação de imagem 962. A unidade de processamento de sinal 963 envia os dados de imagem, nos quais os processos de sinal de câmera foram realizados, para a unidade de processamento de imagem 964.
[00636] A unidade de processamento de imagem 964 codifica a entrada de dados de imagem da unidade de processamento de sinal 963 e gera os dados codificados. A unidade de processamento de imagem 964, em seguida, envia os dados codificados gerados para a unidade de interface externa 966 ou a unidade de mídia 968. A unidade de processamento de imagem 964 também decodifica a entrada de dados codificados da unidade de interface externa 966 ou a unidade de mídia 968 para gerar dados de imagem. A unidade de processamento de imagem 964 envia então os dados de imagem gerados para a unidade de exibição 965. Além disso, a unidade de processamento de imagem 964 pode enviar para a unidade de exibição 965 a entrada de dados de imagem da unidade de processamento de sinal 963 para fazer com que a unidade de exibição 965 exiba a imagem. Além disso, a unidade de processamento de imagem 964 pode sobrepor os dados de exibição adquiridos da unidade de OSD 969 na imagem que é produzida na unidade de exibição 965.
[00637] A unidade de OSD 969 gera uma imagem de uma GUI, tal como um menu, botões ou um cursor, e envia a imagem gerada para a unidade de processamento de imagem 964.
[00638] A unidade de interface externa 966 é configurada como um terminal de entrada/saída USB, por exemplo. A unidade de interface externa
Petição 870190056776, de 19/06/2019, pág. 176/305
168/215
966 conecta o aparelho de formação de imagem 960 a uma impressora quando imprime uma imagem, por exemplo. Além disso, uma unidade de disco é conectada à unidade de interface externa 966, conforme necessário. Um meio removível, tal como um disco magnético ou um disco óptico, é ligado ao conversor, por exemplo, de modo que um programa lido a partir do meio removível pode ser instalado no aparelho de formação de imagem 960. A unidade de interface externa 966 também pode ser configurada como uma interface de rede que é conectada a uma rede, como uma LAN ou a Internet. Isto é, a unidade de interface externa 966 tem um papel como uma unidade de transmissão no aparelho de formação de imagem 960.
[00639] O meio de gravação ligado à unidade de mídia 968 pode ser um meio removível arbitrário que seja legível e gravável, como um disco magnético, um disco magneto-óptico, um disco óptico ou uma memória semicondutora. Além disso, o meio de gravação pode ser ligado à unidade de mídia 968 de uma maneira fixa, de modo que uma unidade de armazenamento não transportável, como uma unidade de disco rígido embutida ou uma unidade de estado sólido (SSD), seja configurada, por exemplo.
[00640] A unidade de controle 970 inclui um processador, como uma CPU e uma memória, como uma RAM e uma ROM. A memória armazena um programa executado pela CPU, bem como dados do programa. O programa armazenado na memória é lido pela CPU na inicialização do aparelho de formação de imagem 960 e depois executado. Ao executar o programa, a CPU controla o funcionamento do aparelho de formação de imagem 960 de acordo com um sinal de operação que é introduzido a partir da unidade de interface de usuário 971, por exemplo.
[00641] A unidade de interface de usuário 971 é conectada à unidade de controle 970. A unidade de interface de usuário 971 inclui botões e comutadores para que um usuário opere o aparelho de formação de imagem 960, por exemplo. A unidade de interface de usuário 971 detecta uma
Petição 870190056776, de 19/06/2019, pág. 177/305
169/215 operação do usuário através desses componentes para gerar um sinal de operação e envia o sinal de operação gerado para a unidade de controle 970.
[00642] No aparelho de formação de imagem 960 configurado desse modo, a unidade de processamento de imagem 964 pode incluir as funções do aparelho de codificação de imagem 400 descrito acima, por exemplo. Em outras palavras, a unidade de processamento de imagem 964 pode ser configurada para codificar dados de imagem de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o aparelho de formação de imagem 960 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
[00643] Além disso, no aparelho de formação de imagem 960 configurado desse modo, a unidade de processamento de imagem 964 pode incluir as funções do aparelho de decodificação de imagem 100 descrito acima, por exemplo. Em outras palavras, a unidade de processamento de imagem 964 pode ser configurada para decodificar dados codificados de acordo com o método descrito em cada uma das modalidades acima. Dessa maneira, o aparelho de formação de imagem 960 pode obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
<Quinto exemplo de aplicação: conjunto de vídeo>
[00644] Além disso, a presente tecnologia também pode ser implementada em qualquer tipo de configuração, que é instalada em qualquer aparelho ou em um sistema, como um processador provido como um chip de integração em grande escala (ESI) ou similar, um módulo que usa múltiplos processadores ou similar, uma unidade que usa múltiplos módulos ou similar, um conjunto que adiciona outras funções a uma unidade (isto é, uma configuração de uma peça de um aparelho) ou similar. A FIG. 74 ilustra um exemplo de uma configuração esquemática de um conjunto de vídeo que aplica a presente tecnologia.
Petição 870190056776, de 19/06/2019, pág. 178/305
170/215 [00645] Recentemente, dispositivos eletrônicos estão se tomando mais multifuncionais, e no desenvolvimento e fabricação de tais dispositivos eletrônicos, no caso de implementar uma configuração parcial para venda, oferta ou similar, tornou-se comum não apenas executar a implementação como uma configuração que inclui uma única função, mas também combinar múltiplas configurações que incluem funções relacionadas e executam a implementação como um único conjunto, incluindo múltiplas funções.
[00646] O conjunto de vídeo 1300 ilustrado na FIG. 74 é uma configuração multifuncional e é uma combinação de um dispositivo que inclui funções relacionadas à codificação e decodificação de imagens (uma ou ambas) com um dispositivo que inclui outras funções relacionadas a essas funções.
[00647] Como ilustrado na FIG. 74, o conjunto de vídeo 1300 inclui um grupo de módulos, como um módulo de vídeo 1311, memória externa 1312, um módulo de gerenciamento de energia 1313 e um módulo frontal 1314, e um dispositivo que inclui funções relacionadas, como conectividade 1321, uma câmera 1322 e um sensor 1323.
[00648] Um módulo é uma parte que coleta várias funções parciais inter-relacionadas em uma função unificada. A configuração física específica pode ser qualquer configuração, mas, por exemplo, é concebível dispor e integrar múltiplos processadores com as respectivas funções, elementos de circuitos eletrônicos, tais como resistores e capacitores, outros dispositivos e similares, em uma placa de circuito ou similar. Também é concebível combinar um módulo com outro módulo, processador ou similar para criar um novo módulo.
[00649] No caso do exemplo na FIG. 74, o módulo de vídeo 1311 é uma combinação de configurações que incluem funções relacionadas ao processamento de imagens e inclui um processador de aplicativos, um processador de vídeo, um modem de banda larga 1333 e um módulo de RF
Petição 870190056776, de 19/06/2019, pág. 179/305
171/215
1334.
[00650] O processador é uma integração de configurações com funções predeterminadas em um chip semicondutor como um sistema em um chip (SoC), e também pode ser designado um chip de integração em grande escala (LSI) ou similar, por exemplo. As configurações com funções predeterminadas podem ser circuitos lógicos (configurações de hardware), mas também podem ser uma CPU, ROM, RAM e similar, bem como um programa executado usando estes (configurações de software), e também podem ser uma combinação de ambos. Por exemplo, um processador pode incluir circuitos lógicos e CPU, ROM, RAM e similares, e pode ser configurado para realizar um subconjunto das funções com os circuitos lógicos (configurações de hardware) enquanto realiza outras funções com programas (configurações de software) executados na CPU.
[00651] O processador de aplicativos 1331 na FIG. 74 é um processador que executa um aplicativo relacionado ao processamento de imagem. Para realizar uma função predeterminada, o aplicativo executado no processador de aplicativos 1331 é capaz não só de executar processamento computacional, mas também de controlar configurações dentro e fora do módulo de vídeo 1311, como o processador de vídeo 1332, por exemplo, conforme necessário.
[00652] O processador de vídeo 1332 é um processador que inclui funções relacionadas à codificação/decodificação de imagem (uma ou ambas). [00653] O modem de banda larga 1333 realiza modulação digital e similar para converter dados (um sinal digital) transmitidos por comunicação de banda larga com ou sem fio (ou ambos) realizada através de uma conexão de banda larga, como a Internet ou a rede telefônica pública, em um sinal analógico, e também realiza a demodulação para converter um sinal analógico recebido por tal comunicação de banda larga em dados (um sinal digital). O modem de banda larga 1333 processa qualquer tipo de informação, como
Petição 870190056776, de 19/06/2019, pág. 180/305
172/215 dados de imagem processados pelo processador de vídeo 1332, um fluxo no qual dados de imagem são codificados, programas de aplicativo e dados de configurações, por exemplo.
[00654] O módulo de RF 1334 é um módulo que realiza conversão de frequência, modulação/demodulação, amplificação, processamento de filtro e similares em sinais de radiofrequência (RF) transmitidos e recebidos através de uma antena. Por exemplo, o módulo de RF 1334 gera um sinal de RF realizando conversão de frequência e similares em um sinal de banda de base gerado pelo modem de banda larga 1333. Além disso, por exemplo, o módulo de RF 1334 gera um sinal de banda de base realizando conversão de frequência e similares em um sinal de RF recebido através do módulo frontal 1314.
[00655] Deve-se observar que conforme ilustrado pela linha tracejada 1341 na FIG. 74, o processador de aplicativo 1331 e o processador de vídeo 1332 também podem ser unificados e configurados como um único processador.
[00656] A memória externa 1312 é um módulo provido extemamente ao módulo de vídeo 1311 que inclui um dispositivo de armazenamento utilizado pelo módulo de vídeo 1311. O dispositivo de armazenamento da memória externa 1312 pode ser realizado por qualquer tipo de configuração física, mas como o dispositivo de armazenamento normalmente é usado para armazenar grandes quantidades de dados, como dados de imagem em unidades de quadros, é desejável realizar o dispositivo de armazenamento com memória semicondutora relativamente barata e de alta capacidade, como memória de acesso aleatório dinâmica (DRAM), por exemplo.
[00657] O módulo de gerenciamento de energia 1313 gerencia e controla o fornecimento de energia para o módulo de vídeo 1311 (cada configuração dentro do módulo de vídeo 1311).
[00658] O módulo frontal 1314 é um módulo que fornece uma função
Petição 870190056776, de 19/06/2019, pág. 181/305
173/215 frontal (um circuito na porta de transmissão/recepção do lado da antena) para o módulo de RF 1334. Como ilustrado na FIG. 74, o módulo frontal 1314 inclui uma unidade de antena 1351, um filtro 1352 e uma unidade de amplificação 1353, por exemplo.
[00659] A unidade de antena 1351 inclui uma antena que transmite e recebe sinais sem fio e uma configuração periférica dos mesmos. A unidade de antena 1351 transmite um sinal fornecido a partir da unidade de amplificação 1353 como um sinal sem fio e fornece um sinal sem fio recebido ao filtro 1352 como um sinal elétrico (sinal de RF). O filtro 1352 executa o processamento de filtro e similar no sinal de RF recebido através da unidade de antena 1351 e fornece o sinal de RF processado ao módulo de RF 1334. A unidade de amplificação 1353 amplifica e fornece o sinal de RF fornecido pelo módulo de RF 1334 à unidade de antena 1351.
[00660] A conectividade 1321 é um módulo que inclui funções relacionadas a conexões externas. A configuração física da conectividade 1321 pode ser qualquer configuração. Por exemplo, a conectividade 1321 inclui uma configuração com uma função de comunicação diferente do padrão de comunicação suportado pelo modem de banda larga 1333, um terminal de entrada/saída externo ou similar.
[00661] Por exemplo, a conectividade 1321 pode incluir um módulo com uma função de comunicação em conformidade com um padrão de comunicação sem fio, como Bluetooth (marca registrada), IEEE 802.11 (por exemplo, Wireless Fidelity (Wi-Fi (marca registrada))), comunicação de campo próximo (NFC) ou Associação de Dados de Infravermelho (IrDA), e uma antena ou similar que transmite e recebe sinais em conformidade com o padrão. Além disso, por exemplo, a conectividade 1321 pode incluir um módulo com uma função de comunicação em conformidade com uma função de comunicação com fio como Barramento Serial Universal (USB) ou Interface Multimídia de Alta Resolução (HDMI) (marca registrada) e uma
Petição 870190056776, de 19/06/2019, pág. 182/305
174/215 porta em conformidade com o padrão. Além disso, por exemplo, a conectividade 1321 pode incluir uma função de transmissão de outro tipo de dados (sinal), tal como um terminal de entrada/saída analógico.
[00662] Deve-se observar que a conectividade 1321 pode incluir o dispositivo de destino de transmissão dos dados (sinal). Por exemplo, a conectividade 1321 pode incluir uma unidade (não apenas uma unidade para mídia removível, mas também incluindo um disco rígido, uma unidade de estado sólido (SSD), armazenamento conectado à rede (NAS) e similares) que lê e grava dados em relação a um meio de gravação, como um disco magnético, um disco óptico, um disco magneto-óptico ou memória semicondutora. Além disso, a conectividade 1321 pode incluir dispositivos (como um monitor e um alto-falante) que emitem imagens e som.
[00663] A câmera 1322 é um módulo que tem a função de formar imagens de um assunto e obter dados de imagem do assunto. Os dados de imagem obtidos pela formação de imagem pela câmera 1322 são fornecidos ao processador de vídeo 1332 e codificados, por exemplo.
[00664] O sensor 1323 é um módulo com qualquer tipo de função de sensor, como sensor sonoro, sensor ultrassônico, sensor de luz, sensor de iluminação, sensor infravermelho, sensor de imagem, sensor de rotação, sensor de ângulo, sensor de velocidade angular, sensor de velocidade, sensor de aceleração, sensor de inclinação, sensor de campo magnético, sensor de choque ou sensor de temperatura, por exemplo. Os dados detectados pelo sensor 1323 são fornecidos ao processador de aplicativos 1331 e utilizados por um aplicativo e similares, por exemplo.
[00665] As configurações descritas como um módulo acima também podem ser realizadas como um processador, enquanto, inversamente, as configurações descritas como um processador também podem ser realizadas como um módulo.
[00666] No conjunto de vídeo 1300 com uma configuração como a
Petição 870190056776, de 19/06/2019, pág. 183/305
175/215 acima, a presente tecnologia pode ser aplicada ao processador de vídeo 1332, como descrito mais adiante. Consequentemente, o conjunto de vídeo 1300 pode ser realizado como um conjunto aplicando a presente tecnologia.
<Configuração exemplificativa do processador de vídeo>
[00667] A FIG. 75 ilustra um exemplo de uma configuração esquemática do processador de vídeo 1332 (FIG. 74) aplicando a presente tecnologia.
[00668] No caso do exemplo na FIG. 75, o processador de vídeo 1332 inclui uma função de receber a entrada de um sinal de vídeo e um sinal de áudio e codificar esses sinais de acordo com um método predeterminado, e uma função de decodificar dados de vídeo codificados e dados de áudio, e reproduzir e emitir um sinal de vídeo e um sinal de áudio.
[00669] Como ilustrado na FIG. 75, o processador de vídeo 1332 inclui uma unidade de processamento de entrada de vídeo 1401, uma primeira unidade de ampliação/redução de imagem 1402, uma segunda unidade de ampliação/redução de imagem 1403, uma unidade de processamento de saída de vídeo 1404, memória de quadro 1405 e uma unidade de controle de memória 1406. Além disso, o processador de vídeo 1332 inclui um mecanismo de codificação/decodificação 1407, buffers de fluxo elementar de vídeo (ES) 1408A e 1408B, e buffers de áudio ES 1409A e 1409B. Adicionalmente, o processador de vídeo 1332 inclui um codificador de áudio 1410, um decodificador de áudio 1411, um multiplexador (MUX) 1412, um demultiplexador (DMUX) 1413 e um buffer de fluxo 1414.
[00670] A unidade de processamento de entrada de vídeo 1401 adquire uma entrada de sinal de vídeo a partir da conectividade 1321 (FIG. 74) ou similares, por exemplo, e converte o sinal de vídeo em dados de imagem digital. A primeira unidade de ampliação/redução de imagem 1402 realiza conversão de formato, processamento de ampliação/redução de imagem e similares nos dados de imagem. A segunda unidade de ampliação/redução de
Petição 870190056776, de 19/06/2019, pág. 184/305
176/215 imagem 1403 realiza um processo de ampliação ou redução da imagem de acordo com o formato no destino para o qual emitir através da unidade de processamento de saída de vídeo 1404, conversão de formato e ampliação/redução de imagem similar à primeira unidade ampliação/redução de imagem 1402 e similar nos dados da imagem. A unidade de processamento de saída de vídeo 1404 realiza a conversão de formato, a conversão para um sinal analógico e similar nos dados de imagem e emite o resultado para a conectividade 1321, por exemplo, como um sinal de vídeo reproduzido.
[00671] A memória de quadro 1405 é memória para dados de imagem compartilhados pela unidade de processamento de entrada de vídeo 1401, pela primeira unidade de ampliação/redução de imagem 1402, pela segunda unidade de ampliação/redução de imagem 1403, pela unidade de processamento de saída de vídeo 1404 e pelo mecanismo de codificação/decodificação 1407. A memória de quadro 1405 é realizada como memória semicondutora, como DRAM, por exemplo.
[00672] A unidade de controle de memória 1406 recebe um sinal de sincronização do mecanismo de codificação/decodificação 1407 e controla o acesso e grava e lê a memória de quadro 1405 de acordo com um programa de acesso para acessar a memória de quadro 1405 gravado em uma tabela de gerenciamento de acesso 1406A. A tabela de gerenciamento de acesso 1406A é atualizada pela unidade de controle de memória 1406 de acordo com processos executados pelo mecanismo de codificação/decodificação 1407, pela primeira unidade de ampliação/redução de imagem 1402, pela segunda unidade de ampliação/redução de imagem 1403 e similares.
[00673] O mecanismo de codificação/decodificação 1407 executa um processo de codificação de dados de imagem, bem como um processo de decodificação de um fluxo de vídeo, que são dados nos quais os dados de imagem são codificados. Por exemplo, o mecanismo de codificação/decodificação 1407 codifica os dados de imagem lidos a partir da
Petição 870190056776, de 19/06/2019, pág. 185/305
177/215 memória de quadro 1405 e grava sucessivamente os dados codificados no buffer de vídeo ES 1408A como um fluxo de vídeo. Além disso, por exemplo, o mecanismo de codificação/decodificação 1407 lê e decodifica sucessivamente um fluxo de vídeo a partir do buffer de vídeo ES 1408B e grava os dados decodificados na memória de quadro 1405 como dados de imagem. Durante essa codificação e decodificação, o mecanismo de codificação/decodificação 1407 usa a memória de quadro 1405 como uma área de trabalho. Além disso, o mecanismo de codificação/decodificação 1407 envia um sinal de sincronização para a unidade de controle de memória 1406 no momento de iniciar o processo para cada macrobloco, por exemplo.
[00674] O buffer de vídeo ES 1408A realiza buffer e fornece um fluxo de vídeo gerado pelo mecanismo de codificação/decodificação 1407 para o multiplexador (MUX) 1412. O buffer de vídeo ES 1408B realiza buffer e fornece um fluxo de vídeo fornecido a partir do demultiplexador (DMUX) 1413 para o mecanismo de codificação/decodificação 1407.
[00675] O buffer de áudio ES 1409A realiza buffer e fornece um fluxo de áudio gerado pelo codificador de áudio 1410 para o multiplexador (MUX) 1412. O buffer de áudio ES 1409B realiza buffer e fornece um fluxo de áudio fornecido a partir do demultiplexador (DMUX) 1413 para o decodificador de áudio 1411.
[00676] O codificador de áudio 1410, por exemplo, converte digitalmente uma entrada de sinal de áudio da conectividade 1321 ou similar, por exemplo, e codifica o sinal de áudio de acordo com um método predeterminado, como o método MPEG Audio ou o método AudioCode número 3 (AC3), por exemplo. O codificador de áudio 1410 grava sucessivamente um fluxo de áudio, que são dados em que um sinal de áudio é codificado, para o buffer de áudio ES 1409A. O decodificador de áudio 1411 decodifica um fluxo de áudio fornecido a partir do buffer de áudio ES 1409B, realiza conversão para um sinal analógico e similares, por exemplo, e fornece
Petição 870190056776, de 19/06/2019, pág. 186/305
178/215 o resultado para a conectividade 1321 e similares, por exemplo, como um sinal de áudio reproduzido.
[00677] O multiplexador (MUX) 1412 multiplexa um fluxo de vídeo e um fluxo de áudio. O método de multiplexação (isto é, o formato do fluxo de bits gerado pela multiplexação) pode ser qualquer método. Adicionalmente, durante essa multiplexação, o multiplexador (MUX) 1412 também é capaz de adicionar informações de cabeçalho predeterminadas ou similares ao fluxo de bits. Em outras palavras, o multiplexador (MUX) 1412 é capaz de converter o formato dos fluxos por multiplexação. Por exemplo, ao multiplexar um fluxo de vídeo e um fluxo de áudio, o multiplexador (MUX) 1412 converte os fluxos em um fluxo de transporte, que é um fluxo de bits em um formato para transmissão. Além disso, por exemplo, ao multiplexar um fluxo de vídeo e um fluxo de áudio, o multiplexador (MUX) 1412 converte os fluxos em dados (dados de arquivo) em um formato de arquivo para gravação.
[00678] O demultiplexador (DMUX) 1413 demultiplexa um fluxo de bits no qual um fluxo de vídeo e um fluxo de áudio são multiplexados, de acordo com um método correspondente ao multiplexado pelo multiplexador (MUX) 1412. Em outras palavras, o demultiplexador (DMUX) 1413 extrai o fluxo de vídeo e o fluxo de áudio (separa o fluxo de vídeo e o fluxo de áudio) de um fluxo de bits lido do buffer de fluxo 1414. Em outras palavras, o demultiplexador (DMUX) 1413 é capaz de converter o formato do fluxo por demultiplexação (uma conversão inversa da conversão pelo multiplexador (MUX) 1412). Por exemplo, o demultiplexador (DMUX) 1413 é capaz de adquirir um fluxo de transporte fornecido a partir da conectividade 1321, o modem de banda larga 1333, ou similar, por exemplo, através do buffer de fluxo 1414 e por demultiplexação é capaz de converter o fluxo de transporte em um fluxo de vídeo e um fluxo de áudio. Além disso, por exemplo, o demultiplexador (DMUX) 1413 é capaz de adquirir dados de arquivo lidos de qualquer um dos vários tipos de meios de gravação pela conectividade 1321,
Petição 870190056776, de 19/06/2019, pág. 187/305
179/215 por exemplo através do buffer de fluxo 1414, e por demultiplexação, é capaz de converter os dados de arquivo em um fluxo de vídeo e um fluxo de áudio. [00679] O buffer de fluxo 1414 armazena em buffer um fluxo de bits.
Por exemplo, o buffer de fluxo 1414 armazena em buffer um fluxo de transporte fornecido a partir do multiplexador (MUX) 1412, e em um momento predeterminado, ou com base em uma solicitação externa ou similar, fornece o fluxo de transporte para a conectividade 1321, o modem de banda larga 1333 ou similar, por exemplo.
[00680] Além disso, por exemplo, o buffer de fluxo 1414 armazena em buffer dados de arquivo fornecidos a partir do multiplexador (MUX) 1412, e em um momento predeterminado, ou com base em uma solicitação externa ou similar, fornece os dados de arquivo para a conectividade 1321 ou similar, por exemplo, e faz com que os dados de arquivo sejam gravados em qualquer um de vários tipos de meios de gravação.
[00681] Além disso, o buffer de fluxo 1414 armazena em buffer um fluxo de transporte adquirido através da conectividade 1321, do modem de banda larga 1333 e similares, por exemplo, e em um momento predeterminado, ou com base em uma solicitação externa ou similar, fornece o fluxo de transporte ao demultiplexador (DMUX) 1413.
[00682] Adicionalmente, o buffer de fluxo 1414 armazena em buffer dados de arquivo lidos de qualquer um de vários tipos de meios de gravação na conectividade 1321 ou similares, por exemplo, e em um momento predeterminado, ou com base em uma solicitação externa ou similar, fornece os dados de arquivo ao demultiplexador (DMUX) 1413.
[00683] Em seguida, um exemplo da operação do processador de vídeo 1332 com tal configuração será descrito. Por exemplo, uma entrada de sinal de vídeo no processador de vídeo 1332 da conectividade 1321 ou similar é convertida em dados de imagem digital de um formato predeterminado tal como formato 4:2:2 Y/Cb/Cr na unidade de processamento de entrada de
Petição 870190056776, de 19/06/2019, pág. 188/305
180/215 vídeo 1401, e é gravada sucessivamente na memória de quadro 1405. Os dados de imagem digital são lidos para a primeira unidade de ampliação/redução de imagem 1402 ou a segunda unidade de ampliação/redução de imagem 1403, submetidos a uma conversão de formato para um formato predeterminado, tal como 4:2:0 Y/Cb/Cr ou similar e um processo de ampliação/redução, e novamente gravados na memória de quadro 1405. Os dados de imagem são codificados pelo mecanismo de codificação/decodificação 1407 e gravados no buffer de vídeo ES 1408A como um fluxo de vídeo.
[00684] Além disso, uma entrada de sinal de áudio no processador de vídeo 1332 da conectividade 1321 ou similar é codificada pelo codificador de áudio 1410 e gravada no buffer de áudio ES 1409A como um fluxo de áudio.
[00685] O fluxo de vídeo no buffer de vídeo ES 1408A e o fluxo de áudio no buffer de áudio ES 1409A são lidos e multiplexados pelo multiplexador (MUX) 1412 e convertidos em um fluxo de transporte, dados de arquivo ou similares. O fluxo de transporte gerado pelo multiplexador (MUX) 1412 é armazenado em buffer no buffer de fluxo 1414 e, em seguida, é enviado para uma rede externa por meio da conectividade 1321, do modem de banda larga 1333 ou similar, por exemplo. Além disso, os dados de arquivo gerados pelo multiplexador (MUX) 1412 são armazenados em buffer no buffer de fluxo 1414, e então são enviados para a conectividade 1321 ou similares, por exemplo, e gravados em qualquer um dos vários tipos de meios de gravação.
[00686] Além disso, um fluxo de transporte introduzido no processador de vídeo 1332 de uma rede externa através da conectividade 1321, do modem de banda larga 1333 ou similar, por exemplo, é armazenado em buffer no buffer de fluxo 1414 e depois demultiplexado pelo demultiplexador (DMUX) 1413. Além disso, os dados de arquivo lidos de qualquer um dos vários tipos de meios de gravação na conectividade 1321 ou similares, por exemplo, e
Petição 870190056776, de 19/06/2019, pág. 189/305
181/215 introduzidos no processador de vídeo 1332 são armazenados em buffer no buffer de fluxo 1414 e, em seguida, demultiplexados pelo demultiplexador (DMUX) 1413. Em outras palavras, um fluxo de transporte ou dados de arquivo introduzidos no processador de vídeo 1332 é separado em um fluxo de vídeo e um fluxo de áudio pelo demultiplexador (DMUX) 1413.
[00687] O fluxo de áudio é fornecido ao decodificador de áudio 1411 através do buffer de áudio ES 1409B e decodificado, e um sinal de áudio é reproduzido. Além disso, o fluxo de vídeo, depois de ser gravado no buffer de vídeo ES 1408B, é lido e decodificado sucessivamente pelo mecanismo de codificação/decodificação 1407 e gravado na memória de quadro 1405. Os dados de imagem decodificados são submetidos a um processo de ampliação/redução pela segunda unidade de ampliação/redução de imagem 1403 e gravados na memória de quadro 1405. Subsequentemente, os dados de imagem decodificados são lidos para a unidade de processamento de saída de vídeo 1404, convertidos em formato para um formato predeterminado tal como formato 4:2:2 Y/Cb/Cr, adicionalmente convertidos para um sinal analógico, e um sinal de vídeo é reproduzido e emitido.
[00688] No caso da aplicação da presente tecnologia ao processador de vídeo 1332 configurado desse modo, é suficiente aplicar a presente tecnologia de acordo com as modalidades descritas acima ao mecanismo de codificação/decodificação 1407. Em outras palavras, por exemplo, o mecanismo de codificação/decodificação 1407 pode incluir as funções do aparelho de codificação de imagem 400 ou as funções do aparelho de decodificação de imagem 100 descrito acima, ou ambos. Com esse arranjo, o processador de vídeo 1332 é capaz de obter efeitos similares a cada uma das modalidades descritas acima com referência às FIGS. 1 a 68.
[00689] Deve-se observar que no mecanismo de codificação/decodificação 1407, a presente tecnologia (isto é, as funções do aparelho de codificação de imagem 400, as funções do aparelho de
Petição 870190056776, de 19/06/2019, pág. 190/305
182/215 decodificação de imagem 100, ou ambos) pode ser realizada por hardware tal como um circuito lógico ou similar, pode ser realizada por software, como um programa embutido, ou pode ser realizada por ambos os itens acima.
<Outra configuração exemplificativa do processador de vídeo>
[00690] A FIG. 76 ilustra um outro exemplo de uma configuração esquemática do processador de vídeo 1332 que aplica a presente tecnologia. No caso do exemplo na FIG. 76, o processador de vídeo 1332 inclui uma função de codificação/decodificação de dados de vídeo de acordo com um método predeterminado.
[00691] Mais especificamente, como ilustrado na FIG. 76, o processador de vídeo 1332 inclui uma unidade de controle 1511, uma interface de exibição 1512, um mecanismo de exibição 1513, um mecanismo de processamento de imagem 1514 e memória interna 1515. Além disso, o processador de vídeo 1332 inclui um mecanismo de codec 1516, uma interface de memória 1517, um multiplexador/demultiplexador (MUX DMUX) 1518, uma interface de rede 1519 e uma interface de vídeo 1520.
[00692] A unidade de controle 1511 controla a operação de cada unidade de processamento no processador de vídeo 1332, como a interface de exibição 1512, o mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 e o mecanismo de codec 1516.
[00693] Como ilustrado na FIG. 76, a unidade de controle 1511 inclui uma CPU principal 1531, uma sub CPU 1532 e um controlador de sistema 1533, por exemplo. A CPU principal 1531 executa um programa ou similar para controlar a operação de cada unidade de processamento no processador de vídeo 1332. A CPU principal 1531 gera sinais de controle de acordo com o programa ou similar e fornece os sinais de controle a cada unidade de processamento (em outras palavras, controla o funcionamento de cada unidade de processamento). A sub CPU 1532 cumpre uma função suplementar à CPU principal 1531. Por exemplo, a sub CPU 1532 executa
Petição 870190056776, de 19/06/2019, pág. 191/305
183/215 processos-filhos, sub-rotinas e similares do programa ou similar executado pela CPU principal 1531. O controlador de sistema 1533 controla as operações da CPU principal 1531 e da sub CPU 1532, tal como especificando programas a serem executados pela CPU principal 1531 e a sub CPU 1532. [00694] A interface de exibição 1512, sob controle pela unidade de controle 1511, envia dados de imagem para a conectividade 1321 e similares, por exemplo. Por exemplo, a interface de exibição 1512 converte dados de imagem digital em um sinal analógico e envia um sinal analógico, ou envia diretamente os dados de imagem digital, como um sinal de vídeo reproduzido para um aparelho de monitor ou similar da conectividade 1321.
[00695] O mecanismo de exibição 1513, sob controle pela unidade de controle 1511, realiza vários processos de conversão, como conversão de formato, conversão de tamanho e conversão de gama nos dados de imagem para corresponder às especificações de hardware do monitor ou similar que deve exibir a imagem.
[00696] O mecanismo de processamento de imagem 1514, sob controle pela unidade de controle 1511, realiza um processamento de imagem predeterminado nos dados de imagem, tal como processamento de filtro para melhorar a qualidade da imagem, por exemplo.
[00697] A memória interna 1515 é memória provida dentro do processador de vídeo 1332 e compartilhada pelo mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 e o mecanismo de codec 1516. Por exemplo, a memória interna 1515 é usada para trocar dados entre o mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 e o mecanismo de codec 1516. Por exemplo, a memória interna
1515 armazena dados fornecidos a partir do mecanismo de exibição 1513, do mecanismo de processamento de imagem 1514 ou do mecanismo de codec
1516 e, conforme necessário (por exemplo, em resposta a uma solicitação), fornece os dados ao mecanismo de exibição 1513, ao mecanismo de
Petição 870190056776, de 19/06/2019, pág. 192/305
184/215 processamento de imagem 1514 ou ao mecanismo de codec 1516. A memória interna 1515 pode ser realizada por qualquer tipo de dispositivo de armazenamento, mas uma vez que o dispositivo de armazenamento é tipicamente usado para armazenar pequenas quantidades de dados, tais como dados de imagem em unidades de blocos, parâmetros e similares, é desejável realizar o dispositivo de armazenamento com memória semicondutora que é relativamente (por exemplo, em comparação com a memória externa 1312) pequena na capacidade, mas tem uma velocidade de resposta rápida, tal como a memória de acesso aleatório estática (SRAM), por exemplo.
[00698] O mecanismo de codec 1516 executa processos relacionados à codificação e decodificação de dados de imagem. O método de codificação/decodificação suportado pelo mecanismo de codec 1516 pode ser qualquer método, e pode haver um ou vários desses métodos. Por exemplo, o mecanismo de codec 1516 pode ser provido com uma função de codec para múltiplos métodos de codificação/decodificação e pode ser configurado para codificar ou decodificar dados de imagem, selecionando entre os múltiplos métodos.
[00699] No exemplo ilustrado na FIG. 76, o mecanismo de codec 1516 inclui Vídeo MPEG-2 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (Dimensionável) 1544, HEVC/H.265 (Multivisualizações) 1545, e MPEG-DASH 1551 como blocos funcionais de processamento relacionado ao codec, por exemplo.
[00700] O vídeo MPEG-2 1541 é um bloco funcional que codifica e decodifica os dados de imagem de acordo com o método MPEG-2. O AVC/H.264 1542 é um bloco funcional que codifica e decodifica os dados de imagem de acordo com o método AVC. O HEVC/H.265 1543 é um bloco funcional que codifica e decodifica os dados de imagem de acordo com o método HEVC. O HEVC/H.265 (Dimensionável) 1544 é um bloco funcional que codifica e decodifica de forma dimensionável os dados de imagem de
Petição 870190056776, de 19/06/2019, pág. 193/305
185/215 acordo com o método HEVC. O HEVC/H.265 (Multivisualizações) 1545 é um bloco funcional que codifica por multivisualizações e decodifica por multivisualizações dados de imagem de acordo com o método HEVC.
[00701] O MPEG-DASH 1551 é um bloco funcional que transmite e recebe dados de imagem de acordo com o método de Transferência Adaptativa Dinâmica sobre HTTP de MPEG (MPEG-DASH). O MPEGDASH é uma tecnologia que usa o Protocolo de Transferência de Hipertexto (HTTP) para transmitir vídeo, cuja característica é que dados codificados apropriados são selecionados e transmitidos em unidades de segmentos dentre vários conjuntos de dados codificados com resoluções diferentes ou similares preparados antecipadamente. O MPEG-DASH 1551 executa a geração, controle de transmissão e similares de um fluxo em conformidade com o padrão, enquanto para a codificação/decodificação de dados de imagem, o vídeo MPEG-2 1541 para o HEVC/H.265 (Multivisualizações) 1545 é usado.
[00702] A interface de memória 1517 é uma interface para a memória externa 1312. Dados fornecidos a partir do mecanismo de processamento de imagem 1514 e do mecanismo de codec 1516 são fornecidos para a memória externa 1312 através da interface de memória 1517. Além disso, os dados lidos a partir da memória externa 1312 são fornecidos ao processador de vídeo 1332 (o mecanismo de processamento de imagem 1514 ou o mecanismo de codec 1516) através da interface de memória 1517.
[00703] O multiplexador/demultiplexador (MUX DMUX) 1518 multiplexa e demultiplexa vários dados relacionados à imagem, tais como um fluxo de bits de dados codificados, dados de imagem, um sinal de vídeo e similares. O método de multiplexação/demultiplexação pode ser qualquer método. Por exemplo, ao multiplexar, o multiplexador/demultiplexador (MUX DMUX) 1518 não só é capaz de coletar várias partes de dados em uma única parte de dados, mas também adicionar informações de cabeçalho predeterminadas e similares aos dados. Além disso, ao demultiplexar, o
Petição 870190056776, de 19/06/2019, pág. 194/305
186/215 multiplexador/demultiplexador (MUX DMUX) 1518 não só é capaz de dividir uma única parte de dados em múltiplas partes de dados, mas também adicionar informações de cabeçalho predeterminadas e similares a cada parte de dados dividida. Em outras palavras, o multiplexador/demultiplexador (MUX DMUX) 1518 é capaz de converter o formato dos dados por multiplexação/demultiplexação. Por exemplo, ao multiplexar um fluxo de bits, o multiplexador/demultiplexador (MUX DMUX) 1518 é capaz de converter o fluxo de bits em um fluxo de transporte, que é um fluxo de bits em um formato para transmissão, ou em dados em um formato de arquivo (dados de arquivo) para gravação. Obviamente, por demultiplexação, a conversão inversa também é possível.
[00704] A interface de rede 1519 é uma interface para o modem de banda larga 1333, a conectividade 1321 e similares, por exemplo. A interface de vídeo 1520 é uma interface para a conectividade 1321, a câmera 1322 e similares, por exemplo.
[00705] Em seguida, um exemplo da operação de tal processador de vídeo 1332 será descrito. Por exemplo, quando um fluxo de transporte é recebido de uma rede externa através da conectividade 1321, o modem de banda larga 1333 ou similar, o fluxo de transporte é fornecido ao multiplexador/demultiplexador (MUX DMUX) 1518 através da interface de rede 1519 e demultiplexado, e decodificado pelo mecanismo de codec 1516. Os dados de imagem obtidos pela decodificação do mecanismo de codec 1516 são, por exemplo, submetidos a processamento de imagem predeterminado pelo mecanismo de processamento de imagem 1514, submetidos a uma conversão predeterminada pelo mecanismo de exibição 1513, fornecido à conectividade 1321 ou similar, por exemplo através da interface de exibição 1512, e a imagem é exibida em um monitor. Além disso, por exemplo, os dados de imagem obtidos pela decodificação do mecanismo de codec 1516 são recodificados pelo mecanismo de codec 1516, multiplexados e
Petição 870190056776, de 19/06/2019, pág. 195/305
187/215 convertidos em dados de arquivo pelo multiplexador/demultiplexador (MUX DMUX) 1518, enviados para a conectividade 1321 ou similar, por exemplo, através da interface de vídeo 1520, e gravados em qualquer um dos vários tipos de meios de gravação.
[00706] Além disso, por exemplo, dados de arquivo de dados codificados nos quais dados de imagem são codificados que são lidos de um meio de gravação não ilustrado pela conectividade 1321 ou similar são fornecidos ao multiplexador/demultiplexador (MUX DMUX) 1518 através da interface de vídeo 1520 e demultiplexados, e decodificados pelo mecanismo de codec 1516. Os dados de imagem obtidos pela decodificação do mecanismo de codec 1516 são submetidos a processamento de imagem predeterminado pelo mecanismo de processamento de imagem 1514, submetidos a uma conversão predeterminada pelo mecanismo de exibição 1513, fornecido à conectividade 1321 ou similar, por exemplo através da interface de exibição 1512, e a imagem é exibida em um monitor. Além disso, por exemplo, os dados de imagem obtidos pela decodificação do mecanismo de codec 1516 são recodificados pelo mecanismo de codec 1516, multiplexados e convertidos em um fluxo de transporte pelo multiplexador/demultiplexador (MUX DMUX) 1518, fornecidos à conectividade 1321, ao modem de banda largai 1333 ou similar, por exemplo, através da interface de rede 1519, e transmitidos para um outro aparelho não ilustrado.
[00707] Deve-se observar que a troca de dados de imagem e outros dados entre cada uma das unidades de processamento dentro do processador de vídeo 1332 é realizada utilizando a memória interna 1515 e a memória externa 1312, por exemplo. Além disso, o módulo de gerenciamento de energia 1313 controla o fornecimento de energia para a unidade de controle 1511, por exemplo.
[00708] No caso da aplicação da presente tecnologia ao processador de
Petição 870190056776, de 19/06/2019, pág. 196/305
188/215 vídeo 1332 configurado desse modo, é suficiente aplicar a presente tecnologia de acordo com as modalidades descritas acima ao mecanismo de codec 1516. Em outras palavras, por exemplo, é suficiente para o mecanismo de codec 1516 incluir as funções do aparelho de codificação de imagem 400 ou as funções do aparelho de decodificação de imagem 100 descrito acima, ou ambos. Com esse arranjo, o processador de vídeo 1332 é capaz de obter efeitos similares a cada uma das modalidades descritas acima com referência às FIGS. 1 a 68.
[00709] Deve-se observar que no mecanismo de codec 1516, a presente tecnologia (isto é, as funções do aparelho de codificação de imagem 400) pode ser realizada por hardware tal como um circuito lógico ou similar, pode ser realizada por software, como um programa embutido, ou pode ser realizada por ambos os itens acima.
[00710] O exposto acima ilustra duas configurações do processador de vídeo 1332 como exemplos, mas a configuração do processador de vídeo 1332 pode ser qualquer configuração, e pode ser uma configuração diferente dos dois exemplos descritos acima. Além disso, o processador de vídeo 1332 pode ser configurado como um único chip semicondutor, mas também pode ser configurado como múltiplos chips semicondutores. Por exemplo, um chip LSI tridimensionalmente empilhado no qual vários semicondutores são empilhados é possível. Além disso, uma configuração realizada por múltiplos chips LSI é possível.
<Exemplo de aplicação ao aparelho [00711] O conjunto de vídeo 1300 pode ser embutido em qualquer um dos vários tipos de aparelhos que processam dados de imagem. Por exemplo, o conjunto de vídeo 1300 pode ser embutido no aparelho de televisão 900 (FIG. 70), o telefone celular 920 (FIG. 71), o aparelho de gravação/reprodução 940 (FIG. 72), o aparelho de formação de imagem 960 (FIG. 73) e similares. Ao embutir o conjunto de vídeo 1300, o aparelho é
Petição 870190056776, de 19/06/2019, pág. 197/305
189/215 capaz de obter efeitos similares a cada uma das modalidades descritas acima com referência às FIGS. 1 a 68.
[00712] Deve-se observar que, desde que o processador de vídeo 1332 esteja incluído, mesmo uma parte de cada configuração do conjunto de vídeo 1300 descrito acima pode ser executada como uma configuração que aplica a presente tecnologia. Por exemplo, é possível executar apenas o processador de vídeo 1332 como processador de vídeo aplicando a tecnologia atual. Além disso, por exemplo, o processador ilustrado pela linha tracejada 1341, como descrito acima, o módulo de vídeo 1311, e similares, pode ser realizado como um processador, módulo ou similar, aplicando a presente tecnologia. Além disso, por exemplo, o módulo de vídeo 1311, a memória externa 1312, o módulo de gerenciamento de energia 1313 e o módulo frontal 1314 também podem ser combinados e executados como uma unidade de vídeo 1361 aplicando a presente tecnologia. Com qualquer uma dessas configurações, é possível obter efeitos similares a cada uma das modalidades descritas acima com referência às FIGS. 1 a 68.
[00713] Em outras palavras, desde que o processador de vídeo 1332 esteja incluído, qualquer tipo de configuração pode ser embutido em qualquer um dos vários tipos de aparelhos que processam dados de imagem, similarmente ao caso do conjunto de vídeo 1300. Por exemplo, o processador de vídeo 1332, o processador ilustrado pela linha tracejada 1341, o módulo de vídeo 1311, ou a unidade de vídeo 1361 podem ser incorporados no aparelho de televisão 900 (FIG. 70), o telefone celular 920 (FIG. 71), o aparelho de gravação/reprodução 940 (FIG. 72), o aparelho de formação de imagem 960 (FIG. 73) e similares. Adicionalmente, ao embutir qualquer configuração que aplica a presente tecnologia, o aparelho é capaz de obter efeitos similares a cada uma das modalidades descritas acima com referência às FIGS. 1 a 68, similarmente ao conjunto de vídeo 1300.
<Sexto exemplo de aplicação: sistema de redo
Petição 870190056776, de 19/06/2019, pág. 198/305
190/215 [00714] Adicionalmente, a presente tecnologia também é aplicável a um sistema de rede que inclui múltiplos aparelhos. A FIG. 77 ilustra um exemplo de uma configuração esquemática de um sistema de rede que aplica a presente tecnologia.
[00715] O sistema de rede 1600 ilustrado na FIG. 77 é um sistema no qual os dispositivos trocam informações sobre imagens (imagens em movimento) entre si através de uma rede. O serviço de nuvem 1601 do sistema de rede 1600 é um sistema que provê um serviço relacionado com imagens (imagens em movimento) para terminais tais como um computador 1611, equipamento audiovisual (AV) 1612, um terminal de processamento de informações móvel 1613 e um dispositivo de Internet das Coisas (loT) 1614 comunicadamente conectado ao serviço de nuvem 1601. Por exemplo, o serviço de nuvem 1601 provê um serviço de fornecimento de conteúdo de imagem (imagem em movimento) aos terminais, como o que é chamado de streaming de vídeo (sob demanda ou transmissão ao vivo). Como outro exemplo, o serviço de nuvem 1601 provê um serviço de backup que recebe e armazena conteúdo de imagem (imagem em movimento) dos terminais. Como outro exemplo, o serviço de nuvem 1601 provê um serviço de mediação da troca de conteúdo de imagem (imagem em movimento) entre os terminais.
[00716] A configuração física do serviço de nuvem 1601 pode ser qualquer configuração. Por exemplo, o serviço de nuvem 1601 pode incluir vários servidores, como um servidor que salva e gerencia imagens em movimento, um servidor que fornece imagens em movimento a terminais, um servidor que adquire imagens em movimento de terminais e um servidor que gerencia usuários (terminais) e pagamentos, bem como qualquer tipo de rede, como a Internet ou uma LAN.
[00717] O computador 1611 inclui um aparelho de processamento de informações, tal como um computador pessoal, servidor ou estação de trabalho, por exemplo. O equipamento de AV 1612 inclui aparelhos de
Petição 870190056776, de 19/06/2019, pág. 199/305
191/215 processamento de imagem, tais como um receptor de televisão, um gravador de disco rígido, um console de jogos ou uma câmera, por exemplo. O terminal de processamento de informações móvel 1613 inclui um aparelho de processamento de informações móvel tal como um computador pessoal portátil, um terminal tipo tablet, um telefone celular ou um telefone inteligente, por exemplo. O dispositivo de loT 1614 inclui qualquer objeto que executa processamento relacionado a imagens, tal como uma máquina, um aparelho elétrico, uma peça de mobiliário, alguma outra coisa, uma etiqueta IC ou um dispositivo em forma de cartão, por exemplo. Todos esses terminais incluem uma função de comunicação, e são capazes de se conectar (estabelecer uma sessão com) o serviço de nuvem 1601 e trocar informações com (isto é, comunicar com) o serviço de nuvem 1601. Além disso, cada terminal também é capaz de se comunicar com outro terminal. A comunicação entre os terminais pode ser realizada através do serviço de nuvem 1601, ou pode ser realizada sem passar pelo serviço de nuvem 1601.
[00718] Quando a presente tecnologia é aplicada ao sistema de rede 1600 como acima, e dados de imagem (imagem em movimento) são trocados entre terminais ou entre um terminal e o serviço de nuvem 1601, os dados de imagem podem ser codificados/decodificados como descrito acima em cada uma das modalidades. Em outras palavras, os terminais (do computador 1611 ao dispositivo de loT 1614) e o serviço de nuvem 1601 podem incluir, cada um, as funções do aparelho de codificação de imagem 400 e do aparelho de decodificação de imagem 100 descrito acima. Dessa maneira, os terminais (do computador 1611 ao dispositivo de loT 1614) que trocam dados de imagem e o serviço de nuvem 1601 podem obter efeitos similares aos de cada uma das modalidades descritas acima com referência à FIG. 1 até a FIG. 68.
<Suplemento>
[00719] Deve-se observar que, no presente relatório descritivo, um “sinalizador” é uma informação para identificar cada um de uma pluralidade
Petição 870190056776, de 19/06/2019, pág. 200/305
192/215 de estados, incluindo não apenas informações a serem usadas para identificar dois estados de verdadeiro (1) ou falso (0), mas também informações que podem identificar três ou mais estados. Portanto, um valor que o “sinalizador” pode ter pode ser, por exemplo, um valor binário de 1 ou 0, ou um valor temário ou superior. Ou seja, o número de bits que constituem o “sinalizador” é arbitrário e pode ser um ou mais bits. Além disso, supõe-se que as informações de identificação (incluindo também um sinalizador) tenham uma forma na qual as informações de identificação são incluídas em um fluxo de bits e uma forma na qual informações diferenciais entre certas informações de referência e as informações de identificação são incluídas em um fluxo de bits, e assim, no presente relatório descritivo, um “sinalizador” e “informações de identificação” incluem não apenas as informações, mas também informações diferenciais servindo como referência.
[00720] Além disso, vários tipos de informações (metadados, etc.) com relação aos dados codificados (fluxo de bits) podem ser transmitidos ou registrados em qualquer forma, desde que estejam associados aos dados codificados. O termo “associado a” usado aqui significa, em um exemplo, que quando um dado é processado, outros dados podem ser usados (vinculáveis). Em outras palavras, os dados associados uns aos outros podem ser coletados como um dado ou podem ser dados individuais. Em um exemplo, informações associadas a dados codificados (imagem) podem ser transmitidas em um trajeto de transmissão diferente daquele dos dados codificados (imagem). Além disso, em um exemplo, as informações associadas a dados codificados (imagem) podem ser gravadas em um meio de gravação (ou outras áreas de gravação do mesmo meio de gravação) diferente daquele dos dados codificados (imagem). Além disso, esse termo “associado a” pode ser uma parte dos dados, não os dados completos. Em um exemplo, uma imagem e informações correspondentes à imagem podem ser associadas umas às outras em qualquer unidade, como uma pluralidade de quadros, um quadro,
Petição 870190056776, de 19/06/2019, pág. 201/305
193/215 uma parte dentro de um quadro ou similar.
[00721] Além disso, os termos “combinar”, “multiplexar”, “anexar”, “integrar”, “incluir”, “armazenar”, “empurrar”, “colocar”, “inserir” e similares significam combinar uma pluralidade de objetos em um, por exemplo, combinar dados codificados e metadados em um único item de dados, o que significa um uso de “associado a” descrito acima.
[00722] Além disso, uma modalidade da presente tecnologia não está limitada às modalidades descritas acima, e várias alterações e modificações podem ser feitas sem sair do escopo da presente tecnologia.
[00723] Além disso, por exemplo, a presente tecnologia também pode ser implementada por qualquer configuração que constitua um aparelho ou um sistema, por exemplo, um processador como uma integração em larga escala (LSI) e similares, um módulo usando uma pluralidade de processadores e similares, uma unidade usando uma pluralidade de módulos e similares, um conjunto no qual outras funções são adicionadas a um conjunto, ou similares (isto é, uma configuração parcial de um aparelho).
[00724] Deve-se observar que, neste relatório descritivo, um sistema significa um conjunto de uma pluralidade de elementos constituintes (por exemplo, dispositivos ou módulos (partes)), independentemente de todos os elementos constituintes estarem ou não no mesmo alojamento. Consequentemente, uma pluralidade de dispositivos que estão contidos em diferentes alojamentos e conectados através de uma rede e um dispositivo no qual uma pluralidade de módulos está contida em um alojamento são ambos sistemas.
[00725] Além disso, por exemplo, um elemento descrito como um único dispositivo (ou unidade de processamento) pode ser dividido e configurado como uma pluralidade de dispositivos (ou unidades de processamento). Inversamente, os elementos descritos como uma pluralidade de dispositivos (ou unidades de processamento) acima podem ser
Petição 870190056776, de 19/06/2019, pág. 202/305
194/215 configurados coletivamente como um único dispositivo (ou unidade de processamento). Além disso, um elemento diferente dos descritos acima pode ser adicionado à configuração de cada dispositivo (ou unidade de processamento). Além disso, uma parte da configuração de um determinado dispositivo (ou unidade de processamento) pode ser incluída na configuração de outro dispositivo (ou outra unidade de processamento) desde que a configuração ou operação do sistema como um todo seja substancialmente a mesma.
[00726] Além disso, por exemplo, a presente tecnologia pode adotar uma configuração de computação em nuvem que realiza processamento alocando e compartilhando uma função por uma pluralidade de dispositivos através de uma rede.
[00727] Além disso, por exemplo, o programa descrito acima pode ser executado em qualquer dispositivo. Nesse caso, é suficiente que o dispositivo tenha uma função necessária (bloco funcional ou similar) e possa obter as informações necessárias.
[00728] Além disso, por exemplo, cada etapa descrita pelos fluxogramas descritos acima pode ser executada por um dispositivo ou executada ao ser alocada a uma pluralidade de dispositivos. Além disso, no caso em que uma pluralidade de processos é incluída em uma etapa, a pluralidade de processos incluídos nessa etapa única pode ser executada por um dispositivo ou executada ao ser alocada a uma pluralidade de dispositivos. Em outras palavras, uma pluralidade de processos incluídos em uma etapa também pode ser executada como um processo de uma pluralidade de etapas. Por outro lado, um processo descrito como uma pluralidade de etapas pode ser executado coletivamente em uma etapa.
[00729] Deve-se observar que, em um programa executado por um computador, o processamento nas etapas que descrevem o programa pode ser executado cronologicamente ao longo da ordem descrita neste relatório
Petição 870190056776, de 19/06/2019, pág. 203/305
195/215 descritivo, ou pode ser executado simultaneamente, ou individualmente no momento necessário, como quando uma chamada é feita. Em outras palavras, a menos que uma contradição surja, o processamento nas etapas pode ser executado em uma ordem diferente da ordem descrita acima. Além disso, o processamento nas etapas que descrevem o programa pode ser executado simultaneamente com o processamento de outro programa, ou pode ser executado em combinação com o processamento de outro programa.
[00730] Deve-se observar que a pluralidade de tecnologias presentes descritas neste relatório descritivo pode ser executada sozinha independentemente uma da outra, a menos que surja uma contradição. Naturalmente, qualquer pluralidade das presentes tecnologias pode ser realizada em combinação. Em um exemplo, uma parte ou toda a presente tecnologia descrita em qualquer uma das modalidades pode ser realizada em combinação com uma parte ou toda a presente tecnologia descrita em outra modalidade. Além disso, qualquer parte ou todas as presentes tecnologias descritas acima podem ser realizadas em combinação com outra tecnologia que não esteja descrita acima.
[00731] Adicionalmente, a presente tecnologia também pode ser configurada da maneira abaixo.
[00732] (1) [00733] Um aparelho de processamento de imagem incluindo:
[00734] uma unidade de transformada ortogonal inversa configurada para realizar uma transformada ortogonal inversa de crominância usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
[00735] (2) [00736] O aparelho de processamento de imagem de acordo com (1), em que as informações referentes à transformada ortogonal inversa incluem
Petição 870190056776, de 19/06/2019, pág. 204/305
196/215 um sinalizador de transformada primária adaptativa indicando se uma transformada primária inversa adaptativa de selecionar adaptativamente uma de uma pluralidade de transformadas ortogonais inversas diferentes e usar a transformada selecionada como uma transformada primária inversa deve ser aplicada em um bloco de transformadas a ser processado.
[00737] (3) [00738] O aparelho de processamento de imagem de acordo com (2), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância.
[00739] (4) [00740] O aparelho de processamento de imagem de acordo com (3), em que as informações referentes à transformada ortogonal inversa incluem um identificador de transformada primária indicando que a transformada primária inversa deve ser aplicada a transformadas primárias inversas em uma direção vertical e em uma direção horizontal.
[00741] (5) [00742] O aparelho de processamento de imagem de acordo com (4), em que um valor do identificador de transformada primária de crominância é definido como um valor do identificador de transformada primária de luminância em um caso no qual o sinalizador de transformada primária adaptativa de crominância é verdadeiro, e é definido como um valor predeterminado em um caso em que o sinalizador de transformada primária adaptativa de crominância é falso.
[00743] (6) [00744] O aparelho de processamento de imagem de acordo com (5), em que a unidade de transformada ortogonal inversa realiza a transformada primária inversa como a transformada ortogonal inversa.
[00745] (7)
Petição 870190056776, de 19/06/2019, pág. 205/305
197/215 [00746] O aparelho de processamento de imagem de acordo com (6), em que a unidade de transformada ortogonal inversa executa uma transformada horizontal primária inversa que é a transformada primária inversa na direção horizontal e uma transformada vertical primária inversa que é a transformada primária inversa na direção vertical como a transformada ortogonal inversa.
[00747] (8) [00748] O aparelho de processamento de imagem de acordo com (7), em que o tipo de transformada da transformada horizontal primária inversa da crominância e o tipo de transformada da transformada vertical primária inversa da crominância são, cada um, derivados usando um método de acordo com um valor do sinalizador de transformada primária adaptativa da crominância.
[00749] (9) [00750] O aparelho de processamento de imagem de acordo com (8), em que, em um caso em que o sinalizador de transformada primária adaptativa da crominância é verdadeiro, [00751] um conjunto de transformadas da transformada horizontal primária inversa e um conjunto de transformadas da transformada vertical primária inversa são selecionados com base nas informações do modo de predição, [00752] um sinalizador de especificação de transformada horizontal primária e um sinalizador de especificação de transformada vertical primária são derivados do identificador de transformada primária da crominância, [00753] um tipo de transformada da transformada horizontal primária inversa da crominância é selecionado com base no conjunto de transformadas horizontais primárias e no sinalizador de especificação de transformada horizontal primária, e [00754] um tipo de transformada da transformada vertical primária
Petição 870190056776, de 19/06/2019, pág. 206/305
198/215 inversa da crominância é selecionado com base no conjunto de transformadas verticais primárias e na transformada vertical primária.
[00755] (10) [00756] O aparelho de processamento de imagem de acordo com (8) ou (9), em que, em um caso em que o sinalizador de transformada primária adaptativa da crominância é falso, um tipo de transformada predeterminado é selecionado como um tipo de transformada da transformada horizontal primária inversa da crominância e um tipo de transformada predeterminado é selecionado como um tipo de transformada da transformada vertical primária inversa da crominância.
[00757] (11) [00758] O aparelho de processamento de imagem de acordo com qualquer um de (2) a (10), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição, e o sinalizador é definido como falso em um caso em que o tipo de predição do bloco de codificação é intrapredição.
[00759] (12) [00760] O aparelho de processamento de imagem de acordo com qualquer um de (2) a (11), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou um caso em que um tipo de predição é intrapredição do qual o modo de predição é cópia intrabloco, e o sinalizador é definido como falso em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia
Petição 870190056776, de 19/06/2019, pág. 207/305
199/215 intrabloco.
[00761] (13) [00762] O aparelho de processamento de imagem de acordo com qualquer um de (2) a (12), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou um caso em que o tipo de predição é intrapredição em que modos de predição para luminância e crominância correspondem um ao outro, e é definido como falso em um caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro.
[00763] (14) [00764] O aparelho de processamento de imagem de acordo com qualquer um de (2) a (13), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um sinalizador de inferência de informações de transformada primária adaptativa de crominância indicando se o sinalizador de transformada primária adaptativa de crominância deve ser inferido com base no sinalizador de transformada primária adaptativa da luminância é verdadeiro, e é definido como falso em um caso em que o sinalizador de inferência de informações de transformada primária adaptativa de crominância é falso.
[00765] (15) [00766] O aparelho de processamento de imagem de acordo com (14), em que o sinalizador de inferência de informações de transformada primária adaptativa de crominância é decodificado de um fluxo de bits em um caso em que um componente de objeto de processamento é a crominância, o
Petição 870190056776, de 19/06/2019, pág. 208/305
200/215 sinalizador de transformada primária adaptativa de luminância é verdadeiro, um sinalizador de desvio de quantização de transformada é falso, e um sinalizador de salto de transformada é falso, e um valor da inferência de informações de transformada primária adaptativa de crominância é definido como falso em outros casos.
[00767] (16) [00768] O aparelho de processamento de imagem de acordo com qualquer um de (2) a (15), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tamanho de um lado curto de um bloco de transformadas a ser processado da crominância é maior que ou igual a um valor limite predeterminado, e o valor é definido como falso em um caso em que o tamanho do lado curto do bloco de transformadas é menor que o valor limite.
[00769] (17) [00770] O aparelho de processamento de imagem de acordo com qualquer um de (1) a (16), em que [00771] a unidade de transformada ortogonal inversa é configurada para realizar a transformada horizontal primária inversa que é a transformada primária inversa na direção horizontal e a transformada vertical primária inversa que é a transformada primária inversa na direção vertical como a transformada ortogonal inversa, [00772] o tipo de transformada da transformada horizontal primária inversa é definida como um tipo de transformada predeterminado em um caso em que um tamanho de uma largura da gravura do bloco de transformadas a ser processado da crominância é igual a ou menor que um valor limite predeterminado, e o tipo de transporte é definido com base em um conjunto de transformadas horizontais e um sinalizador de especificação de transformada horizontal primária em um caso em que o tamanho da largura da
Petição 870190056776, de 19/06/2019, pág. 209/305
201/215 gravura do bloco de transformadas é maior que o valor limite, e [00773] o tipo de transformada da transformada vertical primária inversa é definida como um tipo de transformada predeterminado em um caso em que um tamanho de uma altura da gravura do bloco de transformadas a ser processado da crominância é igual a ou menor que um valor limite, e o tipo de transformada é definido com base em um conjunto de transformadas verticais e um sinalizador de especificação de transformada vertical primária em um caso em que o tamanho da altura da gravura do bloco de transformadas é maior que o valor limite.
[00774] (18) [00775] O aparelho de processamento de imagem de acordo com qualquer um de (1) a (17), em que as informações referentes à transformada ortogonal inversa incluem um sinalizador de salto de transformada indicando se um processo de transformada ortogonal inversa deve ser saltado.
[00776] (19) [00777] O aparelho de processamento de imagem de acordo com (18), em que um valor do sinalizador de salto de transformada de crominância é definido como um valor do sinalizador de salto de transformada de luminância.
[00778] (20) [00779] O aparelho de processamento de imagem de acordo com (18) ou (19), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, e o valor é definido como um valor do sinalizador de salto de transformada da crominância que é obtido por decodificação de um fluxo de bits em um caso em que o tipo de predição do bloco de codificação é intrapredição.
Petição 870190056776, de 19/06/2019, pág. 210/305
202/215 [00780] (21) [00781] O aparelho de processamento de imagem de acordo com qualquer um de (18) a (20), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, e o valor é definido como um valor do sinalizador de salto de transformada da crominância que é obtido por decodificação de um fluxo de bits em um caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro.
[00782] (22) [00783] O aparelho de processamento de imagem de acordo com qualquer um de (18) a (21), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição do qual o modo de predição é cópia intrabloco, e o valor é definido como um valor do sinalizador de salto de transformada da crominância em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco.
[00784] (23) [00785] O aparelho de processamento de imagem de acordo com qualquer um de (18) a (22), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que um sinalizador de inferência de informações de salto de transformada de crominância indicando
Petição 870190056776, de 19/06/2019, pág. 211/305
203/215 se o sinalizador de salto de transformada da crominância deve ser inferido ou não com base no sinalizador de salto de transformada de luminância é verdadeiro, e o valor é definido como um valor do sinalizador de salto de transformada da crominância obtido por decodificação de um fluxo de bits em um caso em que o sinalizador de inferência de informações de salto de transformada de crominância é falso.
[00786] (24) [00787] O aparelho de processamento de imagem de acordo com qualquer um de (1) a (23), em que as informações referentes à transformada ortogonal inversa incluem um identificador de transformada secundária indicando qual transformada secundária inversa deve ser aplicada.
[00788] (25) [00789] O aparelho de processamento de imagem de acordo com (24), em que um valor do identificador de transformada secundária de crominância é definido como um valor do identificador de transformada secundária de luminância.
[00790] (26) [00791] O aparelho de processamento de imagem de acordo com (24) ou (25), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, e o valor é definido como um valor do identificador de transformada secundária da crominância obtido por decodificação de um fluxo de bits em um caso em que o tipo de predição do bloco de codificação é intrapredição.
[00792] (27) [00793] O aparelho de processamento de imagem de acordo com qualquer um de (24) a (26), em que um valor do identificador de transformada
Petição 870190056776, de 19/06/2019, pág. 212/305
204/215 secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, e o valor é definido como um valor do identificador de transformada secundária da crominância que é obtido por decodificação de um fluxo de bits em um caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro.
[00794] (28) [00795] O aparelho de processamento de imagem de acordo com qualquer um de (24) a (27), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição do qual o modo de predição é cópia intrabloco, e o valor é definido como um valor do identificador de transformada secundária da crominância obtido por decodificação de um fluxo de bits em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco.
[00796] (29) [00797] O aparelho de processamento de imagem de acordo com qualquer um de (24) a (28), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que um sinalizador de inferência de informações de identificação de transformada secundária de crominância indicando se o sinalizador de salto de transformada da crominância deve ser inferido ou não com base no identificador de transformada secundária de luminância é verdadeiro, e o valor é definido
Petição 870190056776, de 19/06/2019, pág. 213/305
205/215 como um valor do identificador de transformada secundária da crominância obtido por decodificação de um fluxo de bits em um caso em que o sinalizador de inferência de informações de identificação de transformada secundária de crominância é falso.
[00798] (30) [00799] Um método de processamento de imagem incluindo:
realizar uma transformada ortogonal inversa de crominância usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
[00800] (31) [00801] Um aparelho de processamento de imagem incluindo:
[00802] uma unidade de transformada ortogonal configurada para realizar uma transformada ortogonal de crominância usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
[00803] (32) [00804] O aparelho de processamento de imagem de acordo com (31), em que informações referentes à transformada ortogonal incluem um sinalizador de transformada primária adaptativa indicando se uma transformada primária adaptativa de selecionar adaptativamente uma de uma pluralidade de transformadas ortogonais diferentes e usar a transformada selecionada como uma transformada primária deve ser aplicada a um bloco de transformadas a ser processado.
[00805] (33) [00806] O aparelho de processamento de imagem de acordo com (32), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância.
Petição 870190056776, de 19/06/2019, pág. 214/305
206/215 [00807] (34) [00808] O aparelho de processamento de imagem de acordo com (33), em que as informações referentes à transformada ortogonal incluem um identificador de transformada primária indicando que a transformada primária deve ser aplicada a transformadas primárias em uma direção vertical e em uma direção horizontal.
[00809] (35) [00810] O aparelho de processamento de imagem de acordo com (34), em que um valor do identificador de transformada primária de crominância é definido como um valor do identificador de transformada primária de luminância em um caso no qual o sinalizador de transformada primária adaptativa de crominância é verdadeiro, e é definido como um valor predeterminado em um caso em que o sinalizador de transformada primária adaptativa de crominância é falso.
[00811] (36) [00812] O aparelho de processamento de imagem de acordo com (35), em que a unidade de transformada ortogonal realiza uma transformada primária como a transformada ortogonal.
[00813] (37) [00814] O aparelho de processamento de imagem de acordo com (36), em que a unidade de transformada ortogonal executa uma transformada horizontal primária que é a transformada primária em uma direção horizontal e uma transformada vertical primária que é a transformada primária na direção vertical como a transformada ortogonal.
[00815] (38) [00816] O aparelho de processamento de imagem de acordo com (37), em que um tipo de transformada da transformada horizontal primária de uma crominância e um tipo de transformada da transformada vertical primária da crominância são, cada um, derivados usando um método de acordo com um
Petição 870190056776, de 19/06/2019, pág. 215/305
207/215 valor do sinalizador de transformada primária adaptativa da crominância.
[00817] (39) [00818] O aparelho de processamento de imagem de acordo com (38), em que, em um caso em que o sinalizador de transformada primária adaptativa da crominância é verdadeiro, um conjunto de transformadas de uma transformada horizontal primária e um conjunto de transformadas de uma transformada vertical primária são selecionados com base nas informações do modo de predição, um sinalizador de especificação de transformada horizontal primária e um sinalizador de especificação de transformada vertical primária são derivados do identificador de transformada primária da crominância, um tipo de transformada da transformada horizontal primária da crominância é selecionado com base no conjunto de transformadas horizontais primárias e no sinalizador de especificação de transformada horizontal primária, e um tipo de transformada da transformada vertical primária da crominância é selecionado com base no conjunto de transformadas verticais primárias e no sinalizador de especificação de transformada vertical primária. [00819] (40) [00820] O aparelho de processamento de imagem de acordo com (38) ou (39), em que, em um caso em que o sinalizador de transformada primária adaptativa da crominância é falso, um tipo de transformada predeterminado é selecionado de um tipo de transformada da transformada horizontal primária da crominância, e um tipo de transformada predeterminado é selecionado como um tipo de transformada da transformada vertical primária da crominância. [00821] (41)
Petição 870190056776, de 19/06/2019, pág. 216/305
208/215 [00822] O aparelho de processamento de imagem de acordo com qualquer um de (32) a (40), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição, e o valor é definido como falso em um caso em que o tipo de predição do bloco de codificação é intrapredição.
[00823] (42) [00824] O aparelho de processamento de imagem de acordo com qualquer um de (32) a (41), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição do qual o modo de predição é cópia intrabloco, e o valor é definido como falso em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco.
[00825] (43) [00826] O aparelho de processamento de imagem de acordo com qualquer um de (32) a (42), em que um valor do sinalizador de transformada primária adaptativa da crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, e o valor é definido como falso em um caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro.
Petição 870190056776, de 19/06/2019, pág. 217/305
209/215 [00827] (44) [00828] O aparelho de processamento de imagem de acordo com qualquer um de (32) a (43), em que um valor do sinalizador de transformada primária adaptativa da crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um sinalizador de inferência de informações de transformada primária adaptativa de crominância indicando se o sinalizador de transformada primária adaptativa da crominância deve ser inferido com base no sinalizador de transformada primária adaptativa da luminância é verdadeiro, e o valor é definido como falso em um caso em que o sinalizador de inferência de informações de transformada primária adaptativa de crominância é falso.
[00829] (45) [00830] O aparelho de processamento de imagem de acordo com (44), em que, em um caso em que um componente de objeto de processamento é uma crominância, o sinalizador de transformada primária adaptativa de luminância é verdadeiro, um sinalizador de desvio de quantização de transformada é falso, e um sinalizador de salto de transformada é falso, o sinalizador de inferência de informações de transformada primária adaptativa de crominância é codificado.
[00831] (46) [00832] O aparelho de processamento de imagem de acordo com qualquer um de (32) a (45), em que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tamanho de um lado curto de um bloco de transformadas a ser processado da crominância é maior que ou igual a um valor limite predeterminado, e um valor é definido como falso em um caso em que o tamanho do lado curto do bloco de transformadas é menor que o valor limite.
[00833] (47)
Petição 870190056776, de 19/06/2019, pág. 218/305
210/215 [00834] O aparelho de processamento de imagem de acordo com qualquer um de (31) a (46), em que a unidade de transformada ortogonal é configurada para realizar a transformada horizontal primária que é a transformada primária na direção horizontal e a transformada vertical primária que é a transformada primária na direção vertical como a transformada ortogonal, um tipo de transformada da transformada horizontal primária é definida como um tipo de transformada predeterminado em um caso em que um tamanho de uma largura da gravura do bloco de transformadas a ser processado da crominância é igual a ou menor que um valor limite predeterminado, e o tipo de transformada é definido com base em um conjunto de transformadas horizontais e um sinalizador de especificação de transformada horizontal primária em um caso em que o tamanho da largura da gravura do bloco de transformadas é maior que o valor limite, e um tipo de transformada da transformada vertical primária é definida como um tipo de transformada predeterminado em um caso em que um tamanho de uma altura da gravura do bloco de transformadas a ser processado da crominância é igual a ou menor que um valor limite predeterminado, e o tipo de transformada é definido com base em um conjunto de transformadas verticais e um sinalizador de especificação de transformada vertical primária em um caso em que o tamanho da altura da gravura do bloco de transformadas é maior que o valor limite.
[00835] (48) [00836] O aparelho de processamento de imagem de acordo com qualquer um de (31) a (47), em que as informações referentes à transformada ortogonal inversa incluem um sinalizador de salto de transformada indicando se um processo de transformada ortogonal inversa deve ser saltado.
[00837] (49) [00838] O aparelho de processamento de imagem de acordo com (48),
Petição 870190056776, de 19/06/2019, pág. 219/305
211/215 em que um valor do sinalizador de salto de transformada de crominância é definido como um valor do sinalizador de salto de transformada de luminância.
[00839] (50) [00840] O aparelho de processamento de imagem de acordo com (48) ou (49), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, e o valor é definido como um valor arbitrário e codificado em um caso em que o tipo de predição do bloco de codificação é intrapredição.
[00841] (51) [00842] O aparelho de processamento de imagem de acordo com qualquer um de (48) a (50), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, e o valor é definido como um valor arbitrário e codificado em um caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro.
[00843] (52) [00844] O aparelho de processamento de imagem de acordo com qualquer um de (48) a (51), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição do qual o modo de predição é cópia
Petição 870190056776, de 19/06/2019, pág. 220/305
212/215 intrabloco, e o valor é definido como um valor arbitrário e codificado em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco.
[00845] (53) [00846] O aparelho de processamento de imagem de acordo com qualquer um de (48) a (52), em que um valor do sinalizador de salto de transformada da crominância é definido como um valor do sinalizador de salto de transformada de luminância em um caso em que um sinalizador de inferência de informações de salto de transformada de crominância indicando se o sinalizador de salto de transformada da crominância deve ser inferido ou não com base no sinalizador de salto de transformada de luminância é verdadeiro, e o valor é definido como um valor arbitrário e codificado em um caso em que o sinalizador de inferência de informações de salto de transformada de crominância é falso.
[00847] (54) [00848] O aparelho de processamento de imagem de acordo com qualquer um de (31) a (53), em que as informações referentes à transformada ortogonal incluem um identificador de transformada secundária indicando qual transformada secundária deve ser aplicada.
[00849] (55) [00850] O aparelho de processamento de imagem de acordo com (54), em que um valor do identificador de transformada secundária de crominância é definido como um valor do identificador de transformada secundária de luminância.
[00851] (56) [00852] O aparelho de processamento de imagem de acordo com (54) ou (55), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que o tipo de predição do bloco de
Petição 870190056776, de 19/06/2019, pág. 221/305
213/215 codificação ao qual o bloco de transformadas a ser processado pertence é interpredição, e o valor é definido como um valor arbitrário e codificado em um caso em que o tipo de predição do bloco de codificação é intrapredição. [00853] (57) [00854] O aparelho de processamento de imagem de acordo com qualquer um de (54) a (56), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição em que os modos de predição para luminância e a crominância correspondem um ao outro, e o valor é definido como um valor arbitrário e codificado em um caso em que o tipo de predição do bloco de codificação é intrapredição em que modos de predição para luminância e crominância não correspondem um ao outro.
[00855] (58) [00856] O aparelho de processamento de imagem de acordo com qualquer um de (54) a (57), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que o tipo de predição do bloco de codificação ao qual o bloco de transformadas a ser processado pertence é interpredição ou intrapredição do qual o modo de predição é cópia intrabloco, e o valor é definido como um valor arbitrário e codificado em um caso em que o tipo de predição do bloco de codificação é intrapredição do qual o modo de predição não é cópia intrabloco.
[00857] (59) [00858] O aparelho de processamento de imagem de acordo com qualquer um de (54) a (58), em que um valor do identificador de transformada secundária da crominância é definido como um valor do identificador de transformada secundária de luminância em um caso em que um sinalizador de
Petição 870190056776, de 19/06/2019, pág. 222/305
214/215 inferência de informações de identificação de transformada secundária de crominância indicando se o sinalizador de salto de transformada da crominância deve ser inferido ou não com base no identificador de transformada secundária de luminância é verdadeiro, e o valor é definido como um valor arbitrário e codificado em um caso em que o sinalizador de inferência de informações de identificação de transformada secundária de crominância é falso.
[00859] (60) [00860] Um método de processamento de imagem incluindo:
[00861] realizar uma transformada ortogonal de crominância usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
Lista dos Sinais de Referência
[00862] 100 aparelho de decodificação de imagem
111 unidade de decodificação
112 unidade de quantização inversa
113 unidade de transformada inversa
114 unidade de operação aritmética
115 memória de quadro
116 unidade de predição
121 comutador
122 unidade de transformada secundária inversa
123 unidade de transformada primária inversa
131 unidade de derivação de informações de
transformada primária adaptativa de crominância
132 unidade de seleção de transformada primária inversa
133 unidade de transformada vertical primária inversa
134 unidade de transformada horizontal primária inversa
Petição 870190056776, de 19/06/2019, pág. 223/305
215/215
151 unidade de derivação de apt.flag
152 unidade de derivação de pt.idx
400 aparelho de codificação de imagem
411 unidade de controle
412 unidade de operação aritmética
413 unidade de transformada
414 unidade de quantização
415 unidade de codificação
416 unidade de quantização inversa
417 unidade de transformada inversa
418 unidade de operação aritmética
419 memória de quadro
420 unidade de predição
431 comutador
432 unidade de transformada primária
433 unidade de transformada secundária
441 unidade de derivação de informações de transformada primária adaptativa de crominância
442 unidade de seleção de transformada primária
443 unidade de transformada horizontal primária
444 unidade de transformada vertical primária
451 unidade de derivação de apt.flag
452 unidade de derivação de pt.idx

Claims (20)

1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende:
uma unidade de transformada ortogonal inversa configurada para realizar uma transformada ortogonal inversa de crominância usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que as informações referentes à transformada ortogonal inversa incluem um sinalizador de transformada primária adaptativa indicando se uma transformada primária inversa adaptativa de selecionar adaptativamente uma de uma pluralidade de transformadas ortogonais inversas diferentes e usar a transformada selecionada como uma transformada primária inversa deve ser aplicada.
3. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância.
4. Aparelho de processamento de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que as informações referentes à transformada ortogonal inversa incluem um identificador de transformada primária indicando que a transformada primária inversa deve ser aplicada a transformadas primárias inversas em uma direção vertical e em uma direção horizontal.
5. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que um valor do identificador de transformada primária de crominância é definido como um valor do identificador de transformada primária de luminância em um caso no qual o
Petição 870190056776, de 19/06/2019, pág. 225/305
2/5 sinalizador de transformada primária adaptativa de crominância é verdadeiro, e é definido como um valor predeterminado em um caso em que o sinalizador de transformada primária adaptativa de crominância é falso.
6. Aparelho de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de transformada ortogonal inversa realiza a transformada primária inversa como a transformada ortogonal inversa.
7. Aparelho de processamento de imagem de acordo com a reivindicação 6, caracterizado pelo fato de que a unidade de transformada ortogonal inversa executa uma transformada horizontal primária inversa que é a transformada primária inversa na direção horizontal e uma transformada vertical primária inversa que é a transformada primária inversa na direção vertical como a transformada ortogonal inversa.
8. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição.
9. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou um caso em que o tipo de predição é intrapredição do qual um modo de predição é cópia intrabloco.
10. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que um valor do sinalizador de
Petição 870190056776, de 19/06/2019, pág. 226/305
3/5 transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tipo de predição de um bloco de codificação ao qual um bloco de transformadas a ser processado pertence é interpredição ou um caso em que o tipo de predição é intrapredição em que modos de predição para luminância e crominância correspondem um ao outro.
11. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um sinalizador de inferência de informações de transformada primária adaptativa de crominância indicando se o sinalizador de transformada primária adaptativa de crominância deve ser inferido com base no sinalizador de transformada primária adaptativa da luminância é verdadeiro.
12. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que um valor do sinalizador de transformada primária adaptativa de crominância é definido como um valor do sinalizador de transformada primária adaptativa de luminância em um caso em que um tamanho de um lado curto de um bloco de transformadas a ser processado de crominância é maior que ou igual a um valor limite predeterminado.
13. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de transformada ortogonal inversa é configurada para realizar uma transformada horizontal primária inversa que é uma transformada primária inversa em uma direção horizontal e uma transformada vertical primária inversa que é uma transformada primária inversa em uma direção vertical como a transformada ortogonal inversa,
Petição 870190056776, de 19/06/2019, pág. 227/305
4/5 um tipo de transformada da transformada horizontal primária inversa é definido com base em um conjunto de transformadas horizontais e um sinalizador de especificação de transformada horizontal primária em um caso em que um tamanho de uma largura de gravura de um bloco de transformadas a ser processado de crominância é maior que um valor limite predeterminado, e um tipo de transformada da transformada vertical primária inversa é definido com base em um conjunto de transformadas verticais e um sinalizador de especificação de transformada vertical primária em um caso em que um tamanho de uma altura de gravura do bloco de transformadas a ser processado de crominância é maior que um valor limite predeterminado.
14. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que as informações referentes à transformada ortogonal inversa incluem um sinalizador de salto de transformada indicando se um processo de transformada ortogonal inversa deve ser saltado.
15. Aparelho de processamento de imagem de acordo com a reivindicação 14, caracterizado pelo fato de que um valor do sinalizador de salto de transformada de crominância é definido como um valor do sinalizador de salto de transformada de luminância.
16. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que as informações referentes à transformada ortogonal inversa incluem um identificador de transformada secundária indicando qual transformada secundária inversa deve ser aplicada.
17. Aparelho de processamento de imagem de acordo com a reivindicação 16, caracterizado pelo fato de que um valor do identificador de transformada secundária de crominância é definido como um valor do identificador de transformada secundária de luminância.
18. Método de processamento de imagem, caracterizado pelo
Petição 870190056776, de 19/06/2019, pág. 228/305
5/5 fato de que compreende:
realizar uma transformada ortogonal inversa de crominância usando informações referentes à transformada ortogonal inversa de crominância derivada com base nas informações referentes a uma transformada ortogonal inversa de luminância.
19. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende:
uma unidade de transformada ortogonal configurada para realizar uma transformada ortogonal de crominância usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
20. Método de processamento de imagem, caracterizado pelo fato de que compreende:
realizar uma transformada ortogonal de crominância usando informações referentes à transformada ortogonal de crominância derivada com base nas informações referentes a uma transformada ortogonal de luminância.
BR112019012707-0A 2016-12-28 2017-12-15 aparelho e método de processamento de imagem. BR112019012707A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016256732 2016-12-28
PCT/JP2017/045042 WO2018123644A1 (ja) 2016-12-28 2017-12-15 画像処理装置および方法

Publications (1)

Publication Number Publication Date
BR112019012707A2 true BR112019012707A2 (pt) 2019-11-19

Family

ID=62708047

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112019012707-0A BR112019012707A2 (pt) 2016-12-28 2017-12-15 aparelho e método de processamento de imagem.

Country Status (10)

Country Link
US (2) US20210243475A1 (pt)
EP (1) EP3565249A4 (pt)
JP (1) JP7067487B2 (pt)
KR (1) KR102476148B1 (pt)
CN (1) CN110100438B (pt)
AU (1) AU2017387752B2 (pt)
BR (1) BR112019012707A2 (pt)
CA (1) CA3041856A1 (pt)
RU (1) RU2759052C2 (pt)
WO (1) WO2018123644A1 (pt)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 符号化装置、復号装置、符号化方法及び復号方法
WO2019131364A1 (ja) * 2017-12-28 2019-07-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
TWI814889B (zh) * 2018-08-16 2023-09-11 大陸商北京字節跳動網絡技術有限公司 變換矩陣選擇的係數相關的編解碼
KR102534160B1 (ko) * 2018-09-02 2023-05-26 엘지전자 주식회사 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
KR20200039591A (ko) 2018-10-05 2020-04-16 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116896635A (zh) * 2018-10-05 2023-10-17 Lg电子株式会社 图像编码/解码设备、存储介质及数据传输设备
EP3881546A4 (en) * 2018-12-04 2022-01-26 Huawei Technologies Co., Ltd. VIDEO ENCODER, VIDEO DECODER, AND CORRESPONDING METHOD
WO2020130569A1 (ko) 2018-12-20 2020-06-25 주식회사 엘지화학 디엔계 고무 라텍스, 이의 제조방법 및 이를 포함하는 코어-쉘 구조의 그라프트 공중합체
WO2020216176A1 (en) * 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma syntax elements in video coding
CN113711597B (zh) 2019-04-23 2022-11-25 北京字节跳动网络技术有限公司 上下文建模和多重变换矩阵的选择
CN115567707A (zh) 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波
AU2019232801A1 (en) * 2019-09-17 2021-04-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
CN114982232A (zh) * 2019-12-26 2022-08-30 日本放送协会 编码装置、解码装置和程序
EP4082194A1 (en) * 2019-12-27 2022-11-02 Interdigital VC Holdings France Transform coding for inter-predicted video data

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69817460T2 (de) * 1997-06-09 2004-06-09 Hitachi, Ltd. Bildsequenzdekodierungsverfahren
JP3887178B2 (ja) * 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置
CN102648628B (zh) * 2009-12-04 2017-09-29 汤姆森许可贸易公司 视频编码和解码中针对帧间帧的改进色度变换的方法和装置
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
KR101920601B1 (ko) * 2011-10-17 2018-11-20 가부시끼가이샤 도시바 암호화 장치 및 암호화 방법
GB2509670B (en) * 2011-10-18 2018-12-05 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
KR102079311B1 (ko) * 2011-12-15 2020-02-19 타지반 투 엘엘씨 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 복호 장치
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
WO2016081939A1 (en) * 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
US10368084B2 (en) * 2014-11-27 2019-07-30 Kt Corporation Video signal processing method and device
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
BR112017025820A2 (pt) * 2015-06-23 2018-08-14 Ericsson Telefon Ab L M métodos para um codificador de video, um transcodificador de vídeo e um nó de processamento de vídeo, codificador de vídeo, transcodificador de vídeo, nó de processamento de vídeo, e, programa de computador
JP6559337B2 (ja) * 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
US10567759B2 (en) 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding

Also Published As

Publication number Publication date
JP7067487B2 (ja) 2022-05-16
KR102476148B1 (ko) 2022-12-12
CA3041856A1 (en) 2018-07-05
EP3565249A4 (en) 2019-12-18
WO2018123644A1 (ja) 2018-07-05
US20210243475A1 (en) 2021-08-05
RU2019119077A3 (pt) 2021-04-05
RU2019119077A (ru) 2020-12-21
RU2759052C2 (ru) 2021-11-09
US20220394299A1 (en) 2022-12-08
AU2017387752B2 (en) 2022-08-25
JPWO2018123644A1 (ja) 2019-11-21
CN110100438B (zh) 2022-04-15
CN110100438A (zh) 2019-08-06
KR20190099410A (ko) 2019-08-27
EP3565249A1 (en) 2019-11-06
AU2017387752A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
BR112019012707A2 (pt) aparelho e método de processamento de imagem.
JP7384247B2 (ja) 画像処理装置および方法
JP6911856B2 (ja) 画像処理装置および方法
JP6741126B2 (ja) 画像復号装置および方法
BR112014032227B1 (pt) Dispositivo e método de decodificação
JPWO2018131523A1 (ja) 画像処理装置および画像処理方法
JP7001968B2 (ja) 画像処理装置および方法
WO2018105410A1 (ja) 画像処理装置および方法
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
RU2679990C2 (ru) Устройство и способ кодирования изображения и устройство и способ декодирования изображения
WO2018037949A1 (ja) 画像処理装置および方法
JP2020155869A (ja) 画像スケーリング変換、逆変換装置及び方法
JP2021153214A (ja) 動画像符号化装置および動画像復号装置
JP2021153215A (ja) 動画像符号化装置および動画像復号装置
JP2017158206A (ja) 画像処理装置および方法、並びにプログラム
BR112016028745B1 (pt) Dispositivos e métodos de codificação e decodificação de imagem
BR112016021329B1 (pt) Aparelho e método de decodificação de imagem, e, meio legível por computador não transitório

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]