BR122023027365A2

BR122023027365A2 - ENCODING METHOD AND DECODING METHOD

Info

Publication number: BR122023027365A2
Application number: BR122023027365-6A
Authority: BR
Inventors: Chong Soon Lim; Hai Wei Sun; Han Boon Teo; Jing Ya Li; Che Wei Kuo; Kiyofumi Abe; Tadamasa Toma; Takahiro Nishi; Yusuke Kato
Original assignee: Panasonic Intellectual Property Corporation Of America
Priority date: 2018-12-31
Filing date: 2019-12-23
Publication date: 2024-05-28

Abstract

Um codificador (100), que codifica um bloco atual a ser codificado em uma imagem, é fornecido. O codificador inclui: um processador (a1) e uma memória (a2), acoplada ao processador (a1), no qual, em operação, o processador (a1) gera uma primeira imagem de previsão, com base em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão, utilizando um filtro de interpolação pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão; e codifica o bloco atual, com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação que difere, em um número total de saídas, do primeiro filtro de interpolação.An encoder (100), which encodes a current block to be encoded into an image, is provided. The encoder includes: a processor (a1) and a memory (a2), coupled to the processor (a1), in which, in operation, the processor (a1) generates a first prediction image, based on a motion vector, the first prediction image being a full pixel accurate image; generates a second prediction image using an interpolation filter by interpolating a value at a fractional pixel position between the total pixel positions included in the first prediction image; and encodes the current block, based on the second prediction image, and using the interpolation filter, the interpolation filter is switched between a first interpolation filter and a second interpolation filter that differs, in a total number of outputs, of the first interpolation filter.

Description

Technical Field

[001] Esta descrição refere-se à codificação de vídeo, particular mente aos sistemas, componentes e métodos de codificação e decodi- ficação de vídeo.[001] This description refers to video coding, particularly video coding and decoding systems, components and methods.

Fundamental Technique

[002] Com o avanço da tecnologia de codificação de vídeo, a par tir de H.261 e MPEG-1 até H.264/AVC (Codificação de Vídeo Avança da), MPEG-LA, H.265/HEVC (Codificação de Vídeo de Alta Eficiência) e H.266/VVC (Codec de Vídeo Versátil), ainda permanece uma neces-sidade constante de se fornecer aperfeiçoamentos e otimizações à tecnologia de codificação de vídeo, para processar um número sempre crescente de dados de vídeo digital em várias aplicações.[002] With the advancement of video coding technology, from H.261 and MPEG-1 to H.264/AVC (Advanced Video Coding), MPEG-LA, H.265/HEVC (Advanced Video Coding), High Efficiency Video) and H.266/VVC (Versatile Video Codec), there remains a constant need to provide improvements and optimizations to video coding technology to process an ever-increasing number of digital video data in various applications.

[003] É notado que a Literatura de Não Patente (NPL) 1 se refere a um exemplo do padrão convencional na tecnologia de codificação de vídeo mencionada acima.[003] It is noted that Non-Patent Literature (NPL) 1 refers to an example of the conventional standard in video coding technology mentioned above.

Citation List Non-Patent Literature

[004] NPL 1: H.265 (ISO/IEC 23008-2 HEVC)/HEVC(Codificação de Vídeo de Alta Eficiência)[004] NPL 1: H.265 (ISO/IEC 23008-2 HEVC)/HEVC (High Efficiency Video Coding)

Summary of the Invention Technical problems

[005] Para um método de codificação e um método de decodifi- cação, um novo esquema deve ser proposto, a fim de se aperfeiçoar uma eficiência de codificação, aperfeiçoar uma qualidade de imagem, reduzir a quantidade de processamento, reduzir a escala do conjunto de circuitos, ou selecionar, adequadamente, um elemento/operação constituinte para um filtro, um bloco, um tamanho, um vetor de movi-mento, uma imagem de referência, um bloco de referência, etc.[005] For a coding method and a decoding method, a new scheme must be proposed, in order to improve a coding efficiency, improve an image quality, reduce the amount of processing, reduce the set scale of circuits, or appropriately select a constituent element/operation for a filter, a block, a size, a motion vector, a reference image, a reference block, etc.

[006] A presente descrição fornece as configurações ou métodos que contribuem, por exemplo, para pelo menos um dentre: um aperfei-çoamento em uma eficiência de codificação; um aperfeiçoamento em uma qualidade de imagem; uma redução da quantidade de processa-mento; uma redução da escala do conjunto de circuito; um aperfeiço-amento na velocidade de processamento; seleção adequada de um elemento/operação constituinte. Deve-se notar que a presente descri ção pode incluir configurações ou métodos que contribuem para os benefícios, além dos benefícios mencionados acima.[006] The present description provides configurations or methods that contribute, for example, to at least one of: an improvement in coding efficiency; an improvement in image quality; a reduction in the amount of processing; a downscaling of the circuit assembly; an improvement in processing speed; appropriate selection of a constituent element/operation. It should be noted that the present description may include configurations or methods that contribute to benefits in addition to the benefits mentioned above.

Solutions to Problems

[007] Por exemplo, um codificador de acordo com um aspecto da presente descrição, é um codificador que codifica um bloco atual a ser codificado, em uma imagem. O codificador inclui: um conjunto de cir-cuitos, e memória acoplada ao conjunto de circuitos, na qual, em ope-ração, o conjunto de circuitos gera uma primeira imagem de previsão, com base em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão utilizando um filtro de interpolação, pela interpola ção de um valor em uma posição de pixel fracionado, entre as posi ções de pixel total incluídas na primeira imagem de previsão; e codifica o bloco atual, com base na segunda imagem de previsão, e na utiliza ção do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação diferente, em um número total de saídas, do primeiro filtro de interpo lação.[007] For example, an encoder according to an aspect of the present description, is an encoder that encodes a current block to be encoded, in an image. The encoder includes: a set of circuits, and memory coupled to the set of circuits, in which, in operation, the set of circuits generates a first prediction image, based on a motion vector, the first image of prediction being an image with full pixel accuracy; generates a second prediction image using an interpolation filter, by interpolating a value at a fractional pixel position between the total pixel positions included in the first prediction image; and encodes the current block, based on the second prediction image, and using the interpolation filter, the interpolation filter is switched between a first interpolation filter and a second different interpolation filter, in a total number of outputs, of the first interpolation filter.

[008] Algumas implementações das modalidades da presente descrição podem aperfeiçoar uma eficiência de codificação, podem simplesmente ser um processo de codificação/decodificação, podem acelerar a velocidade de um processo de codificação/decodificação, podem selecionar, de forma eficiente, os componentes/operações adequados utilizados na codificação e decodificação, tal como filtro adequado, tamanho de bloco, vetor de movimento, imagem de refe rência, bloco de referência, etc.[008] Some implementations of embodiments of the present description may improve a coding efficiency, may simply be an encoding/decoding process, may accelerate the speed of an encoding/decoding process, may efficiently select components/operations used in coding and decoding, such as suitable filter, block size, motion vector, reference image, reference block, etc.

[009] Os benefícios e vantagens adicionais das modalidades descritas se tornarão aparentes a partir da especificação e dos dese-nhos. Os benefícios e/ou vantagens podem ser individualmente obti dos pelas várias modalidades e características da especificação e dos desenhos, nem todos os quais precisam ser fornecidos, a fim de se obter um ou mais dos ditos benefícios e/ou vantagens.[009] The additional benefits and advantages of the described embodiments will become apparent from the specification and drawings. Benefits and/or advantages may be individually obtained by various embodiments and features of the specification and drawings, not all of which need to be provided in order to obtain one or more of said benefits and/or advantages.

[0010] Deve-se notar que as modalidades, geral e específica, po dem ser implementadas como um sistema, um método, um circuito integrado, um programa de computador, um meio de armazenamento, ou qualquer combinação seletiva dos mesmos.[0010] It should be noted that the general and specific embodiments can be implemented as a system, a method, an integrated circuit, a computer program, a storage medium, or any selective combination thereof.

Advantageous Effect of the Invention

[0011] A configuração ou método, de acordo com um aspecto da presente descrição, contribui para, por exemplo, pelo menos um den tre: um aperfeiçoamento em uma eficiência de codificação; um aper-feiçoamento em uma qualidade de imagem; uma redução da quanti dade de processamento; uma redução da escala do conjunto de circui tos; um aperfeiçoamento na velocidade de processamento; seleção adequada de um elemento/operação constituinte. Deve-se notar que a configuração ou método, de acordo com um aspecto da presente des crição, pode contribuir para benefícios além dos benefícios menciona dos acima.[0011] The configuration or method, according to an aspect of the present description, contributes to, for example, at least one of: an improvement in a coding efficiency; an improvement in image quality; a reduction in the amount of processing; a reduction in the scale of the circuit set; an improvement in processing speed; appropriate selection of a constituent element/operation. It should be noted that the configuration or method, in accordance with one aspect of the present description, may contribute to benefits in addition to the benefits mentioned above.

Brief Description of the Drawings

[0012] A figura 1 é um diagrama em bloco, ilustrando uma configu ração funcional de um codificador, de acordo com uma modalidade; a figura 2 é um fluxograma indicando um exemplo de um processo de codificação geral realizado pelo codificador; a figura 3 é um diagrama conceitual ilustrando um exemplo da divisão de bloco; a figura 4A é um diagrama conceitual ilustrando um exem plo de uma configuração de fatia; a figura 4B é um diagrama conceitual ilustrando um exem plo de uma configuração de “tile”; a figura 5A é um gráfico indicando as funções básicas de transformação para vários tipos de transformação; a figura 5B é um diagrama conceitual ilustrando transfor-mações ilustrativas que variam espacialmente (SVT); a figura 6A é um diagrama conceitual ilustrando um exem plo de um formato de filtro utilizado em um filtro de circuito adaptativo (ALF); a figura 6B é um diagrama conceitual ilustrando outro exemplo de um formato de filtro utilizado em um ALF; a figura 6C é um diagrama conceitual ilustrando outro exemplo de um formato de filtro utilizado em um ALF; a figura 7 é um diagrama em bloco indicando um exemplo de uma configuração específica de um filtro de circuito, que funciona como um filtro de desbloqueio (DBF); a figura 8 é um diagrama conceitual indicando um exemplo de um filtro de desbloqueio possuindo uma característica de filtragem simétrica com relação a um limite de bloco; a figura 9 é um diagrama conceitual para ilustrar um limite de bloco, no qual um processo de filtro de desbloqueio é realizado; a figura 10 é um diagrama conceitual indicando exemplos de valores Bs; a figura 11 é um fluxograma ilustrando um exemplo de um processo realizado por um processador de previsão do codificador; a figura 12 é um fluxograma ilustrando outro exemplo de um processo realizado por um processador de previsão do codificador; a figura 13 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do codificador; a figura 14 é um diagrama conceitual ilustrando sessenta e sete modos de intraprevisão utilizados na intraprevisão em uma moda-lidade; a figura 15 é um fluxograma ilustrando um exemplo do fluxo de processamento básico de interprevisão; a figura 16 é um fluxograma ilustrando um exemplo de deri-vação de vetores de movimento; a figura 17 é um fluxograma ilustrando outro exemplo de derivação dos vetores de movimento; a figura 18 é um fluxograma ilustrando outro exemplo de derivação de vetores de movimento; a figura 19 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal; a figura 20 é um fluxograma ilustrando um exemplo de in- terprevisão no modo de mistura; a figura 21 é um diagrama conceitual para ilustrar um exemplo de um processo de derivação de vetor de movimento no mo do de mistura; a figura 22 é um fluxograma ilustrando um exemplo do pro-cesso de conversão de aumento de taxa de quadro (FRUC); a figura 23 é um diagrama conceitual para ilustrar um exemplo de combinação de padrão (combinação bilateral) entre dois blocos ao longo de uma trajetória de movimento; a figura 24 é um diagrama conceitual para ilustrar um exemplo da combinação de padrão (combinação de gabarito) entre um gabarito em uma imagem atual e um bloco em uma imagem de refe- rência; a figura 25A é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco, com base nos vetores de movimento de uma pluralidade de blocos vi zinhos; a figura 25B é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco no modo afim, no qual três pontos de controle são utilizados; a figura 26A é um diagrama conceitual para ilustrar um mo do de mistura afim; a figura 26B é um diagrama conceitual para ilustrar um mo do de mistura afim, no qual dois pontos de controle são utilizados; a figura 26C é um diagrama conceitual para ilustrar um mo do de mistura afim, no qual três pontos de controle são utilizados; a figura 27 é um fluxograma ilustrando um exemplo de um processo no modo de mistura afim; a figura 28A é um diagrama conceitual para ilustrar um in- termodo afim no qual dois pontos de controle são utilizados; a figura 28B é um diagrama conceitual para ilustrar um in- termodo afim, no qual três pontos de controle são utilizados; a figura 29 é um fluxograma ilustrando um exemplo de um processo no intermodo afim; a figura 30A é um diagrama conceitual para ilustrar um in- termodo afim, no qual um bloco atual possui três pontos de controle e um bloco vizinho possui dois pontos de controle; a figura 30B é um diagrama conceitual para ilustrar um in- termodo afim, no qual um bloco atual possui dois pontos de controle e um bloco vizinho possui três pontos de controle; a figura 31A é um fluxograma ilustrando um processo do modo de mistura incluindo o refinamento de vetor de movimento do decodificador (DMVR); a figura 31B é um diagrama conceitual para ilustrar um exemplo de um processo DMVR; a figura 32 é um fluxograma ilustrando um exemplo de ge-ração de uma imagem de previsão; a figura 33 é um fluxograma ilustrando outro exemplo de geração de uma imagem de previsão; a figura 34 é um fluxograma ilustrando outro exemplo de geração de uma imagem de previsão; a figura 35 é um fluxograma ilustrando um exemplo de um processo de correção de imagem de previsão, realizado por um pro cesso de compensação de movimento de bloco sobreposto (OBMC); a figura 36 é um diagrama conceitual para ilustrar um exemplo de um processo de correção de imagem de previsão realiza do por um processo OBMC; a figura 37 é um diagrama conceitual para ilustrar um exemplo de um processo de correção de imagem de previsão realiza do por um processo OBMC; a figura 38 é um diagrama conceitual para ilustrar um mo delo que assume o movimento linear uniforme; a figura 39 é um diagrama conceitual para ilustrar um exemplo de um método de geração de imagem de previsão, utilizando um processo de correção de luminescência realizado por um processo de compensação de iluminação local (LIC); a figura 40 é um diagrama em bloco ilustrando um exemplo de montagem do codificador; a figura 41 é um diagrama em bloco, ilustrando uma confi-guração funcional de um decodificador, de acordo com uma modalida de; a figura 42 é um fluxograma ilustrando um exemplo de um processo de decodificação geral, realizado pelo decodificador; a figura 43 é um fluxograma ilustrando um exemplo de um processo realizado por um processador de previsão do decodificador; a figura 44 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do decodificador; a figura 45 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal no decodificador; a figura 46 é um diagrama em bloco ilustrando um exemplo de montagem do decodificador; a figura 47 é um fluxograma ilustrando um exemplo de um processo para determinar um filtro de interpolação, de acordo com uma modalidade; a figura 48 é um diagrama ilustrando um exemplo do pri meiro filtro de interpolação, de acordo com a modalidade; a figura 49 é um diagrama ilustrando um exemplo do se gundo filtro de interpolação, de acordo com a modalidade; a figura 50 é um diagrama ilustrando um exemplo de um bloco ao qual o filtro de interpolação determinado é aplicado, de acor do com a modalidade; A figura 51 é um diagrama em bloco ilustrando uma confi-guração geral de um sistema de fornecimento de conteúdo para im-plementar um serviço de distribuição de conteúdo; a figura 52 é um diagrama conceitual ilustrando um exem plo de uma estrutura de codificação na codificação escalonável; a figura 53 é um diagrama conceitual ilustrando um exem plo de uma estrutura de codificação na codificação escalonável; a figura 54 é um diagrama conceitual ilustrando um exem plo de uma tela de exibição de uma página da rede; a figura 55 é um diagrama conceitual ilustrando um exem plo de uma tela de exibição de uma página da rede; a figura 56 é um diagrama em bloco ilustrando um exemplo de um smartphone; a figura 57 é um diagrama em bloco ilustrando um exemplo de uma configuração de um smartphone.[0012] Figure 1 is a block diagram, illustrating a functional configuration of an encoder, according to one embodiment; Figure 2 is a flowchart indicating an example of a general coding process performed by the coder; Figure 3 is a conceptual diagram illustrating an example of block division; Figure 4A is a conceptual diagram illustrating an example of a slice configuration; Figure 4B is a conceptual diagram illustrating an example of a “tile” configuration; Figure 5A is a graph indicating the basic transformation functions for various types of transformation; Figure 5B is a conceptual diagram illustrating spatially varying illustrative transformations (SVT); Figure 6A is a conceptual diagram illustrating an example of a filter format used in an adaptive circuit filter (ALF); Figure 6B is a conceptual diagram illustrating another example of a filter format used in an ALF; Figure 6C is a conceptual diagram illustrating another example of a filter format used in an ALF; Figure 7 is a block diagram indicating an example of a specific configuration of a circuit filter, which functions as a deblocking filter (DBF); Figure 8 is a conceptual diagram indicating an example of a deblocking filter having a symmetric filtering characteristic with respect to a block boundary; Figure 9 is a conceptual diagram for illustrating a block boundary, in which an unblocking filter process is carried out; figure 10 is a conceptual diagram indicating examples of Bs values; Figure 11 is a flowchart illustrating an example of a process performed by an encoder prediction processor; Figure 12 is a flowchart illustrating another example of a process performed by an encoder prediction processor; Figure 13 is a flowchart illustrating another example of a process performed by the encoder prediction processor; Figure 14 is a conceptual diagram illustrating sixty-seven intraforecast modes used in intraforecast in a modality; Figure 15 is a flowchart illustrating an example of the basic interforecast processing flow; figure 16 is a flowchart illustrating an example of deriving motion vectors; Figure 17 is a flowchart illustrating another example of deriving movement vectors; Figure 18 is a flowchart illustrating another example of deriving motion vectors; figure 19 is a flowchart illustrating an example of interforecast in normal mode; Figure 20 is a flowchart illustrating an example of interprediction in mixing mode; Figure 21 is a conceptual diagram to illustrate an example of a motion vector derivation process in mixing mode; Figure 22 is a flowchart illustrating an example of the frame rate increase conversion (FRUC) process; Figure 23 is a conceptual diagram to illustrate an example of pattern matching (bilateral matching) between two blocks along a movement path; Figure 24 is a conceptual diagram to illustrate an example of pattern matching (template matching) between a template in a current image and a block in a reference image; Figure 25A is a conceptual diagram for illustrating an example of deriving a motion vector of each sub-block, based on the motion vectors of a plurality of neighboring blocks; Figure 25B is a conceptual diagram to illustrate an example of deriving a motion vector of each sub-block in affine mode, in which three control points are used; Figure 26A is a conceptual diagram for illustrating a related mixing method; Figure 26B is a conceptual diagram to illustrate an affine mixing mode in which two control points are used; Figure 26C is a conceptual diagram to illustrate an affine mixing mode, in which three control points are used; Figure 27 is a flowchart illustrating an example of a process in related mixing mode; Figure 28A is a conceptual diagram to illustrate a related term in which two control points are used; Figure 28B is a conceptual diagram to illustrate a related term, in which three control points are used; Figure 29 is a flowchart illustrating an example of a process in the related intermode; Figure 30A is a conceptual diagram to illustrate a related term, in which a current block has three control points and a neighboring block has two control points; Figure 30B is a conceptual diagram to illustrate a related term, in which a current block has two control points and a neighboring block has three control points; Figure 31A is a flowchart illustrating a mixing mode process including decoder motion vector refinement (DMVR); Figure 31B is a conceptual diagram to illustrate an example of a DMVR process; figure 32 is a flowchart illustrating an example of generating a prediction image; Figure 33 is a flowchart illustrating another example of generating a prediction image; Figure 34 is a flowchart illustrating another example of generating a prediction image; Figure 35 is a flowchart illustrating an example of a predictive image correction process, performed by an overlapping block motion compensation (OBMC) process; Figure 36 is a conceptual diagram to illustrate an example of a predictive image correction process performed by an OBMC process; Figure 37 is a conceptual diagram to illustrate an example of a predictive image correction process performed by an OBMC process; Figure 38 is a conceptual diagram to illustrate a model that assumes uniform linear motion; Figure 39 is a conceptual diagram to illustrate an example of a predictive image generation method using a luminescence correction process performed by a local illumination compensation (LIC) process; Figure 40 is a block diagram illustrating an example of encoder assembly; Figure 41 is a block diagram illustrating a functional configuration of a decoder, according to an embodiment; Figure 42 is a flowchart illustrating an example of a general decoding process performed by the decoder; Figure 43 is a flowchart illustrating an example of a process performed by a decoder prediction processor; Figure 44 is a flowchart illustrating another example of a process performed by the decoder prediction processor; Figure 45 is a flowchart illustrating an example of normal inter-prediction in the decoder; Figure 46 is a block diagram illustrating an example of decoder assembly; Figure 47 is a flowchart illustrating an example of a process for determining an interpolation filter, according to one embodiment; Figure 48 is a diagram illustrating an example of the first interpolation filter, according to the embodiment; Figure 49 is a diagram illustrating an example of the second interpolation filter, according to the embodiment; Figure 50 is a diagram illustrating an example of a block to which the determined interpolation filter is applied, according to the embodiment; Figure 51 is a block diagram illustrating a general configuration of a content delivery system for implementing a content distribution service; Figure 52 is a conceptual diagram illustrating an example of a coding structure in scalable coding; Figure 53 is a conceptual diagram illustrating an example of a coding structure in scalable coding; Figure 54 is a conceptual diagram illustrating an example of a web page display screen; Figure 55 is a conceptual diagram illustrating an example of a web page display screen; Figure 56 is a block diagram illustrating an example of a smartphone; Figure 57 is a block diagram illustrating an example of a smartphone configuration.

Description of Illustrative Embodiments

[0013] Um codificador, de acordo com um aspecto da presente descrição, é um codificador que codifica um bloco atual a ser codifica do em uma imagem. O codificador inclui: o conjunto de circuitos; e memória acoplada ao conjunto de circuitos, em que, em operação, o conjunto de circuitos: gera uma primeira imagem de previsão, baseada em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão utilizando um filtro de interpolação pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão; e codifica o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro fil tro de interpolação e um segundo filtro de interpolação diferente em um número total de saídas, do primeiro filtro de interpolação.[0013] An encoder, according to one aspect of the present description, is an encoder that encodes a current block to be encoded in an image. The encoder includes: the circuitry; and memory coupled to the circuitry, wherein, in operation, the circuitry: generates a first prediction image, based on a motion vector, the first prediction image being an image with full pixel accuracy; generates a second prediction image using an interpolation filter by interpolating a value at a fractional pixel position between the total pixel positions included in the first prediction image; and encodes the current block based on the second prediction image, and when using the interpolation filter, the interpolation filter is switched between a first interpolation filter and a second different interpolation filter on a total number of outputs, from the first interpolation filter.

[0014] Com isso, na geração da segunda imagem de previsão com a precisão de pixel fracionado, o filtro de interpolação pode ser comu tado entre o primeiro filtro de interpolação e o segundo filtro de interpo lação, diferentes um do outro no número total de saídas. De acordo, o filtro de interpolação adequado para o bloco atual pode ser utilizado, e, dessa forma, é possível se realizar um equilíbrio entre o aumen- to/redução na largura de banda de memória e deterioração/aperfeiçoa- mento da qualidade de imagem.[0014] Thereby, in generating the second prediction image with fractional pixel precision, the interpolation filter can be switched between the first interpolation filter and the second interpolation filter, different from each other in the total number of exits. Accordingly, the appropriate interpolation filter for the current block can be used, and, in this way, it is possible to achieve a balance between increase/reduction in memory bandwidth and deterioration/improvement of image quality. .

[0015] Ademais, por exemplo, no codificador de acordo com um aspecto da presente descrição, na comutação do filtro de interpolação, é julgado se um tamanho do bloco atual é maior do que um tamanho limite, quando o tamanho do bloco atual for maior do que o tamanho limite, um filtro de interpolação para uso na compensação de movi mento do bloco atual é determinado como sendo o primeiro filtro de interpolação, quando o tamanho do bloco atual não for maior do que o tamanho limite, o filtro de interpolação para uso na compensação de movimento do bloco atual é determinado como sendo o segundo filtro de interpolação, a segunda imagem de previsão é gerada utilizando-se o filtro de interpolação determinado, e o segundo filtro de interpolação pode possuir menos saídas do que o primeiro filtro de interpolação.[0015] Furthermore, for example, in the encoder according to an aspect of the present description, in switching the interpolation filter, it is judged whether a current block size is greater than a threshold size, when the current block size is greater than the threshold size, an interpolation filter for use in motion compensation of the current block is determined to be the first interpolation filter, when the current block size is not greater than the threshold size, the interpolation filter for use in motion compensation of the current block is determined to be the second interpolation filter, the second prediction image is generated using the determined interpolation filter, and the second interpolation filter may have fewer outputs than the first interpolation filter. interpolation.

[0016] Com isso, quando o tamanho do bloco atual não for maior do que o tamanho limite, o segundo filtro de interpolação, possuindo menos saídas do que o caso no qual o tamanho do bloco atual é maior do que o tamanho limite, pode ser utilizado na compensação de movi mento. Quando a compensação de movimento é realizada em uma base de bloco menor, o número de vezes em que a compensação de movimento é realizada aumenta, e o número de vezes que as amos trassão lidas a partir da memória, para realizar a compensação de movimento, também aumenta. Por outro lado, quando o número total de saídas do filtro de interpolação diminui, o número total de amostras lidas a partir da memória para realizar o processo de interpolação di minui. De acordo, o filtro de interpolação, possuindo menos saídas pa ra o bloco menor, pode ser utilizado para reduzir o número total de amostras por leitura, e, dessa forma, é possível se suprimir um aumen to na largura de banda de memória, mesmo quando o número de ve zes em que as amostras são lidas, aumentar.[0016] Therefore, when the current block size is not greater than the limit size, the second interpolation filter, having fewer outputs than the case in which the current block size is greater than the limit size, can be used in motion compensation. When motion compensation is performed on a smaller block basis, the number of times motion compensation is performed increases, and the number of times samples are read from memory to perform motion compensation increases. also increases. Conversely, when the total number of interpolation filter outputs decreases, the total number of samples read from memory to perform the interpolation process decreases. Accordingly, the interpolation filter, having fewer outputs for the smaller block, can be used to reduce the total number of samples per read, and, in this way, it is possible to suppress an increase in memory bandwidth, even when the number of times samples are read increases.

[0017] Ademais, por exemplo, no codificador, de acordo com um aspecto da presente descrição, o primeiro filtro de interpolação pode ser um filtro de 8 saídas.[0017] Furthermore, for example, in the encoder, according to an aspect of the present description, the first interpolation filter may be an 8-output filter.

[0018] Com isso, o filtro de 8 saídas pode ser utilizado como o primeiro filtro de interpolação, e é possível se realizar um equilíbrio en- tre a precisão de interpolação e o aumento na largura de banda de memória.[0018] With this, the 8-output filter can be used as the first interpolation filter, and it is possible to achieve a balance between interpolation accuracy and the increase in memory bandwidth.

[0019] Ademais, por exemplo, no codificador de acordo com um aspecto da presente descrição, o segundo filtro de interpolação pode ser um filtro de 6 saídas.[0019] Furthermore, for example, in the encoder according to an aspect of the present description, the second interpolation filter may be a 6-output filter.

[0020] Com isso, o filtro de 6 saídas pode ser utilizado como o se gundo filtro de interpolação, e é possível se realizar um equilíbrio entre a precisão da interpolação e a redução na largura de banda de memó ria.[0020] With this, the 6-output filter can be used as the second interpolation filter, and it is possible to achieve a balance between interpolation accuracy and reduction in memory bandwidth.

[0021] Ademais, por exemplo, no codificador de acordo com um aspecto da presente descrição, o tamanho limite pode ser de 4 x 4 pixels.[0021] Furthermore, for example, in the encoder according to an aspect of the present description, the size limit may be 4 x 4 pixels.

[0022] Com isso, o segundo filtro de interpolação pode ser aplica do ao bloco de 4 x 4 pixels, e é possível se reduzir de forma eficiente a largura de banda de memória.[0022] With this, the second interpolation filter can be applied to the 4 x 4 pixel block, and it is possible to efficiently reduce the memory bandwidth.

[0023] Ademais, por exemplo, no codificador, de acordo com um aspecto da presente descrição, o bloco atual pode ser um sub-bloco do modo afim.[0023] Furthermore, for example, in the encoder, according to an aspect of the present description, the current block may be a sub-block of the affine mode.

[0024] Com isso, o segundo filtro de interpolação pode ser aplica do ao sub-bloco do modo afim. De acordo, é possível se reduzir a car ga de processamento da compensação de movimento afim, possuindo uma carga de processamento relativamente alto.[0024] With this, the second interpolation filter can be applied to the affine mode sub-block. Accordingly, it is possible to reduce the processing load of affine motion compensation by having a relatively high processing load.

[0025] Por exemplo, um decodificador, de acordo com um aspecto da presente descrição, é um decodificador que decodifica um bloco atual a ser decodificado em uma imagem. O decodificador inclui: um conjunto de circuitos, e uma memória acoplada ao conjunto de circui tos, em que, em operação, o conjunto de circuitos: gera uma primeira imagem de previsão com base em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão utilizando um filtro de interpo- lação pela interpolação de um valor em uma posição de pixel fraciona do entre as posições de pixel total, incluídas na primeira imagem de previsão; e decodifica o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpola ção é intercalado entre um primeiro filtro de interpolação e um segun do filtro de interpolação diferente, em um número total de saídas, do primeiro filtro de interpolação.[0025] For example, a decoder, according to an aspect of the present description, is a decoder that decodes a current block to be decoded into an image. The decoder includes: a circuit set, and a memory coupled to the circuit set, wherein, in operation, the circuit set: generates a first prediction image based on a motion vector, the first prediction image being an image with full pixel precision; generates a second prediction image using an interpolation filter by interpolating a value at a fractional pixel position between the total pixel positions included in the first prediction image; and decodes the current block based on the second prediction image, and using the interpolation filter, the interpolation filter is interleaved between a first interpolation filter and a second different interpolation filter, into a total number of outputs, of the first interpolation filter.

[0026] Com isso, na geração da segunda imagem de previsão com a previsão de pixel fracionado, o filtro de interpolação pode ser interca-lado entre o primeiro filtro de interpolação e o segundo filtro de interpo-lação,diferentes um do outro no número total de saídas. De acordo, o filtro de interpolação adequado para o bloco atual pode ser utilizado e, dessa forma, é possível se realizar um equilíbrio entre o aumen- to/redução na largura de banda de memória e deterioração/aperfeiçoa- mento na qualidade de imagem.[0026] Therefore, when generating the second prediction image with the fractional pixel prediction, the interpolation filter can be interpolated between the first interpolation filter and the second interpolation filter, different from each other in the number total outputs. Accordingly, the appropriate interpolation filter for the current block can be used and, in this way, it is possible to achieve a balance between the increase/reduction in memory bandwidth and deterioration/improvement in image quality.

[0027] Ademais, por exemplo, no decodificador, de acordo com um aspecto da presente descrição, na comutação do filtro de interpolação é julgado se um tamanho do bloco atual é maior do que um tamanho limite; quando o tamanho do bloco atual for maior do que o tamanho limite, um filtro de interpolação para uso na compensação de movi mento do bloco atual, é determinado como sendo o primeiro filtro de interpolação; quando o tamanho do bloco atual não for maior do que o tamanho limite, o filtro de interpolação para uso na compensação de movimento do bloco atual, é determinado como sendo o segundo filtro de interpolação; a segunda imagem de previsão é gerada utilizando-se o filtro de interpolação determinado, e o segundo filtro de interpolação pode ter menos saídas do que o primeiro filtro de interpolação.[0027] Furthermore, for example, in the decoder, according to an aspect of the present description, in switching the interpolation filter it is judged whether a current block size is greater than a threshold size; when the current block size is greater than the threshold size, an interpolation filter for use in motion compensation of the current block is determined to be the first interpolation filter; when the current block size is not greater than the threshold size, the interpolation filter for use in motion compensation of the current block is determined to be the second interpolation filter; the second prediction image is generated using the given interpolation filter, and the second interpolation filter may have fewer outputs than the first interpolation filter.

[0028] Com isso, quando o tamanho do bloco atual não for maior do que o tamanho limite, o segundo filtro de interpolação, que possui menos saídas do que o caso no qual o tamanho do bloco atual é maior do que o tamanho limite, pode ser utilizado na compensação de movi-mento. Quando a compensação de movimento é realizada com base no bloco menor, o número de vezes em que as a compensação de movimento é realizada aumenta, e o número de vezes em que as amostras são lidas a partir da memória, para realizar a compensação de movimento, também aumenta. Por outro lado, quando o número total de saídas do filtro de interpolação diminui, o número total de amostras lidas a partir da memória, para realizar o processo de inter polação,diminui. De acordo, o filtro de interpolação, possuindo menos saídas para o bloco menor, pode ser utilizado para reduzir o número total de amostras por leitura, e, dessa forma, é possível se suprimir um aumento na largura de banda de memória, mesmo quando o número de vezes em que as amostras são lidas, aumenta.[0028] Therefore, when the current block size is not greater than the threshold size, the second interpolation filter, which has fewer outputs than the case in which the current block size is greater than the threshold size, can be used in motion compensation. When motion compensation is performed based on the smaller block, the number of times motion compensation is performed increases, and the number of times samples are read from memory to perform motion compensation , also increases. On the other hand, when the total number of interpolation filter outputs decreases, the total number of samples read from memory to perform the interpolation process decreases. Accordingly, the interpolation filter, having fewer outputs for the smaller block, can be used to reduce the total number of samples per read, and, in this way, it is possible to suppress an increase in memory bandwidth, even when the number of times samples are read increases.

[0029] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente descrição, o primeiro filtro de interpolação pode ser um filtro de 8 saídas.[0029] Furthermore, for example, in the decoder according to an aspect of the present description, the first interpolation filter may be an 8-output filter.

[0030] Com isso, o filtro de 8 saídas pode ser utilizado como o primeiro filtro de interpolação, e é possível se realizar um equilíbrio en tre a precisão de interpolação e o aumento na largura de banda de memória.[0030] With this, the 8-output filter can be used as the first interpolation filter, and it is possible to achieve a balance between interpolation accuracy and the increase in memory bandwidth.

[0031] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente descrição, o segundo filtro de interpolação pode ser um filtro de 6 saídas.[0031] Furthermore, for example, in the decoder according to an aspect of the present description, the second interpolation filter may be a 6-output filter.

[0032] Com isso, o filtro de 6 saídas pode ser utilizado como o se gundo filtro de interpolação, e é possível se realizar um equilíbrio entre a precisão de interpolação e a redução na largura de banda da memó ria.[0032] With this, the 6-output filter can be used as the second interpolation filter, and it is possible to achieve a balance between interpolation accuracy and reduction in memory bandwidth.

[0033] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente invenção, o tamanho limite pode ser de 4 x 4 pixels.[0033] Furthermore, for example, in the decoder according to an aspect of the present invention, the size limit may be 4 x 4 pixels.

[0034] Com isso, o segundo filtro de interpolação pode ser aplica do ao bloco de 4 x 4 pixels e é possível se reduzir de forma eficiente a largura de banda da memória.[0034] With this, the second interpolation filter can be applied to the 4 x 4 pixel block and it is possible to efficiently reduce memory bandwidth.

[0035] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente descrição, o bloco atual pode ser um sub-bloco do modo afim.[0035] Furthermore, for example, in the decoder according to an aspect of the present description, the current block may be a sub-block of the affine mode.

[0036] Com isso, o segundo filtro de interpolação pode ser aplica do ao sub-bloco do modo afim. De acordo, é possível se reduzir a car ga de processamento da compensação de movimento afim possuindo uma carga de processamento relativamente alta.[0036] With this, the second interpolation filter can be applied to the affine mode sub-block. Accordingly, it is possible to reduce the processing load of affine motion compensation by having a relatively high processing load.

[0037] Adicionalmente, esses aspectos gerais e específicos po dem ser implementados utilizando-se um sistema, um dispositivo, um método, um circuito integrado, um programa de computador, um meio de gravação legível por computador, tal como um CD-ROM, ou qual-quercombinação de sistemas, dispositivos, métodos, circuitos integra-dos, programas de computador ou meio de gravação.[0037] Additionally, these general and specific aspects can be implemented using a system, a device, a method, an integrated circuit, a computer program, a computer-readable recording medium, such as a CD-ROM, or any combination of systems, devices, methods, integrated circuits, computer programs or recording media.

[0038] Doravante, as modalidades serão descritas com referência aos desenhos. Note-se que as modalidades descritas abaixo ilustram, cada uma, um exemplo geral ou específico. Os valores numéricos, formatos, materiais, componentes, a disposição e conexão dos com-ponentes, etapas, a relação e ordem das etapas, etc., indicados nas modalidades a seguir, são meros exemplos e não devem limitar o es copo das reivindicações.[0038] Hereinafter, embodiments will be described with reference to the drawings. Note that the embodiments described below each illustrate a general or specific example. The numerical values, shapes, materials, components, the arrangement and connection of the components, steps, the relationship and order of the steps, etc., indicated in the following embodiments, are mere examples and should not limit the scope of the claims.

[0039] As modalidades de um codificador e de um decodificador serão descritas abaixo. As modalidades são exemplos de um codifica dor e de um decodificador, aos quais os processos e/ou configurações apresentados na descrição dos aspectos da presente descrição são aplicáveis. Os processos e/ou as configurações podem ser implemen-tadostambém em um codificador e em um decodificador diferente dos mesmos, de acordo com as modalidades. Por exemplo, com referência aos processos e/ou configurações, como aplicados às modalidades, qualquer um dos abaixo pode ser implementado:[0039] Embodiments of an encoder and a decoder will be described below. Embodiments are examples of an encoder and a decoder, to which the processes and/or configurations presented in the description of aspects of the present description are applicable. The processes and/or configurations can also be implemented in a different encoder and decoder, depending on the embodiments. For example, with reference to the processes and/or configurations, as applied to the embodiments, any of the below may be implemented:

[0040] (1) Qualquer um dos componentes do codificador ou deco- dificador, de acordo com as modalidades apresentadas na descrição dos aspectos da presente descrição, podem ser substituídos ou com binados com outro componente apresentado em qualquer outro local na descrição dos aspectos da presente descrição;[0040] (1) Any of the components of the encoder or decoder, in accordance with the embodiments presented in the description of aspects of the present description, may be replaced or combined with another component presented elsewhere in the description of aspects of the present description. present description;

[0041] (2) No codificador ou decodificador de acordo com as mo dalidades,mudanças discricionárias podem ser realizadas às funções ou processos realizados por um ou mais componentes do codificador ou decodificador, tal como adição, substituição, remoção, etc., das funções ou processos. Por exemplo, qualquer função ou processo po de ser substituído ou combinado com outra função ou processo apre sentado em outro local na descrição dos aspectos da presente descri ção.[0041] (2) In the encoder or decoder according to the embodiments, discretionary changes may be made to the functions or processes performed by one or more components of the encoder or decoder, such as adding, replacing, removing, etc., of functions or processes. For example, any function or process may be substituted for or combined with another function or process set forth elsewhere in the description of aspects of the present description.

[0042] (3) Nos métodos implementados pelo codificador ou decodi- ficador, de acordo com as modalidades, mudanças discricionárias po dem ser realizadas, tal como adição, substituição e remoção de um ou mais dos processos incluídos no método. Por exemplo, qualquer pro cesso no método pode ser substituído ou combinado com outro pro cesso apresentado em outro local, na descrição dos aspectos da pre sente descrição.[0042] (3) In the methods implemented by the encoder or decoder, according to the modalities, discretionary changes can be made, such as addition, replacement and removal of one or more of the processes included in the method. For example, any process in the method may be substituted or combined with another process presented elsewhere in describing aspects of the present disclosure.

[0043] (4) Um ou mais componentes incluídos no codificador ou decodificador, de acordo com as modalidades, podem ser combinados com um componente apresentado em outro local na descrição dos as-pectos da presente descrição, podem ser combinados com um com-ponente incluindo uma ou mais funções apresentadas em outro local na descrição dos aspectos da presente descrição, e podem ser combi nados com um componente que implemente um ou mais processos implementados por um componente apresentado na descrição dos as- pectos da presente descrição.[0043] (4) One or more components included in the encoder or decoder, according to the embodiments, may be combined with a component presented elsewhere in the description of aspects of the present description, may be combined with a component including one or more functions presented elsewhere in the description of aspects of the present description, and may be combined with a component that implements one or more processes implemented by a component presented in the description of aspects of the present description.

[0044] (5) Um componente, incluindo uma ou mais funções do co dificador ou do decodificador, de acordo com as modalidades, ou um componente que implemente um ou mais processos do codificador ou do decodificador, de acordo com as modalidades, podem ser combi nados ou substituídos por um componente apresentado em outro local na descrição dos aspectos da presente descrição, com um componen te incluindo uma ou mais funções apresentadas em outro local na des crição dos aspectos da presente descrição, ou com um componente que implemente um ou mais processos apresentados em outro local na descrição dos aspectos da presente descrição.[0044] (5) A component, including one or more encoder or decoder functions, according to embodiments, or a component that implements one or more encoder or decoder processes, according to embodiments, may be combined with or replaced by a component set forth elsewhere in the description of aspects of the present description, with a component including one or more functions set forth elsewhere in the description of aspects of the present description, or with a component that implements one or more processes presented elsewhere in the description of aspects of the present description.

[0045] (6) Nos métodos implementados pelo codificador ou decodi- ficador de acordo com as modalidades, qualquer um dos processos incluídos no método pode ser substituído ou combinado com um pro-cesso apresentado em outro local na descrição dos aspectos da pre sente descrição ou com qualquer processo correspondente ou equiva lente.[0045] (6) In the methods implemented by the encoder or decoder according to the embodiments, any of the processes included in the method may be replaced or combined with a process presented elsewhere in the description of aspects of the present description or with any corresponding or equivalent process.

[0046] (7) Um ou mais processos incluídos nos métodos imple mentados pelo codificador ou decodificador, de acordo com as modali-dades, podem ser combinados com um processo apresentado em ou tro local na descrição dos aspectos da presente descrição.[0046] (7) One or more processes included in the methods implemented by the encoder or decoder, according to the embodiments, may be combined with a process presented elsewhere in the description of aspects of the present description.

[0047] (8) A implementação dos processos e/ou das configurações apresentados na descrição dos aspectos da presente descrição não está limitada ao codificador ou decodificador, de acordo com as moda lidades. Por exemplo, os processos e/ou configurações podem ser im-plementados em um dispositivo utilizado para uma finalidade diferente do codificador de imagem em movimento ou decodificador de imagem em movimento, descritos nas modalidades. Codificador[0047] (8) The implementation of the processes and/or configurations presented in the description of aspects of the present description is not limited to the encoder or decoder, according to the embodiments. For example, the processes and/or settings may be implemented in a device used for a purpose other than the moving image encoder or moving image decoder described in the embodiments. Encoder

[0048] Primeiro, um codificador de acordo com uma modalidade será descrito. A figura 1 é um diagrama em bloco, ilustrando uma con-figuração funcional do codificador 100, de acordo com a modalidade. O codificador 100 é um codificador de vídeo que codifica um vídeo em unidades de um bloco.[0048] First, an encoder according to an embodiment will be described. Figure 1 is a block diagram illustrating a functional configuration of the encoder 100, according to the embodiment. Encoder 100 is a video encoder that encodes a video in units of a block.

[0049] Como ilustrado na figura 1, o codificador 100 é um aparelho que codifica uma imagem em unidades de um bloco, e inclui um divi sor 102, um subtraidor 104, um transformador 106, um quantizador 108, um codificador por entropia 110, um quantizador inverso 112, um transformador inverso 114, um somador 116, uma memória de bloco 118, um filtro de circuito 120, uma memória de quadro 122, um intra previsor 124, um interprevisor 126 e um controlador de previsão 128.[0049] As illustrated in Figure 1, the encoder 100 is an apparatus that encodes an image into units of a block, and includes a divisor 102, a subtractor 104, a transformer 106, a quantizer 108, an entropy encoder 110, an inverse quantizer 112, an inverse transformer 114, an adder 116, a block memory 118, a loop filter 120, a frame memory 122, an intra predictor 124, an interforecaster 126, and a prediction controller 128.

[0050] O codificador 100 é implementado como, por exemplo, um processador genérico e uma memória. Nesse caso, quando um pro grama de software armazenado na memória é executado pelo proces sador, o processador funciona como divisor 102, subtraidor 104, trans formador 106, quantizador 108, codificador por entropia 110, quantiza- dor inverso 112, transformador inverso 114, somador 116, filtro de cir cuito 120, intraprevisor 124, interprevisor 126 e controlador de previ são 128. Alternativamente, o codificador 100 pode ser implementado como um ou mais circuitos eletrônicos dedicados que correspondem ao divisor 102, subtraidor 104, transformador 106, quantizador 108, codificador por entropia 110, quantizador inverso 112, transformador inverso 114, somador 116, filtro de circuito 120, intraprevisor 124, in terprevisor 126 e controlador de previsão 128.[0050] Encoder 100 is implemented as, for example, a generic processor and memory. In this case, when a software program stored in memory is executed by the processor, the processor functions as a divider 102, subtractor 104, transformer 106, quantizer 108, entropy encoder 110, inverse quantizer 112, inverse transformer 114, adder 116, circuit filter 120, intraforecaster 124, interforecaster 126, and prediction controller 128. Alternatively, encoder 100 may be implemented as one or more dedicated electronic circuits corresponding to divider 102, subtractor 104, transformer 106, quantizer 108 , entropy encoder 110, inverse quantizer 112, inverse transformer 114, adder 116, loop filter 120, intrapredictor 124, interpredictor 126, and prediction controller 128.

[0051] Doravante, um fluxo geral de processos realizados pelo co dificador 100 é descrito e, então, cada um dos elementos constituintes incluídos no codificador 100 será descrito. Fluxo Geral do Processo de Codificação[0051] Hereinafter, a general flow of processes performed by encoder 100 is described and then each of the constituent elements included in encoder 100 will be described. General Coding Process Flow

[0052] A figura 2 é um fluxograma indicando um exemplo de um processo de codificação geral realizado pelo codificador 100.[0052] Figure 2 is a flowchart indicating an example of a general coding process performed by encoder 100.

[0053] Primeiro, o divisor 102 do codificador 100 divide cada uma das imagens incluídas em uma imagem de entrada, que é um vídeo, em uma pluralidade de blocos possuindo um tamanho fixo (por exem plo, 128 x 128 pixels) (Etapa Sa_1). O divisor 102, então, seleciona um padrão de divisão para o bloco de tamanho fixo (também referido co mo um formato de bloco) (Etapa Sa_2). Em outras palavras, o divisor 102 divide, adicionalmente, o bloco de tamanho fixo em uma pluralida de de blocos que formam o padrão de divisão selecionado. O codifica dor 100 realiza, para cada um dentre a pluralidade de blocos, Etapas Sa_3 a Sa_9 para o bloco (que é um bloco atual a ser codificado).[0053] First, the divider 102 of the encoder 100 divides each of the images included in an input image, which is a video, into a plurality of blocks having a fixed size (e.g., 128 x 128 pixels) (Step Sa_1 ). The splitter 102 then selects a splitting pattern for the fixed-size block (also referred to as a block format) (Step Sa_2). In other words, the divider 102 further divides the fixed-size block into a plurality of blocks that form the selected division pattern. Encoder 100 performs, for each of the plurality of blocks, Steps Sa_3 to Sa_9 for the block (which is a current block to be encoded).

[0054] Em outras palavras, um processador de previsão que inclui todos ou parte de intraprevisor 124, interprevisor 126, e controlador de previsão 128 gera um sinal de previsão (também referido como um bloco de previsão) do bloco atual a ser codificado (também referido como um bloco atual) (Etapa Sa_3).[0054] In other words, a prediction processor that includes all or part of intraforecaster 124, interforecaster 126, and prediction controller 128 generates a prediction signal (also referred to as a prediction block) from the current block to be encoded (also referred to as a prediction block) referred to as a current block) (Step Sa_3).

[0055] A seguir, o subtraidor 104 gera uma diferença entre o bloco atual e um bloco de previsão como um residual de previsão (também referido como um bloco de diferença) (Etapa Sa_4).[0055] Next, subtractor 104 generates a difference between the current block and a prediction block as a prediction residual (also referred to as a difference block) (Step Sa_4).

[0056] A seguir, o transformador 106 transforma o bloco de dife rença, e o quantizador 104 quantiza o resultado, para gerar uma plura-lidade de coeficientes quantizados (Etapa Sa_5). Deve-se notar que o bloco possuindo a pluralidade de coeficientes quantizados, também é referido como um bloco de coeficiente.[0056] Next, the transformer 106 transforms the difference block, and the quantizer 104 quantizes the result, to generate a plurality of quantized coefficients (Step Sa_5). It should be noted that the block having the plurality of quantized coefficients is also referred to as a coefficient block.

[0057] A seguir, o codificador por entropia 110 codifica (especifi camente, codifica por entropia) o bloco de coeficientes e um parâmetro de previsão relacionado com a geração de um sinal de previsão, para gerar um sinal codificado (Etapa Sa_6). Deve-se notar que o sinal co-dificadotambém é referido como uma sequência de bits codificados, uma sequência de bits comprimidos, ou uma sequência.[0057] Next, the entropy coder 110 encodes (specifically, entropy codes) the block of coefficients and a prediction parameter related to generating a prediction signal, to generate a coded signal (Step Sa_6). It should be noted that the coded signal is also referred to as a coded bit sequence, a compressed bit sequence, or a sequence.

[0058] A seguir, o quantizador inverso 112 realiza a quantização inversa do bloco de coeficientes e o transformador inverso 114 realiza a quantização inversa do resultado, para restaurar uma pluralidade de residuais de previsão (isso é, um bloco de diferença) (Etapa Sa_7).[0058] Next, the inverse quantizer 112 performs the inverse quantization of the coefficient block, and the inverse transformer 114 performs the inverse quantization of the result, to restore a plurality of prediction residuals (i.e., a difference block) (Step Sa_7 ).

[0059] A seguir, o somador 116 adiciona o bloco de previsão ao bloco de diferença restaurada como uma imagem reconstruída (tam bém referida como um bloco reconstruído ou um bloco de imagem de-codificada) (Etapa Sa_8). Dessa forma, a imagem reconstruída é ge rada.[0059] Next, adder 116 adds the prediction block to the restored difference block as a reconstructed image (also referred to as a reconstructed block or a decoded image block) (Step Sa_8). In this way, the reconstructed image is generated.

[0060] Quando a imagem reconstruída é gerada, o filtro de circuito 120 realiza a filtragem da imagem reconstruída como necessário (Eta pa Sa_9).[0060] When the reconstructed image is generated, the filter circuit 120 performs filtering of the reconstructed image as necessary (Step Sa_9).

[0061] O codificador 100, então, determina se a codificação de to da a imagem foi terminada (Etapa Sa_10). Quando da determinação de que a codificação ainda não foi terminada (Não na Etapa Sa_10), os processos da Etapa Sa_2 são executados repetidamente.[0061] Encoder 100 then determines whether encoding of the entire image has been completed (Step Sa_10). Upon determining that encoding has not yet been completed (Not in Step Sa_10), the processes in Step Sa_2 are executed repeatedly.

[0062] Apesar de o codificador 100 selecionar um padrão de divi são para um bloco de tamanho fixo, e codificar cada bloco de acordo com o padrão de divisão no exemplo descrito acima, é notado que ca da bloco pode ser codificado de acordo com um padrão corresponden te dentre uma pluralidade de padrões de divisão. Em cada caso, o co dificador 100 pode avaliar um custo para cada um dentre a pluralidade de padrões de divisão, e, por exemplo, pode selecionar o sinal codifi cadoobtenível pela codificação, de acordo com o padrão de divisão, que resulta no custo mais baixo como um sinal codificado que é envia do.[0062] Although the encoder 100 selects a division pattern for a fixed-size block, and encodes each block according to the division pattern in the example described above, it is noted that each block may be encoded according to a corresponding pattern among a plurality of division patterns. In each case, the encoder 100 may evaluate a cost for each of the plurality of division patterns, and, for example, may select the encoded signal obtainable by encoding in accordance with the division pattern that results in the lowest cost. low as a coded signal that is sent from.

[0063] Como ilustrado, os processos nas Etapas Sa_1 a Sa_10 são realizados sequencialmente pelo codificador 100. Alternativamen te, dois ou mais dos processos podem ser realizados em paralelo, os processos podem ter nova ordenação, etc.[0063] As illustrated, the processes in Steps Sa_1 to Sa_10 are carried out sequentially by the encoder 100. Alternatively, two or more of the processes can be carried out in parallel, the processes can be reordered, etc.

Divider

[0064] O divisor 102 divide cada uma das imagens incluídas em um vídeo de entrada em uma pluralidade de blocos, e envia cada blo co para o subtraidor 104. Por exemplo, o divisor 102 primeiro divide uma imagem em blocos de um tamanho fixo (por exemplo, 128 x 128). Outros tamanhos de bloco fixo podem ser empregados. O bloco de tamanho fixo é referido também como uma unidade de árvore de codi ficação (CTU). O divisor 102, então, divide cada bloco de tamanho fixo em blocos de tamanhos variáveis (por exemplo, 64 x 64 ou menor), com base na divisão de bloco tipo quadtree e/ou binária recursiva. Em outras palavras, o divisor 102 seleciona um padrão de divisão. O bloco de tamanho variável também é referido como uma unidade de codifi cação (CU), uma unidade de previsão (PU), ou uma unidade de trans formação (TU). Deve-se notar que, em vários tipos de exemplos de processamento, não existe a necessidade de se diferenciar entre CU, PU e TU; todos ou alguns dos blocos em uma imagem podem ser pro cessados em unidades de uma CU, uma PU ou uma TU.[0064] Splitter 102 divides each of the images included in an input video into a plurality of blocks, and sends each block to subtractor 104. For example, splitter 102 first divides an image into blocks of a fixed size ( for example, 128 x 128). Other fixed block sizes can be employed. The fixed-size block is also referred to as a coding tree unit (CTU). The splitter 102 then divides each fixed-size block into blocks of variable sizes (e.g., 64 x 64 or smaller), based on quadtree and/or recursive binary block splitting. In other words, divider 102 selects a division pattern. The variable size block is also referred to as a coding unit (CU), a prediction unit (PU), or a transformation unit (TU). It should be noted that in many types of processing examples, there is no need to differentiate between CU, PU and TU; all or some of the blocks in an image can be processed in units of a CU, a PU, or a TU.

[0065] A figura 3 é um diagrama conceitual ilustrando um exemplo de divisão de bloco de acordo com uma modalidade. Na figura 3, as linhas sólidas representam limites de bloco dos blocos divididos pela divisão de bloco quadtree, e as linhas tracejadas representam os limi tes de bloco dos blocos divididos pela divisão de bloco de árvore biná ria.[0065] Figure 3 is a conceptual diagram illustrating an example of block division according to an embodiment. In Figure 3, the solid lines represent block boundaries of the blocks divided by the quadtree block split, and the dashed lines represent the block boundaries of the blocks divided by the binary tree block split.

[0066] Aqui, o bloco 10 é um bloco quadrado possuindo 128 x 128 pixels (bloco de 128 x 128). Esse bloco 10 de 128 x 128 é primeiro di-vidido em quatro blocos quadrados de 64 x 64 (divisão de bloco qua-dtree).[0066] Here, block 10 is a square block having 128 x 128 pixels (128 x 128 block). This 128 x 128 block 10 is first divided into four 64 x 64 square blocks (quadtree block division).

[0067] O bloco superior esquerdo de 64 x 64 é adicionalmente di vidido verticalmente em dois blocos retangulares de 32 x 64, e o bloco esquerdo de 32 x 64 é adicionalmente dividido verticalmente em dois blocos retangulares de 16 x 64 (divisão de bloco de árvore binária). Como resultado disso, o bloco superior esquerdo de 64 x 64 é dividido em dois blocos de 16 x 64 11 e 12 e um bloco de 32 x 64 13.[0067] The upper left block of 64 x 64 is further divided vertically into two rectangular blocks of 32 x 64, and the left block of 32 x 64 is further divided vertically into two rectangular blocks of 16 x 64 (block division of binary tree). As a result of this, the top left 64 x 64 block is divided into two 16 x 64 blocks 11 and 12 and one 32 x 64 block 13.

[0068] O bloco superior direito de 64 x 64 é dividido horizontalmen te em dois blocos retangulares de 64 x 32 14 e 15 (divisão de três blo-cosbinários).[0068] The upper right block of 64 x 64 is divided horizontally into two rectangular blocks of 64 x 32 14 and 15 (division of three cosbinary blocks).

[0069] O bloco inferior esquerdo de 64 x 64 é primeiro dividido em quatro blocos quadrados de 32 x 32 (divisão de bloco quadtree). O bloco superior esquerdo e o bloco inferior direito, dentre os quatro blo cos de 32 x 32, são divididos adicionalmente. O bloco superior es querdo de 32 x 32 é verticalmente dividido em dois blocos retangulares de 16 x 32, e o bloco direito de 16 x 32 é horizontalmente dividido em dois blocos de 16 x 16 (divisão de bloco de árvore binária). O bloco inferior direito de 32 x 32 é horizontalmente dividido em dois blocos de 32 x 16 (divisão de bloco de árvore binária). Como resultado disso, o bloco inferior esquerdo de 64 x 64 é dividido em um bloco de 16 x 32 16, dois blocos de 16 x 16 17 e 18, dois blocos de 32 x 32 19 e 20 e dois blocos de 32 x 16 21 e 22.[0069] The lower left 64 x 64 block is first divided into four 32 x 32 square blocks (quadtree block division). The upper left block and the lower right block, among the four 32 x 32 blocks, are further divided. The top left block of 32 x 32 is vertically divided into two rectangular blocks of 16 x 32, and the right block of 16 x 32 is horizontally divided into two blocks of 16 x 16 (binary tree block division). The bottom right 32 x 32 block is horizontally divided into two 32 x 16 blocks (binary tree block splitting). As a result of this, the bottom left block of 64 x 64 is divided into one block of 16 x 32 16, two blocks of 16 x 16 17 and 18, two blocks of 32 x 32 19 and 20, and two blocks of 32 x 16 21 and 22.

[0070] O bloco inferior direito de 64 x 64 23 não é dividido.[0070] The lower right block of 64 x 64 23 is not divided.

[0071] Como descrito acima, na figura 3, o bloco 10 é dividido em treze blocos de tamanho variável 11 a 23, com base na divisão de blo co de árvore binária e quadtree recursiva. Esse tipo de divisão também é referido como divisão quadtree mais árvore binária (QTBT).[0071] As described above, in figure 3, block 10 is divided into thirteen blocks of variable size 11 to 23, based on binary tree and recursive quadtree block division. This type of splitting is also referred to as quadtree plus binary tree (QTBT) splitting.

[0072] É notado que, na figura 3, um bloco é dividido em quatro ou dois blocos (divisão de bloco quadtree ou árvore binária), mas a divi são não está limitada a esses exemplos. Por exemplo, um bloco pode ser dividido em três blocos (divisão de bloco ternário). A divisão, inclu indo tal divisão de bloco ternário, também é referida como divisão de árvore de múltiplos tipos (MBT). Estrutura de Imagem: Fatia/”tile”[0072] It is noted that, in Figure 3, a block is divided into four or two blocks (quadtree or binary tree block division), but the division is not limited to these examples. For example, a block can be divided into three blocks (ternary block division). Splitting, including such ternary block splitting, is also referred to as multi-type tree (MBT) splitting. Image Structure: Slice/”tile”

[0073] Uma imagem pode ser configurada em unidades de uma ou mais fatias ou “tiles”, a fim de decodificar a imagem em paralelo. A imagem configurada em unidades de uma ou mais fatias ou “tiles” po de ser configurada pelo divisor 102.[0073] An image can be configured in units of one or more slices or “tiles”, in order to decode the image in parallel. The image configured in units of one or more slices or “tiles” can be configured by divider 102.

[0074] As fatias são unidades de codificação básica incluídas em uma imagem. Uma imagem pode incluir, por exemplo, uma ou mais fatias. Adicionalmente, uma fatia inclui uma ou mais unidades de árvo re de codificação sucessivas (CTU).[0074] Slices are basic coding units included in an image. An image may include, for example, one or more slices. Additionally, a slice includes one or more successive coding tree units (CTU).

[0075] A figura 4A é um diagrama conceitual ilustrando um exem plo de uma configuração de fatia. Por exemplo, uma imagem inclui 11 x 8 CTUs e é dividida em quatro fatias (fatias de 1 a 4). A fatia 1 inclui dezesseis CTUs, a fatia 2 inclui vinte e uma CTUs, a fatia 3 inclui vinte e nove CTUs, e a fatia 4 inclui vinte e duas CTUs. Aqui, cada CTU na imagem pertence a uma das fatias. O formato de cada fatia é um for-matoobtenível pela divisão da imagem horizontalmente. Um limite de cada fatia não precisa coincidir com uma extremidade da imagem, e pode coincidir com qualquer um dos limites entre CTUs na imagem. A ordem de processamento das CTUs em uma fatia (uma ordem de co dificação, ou uma ordem de decodificação) é, por exemplo, uma ordem de digitalização “raster”. Uma fatia inclui informação de cabeçalho e dados codificados. As características da fatia podem ser descritas na informação de cabeçalho. As características incluem um endereço de CTU de uma CTU superior na fatia, um tipo de fatia, etc.[0075] Figure 4A is a conceptual diagram illustrating an example of a slice configuration. For example, an image includes 11 x 8 CTUs and is divided into four slices (slices 1 to 4). Slice 1 includes sixteen CTUs, slice 2 includes twenty-one CTUs, slice 3 includes twenty-nine CTUs, and slice 4 includes twenty-two CTUs. Here, each CTU in the image belongs to one of the slices. The shape of each slice is a shape obtainable by dividing the image horizontally. A boundary of each slice need not coincide with an edge of the image, and may coincide with any of the boundaries between CTUs in the image. The processing order of the CTUs in a slice (an encoding order, or a decoding order) is, for example, a “raster” scanning order. A slice includes header information and encoded data. The characteristics of the slice can be described in the header information. Characteristics include a CTU address of a higher CTU in the slice, a slice type, etc.

[0076] Um “tile” é uma unidade de uma região retangular incluída em uma imagem. Cada um dos “tiles” pode receber um número referi do como TileId na ordem de digitalização “raster”.[0076] A “tile” is a unit of a rectangular region included in an image. Each of the “tiles” can receive a number referred to as TileId in the “raster” scanning order.

[0077] A figura 4B é um diagrama conceitual indicando um exem plo de uma configuração de “tile”. Por exemplo, uma imagem inclui 11 x 8 CTUs e é dividida em quatro “tiles” de regiões retangulares (“tiles” de 1 a 4). Quando os “tiles” são utilizados, a ordem de processamento das CTUs é alterada da ordem de processamento, no caso no qual nenhum “tile” é utilizado. Quando nenhum “tile” é utilizado, as CTUs em uma imagem são processadas na ordem de digitalização “raster”. Quando “tiles” são utilizados, pelo menos uma CTU em cada um dos “tiles” é processada na ordem de digitalização “raster”. Por exemplo, como ilustrado na figura 4B, a ordem de processamento das CTUs, incluídas no “tile” 1, é a ordem que começa na extremidade esquerda da primeira fileira do “tile” 1 na direção da extremidade direita da pri meira fileira do “tile” 1 e, então, começa na extremidade esquerda da segunda fileira do “tile” 1 na direção da extremidade direita da segunda fileira do “tile” 1.[0077] Figure 4B is a conceptual diagram indicating an example of a “tile” configuration. For example, an image includes 11 x 8 CTUs and is divided into four “tiles” of rectangular regions (“tiles” 1 to 4). When tiles are used, the processing order of the CTUs is changed from the processing order, in which case no tiles are used. When no tiles are used, the CTUs in an image are processed in “raster” scan order. When tiles are used, at least one CTU in each of the tiles is processed in raster scan order. For example, as illustrated in Figure 4B, the processing order of the CTUs, included in “tile” 1, is the order starting from the left end of the first row of “tile” 1 towards the right end of the first row of “ tile” 1 and then starts from the left end of the second row of “tile” 1 towards the right end of the second row of “tile” 1.

[0078] Deve-se notar que um “tile” pode incluir uma ou mais fatias, e uma fatia pode incluir um ou mais “tiles”.[0078] It should be noted that a “tile” may include one or more slices, and a slice may include one or more “tiles”.

Subtractor

[0079] O subtraidor 104 subtrai um sinal de previsão (amostra de previsão que é registrada a partir do controlador de previsão 128 indi cado abaixo), a partir de um sinal original (amostra original) em unida des de um bloco registrado a partir do divisor 102 e dividido pelo divi sor 102. Em outras palavras, o subtraidor 104 calcula os erros de pre visão (também referidos como residuais) de um bloco a ser codificado (doravante também referido como um bloco atual). O subtraidor 104, então, envia os erros de previsão calculados (residuais) para o trans formador 106.[0079] Subtractor 104 subtracts a prediction signal (prediction sample that is recorded from the prediction controller 128 indicated below), from an original signal (original sample) in units of a block recorded from the divisor 102 is divided by divisor 102. In other words, subtractor 104 calculates the prediction errors (also referred to as residuals) of a block to be encoded (hereinafter also referred to as a current block). The subtractor 104 then sends the calculated prediction errors (residuals) to the transformer 106.

[0080] O sinal original é um sinal que foi registrado no codificador 100 e representa uma imagem de cada imagem incluída em um vídeo (por exemplo, um sinal de luminescência e dois sinais de crominância). Doravante, um sinal que representa uma imagem também é referido como uma amostra.[0080] The original signal is a signal that was recorded in encoder 100 and represents one image of each image included in a video (e.g., one luminescence signal and two chrominance signals). Hereinafter, a signal representing an image is also referred to as a sample.

Transformer

[0081] O transformador 106 transforma erros de previsão em do mínio espacial, em coeficientes de transformação em domínio de fre- quência, e envia os coeficientes de transformação para o quantizador 108. Mais especificamente, o transformador 106 aplica, por exemplo, uma transformação de cosseno discreto definida (DCT) ou transforma ção de seno discreta (DST) aos erros de previsão no domínio espacial. A DCT ou DST definida pode ser predefinida.[0081] Transformer 106 transforms spatial domain prediction errors into frequency domain transformation coefficients, and sends the transformation coefficients to quantizer 108. More specifically, transformer 106 applies, for example, a transformation discrete cosine transform (DCT) or discrete sine transform (DST) to prediction errors in the spatial domain. The set DCT or DST can be preset.

[0082] Deve-se notar que o transformador 106 pode selecionar, de forma adaptativa, um tipo de transformação dentre uma pluralidade de tipos de transformação, e erros de previsão de transformação em coe-ficientes de transformação, pela utilização de uma função básica de transformação, que corresponde ao tipo de transformação seleciona do. Esse tipo de transformação também é referido como transforma ção de múltiplos núcleos explícita (EMT) ou múltiplas transformações adaptativas (AMT).[0082] It should be noted that the transformer 106 can adaptively select a transformation type from a plurality of transformation types, and transform prediction errors in transformation coefficients, by using a basic function of transformation, which corresponds to the selected transformation type. This type of transformation is also referred to as explicit multi-core transformation (EMT) or adaptive multiple transformation (AMT).

[0083] Os tipos de transformação incluem, por exemplo, DCT-II, DCT-V, DCT-VIII, DST-I e DST-VII. A figura 5A é um gráfico indicando as funções básicas de transformação para os tipos de transformação ilustrativos. Na figura 5A, N indica o número de pixels de entrada. Por exemplo, a seleção de um tipo de transformação dentre a pluralidade de tipos de transformação pode depender de um tipo de previsão (uma dentre a intraprevisão e a interprevisão) e pode depender de um modo de intraprevisão.[0083] Transformation types include, for example, DCT-II, DCT-V, DCT-VIII, DST-I and DST-VII. Figure 5A is a graph indicating the basic transformation functions for the illustrative transformation types. In Figure 5A, N indicates the number of input pixels. For example, the selection of a transformation type from the plurality of transformation types may depend on a prediction type (one of intraforecast and interforecast) and may depend on an intraforecast mode.

[0084] A informação que indica se aplica tal EMT ou AMT (referi das como, por exemplo, um indicador EMT ou um indicador AMT) e a informação que indica o tipo de transformação selecionada, é normal-mente sinalizada no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de transmissão de bits, nível de imagem, nível de fatia, nível de “tile” ou nível de CTU).[0084] The information indicating whether such an EMT or AMT applies (referred to as, for example, an EMT indicator or an AMT indicator) and the information indicating the type of transformation selected, is normally signaled at the CU level. It should be noted that signaling of such information does not necessarily need to be performed at the CU level, and may be performed at another level (e.g., at the bit transmission level, image level, slice level, “tile” or CTU level).

[0085] Adicionalmente, o transformador 106 pode transformar no- vamente os coeficientes de transformação (resultado da transforma ção). Tal nova transformação também é referida como transformação secundária adaptativa (AST), ou transformação secundária não sepa rável (NSST). Por exemplo, o transformador 106 realiza a nova trans formação em unidades de um sub-bloco (por exemplo, sub-bloco de 4 x 4) incluído em um bloco de coeficiente de transformação, que cor responde a um erro de intraprevisão. A informação que indica se apli ca NSST e a informação relacionada com uma matriz de transforma ção para uso em NSST são normalmente sinalizadas no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, neces sariamente, ser realizada no nível de CU, e pode ser realizada em ou tronível (por exemplo, no nível de transmissão, nível de imagem, nível de fatia, nível de “tile”, ou nível de CTU).[0085] Additionally, the transformer 106 can transform the transformation coefficients again (transformation result). Such a new transformation is also referred to as adaptive secondary transformation (AST), or non-separable secondary transformation (NSST). For example, the transformer 106 performs the new transformation in units of a sub-block (e.g., 4 x 4 sub-block) included in a transformation coefficient block, which responds to an intraprediction error. Information indicating whether NSST applies and information relating to a transformation matrix for use in NSST are typically signaled at the CU level. It should be noted that the signaling of such information need not necessarily be performed at the CU level, and may be performed at the CU level (e.g., at the transmission level, image level, slice level, tile”, or CTU level).

[0086] O transformador 106 pode empregar uma transformação separável e uma transformação não separável. Uma transformação separável é um método no qual uma transformação é realizada várias vezes pela realização em separado de uma transformação para cada uma dentre várias direções, de acordo com o número de dimensões de entrada. Uma transformação não separável é um método de reali zação de uma transformação coletiva, na qual duas ou mais dimen sões nas entradas multidimensionais são coletivamente consideradas uma única dimensão.[0086] Transformer 106 may employ a separable transformation and a non-separable transformation. A separable transformation is a method in which a transformation is performed multiple times by separately performing a transformation for each of several directions according to the number of input dimensions. A non-separable transformation is a method of performing a collective transformation, in which two or more dimensions in the multidimensional inputs are collectively considered a single dimension.

[0087] Em um exemplo de uma transformação não separável, quando uma entrada é um bloco de 4 x 4, o bloco de 4 x 4 é conside rado um conjunto singular incluindo dezesseis elementos, e a trans formação se aplica a uma matriz de transformação de 16 x 16 ao con junto.[0087] In an example of a non-separable transformation, when an input is a 4 x 4 block, the 4 x 4 block is considered a singular set including sixteen elements, and the transformation applies to a transformation matrix 16 x 16 as a whole.

[0088] Em outro exemplo de uma transformação não separável, um bloco de entrada de 4 x 4 é considerado um conjunto singular in-cluindo dezesseis elementos, e, então, uma transformação (transfor- mação givens de hipercubo), na qual a revolução givens é realizada no conjunto várias vezes, pode ser realizada.[0088] In another example of a non-separable transformation, a 4 x 4 input block is considered a singular set including sixteen elements, and then a transformation (hypercube givens transformation), in which the revolution givens is performed in the set several times, it can be performed.

[0089] Na transformação no transformador 106, os tipos de bases a serem transformadas em domínio de frequência, de acordo com as regiões em uma CU, podem ser comutados. Exemplos incluem trans-formações espacialmente variáveis (SVT). Em SVT, como ilustrado na figura 5B, as CUs são divididas em duas regiões iguais, horizontal mente ou verticalmente, e apenas uma das regiões é transformada no domínio de frequência. Um tipo básico de transformação pode ser con figurado para cada região. Por exemplo, DST7 e DST8 são utilizados. Nesse exemplo, apenas uma dessas duas regiões na CU é transfor mada, e a outra não é transformada. No entanto, ambas as regiões podem ser transformadas. Adicionalmente, o método de divisão não está limitado à divisão em duas regiões iguais, e pode ser mais flexí vel. Por exemplo, a CU pode ser dividida em quatro regiões iguais, ou a informação que indica a divisão pode ser codificada separadamente e pode ser sinalizada da mesma forma que a divisão de CU. Deve-se notar que SVT também é referida como transformação de sub-bloco (SBT).[0089] In the transformation in transformer 106, the types of bases to be transformed in the frequency domain, according to the regions in a CU, can be switched. Examples include spatially variable transforms (SVT). In SVT, as illustrated in Figure 5B, the CUs are divided into two equal regions, horizontally or vertically, and only one of the regions is transformed into the frequency domain. A basic type of transformation can be configured for each region. For example, DST7 and DST8 are used. In this example, only one of these two regions in the CU is transformed, and the other is not transformed. However, both regions can be transformed. Additionally, the division method is not limited to dividing into two equal regions, and can be more flexible. For example, the CU may be divided into four equal regions, or the information indicating the division may be encoded separately and may be signaled in the same way as the CU division. It should be noted that SVT is also referred to as sub-block transformation (SBT).

Quantizer

[0090] O quantizador 108 quantiza os coeficientes de transforma ção enviados a partir do transformador 106. Mais especificamente, o quantizador 108 digitaliza, em uma ordem de digitalização determina da, os coeficientes de transformação do bloco atual, e quantiza os coe-ficientes de transformação digitalizados, com base nos parâmetros de quantização (QP) correspondentes aos coeficientes de transformação. O quantizador 108, então, envia os coeficientes de transformação quantizados (doravante também referidos como coeficientes quantiza- dos) do bloco atual, para o codificador por entropia 110 e quantizador inverso 112. A ordem de digitalização determinada pode ser predeter- minada.[0090] Quantizer 108 quantizes the transformation coefficients sent from transformer 106. More specifically, quantizer 108 digitizes, in a determined digitization order, the transformation coefficients of the current block, and quantizes the transformation coefficients. digitized transformation, based on the quantization parameters (QP) corresponding to the transformation coefficients. The quantizer 108 then sends the quantized transformation coefficients (hereinafter also referred to as quantized coefficients) of the current block to the entropy encoder 110 and inverse quantizer 112. The determined digitization order may be predetermined.

[0091] Uma ordem de digitalização determinada é uma ordem para quantizar/quantizar de forma inversa os coeficientes de transformação. Por exemplo, uma ordem de digitalização determinada pode ser defi nida como ordem ascendente de frequência (frequência de baixa para alta) ou ordem descendente de frequência (frequência alta para baixa).[0091] A determined digitization order is an order to quantize/inversely quantize the transformation coefficients. For example, a given scanning order may be defined as ascending frequency order (low to high frequency) or descending frequency order (high to low frequency).

[0092] Um parâmetro de quantização (QP) é um parâmetro que define uma etapa de quantização (largura de quantização). Por exem plo, quando o valor do parâmetro de quantização aumenta, a etapa de quantização também aumenta. Em outras palavras, quando o valor do parâmetro de quantização aumenta, o erro de quantização aumenta.[0092] A quantization parameter (QP) is a parameter that defines a quantization step (quantization width). For example, when the value of the quantization parameter increases, the quantization step also increases. In other words, when the quantization parameter value increases, the quantization error increases.

[0093] Adicionalmente, uma matriz de quantização pode ser utili zada para fins de quantização. Por exemplo, vários tipos de matrizes de quantização podem ser utilizados de forma correspondente aos ta manhos de transformação de frequência, tal como 4 x 4 e 8 x 8, modos de previsão, tal como intraprevisão e interprevisão, e componentes de pixel, tal como componentes de pixel de luminescência e crominância. Deve-se notar que quantização significa a digitalização dos valores amostrados em intervalos determinados de forma correspondente aos níveis determinados. Nesse campo técnico, a quantização pode ser referida utilizando-se outras expressões, tal como arredondamento e escalonamento, e pode empregar arredondamento ou escalonamento. Os intervalos e níveis determinados podem ser predeterminados.[0093] Additionally, a quantization matrix can be used for quantization purposes. For example, various types of quantization matrices can be used corresponding to frequency transformation sizes, such as 4 x 4 and 8 x 8, prediction modes, such as intraprediction and interprediction, and pixel components, such as pixel components of luminescence and chrominance. It should be noted that quantization means the digitization of sampled values at determined intervals corresponding to determined levels. In this technical field, quantization can be referred to using other expressions, such as rounding and scaling, and can employ rounding or scaling. The determined ranges and levels can be predetermined.

[0094] Os métodos utilizando matrizes de quantização incluem um método utilizando uma matriz de quantização que foi configurada dire-tamente no lado do codificador, e um método utilizando uma matriz de quantização que foi configurado como um padrão (matriz padrão). No lado do codificador, uma matriz padrão adequada para as característi cas de uma imagem pode ser configurada pela configuração direta de uma matriz de quantização. Esse caso, no entanto, possui uma des- vantagem de aumentar uma quantidade de codificação para codifica ção da matriz de quantização.[0094] Methods using quantization matrices include a method using a quantization matrix that has been configured directly on the encoder side, and a method using a quantization matrix that has been configured as a pattern (standard matrix). On the encoder side, a standard matrix suitable for the characteristics of an image can be configured by directly configuring a quantization matrix. This case, however, has a disadvantage of increasing a coding amount for encoding the quantization matrix.

[0095] Existe um método de quantização de um coeficiente de alta frequência e um coeficiente de baixa frequência sem utilização de uma matriz de quantização. Deve-se notar que esse método equivale a um método utilizando uma matriz de quantização (matriz plana) cujos coe-ficientes possuem o mesmo valor.[0095] There is a method of quantization of a high-frequency coefficient and a low-frequency coefficient without using a quantization matrix. It should be noted that this method is equivalent to a method using a quantization matrix (flat matrix) whose coefficients have the same value.

[0096] A matriz de quantização pode ser especificada utilizando- se, por exemplo, um conjunto de parâmetros de sequência (SPS) ou um conjunto de parâmetros de imagem (PPS). O SPS inclui um parâ metro que é utilizado para uma sequência, e o PPS inclui um parâme tro que é utilizado para uma imagem. Cada um dentre o SPS e o PPS pode ser simplesmente referido como um conjunto de parâmetros.[0096] The quantization matrix can be specified using, for example, a sequence parameter set (SPS) or an image parameter set (PPS). SPS includes a parameter that is used for a sequence, and PPS includes a parameter that is used for an image. Each of the SPS and PPS can simply be referred to as a set of parameters.

Entropy Encoder

[0097] O codificador por entropia 110 gera um sinal codificado (sequência de bits codificados), com base nos coeficientes quantiza- dos que foram registrados a partir do quantizador 108. Mais especifi camente, o codificador por entropia 110, por exemplo, binariza os coe ficientes quantizados e codifica, aritmeticamente, o sinal binário, e en via uma sequência de bits comprimidos ou sequência.[0097] The entropy coder 110 generates a coded signal (sequence of coded bits), based on the quantized coefficients that have been recorded from the quantizer 108. More specifically, the entropy coder 110, for example, binarizes the quantized coefficients and arithmetically encodes the binary signal, and sends a compressed bit sequence or sequence.

Inverse Quantizer

[0098] O quantizador inverso 112 quantiza de forma inversa os coeficientes quantizados que foram registrados a partir do quantizador 108. Mais especificamente, o quantizador inverso 112 quantiza de forma inversa, em uma ordem de digitalização determinada, os coefi cientes quantizados do bloco atual. O quantizador inverso 112, então, envia os coeficientes de transformação quantizados inversos do bloco atual para o transformador inverso 114. A ordem de digitalização de terminada pode ser predeterminada.[0098] The inverse quantizer 112 inversely quantizes the quantized coefficients that have been recorded from the quantizer 108. More specifically, the inverse quantizer 112 inversely quantizes, in a determined digitization order, the quantized coefficients of the current block. The inverse quantizer 112 then sends the inverse quantized transformation coefficients of the current block to the inverse transformer 114. The finished digitization order may be predetermined.

Inverse Transformer

[0099] O transformador inverso 114 restaura os erros de previsão (residuais) pela transformação inversa dos coeficientes de transforma-ção, que foram registrados a partir do quantizador inverso 112. Mais especificamente, o transformador inverso 114 restaura os erros de previsão do bloco atual pela aplicação de uma transformação inversa correspondente à transformação aplicada pelo transformador 106, nos erros de previsão ao somador 116.[0099] The inverse transformer 114 restores the (residual) prediction errors by inversely transforming the transformation coefficients, which were recorded from the inverse quantizer 112. More specifically, the inverse transformer 114 restores the prediction errors of the current block by applying an inverse transformation corresponding to the transformation applied by transformer 106, on the prediction errors to adder 116.

[00100] É notado que, visto que a informação é perdida na quanti- zação, os erros de previsão restaurados não combinam com os erros de previsão calculados pelo subtraidor 104. Em outras palavras, os erros de previsão restaurados incluem, normalmente, erros de quanti- zação.[00100] It is noted that, since information is lost in quantization, the restored prediction errors do not match the prediction errors calculated by subtractor 104. In other words, the restored prediction errors typically include quantization.

Adder

[00101] O somador 116 reconstrói o bloco atual pela adição dos er ros de previsão, que foram registrados a partir do transformador inver so 114, e amostras de previsão que foram registradas a partir do con trolador de previsão 128. O somador 116, então, envia o bloco recons truído para a memória de bloco 118 e filtro de circuito 120. Um bloco reconstruído também é referido como um bloco decodificado local.[00101] Adder 116 reconstructs the current block by adding the prediction errors, which were recorded from inverse transformer 114, and prediction samples that were recorded from prediction controller 128. Adder 116 then , sends the reconstructed block to block memory 118 and circuit filter 120. A reconstructed block is also referred to as a local decoded block.

Block Memory

[00102] A memória de bloco 118 é, por exemplo, um armazenador para armazenar os blocos em uma imagem a ser codificada (doravan te referida como uma imagem atual), que é referida como intraprevi- são. Mais especificamente, a memória de bloco 118 armazena os blo cos reconstruídos enviados a partir do somador 116.[00102] Block memory 118 is, for example, a store for storing blocks in an image to be encoded (hereinafter referred to as a current image), which is referred to as intraprediction. More specifically, block memory 118 stores the reconstructed blocks sent from adder 116.

Frame Memory

[00103] A memória de quadro 122 é, por exemplo, o armazenador para armazenar imagens de referência na interprevisão, e também é referida como um armazenador de quadro. Mais especificamente, a memória de quadro 122 armazena os blocos reconstruídos filtrados pelo filtro de circuito 120.[00103] Frame memory 122 is, for example, the store for storing reference images in inter-prediction, and is also referred to as a frame store. More specifically, frame memory 122 stores the reconstructed blocks filtered by circuit filter 120.

Circuit Filter

[00104] O filtro de circuito 120 aplica um filtro de circuito aos blocos reconstruídos pelo somador 116, e envia os blocos reconstruídos fil-trados para a memória de quadro 122. Um filtro de circuito é um filtro utilizado em um circuito de codificação (filtro de circuito de entrada), e inclui, por exemplo, um filtro de desbloqueio (DF ou DBF), um desvio adaptativo de amostra (SAO), e um filtro de circuito adaptativo (ALF).[00104] Circuit filter 120 applies a circuit filter to the blocks reconstructed by adder 116, and sends the filtered reconstructed blocks to frame memory 122. A circuit filter is a filter used in a coding circuit (filter input loop), and includes, for example, a deblocking filter (DF or DBF), an adaptive sample offset (SAO), and an adaptive loop filter (ALF).

[00105] Em um ALF, um filtro de erro de quadrado médio, para re mover os artefatos de compressão, é aplicado. Por exemplo, um filtro selecionado dentre uma pluralidade de filtros, com base na direção e atividade de gradientes locais, é aplicado a cada um dos sub-blocos de 2 x 2 no bloco atual.[00105] In an ALF, a mean square error filter, to remove compression artifacts, is applied. For example, a filter selected from a plurality of filters, based on the direction and activity of local gradients, is applied to each of the 2 x 2 sub-blocks in the current block.

[00106] Mais especificamente, primeiro, cada sub-bloco (por exem plo, cada sub-bloco de 2 x 2) é categorizado em uma dentre uma plu ralidade de classes (por exemplo, quinze ou vinte e cinco classes). A classificação do sub-bloco é baseada em direcionalidade e atividade de gradiente. Por exemplo, o índice de classificação C (por exemplo, C = 5D + A) é derivado com base na direcionalidade de gradiente D (por exemplo, de 0 a 2 ou de 0 a 4) e atividade de gradiente A (por exem plo, de 0 a 4). Então, com base no índice de classificação C, cada sub- bloco é categorizado em uma dentre uma pluralidade de classes.[00106] More specifically, first, each sub-block (e.g., each 2 x 2 sub-block) is categorized into one of a plurality of classes (e.g., fifteen or twenty-five classes). Sub-block classification is based on directionality and gradient activity. For example, the classification index C (e.g., C = 5D + A) is derived based on gradient directionality D (e.g., from 0 to 2 or from 0 to 4) and gradient activity A (e.g., , from 0 to 4). Then, based on the classification index C, each subblock is categorized into one of a plurality of classes.

[00107] Por exemplo, a direcionalidade de gradiente D é calculada pela comparação dos gradientes de uma pluralidade de direções (por exemplo, direções horizontal, vertical e duas direções diagonais). Ademais, por exemplo, a atividade de gradiente A é calculada pela adição de gradientes dentre uma pluralidade de direções e pela quan- tização do resultado da adição.[00107] For example, gradient directionality D is calculated by comparing the gradients of a plurality of directions (e.g., horizontal, vertical and two diagonal directions). Furthermore, for example, gradient activity A is calculated by adding gradients from a plurality of directions and quantizing the result of the addition.

[00108] O filtro a ser utilizado para cada sub-bloco é determinado dentre a pluralidade de filtros, com base no resultado de tal categori- zação.[00108] The filter to be used for each sub-block is determined among the plurality of filters, based on the result of such categorization.

[00109] O formato de filtro a ser utilizado em um ALF é, por exem plo, um formato de filtro simétrico circular. As figuras 6A a 6C ilustram exemplos de formatos de filtro utilizados em ALFs. A figura 6A ilustra um filtro em formato de diamante de 5 x 5, a figura 6B ilustra um filtro em formato de diamante de 7 x 7, e a figura 6C ilustra um filtro em formato de diamante de 9 x 9. A informação indicando o formato de filtro é normalmente sinalizada no nível da imagem. Deve-se notar que a sinalização de tal informação indicando o formato de filtro não preci sa, necessariamente, ser realizada no nível de imagem, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de fatia, nível de “tile”, nível de CTU ou nível de CU).[00109] The filter format to be used in an ALF is, for example, a circular symmetric filter format. Figures 6A to 6C illustrate examples of filter formats used in ALFs. Figure 6A illustrates a 5 x 5 diamond-shaped filter, Figure 6B illustrates a 7 x 7 diamond-shaped filter, and Figure 6C illustrates a 9 x 9 diamond-shaped filter. Filter format is typically signaled at the image level. It should be noted that signaling such information indicating the filter format need not necessarily be performed at the image level, and may be performed at another level (e.g., at the sequence level, slice level, “tile”, CTU level or CU level).

[00110] O LIGAR ou DESLIGAR do ALF é determinado, por exem plo, no nível de imagem ou no nível de CU. Por exemplo, a decisão de se aplica ALF à luminescência pode ser tomada no nível de CU, e a decisão de se aplica ALF à crominância, pode ser tomada no nível de imagem. A informação indicando o LIGAR ou DESLIGAR de ALF é normalmente sinalizada no nível de imagem ou nível de CU. Deve-se notar que a sinalização da informação indicando o LIGAR ou DESLI GAR de ALF não precisa, necessariamente, ser realizada no nível de imagem ou nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de fatia, nível de “tile”, ou nível de CTU).[00110] The ON or OFF of ALF is determined, for example, at the image level or at the CU level. For example, the decision to apply ALF to luminescence can be made at the CU level, and the decision to apply ALF to chrominance can be made at the image level. Information indicating the ON or OFF of ALF is normally signaled at the image level or CU level. It should be noted that the signaling of information indicating the ON or OFF of ALF does not necessarily need to be performed at the image level or CU level, and can be performed at another level (for example, at the sequence level, slice level, tile level, or CTU level).

[00111] O conjunto de coeficientes para a pluralidade de filtros se-lecionáveis (por exemplo, de quinze até vinte e cinco filtros) é normal-mente sinalizado no nível de imagem. Deve-se notar que a sinalização do conjunto de coeficientes não precisa, necessariamente, ser realiza da no nível de imagem, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de fatia, nível de “tile”, nível de CTU, nível de CU ou nível de sub-bloco).[00111] The set of coefficients for the plurality of selectable filters (e.g., from fifteen to twenty-five filters) is normally signaled at the image level. It should be noted that signaling the set of coefficients does not necessarily need to be performed at the image level, and can be performed at another level (for example, at the sequence level, slice level, tile level, CTU level, CU level or sub-block level).

Circuit Filter > Unblock Filter

[00112] Em um filtro de desbloqueio, o filtro de circuito 120 realiza um processo de filtro em um limite de bloco em uma imagem recons truída, de modo a reduzir a distorção que ocorre no limite do bloco.[00112] In a deblocking filter, the filter circuit 120 performs a filter process at a block boundary in a reconstructed image so as to reduce the distortion that occurs at the block boundary.

[00113] A figura 7 é um diagrama em bloco ilustrando um exemplo de uma configuração específica do filtro de circuito 120, que funciona como um filtro de desbloqueio.[00113] Figure 7 is a block diagram illustrating an example of a specific configuration of circuit filter 120, which functions as an unblocking filter.

[00114] O filtro de circuito 120 inclui: um determinador de limite 1201; um determinador de filtro 1203; um executor de filtragem 1206; um determinador de processo 1208; um determinador de característica de filtro 1207, e comutadores 1202, 1204 e 1206.[00114] Circuit filter 120 includes: a limit determiner 1201; a filter determiner 1203; a filtering executor 1206; a process determiner 1208; a filter characteristic determiner 1207, and switches 1202, 1204 and 1206.

[00115] O determinador de limite 1201 determina se um pixel a ser filtrado por desbloqueio (isso é, um pixel atual) está presente em torno de um limite de bloco. O determinador de limite 1201, então, envia o resultado da determinação para o comutador 1202 e o determinador de processamento 1208.[00115] Boundary determiner 1201 determines whether a pixel to be filtered by deblocking (i.e., a current pixel) is present around a block boundary. The limit determiner 1201 then sends the determination result to the switch 1202 and the processing determiner 1208.

[00116] No caso no qual o determinador de limite 1201 determina que um pixel atual está presente em torno de um comutador de limite de bloco, o comutador 1202 envia uma imagem não filtrada para o comutador 1204. No caso oposto, no qual o determinador de limite 1201 determina que nenhum pixel atual está presente em torno de um limite de bloco, o comutador 1202 envia uma imagem não filtrada para o comutador 1206.[00116] In the case in which the boundary determiner 1201 determines that a current pixel is present around a block boundary switch, the switch 1202 sends an unfiltered image to the switch 1204. In the opposite case, in which the boundary determiner boundary 1201 determines that no current pixels are present around a block boundary, switch 1202 sends an unfiltered image to switch 1206.

[00117] O determinador de filtro 1203 determina se realiza a filtra gem de desbloqueio do pixel atual, com base no valor de pixel do pelo menos um pixel circundante localizado em torno do pixel atual. O de terminador de filtro 1203, então, envia o resultado da determinação para o comutador 1204 e para o determinador de processamento 1208.[00117] Filter determiner 1203 determines whether to perform unlock filtering of the current pixel, based on the pixel value of the at least one surrounding pixel located around the current pixel. The filter terminator 1203 then sends the determination result to the switch 1204 and the processing determiner 1208.

[00118] No caso no qual o determinador de filtro 1203 determina a realização da filtragem de desbloqueio do pixel atual, o comutador 1204 envia a imagem não filtrada obtida através do comutador 1202 para o executor de filtragem 1205. No caso oposto, no qual o determi nador de filtro 1203 determina a não realização da filtragem de des bloqueio do pixel atual, o comutador 1204 envia a imagem não filtrada obtida através do comutador 1202 para o comutador 1206.[00118] In the case in which the filter determiner 1203 determines to perform the unlock filtering of the current pixel, the switch 1204 sends the unfiltered image obtained through the switch 1202 to the filtering executor 1205. In the opposite case, in which the filter determinant 1203 determines not to perform unblocking filtering of the current pixel, switch 1204 sends the unfiltered image obtained through switch 1202 to switch 1206.

[00119] Quando da obtenção da imagem não filtrada através dos comutadores 1202 e 1204, o executor de filtragem 1205 executa, para o pixel atual, a filtragem de desbloqueio com a característica de filtro determinada pelo determinador de característica de filtro 1207. O exe-cutor de filtragem 1205, então, envia o pixel filtrado para o comutador 1206.[00119] When obtaining the unfiltered image through switches 1202 and 1204, the filtering executor 1205 performs, for the current pixel, the deblocking filtering with the filter characteristic determined by the filter characteristic determinator 1207. The executor filter cutter 1205 then sends the filtered pixel to switch 1206.

[00120] Sob o controle realizado pelo determinador de processa mento 1208, o comutador 1206 envia, seletivamente, um pixel que não foi filtrado por desbloqueio e um pixel que foi filtrado por desbloqueio pelo executor de filtragem 1205.[00120] Under the control performed by the processing determiner 1208, the switch 1206 selectively sends a pixel that has not been filtered by deblocking and a pixel that has been filtered by deblocking by the filtering executor 1205.

[00121] O determinador de processamento 1208 controla o comu tador 1206 com base nos resultados das determinações realizadas pelo determinador de limite 1201 e pelo determinador de filtro 1203. Em outras palavras, o determinador de processamento 1208 faz com que o comutador 1206 envie o pixel que foi filtrado por desbloqueio, quando o determinador de limite 1201 determinar que o pixel atual es tá presente em torno do limite de bloco e o determinador de filtro 1203 tiver determinado a realização da filtragem de desbloqueio do pixel atual. Adicionalmente, além do caso acima, o determinador de proces samento 1208 faz com que o comutador 1206 envie o pixel que não foi filtrado por desbloqueio. Uma imagem filtrada é enviada a partir do comutador 1206 pela repetição do envio de um pixel dessa forma.[00121] The processing determiner 1208 controls the switch 1206 based on the results of the determinations performed by the threshold determiner 1201 and the filter determiner 1203. In other words, the processing determiner 1208 causes the switch 1206 to send the pixel which has been unblock filtered, when the threshold determiner 1201 determines that the current pixel is present around the block boundary and the filter determiner 1203 has determined to perform unblock filtering of the current pixel. Additionally, in addition to the above case, the processing determiner 1208 causes the switch 1206 to send the pixel that has not been filtered by deblocking. A filtered image is sent from switch 1206 by repeatedly sending a pixel in this way.

[00122] A figura 8 é um diagrama conceitual indicando um exemplo de um filtro de desbloqueio possuindo uma característica de filtragem simétrica com relação a um limite de bloco.[00122] Figure 8 is a conceptual diagram indicating an example of an unblocking filter having a symmetric filtering characteristic with respect to a block boundary.

[00123] Em um processo de filtro de desbloqueio, um dos dois fil tros de desbloqueio possuindo características diferentes, isso é, um filtro forte e um filtro fraco, é selecionado utilizando-se os valores de pixel e parâmetros de quantização. No caso de filtro forte, pixels p0 a p2 e pixels q0 a q2 estão presentes através de um limite de bloco co mo ilustrado na figura 8, os valores de pixel do pixel respectivo q0 a q2 são substituídos por valores de pixel q'0 a q'2 pela realização, por exemplo, de computações de acordo com as expressões abaixo. [00123] In a deblocking filter process, one of two deblocking filters having different characteristics, that is, a strong filter and a weak filter, is selected using the pixel values and quantization parameters. In case of strong filter, pixels p0 to p2 and pixels q0 to q2 are present across a block boundary as illustrated in figure 8, the pixel values of respective pixel q0 to q2 are replaced by pixel values q'0 to q'2 by performing, for example, computations according to the expressions below.

[00124] Deve-se notar que, nas expressões acima, p0 a p2 e q0 a q2 são valores de pixel dos pixels respectivos p0 a p2 e dos pixels q0 a q2. Adicionalmente, q3 é o valor de pixel do pixel vizinho q3 localiza do no lado oposto do pixel q2, com relação ao limite de bloco. Adicio nalmente, no lado direito de cada uma das expressões, os coeficientes que são multiplicados pelos valores de pixel respectivos, dos pixels a serem utilizados para a filtragem de desbloqueio, são coeficientes de filtro.[00124] It should be noted that, in the above expressions, p0 to p2 and q0 to q2 are pixel values of the respective pixels p0 to p2 and pixels q0 to q2. Additionally, q3 is the pixel value of the neighboring pixel q3 located on the opposite side of the pixel q2, with respect to the block boundary. Additionally, on the right side of each of the expressions, the coefficients that are multiplied by the respective pixel values of the pixels to be used for deblocking filtering are filter coefficients.

[00125] Adicionalmente, na filtragem de desbloqueio, uma redução pode ser realizada de modo que os valores de pixel calculados não sejam configurados acima de um valor limite. No processo de redução, os valores de pixel calculados de acordo com as expressões acima são reduzidos para um valor obtido de acordo com um "valor de pixel de computação +/- 2 x um valor limite" utilizando o valor limite determi nado com base em um parâmetro de quantização.[00125] Additionally, in deblocking filtering, a reduction can be performed so that the calculated pixel values are not set above a threshold value. In the reduction process, the pixel values calculated according to the above expressions are reduced to a value obtained according to a "computation pixel value +/- 2 x a threshold value" using the threshold value determined based on a quantization parameter.

[00126] A figura 9 é um diagrama conceitual para ilustrar um limite de bloco, no qual um processo de filtro de desbloqueio é realizado. A figura 10 é um diagrama conceitual indicando exemplos de valores Bs.[00126] Figure 9 is a conceptual diagram to illustrate a block boundary, in which an unblocking filter process is carried out. Figure 10 is a conceptual diagram indicating examples of Bs values.

[00127] O limite de bloco no qual o processo de filtro de desblo queioé realizado, por exemplo, é um limite entre as unidades de pre visão (PU) possuindo blocos de 8 x 8 pixels, como ilustrado na figura 9, ou um limite entre as unidades de transformação (TU). O processo de filtro de desbloqueio pode ser realizado em unidades de quatro filei ras ou quatro colunas. Primeiro, os valores de resistência de limite (Bs) são determinados como indicado na figura 10 para o bloco P e o bloco Q ilustrados na figura 9.[00127] The block boundary at which the unlock filter process is performed, for example, is a boundary between prediction units (PU) having blocks of 8 x 8 pixels, as illustrated in Figure 9, or a boundary between transformation units (TU). The deblocking filter process can be performed on four-row or four-column units. First, the threshold resistance values (Bs) are determined as indicated in figure 10 for the P block and the Q block illustrated in figure 9.

[00128] De acordo com os valores Bs na figura 10, é determinado se é necessário realizar os processos de filtro de desbloqueio dos limi tes de bloco pertencentes à mesma imagem, utilizando resistências diferentes. O processo de filtro de desbloqueio para um sinal de cro- minância é realizado quando um valor Bs é igual a 2. O processo de filtro de desbloqueio para um sinal de luminescência é realizado quan do um valor Bs é igual a 1 ou maior e uma condição determinada é satisfeita. A condição determinada pode ser predeterminada. Deve-se notar que as condições de determinação dos valores Bs não estão li mitadasàs indicadas na figura 10, e um valor de Bs pode ser determi nado com base em outro parâmetro.[00128] According to the Bs values in figure 10, it is determined whether it is necessary to carry out filter processes to unlock block boundaries belonging to the same image, using different resistances. The deblocking filter process for a chrominance signal is performed when a Bs value is equal to 2. The deblocking filter process for a luminescence signal is performed when a Bs value is equal to 1 or greater and a given condition is satisfied. The given condition may be predetermined. It should be noted that the conditions for determining Bs values are not limited to those indicated in figure 10, and a Bs value can be determined based on another parameter.

Forecast Processor (Intraforecaster, Interforecaster, Forecast Controller)

[00129] A figura 11 é um fluxograma ilustrando um exemplo de um processo realizado pelo processador de previsão do codificador 100. Deve-se notar que o processador de previsão inclui todos ou parte dos elementos constituintes a seguir: intraprevisor 124; interprevisor 126; e controlador de previsão 128.[00129] Figure 11 is a flowchart illustrating an example of a process performed by the encoder prediction processor 100. It should be noted that the prediction processor includes all or part of the following constituent elements: intrapredictor 124; interforecaster 126; and prediction controller 128.

[00130] O processador de previsão gera uma imagem de previsão de um bloco atual (Etapa Sb_1). Essa imagem de previsão também é referida como um sinal de previsão ou um bloco de previsão. Deve-se notar que o sinal de previsão, por exemplo, é um sinal de intraprevisão ou um sinal de interprevisão. Especificamente, o processador de pre-visão gera a imagem de previsão do bloco atual utilizando uma ima-gemreconstruída que já foi obtida através da geração de um bloco de previsão, geração de um bloco de diferença, geração de um bloco de coeficientes, restauração de um bloco de diferença, e geração de um bloco de imagem decodificada.[00130] The prediction processor generates a prediction image of a current block (Step Sb_1). This prediction image is also referred to as a prediction signal or a prediction block. It should be noted that the forecast signal, for example, is an intraforecast signal or an interforecast signal. Specifically, the prediction processor generates the prediction image of the current block using a reconstructed image that has already been obtained by generating a prediction block, generating a difference block, generating a coefficient block, restoring a difference block, and generating a decoded image block.

[00131] A imagem reconstruída pode ser, por exemplo, uma ima gem em uma imagem de referência, ou uma imagem de um bloco co dificado em uma imagem atual, que é a imagem que inclui o bloco atu al. O bloco codificado na imagem atual é, por exemplo, um bloco vizi nho do bloco atual.[00131] The reconstructed image can be, for example, an image in a reference image, or an image of a block encoded in a current image, which is the image that includes the current block. The coded block in the current image is, for example, a neighboring block of the current block.

[00132] A figura 12 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do codificador 100.[00132] Figure 12 is a flowchart illustrating another example of a process performed by the encoder prediction processor 100.

[00133] O processador de previsão gera uma imagem de previsão utilizando um primeiro método (Etapa Sc_1a), gera uma imagem de previsão utilizando um segundo método (Etapa Sc_1b), e gera uma imagem de previsão utilizando um terceiro método (Etapa Sc_1c). O primeiro método, o segundo método e o terceiro método podem ser métodos mutuamente diferentes para gerar uma imagem de previsão. Cada um do primeiro ao terceiro métodos pode ser um método de in- terprevisão, um método de intraprevisão ou outro método de previsão. A imagem reconstruída descrita acima pode ser utilizada nesses mé todos de previsão.[00133] The prediction processor generates a prediction image using a first method (Step Sc_1a), generates a prediction image using a second method (Step Sc_1b), and generates a prediction image using a third method (Step Sc_1c). The first method, the second method and the third method may be mutually different methods for generating a prediction image. Each of the first through third methods may be an interforecast method, an intraforecast method, or another forecast method. The reconstructed image described above can be used in these prediction methods.

[00134] A seguir, o processador de previsão seleciona qualquer um dentre uma pluralidade de métodos de previsão gerados nas Etapas Sc_1a, Sc_1b e Sc_1c (Etapa Sc_2). A seleção da imagem de previ são, isso é, a seleção de um método ou de um modo para obtenção de uma imagem de previsão final pode ser realizada pelo cálculo de um custo para cada uma das imagens de previsão, geradas e com base no custo. Alternativamente, a seleção da imagem de previsão pode ser realizada com base em um parâmetro que é utilizado em um processo de codificação. O codificador 100 pode transformar a informação para a identificação de uma imagem de previsão selecionada, um método ou um modo em um sinal codificado (também referido como uma se quência de bits codificados). A informação pode ser, por exemplo, um indicador ou similar. Dessa forma, o decodificador pode gerar uma imagem de previsão de acordo com o método ou o modo selecionado com base na informação no codificador 100. Deve-se notar que, no exemplo ilustrado na figura 12, o processador de previsão seleciona qualquer uma das imagens de previsão, depois que as imagens de previsão são geradas utilizando-se os métodos respectivos. No entan to, o processador de previsão pode selecionar um método ou um mo do com base em um parâmetro para uso no processo de codificação descrito acima, antes da geração das imagens de previsão, e pode gerar uma imagem de previsão de acordo com o método ou modo se lecionado.[00134] Next, the prediction processor selects any one of a plurality of prediction methods generated in Steps Sc_1a, Sc_1b and Sc_1c (Step Sc_2). The selection of the forecast image, that is, the selection of a method or a mode for obtaining a final forecast image can be carried out by calculating a cost for each of the forecast images, generated and based on the cost . Alternatively, the selection of the prediction image can be performed based on a parameter that is used in an encoding process. Encoder 100 may transform information for identifying a selected predictive image, method, or mode into a coded signal (also referred to as a sequence of coded bits). The information may be, for example, an indicator or similar. In this way, the decoder can generate a prediction image in accordance with the method or mode selected based on the information in encoder 100. It should be noted that in the example illustrated in Figure 12, the prediction processor selects any of the images forecast, after the forecast images are generated using the respective methods. However, the prediction processor may select a method or mode based on a parameter for use in the coding process described above, prior to generating the prediction images, and may generate a prediction image in accordance with the method. or mode if taught.

[00135] Por exemplo, o primeiro método e o segundo método po dem ser a intraprevisão e a interprevisão, respectivamente, e o pro cessador de previsão pode selecionar uma imagem de previsão final para um bloco atual a partir das imagens de previsão, geradas de acordo com os métodos de previsão.[00135] For example, the first method and the second method may be intraforecast and interforecast, respectively, and the forecast processor may select a final forecast image for a current block from the forecast images, generated from according to forecasting methods.

[00136] A figura 13 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do codificador 100.[00136] Figure 13 is a flowchart illustrating another example of a process performed by the encoder prediction processor 100.

[00137] Primeiro, o processador de previsão gera uma imagem de previsão utilizando a intraprevisão (Etapa Sd_1a), e gera uma imagem de previsão utilizando a interprevisão (Etapa Sd_1b). Deve-se notar que a imagem de previsão gerada pela intraprevisão também é referi da como uma imagem de intraprevisão, e a imagem de previsão gera- da pela interprevisão também é referida como uma imagem de inter- previsão.[00137] First, the prediction processor generates a prediction image using the intraforecast (Step Sd_1a), and generates a prediction image using the interforecast (Step Sd_1b). It should be noted that the forecast image generated by intraforecast is also referred to as an intraforecast image, and the forecast image generated by interforecast is also referred to as an interforecast image.

[00138] A seguir, o processador de previsão avalia cada uma dentre a imagem de intraprevisão e a imagem de interprevisão (Etapa Sd_2). Um custo pode ser utilizado na avaliação. Em outras palavras, o pro cessador de previsão calcula o custo C para cada uma dentre as ima gens de intraprevisão e interprevisão. O custo C pode ser calculado de acordo com uma expressão de um modelo de otimização R-D, por exemplo, C = D + À X R. Nessa expressão, D indica uma distorção de codificação de uma imagem de previsão, e é representado, por exem plo, como uma soma de diferenças absolutas entre o valor de pixel de um bloco atual e o valor de pixel de uma imagem de previsão. Adicio nalmente, R indica uma quantidade de codificação prevista de uma imagem de previsão, especificamente, a quantidade de codificação necessária para se codificar a informação de movimento para gerar uma imagem de previsão, etc. Adicionalmente, À indica, por exemplo, um multiplicador de acordo com o método de multiplicador Lagrange.[00138] Next, the prediction processor evaluates each of the intraforecast image and the interforecast image (Step Sd_2). A cost can be used in the evaluation. In other words, the forecast processor calculates the cost C for each of the intraforecast and interforecast images. The cost C can be calculated according to an expression from an R-D optimization model, e.g., C = D + À X R. In this expression, D indicates a coding distortion of a prediction image, and is represented, e.g. ple, as a sum of absolute differences between the pixel value of a current block and the pixel value of a prediction image. Additionally, R indicates a predicted coding amount of a forecast image, specifically, the amount of coding required to encode motion information to generate a forecast image, etc. Additionally, À indicates, for example, a multiplier according to the Lagrange multiplier method.

[00139] O processador de previsão, então, seleciona a imagem de previsão para a qual o menor custo C foi calculado dentre a imagem de intraprevisão e a imagem de interprevisão, como a imagem de pre visão final para o bloco atual (Etapa Sd_3). Em outras palavras, o mé todo de previsão ou modo para gerar a imagem de previsão para o bloco atual é selecionado.[00139] The prediction processor then selects the prediction image for which the lowest cost C was calculated from among the intra-prediction image and the inter-prediction image, as the final prediction image for the current block (Step Sd_3) . In other words, the prediction method or mode for generating the prediction image for the current block is selected.

Intraforecaster

[00140] O intraprevisor 124 gera um sinal de previsão (sinal de in- traprevisão) pela realização da intraprevisão (também referida como previsão de intraquadro) do bloco atual, por referência a um bloco ou blocos na imagem atual e armazenado na memória de bloco 118. Mais especificamente, o intraprevisor 124 gera um sinal de intraprevisão pela realização da intraprevisão, por referência às amostras (por exemplo, valores de luminescência e/ou crominância) de um bloco ou blocos vizinhos ao bloco atual, e, então, envia o sinal de intraprevisão para o controlador de previsão 128.[00140] The intraforecaster 124 generates a prediction signal (intraforecast signal) by performing intraprediction (also referred to as intraframe prediction) of the current block, by reference to a block or blocks in the current image and stored in block memory 118. More specifically, the intrapredictor 124 generates an intraprediction signal by performing the intraprediction, by reference to samples (e.g., luminescence and/or chrominance values) of a block or blocks neighboring the current block, and then sends the intraforecast signal to the forecast controller 128.

[00141] Por exemplo, o intraprevisor 124 realiza a intraprevisão pela utilização de um modo dentre uma pluralidade de modos de intraprevi- são que foram definidos. Os modos de intraprevisão incluem um ou mais modos de previsão não direcional e uma pluralidade de modos de previsão direcional. Os modos definidos podem ser predefinidos.[00141] For example, intraforecaster 124 performs intraforecast by using one mode among a plurality of intraforecast modes that have been defined. Intraforecast modes include one or more non-directional forecast modes and a plurality of directional forecast modes. Set modes can be preset.

[00142] Os um ou mais modos de previsão não direcional incluem, por exemplo, o modo de previsão plana e o modo de previsão DC de finidos no padrão H.265/padrão de codificação de vídeo de alta efici ência (HEVC).[00142] The one or more non-directional prediction modes include, for example, the flat prediction mode and the DC prediction mode defined in the H.265 standard/high efficiency video coding (HEVC) standard.

[00143] A pluralidade de modos de previsão direcional inclui, por exemplo, os trinta e três modos de previsão direcional definidos no pa-drão H.265/HEVC. Deve-se notar que a pluralidade de modos de pre visão direcional pode incluir adicionalmente trinta e dois modos de previsão direcional em adição aos trinta e três modos de previsão dire cional (para um total de sessenta e cinco modos de previsão direcio nal). A figura 14 é um diagrama conceitual ilustrando sessenta e sete modos de intraprevisão no total, que podem ser utilizados na intrapre- visão (dois modos de previsão não direcional e sessenta e cinco mo dos de previsão direcional). As setas sólidas representam trinta e três direções definidas no padrão H.265/HEVC, e as setas tracejadas re presentam as trinta e duas direções adicionais (os dois modos de pre visão não direcional não são ilustrados na figura 14).[00143] The plurality of directional prediction modes includes, for example, the thirty-three directional prediction modes defined in the H.265/HEVC standard. It should be noted that the plurality of directional prediction modes may additionally include thirty-two directional prediction modes in addition to the thirty-three directional prediction modes (for a total of sixty-five directional prediction modes). Figure 14 is a conceptual diagram illustrating sixty-seven intraforecast modes in total that can be used in intraforecast (two non-directional forecast modes and sixty-five directional forecast modes). The solid arrows represent thirty-three directions defined in the H.265/HEVC standard, and the dashed arrows represent the thirty-two additional directions (the two non-directional prediction modes are not illustrated in Figure 14).

[00144] Em vários tipos de exemplos de processamento, um bloco de luminescência pode ser referido na intraprevisão de um bloco de crominância. Em outras palavras, um componente de crominância do bloco atual pode ser previsto com base em um componente de lumi-nescênciado bloco atual. Tal intraprevisão também é referida como previsão de modelo linear de componente cruzado (CCLM). O modo de intraprevisão para um bloco de crominância, no qual tal bloco de luminescência é referido (também referido como, por exemplo, um modo CCLM), pode ser adicionado como um dos modos de intraprevi- são aos blocos de crominância.[00144] In various types of processing examples, a luminescence block may be referred to in the intraprediction of a chrominance block. In other words, a chrominance component of the current block can be predicted based on a luminance component of the current block. Such intraforecasting is also referred to as cross-component linear model (CCLM) forecasting. The intraprediction mode for a chrominance block, in which such a luminescence block is referred to (also referred to as, for example, a CCLM mode), can be added as one of the intraprediction modes to the chrominance blocks.

[00145] O intraprevisor 124 pode corrigir os valores de pixel intra- previstos com base em gradientes de pixel de referência horizon- tal/vertical. A intraprevisão acompanhada por esse tipo de correção também é referida como a combinação de intraprevisão dependente de posição (PDPC). A informação que indica se aplica PDPC (referido como, por exemplo, um indicador PDPC) é normalmente sinalizada no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de imagem, nível de fatia, nível de “tile”, ou nível de CTU).[00145] Intrapredictor 124 may correct intrapredicted pixel values based on horizontal/vertical reference pixel gradients. Intraforecast accompanied by this type of correction is also referred to as position-dependent intraforecast combination (PDPC). Information indicating whether PDPC applies (referred to as, for example, a PDPC indicator) is typically signaled at the CU level. It should be noted that the signaling of such information does not necessarily need to be performed at the CU level, and may be performed at another level (e.g., at the sequence level, image level, slice level, tile level). ”, or CTU level).

Interforecaster

[00146] O interprevisor 126 gera um sinal de previsão (sinal de in- terprevisão) pela realização da interprevisão (também referida como uma previsão interquadro) do bloco atual por referência a um bloco ou blocos em uma imagem de referência, que é diferente da imagem atu al e é armazenada na memória de quadro 122. A interprevisão é reali zada em unidades de um bloco atual ou um sub-bloco atual (por exemplo, um bloco de 4 x 4) no bloco atual. Por exemplo, o interprevi sor 126 realiza a estimativa de movimento em uma imagem de refe rência para o bloco atual ou o sub-bloco atual, e descobre um bloco de referência ou um sub-bloco que melhor combine com o bloco atual ou sub-bloco atual. O interprevisor 126, então, obtém a informação de movi mento (por exemplo, um vetor de movimento), que compensa um mo vimento ou uma mudança do bloco de referência ou sub-bloco para o bloco atual ou sub-bloco. O interprevisor 126 gera um sinal de inter- previsão do bloco atual ou sub-bloco pela realização da compensação de movimento (ou previsão de movimento), com base na informação de movimento. O interprevisor 126 envia o sinal de interprevisão gera do para o controlador de previsão 128.[00146] The interforecaster 126 generates a prediction signal (interprediction signal) by performing interprediction (also referred to as an interframe prediction) of the current block by reference to a block or blocks in a reference image, which is different from the current image and is stored in frame memory 122. Interprediction is performed in units of a current block or a current sub-block (e.g., a 4 x 4 block) in the current block. For example, the interpreter 126 performs motion estimation on a reference image for the current block or current sub-block, and discovers a reference block or sub-block that best matches the current block or sub-block. current block. The interpredictor 126 then obtains motion information (e.g., a motion vector), which compensates for a motion or a change from the reference block or sub-block to the current block or sub-block. The inter-predictor 126 generates an inter-prediction signal of the current block or sub-block by performing motion compensation (or motion prediction) based on the motion information. The interforecaster 126 sends the generated interforecast signal to the forecast controller 128.

[00147] A informação de movimento utilizada na compensação de movimento pode ser sinalizada como sinais de interprevisão de várias formas. Por exemplo, um vetor de movimento pode ser sinalizado. Como outro exemplo, a diferença entre um vetor de movimento e um previsor de vetor de movimento pode ser sinalizada.[00147] Motion information used in motion compensation can be signaled as interprediction signals in various ways. For example, a motion vector can be signaled. As another example, the difference between a motion vector and a motion vector predictor can be signaled.

Basic Interforecast Flow

[00148] A figura 15 é um fluxograma ilustrando um fluxo de proces-samento básico ilustrativo da interprevisão.[00148] Figure 15 is a flowchart illustrating a basic processing flow illustrative of interforecasting.

[00149] Primeiro, o interprevisor 126 gera um sinal de previsão (Etapas Se_1 a Se_3). A seguir, o subtraidor 104 gera a diferença en tre um bloco atual e uma imagem de previsão como um residual de previsão (Etapa Se_4).[00149] First, the interforecaster 126 generates a prediction signal (Steps Se_1 to Se_3). Next, subtractor 104 outputs the difference between a current block and a prediction image as a prediction residual (Step Se_4).

[00150] Aqui, na geração da imagem de previsão, o interprevisor 126 gera a imagem de previsão através da determinação de um vetor de movimento (MV) do bloco atual (Etapas Se_1 e Se_2) e a compen sação de movimento (Etapa Se_3). Adicionalmente, na determinação de um MV, o interprevisor 126 determina o MV através da seleção de um candidato a vetor de movimento (candidato a MV) (Etapa Se_1) e a derivação de um MV (Etapa Se_2). A seleção do candidato a MV é realizada, por exemplo, pela seleção de pelo menos um candidato a MV a partir de uma lista de candidatos a MV. Alternativamente, na de rivação de um MV, o interprevisor 126 pode selecionar adicionalmente pelo menos um candidato a MV a partir de pelo menos um candidato a MV, e determinar o pelo menos um candidato a MV selecionado como o MV para o bloco atual. Alternativamente, o interprevisor 126 pode determinar o MV para o bloco atual pela realização da estimativa em uma região de imagem de referência especificada por cada um do pelo menos um candidato a MV selecionado. Deve-se notar que a estimati va em uma região de imagem de referência pode ser referida como estimativa de movimento.[00150] Here, in generating the prediction image, the interforecaster 126 generates the prediction image by determining a motion vector (MV) of the current block (Steps Se_1 and Se_2) and the motion compensation (Step Se_3) . Additionally, in determining an MV, the interforecaster 126 determines the MV by selecting a motion vector candidate (MV candidate) (Step Se_1) and deriving an MV (Step Se_2). The selection of the MV candidate is carried out, for example, by selecting at least one MV candidate from a list of MV candidates. Alternatively, in deriving a MV, the interpredictor 126 may additionally select at least one MV candidate from the at least one MV candidate, and determine the at least one selected MV candidate as the MV for the current block. Alternatively, interpredictor 126 may determine the MV for the current block by performing the estimate on a reference image region specified by each of the at least one selected MV candidate. It should be noted that estimation on a reference image region can be referred to as motion estimation.

[00151] Adicionalmente, apesar de as Etapas Se_1 a Se_3 serem realizadas pelo interprevisor 126 no exemplo descrito acima, um pro-cesso que é, por exemplo, Etapa Se_1, Etapa Se_2, ou similares, po de ser realizado por outro elemento constituinte incluído no codificador 100.[00151] Additionally, although Steps Se_1 to Se_3 are performed by interforecaster 126 in the example described above, a process that is, for example, Step Se_1, Step Se_2, or similar, can be performed by another constituent element included in encoder 100.

Motion Vector Derivation Flow

[00152] A figura 16 é um fluxograma ilustrando um exemplo de de rivação de vetores de movimento.[00152] Figure 16 is a flowchart illustrating an example of motion vector de rivation.

[00153] O interprevisor 126 deriva um MV de um bloco atual em um modo para codificar a informação de movimento (por exemplo, um MV). Nesse caso, por exemplo, a informação de movimento é codifi cada como um parâmetro de previsão e é sinalizada. Em outras pala vras, a informação de movimento codificada é incluída em um sinal codificado (também referido como sequência de bits codificados).[00153] Interpredictor 126 derives an MV from a current block in a way to encode motion information (e.g., an MV). In this case, for example, movement information is encoded as a prediction parameter and is signaled. In other words, the encoded motion information is included in a coded signal (also referred to as a coded bit sequence).

[00154] Alternativamente, o interprevisor 126 deriva um MV em um modo no qual a informação de movimento não é codificada. Nesse ca so, nenhuma informação de movimento é incluída em um sinal codifi cado.[00154] Alternatively, interpredictor 126 derives a MV in a mode in which motion information is not encoded. In this case, no motion information is included in a coded signal.

[00155] Aqui, os modos de derivação de MV podem incluir um in- termodo normal, um modo de mistura, um modo FRUC, um modo afim, etc. que são descritos posteriormente. Os modos nos quais a in formação de movimento é codificada entre os modos, incluem o inter- modo normal, o modo de mistura, o modo afim (especificamente, um intermodo afim e um modo de mistura afim), etc. Deve-se notar que a informação de movimento pode incluir não apenas um MV, mas tam bém a informação de seleção de previsor de vetor de movimento que é descrita posteriormente. Os modos nos quais nenhuma informação de movimento é codificada incluem o modo FRUC, etc. O interprevisor 126 seleciona um modo para derivar um MV do bloco atual a partir dos modos, e derivar o MV do bloco atual utilizando o modo selecionado.[00155] Here, the MV derivation modes may include a normal thermode, a mixing mode, a FRUC mode, an affine mode, etc. which are described later. The modes in which motion information is encoded between modes include normal intermode, mixing mode, affine mode (specifically, an affine intermode and an affine mixing mode), etc. It should be noted that the motion information may include not only an MV, but also the motion vector predictor selection information that is described later. Modes in which no motion information is encoded include FRUC mode, etc. The interpredictor 126 selects a mode to derive an MV of the current block from the modes, and derive the MV of the current block using the selected mode.

[00156] A figura 17 é um fluxograma ilustrando outro exemplo de derivação dos vetores de movimento.[00156] Figure 17 is a flowchart illustrating another example of deriving movement vectors.

[00157] O interprevisor 126 deriva um MV de um bloco atual em um modo no qual: uma diferença de MV é codificada. Nesse caso, por exemplo, a diferença de MV é codificada como um parâmetro de pre visão, e é sinalizada. Em outras palavras, a diferença de MV codifica daé incluída em um sinal codificado. A diferença de MV é a diferença entre o MV do bloco atual e o previsor de MV.[00157] Interpredictor 126 derives an MV from a current block in a mode in which: an MV difference is encoded. In this case, for example, the MV difference is encoded as a prediction parameter, and is signaled. In other words, the difference in MV codes is included in a coded signal. The MV difference is the difference between the current block's MV and the MV predictor.

[00158] Alternativamente, o interprevisor 126 deriva um MV, em um modo no qual nenhuma diferença de MV é codificada. Nesse caso, nenhuma diferença de MV é incluída em um sinal codificado.[00158] Alternatively, interpredictor 126 derives an MV, in a mode in which no MV difference is encoded. In this case, no MV difference is included in an encoded signal.

[00159] Aqui, como descrito acima, os modos de derivação de MV incluem o intermodo normal, o modo de mistura, o modo FRUC, o mo do afim, etc., que serão descritos posteriormente. Os modos nos quais uma diferença de MV é codificada dentre os modos, incluem o inter- modo normal, o modo afim (especificamente, o intermodo afim), etc. Os modos nos quais nenhuma diferença de MV é codificada incluem o modo FRUC, o modo de mistura, o modo afim (especificamente o mo do de mistura afim), etc. O interprevisor 126 seleciona um modo para derivar um MV do bloco atual a partir da pluralidade de modos, e deri va o MV do bloco atual utilizando o modo selecionado.[00159] Here, as described above, the MV derivation modes include the normal intermode, the mixing mode, the FRUC mode, the affine mode, etc., which will be described later. The modes in which an MV difference is encoded among modes include the normal intermode, the affine mode (specifically, the affine intermode), etc. Modes in which no MV difference is encoded include FRUC mode, mixing mode, affine mode (specifically affine mixing mode), etc. The interpredictor 126 selects a mode to derive an MV of the current block from the plurality of modes, and derives the MV of the current block using the selected mode.

Motion Vector Derivation Flow

[00160] A figura 18 é um fluxograma ilustrando outro exemplo de derivação de vetores de movimento. Os modos de derivação de MV, que são modos de interprevisão, incluem uma pluralidade de modos e são divididos aproximadamente em modos nos quais uma diferença de MV é codificada, e os modos nos quais nenhuma diferença no vetor de movimento é codificada. Os modos nos quais nenhuma diferença de MV é codificada incluem o modo de mistura, o modo FRUC, o modo afim (especificamente, o modo de mistura afim), etc. Esses modos são descritos em maiores detalhes. Simplesmente, o modo de mistura é um modo para derivar um MV de um bloco atual pela seleção de um vetor de movimento, a partir de um bloco circundante codificado, e o modo FRUC é um modo para derivar um MV de um bloco atual pela realização da estimativa entre as regiões codificadas. O modo afim é um modo para derivar, como um MV de um bloco atual, um vetor de movimento de cada um dentre uma pluralidade de sub-blocos incluí dos no bloco atual, assumindo-se a transformação afim.[00160] Figure 18 is a flowchart illustrating another example of deriving motion vectors. MV derivation modes, which are interprediction modes, include a plurality of modes and are roughly divided into modes in which an MV difference is encoded, and modes in which no difference in the motion vector is encoded. Modes in which no MV difference is encoded include mixing mode, FRUC mode, affine mode (specifically, affine mixing mode), etc. These modes are described in greater detail. Simply put, mixing mode is a way to derive an MV from a current block by selecting a motion vector from a coded surrounding block, and FRUC mode is a way to derive an MV from a current block by performing of the estimate between the coded regions. Affine mode is a way to derive, as an MV from a current block, a motion vector of each of a plurality of sub-blocks included in the current block, assuming affine transformation.

[00161] Mais especificamente, como ilustrado quando a informação do modo de interprevisão indica 0 (0 em Sf_1), o interprevisor 126 de riva um vetor de movimento, utilizando o modo de mistura (Sf_2). Quando a informação do modo de interprevisão indica 1 (1 em Sf_1), o interprevisor 126 deriva um vetor de movimento utilizando o modo FRUC (Sf_3). Quando a informação do modo de interprevisão indica 2 (2 em Sf_1), o interprevisor 126 deriva um vetor de movimento utili zando o modo afim (especificamente, o modo de mistura afim) (Sf_4). Quando a informação de modo de interprevisão indica 3 (3 em Sf_1), o interprevisor 126 deriva um vetor de movimento, utilizando um modo no qual uma diferença de MV é codificada (por exemplo, um intermodo normal (Sf_5)).[00161] More specifically, as illustrated when the interforecast mode information indicates 0 (0 in Sf_1), the interforecaster 126 derives a motion vector using the mixing mode (Sf_2). When the interforecast mode information indicates 1 (1 in Sf_1), the interforecaster 126 derives a motion vector using the FRUC mode (Sf_3). When the interforecast mode information indicates 2 (2 in Sf_1), the interforecaster 126 derives a motion vector using the affine mode (specifically, the affine mixing mode) (Sf_4). When the interforecast mode information indicates 3 (3 in Sf_1), the interforecaster 126 derives a motion vector using a mode in which an MV difference is encoded (e.g., a normal intermode (Sf_5)).

MV Derivation > Normal Intermode

[00162] O intermodo normal é um modo de interprevisão para deri var um MV de um bloco atual, com base em um bloco similar à ima gem do bloco atual, a partir de uma região de imagem de referência especificada por um candidato a MV. Nesse intermodo normal, uma diferença de MV é codificada.[00162] Normal intermode is an interprediction mode for deriving an MV of a current block, based on a block similar to the image of the current block, from a reference image region specified by a MV candidate. In this normal intermode, a MV difference is encoded.

[00163] A figura 19 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal.[00163] Figure 19 is a flowchart illustrating an example of interforecast in normal inter-mode.

[00164] Primeiro, o interprevisor 126 obtém uma pluralidade de candidatos a MV para um bloco atual com base na informação, tal co mo MVs de uma pluralidade de blocos codificados temporalmente ou espacialmente cercando o bloco atual (Etapa Sg_1). Em outras pala vras, o interprevisor 126 gera uma lista de candidatos a MV.[00164] First, the interpredictor 126 obtains a plurality of MV candidates for a current block based on information, such as MVs from a plurality of temporally or spatially encoded blocks surrounding the current block (Step Sg_1). In other words, the interforecaster 126 generates a list of MV candidates.

[00165] A seguir, o interprevisor 126 extrai N (um inteiro igual a ou superior a 2) candidatos a MV, a partir da pluralidade de candidatos a MV obtidos na Etapa Sg_1, como os candidatos a previsor de vetor de movimento (também referidos como candidatos a previsor de MV), de acordo com uma ordem de prioridade determinada (Etapa Sg_2). De ve-se notar que a ordem de prioridade pode ser determinada anteci padamente para cada um dos N candidatos a MV.[00165] Next, the interpredictor 126 extracts N (an integer equal to or greater than 2) MV candidates, from the plurality of MV candidates obtained in Step Sg_1, such as the motion vector predictor candidates (also referred to as as MV predictor candidates), according to a determined priority order (Step Sg_2). It should be noted that the order of priority can be determined in advance for each of the N MV candidates.

[00166] A seguir, o interprevisor 126 seleciona um candidato a pre visor de vetor de movimento, a partir dos N candidatos a previsor de vetor de movimento, como o previsor de vetor de movimento (também referido como um previsor de MV) do bloco atual (Etapa Sg_3). Nesse momento, o interprevisor 126 codifica, em uma sequência, a informa ção de seleção de previsor de vetor de movimento para identificar o previsor de vetor de movimento selecionado. Deve-se notar que a se quência é um sinal codificado ou uma sequência de bits codificados, como descrito acima.[00166] Next, the interpredictor 126 selects a motion vector predictor candidate, from the N motion vector predictor candidates, as the motion vector predictor (also referred to as an MV predictor) of the block current (Step Sg_3). At this time, the interpredictor 126 encodes, in a sequence, the motion vector predictor selection information to identify the selected motion vector predictor. It should be noted that the sequence is a coded signal or a sequence of coded bits, as described above.

[00167] A seguir, o interprevisor 126 deriva um MV de um bloco atual por referência a uma imagem de referência codificada (Etapa Sg_4). Nesse momento, o interprevisor 126 codifica adicionalmente, na sequência, o valor de diferença entre o MV derivado e o previsor de vetor de movimento como uma diferença de MV. Deve-se notar que a imagem de referência codificada é uma imagem que inclui uma plurali dade de blocos que foram reconstruídos depois de terem sido codifi- cados.[00167] Next, interpredictor 126 derives an MV from a current block by reference to a coded reference image (Step Sg_4). At this time, the interpredictor 126 additionally encodes, in sequence, the difference value between the derived MV and the motion vector predictor as an MV difference. It should be noted that the encoded reference image is an image that includes a plurality of blocks that have been reconstructed after being encoded.

[00168] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual, utilizando o MV derivado e a imagem de referência codifi cada (Etapa Sg_5). Deve-se notar que a imagem de previsão é um sinal de interprevisão como descrito acima.[00168] Finally, the interforecaster 126 generates a prediction image for the current block by performing motion compensation of the current block, using the derived MV and the encoded reference image (Step Sg_5). It should be noted that the forecast image is an interforecast signal as described above.

[00169] Adicionalmente, a informação que indica o modo de inter- previsão (intermodo normal no exemplo acima), utilizado para gerar a imagem de previsão é, por exemplo, codificada como um parâmetro de previsão.[00169] Additionally, information indicating the inter-prediction mode (normal inter-mode in the example above) used to generate the prediction image is, for example, encoded as a prediction parameter.

[00170] Deve-se notar que a lista de candidatos a MV também pode ser utilizada como uma lista para uso em outro modo. Adicionalmente, os processos relacionados à lista de candidatos a MV podem ser apli cados aos processos relacionados à lista para uso em outro modo. Os processos relacionados com a lista de candidatos a MV incluem, por exemplo, extração ou seleção de um candidato a MV a partir da lista de candidatos a MV, reordenação dos candidatos a MV ou eliminação de um candidato a MV. Derivação de MV > Modo de Mistura[00170] It should be noted that the list of MV candidates can also be used as a list for use in another mode. Additionally, processes related to the list of MV candidates can be applied to processes related to the list for use in another mode. Processes related to the MV candidate list include, for example, extracting or selecting a MV candidate from the MV candidate list, reordering the MV candidates, or deleting a MV candidate. MV Derivation > Mixing Mode

[00171] O modo de mistura é um modo de interprevisão para sele cionar um candidato a MV a partir de uma lista de candidatos a MV, como um MV de um bloco atual, derivando, assim, o MV.[00171] Mixing mode is an interprediction mode for selecting a MV candidate from a list of MV candidates, such as an MV from a current block, thereby deriving the MV.

[00172] A figura 20 é um fluxograma ilustrando um exemplo de in- terprevisão no modo de mistura.[00172] Figure 20 is a flowchart illustrating an example of interprediction in mixing mode.

[00173] Primeiro, o interprevisor 126 obtém uma pluralidade de candidatos a MV para um bloco atual com base na informação, tal co mo MVs de uma pluralidade de blocos codificados, que cercam tempo-ralmente ou espacialmente o bloco atual (Etapa Sh_1). Em outras pa-lavras, o interprevisor 126 gera uma lista de candidatos a MV.[00173] First, the interpredictor 126 obtains a plurality of MV candidates for a current block based on information, such as MVs from a plurality of coded blocks, which temporally or spatially surround the current block (Step Sh_1). In other words, the interforecaster 126 generates a list of MV candidates.

[00174] A seguir, o interprevisor 126 seleciona um candidato a MV a partir da pluralidade de candidatos a MV obtidos na Etapa Sh_1, de-rivando, assim, um MV do bloco atual (Etapa Sh_2). Nesse momento, o interprevisor 126 codifica, em uma sequência, a informação de sele ção de MV para identificar o candidato a MV selecionado.[00174] Next, the interpredictor 126 selects a MV candidate from the plurality of MV candidates obtained in Step Sh_1, thus deriving an MV from the current block (Step Sh_2). At this time, the interpredictor 126 encodes, in a sequence, the MV selection information to identify the selected MV candidate.

[00175] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual utilizando o MV derivado e a imagem de referência codifi cada (Etapa Sh_3).[00175] Finally, the interpredictor 126 generates a prediction image for the current block by performing motion compensation of the current block using the derived MV and the encoded reference image (Step Sh_3).

[00176] Adicionalmente, a informação que indica o modo de inter- previsão (modo de mistura no exemplo acima) utilizado para gerar a imagem de previsão e incluída no sinal codificado, por exemplo, é co-dificada como um parâmetro de previsão.[00176] Additionally, information indicating the inter-prediction mode (mixing mode in the example above) used to generate the prediction image and included in the encoded signal, for example, is encoded as a prediction parameter.

[00177] A figura 21 é um diagrama conceitual para ilustrar um exemplo de um processo de derivação de vetor de movimento de uma imagem atual no modo de mistura.[00177] Figure 21 is a conceptual diagram to illustrate an example of a process of deriving a motion vector from a current image in blending mode.

[00178] Primeiro, uma lista de candidatos a MV, na qual os candida tos a previsor de MV são registrados, é gerada. Exemplos de candida tos a previsor de MV incluem: previsores de MV espacialmente vizi nhos, que são os MVs de uma pluralidade de blocos codificados locali zados espacialmente em torno de um bloco atual; previsores de MV temporalmente vizinhos, que são MVs dos blocos circundantes no quais a posição de um bloco atual em uma imagem de referência codi ficadaé projetada; previsores de MV combinados que são MVs gera dos pela combinação do valor de MV de um previsor de MV espacial mente vizinho e do MV de um previsor de MV temporalmente vizinho; e um previsor de MV zero que é um MV possuindo um valor igual a zero.[00178] First, a MV candidate list, in which MV predictor candidates are registered, is generated. Examples of MV predictor candidates include: spatially neighboring MV predictors, which are the MVs of a plurality of coded blocks located spatially around a current block; temporally neighboring MV predictors, which are MVs of the surrounding blocks onto which the position of a current block in a coded reference image is projected; combined MV predictors which are MVs generated by combining the MV value of a spatially neighboring MV predictor and the MV of a temporally neighboring MV predictor; and a zero MV predictor which is an MV having a value of zero.

[00179] A seguir, um previsor de MV é selecionado a partir de uma pluralidade de previsores de MV registrados em uma lista de previsor de MV, e o previsor de MV selecionado é determinado como o MV de um bloco atual.[00179] Next, an MV predictor is selected from a plurality of MV predictors registered in a MV predictor list, and the selected MV predictor is determined as the MV of a current block.

[00180] Adicionalmente, o codificador de comprimento variável des creve e codifica, em uma sequência, merge_idx, que é um sinal que indica qual previsor de MV foi selecionado.[00180] Additionally, the variable length encoder describes and encodes, in a sequence, merge_idx, which is a signal indicating which MV predictor was selected.

[00181] Deve-se notar que os previsores de MV registrados na lista de previsores de MV descrita na figura 21 são exemplos. O número de previsores de MV pode ser diferente do número de previsores de MV no diagrama, a lista de previsores de MV pode ser configurada de tal forma que alguns dos tipos de previsores de MV no diagrama possam não estar incluídos, ou que um ou mais dos previsores de MV, além dos tipos de previsores de MV no diagrama, sejam incluídos.[00181] It should be noted that the MV predictors recorded in the list of MV predictors described in figure 21 are examples. The number of MV predictors may be different from the number of MV predictors in the diagram, the MV predictor list may be configured such that some of the MV predictor types in the diagram may not be included, or that one or more of MV predictors, in addition to the types of MV predictors in the diagram, are included.

[00182] Um MV final pode ser determinado pela realização de um processo de refinamento de vetor de movimento de decodificador (DMVR), a ser descrito posteriormente utilizando-se o MV do bloco atual derivado no modo de mistura.[00182] A final MV can be determined by performing a decoder motion vector refinement (DMVR) process, to be described later using the MV of the current block derived in mixing mode.

[00183] Deve ser notado que os candidatos a previsor de MV são candidatos a MV descritos acima, e a lista de previsores de MV é a lista de candidatos a MV descrita acima. Deve-se notar que a lista de candidatos a MV pode ser referida como uma lista de candidatos. Adi-cionalmente, merge_idx é a informação de seleção de MV.[00183] It should be noted that the MV predictor candidates are the MV candidates described above, and the list of MV predictors is the list of MV candidates described above. It should be noted that the list of MV candidates can be referred to as a candidate list. Additionally, merge_idx is the VM selection information.

MV Derivation > FRUC Model

[00184] A informação de movimento pode ser derivada no lado do decodificador, sem ser sinalizada a partir do lado do codificador. Deve- se notar que, como descrito acima, o modo de mistura definido no pa drão H.265/HEVC pode ser utilizado. Adicionalmente, por exemplo, a informação de movimento pode ser derivada pela realização da esti-mativa de movimento no lado do decodificador. Em uma modalidade, no lado do decodificador, a estimativa de movimento é realizada sem a utilização de qualquer valor de pixel em um bloco atual.[00184] Motion information can be derived on the decoder side, without being signaled from the encoder side. It should be noted that, as described above, the mixing mode defined in the H.265/HEVC standard can be used. Additionally, for example, motion information may be derived by performing motion estimation on the decoder side. In one embodiment, on the decoder side, motion estimation is performed without using any pixel value in a current block.

[00185] Aqui, um modo de realização da estimativa de movimento no lado do decodificador é descrito. O modo para se realizar a estima tiva de movimento no lado do decodificador pode ser referido como um modo de derivação de vetor de movimento de padrão combinado (PLMMVD), ou um modo de conversão ascendente de taxa de quadro (FRUC).[00185] Here, a way of carrying out motion estimation on the decoder side is described. The mode for performing motion estimation on the decoder side may be referred to as a pattern-matched motion vector derivation (PLMMVD) mode, or a frame rate upconversion (FRUC) mode.

[00186] Um exemplo de um processo FRUC na forma de um fluxo- grama é ilustrado na figura 22. Primeiro, uma lista de uma pluralidade de candidatos, cada um possuindo um previsor de vetor de movimento (MV) (isso é, uma lista de candidatos a MV que também pode ser utili zada como uma lista de mistura), é gerada por referência a um vetor de movimento em um bloco codificado que é espacialmente ou tempo-ralmente vizinho de um bloco atual (Etapa Si_1). A seguir, um melhor candidato a MV é selecionado dentre a pluralidade de candidatos a MV registrados na lista de candidatos a MV (Etapa Si_2). Por exemplo, os valores de avaliação dos respectivos candidatos a MV incluídos na lista de candidatos a MV são calculados, e um candidato a MV é sele cionado com base nos valores de avaliação. Com base nos candidatos a vetor de movimento selecionados, um vetor de movimento para o bloco atual é, então, derivado (Etapa Si_4). Mais especificamente, por exemplo, o candidato a vetor de movimento selecionado (melhor can didato a MV) é derivado diretamente como o vetor de movimento para o bloco atual. Adicionalmente, por exemplo, o vetor de movimento para o bloco atual pode ser derivado utilizando-se a combinação de padrão em uma região circundante de uma posição em uma imagem de refe rência, na qual a posição na imagem de referência corresponde ao candidato a vetor de movimento selecionado. Em outras palavras, a estimativa utilizando a combinação de padrão e os valores de avalia ção pode ser realizada na região circundante do melhor candidato a MV, e quando houver um MV que resulte em um valor de avaliação melhor, o melhor candidato a MV pode ser atualizado para o MV, que resulta no melhor valor de avaliação, e o MV atualizado pode ser de-terminado como o MV final para o bloco atual. Uma configuração, na qual nenhum desses processos de atualização do melhor candidato a MV para o MV, que possui um melhor valor de avaliação, é realizado, também é possível.[00186] An example of a FRUC process in the form of a flowchart is illustrated in Figure 22. First, a list of a plurality of candidates, each having a motion vector (MV) predictor (i.e., a list of MV candidates which can also be used as a mix list), is generated by reference to a motion vector in a coded block that is spatially or temporally neighboring a current block (Step Si_1). Next, a best MV candidate is selected from the plurality of MV candidates registered in the MV candidate list (Step Si_2). For example, the evaluation values of the respective MV candidates included in the MV candidate list are calculated, and an MV candidate is selected based on the evaluation values. Based on the selected motion vector candidates, a motion vector for the current block is then derived (Step Si_4). More specifically, for example, the selected motion vector candidate (best MV candidate) is directly derived as the motion vector for the current block. Additionally, for example, the motion vector for the current block may be derived using pattern matching in a region surrounding a position in a reference image, wherein the position in the reference image corresponds to the candidate vector. selected movement. In other words, estimation using the combination of pattern and evaluation values can be performed in the region surrounding the best MV candidate, and when there is an MV that results in a better evaluation value, the best MV candidate can be updated to the MV, which results in the best evaluation value, and the updated MV can be determined as the final MV for the current block. A configuration, in which none of these processes of upgrading the best MV candidate to the MV, which has a better evaluation value, is performed, is also possible.

[00187] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual utilizando o MV derivado e a imagem de referência codifi cada (Etapa Si_5).[00187] Finally, the interforecaster 126 generates a prediction image for the current block by performing motion compensation of the current block using the derived MV and the encoded reference image (Step Si_5).

[00188] Um processo similar pode ser realizado em unidades de um sub-bloco.[00188] A similar process can be carried out on units of a sub-block.

[00189] Os valores de avaliação podem ser calculados de acordo com vários tipos de métodos. Por exemplo, uma comparação é feita entre uma imagem reconstruída em uma região em uma imagem de referência correspondente a um vetor de movimento, e uma imagem reconstruída em uma região determinada (a região pode ser, por exemplo, uma região em outra imagem de referência ou uma região em um bloco vizinho de uma imagem atual, como indicado abaixo). A região determinada pode ser predeterminada.[00189] Assessment values can be calculated according to various types of methods. For example, a comparison is made between a reconstructed image in a region in a reference image corresponding to a motion vector, and a reconstructed image in a given region (the region may be, for example, a region in another reference image or a region in a neighboring block of a current image, as indicated below). The determined region can be predetermined.

[00190] A diferença entre os valores de pixel das duas imagens re-construídas pode ser utilizada para um valor de avaliação dos vetores de movimento. Deve-se notar que um valor de avaliação pode ser cal culado utilizando-se informação além do valor de diferença.[00190] The difference between the pixel values of the two re-constructed images can be used for an evaluation value of the motion vectors. It should be noted that an appraisal value can be calculated using information other than the difference value.

[00191] A seguir, um exemplo de combinação de padrão é descrito em detalhes. Primeiro, um candidato a MV incluído em uma lista de candidatos a MV (por exemplo, uma listra de mistura) e selecionado como um ponto de partida da estimativa pela combinação de padrão. Por exemplo, como a combinação de padrão, uma primeira combina ção de padrão ou uma segunda combinação de padrão pode ser utili zada. A primeira combinação de padrão e a segunda combinação de padrão também são referidas como uma combinação bilateral e com-binação de gabarito, respectivamente.[00191] Below, an example of pattern combination is described in detail. First, an MV candidate is included in a list of MV candidates (e.g., a mixing stripe) and selected as a starting point of estimation by pattern matching. For example, as the pattern combination, a first pattern combination or a second pattern combination can be used. The first pattern combination and the second pattern combination are also referred to as a bilateral combination and template combination, respectively.

MV Derivation > FRUC > Bilateral Combination

[00192] Na primeira combinação de padrão, a combinação de pa drão é realizada entre dois blocos ao longo de uma trajetória de movi mento de um bloco atual, que são dois blocos em duas imagens de referência diferentes. De acordo, na primeira combinação de padrão, uma região em outra imagem de referência ao longo da trajetória de movimento do bloco atual é utilizada como uma região determinada para cálculo do valor de avaliação do candidato descrito acima. A regi ão determinada pode ser predeterminada.[00192] In the first pattern combination, the pattern combination is performed between two blocks along a motion trajectory of a current block, which are two blocks in two different reference images. Accordingly, in the first pattern combination, a region in another reference image along the motion trajectory of the current block is used as a determined region for calculating the evaluation value of the candidate described above. The determined region may be predetermined.

[00193] A figura 23 é um diagrama conceitual para ilustrar um exemplo da primeira combinação de padrão (combinação bilateral) en tre os dois blocos nas duas imagens de referência, ao longo da trajetó ria de movimento. Como ilustrado na figura 23, na primeira combina ção de padrão, dois vetores de movimento (MV0, MV1) são derivados pela estimativa de um par que melhor combina entre os pares nos dois blocos nas duas imagens de referência diferentes (Ref0, Ref1), que são os dois blocos ao longo da trajetória de movimento do bloco atual (Cur block). Mais especificamente, uma diferença entre a imagem re construída em um local específico na primeira imagem de referência codificada (Ref0), especificada por um candidato a MV, e a imagem reconstruída em um local especificado na segunda imagem de refe rência codificada (Ref1), especificada por um MV simétrico obtido pelo escalonamento do candidato a MV em um intervalo de tempo de exibi ção é derivada para o bloco atual, e um valor de avaliação é calculado utilizando-se o valor da diferença obtida. É possível se selecionar, co mo o MV final, o candidato a MV que resulte no melhor valor de avali ação dentre a pluralidade de candidatos a MV, e que tem mais chan ces de produzir bons resultados.[00193] Figure 23 is a conceptual diagram to illustrate an example of the first pattern combination (bilateral combination) between the two blocks in the two reference images, along the movement trajectory. As illustrated in Figure 23, in the first pattern combination, two motion vectors (MV0, MV1) are derived by estimating a pair that best matches between the pairs in the two blocks in the two different reference images (Ref0, Ref1), which are the two blocks along the movement path of the current block (Cur block). More specifically, a difference between the reconstructed image at a specific location in the first encoded reference image (Ref0), specified by a MV candidate, and the reconstructed image at a specified location in the second encoded reference image (Ref1), specified by a symmetric MV obtained by scaling the candidate MV in a display time slot is derived for the current block, and an evaluation value is calculated using the obtained difference value. It is possible to select, as the final MV, the MV candidate that results in the best evaluation value among the plurality of MV candidates, and that has the greatest chance of producing good results.

[00194] Considerando-se uma trajetória de movimento contínuo, os vetores de movimento (MV0, MV1), especificando os dois blocos de referência são proporcionais às distâncias temporais (TD0, TD1) entre a imagem atual (Cur Pic) e as duas imagens de referência (Ref0, Ref1). Por exemplo, quando a imagem atual é localizada temporal mente entre duas imagens de referência e as distâncias temporais da imagem atual para as respectivas duas imagens de referência são iguais uma à outra, os vetores de movimento bidirecional simétricos de forma espelhada são derivados na primeira combinação de padrão.[00194] Considering a continuous motion trajectory, the motion vectors (MV0, MV1) specifying the two reference blocks are proportional to the temporal distances (TD0, TD1) between the current image (Cur Pic) and the two images reference (Ref0, Ref1). For example, when the current image is temporally located between two reference images and the temporal distances from the current image to the respective two reference images are equal to each other, mirror-symmetric bidirectional motion vectors are derived in the first combination. of pattern.

MV Derivation > FRUC > Template Combination

[00195] Na segunda combinação de padrão (combinação de gabari to), a combinação de padrão é realizada entre um bloco em uma ima gem de referência e um gabarito na imagem atual (o gabarito é um bloco vizinho do bloco atual na imagem atual (o bloco vizinho, por exemplo, é um bloco vizinho superior e/ou esquerdo)). De acordo, na segunda combinação de padrão, o bloco vizinho do bloco atual na imagem atual é utilizado como a região determinada para cálculo do valor de avaliação do candidato descrito acima.[00195] In the second pattern combination (template combination), the pattern combination is performed between a block in a reference image and a template in the current image (the template is a neighboring block of the current block in the current image ( the neighboring block, for example, is a top and/or left neighboring block)). Accordingly, in the second pattern combination, the neighboring block of the current block in the current image is used as the determined region for calculating the evaluation value of the candidate described above.

[00196] A figura 24 é um diagrama conceitual para ilustrar um exemplo de combinação de padrão (combinação de gabarito) entre um gabarito em uma imagem atual e um bloco em uma imagem de refe rência. Como ilustrado na figura 24, na segunda combinação de pa drão, o vetor de movimento do bloco atual (Cur block) é derivado pela estimativa, na imagem de referência (Ref0) do bloco que melhor com bina com o bloco vizinho do bloco atual na imagem atual (Cur Pic). Mais especificamente, é possível que a diferença entre uma imagem reconstruída em uma região codificada, que é vizinha tanto pela es querda, quanto por cima, ou pela esquerda ou acima, e uma imagem reconstruída, que está em uma região correspondente na imagem de referência codificada (Ref0) e é especificada por um candidato a MV, seja derivada; um valor de avaliação é calculado utilizando-se o valor de diferença obtido, e o candidato a MV que resulta no melhor valor de avaliação, dentre uma pluralidade de candidatos a MV, é selecionado como o melhor candidato a MV.[00196] Figure 24 is a conceptual diagram to illustrate an example of pattern combination (template combination) between a template in a current image and a block in a reference image. As illustrated in figure 24, in the second pattern combination, the movement vector of the current block (Cur block) is derived by estimating, in the reference image (Ref0) the block that best matches the neighboring block of the current block in the current image (Cur Pic). More specifically, it is possible that the difference between a reconstructed image in a coded region, which is neighboring either from the left or above, or from the left or above, and a reconstructed image, which is in a corresponding region in the reference image encoded (Ref0) and is specified by a MV candidate, whether derived; an evaluation value is calculated using the obtained difference value, and the MV candidate that results in the best evaluation value, among a plurality of MV candidates, is selected as the best MV candidate.

[00197] Tal informação que indica se o modo FRUC é aplicado (re ferido, por exemplo, como um indicador FRUC), pode ser sinalizada no nível de CU. Adicionalmente, quando o modo FRUC é aplicado (por exemplo, quando um indicador FRUC é verdadeiro), a informação que indica um método de combinação de padrão aplicável (a primeira combinação de padrão ou a segunda combinação de padrão) pode ser sinalizada no nível de CU. Deve-se notar que a sinalização de tal in formação não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequên cia,nível de imagem, nível de fatia, nível de “tile”, nível de CTU ou ní vel de sub-bloco).[00197] Such information indicating whether FRUC mode is applied (referred to, for example, as a FRUC indicator), may be signaled at the CU level. Additionally, when the FRUC mode is applied (e.g., when a FRUC indicator is true), information indicating an applicable pattern combination method (the first pattern combination or the second pattern combination) may be signaled at the ASS. It should be noted that signaling of such information does not necessarily need to be performed at the CU level, and may be performed at another level (e.g., at the sequence level, image level, slice level, “tile”, CTU level or sub-block level).

MV Derivation > Affine Mode

[00198] A seguir, o modo afim, para derivar um vetor de movimento em unidades de um sub-bloco, com base nos vetores de movimento de uma pluralidade de blocos vizinhos, é descrito. Esse modo também é referido como um modo de previsão de compensação de movimento afim.[00198] Next, the affine way to derive a motion vector in units of a sub-block, based on the motion vectors of a plurality of neighboring blocks, is described. This mode is also referred to as an affine motion compensation prediction mode.

[00199] A figura 25A é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco com base nos vetores de movimento de uma pluralidade de blocos vi zinhos. Na figura 25A, o bloco atual inclui dezesseis sub-blocos de 4 x 4. Aqui, o vetor de movimento V0 em um ponto de controle de canto superior esquerdo no bloco atual, é derivado com base em um vetor de movimento de um bloco vizinho, e, da mesma forma, o vetor de movimento V1 em um ponto de controle de canto superior direito no bloco atual é derivado com base em um vetor de movimento de um sub-bloco vizinho. Dois vetores de movimento v0 e v1 podem ser proje-tados de acordo com uma expressão (1A) indicada abaixo, e os veto res de movimento (vx, vy) para os sub-blocos respectivos no bloco atu al podem ser derivados. Matemática 1 [00199] Figure 25A is a conceptual diagram to illustrate an example of deriving a motion vector of each sub-block based on the motion vectors of a plurality of neighboring blocks. In Figure 25A, the current block includes sixteen 4 x 4 sub-blocks. Here, the motion vector V0 at a top-left corner control point in the current block is derived based on a motion vector from a neighboring block. , and similarly, the motion vector V1 at a top-right corner control point in the current block is derived based on a motion vector from a neighboring sub-block. Two motion vectors v0 and v1 can be designed according to an expression (1A) indicated below, and the motion vectors (vx, vy) for the respective sub-blocks in the current block can be derived. Mathematics 1

[00200] Aqui, x e y indicam a posição horizontal e a posição vertical do sub-bloco, respectivamente, e w indica um coeficiente de pondera ção determinado. O coeficiente de ponderação determinado pode ser predeterminado.[00200] Here, x and y indicate the horizontal position and vertical position of the sub-block, respectively, and w indicates a determined weighting coefficient. The determined weighting coefficient may be predetermined.

[00201] Tal informação indicando o modo afim (por exemplo, referi do como um indicador afim) pode ser sinalizada no nível de CU. Deve- se notar que a sinalização da informação que indica o modo afim não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de imagem, nível de fatia, nível de “tile”, nível de CTU ou nível de sub- bloco).[00201] Such information indicating the affine mode (e.g., referred to as an affine indicator) may be signaled at the CU level. It should be noted that the signaling of information indicating the related mode does not necessarily need to be performed at the CU level, and can be performed at another level (e.g., at the sequence level, image level, slice level, tile level, CTU level or subblock level).

[00202] Adicionalmente, o modo afim pode incluir vários modos pa ra diferentes métodos de derivação de vetores de movimento nos pon tos de controle do canto superior esquerdo e superior direito. Por exemplo, o modo afim inclui dois modos que são o intermodo afim (também referido como um intermodo normal afim) e o modo de mistu ra afim.[00202] Additionally, the affine mode may include several modes for different methods of deriving motion vectors at the upper left and upper right control points. For example, the affine mode includes two modes which are the affine intermode (also referred to as an affine normal intermode) and the affine mixing mode.

MV Derivation > Affine Mode

[00203] A figura 25B é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco no modo afim, no qual três pontos de controle são utilizados. Na figura 25B, o bloco atual inclui dezesseis blocos de 4 x 4. Aqui, o vetor de movimento V0 no ponto de controle de canto superior esquerdo para o bloco atual é derivado com base em um vetor de movimento de um bloco vizinho, e, da mesma forma, o vetor de movimento V1 no ponto de controle de canto superior direito para o bloco atual é derivado com base em um vetor de movimento de um bloco vizinho, e o vetor de movimento V2 no ponto de controle do canto inferior esquerdo do bloco atual é derivado com base em um vetor de movimento de um bloco vizinho. Três vetores de movimento v0, v1 e v2 podem ser projetados de acordo com uma expressão (1B) indicada abaixo, e os vetores de movimento (vx, vy) para os sub-blocos respectivos no bloco atual po dem ser derivados. Matemática 2 [00203] Figure 25B is a conceptual diagram to illustrate an example of deriving a motion vector of each sub-block in affine mode, in which three control points are used. In Figure 25B, the current block includes sixteen 4 x 4 blocks. Here, the motion vector V0 at the upper left corner control point for the current block is derived based on a motion vector from a neighboring block, and, Similarly, the motion vector V1 at the top-right corner control point for the current block is derived based on a motion vector from a neighboring block, and the motion vector V2 at the bottom-left corner control point of the Current block is derived based on a motion vector of a neighboring block. Three motion vectors v0, v1 and v2 can be designed according to an expression (1B) given below, and the motion vectors (vx, vy) for the respective sub-blocks in the current block can be derived. Mathematics 2

[00204] Aqui, x e y indicam a posição horizontal e a posição vertical do centro do sub-bloco, respectivamente, w indica a largura do bloco atual, e h indica a altura do bloco atual.[00204] Here, x and y indicate the horizontal position and vertical position of the center of the sub-block, respectively, w indicates the width of the current block, and h indicates the height of the current block.

[00205] Os modos afim, nos quais diferentes números de pontos de controle (por exemplo, dois e três pontos de controle) são utilizados, podem ser comutados e sinalizados no nível de CU. Deve-se notar que a informação que indica o número de pontos de controle no modo afim utilizado no nível de CU, pode ser sinalizada em outro nível (por exemplo, no nível de sequência, nível de imagem, nível de fatia, nível de “tile”, nível de CTU ou nível de sub-bloco).[00205] Affine modes, in which different numbers of control points (e.g., two and three control points) are used, can be switched and signaled at the CU level. It should be noted that the information indicating the number of control points in the affine mode used at the CU level, may be signaled at another level (e.g., at the sequence level, image level, slice level, “ tile”, CTU level or sub-block level).

[00206] Adicionalmente, tal modo afim, no qual os três pontos de controle são utilizados, pode incluir diferentes métodos de derivação dos vetores de movimento nos pontos de controle de canto superior esquerdo, superior direito e inferior esquerdo. Por exemplo, os modos afim incluem dois modos que são o intermodo afim (também referido como o intermodo normal afim) e o modo de mistura afim.[00206] Additionally, such an affine mode, in which the three control points are used, may include different methods of deriving the motion vectors at the upper left, upper right and lower left control points. For example, affine modes include two modes which are the affine intermode (also referred to as the affine normal intermode) and the affine mixing mode.

MV Derivation > Affine Mixing Mode

[00207] As figuras 26A, 26B e 26C são diagramas conceituais para ilustrar o modo de mistura afim.[00207] Figures 26A, 26B and 26C are conceptual diagrams to illustrate the affine mixing mode.

[00208] Como ilustrado na figura 26A, no modo de mistura afim, por exemplo, os previsores de vetor de movimento nos pontos de controle respectivos de um bloco atual são calculados com base em uma plura-lidade de vetores de movimento correspondentes aos blocos codifica dos, de acordo com o modo afim dentre o bloco codificado A (esquer do), o bloco B (superior), o bloco C (superior direito), o bloco D (inferior esquerdo) e o bloco E (superior esquerdo) que são vizinhos do bloco atual. Mais especificamente, o bloco codificado A (esquerdo), o bloco B (superior), o bloco C (superior direito), o bloco D (inferior esquerdo) e o bloco E (superior esquerdo) são verificados na ordem listada, e o primeiro bloco efetivo codificado de acordo com o modo afim é identifi-cado. Os previsores de vetor de movimento nos pontos de controle do bloco atual são calculados com base em uma pluralidade de vetores de movimento correspondendo ao bloco identificado.[00208] As illustrated in Figure 26A, in affine mixing mode, for example, the motion vector predictors at the respective control points of a current block are calculated based on a plurality of motion vectors corresponding to the code blocks. according to the affine mode among the coded block A (left), block B (top), block C (top right), block D (bottom left) and block E (top left) which are neighbors of the current block. More specifically, coded block A (left), block B (top), block C (top right), block D (bottom left), and block E (top left) are scanned in the order listed, and the first effective block coded according to the affine mode is identified. Motion vector predictors at the control points of the current block are calculated based on a plurality of motion vectors corresponding to the identified block.

[00209] Por exemplo, como ilustrado na figura 26B, quando o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com um modo afim no qual dois pontos de controle são utiliza dos, os vetores de movimento v3 e v4 projetados na posição de canto superior esquerdo e na posição de canto superior direito do bloco codi ficado, incluindo o bloco A, são derivados. O previsor de vetor de mo vimento v0 no ponto de controle do canto superior esquerdo do bloco atual e o previsor de vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual são, então, calculados a partir dos vetores de movimento derivados v3 e v4.[00209] For example, as illustrated in Figure 26B, when block A, which is neighboring on the left side of the current block, was coded according to an affine mode in which two control points are used, the motion vectors v3 and v4 designed at the top left corner position and the top right corner position of the coded block, including block A, are derived. The motion vector predictor v0 at the top left corner control point of the current block and the motion vector predictor v1 at the top right corner control point of the current block are then calculated from the derived motion vectors. v3 and v4.

[00210] Por exemplo, como ilustrado na figura 26C, quando o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com um modo afim no qual três pontos de controle são utiliza- dos, os vetores de movimento v3, v4 e v5, projetados na posição de canto superior esquerdo, na posição de canto superior direito, e na po sição de canto inferior esquerdo do bloco codificado, incluindo o bloco A, são derivados. O previsor de vetor de movimento v0 no ponto de controle do canto superior esquerdo do bloco atual, o previsor de vetor de movimento v1 no ponto de controle do canto superior direito do blo co atual, e o previsor de vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual são, então, calculados a par tir dos vetores de movimento derivados v3, v4e v5.[00210] For example, as illustrated in Figure 26C, when block A, which is neighboring on the left side of the current block, was coded according to an affine mode in which three control points are used, the motion vectors v3, v4 and v5, projected at the upper left corner position, the upper right corner position, and the lower left corner position of the coded block, including block A, are derived. The motion vector predictor v0 at the top-left control point of the current block, the motion vector predictor v1 at the top-right control point of the current block, and the motion vector predictor v2 at the control point control of the lower left corner of the current block are then calculated from the derived motion vectors v3, v4, and v5.

[00211] Deve-se notar que esse método de derivação de previsores de vetor de movimento pode ser utilizado para derivar os previsores de vetor de movimento dos pontos de controle respectivos do bloco atual na Etapa Sj_1 na figura 29 descrita posteriormente.[00211] It should be noted that this method of deriving motion vector predictors can be used to derive the motion vector predictors of the respective control points of the current block in Step Sj_1 in Figure 29 described later.

[00212] A figura 27 é um gráfico ilustrando um exemplo do modo de mistura afim.[00212] Figure 27 is a graph illustrating an example of the affine mixing mode.

[00213] No modo de mistura afim como ilustrado, primeiro, o inter previsor 126 deriva os previsores de MV dos pontos de controle res pectivos de um bloco atual (Etapa Sk_1). Os pontos de controle são um ponto de canto superior esquerdo do bloco atual e um ponto de canto superior direito do bloco atual, como ilustrado na figura 25A, ou um ponto de canto superior esquerdo do bloco atual, um ponto de can to superior direito do bloco atual, e um ponto de canto inferior esquer do do bloco atual, como ilustrado na figura 25B.[00213] In the affine mixing mode as illustrated, first, the inter predictor 126 derives the MV predictors from the respective control points of a current block (Step Sk_1). The control points are a top-left corner point of the current block and a top-right corner point of the current block, as illustrated in Figure 25A, or a top-left corner point of the current block, a top-right corner point of the current block, and a top-right corner point of the current block. current block, and a lower left corner point of the current block, as illustrated in figure 25B.

[00214] Em outras palavras, como ilustrado na figura 26A, o inter previsor 126 verifica o bloco A codificado (esquerdo), o bloco B (supe rior), o bloco C (superior direito), o bloco D (inferior esquerdo), e o blo co E (superior esquerdo) na ordem listada, e identifica o primeiro bloco efetivo codificado de acordo com o modo afim.[00214] In other words, as illustrated in Figure 26A, the inter predictor 126 checks the encoded block A (left), block B (top), block C (top right), block D (bottom left), and block E (top left) in the order listed, and identifies the first effective block encoded according to the affine mode.

[00215] Quando o bloco A é identificado e o bloco A possui dois pontos de controle, como ilustrado na figura 26B, o interprevisor 126 calcula o vetor de movimento v0 no ponto de controle do canto superior esquerdo do bloco atual, e o vetor de movimento v1 no ponto de con trole do canto superior direito do bloco atual, a partir dos vetores de movimento v3 e v4 no canto superior esquerdo, e no canto superior di reito do bloco codificado, incluindo o bloco A. Por exemplo, o interpre visor 126 calcula o vetor de movimento v0 no ponto de controle do can to superior esquerdo do bloco atual, e o vetor de movimento v1 no pon to de controle do canto superior direito do bloco atual pela projeção dos vetores de movimento v3 e v4 no canto superior esquerdo e no canto superior direito do bloco codificado no bloco atual.[00215] When block A is identified and block A has two control points, as illustrated in figure 26B, the interpredictor 126 calculates the motion vector v0 at the top left corner control point of the current block, and the motion vector motion v1 at the top-right corner control point of the current block, from the motion vectors v3 and v4 at the top-left corner, and at the top-right corner of the coded block, including block A. For example, the interpreter 126 calculates the motion vector v0 at the top left corner control point of the current block, and the motion vector v1 at the top right corner control point of the current block by projecting the motion vectors v3 and v4 onto the top corner left and top right corner of the block encoded in the current block.

[00216] Alternativamente, quando o bloco A é identificado, e o bloco A possui três pontos de controle, como ilustrado na figura 26C, o inter-previsor 126 calcula o vetor de movimento v0 no ponto de controle do canto superior esquerdo do bloco atual, o vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual, e o vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual, a partir dos vetores de movimento v3, v4 e v5 no canto superior esquerdo, no canto superior direito e no canto inferior esquerdo do bloco codificado incluindo o bloco A. Por exemplo, o interprevisor 126 calcula o vetor de movimento v0 no ponto de controle do canto superior esquerdo do bloco atual, o vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual, e o vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual, pela proje ção dos vetores de movimento v3, v4 e v5 no canto superior esquerdo, e no canto superior direito e no canto inferior esquerdo do bloco codifi cado no bloco atual.[00216] Alternatively, when block A is identified, and block A has three control points, as illustrated in Figure 26C, inter-predictor 126 calculates the motion vector v0 at the upper left corner control point of the current block , the motion vector v1 at the top-right corner control point of the current block, and the motion vector v2 at the bottom-left corner control point of the current block, from the top-corner motion vectors v3, v4, and v5 left, upper right, and lower left corner of the coded block including block A. For example, the interpredictor 126 calculates the motion vector v0 at the upper left corner control point of the current block, the motion vector v1 at the point control point of the upper right corner of the current block, and the motion vector v2 on the control point of the lower left corner of the current block, by the projection of the motion vectors v3, v4 and v5 on the upper left corner, and on the upper right corner and in the lower left corner of the block encoded in the current block.

[00217] A seguir, o interprevisor 126 realiza a compensação de mo-vimento de cada um dentre uma pluralidade de sub-blocos incluídos no bloco atual. Em outras palavras, o interprevisor 126 calcula, para cada um dentre a pluralidade de sub-blocos, um vetor de movimento do sub-bloco como um MV afim, pela utilização de (i) dois previsores de vetor de movimento v0 e v1 e a expressão (1A) descrita acima, ou (ii) três previsores de vetor de movimento v0, v1, e v2 e a expressão (1B) descrita acima (Etapa Sk_2). O interprevisor 126, então, realiza a compensação de movimento dos sub-blocos utilizando esses MVs afim e as imagens de referência codificadas (Etapa Sk_3). Como re sultado disso, a compensação de movimento do bloco atual é realiza da para gerar uma imagem de previsão do bloco atual.[00217] Next, interpredictor 126 performs motion compensation for each of a plurality of sub-blocks included in the current block. In other words, the interpredictor 126 calculates, for each of the plurality of sub-blocks, a motion vector of the sub-block as an affine MV, by using (i) two motion vector predictors v0 and v1 and the expression (1A) described above, or (ii) three motion vector predictors v0, v1, and v2 and expression (1B) described above (Step Sk_2). The interpredictor 126 then performs motion compensation of the sub-blocks using these affine MVs and the encoded reference images (Step Sk_3). As a result of this, motion compensation of the current block is performed to generate a prediction image of the current block.

Derivation of MV > Affine Intermode

[00218] A figura 28A é um diagrama conceitual para ilustrar um in- termodo afim, no qual dois pontos de controle são utilizados.[00218] Figure 28A is a conceptual diagram to illustrate a related term, in which two control points are used.

[00219] No intermodo afim, como ilustrado na figura 28A, um vetor de movimento é selecionado a partir dos vetores de movimento do bloco A codificado, do bloco B, e do bloco C, que são vizinhos do blo co atual, é utilizado como o previsor de vetor de movimento v0 no pon to de controle do canto superior esquerdo do bloco atual. Da mesma forma, um vetor de movimento selecionado a partir dos vetores de mo vimento do bloco codificado D e do bloco E, que são vizinhos do bloco atual, é utilizado como o previsor de vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual.[00219] In the affine intermode, as illustrated in Figure 28A, a motion vector is selected from the motion vectors of coded block A, block B, and block C, which are neighbors of the current block, is used as the motion vector predictor v0 at the top left corner control point of the current block. Similarly, a motion vector selected from the motion vectors of coded block D and block E, which are neighbors of the current block, is used as the motion vector predictor v1 at the upper right corner control point. of the current block.

[00220] A figura 28B é um diagrama conceitual para ilustrar um in- termodo afim, no qual três pontos de controle são utilizados.[00220] Figure 28B is a conceptual diagram to illustrate a related term, in which three control points are used.

[00221] No intermodo afim, como ilustrado na figura 28B, um vetor principal selecionado a partir dos vetores de movimento do bloco A codificado, do bloco B e do bloco C, que são vizinhos do bloco atual, é utilizado como o previsor de vetor de movimento v0 no ponto de contro le do canto superior esquerdo do bloco atual. Da mesma forma, um vetor de movimento selecionado a partir dos vetores de movimento do bloco D codificado e do bloco E, que são vizinhos do bloco atual, é uti lizado como o previsor do vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual. Adicionalmente, um vetor de movimento selecionado a partir dos vetores de movimento do bloco codificado F e do bloco G, que são vizinhos do bloco atual, é utilizado como o previsor de vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual.[00221] In the affine intermode, as illustrated in Figure 28B, a principal vector selected from the motion vectors of coded block A, block B and block C, which are neighbors of the current block, is used as the vector predictor movement point v0 at the top left corner control point of the current block. Similarly, a motion vector selected from the motion vectors of the coded D block and the E block, which are neighbors of the current block, is used as the predictor of the motion vector v1 at the upper right corner control point. of the current block. Additionally, a motion vector selected from the motion vectors of coded block F and block G, which are neighbors of the current block, is used as the motion vector predictor v2 at the lower left corner control point of the current block. .

[00222] A figura 29 é um fluxograma ilustrando um exemplo de um intermodo afim.[00222] Figure 29 is a flowchart illustrating an example of a related intermode.

[00223] No intermodo afim, como ilustrado, primeiro o interprevisor 126 deriva previsores de MV (v0, v1) ou (v0, v1, v2) dos dois ou três pon tos de controle respectivos de um bloco atual (Etapa Sj_1). Os pontos de controle são um ponto de canto superior esquerdo do bloco atual e um ponto de canto superior direito do bloco atual como ilustrado na figura 25A ou um ponto de canto superior esquerdo do bloco atual, um ponto de canto superior direito do bloco atual, e um ponto de canto in ferior esquerdo do bloco atual, como ilustrado na figura 25B.[00223] In the affine intermode, as illustrated, first the interforecaster 126 derives MV predictors (v0, v1) or (v0, v1, v2) from the two or three respective control points of a current block (Step Sj_1). The control points are a top-left corner point of the current block and a top-right corner point of the current block as illustrated in Figure 25A or a top-left corner point of the current block, a top-right corner point of the current block, and a lower left corner point of the current block, as illustrated in Figure 25B.

[00224] Em outras palavras, o interprevisor 126 deriva os previsores de vetor de movimento (v0, v1) ou (v0, v1, v2) dos dois ou três pontos de controle respectivos do bloco atual pela seleção de vetores de movi-mento de qualquer um dos blocos dentre os blocos codificados nas proximidades dos pontos de controle respectivos do bloco atual, ilus-trados na figura 28A ou na figura 28B. Nesse momento, o interprevisor 126 codifica, em uma sequência, a informação de seleção do previsor de vetor de movimento para identificar os dois vetores de movimento selecionados.[00224] In other words, the interpredictor 126 derives the motion vector predictors (v0, v1) or (v0, v1, v2) of the two or three respective control points of the current block by selecting motion vectors from any of the blocks among the coded blocks in the vicinity of the respective control points of the current block, illustrated in figure 28A or figure 28B. At this time, the interpredictor 126 encodes, in a sequence, the motion vector predictor selection information to identify the two selected motion vectors.

[00225] Por exemplo, o interprevisor 126 pode determinar, utilizan do uma avaliação de custo ou similar, o bloco a partir do qual um vetor de movimento, como um previsor de vetor de movimento em um ponto de controle, é selecionado dentre os blocos codificados vizinhos do bloco atual, e pode descrever, em uma sequência de bits, um indica dor que indica qual previsor de vetor de movimento foi selecionado.[00225] For example, the interpredictor 126 may determine, using a cost evaluation or the like, the block from which a motion vector, such as a motion vector predictor at a control point, is selected from among the blocks coded neighbors of the current block, and may describe, in a sequence of bits, an indicator that indicates which motion vector predictor was selected.

[00226] A seguir, o interprevisor 126 realiza a estimativa de movi mento (Etapa Sj_3 e Sj_4), enquanto atualiza um previsor de vetor de movimento selecionado ou derivado na Etapa Sj_1 (Etapa Sj_2). Em outras palavras, o interprevisor 126 calcula, como um MV afim, um ve tor de movimento de cada um dos sub-blocos que correspondem a um previsor de vetor de movimento atualizado, utilizando a expressão (1A) ou a expressão (1B) descrita acima (Etapa Sj_3). O interprevisor 126, então, realiza a compensação de movimento dos sub-blocos utilizando esses MVs afim e as imagens de referência codificadas (Etapa Sj_4). Como resultado disso, por exemplo, o interprevisor 126 determina o previsor de vetor de movimento que resulta no menor custo como o vetor de movimento em um ponto de controle em um circuito de esti mativa de movimento (Etapa Sj_5). Nesse momento, o interprevisor 126 codifica, adicionalmente, na sequência, o valor de diferença entre o MV determinado e o previsor de vetor de movimento como uma dife rença de MV.[00226] Next, interpredictor 126 performs motion estimation (Step Sj_3 and Sj_4), while updating a motion vector predictor selected or derived in Step Sj_1 (Step Sj_2). In other words, the interpredictor 126 calculates, as an affine MV, a motion vector from each of the sub-blocks corresponding to an updated motion vector predictor, using expression (1A) or expression (1B) described above (Step Sj_3). The interpredictor 126 then performs motion compensation of the sub-blocks using these related MVs and the encoded reference images (Step Sj_4). As a result of this, for example, the interpredictor 126 determines the motion vector predictor that results in the lowest cost as the motion vector at a control point in a motion estimation circuit (Step Sj_5). At this time, the interpredictor 126 additionally encodes in the sequence the difference value between the determined MV and the motion vector predictor as an MV difference.

[00227] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual, utilizando o MV determinado e a imagem de referência co dificada (Etapa Sj_6).[00227] Finally, the interforecaster 126 generates a prediction image for the current block by performing motion compensation of the current block, using the determined MV and the encoded reference image (Step Sj_6).

Derivation of MV > Affine Intermode

[00228] Quando os modos afim, nos quais números diferentes de pontos de controle (por exemplo, dois e três pontos de controle) são utilizados, podem ser intercalados e sinalizados no nível de CU, o nú mero de pontos de controle em um bloco codificado, e o número de pontos de controle em um bloco atual, podem ser diferentes um do ou tro. A figura 30A e a figura 30B são diagramas conceituais para ilustrar os métodos para derivar os previsores de vetor de movimento nos pontos de controle, quando o número de pontos de controle em um bloco codificado e o número de pontos de controle em um bloco atual são diferentes um do outro.[00228] When affine modes, in which different numbers of control points (e.g., two and three control points) are used, can be interleaved and signaled at the CU level, the number of control points in a block coded, and the number of control points in a current block, may be different from each other. Figure 30A and Figure 30B are conceptual diagrams for illustrating methods for deriving motion vector predictors at control points when the number of control points in a coded block and the number of control points in a current block are different from each other.

[00229] Por exemplo, como ilustrado na figura 30A, quando um blo co atual possui três pontos de controle no canto superior esquerdo, no canto superior direito e no canto inferior esquerdo, e o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com um modo afim, no qual dois pontos de controle são utilizados, os vetores de movimento v3 e v4, projetados na posição de canto superior esquerdo e na posição de canto superior direito no bloco codificado, incluindo o bloco A, são derivados. O previsor de vetor de movimento v0 no ponto de controle do canto superior esquerdo do bloco atual e o previsor de vetor de movimento v1 no ponto de controle do canto supe rior direito do bloco atual são, então, calculados a partir dos vetores de movimento derivados v3 e v4. Adicionalmente, o previsor de vetor de movimento v2 no ponto de controle do canto inferior esquerdo é calcu lado a partir dos vetores de movimento derivados v0 e v1.[00229] For example, as illustrated in Figure 30A, when a current block has three control points in the upper left corner, the upper right corner and the lower left corner, and block A, which is neighboring on the left side of the block current, was coded according to an affine mode, in which two control points are used, the motion vectors v3 and v4, projected at the top left corner position and the top right corner position in the coded block, including block A , are derivatives. The motion vector predictor v0 at the top left corner control point of the current block and the motion vector predictor v1 at the top right corner control point of the current block are then calculated from the derived motion vectors. v3 and v4. Additionally, the motion vector predictor v2 at the bottom left control point is calculated from the derived motion vectors v0 and v1.

[00230] Por exemplo, como ilustrado na figura 30B, quando um blo co atual possui dois pontos de controle no canto superior esquerdo e no canto superior direito, e o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com o modo afim, no qual três pontos de controle são utilizados, os vetores de movimento v3, v4 e v5, projetados na posição de canto superior esquerdo, posição de canto superior direito e posição do canto inferior esquerdo no bloco codifica do, incluindo o bloco A, são derivados. O previsor de vetor de movi mento v0 no ponto de controle do canto superior esquerdo do bloco atual e o previsor de vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual são, então, calculados a partir dos vetores de movimento derivados v3, v4 e v5.[00230] For example, as illustrated in Figure 30B, when a current block has two control points in the upper left corner and the upper right corner, and block A, which is neighboring on the left side of the current block, has been coded in according to the affine mode, in which three control points are used, the motion vectors v3, v4 and v5, projected at the top left corner position, top right corner position and bottom left corner position in the coded block, including block A, are derivatives. The motion vector predictor v0 at the top left corner control point of the current block and the motion vector predictor v1 at the top right corner control point of the current block are then calculated from the derived motion vectors. v3, v4 and v5.

[00231] Deve-se notar que esse método de derivação de previsores de vetor de movimento, pode ser utilizado para derivar os previsores de vetor de movimento dos pontos de controle respectivos do bloco atual na Etapa Sj_1 na figura 29.[00231] It should be noted that this method of deriving motion vector predictors can be used to derive the motion vector predictors of the respective control points of the current block in Step Sj_1 in Figure 29.

MV Derivation > DMVR

[00232] A figura 31A é um fluxograma ilustrando uma relação entre o modo de mistura e DMVR.[00232] Figure 31A is a flowchart illustrating a relationship between mixing mode and DMVR.

[00233] O interprevisor 126 deriva um vetor de movimento de um bloco atual, de acordo com o modo de mistura (Etapa Sl_1). A seguir, o interprevisor 126 determina se realiza a estimativa de um vetor de movimento, isso é, a estimativa de movimento (Etapa Sl_2). Aqui, quando da determinação da não realização da estimativa de movimen to (Não, na Etapa Sl_2), o interprevisor 126 determina o vetor de mo vimento derivado na Etapa Sl_1 como o vetor de movimento final para o bloco atual (Etapa Sl_4). Em outras palavras, nesse caso, o vetor de movimento do bloco atual é determinado de acordo com o modo de mistura.[00233] Interpredictor 126 derives a motion vector from a current block, according to the mixing mode (Step Sl_1). Next, interpredictor 126 determines whether to estimate a motion vector, that is, motion estimation (Step Sl_2). Here, when determining whether the motion estimate was not performed (No, in Step Sl_2), the interpredictor 126 determines the motion vector derived in Step Sl_1 as the final motion vector for the current block (Step Sl_4). In other words, in this case, the motion vector of the current block is determined according to the mixing mode.

[00234] Quando da determinação da realização da estimativa de movimento na Etapa Sl_1 (Sim na Etapa Sl_2), o interprevisor 126 de riva o vetor de movimento final para o bloco atual pela estimativa de uma região circundante da imagem de referência, especificada pelo vetor de movimento derivado na Etapa Sl_1 (Etapa Sl_3). Em outras palavras, nesse caso, o vetor de movimento do bloco atual é determi nado de acordo com DMVR.[00234] When determining whether to perform the motion estimate in Step Sl_1 (Yes in Step Sl_2), the interpredictor 126 derives the final motion vector for the current block by estimating a surrounding region of the reference image, specified by the vector of movement derived in Step Sl_1 (Step Sl_3). In other words, in this case, the motion vector of the current block is determined according to DMVR.

[00235] A figura 31B é um diagrama conceitual para ilustrar um exemplo de um processo DMVR para determinar um MV.[00235] Figure 31B is a conceptual diagram to illustrate an example of a DMVR process for determining an MV.

[00236] Primeiro, (por exemplo, no modo de mistura) o melhor MVP, que foi configurado para o bloco atual, é determinado como sen do um candidato a MV. Um pixel de referência é identificado a partir de uma primeira imagem de referência (L0) que é uma imagem codificada na direção L0, de acordo com um candidato a MV (L0). Da mesma forma, um pixel de referência é identificado a partir de uma segunda imagem de referência (L1) que é uma imagem codificada na direção L1 de acordo com um candidato a MV (L1). Um gabarito é gerado pelo cálculo de uma média desses pixels de referência.[00236] First, (e.g., in mixing mode) the best MVP, which has been configured for the current block, is determined to be a MV candidate. A reference pixel is identified from a first reference image (L0) which is an image encoded in the L0 direction, according to a MV candidate (L0). Similarly, a reference pixel is identified from a second reference image (L1) which is an image encoded in the L1 direction according to a MV candidate (L1). A template is generated by calculating an average of these reference pixels.

[00237] A seguir, cada uma das regiões circundantes dos candida tos a MV da primeira imagem de referência (L0) e da segunda imagem de referência (L1) é estimada, e o MV que resultar no menor custo é determinado como sendo o MV final. Deve-se notar que o valor de custo pode ser calculado, por exemplo, utilizando-se um valor de dife rença entre cada um dos valores de pixel no gabarito e um valor cor-respondente dos valores de pixel na região de estimativa, os valores dos candidatos a MV, etc.[00237] Next, each of the regions surrounding the MV candidates of the first reference image (L0) and the second reference image (L1) is estimated, and the MV that results in the lowest cost is determined to be the MV Final. It should be noted that the cost value can be calculated, for example, using a difference value between each of the pixel values in the template and a corresponding value of the pixel values in the estimation region, the values of MV candidates, etc.

[00238] Deve-se notar que os processos, configurações e opera ções descritos aqui são tipicamente e basicamente comuns entre o codificador e um decodificador a serem descritos posteriormente.[00238] It should be noted that the processes, configurations and operations described here are typically and basically common between the encoder and a decoder to be described later.

[00239] Exatamente os mesmos processos ilustrativos descritos aqui, nem sempre precisam ser realizados. Qualquer processo para permitir a derivação do MV final pela estimativa nas regiões circundan tes dos candidatos a MV pode ser utilizado.[00239] Exactly the same illustrative processes described here do not always need to be carried out. Any process to allow the derivation of the final MV by estimation in the regions surrounding the MV candidates can be used.

Motion Compensation >BIO/OBMC

[00240] A compensação de movimento envolve um modo de gera ção de uma imagem de previsão, e a correção da imagem de previsão. O modo é, por exemplo, BIO e OBMC a serem descritos posteriormen te.[00240] Motion compensation involves a way of generating a prediction image, and correcting the prediction image. The mode is, for example, BIO and OBMC to be described later.

[00241] A figura 32 é um fluxograma ilustrando um exemplo de ge ração de uma imagem de previsão.[00241] Figure 32 is a flowchart illustrating an example of generating a prediction image.

[00242] O interprevisor 126 gera uma imagem de previsão (Etapa Sm_1), e corrige a imagem de previsão, por exemplo, de acordo com qualquer um dos modos descritos acima (Etapa Sm_2).[00242] The interforecaster 126 generates a prediction image (Step Sm_1), and corrects the prediction image, for example, according to any of the modes described above (Step Sm_2).

[00243] A figura 33 é um fluxograma ilustrando outro exemplo de geração de uma imagem de previsão.[00243] Figure 33 is a flowchart illustrating another example of generating a prediction image.

[00244] O interprevisor 126 determina um vetor de movimento de um bloco atual (Etapa Sn_1). A seguir, o interprevisor 126 gera uma imagem de previsão (Etapa Sn_2), e determina se realiza um processo de correção (Etapa Sn_3). Aqui, quando da determinação da realiza ção de um processo de correção (Sim na Etapa Sn_3), o interprevisor 126 gera a imagem de previsão final pela correção da imagem de pre visão (Etapa Sn_4). Quando da determinação da não realização de um processo de correção (Não na Etapa Sn_3), o interprevisor 126 envia a imagem de previsão como a imagem de previsão final, sem corrigir a imagem de previsão (Etapa Sn_5).[00244] Interpredictor 126 determines a motion vector of a current block (Step Sn_1). Next, the interforecaster 126 generates a prediction image (Step Sn_2), and determines whether to perform a correction process (Step Sn_3). Here, when determining whether to perform a correction process (Yes in Step Sn_3), the interforecaster 126 generates the final prediction image by correcting the prediction image (Step Sn_4). When determining not to perform a correction process (Not in Step Sn_3), the interforecaster 126 sends the prediction image as the final prediction image, without correcting the prediction image (Step Sn_5).

[00245] Adicionalmente, a compensação de movimento envolve um modo de correção de uma luminescência de uma imagem de previsão, quando da geração da imagem de previsão. O modo é, por exemplo, LIC a ser descrito posteriormente.[00245] Additionally, motion compensation involves a way of correcting a luminescence of a prediction image when generating the prediction image. The mode is, for example, LIC to be described later.

[00246] A figura 34 é um fluxograma ilustrando outro exemplo da geração de uma imagem de previsão.[00246] Figure 34 is a flowchart illustrating another example of generating a prediction image.

[00247] O interprevisor 126 deriva um vetor de movimento de um bloco atual (Etapa So_1). A seguir, o interprevisor 126 determina se realiza um processo de correção de luminescência (Etapa So_2). Aqui, quando da determinação da realização de um processo de correção de luminescência (Sim na Etapa So_2), o interprevisor 126 gera a imagem de previsão enquanto realiza um processo de correção de lu-minescência(Etapa So_3). Em outras palavras, a imagem de previsão é gerada utilizando-se LIC. Quando da determinação da não realiza ção de um processo de correção de luminescência (Não na etapa So_2), o interprevisor 126 gera uma imagem de previsão pela realiza ção da compensação de movimento normal, sem realizar um processo de correção de luminescência (Etapa So_4).[00247] Interpredictor 126 derives a motion vector from a current block (Step So_1). Next, the interforecaster 126 determines whether to perform a luminescence correction process (Step So_2). Here, when determining whether to perform a luminescence correction process (Yes in Step So_2), the interforecaster 126 generates the prediction image while carrying out a luminescence correction process (Step So_3). In other words, the prediction image is generated using LIC. When determining not to perform a luminescence correction process (Not in step So_2), the interforecaster 126 generates a prediction image by performing normal motion compensation, without performing a luminescence correction process (Step So_4). .

Motion Compensation > OBMC

[00248] É notado que um sinal de interprevisão pode ser gerado utilizando-se a informação de movimento para um bloco vizinho em adição à informação de movimento para o bloco atual, obtida a partir da estimativa de movimento. Mais especificamente, o sinal de inter- previsão pode ser gerado em unidades de um sub-bloco no bloco atu al, pela realização de uma adição ponderada de um sinal de previsão com base na informação de movimento obtida a partir da estimativa de movimento (na imagem de referência) e um sinal de previsão com ba se na informação de movimento para um bloco vizinho (na imagem atual). Tal interprevisão (compensação de movimento) também é refe rida como compensação de movimento de bloco sobreposto (OBMC).[00248] It is noted that an interprediction signal can be generated using the motion information for a neighboring block in addition to the motion information for the current block obtained from the motion estimate. More specifically, the inter-prediction signal can be generated in units of a sub-block in the current block, by performing a weighted addition of a prediction signal based on the motion information obtained from the motion estimate (in reference image) and a prediction signal based on motion information for a neighboring block (in the current image). Such interprediction (motion compensation) is also referred to as overlapping block motion compensation (OBMC).

[00249] No modo OBMC, a informação indicando um tamanho de sub-bloco para OBMC (referida como, por exemplo, um tamanho de bloco OBMC) pode ser sinalizada no nível de sequência. Ademais, a informação que indica se aplica o modo OBMC (referido como, por exemplo, um indicador OBMC) pode ser sinalizada no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, neces sariamente, ser realizada no nível de sequência e no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de imagem, no nível de fatia, no nível de “tile”, no nível de CTU ou no nível de sub- bloco).[00249] In OBMC mode, information indicating a sub-block size for OBMC (referred to as, for example, an OBMC block size) may be signaled at the sequence level. Furthermore, information indicating whether OBMC mode applies (referred to as, for example, an OBMC indicator) can be signaled at the CU level. It should be noted that signaling of such information does not necessarily need to be performed at the sequence level and the CU level, and can be performed at another level (e.g., at the image level, at the slice level, at the tile level, CTU level or subblock level).

[00250] Exemplos do modo OBMC serão descritos em maiores de talhes. As figuras 35 e 36 são um fluxograma e um diagrama conceitu- al para ilustrar um contorno de um processo de correção de imagem de previsão realizado por um processo OBMC.[00250] Examples of the OBMC mode will be described in greater detail. Figures 35 and 36 are a flowchart and conceptual diagram to illustrate an outline of a predictive image correction process performed by an OBMC process.

[00251] Primeiro, como ilustrado na figura 36, uma imagem de pre visão (Pred) é obtida através da compensação de movimento normal utilizando um vetor de movimento (MV) designado para o bloco alvo de processamento (atual). Na figura 36, a seta "MV" aponta para uma imagem de referência, e indica qual bloco atual da imagem atual se refere a fim de obter uma imagem de previsão.[00251] First, as illustrated in Figure 36, a prediction image (Pred) is obtained through normal motion compensation using a motion vector (MV) designated for the processing target block (current). In figure 36, the "MV" arrow points to a reference image, and indicates which current block of the current image it refers to in order to obtain a prediction image.

[00252] A seguir, uma imagem de previsão (Pred_L) é obtida pela aplicação de um vetor de movimento (MV_L), que já foi derivado para o bloco codificado vizinho pelo lado esquerdo do bloco atual, para o bloco atual (reutilizando o vetor de movimento para o bloco atual). O vetor de movimento (MV_L) é indicado por uma seta "MV_L" indicando uma imagem de referência a partir de um bloco atual. Uma primeira correção de uma imagem de previsão é realizada pela sobreposição de duas imagens de previsão Pred e Pred_L. Isso fornece um efeito de mistura do limite entre os blocos vizinhos.[00252] Next, a prediction image (Pred_L) is obtained by applying a motion vector (MV_L), which has already been derived for the neighboring coded block from the left side of the current block, to the current block (reusing the vector of movement for the current block). The motion vector (MV_L) is indicated by an "MV_L" arrow indicating a reference image from a current block. A first correction of a forecast image is performed by superimposing two forecast images Pred and Pred_L. This provides a boundary mixing effect between neighboring blocks.

[00253] Da mesma forma, uma imagem de previsão (Pred_U_ é obtida pela aplicação de um vetor de movimento (MV_U), que já foi derivado para o bloco codificado vizinho pelo lado de cima do bloco atual, para o bloco atual (reutilizando o vetor de movimento para o blo co atual). O vetor de movimento (MV_U) é indicado por uma seta "MV_U" indicando uma imagem de referência de um bloco atual. Uma segunda correção de uma imagem de previsão é realizada pela sobre posição da imagem de previsão Pred_U às imagens de previsão (por exemplo, Pred e Pred_L) nas quais a primeira correção foi realizada. Isso fornece um efeito de mistura do limite entre os blocos vizinhos. A imagem de previsão obtida pela segunda correção é uma na qual o limite entre os blocos vizinhos foi misturado (suavizado), e, dessa for ma, é a imagem de previsão final do bloco atual.[00253] Similarly, a prediction image (Pred_U_ is obtained by applying a motion vector (MV_U), which has already been derived for the neighboring coded block from the top side of the current block, to the current block (reusing the motion vector for the current block). The motion vector (MV_U) is indicated by an arrow "MV_U" indicating a reference image of a current block. from Pred_U to the prediction images (e.g., Pred and Pred_L) on which the first correction was performed. This provides a boundary mixing effect between neighboring blocks. between neighboring blocks has been mixed (smoothed), and thus is the final prediction image of the current block.

[00254] Apesar de o exemplo acima ser um método de correção de dois percursos utilizando os blocos vizinhos esquerdo e superior, de ve-se notar que o método de correção pode ser o método de correção de três ou mais percursos, utilizando também o bloco vizinho direito e/ou o bloco vizinho inferior.[00254] Although the example above is a method of correcting two paths using the left and top neighboring blocks, it should be noted that the correction method can be the method of correcting three or more paths, also using the block right neighbor and/or the lower neighbor block.

[00255] Deve-se notar que a região, na qual tal sobreposição é rea lizada, pode ser parte apenas de uma região perto de um limite de blo co, em vez da região de pixel de todo o bloco.[00255] It should be noted that the region, in which such overlap is performed, may be part of only a region near a block boundary, rather than the pixel region of the entire block.

[00256] Deve-se notar que o processo de correção de imagem de previsão, de acordo com OBMC, para obtenção de uma imagem de previsão Pred a partir de uma imagem de referência pela sobreposição da imagem de previsão adicional Pred_L e Pred_U foi descrito acima. No entanto, quando uma imagem de previsão é corrigida com base em uma pluralidade de imagens de referência, um processo similar pode ser aplicado a cada uma dentre a pluralidade de imagens de referên cia. Em tal caso, depois que as imagens de previsão corrigidas são obtidas a partir das imagens de referência respectivas pela realização da correção de imagem OBMC, com base na pluralidade de imagens de referência, as imagens de previsão corrigidas obtidas são adicio nalmente sobrepostas para obter a imagem de previsão final.[00256] It should be noted that the forecast image correction process, according to OBMC, for obtaining a Pred forecast image from a reference image by superimposing the additional Pred_L and Pred_U forecast image has been described above . However, when a prediction image is corrected based on a plurality of reference images, a similar process can be applied to each of the plurality of reference images. In such a case, after the corrected prediction images are obtained from the respective reference images by performing OBMC image correction, based on the plurality of reference images, the obtained corrected prediction images are further superimposed to obtain the final prediction image.

[00257] Deve-se notar que, em OBMC, a unidade de um bloco atual pode ser a unidade de um bloco de previsão ou a unidade de um sub- bloco obtido pela divisão adicional do bloco de previsão.[00257] It should be noted that, in OBMC, the unit of a current block may be the unit of a prediction block or the unit of a sub-block obtained by further division of the prediction block.

[00258] Um exemplo de um método para determinar se um proces so OBMC deve ser aplicado, é um método para utilizar um obmc_flag, que é um sinal que indica se um processo OBMC deve ser aplicado. Como um exemplo específico, um codificador determina se o bloco atual pertence a uma região possuindo movimento complicado. O codi ficador configura o obmc_flag para um valor igual a "1" quando o bloco pertence a uma região possuindo movimento complicado e aplica um processo OBMC quando da codificação, e configura obmc_flag para um valor igual a "0", quando o bloco não pertence a uma região pos suindo movimento complicado e codifica o bloco sem aplicar um pro cesso OBMC. O decodificador comuta entre a aplicação e a não apli cação de um processo OBMC pela decodificação de obmc_flag escrito na sequência (por exemplo, uma sequência comprimida) e pela deco- dificação do bloco pela comutação entre uma aplicação e uma não aplicação do processo OBMC, de acordo com o valor do indicador.[00258] An example of a method for determining whether an OBMC process should be applied, is a method for using an obmc_flag, which is a signal that indicates whether an OBMC process should be applied. As a specific example, an encoder determines whether the current block belongs to a region having complicated motion. The encoder sets obmc_flag to a value equal to "1" when the block belongs to a region having complicated motion and applies an OBMC process when encoding, and sets obmc_flag to a value equal to "0" when the block does not belong to a region having complicated motion and encodes the block without applying an OBMC process. The decoder switches between applying and non-applying an OBMC process by decoding the obmc_flag written to the sequence (e.g., a compressed sequence) and decoding the block by switching between applying and non-applying the OBMC process. according to the value of the indicator.

[00259] O interprevisor 126 gera uma imagem de previsão retangu- lar para um bloco atual retangular no exemplo acima. No entanto, o interprevisor 126 pode gerar uma pluralidade de imagens de previsão, cada uma possuindo um formato diferente de um retângulo para o blo co atual retangular, e pode combinar a pluralidade de imagens de pre visão para gerar a imagem de previsão retangular final. O formato dife rente de um retângulo pode ser, por exemplo, um triângulo.[00259] Interpredictor 126 generates a rectangular prediction image for a rectangular current block in the example above. However, the interforecaster 126 may generate a plurality of prediction images, each having a different shape from a rectangle to the current rectangular block, and may combine the plurality of prediction images to generate the final rectangular prediction image. The shape other than a rectangle could be, for example, a triangle.

[00260] A figura 37 é um diagrama conceitual para ilustrar a gera ção de duas imagens de previsão triangulares.[00260] Figure 37 is a conceptual diagram to illustrate the generation of two triangular prediction images.

[00261] O interprevisor 126 gera uma imagem de previsão triangu lar pela realização da compensação de movimento de uma primeira partição possuindo um formato triangular em um bloco atual pela utili zação de um primeiro MV da primeira partição, para gerar uma ima gem de previsão triangular. Da mesma forma, o interprevisor 126 gera uma imagem de previsão triangular pela realização da compensação de movimento de uma segunda partição, possuindo um formato trian gular em um bloco atual pela utilização de um segundo MV da segun dapartição, para gerar uma imagem de previsão triangular. O interpre visor 126, então, gera uma imagem de previsão possuindo o mesmo formato retangular que o formato retangular do bloco atual pela combi nação dessas imagens de previsão.[00261] The interforecaster 126 generates a triangular prediction image by performing motion compensation of a first partition having a triangular shape in a current block by using a first MV of the first partition to generate a triangular prediction image. . Likewise, the interforecaster 126 generates a triangular prediction image by performing motion compensation of a second partition having a triangular shape in a current block by utilizing a second MV of the second partition to generate a triangular prediction image. . The interpreter 126 then generates a prediction image having the same rectangular shape as the rectangular shape of the current block by combining these prediction images.

[00262] Deve-se notar que, apesar de a primeira partição e a se-gundapartição serem triângulos no exemplo ilustrado na figura 37, a primeira partição e a segunda partição podem ser trapezoides, ou ou tros formatos diferentes um do outro. Adicionalmente, apesar de o blo co atual incluir duas partições no exemplo ilustrado na figura 37, o blo co atual pode incluir três ou mais partições.[00262] It should be noted that, although the first partition and the second partition are triangles in the example illustrated in figure 37, the first partition and the second partition can be trapezoids, or other shapes different from each other. Additionally, although the current block includes two partitions in the example illustrated in Figure 37, the current block may include three or more partitions.

[00263] Adicionalmente, a primeira partição e a segunda partição podem se sobrepor uma à outra. Em outras palavras, a primeira parti ção e a segunda partição podem incluir a mesma região de pixel. Nes se caso, uma imagem de previsão para um bloco atual pode ser gera- da utilizando-se uma imagem de previsão na primeira partição e uma imagem de previsão na segunda partição.[00263] Additionally, the first partition and the second partition may overlap each other. In other words, the first partition and the second partition may include the same pixel region. In this case, a prediction image for a current block can be generated using a prediction image in the first partition and a prediction image in the second partition.

[00264] Adicionalmente, apesar de um exemplo, no qual uma ima gem de previsão é gerada para cada duas partições utilizando a inter- previsão, uma imagem de previsão pode ser gerada para pelo menos uma partição utilizando intraprevisão.[00264] Additionally, despite an example, in which a prediction image is generated for every two partitions using interprediction, a prediction image can be generated for at least one partition using intraprediction.

Motion Compensation >BIO

[00265] A seguir, um método de derivação de um vetor de movi mentoé descrito. Primeiro, um modo de derivação de um vetor de mo vimento com base em um modelo que assume o movimento linear uni forme será descrito. Esse modo também é referido como um modo de fluxo ótico bidirecional (BIO).[00265] Next, a method of deriving a motion vector is described. First, a way of deriving a motion vector based on a model that assumes uniform linear motion will be described. This mode is also referred to as a bidirectional optical flow (BIO) mode.

[00266] A figura 38 é um diagrama conceitual para ilustrar um mo delo que assume o movimento linear uniforme. Na figura 38 (vx, vy) indica um vetor de velocidade, e T0 e T1indicam as distâncias tempo rais entre uma imagem atual (Cur Pic) e duas imagens de referência (Ref0, Ref1). (MVx0, MVy0) indicam os vetores de movimento corres pondentes à imagem de referência Ref0, e (MVx1, MVy1) indicam os vetores de movimento correspondentes à imagem de referência Ref1.[00266] Figure 38 is a conceptual diagram to illustrate a model that assumes uniform linear motion. In figure 38 (vx, vy) indicates a velocity vector, and T0 and T1 indicate the temporal distances between a current image (Cur Pic) and two reference images (Ref0, Ref1). (MVx0, MVy0) indicate the motion vectors corresponding to the reference image Ref0, and (MVx1, MVy1) indicate the motion vectors corresponding to the reference image Ref1.

[00267] Aqui, considerando-se o movimento linear uniforme exibido pelos vetores de velocidade (vx, vy), (MVx0, MVy0) e (MVx1, MVy1) são representados como respectivamente, e a seguinte equação de fluxo ótico (2) pode ser empregada.[00267] Here, considering the uniform linear movement exhibited by the velocity vectors (vx, vy), (MVx0, MVy0) and (MVx1, MVy1) are represented as respectively, and the following optical flow equation (2) can be employed.

Mathematics 3

[00268] indica um valor de luminescência de movimento compensado da imagem de referência k (k = 0, 1). Essa equação de fluxo ótico ilustra que a soma de (i) a derivação de tempo do valor de luminescência, (ii) o produto da velocidade horizontal e do componente horizontal do gradiente espaci al de uma imagem de referência, e (iii) o produto da velocidade vertical e do componente vertical do gradiente espacial de uma imagem de referência, é igual a zero. Um vetor de movimento de cada bloco obti do a partir, por exemplo, de uma lista de mistura pode ser corrigido em unidades de um pixel, com base em uma combinação da equação de fluxo ótico e interpolação Hermite.[00268] indicates a motion compensated luminescence value of the reference image k (k = 0, 1). This optical flow equation illustrates that the sum of (i) the time derivation of the luminescence value, (ii) the product of the horizontal velocity and the horizontal component of the spatial gradient of a reference image, and (iii) the product of the vertical velocity and the vertical component of the spatial gradient of a reference image, is equal to zero. A motion vector for each block obtained from, for example, a mix list can be fixed to units of one pixel, based on a combination of the optical flow equation and Hermite interpolation.

[00269] Deve-se notar que um vetor de movimento pode ser deriva do no lado do decodificador, utilizando um método além da derivação de um vetor de movimento, com base em um modelo que assume o movimento linear uniforme. Por exemplo, um vetor de movimento pode ser derivado em unidades de um sub-bloco com base nos vetores de movimento dos blocos vizinhos.[00269] It should be noted that a motion vector can be derived on the decoder side, using a method in addition to deriving a motion vector, based on a model that assumes uniform linear motion. For example, a motion vector can be derived in units of a sub-block based on the motion vectors of neighboring blocks.

Motion Compensation > LIC

[00270] A seguir, um exemplo de um modo no qual uma imagem de previsão (prediction) é gerada pela utilização de um processo de com-pensação de iluminação local (LIC) será descrito.[00270] Next, an example of a way in which a prediction image is generated by using a local illumination compensation (LIC) process will be described.

[00271] A figura 39 é um diagrama conceitual para ilustrar um exemplo de um método de geração de imagem de previsão utilizando um processo de correção de luminescência realizado por um processo LIC.[00271] Figure 39 is a conceptual diagram to illustrate an example of a predictive image generation method using a luminescence correction process performed by a LIC process.

[00272] Primeiro, um MV é derivado a partir de uma imagem de re-ferência codificada, e uma imagem de referência correspondente ao bloco atual é obtida.[00272] First, a MV is derived from a coded reference image, and a reference image corresponding to the current block is obtained.

[00273] A seguir, a informação indicando como o valor de lumines cência foi alterado, entre a imagem de referência e a imagem atual, é extraída para o bloco atual. Essa extração é realizada com base nos valores de pixel de luminescência para a região de referência vizinha pelo lado esquerdo codificada (cercando a região de referência) e a região de referência vizinha superior codificada (cercando a região de referência), e o valor de pixel de luminescência na posição correspon dente na imagem de referência especificada pelo MV derivado. Um parâmetro de correção de luminescência é calculado pela utilização da informação que indica como o valor de luminescência mudou.[00273] Next, information indicating how the luminescence value has changed, between the reference image and the current image, is extracted for the current block. This extraction is performed based on the luminescence pixel values for the encoded left-neighboring reference region (surrounding the reference region) and the encoded upper-neighboring reference region (surrounding the reference region), and the pixel value of luminescence at the corresponding position in the reference image specified by the derived MV. A luminescence correction parameter is calculated by using information that indicates how the luminescence value has changed.

[00274] A imagem de previsão para o bloco atual é gerada pela rea-lização de um processo de correção de luminescência no qual o parâ-metro de correção de luminescência é aplicado à imagem de referên cia na imagem de referência especificada pelo MV.[00274] The prediction image for the current block is generated by performing a luminescence correction process in which the luminescence correction parameter is applied to the reference image in the reference image specified by the MV.

[00275] É notado que o formato da região de referência circundante ilustrada na figura 39 é apenas um exemplo de que a região de refe rência circundante pode ter um formato diferente.[00275] It is noted that the shape of the surrounding reference region illustrated in Figure 39 is just one example that the surrounding reference region may have a different shape.

[00276] Ademais, apesar de o processo no qual uma imagem de previsão é gerada a partir de uma única imagem de referência ter sido descrito aqui, casos nos quais uma imagem de previsão é gerada a partir de uma pluralidade de imagens de referência podem ser descri tos da mesma forma. A imagem de previsão pode ser gerada após a realização de um processo de correção de luminescência das imagens de referência obtidas a partir das imagens de referência da mesma forma que a descrita acima.[00276] Furthermore, although the process in which a prediction image is generated from a single reference image has been described herein, cases in which a prediction image is generated from a plurality of reference images may be described in the same way. The prediction image can be generated after carrying out a luminescence correction process of the reference images obtained from the reference images in the same way as described above.

[00277] Um exemplo de um método de determinação da aplicação, ou não, de um processo LIC e um método para utilização de um lic_flag, que é um sinal que indica a aplicação, ou não, do processo LIC. Como um exemplo específico, o codificador determina se o bloco atual pertence a uma região que possui uma mudança de luminescên cia. O codificador configura lic_flag para um valor igual a "1", quando o bloco pertencer a uma região que possui uma mudança de lumines cênciae aplica um processo LIC quando da codificação, e configura o lic_flag para um valor igual a "0" quando o bloco não pertencer a uma região que possui uma mudança de luminescência e codifica o bloco atual sem aplicar um processo LIC. O decodificador pode decodificar lic_flag escrito na sequência e decodificar o bloco atual pela comuta ção entre a aplicação e a não aplicação de um processo LIC de acordo com o valor do indicador.[00277] An example of a method for determining the application, or not, of a LIC process and a method for using a lic_flag, which is a signal that indicates the application, or not, of the LIC process. As a specific example, the encoder determines whether the current block belongs to a region that has a change in luminescence. The encoder sets lic_flag to a value equal to "1" when the block belongs to a region that has a luminescence change and applies an LIC process when encoding, and sets lic_flag to a value equal to "0" when the block not belong to a region that has a luminescence change and encodes the current block without applying a LIC process. The decoder can decode lic_flag written in the sequence and decode the current block by switching between applying and not applying a LIC process according to the indicator value.

[00278] Um exemplo de um método diferente de determinação da aplicação, ou não, de um processo LIC é um método de determinação de acordo com o fato de se um processo LIC foi aplicado a um bloco circundante. Em um exemplo específico, quando o modo de mistura é utilizado no bloco atual, o fato de um processo LIC ter sido aplicado na codificação do bloco codificado circundante, selecionado mediante a derivação do MV no processo de modo de mistura, é determinado. De acordo com o resultado, a codificação é realizada pela comutação en tre a aplicação e a não aplicação de um processo LIC. Deve-se notar que, também nesse exemplo, os mesmos processos são aplicados aos processos no lado do decodificador.[00278] An example of a different method of determining whether or not a LIC process has been applied is a method of determining whether a LIC process has been applied to a surrounding block. In a specific example, when the mixing mode is used in the current block, the fact that a LIC process has been applied in encoding the surrounding coded block, selected by deriving the MV in the mixing mode process, is determined. According to the result, coding is performed by switching between applying and not applying a LIC process. It should be noted that, also in this example, the same processes are applied to the processes on the decoder side.

[00279] Uma modalidade do processo de correção de luminescên cia (LIC), descrito com referência à figura 39, é descrita em detalhes abaixo.[00279] An embodiment of the luminescence correction process (LIC), described with reference to figure 39, is described in detail below.

[00280] Primeiro, o interprevisor 126 deriva um vetor de movimento para obtenção de uma imagem de referência correspondente a um bloco atual a ser codificado a partir de uma imagem de referência, que é uma imagem codificada.[00280] First, the interpredictor 126 derives a motion vector for obtaining a reference image corresponding to a current block to be encoded from a reference image, which is a coded image.

[00281] A seguir, o interprevisor 126 extrai informação indicando como o valor de luminescência da imagem de referência foi alterado para o valor de luminescência da imagem atual, utilizando o valor de pixel de luminescência de uma região de referência circundante codifi cada, que é vizinha pelo lado esquerdo ou a partir de cima do bloco atual, e o valor de luminescência na posição correspondente na ima gem de referência especificada por um vetor de movimento, e calcula um parâmetro de correção de luminescência. Por exemplo, é assumi do que o valor de pixel de luminescência de um pixel determinado na região de referência circundante na imagem atual é p0, e que o valor de pixel de luminescência do pixel correspondente ao pixel determina- do na região de referência circundante na imagem de referência é p1. O interprevisor 126 calcula os coeficientes A e B para otimizar A x p1 + B = p0 como o parâmetro de correção de luminescência para uma plu ralidade de pixels na região de referência circundante.[00281] Next, the interpredictor 126 extracts information indicating how the luminescence value of the reference image was changed to the luminescence value of the current image, using the luminescence pixel value of a coded surrounding reference region, which is neighbor from the left side or from above the current block, and the luminescence value at the corresponding position in the reference image specified by a motion vector, and calculates a luminescence correction parameter. For example, it is assumed that the pixel luminescence value of a pixel determined in the surrounding reference region in the current image is p0, and that the pixel luminescence value of the pixel corresponding to the pixel determined in the surrounding reference region in the reference image is p1. The interpredictor 126 calculates the coefficients A and B to optimize A x p1 + B = p0 as the luminescence correction parameter for a plurality of pixels in the surrounding reference region.

[00282] A seguir, o interprevisor 126 realiza um processo de corre ção de luminescência, utilizando o parâmetro de correção de lumines cênciapara a imagem de referência na imagem de referência especifi cada pelo vetor de movimento, para gerar uma imagem de previsão para o bloco atual. Por exemplo, assume-se que o valor de pixel de luminescência na imagem de referência seja p2, e que o valor de pixel de luminescência de luminescência corrigida da imagem de previsão seja p3. O interprevisor 126 gera a imagem de previsão depois de ser submetida ao processo de correção de luminescência pelo cálculo A x p2 + B = p3, para cada um dos pixels na imagem de referência.[00282] Next, the interpredictor 126 performs a luminescence correction process, using the luminescence correction parameter for the reference image in the reference image specified by the motion vector, to generate a prediction image for the block current. For example, assume that the luminescence pixel value in the reference image is p2, and the luminescence corrected luminescence pixel value of the prediction image is p3. The interforecaster 126 generates the prediction image after being subjected to the luminescence correction process by calculating A x p2 + B = p3, for each of the pixels in the reference image.

[00283] Deve-se notar que o formato da região de referência cir cundante, ilustrada na figura 39, é um exemplo; um formato diferente do formato da região de referência circundante pode ser utilizado. Adi-cionalmente parte da região de referência circundante, ilustrada na fi gura 39, pode ser utilizada. Por exemplo, uma região, possuindo um número determinado de pixels extraídos de cada um dentre um pixel vizinho superior um pixel vizinho esquerdo, pode ser utilizada como uma região de referência circundante. O número determinado de pixels pode ser predeterminado.[00283] It should be noted that the shape of the surrounding reference region, illustrated in figure 39, is an example; a format different from the format of the surrounding reference region may be used. Additionally part of the surrounding reference region, illustrated in figure 39, can be used. For example, a region, having a given number of pixels extracted from each of an upper neighboring pixel and a left neighboring pixel, can be used as a surrounding reference region. The given number of pixels can be predetermined.

[00284] Adicionalmente, a região de referência circundante não está limitada a uma região vizinha do bloco atual, e pode ser uma região que não é vizinha do bloco atual. No exemplo ilustrado na figura 39, a região de referência circundante, na imagem de referência, é uma re gião especificada por um vetor de movimento em uma imagem atual, a partir de uma região de referência circundante na imagem atual. No entanto, uma região especificada por outro vetor de movimento tam- bém é possível. Por exemplo, o outro vetor de movimento pode ser um vetor de movimento em uma região de referência circundante na ima gem atual.[00284] Additionally, the surrounding reference region is not limited to a neighboring region of the current block, and may be a region that is not neighboring the current block. In the example illustrated in Figure 39, the surrounding reference region in the reference image is a region specified by a motion vector in a current image from a surrounding reference region in the current image. However, a region specified by another motion vector is also possible. For example, the other motion vector may be a motion vector in a surrounding reference region in the current image.

[00285] Apesar de as operações realizadas pelo codificador 100 terem sido descritas aqui, deve-se notar que o decodificador 200 reali za, tipicamente, operações similares.[00285] Although the operations performed by encoder 100 have been described here, it should be noted that decoder 200 typically performs similar operations.

[00286] Deve-se notar que o processo LIC pode ser aplicado não apenas à luminescência, mas também à crominância. Nesse momen to, um parâmetro de correção pode ser derivado individualmente para cada um dentre Y, Cb e Cr, ou um parâmetro de correção comum po de ser utilizado para qualquer um dentre Y, Cb e Cr.[00286] It should be noted that the LIC process can be applied not only to luminescence, but also to chrominance. At this time, a correction parameter can be derived individually for each of Y, Cb, and Cr, or a common correction parameter can be used for any of Y, Cb, and Cr.

[00287] Adicionalmente, o processo LIC pode ser aplicado em uni dades de um sub-bloco. Por exemplo, um parâmetro de correção pode ser derivado utilizando-se uma região de referência circundante em um sub-bloco atual e uma região de referência circundante em um sub- bloco de referência em uma imagem de referência especificada por um MV do sub-bloco atual.[00287] Additionally, the LIC process can be applied to units of a sub-block. For example, a correction parameter can be derived using a surrounding reference region in a current sub-block and a surrounding reference region in a reference sub-block in a reference image specified by an MV of the sub-block. current.

Forecast Controller

[00288] O interprevisor 128 seleciona um dentre um sinal de intra- previsão (um sinal enviado a partir do intraprevisor 124) e um sinal de interprevisão (um sinal enviado a partir do interprevisor 126), e envia o sinal selecionado para o subtraidor 104 e somador 116, como um sinal de previsão.[00288] The interforecaster 128 selects one of an intraforecast signal (a signal sent from the intraforecaster 124) and an interforecaster signal (a signal sent from the interforecaster 126), and sends the selected signal to the subtractor 104 and adder 116, as a prediction signal.

[00289] Como ilustrado na figura 1, em vários tipos de exemplos de codificador, o controlador de previsão 128 pode enviar um parâmetro de previsão que é registrado no codificador por entropia 110. O codifi cador por entropia 110 pode gerar uma sequência de bits codificados (ou uma sequência), com base no parâmetro de previsão que é regis trado a partir do controlador de previsão 128, e coeficientes quantiza- dos que são registrados a partir do quantizador 108. O parâmetro de previsão pode ser utilizado em um decodificador. O decodificador pode receber e decodificar a sequência de bits codificados, e realizar os mesmos processos que os processos de previsão realizados pelo in-traprevisor 124, interprevisor 126 e controlador de previsão 128. O pa-râmetro de previsão pode incluir: (i) um sinal de previsão de seleção (por exemplo, um vetor de movimento, um tipo de previsão, ou um modo de previsão utilizado pelo intraprevisor 124 ou interprevisor 126), ou (ii) um índice opcional, um indicador, ou um valor que é baseado em um processo de previsão realizado em cada um dentre o intrapre visor 124, interprevisor 126 e controlador de previsão 128, ou que indi ca o processo de previsão.[00289] As illustrated in Figure 1, in various types of encoder examples, the prediction controller 128 may send a prediction parameter that is recorded in the entropy encoder 110. The entropy encoder 110 may generate a sequence of encoded bits (or a sequence), based on the prediction parameter that is recorded from the prediction controller 128, and quantized coefficients that are recorded from the quantizer 108. The prediction parameter can be used in a decoder. The decoder may receive and decode the encoded bit sequence, and perform the same processes as the prediction processes performed by the intraforecaster 124, interforecaster 126, and prediction controller 128. The prediction parameter may include: (i) a selection forecast signal (e.g., a motion vector, a forecast type, or a forecast mode used by the intraforecaster 124 or interforecaster 126), or (ii) an optional index, an indicator, or a value that is based in a forecasting process carried out in each of the intraforecaster 124, interforecaster 126 and forecast controller 128, or indicating the forecasting process.

Encoder Assembly Example

[00290] A figura 40 é um diagrama em bloco ilustrando um exemplo de montagem do codificador 100. O codificador 100 inclui o processa dor a1 e a memória a2. Por exemplo, a pluralidade de elementos cons tituintes do codificador 100, ilustrada na figura 1, é montada no pro cessador a1 e memória a2 ilustrados na figura 40.[00290] Figure 40 is a block diagram illustrating an example of assembling encoder 100. Encoder 100 includes processor a1 and memory a2. For example, the plurality of elements constituting the encoder 100, illustrated in Figure 1, is assembled in the processor a1 and memory a2 illustrated in Figure 40.

[00291] O processador a1 é o conjunto de circuitos que realiza o processamento de informação e é acessível à memória a2. Por exem plo, o processador a1 é um conjunto de circuitos eletrônicos dedicado ou geral que codifica um vídeo. O processador a1 pode ser um pro cessador, tal como uma CPU. Adicionalmente, o processador a1 pode ser um agregado de uma pluralidade de circuitos eletrônicos. Adicio nalmente, por exemplo, o processador a1 pode assumir os papeis de dois ou mais elementos constituintes, a partir da pluralidade de ele mentos constituintes do codificador 100 ilustrado na figura 1, etc.[00291] Processor a1 is the set of circuits that performs information processing and is accessible to memory a2. For example, the a1 processor is a dedicated or general set of electronic circuits that encodes a video. Processor a1 may be a processor, such as a CPU. Additionally, the processor a1 may be an aggregate of a plurality of electronic circuits. Additionally, for example, the processor a1 may assume the roles of two or more constituent elements, from the plurality of constituent elements of the encoder 100 illustrated in Figure 1, etc.

[00292] A memória a2 é uma memória dedicada ou geral para ar mazenar informação que é utilizada pelo processador a1 para codificar um vídeo. A memória a2 pode ser um conjunto de circuitos eletrônicos, e pode ser conectada a um processador a1. Adicionalmente, a memó- ria a2 pode ser incluída no processador a1. Adicionalmente, a memó ria a2 pode ser um agregado de uma pluralidade de circuitos eletrôni cos. Adicionalmente, a memória a2 pode ser um disco magnético, um disco ótico, ou similar, ou pode ser representada como um armazena- dor, um meio de gravação, ou similares. Adicionalmente, a memória a2 pode ser a memória não volátil, ou memória volátil.[00292] Memory a2 is a dedicated or general memory for storing information that is used by processor a1 to encode a video. Memory a2 can be a set of electronic circuits, and can be connected to an a1 processor. Additionally, memory a2 can be included in processor a1. Additionally, memory a2 may be an aggregate of a plurality of electronic circuits. Additionally, memory a2 may be a magnetic disk, an optical disk, or the like, or may be represented as a store, a recording medium, or the like. Additionally, memory a2 may be non-volatile memory, or volatile memory.

[00293] Por exemplo, a memória a2 pode armazenar um vídeo a ser codificado ou uma sequência de bits correspondendo a um vídeo codificado. Adicionalmente, a memória a2 pode armazenar um pro grama para fazer com que o processador a1 codifique um vídeo.[00293] For example, memory a2 can store a video to be encoded or a bit sequence corresponding to an encoded video. Additionally, the a2 memory can store a program to cause the a1 processor to encode a video.

[00294] Adicionalmente, por exemplo, a memória a2 pode assumir os papeis de dois ou mais elementos constituintes para armazenar in-formação a partir da pluralidade de elementos constituintes do codifi cador 100 ilustrado na figura 1, etc. Por exemplo, a memória a2 pode assumir os papeis da memória de bloco 118 e memória de quadro 122 ilustradas na figura 1. Mais especificamente, a memória a2 pode ar mazenar um bloco reconstruído, uma imagem reconstruída, etc.[00294] Additionally, for example, memory a2 can assume the roles of two or more constituent elements to store information from the plurality of constituent elements of the encoder 100 illustrated in figure 1, etc. For example, memory a2 can assume the roles of block memory 118 and frame memory 122 illustrated in Figure 1. More specifically, memory a2 can store a reconstructed block, a reconstructed image, etc.

[00295] Deve-se notar que, no codificador 100, toda pluralidade de elementos constituintes indicados na figura 1, etc. pode não ser imple-mentada, e todos os processos descritos acima podem não ser reali-zados. Parte dos elementos constituintes indicados na figura 1, etc. pode ser incluída em outro dispositivo, ou parte dos processos descri tos acima pode ser realizada por outro dispositivo.[00295] It should be noted that, in encoder 100, all the plurality of constituent elements indicated in figure 1, etc. may not be implemented, and all the processes described above may not be carried out. Part of the constituent elements indicated in figure 1, etc. may be included in another device, or part of the processes described above may be performed by another device.

Decoder

[00296] A seguir, um decodificador capaz de decodificar uma saída de sinal codificado (sequência de bits codificados), por exemplo, a par tir do codificador 100 descrito acima, será descrito. A figura 41 é um diagrama em bloco ilustrando uma configuração funcional do decodifi- cador 200 de acordo com uma modalidade. O decodificador 200 é um decodificador de vídeo que decodifica um vídeo em unidades de um bloco.[00296] Next, a decoder capable of decoding a coded signal output (coded bit sequence), for example, from the coder 100 described above, will be described. Figure 41 is a block diagram illustrating a functional configuration of decoder 200 according to one embodiment. Decoder 200 is a video decoder that decodes a video into units of a block.

[00297] Como ilustrado na figura 41, o decodificador 200 inclui o decodificador por entropia 202, o quantizador inverso 204, o transfor-mador inverso 206, somador 208, a memória de bloco 210, filtro de circuito 212, a memória de quadro 214, o intraprevisor 216, o interpre-visor 218 e o controlador de previsão 220.[00297] As illustrated in Figure 41, decoder 200 includes entropy decoder 202, inverse quantizer 204, inverse transformer 206, adder 208, block memory 210, circuit filter 212, frame memory 214 , the intraforecaster 216, the interforecaster 218 and the forecast controller 220.

[00298] O decodificador 200 é implementado como, por exemplo, um processador genérico e uma memória. Nesse caso, quando um programa de software armazenado na memória é executado pelo pro cessador, o processador funciona como o decodificador por entropia 202, o quantizador inverso 204, o transformador inverso 206, o soma- dor 208, o filtro de circuito 212, o intraprevisor 216, o interprevisor 218 e o controlador de previsão 220. Alternativamente, o decodificador 200 pode ser implementado como um ou mais circuitos eletrônicos dedica dos, correspondendo ao decodificador por entropia 202, quantizador inverso 204, transformador inverso 206, somador 208, filtro de circuito 212, intraprevisor 216, interprevisor 218 e controlador de previsão 220.[00298] Decoder 200 is implemented as, for example, a generic processor and memory. In this case, when a software program stored in memory is executed by the processor, the processor functions as the entropy decoder 202, the inverse quantizer 204, the inverse transformer 206, the adder 208, the circuit filter 212, the intraforecaster 216, the interforecaster 218, and the prediction controller 220. Alternatively, the decoder 200 may be implemented as one or more dedicated electronic circuits, corresponding to the entropy decoder 202, inverse quantizer 204, inverse transformer 206, adder 208, filter circuit 212, intraforecaster 216, interforecaster 218 and forecast controller 220.

[00299] Doravante, um fluxo geral de processos realizados pelo de- codificador 200 é descrito, e, então, cada um dos elementos constituin-tesincluídos no decodificador 200 será descrito.[00299] Hereinafter, a general flow of processes performed by decoder 200 is described, and then each of the constituent elements included in decoder 200 will be described.

General Decoding Process Flow

[00300] A figura 42 é um fluxograma ilustrando um exemplo de um processo de decodificação geral realizado pelo decodificador 200.[00300] Figure 42 is a flowchart illustrating an example of a general decoding process performed by decoder 200.

[00301] Primeiro, o decodificador por entropia 202 do decodificador 200 identifica um padrão de divisão de um bloco possuindo um tama nho fixo (por exemplo, 128 x 128 pixels) (Etapa Sp_1). Esse padrão de divisão é um padrão de divisão selecionado pelo codificador 100. O decodificador 200, então, realiza os processos da Etapa Sp_2 a Sp_6 para cada um dentre uma pluralidade de blocos do padrão de divisão.[00301] First, the entropy decoder 202 of the decoder 200 identifies a division pattern of a block having a fixed size (e.g., 128 x 128 pixels) (Step Sp_1). This division pattern is a division pattern selected by encoder 100. Decoder 200 then performs the processes of Step Sp_2 to Sp_6 for each of a plurality of blocks of the division pattern.

[00302] Em outras palavras, o decodificador por entropia 202 deco- difica (especificamente, decodifica por entropia) coeficientes quantiza- dos codificados e um parâmetro de previsão de um bloco atual a ser decodificado (também referido como um bloco atual) (Etapa Sp_2).[00302] In other words, the entropy decoder 202 decodes (specifically, entropy decodes) encoded quantized coefficients and a prediction parameter of a current block to be decoded (also referred to as a current block) (Step Sp_2 ).

[00303] A seguir, o quantizador inverso 204 realiza a quantização inversa dentre a pluralidade de coeficientes quantizados e o transfor mador inverso 206 realiza a transformação inversa do resultado, para restaurar uma pluralidade de residuais de previsão (isso é, um bloco de diferença) (Etapa Sp_3).[00303] Next, the inverse quantizer 204 performs inverse quantization among the plurality of quantized coefficients, and the inverse transformer 206 performs the inverse transformation of the result, to restore a plurality of prediction residuals (i.e., a difference block). (Step Sp_3).

[00304] A seguir, o processador de previsão incluindo todo ou parte do intraprevisor 216, interprevisor 218, e controlador de previsão 220 gera um sinal de previsão (também referido como um bloco de previ são) do bloco atual (Etapa Sp_4).[00304] Next, the prediction processor including all or part of the intraforecaster 216, interforecaster 218, and prediction controller 220 generates a prediction signal (also referred to as a prediction block) from the current block (Step Sp_4).

[00305] A seguir, o somador 208 adiciona o bloco de previsão ao bloco de diferença para gerar uma imagem reconstruída (também refe rida como um bloco de imagem decodificada) do bloco atual (Etapa Sp_5).[00305] Next, adder 208 adds the prediction block to the difference block to generate a reconstructed image (also referred to as a decoded image block) of the current block (Step Sp_5).

[00306] Quando a imagem reconstruída é gerada, o filtro de circuito 212 realiza a filtragem da imagem reconstruída (Etapa Sp_6).[00306] When the reconstructed image is generated, the circuit filter 212 performs filtering of the reconstructed image (Step Sp_6).

[00307] O decodificador 200, então, determina se a decodificação de toda a imagem foi terminada (Etapa Sp_7). Quando da determina ção de que a decodificação ainda não terminou (Não na Etapa Sp_7), o decodificador 200 executa repetidamente os processos começando com a Etapa Sp_1.[00307] Decoder 200 then determines whether decoding of the entire image has finished (Step Sp_7). Upon determining that decoding has not yet finished (Not at Step Sp_7), decoder 200 repeatedly executes the processes starting with Step Sp_1.

[00308] Como ilustrado, os processos das Etapas Sp_1 a Sp_7 são realizados sequencialmente pelo decodificador 200. Alternativamente, dois ou mais dos processos podem ser realizados em paralelo, a or dem de processamento de dois ou mais dos processos pode ser modi ficada, etc.[00308] As illustrated, the processes of Steps Sp_1 to Sp_7 are performed sequentially by decoder 200. Alternatively, two or more of the processes may be performed in parallel, the processing order of two or more of the processes may be modified, etc. .

Entropy Decoder

[00309] O decodificador por entropia 202 decodifica por entropia uma sequência de bits codificados. Mais especificamente, por exem plo, o decodificador por entropia 202 decodifica aritmeticamente uma sequência de bits codificados em um sinal binário. O decodificador por entropia 202, então, desbinariza o sinal binário. Com isso, o decodifi- cador por entropia 202 envia os coeficientes quantizados de cada blo co para o quantizador inverso 204. O decodificador por entropia 202 pode enviar um parâmetro de previsão incluído em uma sequência de bits codificados (ver figura 1) para o intraprevisor 216, interprevisor 218 e controlador de previsão 220. O intraprevisor 216, o interprevisor 218 e o controlador por previsão 220 em uma modalidade podem exe cutar os mesmos processos de previsão que os realizados pelo intra previsor 124, interprevisor 126 e controlador de previsão 128 no lado do codificador.[00309] Entropy decoder 202 entropy decodes a sequence of encoded bits. More specifically, for example, entropy decoder 202 arithmetically decodes a sequence of encoded bits into a binary signal. The entropy decoder 202 then debinarizes the binary signal. Thereby, the entropy decoder 202 sends the quantized coefficients of each block to the inverse quantizer 204. The entropy decoder 202 can send a prediction parameter included in a sequence of coded bits (see Figure 1) to the intrapredictor 216, interforecaster 218 and forecast controller 220. The intraforecaster 216, interforecaster 218 and forecast controller 220 in one embodiment can perform the same forecasting processes as those performed by the intraforecaster 124, interforecaster 126 and forecast controller 128 in the encoder side.

Inverse Quantizer

[00310] O quantizador inverso 204 quantiza de forma inversa os coeficientes quantizados de um bloco a ser decodificado (doravante referido como um bloco atual), que são registrados a partir do decodifi- cador por entropia 202. Mais especificamente, o quantizador inverso 204 quantiza de forma inversa os coeficientes quantizados do bloco atual, com base nos parâmetros de quantização correspondentes aos coeficientes quantizados. O quantizador inverso 204, então, envia os coeficientes de transformação quantizados inversos do bloco atual pa ra o transformador inverso 206.[00310] The inverse quantizer 204 inversely quantizes the quantized coefficients of a block to be decoded (hereinafter referred to as a current block), which are recorded from the decoder by entropy 202. More specifically, the inverse quantizer 204 quantizes inversely the quantized coefficients of the current block, based on the quantization parameters corresponding to the quantized coefficients. The inverse quantizer 204 then sends the inverse quantized transformation coefficients of the current block to the inverse transformer 206.

Inverse Transformer

[00311] O transformador inverso 206 restaura os erros de previsão pela transformação inversa dos coeficientes de transformação que são registrados a partir do quantizador inverso 204.[00311] The inverse transformer 206 restores prediction errors by inversely transforming the transformation coefficients that are recorded from the inverse quantizer 204.

[00312] Por exemplo, quando a informação analisada a partir de uma sequência de bits codificados indica que EMT ou AMT deve ser aplicado (por exemplo, quando um indicador AMT é verdadeiro), o transformador inverso 206 transforma de forma inversa os coeficientes de transformação do bloco atual, com base na informação que indica o tipo de transformação analisado.[00312] For example, when information analyzed from a coded bit sequence indicates that EMT or AMT should be applied (e.g., when an AMT indicator is true), the inverse transformer 206 inversely transforms the transformation coefficients of the current block, based on information indicating the type of transformation analyzed.

[00313] Ademais, por exemplo, quando a informação analisada a partir de uma sequência de bits codificados indica que NSST deve ser aplicado, o transformador inverso 206 aplica uma transformação inver sasecundária aos coeficientes de transformação.[00313] Furthermore, for example, when information analyzed from a coded bit sequence indicates that NSST should be applied, the inverse transformer 206 applies a secondary inverse transformation to the transformation coefficients.

Adder

[00314] O somador 208 reconstrói o bloco atual pela adição de er ros de previsão que são registrados a partir do transformador inverso 206 e amostras de previsão que são registradas a partir do controlador de previsão 220. O somador 208, então, envia o bloco reconstruído para a memória de bloco 210 e filtro de circuito 212.[00314] Adder 208 reconstructs the current block by adding prediction errors that are recorded from inverse transformer 206 and prediction samples that are recorded from prediction controller 220. Adder 208 then sends the block rebuilt for block memory 210 and circuit filter 212.

Block Memory

[00315] A memória de bloco 210 é o armazenador para armazenar os blocos em uma imagem a ser decodificada (doravante referida co mo uma imagem atual) e a ser referida na intraprevisão. Mais especifi camente, a memória de bloco 210 armazena os blocos reconstruídos enviados a partir do somador 208.[00315] Block memory 210 is the store for storing the blocks in an image to be decoded (hereinafter referred to as a current image) and to be referred to in the intraprediction. More specifically, block memory 210 stores the reconstructed blocks sent from adder 208.

Circuit Filter

[00316] O filtro de circuito 212 aplica um filtro de circuito para blo cos reconstruídos pelo somador 208, e envia os blocos reconstruídos filtrados para a memória de quadro 214, dispositivo de exibição, etc.[00316] Circuit filter 212 applies a circuit filter to blocks reconstructed by adder 208, and sends the filtered reconstructed blocks to frame memory 214, display device, etc.

[00317] Quando a informação indicando o LIGAR ou DESLIGAR de um ALF, analisada a partir de uma sequência de bits codificados, indi ca que um ALF está LIGADO, um filtro dentre uma pluralidade de fil tros é selecionado com base na direção e atividade dos gradientes lo cais, e o filtro selecionado é aplicado ao bloco reconstruído.[00317] When information indicating the ON or OFF of an ALF, analyzed from a coded bit sequence, indicates that an ALF is ON, a filter among a plurality of filters is selected based on the direction and activity of the local gradients, and the selected filter is applied to the reconstructed block.

Frame Memory

[00318] A memória de quadro 214 é, por exemplo, o armazenador para armazenar imagens de referência para uso na interprevisão, e também é referida como um armazenador de quadro. Mais especifi-camente, a memória de quadro 214 armazena um bloco reconstruído filtrado pelo filtro de circuito 212.[00318] Frame memory 214 is, for example, the store for storing reference images for use in interprediction, and is also referred to as a frame store. More specifically, frame memory 214 stores a reconstructed block filtered by circuit filter 212.

Forecast Processor (Intraforecaster, Interforecaster, Forecast Controller)

[00319] A figura 43 é um fluxograma ilustrando um exemplo de um processo realizado por um processador de previsão do decodificador 200. Deve-se notar que o processador de previsão inclui todos ou par te dos elementos constituintes a seguir: intraprevisor 216; interprevisor 218; e controlador de previsão 220.[00319] Figure 43 is a flowchart illustrating an example of a process performed by a decoder prediction processor 200. It should be noted that the prediction processor includes all or part of the following constituent elements: intrapredictor 216; interforecaster 218; and forecast controller 220.

[00320] O processador de previsão gera uma imagem de previsão de um bloco atual (Etapa Sq_1). Essa imagem de previsão também é referida como um sinal de previsão ou um bloco de previsão. Deve-se notar que o sinal de previsão, por exemplo, é um sinal de intraprevisão ou um sinal de interprevisão. Especificamente, o processador de pre visão gera a imagem de previsão do bloco atual, utilizando uma ima gem reconstruída que já foi obtida através da geração de um bloco de previsão, geração de um bloco de diferença, geração de um bloco de coeficiente, restauração de um bloco de diferença, e geração de um bloco de imagem decodificado.[00320] The prediction processor generates a prediction image of a current block (Step Sq_1). This prediction image is also referred to as a prediction signal or a prediction block. It should be noted that the forecast signal, for example, is an intraforecast signal or an interforecast signal. Specifically, the prediction processor generates the prediction image of the current block, using a reconstructed image that has already been obtained by generating a prediction block, generating a difference block, generating a coefficient block, restoring a difference block, and generating a decoded image block.

[00321] A imagem reconstruída pode ser, por exemplo, uma ima gem em uma imagem de referência, ou uma imagem de um bloco de codificado em uma imagem atual que é a imagem que inclui o bloco atual. O bloco decodificado na imagem atual é, por exemplo, um bloco vizinho do bloco atual.[00321] The reconstructed image can be, for example, an image in a reference image, or an image of an encoded block in a current image that is the image that includes the current block. The decoded block in the current image is, for example, a neighboring block of the current block.

[00322] A figura 44 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do decodificador 200.[00322] Figure 44 is a flowchart illustrating another example of a process performed by the decoder prediction processor 200.

[00323] O processador de previsão determina um método ou um modo para a geração de uma imagem de previsão (Etapa Sr_1). Por exemplo, o método ou modo pode ser determinado com base, por exemplo, em um parâmetro de previsão, etc.[00323] The prediction processor determines a method or mode for generating a prediction image (Step Sr_1). For example, the method or mode may be determined based on, for example, a prediction parameter, etc.

[00324] Quando da determinação de um primeiro método como um modo de geração de uma imagem de previsão, o processador de pre visão gera uma imagem de previsão de acordo com o primeiro método (Etapa Sr_2a). Quando da determinação de um segundo método como um modo para geração de uma imagem de previsão, o processador de previsão gera uma imagem de previsão de acordo com o segundo mé todo (Etapa Sr_2b). Quando da determinação de um terceiro método como um modo de geração de uma imagem de previsão, o processa dor de previsão gera uma imagem de previsão de acordo com o tercei rométodo (Etapa S_2c).[00324] When determining a first method as a mode of generating a prediction image, the prediction processor generates a prediction image according to the first method (Step Sr_2a). When determining a second method as a mode for generating a prediction image, the prediction processor generates a prediction image according to the second method (Step Sr_2b). When determining a third method as a mode of generating a prediction image, the prediction processor generates a prediction image according to the third method (Step S_2c).

[00325] O primeiro método, o segundo método, e o terceiro método podem ser métodos mutuamente diferentes para gerar uma imagem de previsão. Cada um do primeiro ao terceiro métodos pode ser um método de interprevisão, um método de intraprevisão, ou outro método de previsão. A imagem reconstruída descrita acima pode ser utilizada nesses métodos de previsão. Intraprevisor[00325] The first method, the second method, and the third method may be mutually different methods for generating a prediction image. Each of the first through third methods can be an interforecast method, an intraforecast method, or another forecast method. The reconstructed image described above can be used in these prediction methods. Intraforecaster

[00326] O intraprevisor 216 gera um sinal de previsão (sinal de in- traprevisão) pela realização da intraprevisão por referência a um bloco ou blocos na imagem atual armazenada na memória de bloco 210, com base no modo de intraprevisão analisado a partir da sequência de bits codificados. Mais especificamente, o intraprevisor 216 gera um sinal de intraprevisão pela realização da intraprevisão por referência às amostras (por exemplo, valores de luminescência e/ou crominância) de um bloco ou blocos vizinhos do bloco atual, e, então, envia o sinal de intraprevisão para o controlador de previsão 220.[00326] The intraforecaster 216 generates a prediction signal (intraforecast signal) by performing intraforecast by reference to a block or blocks in the current image stored in block memory 210, based on the intraforecast mode analyzed from the sequence of encoded bits. More specifically, the intrapredictor 216 generates an intraprediction signal by performing the intraprediction by reference to samples (e.g., luminescence and/or chrominance values) of a neighboring block or blocks of the current block, and then sends the intraprediction signal for prediction controller 220.

[00327] Deve-se notar que quando um modo de intraprevisão, no qual um bloco de luminescência é referido na intraprevisão de um blo co de crominância, é selecionado, o intraprevisor 216 pode prever o componente de crominância do bloco atual, com base no componente de luminescência do bloco atual.[00327] It should be noted that when an intraprediction mode, in which a luminescence block is referred to in the intraprediction of a chrominance block, is selected, the intrapredictor 216 can predict the chrominance component of the current block, based on the luminescence component of the current block.

[00328] Ademais, quando a informação analisada a partir de uma sequência de bits codificados indica que PDPC deve ser aplicado, o intraprevisor 216 corrige os valores de pixel intraprevistos nos gradien tes de pixel de referência horizontal/vertical.[00328] Furthermore, when information analyzed from a coded bit sequence indicates that PDPC should be applied, the intrapredictor 216 corrects the intrapredicted pixel values in the horizontal/vertical reference pixel gradients.

Interforecaster

[00329] O interprevisor 218 prevê o bloco atual por referência a uma imagem de referência armazenada na memória de quadro 214. A interprevisão é realizada em unidades de um bloco atual ou um sub- bloco (por exemplo, um bloco de 4 x 4) no bloco atual. Por exemplo, o interprevisor 218 gera um sinal de interprevisão do bloco atual ou sub- bloco pela realização da compensação de movimento pela utilização da informação de movimento (por exemplo, um vetor de movimento), analisado a partir uma sequência de bits codificados (por exemplo, um parâmetro de previsão enviado a partir do decodificador por entropia 202), e envia o sinal de interprevisão para o controlador de previsão 220.[00329] Interpredictor 218 predicts the current block by reference to a reference image stored in frame memory 214. Interprediction is performed in units of a current block or a subblock (e.g., a 4 x 4 block). in the current block. For example, interpredictor 218 generates an interpredictor signal of the current block or subblock by performing motion compensation using motion information (e.g., a motion vector), analyzed from a sequence of coded bits (e.g., example, a prediction parameter sent from the entropy decoder 202), and sends the interprediction signal to the prediction controller 220.

[00330] Deve-se notar que quando a informação analisada a partir da sequência de bits codificados indicar que o modo OBMC deve ser aplicado, o interprevisor 218 gera o sinal de interprevisão utilizando a informação de movimento de um bloco vizinho em adição à informação de movimento do bloco atual, obtida a partir da estimativa de movi mento.[00330] It should be noted that when the information analyzed from the encoded bit sequence indicates that the OBMC mode should be applied, the interpredictor 218 generates the interprediction signal using the movement information of a neighboring block in addition to the information of movement of the current block, obtained from the movement estimate.

[00331] Ademais, quando a informação analisada a partir da se quência de bits codificados indicar que o modo FRUC deve ser aplica do, o interprevisor 218 deriva a informação de movimento pela realiza ção da estimativa de movimento, de acordo com o método de combi- nação de padrão (combinação bilateral ou combinação de gabarito) analisada a partir da sequência de bits codificados. O interprevisor 218, então, realiza a compensação de movimento (previsão) utilizando a informação de movimento derivada.[00331] Furthermore, when the information analyzed from the coded bit sequence indicates that the FRUC mode should be applied, the interpredictor 218 derives the motion information by performing the motion estimation, in accordance with the combination method. - pattern nation (bilateral combination or template combination) analyzed from the encoded bit sequence. The interforecaster 218 then performs motion compensation (prediction) using the derived motion information.

[00332] Ademais, quando o modo BIO deve ser aplicado, o inter previsor 218 deriva um vetor de movimento com base em um modelo que assume o movimento linear uniforme. Ademais, quando a infor mação analisada a partir da sequência de bits codificados indicar que o modo de previsão de compensação de movimento afim deve ser aplicado, o interprevisor 218 deriva um vetor de movimento de cada sub-bloco com base nos vetores de movimento dos blocos vizinhos.[00332] Furthermore, when the BIO mode is to be applied, the inter predictor 218 derives a motion vector based on a model that assumes uniform linear motion. Furthermore, when the information analyzed from the coded bit sequence indicates that the affine motion compensation prediction mode should be applied, the interpredictor 218 derives a motion vector from each sub-block based on the motion vectors of the blocks. neighbors.

MV Derivation > Normal Intermode

[00333] Quando a informação analisada a partir de uma sequência de bits codificados indicar que o intermodo normal deve ser aplicado, o interprevisor 218 deriva um MV com base na informação analisada a partir da sequência de bits codificados e realiza a compensação de movimento (previsão) utilizando MV.[00333] When the information analyzed from a coded bit sequence indicates that the normal intermode should be applied, the interpredictor 218 derives an MV based on the information analyzed from the coded bit sequence and performs motion compensation (prediction ) using MV.

[00334] A figura 45 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal no decodificador 200.[00334] Figure 45 is a flowchart illustrating an example of interprediction in normal mode in decoder 200.

[00335] O interprevisor 218 do decodificador 200 realiza a compen sação de movimento para cada bloco. O interprevisor 218 obtém uma pluralidade de candidatos a MV para um bloco atual com base na in-formação, tal como MVs de uma pluralidade de blocos decodificados que cercam, de forma temporal ou espacial, o bloco atual (Etapa Ss_1). Em outras palavras, o interprevisor 218 gera uma lista de can didatos a MV.[00335] Interpredictor 218 of decoder 200 performs motion compensation for each block. The interpredictor 218 obtains a plurality of MV candidates for a current block based on information, such as MVs from a plurality of decoded blocks that temporally or spatially surround the current block (Step Ss_1). In other words, the interforecaster 218 generates a list of MV candidates.

[00336] A seguir, o interprevisor 218 extrai N (um inteiro igual a ou superior a 2) candidatos a MV da pluralidade de candidatos a MV obti dos na Etapa Ss_1, como os candidatos a previsor de vetor de movi mento (também referidos como candidatos a previsor de MV), de acordo com uma ordem de prioridade determinada (Etapa Ss_2). De ve-se notar que a ordem de prioridade pode ser determinada anteci padamente para cada um dos N candidatos a previsor de MV.[00336] Next, the interpredictor 218 extracts N (an integer equal to or greater than 2) MV candidates from the plurality of MV candidates obtained in Step Ss_1, such as the motion vector predictor candidates (also referred to as MV predictor candidates), according to a determined priority order (Step Ss_2). It should be noted that the priority order can be determined in advance for each of the N MV predictor candidates.

[00337] A seguir, o interprevisor 218 decodifica a informação de se leção de previsor de vetor de movimento, a partir de uma sequência de entrada (isso é, uma sequência de bits codificados), e seleciona um candidato a previsor de MV a partir dos N candidatos a previsor de MV, utilizando a informação de seleção de previsor de vetor de movi mento decodificado, como um vetor de movimento (também referido como um previsor de MV) do bloco atual (Etapa Ss_3).[00337] Next, the interpredictor 218 decodes the motion vector predictor selection information from an input sequence (i.e., a sequence of encoded bits), and selects a MV predictor candidate from of the N MV predictor candidates, using the decoded motion vector predictor selection information, as a motion vector (also referred to as an MV predictor) of the current block (Step Ss_3).

[00338] A seguir, o interprevisor 218 decodifica uma diferença de MV a partir da sequência de entrada, e deriva um MV para um bloco atual pela adição de um valor de diferença, que é a diferença de MV decodificada, e um previsor de vetor de movimento selecionado (Etapa Ss_4).[00338] Next, the interpredictor 218 decodes an MV difference from the input sequence, and derives an MV for a current block by adding a difference value, which is the decoded MV difference, and a vector predictor of selected movement (Step Ss_4).

[00339] Por fim, o interprevisor 218 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual utilizando o MV derivado e a imagem de referência decodi ficada (Etapa Ss_5).[00339] Finally, the interpredictor 218 generates a prediction image for the current block by performing motion compensation of the current block using the derived MV and the decoded reference image (Step Ss_5).

Forecast Controller

[00340] O controlador de previsão 220 seleciona o sinal de intrapre- visão ou o sinal de interprevisão, e envia o sinal de previsão selecio nado para o somador 208. Como um todo, as configurações, funções e processos do controlador de previsão 220, do intraprevisor 216, e do interprevisor 218 no lado do decodificador podem corresponder às configurações, funções e processos do controlador de previsão 128, do intraprevisor 124 e do interprevisor 126 no lado do codificador.[00340] The prediction controller 220 selects the intraforecast signal or the interforecast signal, and sends the selected prediction signal to the adder 208. As a whole, the settings, functions and processes of the prediction controller 220, of the intraforecaster 216, and the interforecaster 218 on the decoder side may correspond to the configurations, functions, and processes of the prediction controller 128, the intraforecaster 124, and the interforecaster 126 on the encoder side.

Decoder Assembly Example

[00341] A figura 46 é um diagrama em bloco ilustrando um exemplo de montagem do decodificador 200. O decodificador 200 inclui o pro- cessador b1 e a memória b2. Por exemplo, a pluralidade de elementos constituintes do decodificador 200, ilustrado na figura 41, são monta dos no processador b1 e na memória b2 ilustrados na figura 46.[00341] Figure 46 is a block diagram illustrating an example of assembling decoder 200. Decoder 200 includes processor b1 and memory b2. For example, the plurality of constituent elements of the decoder 200, illustrated in Figure 41, are assembled in the processor b1 and memory b2 illustrated in Figure 46.

[00342] O processador b1 é o conjunto de circuitos que realiza o processamento de informação e é acessível à memória b2. Por exem plo, o processador b1 é um conjunto de circuitos eletrônicos dedica dos, ou gerais, que decodifica um vídeo (isso é, uma sequência de bits codificados). O processador b1 pode ser um processador tal como uma CPU. Adicionalmente, o processador b1 pode ser um agregado de uma pluralidade de circuitos eletrônicos. Adicionalmente, por exemplo, o processador b1 pode assumir os papeis de dois ou mais elementos constituintes, a partir da pluralidade de elementos consti tuintes do decodificador 200 ilustrado na figura 41, etc.[00342] Processor b1 is the set of circuits that performs information processing and is accessible to memory b2. For example, processor b1 is a set of dedicated, or general, electronic circuits that decode a video (that is, a sequence of encoded bits). The processor b1 may be a processor such as a CPU. Additionally, the processor b1 may be an aggregate of a plurality of electronic circuits. Additionally, for example, the processor b1 may assume the roles of two or more constituent elements, from the plurality of constituent elements of the decoder 200 illustrated in Figure 41, etc.

[00343] A memória b2 é uma memória dedicada, ou geral, para ar-mazenarinformação que é utilizada pelo processador b1 para decodi ficar uma sequência de bits codificados. A memória b2 pode ser um conjunto de circuitos eletrônicos, e pode ser conectada ao processador b1. Adicionalmente, a memória b2 pode ser incluída no processador b1. Adicionalmente, a memória b2 pode ser um agregado de uma plu ralidade de circuitos eletrônicos. Adicionalmente, a memória b2 pode ser um disco magnético, um disco ótico, ou similares, ou pode ser re presentada como um armazenador, um meio de gravação, ou simila res. Adicionalmente, a memória b2 pode ser uma memória não volátil, ou uma memória volátil.[00343] Memory b2 is a dedicated, or general, memory for storing information that is used by processor b1 to decode a sequence of encoded bits. Memory b2 may be a set of electronic circuits, and may be connected to processor b1. Additionally, memory b2 can be included in the processor b1. Additionally, memory b2 can be an aggregate of a plurality of electronic circuits. Additionally, the memory b2 may be a magnetic disk, an optical disk, or the like, or may be represented as a storage, a recording medium, or the like. Additionally, memory b2 can be a non-volatile memory, or a volatile memory.

[00344] Por exemplo, a memória b2 pode armazenar um vídeo ou uma sequência de bits. Adicionalmente, a memória b2 pode armaze nar um programa para fazer com que o processador b1 decodifique uma sequência de bits codificados.[00344] For example, memory b2 can store a video or a sequence of bits. Additionally, memory b2 may store a program to cause processor b1 to decode a sequence of encoded bits.

[00345] Adicionalmente, por exemplo, a memória b2 pode assumir os papeis de dois ou mais elementos constituintes para armazenar in- formação a partir da pluralidade de elementos constituintes do decodi- ficador 200 ilustrado na figura 41, etc. Especificamente, a memória b2 pode assumir os papeis da memória de bloco 210 e memória de qua dro 214 ilustrados na figura 41. Mais especificamente, a memória b2 pode armazenar um bloco reconstruído, uma imagem reconstruída, etc.[00345] Additionally, for example, memory b2 can assume the roles of two or more constituent elements to store information from the plurality of constituent elements of the decoder 200 illustrated in figure 41, etc. Specifically, memory b2 can assume the roles of block memory 210 and frame memory 214 illustrated in Figure 41. More specifically, memory b2 can store a reconstructed block, a reconstructed image, etc.

[00346] Deve ser notado que, no decodificador 200, toda a plurali dade de elementos constituintes ilustrados na figura 41, etc. pode não ser implementada, e todos os processos descritos acima podem não ser realizados. Parte dos elementos constituintes indicados na figura 41, etc. pode ser incluída em outro dispositivo, ou parte dos processos descritos acima podem ser realizados por outro dispositivo.[00346] It should be noted that, in decoder 200, all the plurality of constituent elements illustrated in figure 41, etc. may not be implemented, and all the processes described above may not be carried out. Part of the constituent elements indicated in figure 41, etc. may be included in another device, or part of the processes described above may be performed by another device.

Definition of Terms

[00347] Os termos respectivos podem ser definidos como indicado abaixo como exemplos.[00347] The respective terms can be defined as indicated below as examples.

[00348] Uma imagem é um conjunto de amostras de luminescência no formato monocromático ou um conjunto de amostras de lumines cência e dois conjuntos correspondentes de amostras de crominância no formato de cores 4:2:0, 4:2:2 e 4:4:4. Uma imagem pode ser um quadro ou um campo.[00348] An image is a set of luminescence samples in monochromatic format or a set of luminescence samples and two corresponding sets of chrominance samples in the color format 4:2:0, 4:2:2 and 4:4 :4. An image can be a frame or a field.

[00349] Um quadro é a composição de um campo superior e um campo inferior, em que fileiras de amostras 0, 2, 4,... se originam a partir do campo superior e fileiras de amostras 1, 3, 5,... se originam a partir do campo inferior.[00349] A frame is the composition of an upper field and a lower field, in which sample rows 0, 2, 4,... originate from the upper field and sample rows 1, 3, 5,... originate from the upper field and sample rows 1, 3, 5,... . originate from the lower field.

[00350] Uma fatia é um número inteiro de unidades de árvore de codificação contidas em um segmento de fatia independente e todos os segmentos de fatia dependentes subsequentes (se algum), que precedem o próximo segmento de fatia independente (se algum), den tro da mesma unidade de acesso.[00350] A slice is an integer number of coding tree units contained in an independent slice segment and all subsequent dependent slice segments (if any), which precede the next independent slice segment (if any), within from the same access unit.

[00351] Um “tile” é uma região retangular dos blocos de árvore de codificação dentro de uma coluna de “tile” em particular, e uma fileira de “tile” particular em uma imagem. Um “tile” pode ser uma região re-tangular do quadro, que tem por objetivo poder ser decodificada e co-dificada independentemente, apesar de a filtragem de circuito através das bordas do “tile” ainda poderem ser aplicadas.[00351] A "tile" is a rectangular region of coding tree blocks within a particular "tile" column, and a particular "tile" row in an image. A “tile” can be a rectangular region of the frame, which is intended to be decoded and encoded independently, although circuit filtering across the edges of the “tile” can still be applied.

[00352] Um bloco é um conjunto M x N (M colunas por N fileiras) de amostras, ou um conjunto de M x N coeficientes de transformação. Um bloco pode ser uma região quadrada ou retangular de pixels, incluindo uma matriz de Luminescência e duas matrizes de Crominância.[00352] A block is a set M x N (M columns by N rows) of samples, or a set of M x N transformation coefficients. A block can be a square or rectangular region of pixels, including a Luminance matrix and two Chrominance matrices.

[00353] Uma unidade de árvore de codificação (CTU) pode ser um bloco de árvore de codificação de amostras de luminescência de uma imagem que possui três conjuntos de amostras, ou dois blocos de ár vore de codificação correspondentes de amostras de crominância. Al-ternativamente, uma CTU pode ser um bloco de árvore de codificação de amostras de uma dentre uma imagem monocromática e uma ima gem que é codificada utilizando três planos de cores separados e es truturas de sintaxe utilizadas para codificar as amostras.[00353] A coding tree unit (CTU) can be a coding tree block of luminescence samples of an image that has three sets of samples, or two corresponding coding tree blocks of chrominance samples. Alternatively, a CTU may be a sample coding tree block of one of a monochrome image and an image that is coded using three separate color planes and syntax structures used to code the samples.

[00354] Um superbloco pode ser um bloco quadrado de 64 x 64 pixels que consiste em 1 ou 2 blocos de informação de modo ou é di vidido de forma recursiva em quatro blocos de 32 x 32, que podem, eles mesmos, ser divididos adicionalmente.[00354] A superblock may be a 64 x 64 pixel square block that consists of 1 or 2 mode information blocks or is recursively divided into four 32 x 32 blocks, which may themselves be further divided .

Specific Example of the Interpolation Filter Determination Process

[00355] A seguir, um exemplo específico de um processo para de-terminar um filtro de interpolação, de acordo com uma modalidade, será descrito com referência às figuras de 47 a 50. A figura 47 é um fluxograma ilustrando um exemplo do processo para determinar o filtro de interpolação de acordo com a modalidade. Mais especificamente, como ilustrado, por exemplo, na figura 15, o processador de previsão determina o vetor de movimento (MV) do bloco atual, e realiza a com- pensação de movimento com base no MV, determinado para gerar a imagem de previsão. Na compensação de movimento, primeiramente, a primeira imagem de previsão, com uma precisão de pixel total, é ge rada com base no MV, e a segunda imagem de previsão é gerada uti lizando o filtro de interpolação, pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão. Em outras palavras, o processo de determinação do filtro de interpolação é incluído na compensação de movimento.[00355] In the following, a specific example of a process for determining an interpolation filter, according to one embodiment, will be described with reference to figures 47 to 50. Figure 47 is a flowchart illustrating an example of the process for determine the interpolation filter according to the modality. More specifically, as illustrated, for example, in Figure 15, the prediction processor determines the motion vector (MV) of the current block, and performs motion compensation based on the MV, determined to generate the prediction image. In motion compensation, firstly, the first prediction image, with full pixel accuracy, is generated based on the MV, and the second prediction image is generated using the interpolation filter, by interpolating a value into a fractional pixel position between the total pixel positions included in the first prediction image. In other words, the process of determining the interpolation filter is included in motion compensation.

[00356] Na etapa S1001, o interprevisor 126/128 julga se o tama nho do bloco atual a ser codificado/decodificado é maior do que o ta manho limite. Um exemplo do tamanho limite é de 4 x 4 pixels. Nesse caso, quando o tamanho do bloco atual a ser codificado/decodificado for de 4 x 4 pixels, o interprevisor 126/218 julga que o tamanho do blo co atual a ser codificado/decodificado não é maior do que o tamanho limite. Por outro lado, quando o tamanho do bloco atual a ser codifica- do/decodificado é maior do que 4 x 4 pixels, o interprevisor 126/218 julga que o tamanho do bloco atual a ser codificado/decodificado é maior do que o tamanho limite.[00356] In step S1001, the interpredictor 126/128 judges whether the size of the current block to be encoded/decoded is larger than the limit size. An example of the size limit is 4 x 4 pixels. In this case, when the size of the current block to be encoded/decoded is 4 x 4 pixels, the interpredictor 126/218 judges that the size of the current block to be encoded/decoded is not larger than the threshold size. On the other hand, when the size of the current block to be encoded/decoded is larger than 4 x 4 pixels, the interpredictor 126/218 judges that the size of the current block to be encoded/decoded is larger than the threshold size. .

[00357] Na etapa S1002, quando o tamanho do bloco atual a ser codificado/decodificado é considerado maior do que o tamanho limite (Sim, em S1001X), o interprevisor 126/218 determina o filtro de inter-polaçãopara uso na compensação de movimento do bloco atual a ser codificado/decodificado como sendo o primeiro filtro de interpolação. Por exemplo, como ilustrado na figura 48, o filtro de interpolação de 8 saídas pode ser utilizado como o primeiro filtro de interpolação.[00357] In step S1002, when the size of the current block to be encoded/decoded is considered greater than the limit size (Yes, in S1001X), the interpredictor 126/218 determines the interpolation filter for use in motion compensation of the current block to be encoded/decoded as the first interpolation filter. For example, as illustrated in Figure 48, the 8-output interpolation filter can be used as the first interpolation filter.

[00358] A figura 48 é um diagrama ilustrando um exemplo do pri meiro filtro de interpolação de acordo com a modalidade. Mais especi ficamente, os coeficientes de filtro de interpolação de 8 saídas para cada uma das precisões de vetor de movimento de 1/16 (posições de amostra fracionada) são ilustrados como o primeiro filtro de interpola-ção.Por exemplo, quando a precisão de vetor de movimento é de "8/16", {-1, 4, -11, 40, 40, -11, 4, -1} são utilizados como os coeficien tes de filtro de interpolação de 8 saídas.[00358] Figure 48 is a diagram illustrating an example of the first interpolation filter according to the embodiment. More specifically, the 8-output interpolation filter coefficients for each of the 1/16 motion vector accuracies (fractional sample positions) are illustrated as the first interpolation filter. Motion vector is "8/16", {-1, 4, -11, 40, 40, -11, 4, -1} are used as the 8-output interpolation filter coefficients.

[00359] Na etapa S1003, quando o tamanho do bloco atual a ser codificado/decodificado não é considerado superior ao tamanho limite (Não, em S1001X), o interprevisor 126/218 determina o filtro de inter-polaçãopara uso na compensação de movimento do bloco atual a ser codificado/decodificado como sendo o segundo filtro de interpolação. Aqui, o segundo filtro de interpolação possui menos saídas do que o primeiro filtro de interpolação. Em outras palavras, o número total de saídas do segundo filtro de interpolação é inferior ao do primeiro filtro de interpolação. Por exemplo, como ilustrado na figura 49, o filtro de interpolação de 6 saídas pode ser utilizado como o segundo filtro de interpolação.[00359] In step S1003, when the size of the current block to be encoded/decoded is not considered greater than the limit size (No, in S1001X), the interpredictor 126/218 determines the interpolation filter for use in motion compensation of the current block to be encoded/decoded as the second interpolation filter. Here, the second interpolation filter has fewer outputs than the first interpolation filter. In other words, the total number of outputs of the second interpolation filter is less than that of the first interpolation filter. For example, as illustrated in Figure 49, the 6-output interpolation filter can be used as the second interpolation filter.

[00360] A figura 49 é um diagrama ilustrando um exemplo do se gundo filtro de interpolação de acordo com a modalidade. Mais especi ficamente, os coeficientes de filtro de interpolação de 6 saídas para cada uma das precisões de vetor de movimento de 1/16 (posições de amostra fracionada) são ilustradas como o segundo filtro de interpola ção.Por exemplo, quando a precisão do vetor de movimento é de "8/16", {3, -11, 40, 40, -11, 3} são utilizados como os coeficientes de filtro de interpolação de 6 saídas.[00360] Figure 49 is a diagram illustrating an example of the second interpolation filter according to the embodiment. More specifically, the 6-output interpolation filter coefficients for each of the 1/16 motion vector accuracies (fractional sample positions) are illustrated as the second interpolation filter. of motion is "8/16", {3, -11, 40, 40, -11, 3} are used as the 6-output interpolation filter coefficients.

[00361] Na etapa S1004, o bloco atual a ser codificado/decodificado é codificado/decodificado utilizando o filtro de interpolação determina do. Mais especificamente, o interprevisor 126/218 gera um sinal de interprevisão para o bloco atual a ser codificado/decodificado pela rea-lização da compensação de movimento no bloco atual a ser codifica- do/decodificado, utilizando o filtro de interpolação determinado. O sinal de interprevisão gerado é enviado para o controlador de previsão 128/220, como descrito acima.[00361] In step S1004, the current block to be encoded/decoded is encoded/decoded using the determined interpolation filter. More specifically, the interpredictor 126/218 generates an interpredictor signal for the current block to be encoded/decoded by performing motion compensation on the current block to be encoded/decoded using the determined interpolation filter. The generated interforecast signal is sent to the forecast controller 128/220 as described above.

[00362] Como descrito acima, na presente modalidade, o filtro de interpolação é comutado entre o primeiro filtro de interpolação e o se-gundo filtro de interpolação diferente, em número total de saídas, do primeiro filtro de interpolação, dependendo do tamanho do bloco atual a ser codificado/decodificado.[00362] As described above, in the present embodiment, the interpolation filter is switched between the first interpolation filter and the second interpolation filter different, in total number of outputs, from the first interpolation filter, depending on the size of the block current to be encoded/decoded.

[00363] Deve-se notar que o bloco atual a ser codificado/decodifi- cado é suficiente para ser um bloco no qual a compensação de movi mentoé realizada, e não é particularmente limitado. Por exemplo, um sub-bloco do modo afim pode ser utilizado como o bloco atual a ser codificado/decodificado. Em se fazendo isso, o tamanho limite pode ser de 4 x 4 pixels, por exemplo.[00363] It should be noted that the current block to be encoded/decoded is sufficient to be a block in which motion compensation is performed, and is not particularly limited. For example, a sub-block of affine mode can be used as the current block to be encoded/decoded. If you do this, the size limit can be 4 x 4 pixels, for example.

[00364] A figura 50 é um diagrama ilustrando um exemplo de um bloco no qual o filtro de interpolação determinado é aplicado, de acor do com a modalidade. Na figura 50, por exemplo, o filtro de interpola ção é aplicado a cada oito dos sub-blocos de 4 x 4 pixels obtidos pela divisão de um bloco de pixel de 16 x 8 em oito sub-blocos.[00364] Figure 50 is a diagram illustrating an example of a block in which the determined interpolation filter is applied, according to the embodiment. In Figure 50, for example, the interpolation filter is applied to every eight of the 4 x 4 pixel sub-blocks obtained by dividing a 16 x 8 pixel block into eight sub-blocks.

Technical Effect of the Modality

[00365] A presente descrição introduz um processo para determinar um filtro de interpolação adaptativo de tamanho, para a interprevisão. Esse processo reduz a largura de banda de memória no pior caso de interprevisão, e também reduz a complexidade no pior caso em termos de um número total de operações para a compensação de movimento afim.[00365] The present description introduces a process for determining a size-adaptive interpolation filter for interprediction. This process reduces memory bandwidth in the worst-case interprediction, and also reduces worst-case complexity in terms of the total number of operations for affine motion compensation.

[00366] Quando a compensação de movimento é realizada em uma base de bloco menor, o número de vezes em que a compensação de movimento é realizada aumenta, e o número de vezes em que as amostras são lidas a partir da memória, para realizar a compensação de movimento, também aumenta. Por outro lado, quando o número total de saídas do filtro de interpolação diminui, o número total de amostras lidas a partir da memória, para a realização do processo de interpolação, diminui. De acordo, o filtro de interpolação, possuindo menos saídas para o bloco menor, é utilizado para reduzir o número total de amostras por leitura, e, dessa forma, é possível se suprimir um aumento na largura de banda de memória, mesmo quando o número de vezes em que as amostras são lidas aumenta. Ademais, o segundo filtro de interpolação é aplicado a um sub-bloco do modo afim, e, des sa forma, é possível se reduzir a carga de processamento da compen sação de movimento afim, possuindo uma carga de processamento relativamente alta.[00366] When motion compensation is performed on a smaller block basis, the number of times motion compensation is performed increases, and the number of times samples are read from memory to perform motion compensation increases. Motion compensation also increases. On the other hand, when the total number of interpolation filter outputs decreases, the total number of samples read from memory to perform the interpolation process decreases. Accordingly, the interpolation filter, having fewer outputs for the smaller block, is used to reduce the total number of samples per read, and, in this way, it is possible to suppress an increase in memory bandwidth, even when the number The number of times samples are read increases. Furthermore, the second interpolation filter is applied to a sub-block of the affine mode, and, in this way, it is possible to reduce the processing load of the affine motion compensation, having a relatively high processing load.

[00367] Um ou mais dos aspectos descritos aqui podem ser reali zados pela combinação de pelo menos parte de outros aspectos na presente descrição. Adicionalmente, um ou mais dos aspectos descri tos aqui podem ser realizados pela combinação, com outros aspectos, de parte dos processos indicados em qualquer um dos fluxogramas, de acordo com os aspectos, parte da configuração de qualquer um dos dispositivos, parte das sintaxes, etc.[00367] One or more of the aspects described here can be realized by combining at least part of other aspects in the present description. Additionally, one or more of the aspects described here may be accomplished by combining, with other aspects, part of the processes indicated in any of the flowcharts, according to the aspects, part of the configuration of any of the devices, part of the syntaxes, etc.

Implementations and Applications

[00368] Como descrito em cada uma das modalidades acima, cada bloco funcional ou operacional pode, tipicamente, ser realizado como uma MPU (unidade de microprocessamento) e memória, por exemplo. Ademais, os processos realizados por cada um dos blocos funcionais podem ser realizados como uma unidade de execução de programa, tal como um processador que lê e executa software (um programa) gravado em um meio de gravação, tal como ROM. O software pode ser distribuído. O software pode ser gravado em uma variedade de meios de gravação, tal como a memória semicondutora. Note-se que cada bloco funcional também pode ser realizado como hardware (cir cuito dedicado). Várias combinações de hardware e software podem ser empregadas.[00368] As described in each of the above embodiments, each functional or operational block can typically be realized as an MPU (microprocessing unit) and memory, for example. Furthermore, the processes carried out by each of the functional blocks can be carried out as a program execution unit, such as a processor that reads and executes software (a program) recorded on a recording medium, such as ROM. The software can be distributed. Software can be written to a variety of recording media, such as semiconductor memory. Note that each functional block can also be realized as hardware (dedicated circuit). Various combinations of hardware and software can be employed.

[00369] O processamento descrito em cada uma das modalidades pode ser realizado através do processamento integrado, utilizando um único aparelho (sistema), e, alternativamente, pode ser realizado atra vés do processamento descentralizado, utilizando uma pluralidade de aparelhos. Ademais, o processador que executa o programa descrito acima pode ser um processador único ou uma pluralidade de proces sadores. Em outras palavras, o processamento integrado pode ser realizado e, alternativamente, o processamento descentralizado pode ser realizado.[00369] The processing described in each of the modalities can be carried out through integrated processing, using a single device (system), and, alternatively, it can be carried out through decentralized processing, using a plurality of devices. Furthermore, the processor executing the program described above may be a single processor or a plurality of processors. In other words, integrated processing can be carried out and, alternatively, decentralized processing can be carried out.

[00370] As modalidades da presente descrição não estão limitadas às modalidades ilustrativas acima; várias modificações podem ser rea-lizadas nas modalidades ilustrativas, os resultados das quais também são incluídos no escopo das modalidades da presente descrição.[00370] The modalities of the present description are not limited to the illustrative modalities above; Various modifications may be made to the illustrative embodiments, the results of which are also included within the scope of the embodiments of the present description.

[00371] A seguir, exemplos de aplicação do método de codificação de imagem em movimento (método de codificação de imagem) e o mé todo de decodificação de imagem em movimento (método de decodifica- ção de imagem) descritos em cada uma das modalidades acima serão descritos, além de vários sistemas que implementam os exemplos de aplicação. Tal sistema pode ser caracterizado como incluindo um codifi-cador de imagem que emprega o método de codificação de imagem, um decodificador de imagem que emprega o método de decodificação de imagem, ou um codificador-decodificador de imagem que inclui ambos o codificador de imagem e o decodificador de imagem. Outras configu-rações de tal sistema podem ser modificadas caso a caso.[00371] The following are examples of application of the moving image encoding method (image coding method) and the moving image decoding method (image decoding method) described in each of the above modalities will be described, in addition to several systems that implement the application examples. Such a system may be characterized as including an image encoder that employs the image coding method, an image decoder that employs the image decoding method, or an image encoder-decoder that includes both the image encoder and the image decoder. Other configurations of such a system can be modified on a case-by-case basis.

Usage Examples

[00372] A figura 51 ilustra uma configuração geral do sistema de fornecimento de conteúdo ex100 adequado para se implementar um serviço de distribuição de conteúdo. A área na qual o serviço de co-municação é fornecido é dividida em células de tamanhos desejados, e estações base ex106, ex107, ex108, ex109 e ex110, que são esta- ções sem fio fixas no exemplo ilustrado são localizadas em células respectivas.[00372] Figure 51 illustrates a general configuration of the ex100 content delivery system suitable for implementing a content distribution service. The area in which the communication service is provided is divided into cells of desired sizes, and base stations ex106, ex107, ex108, ex109 and ex110, which are fixed wireless stations in the illustrated example, are located in respective cells.

[00373] No sistema de fornecimento de conteúdo ex100, os disposi tivos incluindo o computador ex111, o dispositivo de jogos ex112, a câmera ex113, o eletrodoméstico ex114, e o smartphone ex115 são conectados à Internet ex101, através do provedor de serviço de Inter net ex102 ou rede de comunicações ex104 e estações base ex106 a ex110. O sistema de fornecimento de conteúdo ex100 pode combinar e conectar qualquer combinação dos dispositivos acima. Em várias implementações, os dispositivos podem ser diretamente ou indireta mente conectados através de uma rede telefônica ou comunicação de campo próximo, em vez de através das estações base ex106 a ex110. Adicionalmente, o servidor de transmissão ex103 pode ser conectado aos dispositivos incluindo o computador ex111, dispositivo de jogos ex112, câmera ex113, eletrodoméstico ex114, e smartphone ex115 através, por exemplo, da Internet ex101. O servidor de transmissão ex103 também pode ser conectado, por exemplo, a um terminal em um hotspot na aeronave ex117 através do satélite ex116.[00373] In the content delivery system ex100, the devices including the computer ex111, the gaming device ex112, the camera ex113, the home appliance ex114, and the smartphone ex115 are connected to the Internet ex101, through the Internet service provider ex101. net ex102 or communications network ex104 and base stations ex106 to ex110. The ex100 content delivery system can combine and connect any combination of the above devices. In various implementations, devices may be directly or indirectly connected via a telephone network or near-field communication, rather than via base stations ex106 to ex110. Additionally, the streaming server ex103 can be connected to devices including computer ex111, gaming device ex112, camera ex113, household appliance ex114, and smartphone ex115 via, for example, the Internet ex101. The ex103 broadcast server can also be connected, for example, to a terminal at a hotspot on the ex117 aircraft via the ex116 satellite.

[00374] Note-se que em vez das estações base ex106 a ex110, pontos de acesso sem fio ou hotspots podem ser utilizados. O servidor de transmissão ex103 pode ser conectado à rede de comunicações ex104 diretamente, em vez de através da Internet ex101 ou do prove dor de serviço de Internet ex102, e pode ser conectado à aeronave ex117 diretamente, em vez de através do satélite ex116.[00374] Note that instead of base stations ex106 to ex110, wireless access points or hotspots can be used. The transmission server ex103 can be connected to the communications network ex104 directly, instead of through the Internet ex101 or the Internet service provider ex102, and can be connected to the aircraft ex117 directly, instead of through the satellite ex116.

[00375] A câmera ex113 é um dispositivo capaz de capturar ima-gensestáticas e vídeo, tal como uma câmera digital. O smartphone ex115 é um dispositivo smartphone, telefone celular, ou telefone do sistema de “handy-phone” pessoal (PHS) que pode operar sob os pa drões do sistema de comunicações móveis dos sistemas 2G, 3G, 3,9G e 4G, além do sistema 5G de próxima geração.[00375] Camera ex113 is a device capable of capturing still images and video, just like a digital camera. The ex115 smartphone is a smartphone, cellular telephone, or personal handy-phone system (PHS) telephone device that can operate under the mobile communications system standards of 2G, 3G, 3.9G, and 4G systems, in addition to of the next generation 5G system.

[00376] O eletrodoméstico ex114 é, por exemplo, um refrigerador ou um dispositivo incluído em um sistema de geração conjunta da cé lula de combustível doméstico.[00376] The household appliance ex114 is, for example, a refrigerator or a device included in a domestic fuel cell joint generation system.

[00377] No sistema de fornecimento de conteúdo ex100, um termi nal incluindo uma função de captura de imagem e/ou vídeo é capaz, por exemplo, de transmitir ao vivo, por meio da conexão com o servi dor de transmissão ex103 através, por exemplo, da estação base ex106. Durante a transmissão ao vivo, um terminal (por exemplo, o computador ex111, o dispositivo de jogos ex112, a câmera ex113, o eletrodoméstico ex114, o smartphone ex115 ou um terminal na aero nave ex117) pode realizar o processamento de codificação descrito nas modalidades acima no conteúdo de imagem estática ou vídeo cap turado por um usuário através do terminal, pode multiplexar dados de vídeo obtidos através da codificação de dados de áudio obtidos pela codificação do áudio que corresponde ao vídeo, e pode transmitir os dados obtidos para o servidor de transmissão ex103. Em outras pala vras, o terminal funciona como codificador de imagem de acordo com um aspecto da presente descrição.[00377] In the content delivery system ex100, a terminal including an image and/or video capture function is capable, for example, of transmitting live, by connecting to the transmission server ex103 through, e.g. example, from the ex106 base station. During the live broadcast, a terminal (e.g., the computer ex111, the gaming device ex112, the camera ex113, the home appliance ex114, the smartphone ex115, or a terminal on the aircraft ex117) may perform the coding processing described in embodiments. above in the still image or video content captured by a user through the terminal, may multiplex video data obtained by encoding audio data obtained by encoding the audio corresponding to the video, and may transmit the obtained data to the data server ex103 transmission. In other words, the terminal functions as an image encoder in accordance with an aspect of the present description.

[00378] O servidor de transmissão ex103 sequencia os dados de conteúdo transmitidos para os clientes que solicitam a transmissão. Os exemplos de cliente incluem o computador ex111, o dispositivo de jo gos ex112, a câmera ex113, o eletrodoméstico ex114, o smartphone ex115 e terminais dentro da aeronave ex117, que podem decodificar os dados codificados descritos acima. Os dispositivos que recebem os dados transmitidos podem decodificar e reproduzir os dados recebi dos. Em outras palavras, os dispositivos podem funcionar, cada um, como o decodificador de imagem, de acordo com um aspecto da pre sente descrição.[00378] The transmission server ex103 sequences the content data transmitted to the clients requesting the transmission. Examples of clients include the computer ex111, the gaming device ex112, the camera ex113, the household appliance ex114, the smartphone ex115, and terminals inside the aircraft ex117, which can decode the encoded data described above. Devices receiving transmitted data can decode and reproduce the received data. In other words, the devices may each function as the image decoder in accordance with an aspect of the present description.

Decentralized Processing

[00379] O servidor de transmissão ex103 pode ser realizado como uma pluralidade de servidores ou computadores entre os quais as ta-refas, tal como processamento, gravação e transmissão de dados são divididas. Por exemplo, o servidor de transmissão ex103 pode ser rea-lizado como uma rede de distribuição de conteúdo (CDN) que transmi te conteúdo através de uma rede que conecta múltiplos servidores de borda localizados por todo o mundo. Em uma CDN, um servidor de borda fisicamente próximo do cliente pode ser designado dinamica mente para o cliente. O conteúdo é armazenado temporariamente e transmitido para o servidor de borda para reduzir os tempos de carga. No caso, por exemplo, de algum tipo de erro ou mudança na conecti vidade devido, por exemplo, a um pico no tráfego, é possível se transmitir dados de forma estável em altas velocidades, visto que é possível se evitar as partes afetadas da rede, por exemplo, pela divi são do processamento entre uma pluralidade de servidores de borda, ou comutação de tarefas de transmissão para um servidor de borda diferente e continuação da transmissão.[00379] The transmission server ex103 can be realized as a plurality of servers or computers among which tasks such as processing, recording and transmitting data are divided. For example, the ex103 streaming server can be realized as a content distribution network (CDN) that streams content over a network that connects multiple edge servers located throughout the world. In a CDN, an edge server physically close to the client can be dynamically assigned to the client. Content is temporarily stored and streamed to the edge server to reduce load times. In the case, for example, of some type of error or change in connectivity due, for example, to a spike in traffic, it is possible to transmit data stably at high speeds, as it is possible to avoid the affected parts of the network , for example, by dividing processing between a plurality of edge servers, or switching transmission tasks to a different edge server and continuing transmission.

[00380] A descentralização não está limitada apenas à divisão de processamento para transmissão; a codificação de dados capturados pode ser dividida entre e realizada pelos terminais, no lado do servi dor, ou ambos. Em um exemplo, na codificação típica, o processamen toé realizado em dois circuitos. O primeiro circuito serve para detectar o quão complicado a imagem é, quadro por quadro, ou cena por cena, ou detectar a carga de codificação. O segundo circuito serve para o processamento que mantém a qualidade de imagem e aperfeiçoa a eficiência de codificação. Por exemplo, é possível se reduzir a carga de processamento dos terminais e aperfeiçoar a qualidade e eficiência de codificação do conteúdo, fazendo com que os terminais realizem o primeiro circuito da codificação e com que o lado de servidor que re-cebeu o conteúdo realize o segundo circuito de codificação. Em tal ca so, mediante o recebimento de uma solicitação de decodificação, é possível que os dados codificados resultantes do primeiro circuito rea-lizado por um terminal sejam recebidos e reproduzidos em outro termi nal em tempo aproximadamente real. Isso possibilita a realização de transmissão suave em tempo real.[00380] Decentralization is not limited to just dividing processing for transmission; Encoding of captured data may be split between and performed by the terminals, on the server side, or both. In one example, in typical coding, processing is performed in two circuits. The first circuit is to detect how complicated the image is, frame by frame, or scene by scene, or detect the encoding load. The second circuit is for processing that maintains image quality and improves coding efficiency. For example, it is possible to reduce the processing load on the terminals and improve the quality and efficiency of content encoding, by having the terminals perform the first encoding circuit and having the server side that received the content perform the second coding circuit. In such a case, upon receipt of a decoding request, it is possible for the encoded data resulting from the first circuit performed by one terminal to be received and reproduced at another terminal in approximately real time. This makes it possible to realize smooth transmission in real time.

[00381] Em outro exemplo, a câmera ex113 ou similares extrai uma quantidade de característica (uma quantidade de características) de uma imagem, comprime dados relacionados à quantidade característi ca de metadados, e transmite os metadados comprimidos para um servidor. Por exemplo, o servidor determina a significância de um obje to com base na quantidade de característica e muda a precisão de quantização de acordo para realizar a compressão adequada para o significado (ou significância de conteúdo) da imagem. Os dados de quantidade de característica são particularmente eficientes no aperfei çoamento da precisão e eficiência da previsão de vetor de movimento, durante a segunda passagem de compressão realizada pelo servidor. Ademais, a codificação que possui uma carga de processamento rela tivamente baixa, tal como a codificação de comprimento variável (VLC), pode ser manuseada pelo terminal, e a codificação que possui uma carga de processamento relativamente alta, tal como a codifica ção aritmética binária adaptativa de contexto (CABAC), pode ser ma nuseada pelo servidor.[00381] In another example, the camera ex113 or the like extracts a characteristic amount (a number of features) from an image, compresses data related to the characteristic amount of metadata, and transmits the compressed metadata to a server. For example, the server determines the significance of an object based on the feature quantity and changes the quantization precision accordingly to perform appropriate compression for the meaning (or content significance) of the image. Feature quantity data is particularly effective in improving the accuracy and efficiency of motion vector prediction during the second pass of compression performed by the server. Furthermore, encoding that has a relatively low processing load, such as variable-length encoding (VLC), can be handled by the terminal, and encoding that has a relatively high processing load, such as binary arithmetic encoding context adaptive (CABAC), can be handled by the server.

[00382] Em ainda outro exemplo, existem casos nos quais uma plu-ralidade de vídeos aproximadamente da mesma cena é capturada por uma pluralidade de terminais, por exemplo, em um estádio, shopping center ou fábrica. Em tal caso, por exemplo, a codificação pode ser descentralizada pela divisão de tarefas de processamento entre a plu-ralidade de terminais que capturaram os vídeos e, se necessário, ou tros terminais que não capturaram os vídeos, e o servidor, com base em unidade. As unidades podem ser, por exemplo, grupos de imagens (GOP), imagens, ou “tiles” resultantes da divisão de uma imagem. Isso possibilita a redução de tempos de carga e a obtenção da transmissão que está mais próxima do tempo real.[00382] In yet another example, there are cases in which a plurality of videos of approximately the same scene are captured by a plurality of terminals, for example, in a stadium, shopping center or factory. In such a case, for example, coding can be decentralized by dividing processing tasks between the plurality of terminals that captured the videos and, if necessary, other terminals that did not capture the videos, and the server, based on unit. Units can be, for example, groups of images (GOP), images, or “tiles” resulting from the division of an image. This makes it possible to reduce charging times and obtain transmission that is closer to real time.

[00383] Visto que os vídeos são aproximadamente da mesma cena, o gerenciamento e/ou instruções podem ser realizados pelo servidor, de modo que os vídeos capturados pelos terminais possam ter refe rência cruzada. Ademais, o servidor pode receber dados codificados dos terminais, alterar a relação de referência entre os itens de dados, ou corrigir ou substituir imagens propriamente ditas e, então, realizar a codificação. Isso possibilita a geração de uma transmissão com quali-dade e eficiência aumentadas para itens individuais de dados.[00383] Since the videos are of approximately the same scene, management and/or instructions can be performed by the server, so that videos captured by the terminals can be cross-referenced. Furthermore, the server can receive encoded data from the terminals, change the reference relationship between the data items, or correct or replace images themselves, and then perform the encoding. This makes it possible to generate a transmission with increased quality and efficiency for individual data items.

[00384] Adicionalmente, o servidor pode transmitir dados de vídeo depois da realização da transcodificação para converter o formato de codificação dos dados de vídeo. Por exemplo, o servidor pode conver ter o formato de codificação de MPEG para VP (por exemplo, VP9), pode converter H.264 em H.265, etc.[00384] Additionally, the server may transmit video data after transcoding is performed to convert the encoding format of the video data. For example, the server can convert the encoding format from MPEG to VP (e.g. VP9), can convert H.264 to H.265, etc.

[00385] Dessa forma, a codificação pode ser realizada por um ter minal ou um ou mais servidores. De acordo, apesar de o dispositivo que realiza a codificação ser referido como um "servidor" ou "terminal" na descrição a seguir, alguns ou todos os processos realizados pelo servidor podem ser realizados pelo terminal, e, da mesma forma, al guns ou todos os processos realizados pelo terminal, podem ser reali zados pelo servidor. Isso também se aplica aos processos de decodifi- cação.[00385] In this way, encoding can be performed by a terminal or one or more servers. Accordingly, although the device performing the encryption is referred to as a "server" or "terminal" in the following description, some or all of the processes performed by the server may be performed by the terminal, and, likewise, some or all all processes carried out by the terminal can be carried out by the server. This also applies to decoding processes.

3D, Multiple Angles

[00386] Tem havido um aumento na utilização de imagens ou ví deos combinados a partir de imagens ou vídeos de cenas diferentes, capturadas simultaneamente, ou da mesma cena capturada a partir de ângulos diferentes, por uma pluralidade de terminais, tal como a câme ra ex113 e/ou smartphone ex115. Os vídeos capturados pelos termi nais podem ser combinados com base, por exemplo, na relação de posição relativa obtida separadamente entre os terminais, ou regiões em um vídeo, possuindo pontos de característica coincidentes.[00386] There has been an increase in the use of images or videos combined from images or videos of different scenes, captured simultaneously, or of the same scene captured from different angles, by a plurality of terminals, such as the camera. ex113 and/or ex115 smartphone. The videos captured by the terminals can be combined based on, for example, the relative position relationship obtained separately between the terminals, or regions in a video having coincident feature points.

[00387] Em adição à codificação de imagens em movimento bidi-mensionais, o servidor pode codificar uma imagem estática com base na análise de cena de uma imagem em movimento, automaticamente ou em um momento especificado pelo usuário, e transmitir a imagem estática codificada para um terminal de recepção. Adicionalmente, quando o servidor pode obter a relação de posição relativa entre os terminais de captura de vídeo, em adição às imagens em movimento bidimensionais, o servidor pode gerar a geometria tridimensional de uma cena com base em vídeo da mesma cena capturada a partir de ângulos diferentes. O servidor pode codificar, separadamente, dados tridimensionais gerados a partir, por exemplo, de uma nuvem de pon tos e, com base em um resultado do reconhecimento ou rastreamento de uma pessoa ou objeto utilizando dados tridimensionais, pode sele cionar ou reconstruir e gerar um vídeo a ser transmitido para um ter minal de recepção, a partir dos vídeos capturados por uma pluralidade de terminais.[00387] In addition to encoding two-dimensional moving images, the server may encode a still image based on scene analysis of a moving image, either automatically or at a user-specified time, and transmit the encoded still image to a reception terminal. Additionally, when the server can obtain the relative position relationship between video capture terminals, in addition to two-dimensional moving images, the server can generate the three-dimensional geometry of a scene based on video of the same scene captured from angles many different. The server may separately encode three-dimensional data generated from, for example, a point cloud and, based on a result of recognizing or tracking a person or object using three-dimensional data, may select or reconstruct and generate a video to be transmitted to a receiving terminal, from videos captured by a plurality of terminals.

[00388] Isso permite que o usuário aproveite uma cena pela sele ção livre de vídeos correspondentes aos terminais de captura de ví deo, e permite que o usuário aproveite o conteúdo obtido pela extra ção de um vídeo em um ponto de vista selecionado a partir dos dados tridimensionais reconstruídos a partir de uma pluralidade de imagens ou vídeos. Adicionalmente, como com o vídeo, o som pode ser grava do a partir de ângulos relativamente diferentes, e o servidor pode mul- tiplexar o áudio a partir de um ângulo ou espaço específico com o ví deo correspondente, e transmitir o vídeo e áudio multiplexados.[00388] This allows the user to enjoy a scene by freely selecting videos corresponding to the video capture terminals, and allows the user to enjoy the content obtained by extracting a video at a point of view selected from the three-dimensional data reconstructed from a plurality of images or videos. Additionally, as with video, sound can be recorded from relatively different angles, and the server can multiplex audio from a specific angle or space with the corresponding video, and transmit the multiplexed video and audio. .

[00389] Recentemente, o conteúdo que é um composto do mundo real e de um mundo virtual, tal como o conteúdo de realidade virtual (VR) e de realidade aumentada (AR), também tem se tornado popular. No caso de imagens VR, o servidor pode criar imagens a partir dos pontos de vista de ambos os olhos, esquerdo e direito, e realizar a co-dificação que tolera a referência entre imagens de dois pontos de vis ta, tal como a codificação de múltiplas visualizações (MVC), alternati-vamente, pode codificar as imagens como sequências separadas sem referência. Quando as imagens são decodificadas como sequências separadas, as sequências podem ser sincronizadas quando reprodu-zidas, de modo a recriar um espaço tridimensional virtual de acordo com o ponto de vista do usuário.[00389] Recently, content that is a composite of the real world and a virtual world, such as virtual reality (VR) and augmented reality (AR) content, has also become popular. In the case of VR images, the server can create images from the points of view of both the left and right eyes, and perform encoding that tolerates reference between images from two points of view, such as image encoding. Multiple Views (MVC), alternatively, can encode images as separate unreferenced sequences. When images are decoded as separate sequences, the sequences can be synchronized when played back, so as to recreate a virtual three-dimensional space according to the user's point of view.

[00390] No caso de imagens AR, o servidor pode sobrepor a infor mação do objeto virtual existente em um espaço virtual à informação de câmera que representa um espaço no mundo real, com base em uma posição tridimensional ou movimento da perspectiva do usuário. O decodificador pode obter ou armazenar informação de objeto virtual e dados tridimensionais, gerar imagens bidimensionais com base no movimento da perspectiva do usuário, e, então, gerar dados sobrepos tos pela conexão contínua das imagens. Alternativamente, o decodifi- cador pode transmitir, para o servidor, o movimento da perspectiva do usuário em adição a uma solicitação por informação de objeto virtual. O servidor pode gerar dados sobrepostos com base nos dados tridi mensionais armazenados no servidor de acordo com o movimento re cebido, e codificar e transmitir os dados sobrepostos gerados para o decodificador. Note-se que os dados sobrepostos incluem tipicamente, em adição aos valores RGB, um valor α indicando transparência, e o servidor configura o valor α para seções além do objeto gerado a partir dos dados tridimensionais para, por exemplo, 0, e pode realizar a codi ficação enquanto essas seções estão transparentes. Alternativamente, o servidor pode configurar o fundo para um valor RGB determinado, tal como uma chave de crominância, e gerar dados em cujas áreas, além do objeto, são configurados como fundo. O valor RGB determinado pode ser predeterminado.[00390] In the case of AR images, the server may overlay virtual object information existing in a virtual space with camera information representing a space in the real world, based on a three-dimensional position or movement from the user's perspective. The decoder can obtain or store virtual object information and three-dimensional data, generate two-dimensional images based on the movement of the user's perspective, and then generate overlapping data by continuously connecting the images. Alternatively, the decoder may transmit, to the server, movement from the user's perspective in addition to a request for virtual object information. The server can generate superimposed data based on the three-dimensional data stored in the server according to the received motion, and encode and transmit the generated superimposed data to the decoder. Note that the overlay data typically includes, in addition to the RGB values, an α value indicating transparency, and the server sets the α value for sections beyond the object generated from the three-dimensional data to, for example, 0, and can perform coding while these sections are transparent. Alternatively, the server can set the background to a given RGB value, such as a chrominance key, and generate data in which areas, in addition to the object, are set as background. The determined RGB value can be predetermined.

[00391] A decodificação de dados transmitidos de forma similar po de ser realizada pelo cliente (por exemplo, os terminais), no lado do servidor, ou divididos entre os mesmos. Em um exemplo, um terminal pode transmitir uma solicitação de recepção para um servidor, o con teúdo solicitado pode ser recebido e decodificado por outro terminal, e um sinal decodificado pode ser transmitido para um dispositivo pos suindo um monitor. É possível se reproduzir os dados de alta qualida de de imagem pelo processamento de descentralização e pela seleção adequada de conteúdo, independentemente da capacidade de proces samento do terminal de comunicações propriamente dito. Em outro exemplo, enquanto uma TV, por exemplo, está recebendo dados de imagem que são grandes em tamanho, uma região de uma imagem, tal como um “tile” obtido pela divisão da imagem, pode ser decodifica da e exibida em um terminal pessoal ou terminais de um espectador ou espectadores da TV. Isso possibilita que os espectadores comparti lhem uma visão de imagem grande, além de cada espectador verificar sua área designada, ou inspecionar uma região em maiores detalhes.[00391] Decoding of data transmitted in a similar way can be performed by the client (for example, the terminals), on the server side, or divided between them. In one example, a terminal may transmit a receive request to a server, the requested content may be received and decoded by another terminal, and a decoded signal may be transmitted to a device having a display. It is possible to reproduce high image quality data by decentralization processing and appropriate content selection, regardless of the processing capacity of the communications terminal itself. In another example, while a TV, for example, is receiving image data that is large in size, a region of an image, such as a “tile” obtained by dividing the image, can be decoded and displayed on a personal terminal. or terminals of a TV viewer or viewers. This enables viewers to share a large image view, plus each viewer can check their designated area, or inspect a region in greater detail.

[00392] Em situações nas quais uma pluralidade de conexões sem fio é possível através de distâncias curtas, intermediárias e longas, in-ternamente ou externamente, pode ser possível se receber continua-menteconteúdo, utilizando um padrão de sistema de transmissão, tal como MPEG-DASH. O usuário pode comutar entre dados em tempo real enquanto seleciona livremente um decodificador ou aparelho de exibição incluindo o terminal do usuário, monitores dispostos interna mente ou externamente, etc. Ademais, utilizando-se, por exemplo, a informação sobre a posição do usuário, a decodificação pode ser reali zada enquanto se determina qual terminal manuseia a decodificação e qual terminal manuseia a exibição do conteúdo. Isso possibilita o ma peamento e exibição de informação, enquanto o usuário está em mo- vimento a caminho de um destino, na parede de um edifício próximo no qual um dispositivo capaz de exibir conteúdo está embutido, ou em parte do chão. Ademais, também é possível se comutar a taxa de bit dos dados recebidos com base na acessibilidade aos dados codifica dos em uma rede, tal como quando os dados codificados são armaze nados temporariamente em um servidor rapidamente acessível a partir do terminal de recepção, ou quando os dados codificados são copia dos a um servidor de borda em um serviço de distribuição de conteú do.[00392] In situations in which a plurality of wireless connections are possible over short, intermediate and long distances, internally or externally, it may be possible to continuously receive content using a transmission system standard, such as MPEG -DASH. The user can switch between real-time data while freely selecting a decoder or display device including the user terminal, internally or externally arranged monitors, etc. Furthermore, using, for example, information about the user's position, decoding can be performed while determining which terminal handles the decoding and which terminal handles the display of content. This makes it possible to map and display information, while the user is in motion en route to a destination, on the wall of a nearby building in which a device capable of displaying content is embedded, or on part of the floor. Furthermore, it is also possible to switch the bit rate of received data based on accessibility to the encoded data on a network, such as when the encoded data is temporarily stored on a server quickly accessible from the receiving terminal, or when the encoded data is copied to an edge server in a content distribution service.

Scalable Coding

[00393] A comutação de conteúdo será descrita com referência a uma sequência escalonável ilustrada na figura 52, que é codificada por compressão através da implementação do método de codificação de imagem em movimento descrito nas modalidades acima. O servidor pode possuir uma configuração na qual o conteúdo é comutado en quanto faz uso da capacidade de escalonamento temporal e/ou espa cial de uma sequência, que é alcançado pela divisão em e codificação de camadas, como ilustrado na figura 52. Note-se que pode haver uma pluralidade de sequências individuais que são do mesmo conteúdo, mas de qualidade diferente. Em outras palavras, pela determinação de que camada decodificar, com base em fatores internos, tal como a ca pacidade de processamento no lado do decodificador, e em fatores externos, tal como a largura de banda de comunicação, o lado do de- codificador pode comutar livremente entre conteúdo de baixa resolu ção e conteúdo de alta resolução, enquanto decodifica. Por exemplo, em um caso no qual o usuário deseja continuar a assistir, por exemplo, em casa, em um dispositivo tal como uma TV conectada à Internet, a um vídeo que o usuário esteve assistindo previamente no smartphone ex115 enquanto estava em movimento, o dispositivo pode simples mente decodificar a mesma sequência até uma camada diferente, o que reduz a carga no lado do servidor.[00393] Content switching will be described with reference to a scalable sequence illustrated in Figure 52, which is compression encoded by implementing the moving image coding method described in the above embodiments. The server may have a configuration in which content is switched while making use of the temporal and/or spatial scaling capability of a sequence, which is achieved by dividing into and encoding layers, as illustrated in figure 52. Note that there may be a plurality of individual sequences that are of the same content but of different quality. In other words, by determining which layer to decode, based on internal factors such as processing capacity on the decoder side, and external factors such as communication bandwidth, the decoder side can freely switch between low-resolution content and high-resolution content while decoding. For example, in a case in which the user wishes to continue watching, for example at home on a device such as an Internet-connected TV, a video that the user has previously been watching on the ex115 smartphone while on the move, the device can simply decode the same sequence to a different layer, which reduces the load on the server side.

[00394] Adicionalmente, em adição à configuração descrita acima, na qual a capacidade de escalonamento é alcançada como um resul tado das imagens sendo codificadas por camada, com a camada de aperfeiçoamento estando acima da camada de base, a camada de aperfeiçoamento pode incluir metadados com base, por exemplo, na informação estatística na imagem. O lado do decodificador pode gerar conteúdo de alta qualidade de imagem pela realização da criação de imagem com super resolução em uma imagem na camada de base com base nos metadados. A criação de imagem de super resolução pode aperfeiçoar a razão de SN enquanto mantém a resolução e/ou aumenta a resolução. Os metadados incluem informação para a identi ficação de um coeficiente de filtro linear ou não linear, como utilizado no processamento de super resolução, ou informação identificando um valor de parâmetro no processamento de filtro, aprendizado de máqui na, ou método de quadrados mínimos, utilizado no processamento de super-resolução.[00394] Additionally, in addition to the configuration described above, in which scalability is achieved as a result of the images being encoded by layer, with the enhancement layer being above the base layer, the enhancement layer may include metadata based, for example, on statistical information in the image. The decoder side can generate high-quality image content by performing super-resolution imaging on an image in the base layer based on metadata. Super-resolution imaging can improve the SN ratio while maintaining resolution and/or increasing resolution. Metadata includes information for identifying a linear or nonlinear filter coefficient, as used in super-resolution processing, or information identifying a parameter value in filter processing, machine learning, or least squares method, as used in super-resolution processing.

[00395] Alternativamente, uma configuração pode ser fornecida, na qual uma imagem é dividida em, por exemplo, “tiles” de acordo com, por exemplo, o significado de um objeto na imagem. No lado do deco- dificador, apenas uma região parcial é decodificada pela seleção de um “tile” a ser decodificado. Adicionalmente, pelo armazenamento de um atributo do objeto (pessoa, carro, bola, etc.) e uma posição do ob jeto no vídeo (coordenadas em imagens idênticas) como metadados, o lado do decodificador pode identificar a posição de um objeto desejado com base nos metadados e determinar que “tile” ou “tiles” incluem es se objeto. Por exemplo, como ilustrado na figura 53, os metadados podem ser armazenados utilizando-se uma estrutura de armazena mento de dados diferente dos dados de pixel, tal como uma mensa gem SEI (informação de aperfeiçoamento suplementar) em HEVC. Es ses metadados indicam, por exemplo, a posição, o tamanho, ou cor do objeto principal.[00395] Alternatively, a configuration may be provided, in which an image is divided into, for example, "tiles" according to, for example, the meaning of an object in the image. On the decoder side, only a partial region is decoded by selecting a “tile” to be decoded. Additionally, by storing an object attribute (person, car, ball, etc.) and an object position in the video (coordinates in identical images) as metadata, the decoder side can identify the position of a desired object based on in the metadata and determine which “tile” or “tiles” include this object. For example, as illustrated in Figure 53, metadata may be stored using a data storage structure other than pixel data, such as a SEI (supplemental enhancement information) message in HEVC. This metadata indicates, for example, the position, size, or color of the main object.

[00396] Os metadados podem ser armazenados em unidades de uma pluralidade de imagens, tal como unidades de transmissão, se quência ou acesso aleatório. O lado do decodificador pode obter, por exemplo, o momento no qual uma pessoa específica aparece no ví deo, e pelo encaixe da informação de tempo com a informação da uni dade de imagem, pode identificar uma imagem na qual o objeto está presente, e pode determinar a posição do objeto na imagem.[00396] Metadata can be stored in units of a plurality of images, such as transmission, sequence or random access units. The decoder side can obtain, for example, the moment at which a specific person appears in the video, and by matching the timing information with the image unit information, it can identify an image in which the object is present, and can determine the position of the object in the image.

Web Page Optimization

[00397] A figura 54 ilustra um exemplo de uma tela de exibição de uma página da rede no computador ex111, por exemplo. A figura 55 ilustra um exemplo de uma tela de exibição de uma página da rede no smartphone ex115, por exemplo. Como ilustrado na figura 54 e na fi gura 55, uma página da rede pode incluir uma pluralidade de links de imagem que são links para o conteúdo de imagem, e a aparência da página da rede pode diferir dependendo do dispositivo utilizado para visualizar a página da rede. Quando uma pluralidade de links de ima gem pode ser visualizada na tela, até que o usuário selecione explici tamente um link de imagem, ou até que o link de imagem esteja no centro aproximado da tela ou que todo o link de imagem encaixe na tela, o aparelho de exibição (decodificador) pode exibir, como os links de imagem, imagens estáticas incluídas no conteúdo ou imagens I; pode exibir vídeo, tal como um gif animado, utilizando uma pluralidade de imagens estáticas ou imagens I; ou pode receber apenas a camada de base, e decodificar e exibir o vídeo.[00397] Figure 54 illustrates an example of a screen displaying a web page on the ex111 computer, for example. Figure 55 illustrates an example of a screen displaying a web page on the ex115 smartphone, for example. As illustrated in Figure 54 and Figure 55, a web page may include a plurality of image links that are links to image content, and the appearance of the web page may differ depending on the device used to view the web page. network. When a plurality of image links can be viewed on the screen, until the user explicitly selects an image link, or until the image link is in the approximate center of the screen or the entire image link fits on the screen, the display apparatus (decoder) may display, such as image links, still images included in the content or I-images; can display video, such as an animated gif, using a plurality of still images or I-images; or it can receive just the base layer, and decode and display the video.

[00398] Quando um link de imagem é selecionado pelo usuário, o aparelho de exibição realiza a decodificação enquanto, por exemplo, fornece a prioridade mais alta para a camada de base. Note-se que se houver informação no código HTML da página de rede indicando que o conteúdo é escalonável, o aparelho de exibição pode decodificar até a camada de aperfeiçoamento. Adicionalmente, a fim de se garantir a reprodução em tempo real, antes que uma seleção seja realizada, ou quando a largura de banda for limitada de forma severa, o aparelho de exibição pode reduzir o retardo entre o momento no qual a imagem dianteira é decodificada e o momento no qual a imagem decodificada é exibida (isso é, o retardo entre o início da decodificação do conteúdo até a exibição do conteúdo) pela decodificação e exibição apenas das imagens de referência de avanço (imagem I, imagem P, imagem B de referência de avanço). Adicionalmente ainda, o aparelho de exibição pode ignorar propositadamente a relação de referência entre as ima gens, e decodificar de forma aproximada todas as imagens B e P co mo imagens de referência de avanço e, então, realizar a decodificação normal à medida que o número de imagens recebidas aumenta com o tempo.[00398] When an image link is selected by the user, the display apparatus performs decoding while, for example, providing the highest priority to the base layer. Note that if there is information in the HTML code of the web page indicating that the content is scalable, the display device can decode up to the enhancement layer. Additionally, in order to ensure real-time playback, before a selection is made, or when bandwidth is severely limited, the display apparatus may reduce the delay between when the front image is decoded. and the time at which the decoded image is displayed (that is, the delay between the start of decoding the content and the display of the content) by decoding and displaying only the forward reference images (image I, image P, image B of feed reference). Additionally, the display apparatus may purposefully ignore the reference relationship between the images, and approximately decode all B and P images as forward reference images, and then perform normal decoding as the number of images received increases over time.

Autonomous Activation

[00399] Quando da transmissão e recebimento de dados de ima gem estática ou vídeo, tal como informação de mapa bi ou tridimensi onal para acionamento autônomo ou acionamento assistido de um au tomóvel, o terminal de recepção pode receber, em adição aos dados de imagem pertencentes a uma ou mais camadas, a informação, por exemplo, sobre o clima ou construção de estradas como metadados, e associar os metadados aos dados de imagem mediante decodificação. Note-se que os metadados podem ser designados por camada e, al ternativamente, podem ser simplesmente multiplexados com dados de imagem.[00399] When transmitting and receiving still image or video data, such as two- or three-dimensional map information for autonomous drive or assisted drive of an automobile, the receiving terminal may receive, in addition to the image data belonging to one or more layers, information, for example, about the weather or road construction as metadata, and associating the metadata with the image data through decoding. Note that metadata can be designated by layer and, alternatively, can simply be multiplexed with image data.

[00400] Em tal caso, visto que o automóvel, drone, aeronave, etc., contendo o terminal de recepção, é móvel, o terminal de recepção po de receber e realizar continuamente a decodificação enquanto comuta entre as estações base dentre as estações base de ex106 a ex110, pela transmissão da informação que indica a posição do terminal de recepção. Ademais, de acordo com a seleção realizada pelo usuário, a situação do usuário e/ou a largura de banda da conexão, o terminal de recepção pode selecionar dinamicamente até que ponto os metadados são recebidos, ou até que ponto a informação de mapa, por exemplo, está atualizada.[00400] In such a case, since the automobile, drone, aircraft, etc., containing the receiving terminal is mobile, the receiving terminal can continuously receive and perform decoding while switching between base stations. from ex106 to ex110, by transmitting information that indicates the position of the receiving terminal. Furthermore, according to the selection made by the user, the user situation and/or the connection bandwidth, the receiving terminal can dynamically select the extent to which metadata is received, or the extent to which map information, for example, is received. example, is updated.

[00401] No sistema de fornecimento de conteúdo ex100, o cliente pode receber, decodificar e reproduzir, em tempo real, a informação codificada transmitida pelo usuário.[00401] In the ex100 content delivery system, the client can receive, decode and reproduce, in real time, the encoded information transmitted by the user.

Transmission of Individual Content

[00402] No sistema de fornecimento de conteúdo ex100, em adição à alta qualidade de imagem, o conteúdo longo distribuído por uma en tidade de distribuição de vídeo, transmissão por unidifusão ou multidi- fusão de baixa qualidade de imagem, e conteúdo curto de um indiví duo também são possíveis. Tal conteúdo de indivíduos tem chances de aumentar ainda mais em termos de popularidade. O servidor pode primeiramente realizar o processamento de edição no conteúdo antes do processamento de codificação, a fim de refinar o conteúdo individu al. Isso pode ser alcançado utilizando-se a configuração a seguir, por exemplo.[00402] In the ex100 content delivery system, in addition to high image quality, long content distributed by a video distribution entity, unicast or multicast transmission of low image quality, and short content from a individual are also possible. Such content from individuals has chances to increase further in terms of popularity. The server may first perform editing processing on the content before encoding processing in order to refine the individual content. This can be achieved using the following configuration, for example.

[00403] Em tempo real, enquanto se captura conteúdo de vídeo ou imagem, ou depois que o conteúdo foi capturado e acumulado, o ser vidor realiza o processamento de reconhecimento com base em dados brutos ou dados codificados, tal como processamento de erro de cap tura, processamento de busca de cena, análise de significado, e/ou processamento de detecção de objeto. Então, com base no resultado do processamento de reconhecimento, o servidor - quando avisado ou automaticamente - edita o conteúdo, exemplos do qual incluem: cor reção, tal como correção de foco e/ou manchas de movimento; remo ção de cenas de baixa prioridade, tal como cenas que apresentam pouco brilho em comparação com outras imagens, ou fora de foco; ajuste de borda de objeto, e ajuste de tom de cor. O servidor codifica os dados editados com base no resultado da edição. É sabido que ví deos excessivamente longos tendem a receber menos visualizações. De acordo, a fim de manter o conteúdo dentro de um comprimento es pecífico que escalone com o comprimento do vídeo original, o servidor pode, em adição às cenas de baixa prioridade descritas acima, cortar automaticamente cenas com baixo movimento, com base em um re-sultado do processamento de imagem. Alternativamente, o servidor pode gerar e codificar um resumo do vídeo, com base em um resulta do de uma análise do significado de uma cena.[00403] In real time, while capturing video or image content, or after the content has been captured and accumulated, the server performs recognition processing based on raw data or encoded data, such as cap error processing. ture, scene search processing, meaning analysis, and/or object detection processing. Then, based on the result of recognition processing, the server - when prompted or automatically - edits the content, examples of which include: color correction, such as focus correction and/or motion blur; removing low priority scenes, such as scenes that are low in brightness compared to other images, or out of focus; object edge adjustment, and color tone adjustment. The server encodes the edited data based on the edit result. It is known that excessively long videos tend to receive fewer views. Accordingly, in order to keep the content within a specific length that scales with the length of the original video, the server may, in addition to the low priority scenes described above, automatically trim scenes with low motion, based on a feedback. -result of image processing. Alternatively, the server may generate and encode a summary of the video, based on the results of an analysis of the meaning of a scene.

[00404] Pode haver casos nos quais o conteúdo individual pode in-cluirconteúdo que infringe um direito autoral, direito moral, direitos de imagem, etc. Tal caso pode resultar em uma situação desfavorável para o criador, tal como quando o conteúdo é compartilhado além do escopo pretendido pelo criador. De acordo, antes da codificação, o servidor pode, por exemplo, editar imagens de modo a desfocar os rostos de pessoas na periferia da tela ou desfocar o interior de uma casa, por exemplo. Adicionalmente, o servidor pode ser configurado para reconhecer os rostos das pessoas, além de uma pessoa registra da nas imagens a serem codificadas, e quando tais rostos aparecem em uma imagem, pode aplicar um filtro tipo mosaico, por exemplo, ao rosto da pessoa. Alternativamente, como o pré ou pós-processamento para codificação, o usuário pode especificar, por motivos de direito au toral, uma região de uma imagem incluindo uma pessoa ou uma região do fundo a ser processada. O servidor pode processar a região especi ficada, por exemplo, pela substituição da região por uma imagem dife rente, ou desfocando a região. Se a região incluir uma pessoa, a pes soa pode ser rastreada na imagem em movimento, e a região da ca beça da pessoa pode ser substituída por outra imagem à medida que a pessoa se move.[00404] There may be cases in which individual content may include content that infringes a copyright, moral right, image rights, etc. Such a case may result in an unfavorable situation for the creator, such as when content is shared beyond the creator's intended scope. Accordingly, before encoding, the server can, for example, edit images in order to blur the faces of people on the periphery of the screen or blur the interior of a house, for example. Additionally, the server can be configured to recognize the faces of people, in addition to a person recorded in the images to be encoded, and when such faces appear in an image, it can apply a mosaic-type filter, for example, to the person's face. Alternatively, as pre- or post-processing for encoding, the user may specify, for copyright reasons, a region of an image including a person or a region of the background to be processed. The server may process the specified region, for example, by replacing the region with a different image, or blurring the region. If the region includes a person, the person can be tracked in the moving image, and the head region of the person can be replaced by another image as the person moves.

[00405] Visto que existe uma demanda pela visualização em tempo real de conteúdo produzido por indivíduos, que tende a ser pequeno em tamanho de dados, o decodificador pode primeiro receber a cama da de base como a prioridade mais alta, e realizar a decodificação e reprodução, apesar de isso poder diferir dependendo da largura de banda. Quando o conteúdo é reproduzido duas ou mais vezes, tal co mo quando o decodificador recebe a camada de aperfeiçoamento du rante a decodificação e reprodução da camada de base e circuitos de reprodução, o decodificador pode reproduzir um vídeo de alta qualida de de imagem incluindo a camada de aperfeiçoamento. Se a transmis são for codificada utilizando-se tal codificação escalonável, o vídeo pode ser de baixa qualidade quando em um estado não selecionado ou no início do vídeo, mas pode oferecer uma experiência na qual a qualidade da imagem da transmissão aumenta progressivamente de uma forma inteligente. Isso não está limitado apenas à codificação es- calonável; a mesma experiência pode ser oferecida pela configuração de uma única transmissão de uma transmissão de baixa qualidade re produzida pela primeira vez e uma segunda transmissão codificada, utilizando-se a primeira transmissão como uma referência.[00405] Since there is a demand for real-time viewing of content produced by individuals, which tends to be small in data size, the decoder may first receive the base layer as the highest priority, and perform decoding and playback, although this may differ depending on bandwidth. When content is played two or more times, such as when the decoder receives the enhancement layer during decoding and playback from the base layer and playback circuitry, the decoder can play a high image quality video including the enhancement layer. If the stream is encoded using such scalable coding, the video may be of low quality when in an unselected state or at the beginning of the video, but may provide an experience in which the image quality of the stream progressively increases in a manner intelligent. This is not just limited to scalable coding; The same experience can be offered by configuring a single stream of a low-quality stream replayed for the first time and a second encoded stream, using the first stream as a reference.

Other Implementation and Application Examples

[00406] A codificação e decodificação podem ser realizadas por LSI (conjunto de circuitos de integração em grande escala) ex500 (ver figu ra 51), que é tipicamente incluído em cada terminal. LSI ex500 pode ser configurado a partir de um único chip ou uma pluralidade de chips. O software para codificação e decodificação de imagens em movimen to pode ser integrado a algum tipo de um meio de gravação (tal como um CD-ROM, um disco flexível, ou um disco rígido) que é legível, por exemplo, por computador ex111, e a codificação e decodificação po dem ser realizadas utilizando software. Adicionalmente, quando o smartphone ex115 é equipado com uma câmera, os dados de vídeo obtidos pela câmera podem ser transmitidos. Nesse caso, os dados de vídeo podem ser codificados por LSI ex500 incluído no smartphone ex115.[00406] Encoding and decoding can be performed by LSI (Large Scale Integration Circuit Set) ex500 (see Figure 51), which is typically included in each terminal. LSI ex500 can be configured from a single chip or a plurality of chips. Software for encoding and decoding moving images may be integrated into some type of recording medium (such as a CD-ROM, a floppy disk, or a hard disk) that is readable, for example, by a computer. and encoding and decoding can be performed using software. Additionally, when the ex115 smartphone is equipped with a camera, video data obtained by the camera can be transmitted. In this case, video data can be encoded by LSI ex500 included in smartphone ex115.

[00407] Note-se que LSI ex500 pode ser configurado para descar regar e ativar um aplicativo. Em tal caso, o terminal primeiro determina se é compatível com o esquema usado para codificar o conteúdo, ou se é capaz de executar um serviço específico. Quando o terminal não é compatível com o esquema de codificação do conteúdo, ou quando o terminal não é capaz de executar um serviço específico, o terminal pode descarregar primeiro um codec ou software de aplicativo e, en tão, obter e reproduzir o conteúdo.[00407] Note that LSI ex500 can be configured to download and activate an application. In such a case, the terminal first determines whether it is compatible with the scheme used to encode the content, or whether it is capable of performing a specific service. When the terminal is not compatible with the encoding scheme of the content, or when the terminal is not capable of performing a specific service, the terminal may first download a codec or application software and then obtain and play the content.

[00408] Além do exemplo do sistema de fornecimento de conteúdo ex100 que utiliza a Internet ex101, pelo menos o codificador de ima gem em movimento (codificador de imagem) ou o decodificador de imagem em movimento (decodificador de imagem) descrito nas moda lidades acima, pode ser implementado em um sistema de difusão digi tal. O mesmo processamento de codificação e processamento de de- codificação pode ser aplicado para transmitir e receber ondas de rádio de difusão sobrepostas aos dados de áudio e vídeo multiplexados utili zando, por exemplo, um satélite, apesar de isso ser direcionado para a multidifusão, ao passo que a unidifusão é mais fácil com o sistema de fornecimento de conteúdo ex100.[00408] In addition to the example of the content delivery system ex100 utilizing the Internet ex101, at least the moving image encoder (picture encoder) or the moving image decoder (picture decoder) described in the above embodiments , can be implemented in a digital broadcast system. The same encoding processing and decoding processing can be applied to transmit and receive broadcast radio waves overlaid with multiplexed audio and video data using, for example, a satellite, although this is aimed at multicasting, whereas unicasting is easier with the ex100 content delivery system.

Hardware Configuration

[00409] A figura 56 ilustra detalhes adicionais do smartphone ex115 ilustrado na figura 51. A figura 57 ilustra um exemplo de configuração de smartphone ex115. O smartphone ex115 inclui a antena ex450 para transmitir e receber ondas de rádio para, e da estação base ex110, câmera ex465 capaz de capturar vídeo e imagens estáticas e monitor ex458 que exibe dados decodificados, tal como o vídeo capturado pela câmera ex465 e o vídeo recebido pela antena ex450. O smartphone ex115 inclui, adicionalmente, a interface de usuário ex466, tal como um painel de toque, uma unidade de saída de áudio ex457, tal como um alto falante para enviar fala ou outro áudio, unidade de entrada de áudio ex456, tal como microfone para entrada de áudio, memória ex467 capaz de armazenar dados decodificados, tal como vídeo ou imagens estáticas capturadas, áudio gravado, vídeo ou imagens está ticas recebidas, e correio eletrônico, além de dados decodificados, e partição ex464 que é uma interface para SIM ex468 para autorizar acesso a uma rede e vários dados. Note-se que a memória externa pode ser utilizada no lugar da memória ex467.[00409] Figure 56 illustrates additional details of the ex115 smartphone illustrated in figure 51. Figure 57 illustrates an example of an ex115 smartphone configuration. The ex115 smartphone includes the ex450 antenna for transmitting and receiving radio waves to and from the ex110 base station, ex465 camera capable of capturing video and still images, and ex458 monitor that displays decoded data, such as video captured by the ex465 camera and video received by the ex450 antenna. The ex115 smartphone additionally includes the ex466 user interface, such as a touch panel, an ex457 audio output unit, such as a speaker for sending speech or other audio, ex456 audio input unit, such as microphone for audio input, ex467 memory capable of storing decoded data such as captured video or still images, recorded audio, received video or still images, and electronic mail in addition to decoded data, and ex464 partition which is an interface for SIM ex468 to authorize access to a network and various data. Note that external memory can be used in place of ex467 memory.

[00410] O controlador principal ex460, que pode controlar de forma profunda o monitor ex458 e a interface de usuário ex466, o circuito de suprimento de energia ex461, o controlador de entrada de interface de usuário ex462, o processador de sinal de vídeo ex455, a interface de câmera ex463, o controlador de exibição ex459, o modula- dor/demodulador ex452, o multiplexador/desmultiplexador ex453, o processador de sinal de áudio ex454, a partição ex464, e a memória ex467, são conectados através do barramento ex470.[00410] The main controller ex460, which can deeply control the display ex458 and the user interface ex466, the power supply circuit ex461, the user interface input controller ex462, the video signal processor ex455, The EX463 camera interface, EX459 display controller, EX452 modulator/demodulator, EX453 multiplexer/demultiplexer, EX454 audio signal processor, EX464 partition, and EX467 memory are connected via the EX470 bus.

[00411] Quando o usuário liga o botão de energia do circuito de su-primento de energia ex461, o smartphone ex115 é energizado para um estado operacional, e cada componente é suprido com energia de um pacote de baterias.[00411] When the user turns on the power button of the ex461 power supply circuit, the ex115 smartphone is energized to an operational state, and each component is supplied with power from a battery pack.

[00412] O smartphone ex115 realiza o processamento para, por exemplo, chamadas e transmissão de dados, com base no controle realizado pelo controlador principal ex560, que inclui uma CPU, ROM e RAM. Quando da realização de chamadas, um sinal de áudio grava do pela unidade de registro de áudio ex456 é convertido em um sinal de áudio digital pelo processador de sinal de áudio ex454, ao qual o processamento de espectro de espalhamento é aplicado pelo modula- dor/demodulador ex452 e conversão de digital para analógico, e o pro-cessamento de conversão de frequência é aplicado pelo transmis- sor/receptor ex451, e o sinal resultante é transmitido através da antena ex450. Os dados recebidos são amplificados, convertidos em frequên cia e convertidos de analógico para digital, o espectro de espalhamen to inverso processado pelo modulador/demodulador ex452, convertido em um sinal de áudio analógico pelo processador de sinal de áudio ex454, e, então, enviado a partir da unidade de saída de áudio ex457. No modo de transmissão de dados, dados de texto, imagem estática ou vídeo podem ser transmitidos sob o controle do controlador princi pal ex460 através do controlador de entrada da interface de usuário ex462, com base na operação da interface de usuário ex466 do corpo principal, por exemplo. O processamento de transmissão e recepção similar é realizado. No modo de transmissão de dados, quando do en vio de um vídeo, imagem estática, ou vídeo e áudio, o processador de sinal de vídeo ex455 codifica por compressão, através do método de codificação de imagem em movimento, descrito nas modalidades aci ma, um sinal de vídeo armazenado na memória ex467 ou um registro de sinal de vídeo a partir da câmera ex465, e transmite o segundo da do de vídeo para o multiplexador/desmultiplexador ex453. O proces sador de sinal de áudio ex454 codifica um sinal de áudio gravado pela unidade de registro de áudio ex456, enquanto a câmera ex465 está capturando um vídeo ou imagem estática, e transmite os dados de áu dio codificados para o multiplexador/desmultiplexador ex453. O multi- plexador/desmultiplexador ex453 multiplexa os dados de vídeo codifi cados e dados de áudio codificados, utilizando um esquema determi nado, modula e converte os dados utilizando o modulador/demodu- lador (circuito de modulador/demodulador) ex452 e o transmissor/re- ceptor ex451, e transmite o resultado através da antena ex450. O es quema determinado pode ser predeterminado.[00412] The ex115 smartphone performs processing for, for example, calls and data transmission, based on control performed by the ex560 main controller, which includes a CPU, ROM and RAM. When making calls, an audio signal recorded by the ex456 audio recording unit is converted into a digital audio signal by the ex454 audio signal processor, to which spread spectrum processing is applied by the modulator/ ex452 demodulator and digital-to-analog conversion, and frequency conversion processing is applied by the ex451 transmitter/receiver, and the resulting signal is transmitted through the ex450 antenna. The received data is amplified, frequency converted, and converted from analog to digital, the reverse spread spectrum processed by the ex452 modulator/demodulator, converted into an analog audio signal by the ex454 audio signal processor, and then sent from the EX457 audio output unit. In the data transmission mode, text, still image or video data can be transmitted under the control of the EX460 main controller through the EX462 user interface input controller, based on the operation of the main body EX466 user interface, for example. Similar transmit and receive processing is performed. In data transmission mode, when sending a video, still image, or video and audio, the video signal processor ex455 encodes by compression, through the moving image coding method, described in the above embodiments, a video signal stored in memory ex467 or a video signal record from the camera ex465, and transmits the second video data to the multiplexer/demultiplexer ex453. The EX454 audio signal processor encodes an audio signal recorded by the EX456 audio recording unit while the EX465 camera is capturing a video or still image, and transmits the encoded audio data to the EX453 multiplexer/demultiplexer. The ex453 multiplexer/demultiplexer multiplexes the encoded video data and encoded audio data using a given scheme, modulates and converts the data using the modulator/demodulator (modulator/demodulator circuit) ex452 and the transmitter/ ex451 receiver, and transmits the result through the ex450 antenna. The given scheme may be predetermined.

[00413] Quando o vídeo anexado em um e-mail ou um chat, ou um vídeo com link de uma página da rede, é recebido, por exemplo, a fim de decodificar os dados multiplexados recebidos através da antena ex450, o multiplexador/desmultiplexador ex453 desmultiplexa os da dos multiplexados para dividir os dados multiplexados em uma se quência de bits de dados de vídeo e uma sequência de bits de dados de áudio, supre os dados de vídeo codificados para o processador de sinal de vídeo ex455 através do barramento sincronizado ex470 e su pre os dados de áudio codificados para o processador de sinal de áu dio ex454 através do barramento sincronizado ex470. O processador de sinal de vídeo ex455 decodifica o sinal de vídeo utilizando um mé todo de decodificação de imagem em movimento, correspondendo ao método de codificação de imagem em movimento descrito nas modali dades acima, e vídeo ou imagem estática incluído no arquivo de ima gem em movimento no link é exibido no monitor ex458 através do con trolador de exibição ex459. O processador de sinal de áudio ex454 de codifica o sinal de áudio e envia áudio a partir da unidade de saída de áudio 3x457. Visto que a transmissão em tempo real está se tornando cada vez mais popular, pode haver casos nos quais a reprodução do áudio pode ser socialmente inadequada, dependendo do ambiente do usuário. De acordo, como um valor inicial, uma configuração na qual apenas os dados de vídeo são reproduzidos, isso é, o sinal de áudio não é reproduzido, pode ser preferível; o áudio pode ser sincronizado e reproduzido apenas quando uma entrada, tal como quando o usuário clica nos dados de vídeo, é recebida.[00413] When video attached to an email or chat, or a video linked from a web page, is received, for example, in order to decode the multiplexed data received through the ex450 antenna, the multiplexer/demultiplexer ex453 demultiplexes the multiplexed data to divide the multiplexed data into a sequence of video data bits and a sequence of audio data bits, supplies the encoded video data to the ex455 video signal processor via the ex470 synchronized bus and supplies the encoded audio data to the EX454 audio signal processor via the EX470 synchronized bus. The video signal processor ex455 decodes the video signal using a moving picture decoding method corresponding to the moving picture coding method described in the above embodiments, and video or still image included in the moving picture file. Movement in the link is displayed on the EX458 monitor via the EX459 display controller. The EX454 audio signal processor encodes the audio signal and outputs audio from the 3x457 audio output unit. As real-time streaming is becoming increasingly popular, there may be cases where audio playback may be socially inappropriate depending on the user's environment. Accordingly, as a starting value, a configuration in which only the video data is played, that is, the audio signal is not played, may be preferable; audio can be synchronized and played only when input, such as when the user clicks on video data, is received.

[00414] Apesar de o smartphone ex115 ter sido utilizado no exem plo acima, outras implementações são concebíveis; um terminal trans- ceptor, incluindo ambos um codificador e um decodificador; um termi nal transmissor, incluindo apenas um codificador; e um terminal recep tor incluindo apenas um decodificador. Na descrição do sistema de difusão digital, um exemplo é fornecido no qual os dados multiplexa- dos, obtidos como um resultado de dados de vídeo sendo multiplexa- dos com dados de áudio, são recebidos ou transmitidos. Os dados multiplexados, no entanto, podem ser dados de vídeo multiplexados com dados, além dos dados de áudio, tal como dados de texto relacio nados com vídeo. Adicionalmente, os dados de vídeo propriamente ditos, em vez dos dados multiplexados, podem ser recebidos ou transmitidos.[00414] Although the ex115 smartphone was used in the example above, other implementations are conceivable; a transceiver terminal including both an encoder and a decoder; a transmitter terminal including an encoder only; and a receiving terminal including only a decoder. In the description of the digital broadcast system, an example is provided in which multiplexed data, obtained as a result of video data being multiplexed with audio data, is received or transmitted. The multiplexed data, however, may be video data multiplexed with data in addition to audio data, such as video-related text data. Additionally, video data itself, rather than multiplexed data, can be received or transmitted.

[00415] Apesar de o controlador principal ex460, incluindo uma CPU, ser descrito como controlando os processos de codificação ou decodificação, vários terminais incluem, com frequência, GPUs. De acordo, uma configuração é aceitável na qual uma área grande é pro-cessada de uma vez fazendo-se uso da capacidade de desempenho da GPU através da memória compartilhada pela CPU e GPU, ou me mória incluindo um endereço, que é gerenciado de modo a permitir a utilização comum pela CPU e GPU. Isso possibilita a redução do tem po de codificação, mantendo a natureza temporal da transmissão, e reduzindo o retardo. Em particular, o processamento referente à esti mativa de movimento, filtragem de desbloqueio, desvio adaptativo de amostra (SAO), e transformação/quantização podem ser efetivamente realizados pela GPU em vez de pela CPU em unidades de imagens, por exemplo, todos de uma vez.[00415] Although the ex460 main controller, including a CPU, is described as controlling the encoding or decoding processes, various terminals often include GPUs. Accordingly, a configuration is acceptable in which a large area is processed at once by making use of the performance capacity of the GPU through memory shared by the CPU and GPU, or memory including an address, which is managed in a manner allowing common use by the CPU and GPU. This makes it possible to reduce coding time, maintaining the temporal nature of the transmission, and reducing delay. In particular, processing regarding motion estimation, deblocking filtering, sample adaptive offset (SAO), and transformation/quantization can be effectively performed by the GPU rather than the CPU on image units, e.g., all at once. turn.

Industrial Applicability

[00416] A presente descrição é aplicável a um receptor de televi são, um gravador de vídeo digital, uma navegação de automóvel, um telefone móvel, uma câmera digital, uma câmera de vídeo digital, um sistema de teleconferência, um espelho eletrônico, etc. Marcas de Referência nos Desenhos 100 codificador 102 divisor 104 subtraidor 106 transformador 108 quantizador 110 codificador por entropia 112,204 quantizador inverso 114,206 transformador inverso 116,208 somador 118,210 memória de bloco 120,212 filtro de circuito 122,214 memória de quadro 124,216 intraprevisor 126,218 interprevisor 128,220 controlador de previsão 200 decodificador 202 decodificador por entropia 1201 determinador de limite 1202,1204, 1206 comutador 1203 determinador de filtro 1205 executor de filtragem 1207 determinador de característica de filtragem 1208 determinador de processamento a1,b1 processador a2,b2 memória[00416] The present description is applicable to a television receiver, a digital video recorder, an automobile navigation, a mobile telephone, a digital camera, a digital video camera, a teleconferencing system, an electronic mirror, etc. . Reference Marks in Drawings 100 encoder 102 divider 104 subtractor 106 transformer 108 quantizer 110 entropy encoder 112,204 inverse quantizer 114,206 inverse transformer 116,208 adder 118,210 block memory 120,212 circuit filter 122,214 frame memory 124,216 intraforecaster 126,218 interforecaster 128,220 forecast controller 200 decoder 202 entropy decoder 1201 threshold determiner 1202,1204, 1206 switch 1203 filter determiner 1205 filtering executor 1207 filter characteristic determiner 1208 processing determiner a1,b1 processor a2,b2 memory

Claims

1. Coding method for encoding a current block to be encoded into an image, characterized in that it comprises: generating a first prediction image based on a motion vector, the first prediction image being a precision image total pixel; generating a second prediction image using an interpolation filter by interpolating a value at a fractional pixel position between the total pixel positions included in the first prediction image; and encoding the current block based on the second prediction image, and using the interpolation filter, the interpolation filter is switched between a first interpolation filter and a second interpolation filter that differs, in a total number of outputs, from the first interpolation filter.

2. Encoder, according to claim 1, characterized by the fact that: the current block is a sub-block of the affine mode.

3. Decoding method for decoding a current block to be decoded into an image, characterized in that it comprises: generating a first prediction image based on a motion vector, the first prediction image being an image with accuracy of total pixel; generating a second prediction image using an interpolation filter, by interpolating a value at a fractional pixel position between the total pixel positions included in the first prediction image; and decode the current block based on the second prediction image, and in using the interpolation filter, the interpolation filter is interleaved between a first interpolation filter and a second interpolation filter that differs, in a total number of outputs, from the first interpolation filter.

4. Decoder, according to claim 3, characterized by the fact that: the current block is a sub-block of the affine mode.