BR112013033906A2 - método de inter predição, aparelho de inter predição, aparelho paradecodificar vídeo, aparelho para codificar vídeo, e meio de gravação legível por computador - Google Patents

método de inter predição, aparelho de inter predição, aparelho paradecodificar vídeo, aparelho para codificar vídeo, e meio de gravação legível por computador Download PDF

Info

Publication number
BR112013033906A2
BR112013033906A2 BR112013033906A BR112013033906A BR112013033906A2 BR 112013033906 A2 BR112013033906 A2 BR 112013033906A2 BR 112013033906 A BR112013033906 A BR 112013033906A BR 112013033906 A BR112013033906 A BR 112013033906A BR 112013033906 A2 BR112013033906 A2 BR 112013033906A2
Authority
BR
Brazil
Prior art keywords
unit
block
coding
prediction
current
Prior art date
Application number
BR112013033906A
Other languages
English (en)
Other versions
BR112013033906B1 (pt
Inventor
Kim Il-Koo
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of BR112013033906A2 publication Critical patent/BR112013033906A2/pt
Publication of BR112013033906B1 publication Critical patent/BR112013033906B1/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

método de inter predição, aparelho de inter predição, aparelho para decodificar vídeo, aparelho para codificar vídeo, e meio de gravação legível por computador um método de inter predição incluindo determinar um bloco colocalizado de um bloco atual de uma imagem atual dentre blocos de uma imagem que é restaurada antes da imagem atual; preferencialmente verificar se uma primeira lista de referência dentre listas de referência do bloco colocalizado é referenciada e seletivamente verificar se uma segunda lista de referência é referenciada de acordo com se a primeira lista de referência é referenciada; com base em um resultado da verificação, determinar uma única lista de referência colocalizada dentre a primeira lista de referência e a segunda lista de referência; determinar um bloco de referência do bloco atual usando informação de movimento da lista de referência colocalizada; e executar inter predição no bloco atual usando o bloco de referência determinado.

Description

MÉTODO PARA DECODIFICAR VÍDEO
Campo Técnico [001] A presente invenção se refere a um método e aparelho para codificar um video por intermédio de inter predição e compensação de movimento e a um método e aparelho para decodificar video por intermédio de inter predição e compensação de movimento.
Fundamentos da Técnica [002] À medida que um hardware para reproduzir e armazenar conteúdo de video de alta resolução ou alta qualidade está sendo desenvolvido e fornecido, aumenta a necessidade de um codec de video para efetivamente codificar ou decodificar um conteúdo de video de alta resolução ou alta qualidade. De acordo com um codec de video convencional, um video é codificado de acordo com um método de codificação limitado com base em um macro bloco que tem um tamanho predeterminado.
[003] Dados de imagem de uma região espacial são transformados em coeficientes de uma região de frequência por intermédio de transformação de frequência. De acordo com um codec de video, uma imagem é dividida em bloco que tem um tamanho predeterminado, a transformação discreta de cosseno (na sigla em inglês para discrete cosene transformation, DCT) é realizada para cada bloco respectivo, e os coeficientes de frequência são codificados em unidades de bloco, para cálculo rápido de transformação de frequência. Em comparação com os dados de imagem de uma região espacial, os coeficientes de uma região de frequência são facilmente compactados. Particularmente, como um valor de pixel de imagem de uma região espacial é expresso de acordo com um erro de predição por intermédio de inter predição ou intra predição de um codec de video, quando a transformação de frequência é realizada no erro de predição, uma grande quantidade de dados pode ser transformada para 0. De acordo com um codec de vídeo, uma
Petição 870190082481, de 23/08/2019, pág. 10/136
2/63 quantidade de dados pode ser reduzida mediante substituição dos dados que são gerados de forma consecutiva, e repetida, com os dados de tamanho pequeno.
Revelação
Problema Técnico [004] A presente invenção proporciona um método e aparelho de inter predição para determinar uma imagem de referência mediante uso de uma imagem colocalizada, um método de codificação de video e um método de decodificação de video por intermédio de inter predição, e um método de decodificação de video e um
aparelho predição de decodificação de video por intermédio de inter
[005] provido Solução Técnica De acordo com um um método de inter aspecto predição da presente invenção, é incluindo determinar um
bloco colocalizado de um bloco atual de uma imagem atual dentre os blocos de uma imagem que é restaurada antes da imagem atual; verificar preferivelmente se uma primeira lista de referências dentre as listas de referências do bloco colocalizado é consultada e seletivamente verificar se uma segunda lista de referências é consultada de acordo com o fato de se a primeira lista de referências é consultada; com base em um resultado da verificação, determinar uma única lista de referências colocalizada dentre a primeira lista de referências e a segunda lista de referências; determinar um bloco de referência do bloco atual mediante uso de informação de movimento da lista de referências colocalizada; e realizar inter predição no bloco atual mediante uso do bloco de referência determinado.
Efeitos Vantajosos [006] Sem verificar toda uma pluralidade de imagens de referência incluídas na lista de referências do bloco colocalizado para determinar a imagem de referência do bloco atual, o aparelho de inter predição pode preferivelmente
Petição 870190082481, de 23/08/2019, pág. 11/136
3/63 verificar a primeira lista de referências incluindo imagens de referência posicionadas em uma direção oposta a uma direção a partir do bloco atual para o bloco colocalizado na imagem colocalizada. 0 aparelho de inter predição pode seletivamente verificar as listas de referências, restantes. Assim, um processo desnecessário é ignorado em um processo para determinar a imagem e referência do bloco atual mediante uso do bloco colocalizado, aumentando assim a eficiência de um processo de determinar a imagem de referência para inter predição.
Descrição dos Desenhos [007] A Figura 1 é um diagrama de blocos de um aparelho de inter predição de acordo com uma modalidade da presente invenção;
[008] A Figura 2 mostra um método convencional de determinar uma imagem de referência mediante uso de um bloco colocalizado;
[009] A Figura 3 mostra um método de determinar uma imagem de referência mediante uso de um bloco colocalizado, de acordo com uma modalidade da presente invenção;
[0010] A Figura 4 é um fluxograma de um método de inter predição de acordo com uma modalidade da presente invenção;
[0011] A Figura 5 é um fluxograma de um método de codificação de vídeo por intermédio de inter predição de acordo com uma modalidade da presente invenção;
[0012] A Figura 6 é um fluxograma de um método de decodificação de vídeo por intermédio de inter predição de acordo com uma modalidade da presente invenção;
[0013] A Figura 7 é um diagrama de blocos de um aparelho de codificação de vídeo com base em uma unidade de codificação de acordo com uma estrutura de árvore, de acordo com uma modalidade da presente invenção;
[0014] A Figura 8 é um diagrama de blocos de um aparelho de decodificação de vídeo com base em uma unidade de codificação de acordo com uma estrutura de árvore, de acordo com uma modalidade da presente invenção;
Petição 870190082481, de 23/08/2019, pág. 12/136
4/63 [0015] A Figura 9 é um diagrama para descrever um conceito de unidades de codificação de acordo com uma modalidade da presente invenção;
[0016] A Figura 10 é um diagrama de blocos de um codificador de imagem com base nas unidades de codificação de acordo com uma modalidade da presente invenção;
[0017] A Figura 11 é um diagrama de blocos de um deeodificador de imagem com base nas unidades de codificação de acordo com uma modalidade da presente invenção;
[0018] A Figura 12 é um diagrama ilustrando as unidades de codificação mais profunda de acordo com as profundidades, e partições de acordo com uma modalidade da presente invenção;
[0019] A Figura 13 é um diagrama para descrever uma relação entre uma unidade de codificação e unidades de transformação, de acordo com uma modalidade da presente invenção;
[0020] A Figura 14 é um diagrama para descrever informação de codificação das unidades de codificação correspondendo a uma profundidade codificada, de acordo com uma modalidade da presente invenção;
[0021] A Figura 15 é um diagrama de unidades de codificação mais profunda de acordo com as profundidades, de acordo com uma modalidade da presente invenção;
[0022] As Figuras 16 a 18 são diagramas para descrever uma relação entre unidades de codificação, unidades de predição e unidades de transformação, de acordo com uma modalidade da presente invenção; e [0023] A Figura 19 é um diagrama para descrever uma relação entre uma unidade de codificação, uma unidade de predição ou uma partição, e uma unidade de transformação, de acordo com a informação de modo de codificação da Tabela 1.
Melhor Modo [0024] De acordo com um aspecto da presente invenção, é
Petição 870190082481, de 23/08/2019, pág. 13/136
5/63 provido um método de inter predíção incluindo a determinação de um bloco colocalizado de um bloco atual de uma imagem atual, dentre blocos de uma imagem que é restaurada antes da imagem atual, de preferência, verificando se uma primeira lista de referências dentre as listas de referências do bloco colocalizado é consultada e seletivamente verificar se uma segunda lista de referências é consultada de acordo com o fato de se a primeira lista de referências é consultada, com base no resultado da verificação, a determinação de uma lista de referências única colocalizada dentre a primeira lista de referências e a segunda lista de referências, determinando um bloco de referência do bloco atual, usando informação de movimento da lista de referências colocalizada, e realizando inter predíção no bloco atual usando o bloco de referência determinado.
[0025] A primeira lista de referências pode incluir imagens que estão posicionados em frente a uma direção a partir da imagem atual para o bloco colocalizado.
[0026] A verificação seletiva da segunda lista de referências pode incluir, quando a primeira lista de referências é consultada para a inter predíção, pulando uma operação para verificar se a segunda lista de referências é consultada.
[0027] A determinação da lista de referências colocalizada pode incluir, quando um número de contagem de ordem de imagem (na sigla em inglês para Picture order counting, POC) de uma imagem do bloco colocalizado é sempre menor do que o da imagem atual, determinar uma lista de referências do bloco atual como a lista de referências colocalizada.
[0028] A verificação seletiva da segunda lista de referências pode incluir a verificação da primeira lista de referências ou a
segunda lista de referências de acordo com o fato de se existe
informação de movimento da primeira lista de referências ou da
segunda [0029] lista De de referências. acordo com outro aspecto da presente invenção, é
Petição 870190082481, de 23/08/2019, pág. 14/136
6/63 provido um aparelho de inter predição incluindo uma unidade de verificação de lista de referências colocalizada para determinar um bloco colocalizado de um bloco atual de uma imagem atual, dentre blocos de uma imagem que é restaurada antes da imagem atual e, preferivelmente, verificando se a primeira lista de referências entre as listas de referências do bloco colocalizado é consultada e seletivamente verificar se uma segunda lista de referências é consultada, de acordo com o fato de se a primeira lista de referências é consultada; um determinador de bloco de referência para, com base em um resultado da verificação, determinar uma lista única de referência colocalizada entre a primeira lista de referências e a segunda lista de referências, e determinar um bloco de referência do bloco atual mediante utilização de informação de movimento da lista de referências colocalizada; e uma unidade de inter predição para a realização de inter predição no bloco atual usando o bloco de referência determinado.
[0030] De acordo com outro aspecto da presente invenção, é provido um aparelho de decodificação de video que inclui um analisador para realizar decodificação por entropia em uma sequência de bits obtida por análise de um fluxo de bits recebido para restaurar amostras; um transformador inverso para a realização de quantização inversa e transformação inversa de um coeficiente de transformação quantizado dentre as amostras restauradas para restaurar amostras; um intra preditor para a realização de intra predição em blocos em um modo de intra predição entre as amostras restauradas pelo transformador inverso; e um compensador de movimento para verificar, preferivelmente, se a primeira lista de referências dentre listas de referências de um bloco colocalizado do bloco atual, verificando seletivamente se uma segunda lista de referências é consultada, de acordo com o fato de se a primeira lista de referências é consultada, determinando uma única lista de referências colocalizada entre a primeira lista de referências e
Petição 870190082481, de 23/08/2019, pág. 15/136
7/63 a segunda lista de referências com base em resultado da verificação, e realizando inter predição no bloco atual utilizando um bloco de referência do bloco atual com base na informação de movimento da lista de referências colocalizada, para a realização de inter predição em um bloco atual em um modo inter dentre as amostras restauradas pelo transformador inverso, e um restaurador para restaurar uma imagem usando blocos que são restaurados através de inter predição ou de intra predição.
[0031] De acordo com outro aspecto da presente invenção, é provido um aparelho de codificação de video, incluindo um intra preditor para realizar a intra predição em blocos em um modo de intra predição entre blocos de video, um inter preditor para, preferivelmente, verificar se uma primeira lista de referências entre listas de referências de um bloco colocalizado do bloco atual é consultada, verificando seletivamente se uma segunda lista de referências é consultada, de acordo com o fato de se a primeira lista de referências é consultada, determinando uma única lista de referências colocalizada entre a primeira lista de referências e a segunda lista de referências com base no resultado da verificação, e realizando inter predição no bloco atual utilizando um bloco de referência do bloco atual com base na informação de movimento da lista de referências colocalizada, para inter predição de um bloco atual em um modo inter; um quantizador de transformação para realizar a transformação e a quantização em um resultado da intra predição ou inter predição, e uma unidade de saida para a emissão de um fluxo de bits gerado através da realização de codificação de entropia em amostras incluindo um coeficiente de transformação quantizado gerado como um resultado da transformação e da quantização.
[0032] De acordo com outro aspecto da presente invenção, é provido um meio de gravação legivel por computador tendo nele gravado um programa para executar o método de inter predição.
Modo para a Invenção [0033] Em seguida, um método de inter predição e aparelho
Petição 870190082481, de 23/08/2019, pág. 16/136
8/63 utilizando uma lista de referências de um bloco colocalizado serão descritos com referência às figuras 1 a 5. Um método de codificação de video e um aparelho de decodificação de video por intermédio de inter predição serão descritos com referência às figuras 5 e 6. Além disso, um método de codificação de video e um aparelho de decodificação de video por intermédio de inter predição baseada em uma unidade de codificação tendo uma estrutura de árvore serão descritos com referência às figuras 7 a 19. Em seguida, o termo imagem pode se referir a uma imagem estática ou uma imagem em movimento, isto é, em si um video.
[0034] Em primeiro lugar, com referência às figuras 1 a 4, um método de predição de inter e um aparelho de inter predição utilizando uma lista de referências de um bloco colocalizado de acordo com uma modalidade da presente invenção serão descritos. Além disso, com referência às figuras 5 e 6, um método de codificação de video e de um método de decodificação de video por intermédio de inter predição de acordo com uma modalidade da presente invenção irá ser descrito.
[0035] A figura 1 é um diagrama de blocos de um aparelho de inter predição 10 de acordo com uma modalidade da presente invenção.
[0036] O aparelho de inter predição 10 inclui uma unidade de verificação de lista de referências 12, uma unidade de determinação de bloco de referência 14, e uma unidade de inter predição 16.
[0037] O aparelho de inter predição 10 codifica cada imagem de video para cada respectivo bloco. Um bloco pode ter uma forma quadrada, uma forma retangular, ou qualquer forma geométrica e não se limita a uma unidade de dados, que tem um tamanho predeterminado. De acordo com uma modalidade da presente invenção, um bloco pode ser uma unidade de codificação máxima, uma unidade de codificação, uma unidade de predição, uma unidade de transformação, ou semelhantes, dentre as unidades de codificação de acordo com uma estrutura de árvore. Métodos de
Petição 870190082481, de 23/08/2019, pág. 17/136
9/63 codificação e decodificação de video baseado em unidades de codificação de acordo com uma estrutura de árvore serão descritos a seguir com referência às figuras 7 a 19.
[0038] A unidade de verificação de lista de referências 12 pode determinar um bloco colocalizado de um bloco atual de uma imagem atual entre blocos de uma imagem que é restaurada antes da imagem atual. O bloco colocalizado do bloco atual da imagem atual pode ser determinado a partir dos blocos da imagem que é restaurada antes de a imagem atual, e em seguida, um bloco colocalizado posicionado em um local do bloco em uma imagem colocalizada, correspondendo a uma localização de bloco do bloco atual na imagem atual, pode ser determinado.
[0039] A unidade de verificação de lista de referências 12 poderá determinar uma lista de referências do bloco atual, usando uma lista de referências do bloco colocalizado.
[0040] A unidade de verificação de lista de referências 12 pode verificar se uma primeira lista de referências dentre listas de referências do bloco colocalizado é preferivelmente consultada. A primeira lista de referências de acordo com a presente modalidade pode incluir imagens que estão posicionados em uma direção oposta à direção a partir da imagem atual para o bloco colocalizado no bloco colocalizado.
[0041] A unidade de verificação de lista de referências 12 pode verificar seletivamente se uma segunda lista de referências é consultada, segundo se a primeira lista de referências é consultada. Quando a primeira lista de referências é consultada, não tem de ser verificado se a segunda lista de referências é consultada.
[0042] Quando a primeira lista de referências é consultada para a inter predição do bloco colocalizado, a unidade de verificação de lista de referências 12 pode pular um processo de verificar se a segunda lista de referências é consultada.
[0043] A unidade de verificação de lista de referências 12 pode verificar se a primeira lista de referências ou a segunda
Petição 870190082481, de 23/08/2019, pág. 18/136
10/63 lista de referências é consultada, de acordo com o fato de se existe informação de movimento da primeira lista de referências ou a segunda lista de referências.
[0044] A unidade de determinação de bloco de referência 14 pode determinar um bloco de referência do bloco atual de acordo com o resultado da verificação de se a primeira lista de referências ou a segunda lista de referências é consultada.
[0045] A unidade de determinação de bloco de referência 14 pode determinar uma única lista de referências colocalizada entre a primeira lista de referências e a segunda lista de referências. Quando a unidade de determinação de bloco de referência 14 verifica que a primeira lista de referências é capaz de ser consultada, a unidade de determinação de bloco de referência 14 determina que a primeira lista de referências é a lista de referências colocalizada. Quando a unidade de determinação de bloco de referência 14 verifica que a segunda lista de referências é capaz de ser consultada, a unidade de determinação de bloco de referência 14 determina que a segunda lista de referências é a lista de referências colocalizada.
[0046] A unidade de determinação de bloco de referência 14 pode determinar o bloco de referência do bloco atual, usando informação de movimento da lista de referências colocalizada. A imagem de referência colocalizada pode ser determinada de acordo com a lista de referências colocalizada. A imagem de referência da imagem atual pode ser determinada de acordo com a direção e distância da imagem colocalizada para a imagem de referência colocalizada. Além disso, a informação de movimento do bloco atual pode ser determinada, modificando a informação de movimento da lista de referências colocalizada em proporção com a direção e a distância a partir da imagem colocalizada para a imagem de referência colocalizada, e o bloco de referência podem ser determinados na imagem de referência da imagem atual de acordo com a informação de movimento modificada da lista de referências colocalizada.
Petição 870190082481, de 23/08/2019, pág. 19/136
11/63 [0047] No entanto, quando um número de contagem de ordem de imagem (POC) de uma imagem do bloco colocalizado é sempre menor do que a da imagem atual, a unidade de determinação de bloco de referência 14 substitui a lista de referências colocalizada pela lista de referências do bloco atual. Assim, a imagem de referência do bloco atual pode ser determinada de acordo com a lista de referências do bloco atual.
[0048] A unidade de determinação de bloco de referência 14 pode determinar a imagem de referência do bloco atual de acordo com a lista de referências do bloco atual em uma condição de pouco atraso para impedir que a codificação de vídeo seja retardada. Por exemplo, quando uma lista 0 e lista 1 da lista de referências do bloco atual incluem as mesmas imagens de referência, ou seja, no modo P e B (GPB) generalizado, a imagem de referência pode ser determinada de acordo com a lista de referências do bloco atual. Quando uma condição atual para decodificar uma imagem satisfaz a condição de pouco atraso, a unidade de determinação de bloco de referência 14 poderá determinar a imagem de referência do bloco atual de acordo com a lista de referências do bloco atual.
[0049] A unidade de inter predição 16 pode realizar inter predição no bloco atual usando o bloco de referência determinado pela unidade de determinação de bloco de referência 14.
[0050] O aparelho de inter predição 10 pode incluir um processador central (não mostrado) para controlar geralmente a unidade de verificação de lista de referências 12, a unidade de determinação de bloco de referência 14, e a unidade de inter predição 16. Alternativamente, a unidade de verificação de lista de referências 12, a unidade de determinação de bloco de referência 14, e a unidade de inter predição 16 podem ser controladas por respectivos processadores (não mostrado) e os processadores podem cooperativamente interagir uns com os outros, de modo a controlar uma operação global entre aparelhos de predição 10. Alternativamente, a unidade de verificação de
Petição 870190082481, de 23/08/2019, pág. 20/136
12/63 lista de referências 12, a unidade de determinação de bloco de referência 14, e a unidade de inter predição 16 podem ser controladas de acordo com o controle de um processador externo (não mostrado) do aparelho de inter predição 10.
[0051] O aparelho de inter predição 10 pode incluir, pelo menos, uma unidade de armazenamento de dados (não mostrada) para armazenamento de dados que são introduzidos e emitidos a partir da unidade de verificação de lista de referências 12, da unidade de determinação de bloco de referência 14, e da unidade de inter predição 16. O aparelho de inter predição 10 pode incluir um controlador (não mostrado) para controlar a entrada/saida de dados de uma unidade de armazenamento de dados (não mostrada).
[0052] O aparelho de inter predição 10 pode preferivelmente verificar a primeira lista de referências, incluindo imagens de referência posicionadas em uma direção oposta à direção a partir do bloco atual para o bloco colocalizado na imagem colocalizada. O aparelho de inter predição 10 controla seletivamente as listas de referências remanescentes, sem verificar tudo de uma pluralidade de imagens de referência incluídas na lista de referências do bloco colocalizado, para determinar a imagem de referência do bloco atual.
[0053] Quando o aparelho de inter predição 10 verifica que a primeira lista de referências do bloco colocalizado é utilizada para a inter predição da imagem colocalizada, já que o aparelho de inter predição 10 pode determinar a imagem de referência do bloco atual com base na primeira lista de referências do bloco colocalizado, um processo para a nova verificação se as referências restantes do bloco colocalizado são consultadas pode ser ignorado. Assim, um processo desnecessário é ignorado em um processo para a determinação da imagem de referência do bloco atual utilizando o bloco colocalizado, aumentando assim a eficiência de um processo de determinação da imagem de referência para a inter predição.
[0054] A figura 2 mostra um método convencional de
Petição 870190082481, de 23/08/2019, pág. 21/136
13/63 determinação de uma imagem de referência, utilizando um bloco colocalizado.
[0055] A imagem de referência de um bloco atual 25 da imagem atual 20 pode ser determinada com referência a uma lista de referências de um bloco colocalizado 27 do bloco atual 25.
[0056] Os índices de listas de referências podem ser expressos pela lista 0 28 e lista 1 29. De acordo com uma ordem POC de imagens 22, 20, 21 e 23, uma lista de referências, incluindo imagens de referência à frente da imagem atual 20 pode ser expressa por lista 0 L0 e imagens de referência, incluindo imagens de referência atrás da imagem atual 20 podem ser expressas por Lista 1 LI.
[0057] Um valor 'colDir' de uma imagem colocalizada 21 do bloco atual 25 indica uma direção para a imagem colocalizada 21. Uma vez que a imagem colocalizada 21 é incluída em uma lista 1 26 da imagem atual de 20, o 'colDir' pode ser 1. Como outro exemplo, um valor 'collocated_from_10_flag' pode ser utilizado como um parâmetro para procurar a imagem colocalizada 21. O valor 'collocated_from_10_flag' pode indicar que a imagem colocalizada 21 é uma imagem da lista 0 da imagem atual 20. Assim, o valor 'collocated_from_10_flag' da imagem atual 20 pode ser determinado como 0.
[0058] O bloco colocalizado 27 pode ser posicionado em um local de bloco na imagem colocalizada 21, o que corresponde a uma localização de bloco do bloco atual 25 na imagem atual 20. Em um método convencional, uma imagem de referência do bloco atual 25 pode ser determinada, verificando se uma lista 0 28, e uma lista 1 29, de uma lista de referências do bloco colocalizado 27, são consultadas.
[0059] Tipicamente, a imagem de referência do bloco atual 25 pode ser determinada a partir do bloco colocalizado 27, em uma direção de referência através da imagem atual 20. Uma vez que a direção de referência através da imagem atual 20 a partir do bloco colocalizado 27 é uma direção no sentido da lista 0 28, a
Petição 870190082481, de 23/08/2019, pág. 22/136
14/63 imagem de referência do bloco atual 25 é susceptível de ser posicionada na direção da lista 0 28. Assim, convencionalmente, mesmo que um processo de verificar se a lista 1 29 é consultada seja provavelmente desnecessário, precisa ser verificado se a lista 0 28 e a lista 1 29 da lista de referências do bloco colocalizado 27 são consultadas.
[0060] A figura 3 mostra um método de determinação de uma imagem de referência, utilizando um bloco colocalizado, de acordo com uma modalidade da presente invenção.
[0061] Geralmente, uma imagem de referência de um bloco atual pode ser determinada a partir de um bloco colocalizado 37 em uma direção de referência através de uma imagem atual 30. Isto é, se uma imagem colocalizada 31 está incluída em uma lista 1 36 do bloco atual 35, a imagem de referência do bloco atual 35 é susceptível de ser determinada a partir do bloco colocalizado 37 em uma direção de referência para uma lista 0 38 através da imagem atual 30.
[0062] Se outra imagem colocalizada está posicionada na direção de referência para a lista 0 38, a imagem de referência do bloco atual 35 é susceptível de ser determinada a partir da imagem colocalizada em uma direção de referência para a lista 1 através da imagem atual 30.
[0063] Assim, de acordo com a presente modalidade, para determinar a imagem de referência do bloco atual 35, o aparelho de inter predição 10 pode preferivelmente verificar se é consultada uma única lista de referências entre as listas de referências, isto é, as listas de 0 38 e de 1 39 de um bloco colocalizado 37. Se uma lista de referências correspondente é consultada pode ser determinado de acordo com o fato de se o bloco colocalizado 37 tem informação de movimento sobre a lista de referências correspondente, como resultado do fato de a lista de referências correspondente ter sido anteriormente consultada durante a restauração do bloco colocalizado 37.
[0064] Se a lista de referências que é preferivelmente
Petição 870190082481, de 23/08/2019, pág. 23/136
15/63 verificada não tem sido utilizada para a inter predição do bloco colocalizado 37, o aparelho de inter predição 10 pode verificar se a lista de referência restante do bloco colocalizado 37 é consultada.
[0065] Como descrito acima, a lista de referências pode ser determinada a partir do bloco colocalizado 37 na direção de referência através da imagem atual 30. Assim, se a imagem colocalizada 31 está incluída na lista 1 36 do bloco atual 35, o aparelho de inter predição 10 pode verificar se a lista 0 38 é consultada a partir do bloco colocalizado 37 ao longo de uma direção através da imagem atual 30. Quando se determina que a lista 0 38 é consultada, não tem de ser verificado se uma lista 1 39 é consultada. No entanto, se as imagens da lista 0 38 do bloco colocalizado 36 não são consultadas para a inter predição, o aparelho de inter predição 10 pode simplesmente verificar se a lista 1 39 do bloco colocalizado 36 é consultada.
[0066] Da mesma forma, se uma imagem colocalizada de um bloco atual é incluída em uma lista 0 do bloco atual, o aparelho de inter predição 10, pode preferivelmente, verificar se uma lista 1 de um bloco colocalizado é consultada.
[0067] Assim, o aparelho de inter predição 10 determina uma lista de referências que está sujeita a uma operação de preferencialmente verificar se a lista de referências é consultada, dentre as listas de referências de um bloco colocalizado, com base em uma direção de referência de um bloco atual para uma imagem colocalizada.
[0068] Ou seja, o aparelho de inter predição 10 determina uma direção para uma lista de referências que está sujeita a uma operação de preferencialmente verificar se a lista de referências é consultada, dentre listas de referências de um bloco colocalizado, como uma direção oposta à direção de referência a partir do bloco atual para a imagem colocalizada. Assim, se a imagem colocalizada é uma imagem de uma lista 0 da imagem atual, se uma lista 1 do bloco colocalizado é consultada
Petição 870190082481, de 23/08/2019, pág. 24/136
16/63 pode ser preferencialmente verificado. Se a imagem é uma imagem colocalizada da lista 1 da imagem atual, se a lista 0 do bloco colocalizado é consultada pode ser preferencialmente verificado. [0069] Por exemplo, uma lista de referências, que está sujeita a uma operação de preferencialmente verificar se a lista de referências é consultada entre listas de referências do bloco colocalizado, pode ser determinada oposta a uma direção de referência do bloco atual para a imagem colocalizada. Assim, quando a direção de referência do bloco atual para a imagem colocalizada é expressa por 'colDir', o aparelho de inter predição 10 determina uma lista de referências que está sujeita a uma operação de preferencialmente verificar se a lista de referências é consultada ao longo de '1-colDir', dentre listas de referências do bloco colocalizado.
[0070] Como outro exemplo, quando uma imagem é colocalizada de uma imagem de uma lista 0 de uma imagem atual, um valor 'collocated_from_10_flag' de um bloco atual é 1. Quando a imagem colocalizada é uma imagem de uma lista 1 da imagem atual, o valor 'collocated_from_10_flag' é 0. Assim, o aparelho de inter predição 10 determina uma direção para uma lista de referências que está sujeita a uma operação de preferencialmente verificar se a lista de referências é consultada entre listas de referências do bloco colocalizado de acordo com o valor 'collocated_from_10_flag' do bloco atual.
[0071] Assim, aparelho de inter predição 10 pode determinar o bloco de referência do bloco atual, usando informação de movimento de uma lista de referências colocalizada que é selecionada com base em se a primeira lista de referências é consultada.
[0072] No entanto, em uma condição de pouco atraso, o aparelho de inter predição 10 determina a imagem de referência do bloco atual com base na lista de referências do bloco atual, em vez de uma lista de referências do bloco colocalizado. Por exemplo, quando um número POC de uma imagem do bloco colocalizado é
Petição 870190082481, de 23/08/2019, pág. 25/136
17/63 sempre menor do que a da imagem atual, ou quando é satisfeita uma condição predeterminada, incluindo um modo de predição GPB, em que as lista 0 e 1 de listas de referências do bloco atual incluem as mesmas imagens de referência, uma imagem é decodificada na condição de pequeno atraso. Na condição de pequeno atraso, o aparelho de inter predição 10 substitui a lista de referências colocalizada pela lista de referências do bloco atual e, em seguida, poderá determinar o bloco de referência do bloco atual, usando informação de movimento da lista de referências colocalizada.
[0073] A figura 4 é um fluxograma de um método de inter predição de acordo com uma modalidade da presente invenção.
[0074] Na operação 41, um bloco colocalizado de um bloco atual de uma imagem atual é determinado, entre os blocos de uma imagem que é restaurada antes da imagem atual.
[0075] Na operação 42, uma primeira lista de referências preferivelmente consultada dentre listas de referências do bloco colocalizado é verificada, e uma segunda lista de referências consultada é verificada de acordo com o fato de se a primeira lista de referências é consultada.
[0076] De acordo com a presente modalidade, a primeira lista de referências pode incluir imagens que estão posicionadas opostas a uma direção a partir da imagem atual para o bloco colocalizado. Quando a primeira lista de referências é consultada para a inter predição do bloco colocalizado, um processo de verificar se a segunda lista de referências é consultada pode ser ignorado.
[0077] Na operação de 43, com base no resultado da verificação de operação 42, uma lista de referências única colocalizada é determinada a partir da primeira lista de referências e da segunda lista de referências. Quando um video é decodificado na condição de pequeno atraso, a lista de referências do bloco atual é determinada como uma lista de referências colocalizada; e uma imagem de referência pode ser determinada de acordo com a
Petição 870190082481, de 23/08/2019, pág. 26/136
18/63 lista de referência do bloco atual.
[0078] Na operação 44, um bloco de referência do bloco atual é determinado por meio de informação de movimento da lista de referências colocalizada. Na operação 45, inter predição é realizada no bloco atual utilizando o bloco de referência determinado na operação 44.
[0079] Assim, no método de determinar uma imagem de referência para a inter predição de acordo com a presente modalidade, se for verificado que a primeira lista de referências do bloco colocalizado é utilizada para a inter predição da imagem colocalizada, um processo desnecessário para nova verificação de se as listas de referências restantes do bloco colocalizado são consultadas pode ser ignorado, aumentando assim a eficiência da inter predição.
[0080] A figura 5 é um fluxograma de um método de codificação de video por intermédio de inter predição de acordo com uma modalidade da presente invenção.
[0081] Na operação 51, a intra predição é realizada em blocos em um modo de intra predição entre blocos de um video.
[0082] Na operação 52, é verificado se uma primeira lista de referências dentre listas de referências de um bloco colocalizado de um bloco atual é preferivelmente consultada para a inter predição do bloco atual no modo inter. A primeira lista de referências pode incluir imagens que estão posicionadas em uma direção oposta a uma direção a partir da imagem atual para o bloco colocalizado.
[0083] Quando a primeira lista de referências é capaz de ser consultada, não tem de ser verificado se uma segunda lista de referências é consultada. Quando a primeira lista de referências não é consultada, se a segunda lista de referências é consultada
pode ser verificado. Baseado no resultado da verificação, uma
lista de referências única colocalizada pode ser determinada
entre a primeira lista de referências e a segunda lista de
referências e um bloco de referência do bloco atual pode ser
Petição 870190082481, de 23/08/2019, pág. 27/136
19/63 determinado com base na informação de movimento da lista de referências colocalizada. A inter predição pode ser realizada no bloco atual utilizando o bloco de referência do bloco atual para gerar um valor residual.
[0084] Na operação 53, transformação e quantização são realizadas na sequência de intra predição ou inter predição para gerar um coeficiente de transformação quantizado. Na operação 55, um fluxo de bits gerado através da realização de codificação de entropia em amostras, incluindo o coeficiente de transformação quantizado de operação 53 é emitido. Um parâmetro 'colDir', indicando uma direção para a imagem colocalizada do bloco atual ou um parâmetro 'collocated_from_10_flag' indicando se a imagem atual do imagem colocalizado é uma imagem da lista 0 pode ser transmitido.
[0085] Além disso, durante a inter predição de operação 52, quando uma imagem é restaurada em uma condição de atraso, uma imagem de referência pode ser determinada de acordo com a lista de referências do bloco atual, independentemente da lista de referências colocalizada.
[0086] Um aparelho de codificação de vídeo que executa o método de codificação de vídeo da figura 5 pode incluir o aparelho de inter predição 10 de acordo com uma modalidade da presente invenção. O aparelho de codificação de vídeo, incluindo o aparelho de inter predição 10 pode realizar a intra predição, inter predição, transformação, e quantização para cada bloco de imagem para gerar amostras e pode executar codificação entropia nas amostras para gerar um fluxo de bits. No aparelho de codificação de vídeo, incluindo o aparelho de inter predição 10, o aparelho de inter predição 10 pode interagir com um processador de codificação de vídeo ou um processador de codificação de vídeo externo, o qual é montado no aparelho de codificação de vídeo pra executar uma operação de codificação de vídeo, incluindo transformação, de modo a produzir um resultado de codificação de vídeo. De acordo com uma modalidade da
Petição 870190082481, de 23/08/2019, pág. 28/136
20/63 presente invenção, em um processador de codificação de video interno do aparelho de codificação de video, uma vez que um aparelho de codificação de vídeo, um dispositivo de processamento central, ou um aparelho de processamento de gráficos pode incluir um módulo de codificação de vídeo, bem como um processador separado, uma operação de codificação de vídeo básica pode ser realizada.
[0087] A figura 6 é um fluxograma de um método de decodificação de vídeo por intermédio de inter predição de acordo com uma modalidade da presente invenção.
[0088] Na operação 61, a decodificação por entropia é realizada em uma sequência de bits obtida por análise de um fluxo de bits recebido para restaurar amostras. Na operação 62, quantização inversa e a transformação inversa são realizadas em um coeficiente de transformação quantizado a partir das amostras para restaurar as amostras. Na operação 63, a intra predição é realizada em amostras em um modo intra. Na operação 64, a compensação de movimento é executada em amostras em um modo inter. Na operação 65, uma imagem é restaurada usando blocos que são restaurados através da intra predição da operação 63 ou da compensação de movimento da operação 64.
[0089] Na operação 64, um bloco colocalizado de um bloco atual é determinado a partir das amostras, para a inter predição de um bloco atual no modo inter. Um parâmetro 'colDir', indicando uma direção para a imagem colocalizada do bloco atual ou um parâmetro 'collocated_from_10_flag' indicando se a imagem atual da imagem colocalizada é uma imagem da lista 0 pode ser analisado a partir de um fluxo de bits e restaurado. O bloco colocalizado do bloco atual pode ser determinado com base no parâmetro 'colDir' ou o parâmetro 'collocated_from_10_flag'.
[0090] Se uma primeira lista de referências dentre listas de referências do bloco colocalizado é consultada é preferencialmente verificado. A primeira lista de referências pode incluir imagens que estão posicionadas em uma direção
Petição 870190082481, de 23/08/2019, pág. 29/136
21/63 oposta a uma direção a partir da imagem atual para o bloco colocalizado.
[0091] Quando a primeira lista de referências é capaz de ser consultada, não se tem que verificar se uma segunda lista de referências é consultada. Quando a primeira lista de referências não é consultada, se a segunda lista de referências é consultada pode ser verificado. Baseado no resultado da verificação, uma lista única de referência colocalizada pode ser determinada entre a primeira lista de referências e a segunda lista de referências e um bloco de referências do bloco atual pode ser determinado com base na informação de movimento da lista de referências colocalizada. A compensação de movimento do bloco atual pode ser realizada no bloco atual utilizando o bloco de referência do bloco atual para gerar um valor de pixel do bloco de amostra.
[0092] Além disso, durante a operação de compensação de movimento 63, quando uma imagem é restaurada em uma condição de atraso, uma imagem de referência pode ser determinada de acordo com uma lista de referências do bloco atual, independentemente da lista de referências colocalizada.
[0093] Um aparelho de decodificação de video que executa o método de decodificação de video da figura 6 pode incluir o aparelho de inter predição 10, de acordo com uma modalidade da presente invenção. O aparelho de decodificação de video, incluindo o aparelho de inter predição 10 pode analisar amostras obtidas por codificação de um fluxo de bits e pode executar quantização inversa, transformação inversa, intra predição e compensação de movimento para cada bloco de imagem para restaurar amostras. No aparelho de decodificação de video, o aparelho de inter predição 10 pode interagir com um processador de codificação de video ou um processador de codificação de video externo, o qual é montado no aparelho de decodificação de video para executar uma operação de decodificação de video, incluindo transformação inversa ou predição/compensação, de
Petição 870190082481, de 23/08/2019, pág. 30/136
22/63 forma a produzir resultado da decodificação de video. De acordo com uma modalidade da presente invenção, em um processador de video de decodificação interno ou do aparelho de decodificação de video, uma vez que um aparelho de decodificação de video, urn dispositivo de processamento central, ou um aparelho de processamento de gráficos pode incluir um módulo de codificação de video, bem como um processador separado, uma operação básica de decodificação de video pode ser realizada.
[0094] No aparelho de inter predição 10, blocos obtidos dividindo-se os dados de video são divididos em unidades de codificação tendo uma estrutura de árvore e unidades de predição são utilizadas para a inter predição das unidades de codificação, tal como descrito acima. Em seguida, com referência às figuras 7 a 19, um método e um aparelho para codificação de um video, e um método e aparelho para a decodificação de video, com base em uma unidade de codificação tendo uma estrutura de árvore, e uma unidade de codificação, serão descritos.
[0095] A figura 7 é um diagrama de blocos de um aparelho de codificação de video 100 com base em uma unidade de codificação de acordo com uma estrutura de árvore, de acordo com uma modalidade da presente invenção.
[0096] O aparelho de codificação de video 100 através de predição de video baseada em uma unidade de codificação de acordo com uma estrutura de árvore compreende um divisor de unidade de codificação máxima 110, um determinador de unidade de codificação 120, e uma unidade de saida 130. Em seguida, por conveniência de descrição, o aparelho de codificação de video 100 através de predição de video baseada em uma unidade de codificação, de acordo com uma estrutura de árvore, é referido como 'o aparelho de codificação de video 100'.
[0097] O divisor de unidade de codificação máxima 110 pode dividir uma imagem atual com base em uma unidade de codificação máxima para a imagem atual de uma imagem. A imagem atual é maior do que a unidade de codificação máxima, os dados de imagem do
Petição 870190082481, de 23/08/2019, pág. 31/136
23/63 imagem atual podem ser divididos na ao menos uma unidade de codificação máxima. A unidade de codificação máxima de acordo com uma modalidade exemplar pode ser uma unidade de dados tendo um tamanho de 32x32, 64x64, 128x128, 256x256, etc., em que um formato da unidade de dados é um quadrado tendo uma largura e altura em quadrados de 2. Os dados de imagem podem ser emitidos para o determinador de unidade de codificação 120 de acordo com pelo menos uma unidade de codificação máxima.
[0098] Uma unidade de codificação de acordo com uma modalidade exemplar pode ser caracterizada por um tamanho máximo e uma profundidade. A profundidade denota um número de vezes em que a unidade de codificação é dividida espacialmente a partir da unidade de codificação máxima e, à medida que a profundidade é aprofundada ou aumentada, unidades de codificação mais profundas, de acordo com as profundidades, podem ser divididas a partir da unidade de codificação máxima para uma unidade de codificação mínima. Uma profundidade da unidade de codificação máxima é uma profundidade mais elevada e uma profundidade da unidade de codificação mínima é uma profundidade mais baixa. Como o tamanho de uma unidade de codificação correspondendo a cada profundidade diminui à medida que a profundidade da unidade de codificação máxima é aprofundada, uma unidade de codificação correspondendo a uma profundidade superior pode incluir uma pluralidade de unidades de codificação correspondendo às profundidades inferiores.
[0099] Conforme descrito acima, os dados de imagem do imagem atual são divididos nas unidades de codificação máxima de acordo com um tamanho máximo da unidade de codificação, e cada uma das unidades de codificação máxima pode incluir unidades de codificação mais profunda que são divididas de acordo com as profundidades. Como a unidade de codificação máxima de acordo com uma modalidade exemplar é dividida de acordo com as profundidades, os dados de imagem de um domínio espacial incluído na unidade de codificação máxima podem ser
Petição 870190082481, de 23/08/2019, pág. 32/136
24/63 classificados de forma hierárquica de acordo com as profundidades.
[00100] A profundidade máxima e um tamanho máximo de uma unidade de codificação, que limitam o número total de vezes em que a altura e uma largura da unidade de codificação máxima são divididas de forma hierárquica, podem ser predeterminados.
[00101] O determinador de unidade de codificação 120 codifica pelo menos uma região dividida obtida mediante divisão de uma região da unidade de codificação máxima de acordo com as profundidades, e determina uma profundidade para produzir os dados de imagem finalmente codificados de acordo com a pelo menos uma região dividida. Em outras palavras, o determinador de unidade de codificação 120 determina uma profundidade codificada mediante codificação dos dados de imagem nas unidades de codificação mais profunda de acordo com as profundidades, de acordo com a unidade de codificação máxima da imagem atual, e selecionando uma profundidade tendo o erro de codificação minimo. A profundidade codificada determinada e os dados de imagem codificados de acordo com a profundidade codificada determinada são emitidos para a unidade de saida 130.
[00102] Os dados de imagem na unidade de codificação máxima são codificados com base nas unidades de codificação mais profundas correspondendo a pelo menos uma profundidade igual ou abaixo da profundidade máxima, e os resultados da codificação dos dados de imagem são comparados com base em cada uma das unidades de codificação mais profundas. Uma profundidade tendo o erro de codificação minimo pode ser selecionada após comparação dos erros de codificação das unidades de codificação mais profundas. Pelo menos uma profundidade codificada pode ser selecionada para cada unidade de codificação máxima.
[00103] O tamanho da unidade de codificação máxima é dividido à medida que uma unidade de codificação é dividida hierarquicamente de acordo com as profundidades, e à medida que aumenta o número de unidades de codificação. Além disso, mesmo
Petição 870190082481, de 23/08/2019, pág. 33/136
25/63 se as unidades de codificação corresponder à mesma profundidade em uma unidade de codificação máxima, cada uma das unidades de codificação correspondendo à mesma profundidade pode ser dividida para uma profundidade inferior mediante medição de um erro de codificação dos dados de imagem de cada unidade de codificação, separadamente. Consequentemente, mesmo quando os dados de imagem são incluidos em uma unidade de codificação máxima, os dados de imagem são divididos em regiões de acordo com as profundidades e os erros de codificação podem diferir de acordo com as regiões em uma unidade de codificação máxima, e assim as profundidades codificadas podem diferir de acordo com as regiões nos dados de imagem. Assim, uma ou mais profundidades codificadas podem ser determinadas em uma unidade de codificação máxima, e os dados de imagem da unidade de codificação máxima podem ser divididos de acordo com as unidades de codificação de pelo menos uma profundidade codificada.
[00104] Consequentemente, o determinador de unidade de codificação 120 pode determinar unidades de codificação tendo uma estrutura de árvore incluída na unidade de codificação máxima. As 'unidades de codificação tendo uma estrutura de árvore' de acordo com uma modalidade da presente invenção incluem unidades de codificação correspondendo a uma profundidade determinada para ser a profundidade codificada, dentre todas as unidades de codificação mais profunda incluídas na unidade de codificação máxima. Uma unidade de codificação de uma profundidade codificada pode ser determinada hierarquicamente de acordo com as profundidades na mesma região da unidade de codificação máxima, e podem ser determinadas independentemente em diferentes regiões. Similarmente, uma profundidade codificada em uma região atual pode ser determinada independentemente a partir de uma profundidade codificada em outra região.
[00105] Uma profundidade máxima de acordo com uma modalidade da presente invenção é um índice relacionado ao número de vezes que
Petição 870190082481, de 23/08/2019, pág. 34/136
26/63 a divisão é realizada a partir de uma unidade de codificação máxima para uma unidade de codificação mínima. Uma primeira profundidade máxima de acordo com uma modalidade da presente invenção pode denotar o número total de vezes em que a divisão é realizada a partir da unidade de codificação máxima para a unidade de codificação mínima. Uma segunda profundidade máxima de acordo com uma modalidade da presente invenção pode denotar o número total de níveis de profundidade a partir da unidade de codificação máxima para a unidade de codificação mínima. Por exemplo, quando uma profundidade da unidade de codificação máxima é de 0, uma profundidade de uma unidade de codificação, na qual a unidade de codificação máxima é dividida uma vez, pode ser ajustada para 1, e uma profundidade de uma unidade de codificação, na qual a unidade de codificação máxima dividida duas vezes, pode ser ajustada para 2. Aqui, se a unidade de codificação mínima for uma unidade de codificação na qual a unidade de codificação máxima é dividida quatro vezes, 5 níveis de profundidade, de profundidade 0, 1, 2, 3 e 4 existem, e assim a primeira profundidade máxima pode ser ajustada para 4, e a segunda profundidade máxima pode ser ajustada para 5.
[00106] A codificação de predição, e a transformação, podem ser realizadas de acordo com a unidade de codificação máxima. A codificação de predição e a transformação também são realizadas com base nas unidades de codificação mais profundas de acordo com uma profundidade igual ou uma profundidade menor do que a profundidade máxima, de acordo com a unidade de codificação máxima. A transformação pode ser realizada de acordo com o método de transformada ortogonal ou transformada de número inteiro.
[00107] Como o número de unidades de codificação mais profunda aumenta sempre que a unidade de codificação máxima é dividida de acordo com as profundidades, a codificação incluindo a codificação de predição e a transformação é realizada em todas as unidades de codificação mais profunda geradas à medida que
Petição 870190082481, de 23/08/2019, pág. 35/136
27/63 aumenta a profundidade. Para conveniência de descrição, a codificação de predição e a transformação serão descritas agora com base na unidade de codificação de uma profundidade atual, em uma unidade de codificação máxima.
[00108] O aparelho de codificação de video 100 pode selecionar de forma variada um tamanho ou formato de uma unidade de dados para codificar os dados de imagem. Para codificar os dados de imagem, operações tal como codificação de predição, transformação, e codificação de entropia, são realizadas, e dessa vez, a mesma unidade de dados pode ser usada para todas as operações ou unidades de dados diferentes podem ser usadas para cada operação.
[00109] Por exemplo, o aparelho de codificação de video 100 pode selecionar não apenas uma unidade de codificação para codificar os dados de imagem, mas também uma unidade de dados diferente da unidade de codificação para realizar a codificação de predição nos dados de imagem na unidade de codificação. Para realizar codificação de predição na unidade de codificação máxima, a codificação de predição pode ser realizada com base em uma unidade de codificação correspondendo a uma profundidade codificada, isto é, com base em uma unidade de codificação que não mais é dividida em unidades de codificação correspondendo a uma profundidade inferior. Em seguida, a unidade de codificação que não é mais dividida e se torna uma unidade básica para codificação de predição será referida agora como uma 'unidade de predição'. Uma partição obtida mediante divisão da unidade de predição pode incluir uma unidade de predição ou uma unidade de dados obtida mediante divisão de pelo menos uma de uma altura e uma largura da unidade de predição. A partição é uma unidade de dados obtida pela divisão da unidade de predição da unidade de codificação e a unidade de predição pode ser uma partição com o mesmo tamanho que a unidade de codificação.
[00110] Por exemplo, quando uma unidade de codificação de 2Nx2N (onde N é um número inteiro positivo) não é mais dividida e se
Petição 870190082481, de 23/08/2019, pág. 36/136
28/63 torna uma unidade de predição de 2Nx2N, um tamanho de uma partição pode ser 2Nx2N, 2NxN, Nx2N, ou NxN. Exemplos de um tipo de partição incluem partições simétricas que são obtidas mediante divisão simétrica de uma altura ou largura da unidade de predição, partições obtidas mediante divisão assimétrica da altura ou largura da unidade de predição, tal como l:n ou n:l, partições que são obtidas mediante divisão geométrica da unidade de predição, e partições tendo formatos arbitrários.
[00111] Um modo de predição da unidade de predição pode ser pelo menos um de um modo intra, um modo inter, e um modo de salto. Por exemplo, o modo intra ou o modo inter pode ser realizado na partição de 2Nx2N, 2NxN, Nx2N ou NxN. Além disso, o modo de salto pode ser realizado apenas na partição de 2Nx2N. A codificação é realizada independentemente em uma unidade de predição em uma unidade de codificação, desse modo selecionando um modo de predição tendo um erro de codificação minimo.
[00112] O aparelho de codificação de video 100 também pode realizar a transformação nos dados de imagem em uma unidade de codificação com base não apenas na unidade de codificação para codificar os dados de imagem, mas também com base em uma unidade de dados que é diferente da unidade de codificação. Para realizar a transformação na unidade de codificação, a transformação pode ser realizada com base em uma unidade de transformação tendo um tamanho menor do que ou igual àquele da unidade de codificação. Exemplos de uma unidade de transformação podem incluir uma unidade de dados para um modo intra e uma unidade de dados para um modo inter.
[00113] Da mesma forma que a unidade de codificação de acordo com a estrutura em árvore de acordo com a presente modalidade, a unidade de transformação na unidade de codificação pode ser dividida de forma recursiva em regiões de dimensões menores e dados residuais na unidade de codificação podem ser divididos de acordo com a transformação tendo a estrutura da árvore de acordo com as profundidades de transformação.
Petição 870190082481, de 23/08/2019, pág. 37/136
29/63 [00114] De acordo com uma modalidade da presente invenção, uma profundidade de transformação indicando o número de vezes em que a divisão é realizada para alcançar a unidade de transformação mediante divisão da altura e largura da unidade de codificação, também pode ser estabelecida na unidade de transformação. Por exemplo, em uma unidade de codificação atual de 2Nx2N, uma profundidade de transformação pode ser ajustada para 0. Quando o tamanho de uma unidade de transformação também for 2Nx2N, uma profundidade de transformação pode ser ajustada para 1. Além disso, quando o tamanho da unidade de transformação for de NxN, a profundidade de transformação pode ser ajustada para 2. Isto é, a unidade de transformação de acordo com a estrutura de árvore também pode ser estabelecida de acordo com a profundidade de transformação.
[00115] Informação de codificação de acordo com as profundidades codificadas exige não apenas informações sobre as profundidades codificadas, mas também informação sobre predição e informações sobre transformação. Por conseguinte, o determinador de unidade de codificação 120 pode não apenas determinar uma profundidade de codificação que tem pelo menos um erro de codificação, mas também determinar um tipo de partição em uma unidade de predição, um modo de predição de acordo com as unidades de predição, e um tamanho de uma unidade de transformação para a transformação.
[00116] Unidades de codificação e uma unidade de predição/partição de acordo com uma estrutura de árvore, em uma unidade de codificação máxima, e um método de determinação de uma unidade de transformação, de acordo com as modalidades da presente invenção, serão descritos em detalhe posteriormente com referência às figuras 7 a 19.
[00117] O determinador de unidade de codificação 120 pode medir um erro de codificação de unidades de codificação mais profundo de acordo com as profundidades utilizando Otimização de Distorção de Taxa com base em multiplicadores Lagrangianos.
Petição 870190082481, de 23/08/2019, pág. 38/136
30/63 [00118] A unidade de saída 130 produz os dados de imagem da unidade de codificação máxima, que é codificada com base na pelo menos uma profundidade codificada determinada pelo determinador de unidade de codificação 120, e informação sobre o modo de codificação de acordo com a profundidade codificada, em fluxos de bits.
[00119] Os dados de imagem codificados podem ser obtidos mediante codificação de dados residuais de uma imagem.
[00120] A informação sobre o modo de codificação de acordo com a profundidade codificada pode incluir informação sobre a profundidade codificada, sobre o tipo de partição na unidade de predição, o modo de predição, e o tamanho da unidade de transformação.
[00121] A informação sobre a profundidade codificada pode ser definida pelo uso de informação dividida de acordo com as profundidades, que representa se a codificação é realizada em unidades de codificação de uma profundidade inferior em vez de uma profundidade atual. Se a profundidade atual da unidade de codificação atual for a profundidade codificada, os dados de imagem na unidade de codificação atual são codificados e produzidos, e assim a informação dividida pode ser definida não para dividir a unidade de codificação atual para uma profundidade menor. Alternativamente, se a profundidade atual da unidade de codificação atual não for a profundidade codificada, a codificação é realizada na unidade de codificação da profundidade inferior, e assim a informação dividida pode ser definida para dividir a unidade de codificação atual para obter as unidades de codificação da profundidade inferior.
[00122] Se a profundidade atual não for a profundidade codificada, a codificação é realizada na unidade de codificação que é dividida para unidade de codificação da profundidade inferior. Como existe pelo menos uma unidade de codificação da profundidade inferior em uma unidade de codificação da profundidade atual, a codificação é realizada repetidamente em
Petição 870190082481, de 23/08/2019, pág. 39/136
31/63 cada unidade de codificação da profundidade inferior, e assim a codificação pode ser realizada de forma recursiva para as unidades de codificação tendo a mesma profundidade.
[00123] Como as unidades de codificação tendo uma estrutura de árvore são determinadas para uma unidade de codificação máxima, e informação sobre pelo menos um modo de codificação é determinada para uma unidade de codificação de uma profundidade codificada, a informação sobre pelo menos um modo de codificação pode ser determinada para uma unidade de codificação máxima. Além disso, uma profundidade codificada dos dados de imagem da unidade de codificação máxima pode ser diferente de acordo com os locais, visto que os dados de imagem são divididos hierarquicamente de acordo com as profundidades e, assim, a informação sobre o percurso codificado, e o modo de codificação, podem ser ajustados para os dados de imagem.
[00124] Consequentemente, a unidade de saída 130 pode atribuir informação de codificação sobre um percurso codificado correspondente e um modo de codificação para pelo menos uma da unidade de codificação, unidade de predição, e um modo de codificação para ao menos uma da unidade de codificação, unidade de predição, e uma unidade mínima incluída na unidade de codificação máxima.
[00125] A unidade mínima de acordo com uma modalidade da presente invenção é uma unidade de dados retangular obtida mediante divisão da unidade de codificação mínima constituindo a profundidade mais baixa por 4. Alternativamente, a unidade mínima pode ser uma unidade de dados retangular máxima que pode ser incluída em todas as unidades de codificação, unidades de predição, unidades de partição e unidades de transformação incluídas na unidade de codificação máxima.
[00126] Por exemplo, a informação de codificação produzida através da unidade de saída 130 pode ser classificada em informação de codificação de acordo com as unidades de codificação, e informação de codificação de acordo com as
Petição 870190082481, de 23/08/2019, pág. 40/136
32/63 unidades de predição. A informação de codificação de acordo com as unidades de codificação pode incluir a informação sobre o modo de predição e sobre o tamanho das partições. A informação de codificação de acordo com as unidades de predição pode incluir informação sobre uma direção estimada de um modo inter, em relação a um indice de imagem de referência do modo inter, em relação a um vetor de movimento, em relação a um componente croma de um modo intra, e em relação a um método de interpelação do modo intra.
[00127] Além disso, a informação sobre o tamanho máximo da unidade de codificação definido de acordo com imagens, fatias, ou GOPs, e informações sobre a profundidade máxima podem ser inseridas em um cabeçalho de um fluxo de bits, um SPS (conjunto de parâmetros de seqüência), ou um conjunto de parâmetros de imagem (PPS).
[00128] Além disso, a informação sobre o tamanho de um tamanho máximo e minimo de uma unidade de transformação disponível para video atual pode ser transmitida através de um cabeçalho de um fluxo de bits, uma SPS, um conjunto de parâmetros de imagem ou semelhantes. A unidade de saida 130 pode codificar e emitir informação de referência, informação de predição, informação de predição unidirecional, e informação sobre os tipos de fatia incluindo um quarto tipo de fatia, que estão relacionadas com a predição, tal como descrito acima com referência às figuras 1 a 6.
[00129] No aparelho de codificação de video 100, a unidade de codificação mais profunda pode ser uma unidade de codificação obtida mediante divisão de uma altura ou largura de uma unidade de codificação de uma profundidade superior, que está uma camada acima, por dois. Em outras palavras, quando o tamanho da unidade de codificação da profundidade atual é 2Nx2N, o tamanho da unidade de codificação da profundidade inferior é NxN. Além disso, a unidade de codificação da profundidade atual tendo o tamanho de 2Nx2N pode incluir no máximo 4 das unidades de
Petição 870190082481, de 23/08/2019, pág. 41/136
33/63 codificação da profundidade inferior.
[00130] Consequentemente, o aparelho de codificação de video 10 pode formar as unidades de codificação tendo a estrutura de árvore mediante determinação das unidades de codificação tendo
um formato ótimo e um tamanho ótimo para cada unidade de
codificação máxima, com base no tamanho da unidade de
codificação máxima e profundidade máxima determinada
considerando-se as características da imagem atual. Além disso, como a codificação pode ser realizada em cada unidade de codificação máxima mediante uso de qualquer um dos vários modos de predição e transformações, um modo de codificação ótima pode ser determinado considerando as características da unidade de codificação de vários tamanhos de imagem.
[00131] Assim, se uma imagem tendo alta resolução ou grande quantidade de dados for codificada em um macro bloco convencional, um número de macro blocos por imagem aumenta excessivamente. Consequentemente, um número de peças de informação compactada gerados para cada macro bloco aumenta, e assim é difícil transmitir a informação compactada e diminui a eficiência de compactação de dados. Contudo, mediante uso do aparelho de codificação de video 100, a eficiência de compactação de imagem pode ser aumentada uma vez que uma unidade de codificação é ajustada enquanto considerando as características de uma imagem enquanto aumentando o tamanho máximo de uma unidade de codificação enquanto considerando um tamanho da imagem.
[00132] O aparelho de codificação de video 100 da figura 7 pode executar a operação do aparelho de inter predição 10, como descrito com referência à figura 1.
[00133] O determinador de unidade de codificação 120 pode executar uma operação do aparelho de inter predição 10. Para cada unidade de codificação máxima, uma unidade de predição para a inter predição pode ser determinada em unidades de codificação de acordo com uma estrutura de árvore e inter predição pode ser
Petição 870190082481, de 23/08/2019, pág. 42/136
34/63 realizada em unidades de predição.
[00134] Em particular, se é consultada uma primeira lista de referências dentre listas de referências de um bloco colocalizado de um bloco atual é preferencialmente verificado, para a inter predição de uma unidade de predição atual em um modo de predição. A primeira lista de referências pode incluir imagens que estão posicionadas em uma direção oposta a uma direção a partir da imagem atual para o bloco colocalizado.
[00135] Quando a primeira lista de referências é capaz de ser consultada, não se tem de verificar se uma segunda lista de referências é consultada. Quando a primeira lista de referências não é consultada, se a segunda lista de referências é consultada pode ser verificado. Baseado no resultado da verificação, uma lista única de referência colocalizada pode ser determinada entre a primeira lista de referências e a segunda lista de referências e um bloco de referência de uma unidade de predição atual pode ser determinado com base na informação de movimento da lista de referências colocalizada. Inter predição pode ser realizada na unidade de predição atual utilizando o bloco de referência da unidade de predição atual para gerar um valor residual. Um parâmetro 'collocated_from_10_flag' ou um parâmetro 'colDir', indicando um bloco colocalizado da unidade predição atual pode ser transmitido.
[00136] A figura 8 é um diagrama de blocos de um aparelho de decodif icação de vídeo 200 com base em uma unidade de codificação de acordo com uma estrutura de árvore, de acordo com uma modalidade da presente invenção.
[00137] O aparelho de decodificação de vídeo 200 com base na unidade de codificação de acordo com a estrutura de árvore inclui um receptor 210, extrator de informação de codificação e dados de imagem 220, e um decodificador de dados de imagem 230. Em seguida, por conveniência de descrição, o aparelho de decodificação de vídeo 200 através de predição de vídeo baseado em uma unidade de codificação de acordo com uma estrutura de
Petição 870190082481, de 23/08/2019, pág. 43/136
35/63 árvore será referido como 'aparelho de decodificação de video 200' .
[00138] As definições de vários termos, tais como uma unidade de codificação, uma profundidade, uma unidade de predição, uma unidade de transformação, e informações sobre os vários modos de codificação, para várias operações do aparelho de decodificação de vídeo 200 são idênticas àquelas descritas acima com referência à figura 7 e ao aparelho de codificação de vídeo 100. [00139] O receptor 210 recebe e analisa um fluxo de bits de um vídeo codificado. O extrator de informação de codificação e dados de imagem 220 extrai os dados de imagem codificados para cada unidade de codificação a partir do fluxo de bits analisado, em que as unidades de codificação têm uma estrutura de árvore de acordo com cada unidade de codificação máxima, e produz os dados de imagem extraídos para o decodificador 230. O extrator de informação de codificação e dados de imagem 220 pode extrair informação sobre um tamanho máximo de uma unidade de codificação de uma imagem atual, a partir de um cabeçalho sobre uma imagem atual, de um SPS, ou de um PPS.
[00140] Além disso, extrator de informação de codificação e dados de imagem 220 extrai informação sobre uma profundidade codificada e um modo de codificação para as unidades de codificação tendo uma estrutura de árvore de acordo com cada unidade de codificação máxima a partir do fluxo de bits analisado. A informação extraída sobre uma profundidade codificada e um modo de codificação é emitida para o decodificador 230. Em outras palavras, os dados de imagem em um fluxo de bits são divididos em unidade de codificação máxima de modo que o decodif icador de dados de imagem 230 decodifica os dados de imagem para cada unidade de codificação máxima.
[00141] A informação sobre a profundidade codificada e o modo de codificação de acordo com a unidade de codificação máxima pode ser estabelecida para informação sobre pelo menos uma unidade de codificação correspondendo à profundidade codificada,
Petição 870190082481, de 23/08/2019, pág. 44/136
36/63 e informação sobre um modo de codificação pode incluir informação sobre um tipo de partição de uma unidade de codificação correspondente que corresponde à profundidade codificada, em relação ao modo de predição, e a um tamanho de uma unidade de transformação. Além disso, a informação de divisão de acordo com as profundidades pode ser extraída como a informação sobre a profundidade codificada.
[00142] A informação sobre a profundidade codificada e o modo de codificação de acordo com cada unidade de codificação máxima extraída pelo extrator de informação de codificação e dados de imagem 220 é informação sobre uma profundidade codificada e um modo de codificação determinado para gerar um erro de codificação mínimo quando um codificador, tal como o aparelho de codificação de vídeo 100, realiza repetidamente a codificação para cada unidade de codificação mais profunda de acordo com as profundidades em conformidade com cada unidade de codificação máxima. Consequentemente, o aparelho de decodificação de vídeo 200 pode reconstruir uma imagem mediante decodificação dos dados de imagem de acordo com uma profundidade codificada e um modo de codificação que gera o erro de codificação mínimo.
[00143] Como a informação de codificação sobre a profundidade codificada, e o modo de codificação, pode ser atribuída a uma unidade de dados predeterminada dentre uma unidade de codificação correspondente, uma unidade de predição, e uma unidade mínima, o extrator de informação de codificação e dados de imagem 220 pode extrair a informação sobre a profundidade codificada e o modo de codificação de acordo com as unidades de dados predeterminadas. As unidades de dados predeterminadas para os quais a mesma informação sobre a profundidade codificada e o modo de codificação é atribuída podem ser deduzidas como sendo as unidades de dados incluídas na mesma unidade de codificação máxima.
[00144] O decodificador de dados de imagem 230 restaura a imagem mediante decodificação dos dados de imagem em cada uma
Petição 870190082481, de 23/08/2019, pág. 45/136
37/63 das unidades de codificação máxima com base na informação sobre a profundidade codificada e o modo de codificação de acordo com as unidades de codificação máxima. Em outras palavras, os dados de imagem do decodificador 230 podem decodificar os dados de imagem codificados com base na informação extraída sobre o tipo de partição, o modo de predição, e a unidade de transformação para cada unidade de codificação dentre as unidades de codificação tendo a estrutura de árvore incluída em cada unidade de codificação máxima. Um processo de decodificação pode incluir uma predição incluindo intra predição e compensação de movimento, e uma transformação inversa.O [00145] decodificador de dados de imagem 230 pode realizar a intra predição ou compensação de movimento de acordo com uma partição e um modo de predição de cada unidade de codificação, com base na informação sobre o tipo de partição e modo de predição da unidade de predição da unidade de codificação de acordo com as profundidades codificadas.
[00146] Além disso, para realizar a transformação inversa nas unidades de unidades de codificação máxima, o decodificador de dados de imagem 230 pode ler a informação sobre as unidades de transformação possuindo uma estrutura de árvore, em unidades de unidades de codificação e realizar a transformação inversa em unidades das unidades de codificação, com base nas unidades transformação. Ao realizar a transformação inversa, os valores de pixel das unidades de codificação de um dominio espacial podem ser restaurados. O [00147] decodificador de dados de imagem 230 pode determinar pelo menos uma profundidade codificada de uma unidade de codificação máxima mediante uso de informação dividida de acordo com as profundidades. Se a informação de divisão representar que dados de imagem não mais são divididos na profundidade atual, a profundidade atual é a profundidade codificada. Consequentemente, o decodificador 230 pode decodificar os dados de imagem codificados de pelo menos uma unidade de codificação
Petição 870190082481, de 23/08/2019, pág. 46/136
38/63 correspondendo a cada profundidade codificada na unidade de codificação máxima atual mediante uso da informação sobre o tipo de partição da unidade de predição, o modo de predição, e o tamanho da unidade de transformação para cada unidade de codificação correspondendo à profundidade codificada, e emitir os dados de imagem da unidade de codificação máxima atual.
[00148] Em outras palavras, unidades de dados contendo a informação de codificação incluindo a mesma informação de divisão podem ser agrupadas mediante observação do conjunto de informações de codificação atribuído para a unidade de dados predeterminada dentre a unidade de codificação, a unidade de predição e a unidade minima, e as unidades de dados agrupadas podem ser consideradas como sendo uma unidade de dados a ser decodificada pelo decodifieador 230 no mesmo modo de codificação. Para cada unidade de codificação determinada como descrito acima, a informação sobre o modo de codificação pode ser obtida, de modo a decodificar a unidade de codificação atual.
[00149] O decodifieador de dados de imagem 230 do aparelho de decodificação de video 200 da figura 8 pode executar a operação do aparelho de inter predição 10, como descrito acima com referência à figura 1.
[00150] O decodifieador de dados de imagem 230 pode determinar uma unidade de predição para a inter predição para cada unidade de codificação de acordo com uma estrutura de árvore e pode realizar inter predição para cada unidade de predição, para uma unidade de codificação máxima.
[00151] Em particular, um bloco colocalizado de um bloco atual
é determinado a partir de amostras restauradas, para a inter
predição de um bloco atual ( sm um modo inter. Um bloco
colocalizado de uma unidade de predição atual pode ser
determinado com base em um parâmetro 'collocated_from_10_flag' ou um parâmetro 'colDir' que é uma unidade de predição atual obtida pela análise de um fluxo de bits.
Petição 870190082481, de 23/08/2019, pág. 47/136
39/63 [00152] Se uma primeira lista de referências é consultada entre listas de referências do bloco colocalizado é preferencialmente verificado. A primeira lista de referências pode incluir imagens que estão posicionadas dentro e em direção oposta a uma direção a partir da imagem atual para o bloco colocalizado.
[00153] Quando a primeira lista de referências é capaz de ser consultada, não se tem que verificar se uma segunda lista de referências é consultada. Quando a primeira lista de referências não é consultada, se a segunda lista de referências é consultada pode ser verificado. Baseado no resultado da verificação, uma lista única de referência colocalizada pode ser determinada entre a primeira lista de referências e a segunda lista de referências e um bloco de referência da unidade de predição atual pode ser determinado com base na informação de movimento da lista de referências colocalizada. A compensação de movimento pode ser realizada com a unidade de predição atual utilizando o bloco de referência da unidade de predição atual para gerar um valor de pixel do bloco de amostra.
[00154] Além disso, quando uma imagem é restaurada em uma condição de pequeno atraso, uma imagem de referência pode ser determinada de acordo com uma lista de referências da unidade de predição atual, independentemente da lista de referências colocalizada.
[00155] O aparelho de decodificação de vídeo 200 pode obter informação sobre ao menos uma unidade de codificação que gera o erro de codificação mínimo quando a codificação é realizada de forma recursiva para cada unidade de codificação máxima, e pode usar a informação para decodificar a imagem atual. Em outras palavras, as unidades de codificação tendo a estrutura de árvore determinada para ser a unidade de codificação ótima em cada unidade de codificação máxima podem ser decodificadas. Além disso, o tamanho máximo da unidade de codificação é determinado considerando a resolução e uma quantidade de dados de imagem.
[00156] Consequentemente, mesmo se os dados de imagem tiverem
Petição 870190082481, de 23/08/2019, pág. 48/136
40/63 elevada resolução e uma grande quantidade de dados, os dados de imagem podem ser decodificados eficientemente e restaurados mediante uso de um tamanho de uma unidade de codificação e de um modo de codificação, os quais são determinados de forma adaptativa de acordo com as características dos dados de imagem, mediante uso de informação sobre um modo de codificação ótimo recebido a partir de um codificador.
[00157] A Figura 9 é um diagrama para descrever um conceito das unidades de codificação de acordo com uma modalidade da presente invenção.
[00158] Um tamanho de uma unidade de codificação pode ser expresso em largura x altura, e pode ser 64x64, 32x32, 16x16 e 8x8. Uma unidade de codificação de 64x64 pode ser dividida em partições de 64x64, 64x32, 32x64 ou 32x32, e uma unidade de codificação de 32x32 pode ser dividida em partições de 32x32, 32x16, 16x32, ou 16x16, uma unidade de codificação de 16x16 pode ser dividida em partições de 16x16, 16x8, 8x16 ou 8x8, e uma unidade de codificação de 8x8 pode ser dividida em partições de 8x8, 8x4, 4x8 ou 4x4.
[00159] Nos dados de vídeo 310, uma resolução é de 1920x1080, um tamanho máximo de uma unidade de codificação é de 64, e uma profundidade máxima é de 2. Nos dados de vídeo 320, uma resolução é de 1920x1080, um tamanho máximo de codificação é de 64, e uma profundidade máxima é de 3. Nos dados de vídeo 330, uma resolução é de 352x288, um tamanho máximo de uma unidade de codificação é de 16, e uma profundidade máxima é de 1. A profundidade máxima mostrada na Figura 9 denota um número total de divisões a partir de uma unidade de codificação máxima para uma unidade de decodificação mínima.
[00160] Se uma resolução for elevada ou se uma quantidade de dados for grande, um tamanho máximo de uma unidade de codificação pode ser tão grande para não apenas aumentar a eficiência de codificação, mas também refletir de forma exata as características de uma imagem. Consequentemente, o tamanho
Petição 870190082481, de 23/08/2019, pág. 49/136
41/63 máximo da unidade de codificação dos dados de video 310 e 320 tendo a resolução mais alta do que os dados de video 330 pode ser de 64.
[00161] Como a profundidade máxima dos dados de video 310 é de
2, as unidades de codificação 315 dos dados de video 310 podem incluir uma unidade de codificação máxima tendo um tamanho de eixo longo de 64, e unidades de codificação tendo tamanhos de eixo longos de 32 e 16 uma vez que as profundidades são aprofundadas para duas camadas mediante divisão duas vezes da unidade de codificação máxima. Entretanto, como a profundidade máxima dos dados de video 330 é de 1, as unidades de codificação 335 dos dados de video 330 podem incluir uma unidade de codificação máxima tendo um tamanho de eixo longo de 16, e unidades de codificação tendo um tamanho de eixo longo de 8 uma vez que as profundidades são aprofundadas para uma camada mediante divisão uma vez da unidade de codificação máxima.
[00162] Como a profundidade máxima dos dados de video 320 é de
3, as unidades de codificação 325 dos dados de video 320 podem incluir uma unidade de codificação máxima tendo um tamanho de eixo longo de 64, e unidades de codificação tendo tamanhos de eixo longo de 32, 16 e 8 uma vez que as profundidades são aprofundadas para 3 camadas mediante divisão da unidade de codificação máxima três vezes. À medida que a profundidade é aprofundada, informação detalhada pode ser expressa com exatidão.
[00163] A Figura 10 é um diagrama de blocos de um codificador de imagem 400 com base nas unidades de codificação, de acordo com uma modalidade da presente invenção.
[00164] O codificador de imagem 400 realiza operações do determinador de unidade de codificação 120 do equipamento de codificação de video 100 para codificar os dados de imagem. Em outras palavras, um preditor intra 410 realiza intra predição nas unidades de codificação em um modo intra, dentre uma imagem atual 405, e um estimador de movimento 420 e um compensador de
Petição 870190082481, de 23/08/2019, pág. 50/136
42/63 movimento 425 realiza estimação inter e compensação de movimento nas unidades de codificação em um modo inter dentre a imagem atual 405 mediante uso da imagem atual 405, e um imagem de referência 495.
[00165] Dados emitidos a partir do preditor intra 410, do estimador de movimento 420, e do compensador de movimento 425 são emitidos como um coeficiente de transformação quantizado através do transformador 430 e de um quantizador 440. O coeficiente de transformação quantizado é restaurado como dados em um dominio espacial através de um quantizador inverso 460 e um transformador inverso 470, e os dados restaurados no dominio espacial são emitidos como a imagem de referência 495 após ser pós-processado através de uma unidade de desblocagem 480 e uma unidade de filtração de laço 490. O coeficiente de transformação quantizado pode ser emitido como um fluxo de bits 455 através de um codificador de entropia 450.
[00166] Para que o codificador de imagem 400 seja aplicado no equipamento de codificação de video 100, todos os elementos do codificador de imagem 400, isto é, o preditor intra 410, o estimador de movimento 420, o compensador de movimento 425, o transformador 430, o quantizador 440, o codificador de entropia 450, o quantizador inverso 460, o transformador inverso 470, a unidade de desblocagem 480, e a unidade de filtração de laço 490 realizam operações com base em cada unidade de codificação dentre unidades de codificação tendo uma estrutura de árvore enquanto considerando a profundidade máxima de cada unidade de codificação máxima.
[00167] Especificamente, o preditor intra 410, o estimador de movimento 420, e o compensador de movimento 425 determinam partições e um modo de predição de cada unidade de codificação dentre as unidades de codificação tendo uma estrutura de árvore enquanto considerando o tamanho máximo e a profundidade máxima de uma unidade de codificação máxima atual, e o transformador 430 determina o tamanho da unidade de transformação em cada
Petição 870190082481, de 23/08/2019, pág. 51/136
43/63
unidade de codificação dentre as unidades de codificação tendo
uma estrutura de árvore.
[00168] Especificamente, para determinar uma imagem de
referência para a inter predição de uma unidade de predição
atual, o compensador de movimento 425 verifica,
preferencialmente, se a primeira lista de referências de um bloco colocalizado é consultada, e não se verifica novamente se as listas de referências restantes do bloco colocalizado são consultadas quando existe informação sobre o movimento da primeira lista de referências uma vez que a primeira lista de referências do bloco colocalizado é preferencialmente consultada. No entanto, quando não existe a informação de movimento da primeira lista de referências uma vez que a primeira lista de referências do bloco colocalizado não é consultada, o compensador de movimento 425 pode verificar novamente se as listas de referências restantes do bloco colocalizado são consultadas. 0 compensador de movimento 425 pode determinar uma lista de referências da unidade de predição atual usando a lista de referências do bloco colocalizado na qual a operação de verificação tenha sido realizada.
[00169] A Figura 11 é um diagrama de blocos de um decodificador de imagem 500 com base nas unidades de codificação, de acordo com uma modalidade da presente invenção.
[00170] Um analisador 510 analisa os dados de imagem codificados a serem decodificados e informação sobre a codificação exigida para decodificação a partir de um fluxo de bits 505. Os dados de imagem codificados são emitidos como dados quantizados inversos através de um decodificador de entropia 520 e um quantizador inverso 530, e os dados quantizados inversos são restaurados para dados de imagem em um domínio espacial através de um transformador inverso 540.
[00171] Um intra preditor 550 realiza intra predição nas unidades de codificação em um modo intra com relação aos dados de imagem no domínio espacial, e um compensador de movimento 560
Petição 870190082481, de 23/08/2019, pág. 52/136
44/63 realiza compensação de movimento nas unidades de codificação em um modo inter, mediante uso de uma imagem de referência 585.
[00172] Os dados de imagem no domínio espacial, os quais passaram através do preditor intra 550 e do compensador de movimento 560, podem ser emitidos como uma imagem restaurada 595 após serem pós-processados através de uma unidade de desblocagem 570 e uma unidade de filtração de laço 580. Além disso, os dados de imagem que são pós-processados através da unidade de desblocagem 570 e da unidade de filtração de laço 580 podem ser emitidos como a imagem de referência 585.
[00173] Para decodificar os dados de imagem no decodificador 230 do aparelho de decodificação de vídeo 200, o decodificador de imagem 500 pode realizar as operações que são executadas após o analisador 510 realizar uma operação.
[00174] Para que o decodificador de imagem 500 seja aplicado no equipamento de decodificação de vídeo 200, todos os elementos do decodificador de imagem 500, isto é, o analisador 510, o decodificador de entropia 520, o quantizador inverso 530, o transformador inverso 540, o preditor intra 550, o compensador de movimento 560, a unidade de desblocagem 570, e a unidade de filtração de laço 580 realizam operações com base nas unidades de codificação tendo uma estrutura de árvore para cada unidade de codificação máxima.
[00175] Especificamente, a intra predição 550 e o compensador de movimento 560 realizam operações com base nas partições e em um modo de predição para cada uma das unidades de codificação tendo uma estrutura de árvore, e o transformador inverso 540 realiza operações com base em um tamanho de uma unidade de transformação para cada unidade de codificação.
[00176] Especificamente, para determinar uma imagem de referência para a inter predição de uma unidade de predição atual, o compensador de movimento 560 verifica, preferivelmente, se a primeira lista de referências de um bloco colocalizado é consultada, e não se verifica novamente se as listas de
Petição 870190082481, de 23/08/2019, pág. 53/136
45/63 referências restantes do bloco colocalizado são consultadas quando existir informação sobre o movimento da primeira lista de referências uma vez que a primeira lista de referências do bloco colocalizado é preferivelmente consultada. No entanto, quando não existe a informação de movimento da primeira lista de referências, uma vez que a primeira lista de referências do bloco colocalizado não é consultada, o compensador de movimento 560 pode verificar novamente se as listas de referências restantes do bloco colocalizado são consultadas. O compensador de movimento 560 pode determinar uma lista de referências da unidade de predição atual usando a lista de referências do bloco colocalizado na qual a operação de verificação tenha sido realizada.
[00177] A Figura 12 é um diagrama ilustrando unidades de codificação mais profunda de acordo com as profundidades, e partições, de acordo com uma modalidade da presente invenção. [00178] O aparelho de codificação de video 100 e o aparelho de decodificação de video 200 utilizam unidades de codificação hierárquicas para considerar as características de uma imagem. Uma altura máxima, uma largura máxima, e uma profundidade máxima das unidades de codificação podem ser determinadas de forma adaptativa de acordo com as características da imagem, ou podem ser ajustadas de forma diferente por um usuário. Tamanhos de unidades de codificação mais profundas, de acordo com as profundidades, podem ser determinados de acordo com o tamanho máximo predeterminado da unidade de codificação.
[00179] Em uma estrutura hierárquica 600 das unidades de codificação, de acordo com uma modalidade exemplar, a altura máxima e a largura máxima das unidades de codificação são individualmente de 64, e a profundidade máxima é de 4. Como uma profundidade é aprofundada ao longo de um eixo vertical da estrutura hierárquica 600, uma altura e uma largura da unidade de codificação mais profunda são individualmente divididas. Além disso, uma unidade de predição e as partições, que são as bases
Petição 870190082481, de 23/08/2019, pág. 54/136
46/63 para codificação de predição de cada unidade de codificação mais profunda, são mostradas ao longo de um eixo horizontal da estrutura hierárquica 600.
[00180] Em outras palavras, uma unidade de codificação 610 é uma unidade de codificação máxima na estrutura hierárquica 600, em que uma profundidade é de 0 e um tamanho, isto é, uma altura por largura, é de 64x64. A profundidade é aprofundada ao longo do eixo vertical, e existe uma unidade de codificação 620, tendo um tamanho de 32x32, e uma profundidade de 1; uma unidade de codificação 630, tendo um tamanho de 16x16, e uma profundidade de 2; e existe uma unidade de codificação 640, tendo um tamanho de 8x8, e uma profundidade de 3. A unidade de codificação 640 tendo o tamanho de 8x8 e a profundidade de 3 é uma unidade de codificação minima.
[00181] A unidade de predição e as partições de uma unidade de codificação são arranjadas ao longo do eixo horizontal de acordo com cada profundidade. Em outras palavras, se a unidade de codificação 610, tendo o tamanho de 64x64, e a profundidade de 0, for uma unidade de predição, a unidade de predição pode ser dividida em partições incluídas na unidade de codificação 610, isto é, uma partição 610 tendo um tamanho de 64x64, partições 612 tendo o tamanho de 64x32, partições 614 tendo o tamanho de 32x64, ou partições 616 tendo o tamanho de 32x32.
[00182] Similarmente, uma unidade de predição da unidade de codificação 620 tendo o tamanho de 32x32 e a profundidade de 1 pode ser dividida em partições incluídas na unidade de codificação 620, isto é, uma partição 620 tendo um tamanho de
32x32, partições 622 tendo um tamanho de 32x16, partições 624 tendo um tamanho de 16x32, e partições 62 6 tendo um tamanho de
16x16.
[00183] Similarmente, uma unidade de predição da unidade de codificação 630 tendo o tamanho de 16x16 e a profundidade de 2 pode ser dividida em partições incluídas na unidade de codificação 630, isto é, uma partição tendo um tamanho de 16x16
Petição 870190082481, de 23/08/2019, pág. 55/136
47/63 incluída na unidade de codificação 630, partições 632 tendo um tamanho de 16x8, partições 634 tendo um tamanho de 8x16, e partições 636 tendo um tamanho de 8x8.
[00184] Similarmente, uma unidade de predição da unidade de codificação 640 tendo o tamanho de 8x8 e a profundidade de 3 pode ser dividida em partições incluídas na unidade de codificação 640, isto é, uma partição tendo um tamanho de 8x8 incluída na unidade de codificação 640, partições 642 tendo um tamanho de 8x4, partições 644 tendo um tamanho de 4x8, e partições 646 tendo um tamanho de 4x4.
[00185] Para determinar a pelo menos uma profundidade codificada das unidades de codificação constituindo a unidade de codificação máxima 610, o determinador de unidade de decodificação 120 do aparelho de codificação de video 10 realiza codificação para as unidades de codificação correspondendo a cada profundidade incluída na unidade de codificação máxima 610. [00186] Um número de unidades de codificação mais profunda, de acordo com as profundidades incluindo dados na mesma variação e no mesmo tamanho, aumenta à medida que é aprofundada a profundidade. Por exemplo, quatro unidades de codificação correspondendo a uma profundidade de 2 são exigidas para cobrir os dados que são incluídos em uma unidade de codificação correspondendo a uma profundidade de 1. Consequentemente, para comparar os resultados de codificação dos mesmos dados de acordo com as profundidades, a unidade de codificação correspondendo à profundidade de 1; e quatro unidades de codificação correspondendo à profundidade de 2; são individualmente codificadas.
[00187] Para executar a codificação para uma profundidade atual entre as profundidades, um erro de codificação mínimo pode ser selecionado para a profundidade atual mediante realização de codificação para cada unidade de predição nas unidades de codificação correspondendo à profundidade atual, ao longo do eixo horizontal da estrutura hierárquica 600. Alternativamente,
Petição 870190082481, de 23/08/2019, pág. 56/136
48/63 o erro de codificação mínimo pode ser pesquisado mediante comparação dos erros de codificação mínimos de acordo com as profundidades, mediante realização de codificação para cada profundidade à medida que a profundidade é aprofundada ao longo do eixo vertical da estrutura hierárquica 600. Uma profundidade e uma partição tendo o erro de codificação mínimo na unidade de codificação 610 podem ser selecionadas como a profundidade codificada e um tipo de partição da unidade de codificação 610.
[00188] A figura 13 é um diagrama para descrever uma relação entre uma unidade de codificação 710 e uma unidade de transformação 720, de acordo com uma modalidade da presente invenção.
[00189] O aparelho de codificação de vídeo 100 ou 200 codifica ou decodifica uma imagem de acordo com as unidades de codificação tendo tamanhos menores do que ou iguais a uma unidade de codificação máxima para cada unidade de codificação máxima. Tamanhos de unidades de transformação para transformação durante codificação podem ser selecionados com base nas unidades de dados que não são maiores do que uma unidade de codificação correspondente.
[00190] Por exemplo, no aparelho de codificação de vídeo 100 ou 200, ou o aparelho de decodificação de vídeo 200, se um tamanho da unidade de codificação 710 é de 64x64, a transformação pode ser realizada mediante uso das unidades de transformação 720 tendo um tamanho de 32x32.
[00191] Além disso, os dados da unidade de codificação 710 tendo o tamanho de 64x64 podem ser codificados mediante realização da transformação em cada uma das unidades de transformação tendo o tamanho de 32x32, 16x16, 8x8, e 4x4, que são menores do que 64x64, e então uma unidade de transformação tendo o erro de codificação mínimo pode ser selecionada.
[00192] A figura 14 é um diagrama para descrever informação de codificação das unidades de codificação correspondendo a uma profundidade codificada, de acordo com uma modalidade da
Petição 870190082481, de 23/08/2019, pág. 57/136
49/63 presente invenção.
[00193] A unidade de saída 130 do aparelho de codificação de video 100 pode codificar e transmitir informação 800 sobre um tipo de partição, informação 810 sobre um modo de predição, e informação 820 sobre um tamanho de uma unidade de transformação para cada unidade de codificação correspondendo a uma profundidade codificada, como informação sobre um modo de codificação.
[00194] A informação 800 indica informação sobre um formato de uma partição obtida mediante divisão de uma unidade de predição de uma unidade de codificação atual, em que a partição é uma unidade de dados para codificação de predição da unidade de codificação atual. Por exemplo, uma unidade de codificação atual CU_0 tendo um tamanho de 2Nx2N pode ser dividida em qualquer uma de uma partição 802 tendo um tamanho de 2Nx2N, uma partição 804 tendo um tamanho de 2NxN, uma partição de 80 6 tendo um tamanho de Nx2N, e uma partição 808 tendo um tamanho de NxN. Aqui, a informação 800 sobre um tipo de partição é estabelecida para indicar uma da partição 804 tendo um tamanho de 2NxN, a partição 806 tendo um tamanho de Nx2N, e a partição 808 tendo um tamanho de NxN.
[00195] A informação 810 indica um modo de predição de cada partição. Por exemplo, a informação 810 pode indicar um modo de codificação de predição realizado em uma partição indicada pela informação 800, isto é, um modo intra 812, um modo inter 814, ou um modo de salto 816.
[00196] A informação 820 indica uma unidade de transformação para ser baseada em quando a transformação é realizada em uma unidade de codificação atual. Por exemplo, a unidade de transformação pode ser uma primeira unidade de transformação intra 822, uma segunda unidade de transformação intra 824, uma primeira unidade de transformação inter 826, ou uma segunda unidade de transformação intra 828.
[00197] O extrator de informação de codificação e dados de
Petição 870190082481, de 23/08/2019, pág. 58/136
50/63 imagem 220 do aparelho de decodificação de video 200 pode extrair e usar a informação 800, 810 e 820 para decodificação, de acordo com cada unidade de codificação mais profunda.
[00198] A figura 15 é um diagrama de unidades de codificação mais profunda de acordo com as profundidades, de acordo com uma modalidade da presente invenção.
[00199] Informação de divisão pode ser usada para indicar uma mudança de uma profundidade. A informação de divisão indica se uma unidade de codificação de uma profundidade atual é dividida em unidades de codificação de uma profundidade inferior.
[00200] Uma unidade de predição 910 para codificação de predição de uma unidade de codificação 900 tendo uma profundidade de 0 e um tamanho de 2N_0x2N_0 pode incluir partições de um tipo de partição 912 tendo um tamanho de 2N_0x2N_0, um tipo de partição 914 tendo um tamanho de 2N_0xN_0, um tipo de partição 916 tendo um tamanho de N_0x2N_0, e um tipo de partição 918 tendo um tamanho de N_0xN_0. A Figura 9 ilustra apenas os tipos de partição 912 a 918 que são obtidos mediante divisão simétrica da unidade de predição 910, porém um tipo de partição não é limitado a isso, e as partições da unidade de predição 910 podem incluir partições assimétricas, partições tendo um formato predeterminado e partições tendo um formato geométrico.
[00201] A codificação de predição é realizada de forma repetida em uma partição tendo um tamanho de 2N_0x2N_0, duas partições tendo um tamanho de 2N_0xN_0, duas partições tendo um tamanho de N_0x2N_0, e quatro partições tendo um tamanho de N_0xN_0, de acordo com cada tipo de partição. A codificação de predição em um modo intra e em um modo inter pode ser realizada nas partições tendo os tamanhos de 2N_0x2N_0, N_0x2N_0, 2N_0xN_0 e N_0xN_0. A codificação de predição em um modo de salto é realizada apenas na partição tendo o tamanho de 2N_0x2N_0.
[00202] Erros de codificação, incluindo a codificação de predição nos tipos de partição 912 por 918 são comparados, e o
Petição 870190082481, de 23/08/2019, pág. 59/136
51/63
erro de codificação menor é determinado, entre os tipos de
partição . Se um erro de codificação é menor em um dos tipos de
partição dividida 912 a 916, a unidade de predição em uma profundidade menor. 910 pode não ser
[00203] Se o erro de codificação for o menor no tipo de
partição 918, uma profundidade é mudada de 0 para 1 para dividir
o tipo de partição 918 na operação 920, e a codificação é
realizada repetidamente nas unidades de codificação 930 tendo uma profundidade de 2 e um tamanho de N_0xN_0 para procurar um erro de codificação mínimo.
[00204] Uma unidade de predição 940 para codificação de predição da unidade de codificação 930 tendo uma profundidade de 1 e um tamanho de 2N_lx2N_l(=N_0xN_0) pode incluir partições de um tipo de partição 942 tendo um tamanho de 2N_lx2N_l, um tipo de partição 944 tendo um tamanho de 2N_lxN_l, um tipo de partição 946 tendo um tamanho de N_lx2N_l, e um tipo de partição 948 tendo um tamanho de N_lxN_l.
[00205] Se um erro de codificação for o menor no tipo de partição 948, uma profundidade é mudada de 1 para 2 para dividir o tipo de partição 948 Na operação 950, e a codificação é realizada repetidamente nas unidades de codificação 960, as quais têm uma profundidade de 2 e um tamanho de N_2xN_2 para procurar um erro de codificação mínimo.
[00206] Quando uma profundidade máxima é d, a operação de divisão de acordo com cada profundidade pode ser realizada até quando uma profundidade se tornar d-1; e a informação de divisão pode ser codificada até quando uma profundidade for uma de 0 a d-2. Em outras palavras, quando a codificação é realizada até quando a profundidade é d-1 após uma unidade de codificação correspondendo a uma profundidade de d-2 ser dividida na operação 970, uma unidade de predição 990 para codificação de predição de uma unidade de codificação 980 tendo uma profundidade de d-1 e um tamanho de 2N_ (d-1) x2N_ (d-1) pode incluir partições de um tipo de partição 992 tendo um tamanho de
Petição 870190082481, de 23/08/2019, pág. 60/136
52/63
2N _(d-l)x2N _(d-l), um tipo de partição 994 tendo um tamanho de
2N _(d-1)xN_ (d-1), um tipo de partição 9 9 6 tendo um tamanho de
N_ (d-1)x2N_ (d-1), um tipo de partição 998 tendo um tamanho de
N_(d-1)xN_(d-1).
[00207] Codificação de predição pode ser realizada repetidamente em uma partição tendo um tamanho de 2N_(dl)x2N_(d-l), duas partições tendo um tamanho de 2N_(d-1)xN_(d1), duas partições tendo um tamanho de N_(d-1)x2N_(d-1), quatro partições tendo um tamanho de N_(d-1)xN_(d-1) dentre os tipos de partição 992 a 998 para procurar um tipo de partição tendo um erro de codificação minimo.
[00208] Mesmo quando o tipo de partição 998 tem o erro de codificação minimo, como uma profundidade máxima é d, uma unidade de codificação CU_(d-l), tendo uma profundidade de d-1 não mais é dividida para uma profundidade inferior, e uma profundidade codificada para as unidades de codificação constituindo uma unidade de codificação máxima atual 900 é determinada para ser d-1 e um tipo de partição da unidade de codificação máxima atual 900 pode ser determinada para ser N_(dl)xN_(d-l) . Além disso, como a profundidade máxima é d e uma unidade de codificação minima 980 tendo a profundidade mais baixa de d-1 não mais é dividida para uma profundidade inferior, a informação de divisão para a unidade de codificação minima 980 não é estabelecida.
[00209] A unidade de dados 999 pode ser uma unidade minima para a unidade de codificação máxima atual. Uma unidade minima de acordo com uma modalidade exemplar pode ser uma unidade de dados retangular obtida mediante divisão de uma unidade de codificação minima 980 por 4. Mediante realização da codificação repetidamente, o equipamento de codificação de video 100 pode selecionar uma profundidade tendo o erro de codificação minimo mediante comparação dos erros de codificação de acordo com as profundidades da unidade de codificação 900 para determinar uma profundidade codificada, e estabelecer um tipo de partição
Petição 870190082481, de 23/08/2019, pág. 61/136
53/63 correspondente e um modo de predição como um modo de codificação da profundidade codificada.
[00210] Como tal, os erros de codificação mínimos de acordo com as profundidades são comparados em todas as profundidades de 1 a d, e a profundidade tendo o menor erro de codificação pode ser determinada como uma profundidade codificada. A profundidade codificada, o tipo de partição da unidade de predição, e o modo de predição podem ser codificados e transmitidos como informação sobre um modo de codificação. Além disso, como uma unidade de codificação é dividida a partir de uma profundidade de 0 até uma profundidade codificada, apenas a informação de divisão da profundidade codificada é ajustada para 0, e a informação de divisão das profundidades excluindo a profundidade codificada é ajustada para 1.
[00211] O extrator de informação de codificação e dados de imagem 220 do aparelho de decodificação de vídeo 200 pode extrair e usar a informação sobre a profundidade codificada e a unidade de predição da unidade de codificação 900 para decodificar a partição 912. O aparelho de decodificação de vídeo 200 pode determinar uma profundidade, na qual a informação dividida é 0, como uma profundidade codificada mediante uso da informação dividida de acordo com as profundidades, e usar a informação sobre um modo de codificação da profundidade correspondente para decodificação.
[00212] As figuras 16 a 18 são diagramas para descrever uma relação entre as unidades de codificação 1010, unidades de predição 1060, e unidades de transformação 1070, de acordo com uma modalidade da presente invenção.
[00213] As unidades de codificação 1010 são unidades de codificação que têm uma estrutura de árvore, correspondendo às profundidades codificadas determinadas pelo aparelho de codificação de vídeo 100, em uma unidade de codificação máxima. As unidades de predição 1060 são partições das unidades de predição de cada uma das unidades de codificação 1010, e as
Petição 870190082481, de 23/08/2019, pág. 62/136
54/63 unidades de transformação 1070 são unidades de transformação de cada uma das unidades de codificação 1010.
[00214] Quando uma profundidade de uma unidade de codificação máxima é 0 nas unidades de codificação 1010, as profundidades das unidades de codificação 1012 e 1054 são 1, as profundidades das unidades de codificação 1014, 1016, 1018, 1028, 1050, e 1052 são 2, as profundidades das unidades de decodificação 1020, 1022, 1024, 1026, 1030, 1032 e 1048 são 3, e as profundidades das unidades de codificação 1040, 1042, 1044 e 1046 são 4.
[00215] Nas unidades de predição 1060, algumas unidades de codificação 1014, 1016, 1022, 1032, 1048, 1050, 1052, 1054 são obtidas mediante divisão das unidades de codificação nas unidades de codificação 1010. Em outras palavras, tipos de partição nas unidades de codificação 1014, 1022, 1050, e 1054 têm um tamanho de 2NxN, os tipos de partição nas unidades de codificação 1016, 1048 e 1052 têm um tamanho de Nx2N, e um tipo de partição da unidade de codificação 1032 tem um tamanho de NxN. As unidades de predição e partições das unidades de codificação 1010 são menores do que ou iguais a cada unidade de codificação.
[00216] Transformação ou transformação inversa é realizada nos dados de imagem da unidade de codificação 1052 nas unidades de transformação 1070 em uma unidade de dados que é menor do que a unidade de codificação 1052. Além disso, as unidades de codificação 1014, 1016, 1022, 1032, 1048, 1050 e 1052 nas unidades de transformação 1070 são diferentes daquelas nas unidades de predição 1060 em termos de tamanhos e formatos. Em outras palavras, os aparelhos de codificação e decodificação de vídeo 100 e 200 podem realizar intra predição, estimação de movimento, compensação de movimento, transformação, e transformação inversa individualmente em uma unidade de dados na mesma unidade de codificação.
[00217] Consequentemente, a codificação é realizada de forma recursiva em cada uma das unidades de codificação tendo uma
Petição 870190082481, de 23/08/2019, pág. 63/136
55/63 estrutura hierárquica em cada região de uma unidade de codificação máxima para determinar uma unidade de codificação ótima, e assim unidades de codificação que têm uma estrutura de árvore recursiva podem ser obtidas. A informação de codificação pode incluir informação dividida sobre uma unidade de codificação, informação sobre um tipo de partição, informação sobre um modo de predição, e informação sobre um tamanho de uma unidade de transformação. A Tabela 1 mostra a informação de codificação que pode ser estabelecida pelos aparelhos de codificação de vídeo e de decodificação de vídeo 100 e 200.
Tabela 1
Informação de divisão 0 (Codificação na Unidade de Codificação tendo Tamanho de 2Nx2N e Profundidade Atual de d) Informação de divisão 1
Modo de Predição Tipo de Partição Tamanho da Unidade de Transformação Codificar Repetidamente as Unidades de Codificação tendo Profundidade Inferior de d+1
Salto Intra/lnter (Apenas 2Nx2N) Tipo de Partição Simétrica Tipo de Partição Assimétrica Informação de divisão 0 da Unidade de Transformação Informação de divisão 1 da Unidade de Transformação
2Nx2N 2NxN Nx2N NxN 2NxnU 2NxnD nLx2N nRx2N 2Nx2N NxN(Tipo Simétrico)N/2xN/2 (Tipo Assimétrico)
Petição 870190082481, de 23/08/2019, pág. 64/136
56/63 [00218] A unidade de saída 130 do aparelho de codificação de video 100 pode emitir a informação de codificação sobre as unidades de codificação tendo uma estrutura de árvore, e o extrator de informação de codificação e dados de imagem 220, do aparelho de decodificação de video 200, pode extrair a informação de codificação sobre as unidades de codificação tendo uma estrutura de árvore a partir de um fluxo de bits recebido. [00219] A informação de divisão indica se uma unidade de codificação atual é dividida em unidades de codificação de uma profundidade inferior. Se a informação dividida de uma profundidade atual d for 0, uma profundidade, na qual uma unidade de codificação atual não mais é dividida em uma profundidade inferior, é uma profundidade codificada, e assim a informação sobre um tipo de partição, o modo de predição, e um tamanho de uma unidade de transformação, pode ser definida para a profundidade codificada. Se a unidade de codificação atual for dividida adicionalmente de acordo com a informação dividida, a codificação é realizada independentemente em quatro unidades de codificação divididas de uma profundidade inferior.
[00220] Um modo de predição pode ser um de: um modo intra, um modo inter, e um modo de salto. O intra-modo e o inter-modo podem ser definidos em todos os tipos de partição, e o modo de salto é definido apenas em um tipo de partição tendo um tamanho de 2Nx2N.
[00221] A informação sobre o tipo de partição pode indicar tipos de partição simétrica tendo tamanhos de 2Nx2N, 2NxN, Nx2N, e NxN, que são obtidos mediante divisão de forma simétrica de uma altura ou de uma largura de uma unidade de predição, e tipos de partição assimétrica tendo tamanhos de 2NxnU, 2NxnD, nLx2N e nRx2N, os quais são obtidos mediante divisão de forma assimétrica da altura ou largura da unidade de predição. Os tipos de partição assimétrica tendo os tamanhos de 2NxnU e 2NxnD podem ser obtidos respectivamente mediante divisão da altura da unidade de predição em 1:3 e 3:1, e os tipos de partição
Petição 870190082481, de 23/08/2019, pág. 65/136
57/63 assimétrica tendo os tamanhos de nLx2N e nRx2N podem ser obtidos respectivamente mediante divisão da largura da unidade de predição em 1:3 e 3:1.
[00222] O tamanho da unidade de transformação pode ser ajustado para ser de dois tipos no modo intra e de dois tipos no modo inter. Em outras palavras, se a informação dividida da unidade de transformação for 0, o tamanho da unidade de transformação pode ser 2Nx2N, que é o tamanho da unidade de codificação atual. Se informação dividida da unidade de transformação for 1, as unidades de transformação podem ser obtidas mediante divisão da unidade de codificação atual. Além disso, se um tipo de divisão da unidade de codificação atual tendo o tamanho de 2Nx2N for um tipo de partição assimétrica, um tamanho de uma unidade de transformação pode ser NxN, e se o tipo de partição da unidade de codificação atual for um tipo de partição assimétrica, o tamanho da unidade de transformação pode ser N/2xN/2.
[00223] A informação de codificação sobre as unidades de codificação tendo uma estrutura de árvore pode incluir ao menos uma de uma unidade de codificação correspondendo a uma profundidade codificada, uma unidade de predição, e uma unidade minima. A unidade de codificação correspondendo à profundidade codificada pode incluir ao menos uma de uma unidade de predição e uma unidade minima contendo a mesma informação de codificação. [00224] Consequentemente é determinado se as unidades de dados adjacentes são incluídas na mesma unidade de codificação correspondendo à profundidade codificada mediante comparação da informação de codificação das unidades de dados adjacentes. Além disso, uma unidade de codificação correspondente que corresponde a uma profundidade codificada é determinada mediante uso da informação de codificação de uma unidade de dados, e assim uma distribuição das profundidades codificadas em uma unidade de codificação máxima pode ser determinada.
[00225] Consequentemente, se uma unidade de codificação atual for predita com base na informação de codificação das unidades
Petição 870190082481, de 23/08/2019, pág. 66/136
58/63 de dados adjacentes, informação de codificação das unidades de dados em unidades de codificação mais profunda adjacentes à unidade de codificação atual pode ser diretamente consultada e utilizada.
[00226] Alternativamente, se uma unidade de codificação atual for predita com base na informação de codificação das unidades de dados adjacentes, as unidades de dados adjacentes à unidade de codificação atual são procuradas utilizando-se a informação de codificação das unidades de dados, e as unidades de codificação adjacentes procuradas podem ser referidas para predição da unidade de codificação atual.
[00227] A Figura 19 é um diagrama para descrever uma relação entre uma unidade de codificação, uma unidade de predição ou uma partição, e uma unidade de transformação, de acordo com a informação de modo de codificação da Tabela 1.
[00228] A unidade de codificação máxima 1300 inclui unidades de codificação 1302 1304, 1306, 1312, 1314, 1316 e 1318 de profundidades codificadas. Aqui, como a unidade de codificação 1318 é uma unidade de codificação de uma profundidade codificada, a informação dividida pode ser ajustada para 0. A informação sobre um tipo de partição da unidade de codificação 1318 tendo um tamanho de 2Nx2N pode ser ajustada para ser um de: um tipo de partição 1322 tendo um tamanho de 2Nx2N, um tipo de partição 1324 tendo um tamanho de 2NxN, um tipo de partição 1326 tendo um tamanho de Nx2N, um tipo de partição 328 tendo um tamanho de NxN, um tipo de partição 1332 tendo um tamanho de 2NxnU, um tipo de partição 1334 tendo um tamanho de 2NxnD, um tipo de partição 1336 tendo um tamanho de nLx2N, e um tipo de partição 1338 tendo um tamanho de nRx2N.
[00229] Informação de divisão (indicador de tamanho TU (Unidade de transformação) ) de uma unidade de transformação, isto é, um sinalizador de tamanho Tu, é um tipo de um indice de transformação. O tamanho de uma unidade de transformação correspondendo ao indice de transformação pode variar de acordo
Petição 870190082481, de 23/08/2019, pág. 67/136
59/63 com um tipo de unidade de predição ou um tipo de partição de uma unidade de codificação.
[00230] Por exemplo, quando o tipo de partição é ajustado para ser simétrico, isto é, o tipo de partição 1322, 1324, 1326 ou 1328, uma unidade de transformação 1342 tendo um tamanho de 2Nx2N é estabelecida quando o sinalizador de tamanho TU é 0, e uma unidade de transformação 1344 tendo um tamanho de NxN é estabelecida quando o sinalizador de tamanho TU é 1.
[00231] Quando o tipo de partição é estabelecido como sendo assimétrico, isto é, o tipo de partição 1332, 1334, 1336 ou
1338, uma unidade de transformação 1352 tendo um tamanho de 2Nx2N é estabelecida se um sinalizador de tamanho TU for 0, e uma unidade de transformação 1354 tendo um tamanho de N/2xN/2 é estabelecida se um sinalizador de tamanho TU for 1.
[00232] Com referência à Figura 19, o sinalizador de tamanho TU é um sinalizador tendo um valor de 0 ou 1, porém o sinalizador de tamanho TU não é limitado a um 1 bit, e a unidade de transformação pode ser dividida de forma hierárquica tendo uma estrutura de árvore enquanto o sinalizador de tamanho TU aumenta a partir de 0. A informação de divisão (sinalizador de tamanho TU) de uma unidade de transformação pode ser um exemplo de um índice de transformação.
[00233] Nesse caso, o tamanho de uma unidade de transformação que foi efetivamente usada pode ser expresso mediante uso de um indicador de tamanho TU de uma unidade de transformação, de acordo com uma modalidade exemplar, em conjunto com um tamanho máximo e um tamanho mínimo da unidade de transformação. De acordo com uma modalidade exemplar, o equipamento de codificação de video 100 pode codificar informação de tamanho de unidade de transformação máximo, informação de tamanho de unidade de transformação mínimo, e um indicador de tamanho TU máximo. O resultado da codificação da informação de tamanho de unidade de transformação máximo, informação de tamanho de unidade de transformação mínimo, e o indicador de tamanho TU máximo podem
Petição 870190082481, de 23/08/2019, pág. 68/136
60/63 ser inseridos em um SPS. De acordo com uma modalidade exemplar, o equipamento de codificação de video 200 pode decodificar video mediante uso da informação de tamanho de unidade de transformação máximo, da informação de tamanho de unidade de transformação minima, e do indicador de tamanho TU máximo.
[00234] Por exemplo, (a) se o tamanho de uma unidadede codificação atual for 64x64 e um tamanho de unidadede transformação máximo for 32x32, (a-1) então o tamanho de uma unidade de transformação pode ser 32x32 quando um indicadorde tamanho TU é 0, (a-2) pode ser 16x16 quando o indicadorde tamanho TU for 1, e (a-3) pode ser 8x8 quando o indicadorde tamanho TU for 2.
[00235] Como outro exemplo, (b) se o tamanho da unidade de codificação atual for 32x32 e um tamanho de unidade de transformação mínimo for 32x32, (b-1) então o tamanho da unidade de transformação pode ser 32x32 quando o indicador de tamanho TU for 0. Aqui, o indicador de tamanho TU não pode ser ajustado
para um valor diferente de 0, uma vez que o tamanho da unidade
de transformação não pode ser menor do que 32x32.
[00236] Como outro exemplo, (c) se o tamanho da unidade de
codificação atual for 64x64 e um indicador de tamanho TU máximo for 1, então o indicador de tamanho TU pode ser 0 ou 1. Aqui, o indicador de tamanho TU não pode ser ajustado para um valor diferente de 0 ou 1.
[00237] Assim, se for definido que o indicador de tamanho TU máximo é MaxTransformSizelndex, um tamanho de unidade de transformação mínimo é MinTransformSize, e um tamanho de unidade de transformação é RootTuSize quando o indicador de tamanho TU for 0, então um tamanho de unidade de transformação mínimo atual CurrMinTuSize que pode ser determinado em uma unidade de codificação atual, pode ser definido pela Equação (D :
CurrMinTuSize=max(MinTransformSize, RootTuSize/ (2AMaxTransformSizeIndex)) (1)
Petição 870190082481, de 23/08/2019, pág. 69/136
61/63 [00238] Em comparação com o tamanho de unidade de transformação minimo atual CurrMinTuSize que pode ser determinado na unidade de codificação atual, um tamanho de unidade de transformação RootTuSize quando o indicador de tamanho TU é 0, pode denotar um tamanho de unidade de transformação máximo que pode ser selecionado no sistema. Na Equação (1), RootTuSize(2AMaxTransformSizeIndex) denota um tamanho de unidade de transformação quando o tamanho de unidade de transformação RootTuSize, quando o indicador de tamanho TU for 0, é dividido o número de vezes correspondendo ao indicador de tamanho TU máximo, e MintransformSize denota um tamanho de transformação minimo. Assim, um valor menor dentre RootTuSize/(2AMaxTransformSizeIndex) e MinTransformSize pode
ser o tamanho de unidade de transformação minimo atual
CurrMinTuSize que pode ser determinado na unidade de
codificação atual. [00239] De acordo com uma modalidade exemplar, o tamanho de
unidade de transformação máximo RootTuSize pode variar de acordo com o tipo de modo de predição.
[00240] Por exemplo, se um modo de predição atual for um modo inter, então RootTuSize pode ser determinado mediante uso da Equação (2) abaixo. Na Equação (2), MaxTransformSize denota um tamanho de unidade de transformação máximo, e PUSize denota um tamanho de unidade de predição atual.
RootTuSize = min(MaxTransformSize, PUSize) (2) [00241] Isto é, se o modo de predição atual for o modo inter, o tamanho de unidade de transformação RootTuSize quando o indicador de tamanho TU for 0, pode ser um valor menor entre o tamanho de unidade de transformação máximo e o tamanho de unidade de predição atual.
[00242] Se um modo de predição de uma unidade de partição atual for um modo intra, RootTuSize pode ser determinado mediante uso da Equação (3) abaixo. Na Equação (3), Partitionsize denota o tamanho da unidade de partição atual.
Petição 870190082481, de 23/08/2019, pág. 70/136
62/63
RootTuSize = min(MaxTransformSize, Partitionsize)..(3) [00243] Isto é, se o modo de predição atual for o modo intra, o tamanho de unidade de transformação RootTuSize quando o indicador de tamanho TU for 0 pode ser urn valor menor entre ο tamanho de unidade de transformação máximo e o tamanho da unidade de partição atual.
[00244] Contudo, o tamanho de unidade de transformação máximo atual RootTuSize que varia de acordo com o tipo de um modo de predição em uma unidade de partição, é apenas um exemplo, e a presente invenção não é limitada a ele.
[00245] De acordo com o método de codificação de vídeo baseado em unidades de codificação tendo uma estrutura em árvore, como descrito com referência às figuras 7 a 19, os dados de imagem de uma região espacial são codificados para cada unidade de codificação de uma estrutura de árvore. De acordo com o método de decodificação de vídeo baseado em unidades de codificação que têm uma estrutura de árvore, a decodificação é executada para cada unidade de codificação máxima para restaurar dados de imagem de uma região espacial. Assim, uma imagem e um vídeo que é uma sequência de imagens podem ser restaurados. O vídeo restaurado pode ser reproduzido por um dispositivo de reprodução, armazenado em um meio de armazenamento, ou transmitido através de uma rede.
[00246] As modalidades da presente invenção podem ser gravadas como programas de computador e podem ser implementadas em computadores digitais de uso comum que executam programas utilizando um meio de gravação legível por computador. Exemplos do meio de gravação legível por computador incluem meios de armazenamento magnético (por exemplo, ROM, disquetes, discos rígidos, etc.) e meios óticos de gravação (por exemplo, CD-ROMs ou DVDs).
[00247] Embora essa invenção tenha sido particularmente mostrada e descrita com referência as suas modalidades preferidas, aqueles de conhecimento comum na técnica entenderão
Petição 870190082481, de 23/08/2019, pág. 71/136
63/63 que diversas alterações na forma e detalhes podem ser feitas nas mesmas sem se afastar da essência e escopo da presente invenção conforme definidos pelas reivindicações anexas.

Claims (3)

1. MÉTODO PARA DECODIFICAR VÍDEO, o método caracterizado por compreender:
quando a predição de um bloco colocalizado de um bloco atual está disponível usando uma lista de referência LO do bloco colocalizado e a predição do bloco colocalizado está disponível usando uma lista de referência LI do bloco colocalizado e quando as imagens de referência do bloco atual serão enviadas antes de uma imagem atual incluindo o bloco atual, selecionar um vetor de movimento correspondendo a uma lista de referência do bloco atual dentre um vetor de movimento LO do bloco colocalizado correspondendo a uma imagem de referência determinada da lista LO e um vetor de movimento LI do bloco colocalizado correspondendo a uma imagem de referência determinada da lista Ll;
determinar usando o vetor de movimento selecionado o candidato de preditor de vetor de movimento de acordo com o bloco colocalizado; e obter um preditor de vetor de movimento do bloco atual dentre candidatos de preditor incluindo o candidato de preditor de vetor de movimento de acordo com o bloco colocalizado.
2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o bloco colocalizado é um bloco colocalizado com uma localização de bloco do bloco atual em uma imagem colocalizada a qual é determinada dentre imagens decodificadas antes da imagem atual.
Petição 870190082481, de 23/08/2019, pág. 8/136
2/2
3. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a imagem atual é dividida em uma pluralidade de unidades de codificação máximas, uma unidade de codificação máxima dentre a pluralidade de unidades de codificação máximas é hierarquicamente dividida em unidades de codificação de profundidades, incluindo uma profundidade de corrente e uma profundidade mais baixa de acordo com a informação de divisão, quando a informação de divisão indicar uma divisão para a profundidade atual, a unidade de codificação da profundidade atual é dividida em quatro unidades de codificação quadráticas de uma profundidade mais baixa independentemente das unidades de codificação vizinhas, quando a informação de divisão indicar uma não divisão para a profundidade atual, pelo menos uma unidade de predição é obtida da unidade de codificação da profundidade atual é dividida, e o bloco atual é um da pelo menos uma unidade de predição.
BR112013033906-3A 2011-07-02 2012-07-02 Método para decodificar vídeo BR112013033906B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161504177P 2011-07-02 2011-07-02
US61/504,177 2011-07-02
US201161548415P 2011-10-18 2011-10-18
US61/548,415 2011-10-18
PCT/KR2012/005247 WO2013005963A2 (ko) 2011-07-02 2012-07-02 콜로케이티드 영상을 이용한 인터 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
BR112013033906A2 true BR112013033906A2 (pt) 2019-09-17
BR112013033906B1 BR112013033906B1 (pt) 2020-09-29

Family

ID=47437542

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112013033906-3A BR112013033906B1 (pt) 2011-07-02 2012-07-02 Método para decodificar vídeo

Country Status (16)

Country Link
US (8) US9253488B2 (pt)
EP (1) EP2728862A4 (pt)
JP (5) JP5832646B2 (pt)
KR (7) KR101495725B1 (pt)
CN (6) CN103765894B (pt)
AU (4) AU2012278479B2 (pt)
BR (1) BR112013033906B1 (pt)
CA (2) CA2982301C (pt)
MX (3) MX2014000159A (pt)
MY (5) MY190052A (pt)
PH (4) PH12016501353B1 (pt)
RU (4) RU2636100C1 (pt)
SG (5) SG10201503690QA (pt)
TW (5) TWI526052B (pt)
WO (1) WO2013005963A2 (pt)
ZA (5) ZA201400765B (pt)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804374A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
US9924182B2 (en) 2013-07-12 2018-03-20 Samsung Electronics Co., Ltd. Method for predicting disparity vector based on blocks for apparatus and method for inter-layer encoding and decoding video
US20160205409A1 (en) * 2013-09-04 2016-07-14 Samsung Electronics Co., Ltd. Screen image encoding method and apparatus therefor, and screen image decoding method and apparatus therefor
KR102551609B1 (ko) * 2014-11-27 2023-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3349445A4 (en) * 2015-09-11 2019-03-20 KT Corporation METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL
US10645414B2 (en) 2015-11-11 2020-05-05 Samsung Electronics Co., Ltd. Method for encoding/decoding image, and device therefor
KR20180075517A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2017090961A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP3395072A4 (en) * 2015-12-22 2019-05-22 RealNetworks, Inc. SELECTION AND PREDICTION OF MOTION VECTOR IN VIDEO ENCODING SYSTEMS AND METHODS
EP3439303B1 (en) * 2016-04-28 2020-12-30 LG Electronics Inc. -1- Inter prediction mode-based image processing method and apparatus therefor
WO2018030773A1 (ko) 2016-08-11 2018-02-15 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN106507111B (zh) * 2016-11-17 2019-11-15 上海兆芯集成电路有限公司 使用残差补偿的视频编码方法以及使用该方法的装置
WO2018128228A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
JP2019041165A (ja) * 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
WO2020017861A1 (ko) * 2018-07-16 2020-01-23 엘지전자 주식회사 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
EP3847814A4 (en) 2018-11-06 2021-07-14 Beijing Bytedance Network Technology Co. Ltd. POSITION DEPENDENT STORAGE, MOVEMENT INFORMATION
CN111164976A (zh) * 2019-01-03 2020-05-15 北京大学 视频处理方法和装置
CN110213590B (zh) * 2019-06-25 2022-07-12 浙江大华技术股份有限公司 时域运动矢量获取、帧间预测、视频编码的方法及设备

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10113880B4 (de) 2001-03-21 2004-04-29 T-Mobile Deutschland Gmbh Verfahren zur Komprimierung und Dekomprimierung von Videodaten
EP2271111B1 (en) 2001-11-06 2016-08-10 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
KR20040068143A (ko) * 2001-11-21 2004-07-30 제너럴 인스트루먼트 코포레이션 디지털 영상 콘텐츠를 위한 픽쳐 레벨의 적응성프레임/필드 코딩
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
JP2004208258A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
EP3525465B1 (en) * 2002-04-19 2021-03-17 Panasonic Intellectual Property Corporation of America Picture decoding method and apparatus
EP3525466B1 (en) * 2002-04-19 2022-02-09 Panasonic Intellectual Property Corporation of America Motion vector determining method and apparatus
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
CN101039427B (zh) 2002-07-15 2010-06-16 株式会社日立制作所 动态图像的解码方法
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
EP1642464B1 (en) 2003-06-27 2008-10-15 Nxp B.V. Method of encoding for handheld apparatuses
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
EP1683361B1 (en) 2003-10-27 2007-07-18 Koninklijke Philips Electronics N.V. Power optimized collocated motion estimation method
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US8036271B2 (en) * 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
EP1730695A2 (en) 2004-03-09 2006-12-13 Thomson Research Funding Corporation Reduced resolution update mode for advanced video coding
US8731054B2 (en) 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US20060133495A1 (en) * 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
EP1908303A4 (en) 2005-07-01 2011-04-06 Sonic Solutions METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2007028393A (ja) * 2005-07-20 2007-02-01 Matsushita Electric Ind Co Ltd 双方向予測符号化ピクチャの直接モードブロックの動きベクトルを求める方法
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
JP4702943B2 (ja) * 2005-10-19 2011-06-15 キヤノン株式会社 画像処理装置及びその方法
KR100775176B1 (ko) 2006-03-10 2007-11-12 엘지전자 주식회사 동영상 정보를 썸네일로 재생하는 방법 및 이를 이용한단말기
WO2007114612A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
RU2443074C2 (ru) * 2006-07-06 2012-02-20 Томсон Лайсенсинг Способ и устройство для отделения номера кадра и/или счетчика очередности изображения (рос) для мультивидового видеокодирования и видеодекодирования
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN101578866B (zh) * 2006-10-20 2013-11-13 诺基亚公司 利用参考画面标记和参考画面列表对可缩放视频位流进行编解码的方法及装置
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
EP2123042A4 (en) 2007-01-24 2010-03-10 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
US20100118940A1 (en) 2007-04-19 2010-05-13 Peng Yin Adaptive reference picture data generation for intra prediction
JP4884290B2 (ja) * 2007-05-07 2012-02-29 パナソニック株式会社 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
BRPI0910477A2 (pt) 2008-04-11 2015-09-29 Thomson Licensing método e equipamento para predição de equiparação de gabarito (tmp) na codificação e decodificação de vídeo
JP5210091B2 (ja) * 2008-08-29 2013-06-12 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置、プログラム
US8634457B2 (en) 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
US8831087B2 (en) 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20100111166A1 (en) * 2008-10-31 2010-05-06 Rmi Corporation Device for decoding a video stream and method thereof
US8687685B2 (en) 2009-04-14 2014-04-01 Qualcomm Incorporated Efficient transcoding of B-frames to P-frames
KR20110000914A (ko) 2009-06-29 2011-01-06 조영식 이엠을 함유한 숯 건축 실내장식재 및 그 제조방법
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US20110216640A1 (en) 2009-07-17 2011-09-08 James Curtis Universal multimedia distribution, storage, and playback systems, and methods
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
MX337235B (es) 2011-06-28 2016-02-18 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de conformidad con clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
EP2838263A4 (en) 2012-04-15 2015-12-23 Samsung Electronics Co Ltd INTERPRETING METHOD BY WHICH LISTS OF REFERENCE PICTURES CAN BE MODIFIED, AND APPARATUS THEREFOR
EP2932712A4 (en) * 2013-06-11 2016-11-30 Hfi Innovation Inc METHOD FOR THE INTERMEDIATE REST PRESENTATION WITH REDUCED COMPLEXITY IN A THREE-DIMENSIONAL VIDEO CODING
CA2921759C (en) * 2013-10-17 2018-05-15 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Also Published As

Publication number Publication date
CN104780380A (zh) 2015-07-15
PH12016501351B1 (en) 2016-08-31
PH12016501352A1 (en) 2016-08-31
SG10201600009WA (en) 2016-02-26
TWI594618B (zh) 2017-08-01
MY196093A (en) 2023-03-14
US20150201211A1 (en) 2015-07-16
CN104780363A (zh) 2015-07-15
KR20140085386A (ko) 2014-07-07
PH12016501350B1 (en) 2016-08-31
PH12016501351A1 (en) 2016-08-31
AU2017268677B2 (en) 2019-01-24
KR102041886B1 (ko) 2019-11-07
PH12016501353A1 (en) 2016-08-31
US20160182914A1 (en) 2016-06-23
EP2728862A2 (en) 2014-05-07
WO2013005963A2 (ko) 2013-01-10
TW201541940A (zh) 2015-11-01
RU2014103484A (ru) 2015-08-10
EP2728862A4 (en) 2015-03-25
JP5832646B2 (ja) 2015-12-16
CN104796699A (zh) 2015-07-22
TWI542198B (zh) 2016-07-11
US20150172698A1 (en) 2015-06-18
US20150201210A1 (en) 2015-07-16
CN104780380B (zh) 2017-01-18
TW201735636A (zh) 2017-10-01
US20170238007A1 (en) 2017-08-17
ZA201502919B (en) 2017-01-25
CN103765894A (zh) 2014-04-30
US9313517B2 (en) 2016-04-12
AU2012278479A1 (en) 2014-02-13
CA2840726A1 (en) 2013-01-10
AU2017200249B2 (en) 2017-09-07
CN105100798A (zh) 2015-11-25
RU2665230C1 (ru) 2018-08-28
AU2016201369B2 (en) 2016-11-03
US20180332300A1 (en) 2018-11-15
TWI643489B (zh) 2018-12-01
JP2015149776A (ja) 2015-08-20
SG10201708530WA (en) 2017-12-28
KR20150060617A (ko) 2015-06-03
JP5997316B2 (ja) 2016-09-28
TW201313025A (zh) 2013-03-16
US9253502B2 (en) 2016-02-02
MX336708B (es) 2016-01-28
AU2016201369A1 (en) 2016-03-24
PH12016501352B1 (en) 2016-08-31
KR101519818B1 (ko) 2015-05-13
CN104796698B (zh) 2017-03-29
TW201540046A (zh) 2015-10-16
CN105100798B (zh) 2018-08-07
JP2015156702A (ja) 2015-08-27
KR101495725B1 (ko) 2015-02-25
TWI526052B (zh) 2016-03-11
KR20130004435A (ko) 2013-01-10
CN103765894B (zh) 2017-05-10
JP2014521243A (ja) 2014-08-25
KR101946575B1 (ko) 2019-02-11
US10034014B2 (en) 2018-07-24
WO2013005963A3 (ko) 2013-03-14
JP2015130708A (ja) 2015-07-16
MY190051A (en) 2022-03-23
KR20190014045A (ko) 2019-02-11
ZA201502918B (en) 2017-01-25
CN104796699B (zh) 2018-01-16
KR20150060619A (ko) 2015-06-03
TW201541941A (zh) 2015-11-01
JP5997317B2 (ja) 2016-09-28
MY166149A (en) 2018-06-06
SG10201503690QA (en) 2015-06-29
KR101639335B1 (ko) 2016-07-22
TWI520581B (zh) 2016-02-01
CN104780363B (zh) 2018-01-26
CA2840726C (en) 2017-11-28
CA2982301C (en) 2020-03-10
SG10201503685RA (en) 2015-06-29
PH12016501350A1 (en) 2016-08-31
MY191421A (en) 2022-06-27
ZA201502916B (en) 2017-01-25
JP2015130707A (ja) 2015-07-16
MX337234B (es) 2016-02-18
KR20150060618A (ko) 2015-06-03
RU2688255C1 (ru) 2019-05-21
ZA201502917B (en) 2017-01-25
ZA201400765B (en) 2015-12-23
AU2017268677A1 (en) 2017-12-21
CA2982301A1 (en) 2013-01-10
KR101626448B1 (ko) 2016-06-13
US20140133571A1 (en) 2014-05-15
AU2012278479B2 (en) 2016-01-14
KR101626006B1 (ko) 2016-06-13
PH12016501353B1 (en) 2016-08-31
RU2636100C1 (ru) 2017-11-20
MY190052A (en) 2022-03-23
JP5832683B2 (ja) 2015-12-16
US9232229B2 (en) 2016-01-05
AU2017200249A1 (en) 2017-02-02
US10397601B2 (en) 2019-08-27
MX2014000159A (es) 2014-02-19
US9762924B2 (en) 2017-09-12
KR20150000854A (ko) 2015-01-05
JP5832684B2 (ja) 2015-12-16
BR112013033906B1 (pt) 2020-09-29
CN104796698A (zh) 2015-07-22
US9118926B2 (en) 2015-08-25
US20150172697A1 (en) 2015-06-18
RU2605915C2 (ru) 2016-12-27
US9253488B2 (en) 2016-02-02
SG10201503692UA (en) 2015-06-29

Similar Documents

Publication Publication Date Title
BR112013033906A2 (pt) método de inter predição, aparelho de inter predição, aparelho paradecodificar vídeo, aparelho para codificar vídeo, e meio de gravação legível por computador
ES2533304T3 (es) Método y aparato para codificar vídeo por predicción de movimiento usando una partición arbitraria, y método y aparato para decodificar vídeo por predicción de movimiento usando una partición arbitraria
BR122021004622B1 (pt) Método para decodificar um vídeo
BR122020014021B1 (pt) Aparelho para decodificar um vídeo
BR112012025407B1 (pt) Método de decodificação de vídeo baseado em unidades de codificação determinadas de acordo com uma estrutura de árvore
BR122015021748A2 (pt) método de decodificar dados de vídeo
BR122015013888A2 (pt) Método para decodificar um vídeo codificado
MX2014000157A (es) Metodo de codificacion de video con intra prediccion utilizando el proceso de verificacion para la posibilidad de referencia unificada, metodo de decodificacion de video y dispositivo del mismo.
BR122015021376A2 (pt) aparelho para decodificar um vídeo
BR122021004147B1 (pt) Método para decodificar um vídeo
BR112012025308B1 (pt) Método de codificar um vídeo, método de decodificar um vídeo codificado, equipamento de codificação de vídeo incluindo um processador, equipamento de decodificação de vídeo incluindo um processador, e meio de gravação legível por computador
BR112014018115B1 (pt) Método de decodificar um vídeo
BR122021004836B1 (pt) Método para decodificar um vídeo codificado
BR122020001936B1 (pt) método de decodificar um vídeo

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 02/07/2012, OBSERVADAS AS CONDICOES LEGAIS.