BR112021007865A2 - método e aparelho de predição de imagem - Google Patents

método e aparelho de predição de imagem Download PDF

Info

Publication number
BR112021007865A2
BR112021007865A2 BR112021007865-7A BR112021007865A BR112021007865A2 BR 112021007865 A2 BR112021007865 A2 BR 112021007865A2 BR 112021007865 A BR112021007865 A BR 112021007865A BR 112021007865 A2 BR112021007865 A2 BR 112021007865A2
Authority
BR
Brazil
Prior art keywords
mode
intra
prediction
triangular
inter
Prior art date
Application number
BR112021007865-7A
Other languages
English (en)
Inventor
Weiwei Xu
Haitao Yang
Yin Zhao
Original Assignee
Huawei Technologies Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co., Ltd. filed Critical Huawei Technologies Co., Ltd.
Publication of BR112021007865A2 publication Critical patent/BR112021007865A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

MÉTODO E APARELHO DE PREDIÇÃO DE IMAGEM. Modalidades da presente invenção fornecem um método de predição de imagem. O método inclui: receber um fluxo de bits; analisar o fluxo de bits para obter um modo de predição de um bloco atual; quando o modo de predição do bloco atual for um modo de predição intra e inter combinado, selecionar um modo de execução de um modo de unidade de predição triangular de acordo com uma política predefinida; determinar informações de movimento do bloco atual de acordo com o modo de execução do modo de unidade de predição triangular; realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma amostra de predição inter; obter uma amostra de predição inter de acordo com o modo de predição do bloco atual; e combinar a amostra de predição inter e a amostra de predição intra para obter uma imagem de predição do bloco atual. As modalidades da presente invenção podem melhorar eficiência de codificação e decodificação.

Description

“MÉTODO E APARELHO DE PREDIÇÃO DE IMAGEM”
[0001] Este pedido reivindica prioridade ao Pedido de Patente Chinês No 201811262934.7, depositado junto à Administração Nacional de Propriedade Intelectual da China em 27 de outubro de 2018 e intitulado “PICTURE PREDICTION METHOD AND APPARATUS”, o qual é integralmente incorporado neste documento à título de referência.
CAMPO TÉCNICO
[0002] Este pedido refere-se ao campo de codificação e decodificação de vídeo e, mais especificamente, a um método e aparelho de predição de imagem.
FUNDAMENTOS
[0003] À medida em que as tecnologias da internet se desenvolvem rapidamente e as culturas materiais e espirituais das pessoas são cada vez mais enriquecidas, há demandas crescentes na internet para aplicações de vídeos, especialmente, para aplicação de vídeos de alta definição. Entretanto, um vídeo de alta definição tem uma grande quantidade de dados. Para transmitir o vídeo de alta definição na internet com uma largura de banda limitada, os problemas de codificação e decodificação de vídeo precisam ser resolvidos primeiro. A codificação e decodificação de vídeo são usadas em uma ampla faixa de aplicações de vídeo digital, por exemplo, TV digital de broadcast, transmissão de vídeo pela internet e redes móveis, aplicativos de conversação em tempo real, tais como bate-papo de vídeo e videoconferência, DVDs e discos Blu-ray e aplicações de sistemas de coleta e edição de conteúdo de vídeo e filmadoras.
[0004] Cada imagem em uma sequência de vídeos é usualmente particionada em um conjunto de blocos não sobrepostos e a codificação é usualmente realizada em um nível de bloco. Por exemplo, um bloco de predição é gerado através de predição espacial (imagem intra) e predição temporal (imagem inter). Correspondentemente, os modos de predição podem incluir um modo de predição intra (predição espacial) e um modo de predição inter (predição temporal). Um conjunto de modos de predição intra pode incluir 35 diferentes modos de predição intra, por exemplo, modos não direcionais, tais como um modo DC (ou meio) e um modo planar ou, modos direcionais, tais como àqueles definidos em H.265, ou pode incluir 67 diferentes modos de predição intra, por exemplo, modos não direcionais, tais como um modo DC (ou meio) e um modo planar ou, modos direcionais, tais como àqueles definidos em H.266 em desenvolvimento. Um conjunto de modos de predição inter depende de uma imagem de referência disponível e outros parâmetros de predição inter, por exemplo, depende se toda a imagem de referência é usada ou apenas uma parte da imagem de referência é usada.
[0005] Na tecnologia convencional, eficácia de predição de imagem é relativamente baixa.
SUMÁRIO
[0006] As modalidades deste pedido (ou esta revelação) fornecem um aparelho e método de predição de imagem.
[0007] De acordo com um primeiro aspecto, uma modalidade da presente invenção fornece um método de predição de imagem. O método inclui: receber um fluxo de bits; analisar o fluxo de bits para obter um modo de predição de um bloco atual; quando o modo de predição do bloco atual for um modo de predição intra e inter combinado, selecionar um modo de execução de um modo de unidade de predição triangular, de acordo com uma política pré-ajustada; determinar informações de movimento do bloco atual, de acordo com o modo de execução do modo de unidade de predição triangular; realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma amostra de predição inter; obter uma amostra de predição intra, de acordo com o modo de predição do bloco atual; e combinar a amostra de predição inter e a amostra de predição intra para obter uma imagem de predição do bloco atual.
[0008] De acordo com o método no primeiro aspecto das modalidades da presente invenção, eficácia de codificação e decodificação pode ser melhorada.
[0009] De acordo com um segundo aspecto, uma modalidade da presente invenção fornece um método de predição de imagem. O método inclui: receber um fluxo de bits; analisar o fluxo de bits para obter um modo de unidade de predição triangular de um bloco atual; quando o modo de unidade de predição triangular for usado para o bloco atual, selecionar um modo de execução de um modo de predição intra e inter combinado, de acordo com uma primeira política pré-ajustada; obter informações de movimento do bloco atual, de acordo com o modo de unidade de predição triangular, para obter uma amostra de predição inter; e obter uma imagem de predição do bloco atual, de acordo com o modo de execução do modo de predição intra e inter combinado e a amostra de predição inter.
[0010] De acordo com o método no segundo aspecto das modalidades da presente invenção, eficácia de codificação e decodificação pode ser melhorada.
[0011] De acordo com um terceiro aspecto, uma modalidade da presente invenção fornece um aparelho para decodificar um fluxo de vídeo, incluindo um processador e uma memória. A memória armazena instruções e as instruções habilitam o processador a realizar o método no primeiro aspecto.
[0012] De acordo com um quarto aspecto, uma modalidade da presente invenção fornece um aparelho para decodificar um fluxo de vídeo, incluindo um processador e uma memória. A memória armazena instruções e as instruções habilitam o processador a realizar o método no segundo aspecto.
[0013] De acordo com um quinto aspecto, uma mídia de armazenamento legível por computador é fornecida. A mídia de armazenamento legível por computador armazena instruções e quando as instruções são executadas, um ou mais processadores são habilitados para codificar ou decodificar os dados de vídeo. As instruções habilitam um ou mais processadores a realizarem o método em qualquer implementação possível do primeiro aspecto.
[0014] De acordo com um sexto aspecto, uma modalidade da presente invenção fornece um programa de computador, incluindo o código do programa. Quando o código do programa é executado em um computador, o método em qualquer implementação possível do primeiro aspecto é realizado.
[0015] De acordo com um sétimo aspecto, uma mídia de armazenamento legível por computador é fornecida. A mídia de armazenamento legível por computador armazena instruções e quando as instruções são executadas, um ou mais processadores são habilitados para codificar ou decodificar os dados de vídeo. As instruções habilitam um ou mais processadores a realizarem o método em qualquer implementação possível do segundo aspecto.
[0016] De acordo com um oitavo aspecto, uma modalidade da presente invenção fornece um programa de computador, incluindo o código do programa. Quando o código do programa é executado em um computador, o método em qualquer implementação possível do segundo aspecto é realizado.
[0017] Os detalhes de uma ou mais modalidades são descritos nos desenhos anexos e nas seguintes descrições. Outras características, objetivos e vantagens são evidentes a partir do relatório descritivo, desenhos e reivindicações.
BREVE DESCRIÇÃO DOS DESENHOS
[0018] Para descrever as soluções técnicas nas modalidades deste pedido ou nos fundamentos mais claramente, o seguinte descreve os desenhos anexos necessários para as modalidades deste pedido ou os fundamentos.
[0019] A FIG. 1A é um diagrama de bloco que ilustra um exemplo de um sistema de codificação de vídeo para implementar uma modalidade da presente invenção;
[0020] A FIG. 1B é um diagrama de bloco que ilustra um exemplo de um sistema de codificação de vídeo, incluindo qualquer um ou dois entre o codificador 20 na FIG. 2 e o decodificador 30 na FIG. 3;
[0021] A FIG. 2 é um diagrama de bloco que ilustra uma estrutura do exemplo de um codificador de vídeo para implementar uma modalidade da presente invenção;
[0022] A FIG. 3 é um diagrama de bloco que ilustra uma estrutura do exemplo de um decodificador de vídeo para implementar uma modalidade da presente invenção;
[0023] A FIG. 4 é um diagrama de bloco que ilustra um exemplo de um aparelho de codificação ou um aparelho de decodificação;
[0024] A FIG. 5 é um diagrama de bloco que ilustra um exemplo de outro aparelho de codificação ou outro aparelho de decodificação;
[0025] A FIG. 6 mostra um exemplo de um candidato espacial e um candidato temporal de um bloco atual;
[0026] A FIG. 7 é um diagrama esquemático de um modo de predição intra (intra);
[0027] A FIG. 8 é um diagrama esquemático de um modo de unidade de predição triangular;
[0028] A FIG. 9 é um fluxograma esquemático da Modalidade 1 da presente invenção;
[0029] A FIG. 10 é um fluxograma esquemático da Modalidade 2 da presente invenção;
[0030] A FIG. 11 é um diagrama estrutural esquemático de um aparelho 1100, de acordo com uma modalidade da presente invenção;
[0031] A FIG. 12 é um diagrama de bloco que ilustra uma estrutura do exemplo de um sistema de fornecimento de conteúdo 3100 que implementa um sistema de liberação de conteúdo; e
[0032] A FIG. 13 é um diagrama de bloco de uma estrutura do exemplo de um dispositivo terminal.
[0033] A seguir, os sinais de referência idênticos representam características equivalentes idênticas ou, pelo menos, funcionalmente, a menos que especificado de outro modo.
DESCRIÇÃO DAS MODALIDADES
[0034] A codificação de vídeo é usualmente o processamento de uma sequência de imagens que formam um vídeo ou uma sequência de vídeos. No campo da codificação de vídeo, os termos “fotografia (picture)”, “quadro (frame)” e “imagem (image)” podem ser usados como sinônimos. A codificação de vídeo usada neste pedido (ou nesta revelação) indica a codificação de vídeo ou decodificação de vídeo. A codificação de vídeo é realizada em um lado de origem e, usualmente, inclui o processamento (por exemplo, através de compressão) de uma imagem de vídeo original para reduzir uma quantidade de dados necessária para representar a imagem de vídeo (para armazenamento e/ou transmissão mais eficazes). A decodificação de vídeo é realizada em um lado de destino e, usualmente, inclui processamento inverso em relação a um codificador para reconstruir uma imagem de vídeo. A “codificação” de uma imagem de vídeo nas modalidades deve ser entendida como “codificação” ou “decodificação” relacionada a uma sequência de vídeos. Uma combinação da codificação e decodificação também é referida como codificação (coding and decoding).
[0035] Cada imagem em uma sequência de vídeos é usualmente particionada em um conjunto de blocos não sobrepostos e a codificação é usualmente realizada em um nível de bloco. Para ser específico, em um lado do codificador, um vídeo é usualmente processado, isto é, codificado, em um nível de bloco (que também é referido como um bloco de imagem ou um bloco de vídeo). Por exemplo, um bloco de predição é gerado através da predição espacial (imagem intra) e predição temporal (imagem inter), o bloco de predição é subtraído de um bloco atual (um bloco que está sendo processado ou a ser processado) para obter um bloco residual e o bloco residual é transformado no domínio de transformada e quantizado para reduzir uma quantidade de dados que deve ser transmitida (comprimida). Em um lado do decodificador, o processamento inverso em relação ao codificador é aplicado ao bloco codificado ou comprimido para reconstruir o bloco atual para representação. Além disso, o codificador duplica um loop de processamento do decodificador, de modo que o codificador e o decodificador gerem a mesma predição (por exemplo, predição intra e predição inter) e/ou reconstrução para processamento, isto é, codificação de um bloco subsequente.
[0036] O termo “bloco” pode ser uma parte de uma imagem ou um quadro. Os termos-chave neste pedido são definidos a seguir:
[0037] Bloco atual: O bloco atual é um bloco que está sendo processado. Por exemplo, durante a codificação, o bloco atual é um bloco que está sendo codificado e, durante a decodificação, o bloco atual é um bloco que está sendo decodificado. Se o bloco que está sendo processado for um bloco de componente croma, o bloco é referido como um bloco de croma atual. Um bloco de luma correspondente ao bloco de croma atual pode ser referido como um bloco de luma atual.
[0038] Bloco de referência: O bloco de referência é um bloco que fornece um sinal de referência para um bloco atual. Em um processo de pesquisa, uma pluralidade de blocos de referência pode ser percorrida para encontrar um bloco de referência ideal.
[0039] Bloco de predição: Um bloco que fornece predição para um bloco atual é referido como um bloco de predição. Por exemplo, depois de uma pluralidade de blocos de referência ser percorrida, um bloco de referência ideal é encontrado. O bloco de referência ideal fornece predição para o bloco atual e o bloco é referido como um bloco de predição.
[0040] Sinal de bloco de imagem: O sinal de bloco de imagem é um valor de pixel, um valor de amostra ou um sinal de amostra em um bloco de imagem.
[0041] Sinal de predição: Um valor de pixel, um valor de amostra ou um sinal de amostra em um bloco de predição é referido como um sinal de predição.
[0042] O seguinte descreve as modalidades de um codificador 20, um decodificador 30 e um sistema de codificação 10 com base na FIG. 1A e FIG. 1B a FIG. 3.
[0043] A FIG. 1A é um diagrama esquemático ou conceitual de bloco que ilustra um sistema de codificação de exemplo 10, por exemplo, um sistema de codificação de vídeo 10 que pode utilizar as tecnologias deste pedido (desta revelação). Um codificador 20 (por exemplo, um codificador de vídeo 20) e um decodificador 30 (por exemplo, um decodificador de vídeo 30) no sistema de codificação de vídeo 10 representam exemplos de dispositivo que podem ser configurados para realizar a predição intra, de acordo com vários exemplos descritos neste pedido. Como mostrado na FIG. 1A, o sistema de codificação 10 inclui um dispositivo de origem 12 configurado para fornecer os dados codificados 13, tais como uma imagem codificada 13 para um dispositivo de destino 14 para decodificar os dados codificados 13 ou semelhantes.
[0044] O dispositivo de origem 12 inclui o codificador 20 e, adicional ou opcionalmente, pode incluir uma fonte de imagem 16, por exemplo, uma unidade de pré-processamento 18, tal como uma unidade de pré-processamento de imagem 18 e uma interface de comunicações ou unidade de comunicações
22.
[0045] A fonte de imagem 16 pode incluir ou pode ser qualquer tipo de dispositivo de captura de imagem configurado para capturar uma imagem do mundo real e semelhantes e/ou qualquer tipo de dispositivo para gerar uma imagem ou comentário (para codificação de conteúdo de tela, algum texto em uma tela também é considerado uma parte de uma imagem a ser codificada), por exemplo, uma unidade de processamento de gráficos de computador configurada para gerar uma imagem de animação de computador ou qualquer tipo de dispositivo configurado para obter e/ou fornecer uma imagem do mundo real ou uma imagem de animação de computador (por exemplo, conteúdo de tela ou uma imagem de realidade virtual (virtual reality, VR)) e/ou qualquer combinação dos mesmos (por exemplo, uma imagem de realidade aumentada (augmented reality, AR)).
[0046] Uma imagem pode ser considerada um arranjo bidimensional ou matriz de amostras com valores de luma. A amostra no arranjo também pode ser referida como um pixel (pixel) (uma forma curta de um elemento de imagem (picture element)) ou um pel (pel). Uma quantidade de amostras nas direções horizontal e vertical (ou eixos) do arranjo ou da imagem define um tamanho e/ou uma resolução da imagem. Para representação de cor, três componentes de cor são usualmente usados, isto é, a imagem pode ser representada ou incluir três arranjos de amostra. No formato RBG ou espaço de cor, uma imagem inclui arranjos de amostra vermelhos, verdes e azuis correspondentes. Entretanto, na codificação de vídeo, cada pixel é usualmente representado em um formato de luminância/crominância ou espaço de cor, por exemplo, uma imagem no formato YCbCr inclui um componente de luminância indicado por Y (às vezes, indicado por L) e dois componentes de crominância indicados por Cb e Cr. O componente de luminância (luma, abreviado) Y indica a luminância ou intensidade de nível de cinza (por exemplo, os dois são iguais em uma imagem de escala de cinza) e os dois componentes de crominância (croma, abreviado) Cb e Cr representam a crominância ou componentes de informações de cor. Consequentemente, a imagem no formato YCbCr inclui um arranjo de amostra de luminância dos valores de amostra de luminância (Y) e dois arranjos de amostra de crominância dos valores crominância (Cb e Cr). Uma imagem no formato RGB pode ser convertida ou transformada em uma imagem no formato YCbCr e vice-versa.
Este processo também é referido como transformada ou conversão de cor. Se uma imagem for monocromática, a imagem pode incluir apenas um arranjo de amostra de luminância.
[0047] A fonte de imagem 16 (por exemplo, uma fonte de vídeo 16) pode ser, por exemplo, uma câmera configurada para capturar uma imagem, por exemplo, uma memória, tal como uma memória de imagem, que inclui ou armazena uma imagem previamente capturada ou gerada e/ou qualquer tipo de interface (interna ou externa) para obter ou receber uma imagem. A câmera pode ser, por exemplo, uma câmera local ou uma câmera integrada, integrada no dispositivo de origem e a memória pode ser uma memória local ou uma memória integrada, integrada no dispositivo de origem. A interface pode ser, por exemplo, uma interface externa para receber uma imagem de uma fonte de vídeo externa.
A fonte de vídeo externa é, por exemplo, um dispositivo de captura de imagem externa, tal como uma câmera, uma memória externa ou um dispositivo de geração de imagem externo. O dispositivo de geração de imagem externo é, por exemplo, uma unidade de processamento de gráficos de computador externa, um computador ou um servidor. A interface pode ser qualquer tipo de interface, de acordo com qualquer protocolo de interface patenteado ou padronizado, por exemplo, uma interface com fio ou sem fio ou uma interface óptica. A interface para obter os dados de imagem 17 pode ser uma interface igual à interface de comunicações 22 ou pode ser uma parte da interface de comunicações 22.
[0048] Diferente da unidade de pré-processamento 18 e do processamento realizado pela unidade de pré-processamento 18, a imagem 17 ou os dados da imagem 17 (por exemplo, dados de vídeo 16) também podem ser referidos como uma imagem original 17 ou dados de imagem original 17.
[0049] A unidade de pré-processamento 18 é configurada para receber os dados de imagem (originais) 17 e realizar o pré-processamento nos dados da imagem 17, para obter uma imagem pré-processada 19 ou dados de imagem pré-processados 19. Por exemplo, o pré-processamento realizado pela unidade de pré-processamento 18 pode incluir corte, conversão de formato de cor (por exemplo, de RGB para YCbCr), correção de cor ou redução de ruído.
Pode ser entendido que a unidade de pré-processamento 18 pode ser um componente opcional.
[0050] O codificador 20 (por exemplo, o codificador de vídeo 20) é configurado para receber os dados de imagem pré-processados 19 e fornecer dados de imagem codificados 21 (os detalhes são descritos adicionalmente abaixo, por exemplo, com base na FIG. 2 ou FIG. 4). Em um exemplo, o codificador 20 pode ser configurado para realizar as seguintes modalidades de 1 a 5.
[0051] A interface de comunicações 22 do dispositivo de origem 12 pode ser configurada para receber os dados de imagem codificados 21 e transmitir os dados de imagem codificados 21 para outro dispositivo, por exemplo, o dispositivo de destino 14 ou qualquer outro dispositivo, para armazenamento ou reconstrução direta ou pode ser configurada para processar os dados de imagem codificados 21 antes de armazenar, correspondentemente, os dados codificados 13 e/ou transmitir os dados codificados 13 para outro dispositivo. O outro dispositivo é, por exemplo, o dispositivo de destino 14 ou qualquer outro dispositivo usado para decodificação ou armazenamento.
[0052] O dispositivo de destino 14 inclui o decodificador 30 (por exemplo, o decodificador de vídeo 30) e, adicional ou opcionalmente, pode incluir uma interface de comunicações ou unidade de comunicações 28, uma unidade de pós-processamento 32 e um dispositivo de exibição 34.
[0053] Por exemplo, a interface de comunicações 28 do dispositivo de destino 14 é configurada para receber diretamente os dados de imagem codificados 21 ou os dados codificados 13 do dispositivo de origem 12 ou qualquer outra fonte. Qualquer outra fonte é, por exemplo, um dispositivo de armazenamento e o dispositivo de armazenamento é, por exemplo, um dispositivo de armazenamento de dados de imagem codificados.
[0054] A interface de comunicações 22 e a interface de comunicações 28 podem ser configuradas para transmitir ou receber os dados de imagem codificados 21 ou os dados codificados 13 em um enlace de comunicações direto entre o dispositivo de origem 12 e o dispositivo de destino 14 ou em qualquer tipo de rede. O enlace de comunicações direto é, por exemplo, uma conexão direta com fio ou sem fio e qualquer tipo de rede é, por exemplo, uma rede com fio ou sem fio ou qualquer combinação das mesmas ou qualquer tipo de rede privada ou rede pública ou qualquer combinação das mesmas.
[0055] A interface de comunicações 22 pode ser, por exemplo, configurada para encapsular os dados de imagem codificados 21 em um formato apropriado, tal como um pacote para transmissão em um enlace de comunicações ou uma rede de comunicações.
[0056] A interface de comunicações 28 como uma parte correspondente da interface de comunicações 22 pode ser configurada para desencapsular os dados codificados 13 para obter os dados de imagem codificados 21 e semelhantes.
[0057] Tanto a interface de comunicações 22 quanto a interface de comunicações 28 podem ser configuradas como interfaces de comunicações unidirecionais, por exemplo, uma seta apontando do dispositivo de origem 12 para o dispositivo de destino 14 que são usados para os dados de imagem codificados 13 na FIG. 1A ou, podem ser configuradas como interfaces de comunicações bidirecionais e, podem ser, por exemplo, configuradas para enviar e receber uma mensagem para estabelecer uma conexão e confirmar e trocar quaisquer outras informações relacionadas a um enlace de comunicações e/ou transmissão de dados, tal como transmissão de dados de imagem codificados.
[0058] O decodificador 30 é configurado para receber os dados de imagem codificados 21 e fornecer dados de imagem decodificados 31 ou uma imagem decodificada 31 (os detalhes são descritos adicionalmente abaixo, por exemplo, com base na FIG. 3 ou FIG. 5). Em um exemplo, o decodificador 30 pode ser configurado para realizar as seguintes modalidades de 1 a 7.
[0059] A unidade de pós-processamento 32 do dispositivo de destino 14 é configurada para pós-processar os dados de imagem decodificados 31 (também referidos como dados de imagem reconstruídos), tais como a imagem decodificada 31, para obter os dados de imagem pós-processados 33, tais como uma imagem pós-processada 33. O pós-processamento realizado pela unidade de pós-processamento 32 pode incluir, por exemplo, conversão de formato de cor (por exemplo, de YCbCr para RGB), correção de cor, corte, reamostragem ou qualquer outro processamento para preparar os dados de imagem decodificados 31 para exibição pelo dispositivo de exibição 34.
[0060] O dispositivo de exibição 34 do dispositivo de destino 14 é configurado para receber os dados de imagem pós-processados 33 para exibir a imagem para um usuário, um visualizador ou semelhantes. O dispositivo de exibição 34 pode ser ou pode incluir qualquer tipo de visor configurado para apresentar uma imagem reconstruída, por exemplo, um visor ou monitor integrada ou externa. Por exemplo, o visor pode incluir um visor de cristal líquido (liquid crystal display, LCD), um visor de diodo orgânico emissor de luz (organic light emitting diode, OLED), um visor de plasma, um projetor, um visor de micro LED, um visor de cristal líquido em silício (liquid crystal on silicon, LCoS), um processador de luz digital (digital light processor, DLP) ou qualquer outro tipo de visor.
[0061] Embora a FIG. 1A represente o dispositivo de origem 12 e o dispositivo de destino 14 como dispositivos separados, as modalidades do dispositivo também podem incluir tanto o dispositivo de origem 12 quanto o dispositivo de destino 14 ou tanto uma função do dispositivo de origem 12 quanto uma função do dispositivo de destino 14, isto é, o dispositivo de origem 12 ou a função correspondente e o dispositivo de destino 14 ou a função correspondente.
Em tais modalidades, o dispositivo de origem 12 ou a função correspondente e o dispositivo de destino 14 ou a função correspondente podem ser implementados por meio do uso do mesmo hardware e/ou software, hardware e/ou software separado ou qualquer combinação dos mesmos.
[0062] Com base nas descrições, um técnico no assunto compreende facilmente que a existência e a divisão (exata) de funções das diferentes unidades ou funções/uma função do dispositivo de origem 12 e/ou do dispositivo de destino 14 mostradas na FIG. 1A podem variar com um dispositivo e aplicação reais.
[0063] O codificador 20 (por exemplo, o codificador de vídeo 20) e o decodificador 30 (por exemplo, o decodificador de vídeo 30), cada um, podem ser implementados como qualquer um entre vários circuitos apropriados, por exemplo, um ou mais microprocessadores, um processador de sinal digital (digital signal processor, DSP), um circuito integrado de aplicação específica (application specific integrated circuit, ASIC), um arranjo de portas programáveis em campo (field-programmable gate array, FPGA), lógica discreta, hardware ou qualquer combinação dos mesmos. Se a tecnologia for parcialmente implementada no software, o dispositivo pode armazenar instruções de software em uma mídia de armazenamento legível por computador não transitória apropriada e pode executar as instruções em hardware por meio do uso de um ou mais processadores para realizar as tecnologias nesta revelação. Qualquer um entre o conteúdo anterior (incluindo hardware, software, uma combinação de hardware e software e semelhantes) pode ser considerado um ou mais processadores. O codificador de vídeo 20 e o decodificador de vídeo 30, cada um, podem ser incluídos em um ou mais codificadores ou decodificadores e qualquer um dos codificadores ou dos decodificadores podem ser integrados como uma parte de um codificador/decodificador combinado (um codec) em um dispositivo correspondente.
[0064] O dispositivo de origem 12 pode ser referido como um dispositivo de codificação de vídeo ou um aparelho de codificação de vídeo. O dispositivo de destino 14 pode ser referido como um dispositivo de decodificação de vídeo ou um aparelho de decodificação de vídeo. O dispositivo de origem 12 e o dispositivo de destino 14, cada um, podem ser um exemplo de um dispositivo de codificação de vídeo ou um aparelho de decodificação de vídeo.
[0065] O dispositivo de origem 12 e o dispositivo de destino 14, cada um, podem incluir qualquer um entre vários dispositivos, incluindo qualquer tipo de dispositivo portátil ou estacionário, por exemplo, um computador notebook ou laptop, um telefone móvel, um smartphone, um tablet ou um computador tablet, uma câmera de vídeo, um computador desktop, um set top box, uma televisão, um dispositivo de exibição, um reprodutor de mídia digital, um console de videogame, um dispositivo de transmissão de transmissão de vídeo (tal como um servidor de serviço de conteúdo ou um servidor de liberação de conteúdo), um dispositivo receptor de broadcast ou um dispositivo transmissor de broadcast e pode utilizar ou não qualquer tipo de sistema operacional.
[0066] Em alguns casos, o dispositivo de origem 12 e o dispositivo de destino 14 podem ser equipados para comunicação sem fio. Portanto, o dispositivo de origem 12 e o dispositivo de destino 14 podem ser dispositivos de comunicações sem fio.
[0067] Em alguns casos, o sistema de codificação de vídeo 10 mostrado na FIG. 1A é meramente um exemplo e as tecnologias neste pedido podem ser aplicadas a uma configuração de codificação de vídeo (por exemplo, codificação de vídeo ou decodificação de vídeo) que não precisa incluir qualquer comunicação de dados entre um dispositivo de codificação e um dispositivo de decodificação. Em outros exemplos, os dados podem ser recuperados a partir de uma memória local, transmitidos por uma rede ou semelhantes. Um dispositivo de codificação de vídeo pode codificar dados e armazenar os dados em uma memória e/ou um dispositivo de decodificação de vídeo pode recuperar os dados da memória e decodificar os dados. Em alguns exemplos, a codificação e decodificação são realizadas pelos dispositivos que não se comunicam, mas apenas codificam dados para uma memória e/ou recuperam os dados da memória e decodificam os dados.
[0068] Deve ser entendido que, para cada um dos exemplos anteriores descritos com referência ao codificador de vídeo 20, o decodificador de vídeo 30 pode ser configurado para realizar um processo inverso. Para um elemento de sintaxe de sinalização, o decodificador de vídeo 30 pode ser configurado para receber e analisar o elemento de sintaxe e decodificar os dados de vídeo relacionados, consequentemente. Em alguns exemplos, o codificador de vídeo 20 pode codificar com entropia um elemento de sintaxe em um fluxo de bits de vídeo codificado. Em tais exemplos, o decodificador de vídeo 30 pode analisar o elemento de sintaxe e decodificar os dados de vídeo relacionados, consequentemente.
[0069] A FIG. 1B é um diagrama que ilustra um exemplo de um sistema de codificação de vídeo 40, incluindo o codificador 20 na FIG. 2 e/ou o decodificador 30 na FIG. 3, de acordo com uma modalidade de exemplo. O sistema 40 pode implementar uma combinação de várias tecnologias deste pedido. Na implementação ilustrada, o sistema de codificação de vídeo 40 pode incluir um dispositivo de geração de imagem 41, o codificador de vídeo 20, o decodificador de vídeo 30 (e/ou um decodificador de vídeo implementado por um circuito lógico 47 de uma unidade de processamento 46), uma antena 42, um ou mais processadores 43, uma ou mais memórias 44 e/ou um dispositivo de exibição 45.
[0070] Como mostrado na figura, o dispositivo de geração de imagem 41, a antena 42, a unidade de processamento 46, o circuito lógico 47, o codificador de vídeo 20, o decodificador de vídeo 30, o processador 43, a memória 44 e/ou o dispositivo de exibição 45 podem se comunicar. Como descrito, embora o sistema de codificação de vídeo 40 seja ilustrado tanto com o codificador de vídeo 20 quanto com o decodificador de vídeo 30, em diferentes exemplos, o sistema de codificação de vídeo 40 pode incluir apenas o codificador de vídeo 20 ou apenas o decodificador de vídeo 30.
[0071] Em alguns exemplos, como mostrado na figura, o sistema de codificação de vídeo 40 pode incluir a antena 42. Por exemplo, a antena 42 pode ser configurada para transmitir ou receber um fluxo de bits codificado de dados de vídeo. Além disso, em alguns exemplos, o sistema de codificação de vídeo 40 pode incluir o dispositivo de exibição 45. O dispositivo de exibição 45 pode ser configurado para apresentar os dados de vídeo. Em alguns exemplos, como mostrado na figura, o circuito lógico 47 pode ser implementado pela unidade de processamento 46. A unidade de processamento 46 pode incluir lógica de circuito integrado de aplicação específica (application specific integrated circuit), uma unidade de processamento gráfico, um processador de uso geral ou semelhantes. O sistema de codificação de vídeo 40 também pode incluir o processador opcional 43. O processador opcional 43 pode incluir similarmente lógica de circuito integrado de aplicação específica (application specific integrated circuit, ASIC), uma unidade de processamento gráfico, um processador de uso geral ou semelhantes. Em alguns exemplos, o circuito lógico 47 pode ser implementado por hardware, tal como hardware dedicado de codificação de vídeo e o processador 43 pode ser implementado por software universal, um sistema operacional ou semelhantes. Além disso, a memória 44 pode ser qualquer tipo de memória, por exemplo, uma memória volátil (por exemplo, uma memória de acesso aleatório estática (Static Random Access Memory, SRAM) ou uma memória de acesso aleatório dinâmica (Dinamic Random Access Memory, DRAM)) ou uma memória não volátil (por exemplo, uma memória flash). Em um exemplo não limitativo, a memória 44 pode ser implementada por uma memória cache. Em alguns exemplos, o circuito lógico 47 pode acessar a memória 44 (por exemplo, para implementar um buffer de imagem). Em outros exemplos, o circuito lógico 47 e/ou a unidade de processamento 46 pode incluir uma memória (por exemplo, um cache) para implementar um buffer de imagem ou semelhantes.
[0072] Em alguns exemplos, o codificador de vídeo 20 implementado pelo circuito lógico pode incluir um buffer de imagem (por exemplo, implementado pela unidade de processamento 46 ou pela memória 44) e uma unidade de processamento gráfico (por exemplo, implementada pela unidade de processamento 46). A unidade de processamento gráfico pode ser acoplada comunicativamente ao buffer de imagem. A unidade de processamento gráfico pode incluir o codificador de vídeo 20 implementado pelo circuito lógico 47, para implementar vários módulos que são descritos com referência à FIG. 2 e/ou qualquer outro sistema do codificador ou sub-sistema descrito neste relatório descritivo. O circuito lógico pode ser configurado para realizar várias operações descritas neste relatório descritivo.
[0073] O decodificador de vídeo 30 pode ser similarmente implementado pelo circuito lógico 47, para implementar vários módulos que são descritos com referência ao decodificador 30 na FIG. 3 e/ou qualquer outro sistema do decodificador ou sub-sistema descrito neste relatório descritivo. Em alguns exemplos, o decodificador de vídeo 30 implementado pelo circuito lógico pode incluir um buffer de imagem (implementado pela unidade de processamento 46 ou pela memória 44) e uma unidade de processamento gráfico (por exemplo, implementada pela unidade de processamento 46). A unidade de processamento gráfico pode ser acoplada comunicativamente ao buffer de imagem. A unidade de processamento gráfico pode incluir o decodificador de vídeo 30 implementado pelo circuito lógico 47, para implementar vários módulos que são descritos com referência à FIG. 3 e/ou qualquer outro sistema do decodificador ou sub-sistema descrito neste relatório descritivo.
[0074] Em alguns exemplos, a antena 42 do sistema de codificação de vídeo 40 pode ser configurada para receber um fluxo de bits codificado de dados de vídeo. Como descrito, o fluxo de bits codificado pode incluir dados, um indicador, um valor de índice, dados de seleção de modo ou semelhantes, que estão relacionados à codificação de quadro de vídeo descrita neste relatório descritivo, por exemplo, dados relacionados ao particionamento de codificação (por exemplo, um coeficiente de transformada ou um coeficiente de transformada quantizado, um indicador opcional (como descrito) e/ou dados que definem o particionamento de codificação). O sistema de codificação de vídeo 40 pode incluir adicionalmente o decodificador de vídeo 30 que é acoplado à antena 42 e que é configurado para decodificar o fluxo de bits codificado. O dispositivo de exibição 45 é configurado para apresentar um quadro de vídeo.
[0075] Codificador e Método de Codificação
[0076] A FIG. 2 é um diagrama de bloco esquemático/conceitual de um exemplo de um codificador de vídeo 20 configurado para implementar as tecnologias neste pedido (revelação). No exemplo na FIG. 2, o codificador de vídeo 20 inclui uma unidade de cálculo residual 204, uma unidade de processamento de transformada 206, uma unidade de quantização 208, uma unidade de quantização inversa 210, uma unidade de processamento de transformada inversa 212, uma unidade de reconstrução 214, um buffer 216, uma unidade de filtro Loop 220, um buffer de imagem decodificada (decoded picture buffer, DPB) 230, uma unidade de processamento de predição 260 e uma unidade de codificação de entropia 270. A unidade de processamento de predição 260 pode incluir uma unidade de predição inter 244, uma unidade de predição intra 254 e uma unidade de seleção de modo 262. A unidade de predição inter 244 pode incluir uma unidade de estimativa de movimento e uma unidade de compensação de movimento (não mostradas na figura). O codificador de vídeo 20 mostrado na FIG. 2 também pode ser referido como um codificador de vídeo híbrido ou um codificador de vídeo com base no codec de vídeo híbrido.
[0077] Por exemplo, a unidade de cálculo residual 204, a unidade de processamento de transformada 206, a unidade de quantização 208, a unidade de processamento de predição 260 e a unidade de codificação de entropia 270 formam uma trajetória de sinal direto do codificador 20 e a unidade de quantização inversa 210, a unidade de processamento de transformada inversa 212, a unidade de reconstrução 214, o buffer 216, a unidade de filtro Loop 220, o buffer de imagem decodificada (decoded picture buffer, DPB) 230, a unidade de processamento de predição 260 e semelhantes formam uma trajetória de sinal indireto do codificador. A trajetória de sinal indireto do codificador corresponde a uma trajetória de sinal de um decodificador (referindo-se a um decodificador 30 na FIG. 3).
[0078] O codificador 20 recebe uma imagem 201 ou um bloco 203 da imagem 201 por meio do uso de uma entrada 202 ou semelhantes, por exemplo, uma imagem em uma sequência de imagens que formam um vídeo ou uma sequência de vídeos. O bloco de imagem 203 também pode ser referido como um bloco de imagem atual ou um bloco de imagem a ser codificado e a imagem 201 pode ser referida como uma imagem atual ou uma imagem a ser codificada
(especialmente quando a imagem atual é distinguida de outra imagem na codificação de vídeo, outras imagens, por exemplo, em uma mesma sequência de vídeos, também incluem imagens previamente codificadas e/ou decodificadas na sequência de vídeos da imagem atual).
[0079] Particionamento
[0080] A modalidade do codificador 20 pode incluir uma unidade de particionamento (não mostrada na FIG. 2), configurada para particionar a imagem 201 em uma pluralidade de blocos não sobrepostos, tais como blocos
203. A unidade de particionamento pode ser configurada para utilizar um mesmo tamanho de bloco para todas as imagens na sequência de vídeos e um mapa de bits correspondente que define o tamanho de bloco ou pode ser configurada para: mudar um tamanho de bloco entre imagens, subconjuntos ou grupos de imagem e particionar cada imagem em blocos correspondentes.
[0081] Em um exemplo, a unidade de processamento de predição 260 do codificador de vídeo 20 pode ser configurada para realizar qualquer combinação das tecnologias de particionamento anteriores.
[0082] Por exemplo, na imagem 201, o bloco 203 também é ou também pode ser considerado um arranjo bidimensional ou matriz de amostras com valores de luma (valores de amostra), embora um tamanho do bloco 203 seja menor do que o da imagem 201. Em outras palavras, o bloco 203 pode incluir, por exemplo, um arranjo de amostra (por exemplo, um arranjo de luminância em um caso de uma imagem monocromática 201), três arranjos de amostra (por exemplo, um arranjo de luminância e dois arranjos de crominância em um caso de uma imagem colorida) ou qualquer outra quantidade e/ou tipo de arranjos com base em um formato de cor usado. Uma quantidade de amostras nas direções horizontal e vertical (ou eixos) do bloco 203 define o tamanho do bloco 203.
[0083] O codificador 20 mostrado na FIG. 2 é configurado para codificar a imagem 201, bloco por bloco, por exemplo, realizar a codificação e predição em cada bloco 203.
[0084] Cálculo residual
[0085] A unidade de cálculo residual 204 é configurada para calcular um bloco residual 205 com base no bloco de imagem 203 e em um bloco de predição 265 (os detalhes adicionais sobre o bloco de predição 265 são fornecidos abaixo), por exemplo, obter o bloco residual 205 no domínio de amostra subtraindo um valor de amostra do bloco de predição 265 de um valor de amostra do bloco de imagem 203, amostra por amostra (pixel por pixel).
[0086] Transformada
[0087] A unidade de processamento de transformada 206 é configurada para aplicar a transformada, tal como transformada de cosseno discreta (discrete cosine transform, DCT) ou transformada de seno discreta (discrete sine transform, DST) a um valor de amostra do bloco residual 205, para obter um coeficiente de transformada 207 no domínio de transformada. O coeficiente de transformada 207 também pode ser referido como um coeficiente de transformada residual e indica o bloco residual 205 no domínio de transformada.
[0088] A unidade de processamento de transformada 206 pode ser configurada para aplicar aproximação inteira de DCT/DST, por exemplo, transformada especificada em HEVC/H.265. Esta aproximação inteira é usualmente dimensionada de forma proporcional por um fator em comparação à transformada DCT ortogonal. Para manter a norma de um bloco residual obtido através de transformada direta e transformada inversa, um fator de escala adicional é aplicado a uma parte do processo de transformada. O fator de escala é usualmente selecionado com base em algumas condições de restrição, por exemplo, é uma potência de 2, uma profundidade de bits de um coeficiente de transformada ou compensação entre precisão e custos de implementação que são usados para uma operação de deslocamento. Por exemplo, um fator de escala específico é especificado para transformada inversa em um lado do decodificador 30 por meio do uso da unidade de processamento de transformada inversa 212 (e, correspondentemente, para transformada inversa em um lado do codificador 20 por meio do uso da unidade de processamento de transformada inversa 212 ou semelhantes) e, correspondentemente, um fator de escala correspondente pode ser especificado para transformada direta em um lado do codificador 20 por meio do uso da unidade de processamento de transformada
206.
[0089] Quantização
[0090] A unidade de quantização 208 é configurada para quantizar o coeficiente de transformada 207 aplicando a quantização de escala, quantização de vetor ou semelhantes, para obter um coeficiente de transformada quantizado
209. O coeficiente de transformada quantizado 209 também pode ser referido como um coeficiente residual quantizado 209. O processo de quantização pode reduzir uma profundidade de bits relacionada a alguns ou todos os coeficientes de transformada 207. Por exemplo, um coeficiente de transformada de n bits pode ser arredondado para baixo para um coeficiente de transformada de m bits durante a quantização, onde n é maior do que m. Um grau de quantização pode ser modificado ajustando um parâmetro de quantização (quantization parameter, QP). Por exemplo, para a quantização de escala, diferentes escalas podem ser aplicadas para obter a quantização mais fina ou mais grosseira. Uma menor etapa de quantização corresponde à quantização mais fina e uma maior etapa de quantização corresponde à quantização mais grosseira. Uma etapa de quantização apropriada pode ser indicada por meio do uso de um parâmetro de quantização (quantization parameter, QP). Por exemplo, o parâmetro de quantização pode ser um índice de um conjunto pré-definido de etapas de quantização apropriadas. Por exemplo, um menor parâmetro de quantização pode corresponder à quantização mais fina (uma menor etapa de quantização) e um maior parâmetro de quantização pode corresponder à quantização mais grosseira (uma maior etapa de quantização) e vice-versa. A quantização pode incluir a divisão por uma etapa de quantização e quantização correspondente ou quantização inversa realizada pela unidade de quantização inversa 210 ou semelhantes ou pode incluir multiplicação por uma etapa de quantização. Nas modalidades, de acordo com alguns padrões, tais como HEVC, um parâmetro de quantização pode ser usado para determinar uma etapa de quantização.
Geralmente, a etapa de quantização pode ser calculada com base no parâmetro de quantização através da aproximação de ponto fixa de uma equação, incluindo divisão. Os fatores de escala adicionais podem ser introduzidos para quantização e quantização inversa, para armazenar novamente a norma que é de um bloco residual e que pode ser modificada por causa de uma escala usada na aproximação de ponto fixo da equação usada para a etapa de quantização e o parâmetro de quantização. Em uma implementação de exemplo, uma escala da transformada inversa pode ser combinada com uma escala de quantização inversa. Alternativamente, uma tabela de quantização personalizada pode ser usada e sinalizada a partir de um codificador para um decodificador, por exemplo, em um fluxo de bits. A quantização é uma operação com perdas e uma maior etapa de quantização indica uma perda maior.
[0091] A unidade de quantização inversa 210 é configurada para aplicar a quantização inversa da unidade de quantização 208 a um coeficiente quantizado para obter um coeficiente quantizado inverso 211, por exemplo, aplicar, com base ou por meio do uso de uma mesma etapa de quantização que a unidade de quantização 208, um esquema de quantização inversa do esquema de quantização aplicado pela unidade de quantização 208. O coeficiente quantizado inverso 211 também pode ser referido como um coeficiente residual quantizado inverso 211 e corresponde ao coeficiente de transformada 207,
embora uma perda causada pela quantização seja usualmente diferente do coeficiente de transformada.
[0092] A unidade de processamento de transformada inversa 212 é configurada para aplicar a transformada inversa da transformada aplicada pela unidade de processamento de transformada 206, por exemplo, transformada de cosseno discreta inversa (discrete cosine transform, DCT) ou transformada de seno discreta inversa (discrete sine transform, DST), para obter um bloco de transformada inversa 213 no domínio de amostra. O bloco de transformada inversa 213 também pode ser referido como um bloco inverso quantizado de transformada inversa 213 ou um bloco de transformada inversa residual 213.
[0093] A unidade de reconstrução 214 (por exemplo, um somador 214) é configurada para adicionar o bloco de transformada inversa 213 (isto é, um bloco residual reconstruído 213) ao bloco de predição 265 para obter um bloco reconstruído 215 no domínio de amostra, por exemplo, pela adição de um valor de amostra do bloco residual reconstruído 213 e um valor de amostra do bloco de predição 265.
[0094] Opcionalmente, a unidade de buffer 216 (ou o “buffer” 216, abreviado), tal como um buffer de linha 216 é configurado para o buffer ou armazena o bloco reconstruído 215 e um valor de amostra correspondente para predição intra e semelhantes. Em outras modalidades, um codificador pode ser configurado para utilizar um bloco reconstruído não filtrado e/ou um valor de amostra correspondente que é armazenado na unidade de buffer 216 para qualquer tipo de estimativa e/ou predição, tal como predição intra.
[0095] Por exemplo, a modalidade do codificador 20 pode ser configurada, de modo que a unidade de buffer 216 não seja apenas configurada para armazenar o bloco reconstruído 215 para predição intra, mas também configurada para armazenar o bloco filtrado 221 da unidade de filtro Loop 220 (não mostrada na FIG. 2) e/ou a unidade de buffer 216 e a unidade de buffer de imagem decodificada 230 formam um buffer. Outras modalidades podem ser usadas para utilizar um bloco filtrado 221 e/ou um bloco ou uma amostra do buffer de imagem decodificada 230 (não mostrado na FIG. 2) como uma entrada ou uma base para predição intra 254.
[0096] A unidade de filtro Loop 220 (ou o “filtro Loop” 220, abreviado) é configurada para realizar a filtragem no bloco reconstruído 215 para obter o bloco filtrado 221, de modo a realizar suavemente a transformada de pixel ou melhorar a qualidade de vídeo. A unidade de filtro Loop 220 se destina a representar um ou mais filtros Loop, por exemplo, um filtro de desbloqueio, um filtro de deslocamento adaptativo da amostra (sample-adaptive offset, SAO) ou outro filtro, tal como um filtro bilateral, um filtro Loop adaptativo (adaptive loop filter, ALF), um filtro de nitidez ou suavização ou um filtro cooperativo. Embora a unidade de filtro Loop 220 seja mostrada na FIG. 2 como um filtro no loop, a unidade de filtro Loop 220 pode ser implementada como um filtro pós-loop em outras configurações. O bloco filtrado 221 também pode ser referido como um bloco filtrado reconstruído 221. O buffer de imagem decodificada 230 pode armazenar o bloco de codificação reconstruído depois que a unidade de filtro Loop 220 realiza uma operação de filtragem no bloco de codificação reconstruído.
[0097] A modalidade do codificador 20 (correspondentemente, a unidade de filtro Loop 220) pode ser usada para emitir um parâmetro de filtro Loop (por exemplo, informações de deslocamento adaptativo da amostra), por exemplo, enviar diretamente um parâmetro de filtro Loop ou enviar um parâmetro de filtro Loop depois que a unidade de codificação de entropia 270 ou qualquer outra unidade de codificação de entropia realiza a codificação de entropia, de modo que o decodificador 30 possa receber e aplicar um mesmo parâmetro de filtro Loop para decodificação e semelhantes.
[0098] O buffer de imagem decodificada (decoded picture buffer,
DPB) 230 pode ser uma memória de imagem de referência que armazena dados de imagem de referência para o codificador de vídeo 20 para codificar os dados de vídeo. O DPB 230 pode ser qualquer uma de uma pluralidade de memórias, por exemplo, uma memória de acesso aleatório dinâmica (dinamic random access memory, DRAM) (incluindo uma DRAM síncrona (synchronous DRAM, SDRAM), uma RAM magneto resistiva (magnetoresistive RAM, MRAM) ou, uma RAM resistiva (resistive RAM, RRAM)) ou outro tipo de memória. O DPB 230 e o buffer 216 podem ser fornecidos por uma mesma memória ou memórias separadas. Em um exemplo, o buffer de imagem decodificada (decoded picture buffer, DPB) 230 é configurado para armazenar o bloco filtrado 221. O buffer de imagem decodificada 230 pode ser adicionalmente configurado para armazenar outros bloco filtrados anteriores, tais como blocos anteriormente reconstruídos e filtrados 221 de uma mesma imagem atual ou diferentes imagens, tais como imagens anteriormente reconstruídas, e pode fornecer uma imagem completa anteriormente reconstruída, isto é, decodificada (e um bloco de referência correspondente e uma amostra correspondente) e/ou uma imagem atual parcialmente reconstruída (e um bloco de referência correspondente e uma amostra correspondente) para predição inter e semelhantes. Em um exemplo, se o bloco reconstruído 215 for reconstruído sem a filtragem no loop, o buffer de imagem decodificada (decoded picture buffer, DPB) 230 é configurado para armazenar o bloco reconstruído 215.
[0099] A unidade de processamento de predição 260 também é referida como uma unidade de processamento de predição do bloco 260 e é configurada para: receber ou obter o bloco 203 (o bloco atual 203 da imagem atual 201) e dados de imagem reconstruídos, por exemplo, uma amostra de referência de uma mesma imagem (atual) no buffer 216 e/ou dados de imagem de referência 231 de uma ou mais imagens anteriormente decodificadas no buffer de imagem decodificada 230 e processar tais dados para predição, isto é,
fornecer um bloco de predição 265 que pode ser um bloco de predição inter 245 ou um bloco de predição intra 255.
[0100] A unidade de seleção de modo 262 pode ser configurada para selecionar um modo de predição (por exemplo, um modo de predição intra ou inter) e/ou um bloco de predição correspondente 245 ou 255 como o bloco de predição 265, para calcular o bloco residual 205 e reconstruir o bloco reconstruído 215.
[0101] A modalidade da unidade de seleção de modo 262 pode ser usada para selecionar um modo de predição (por exemplo, a partir dos modos de predição suportados pela unidade de processamento de predição 260). O modo de predição fornece uma melhor correspondência ou um residual mínimo (o residual mínimo significa melhor compressão na transmissão ou armazenamento) ou, fornece sobrecargas de sinalização mínimas (as sobrecargas de sinalização mínimas significam melhor compressão na transmissão ou armazenamento) ou considera ou equilibra ambas. A unidade de seleção de modo 262 pode ser configurada para determinar um modo de predição com base na otimização de distorção de taxa (rate distortion optimization, RDO), isto é, selecionar um modo de predição que fornece otimização de distorção de taxa mínima ou selecionar um modo de predição em que a distorção de taxa relacionada atenda pelo menos a um critério de seleção de modo de predição.
[0102] O processamento de predição (por exemplo, por meio do uso da unidade de processamento de predição 260) e a seleção de modo (por exemplo, por meio do uso da unidade de seleção de modo 262) realizados por um exemplo do codificador 20 são descritos em detalhes abaixo.
[0103] Como descrito acima, o codificador 20 é configurado para determinar ou selecionar um modo de predição melhor ou ideal de um conjunto de modos de predição (pré-determinado). Os conjuntos de modos de predição podem incluir, por exemplo, um modo de predição intra e/ou um modo de predição inter.
[0104] Um conjunto de modos de predição intra pode incluir 35 diferentes modos de predição intra ou, pode incluir 67 diferentes modos de predição intra ou pode incluir modos de predição intra definidos em H.266 em desenvolvimento.
[0105] Um conjunto de modos de predição inter depende de uma imagem de referência disponível (por exemplo, pelo menos uma parte da imagem decodificada armazenada no DBP 230) e outros parâmetros de predição inter, por exemplo, dependem de, se toda a imagem de referência for usada ou apenas uma parte da imagem de referência for usada, por exemplo, uma região de janela de pesquisa em torno de uma região de um bloco atual é pesquisada para um bloco de referência mais adequado e/ou depende de, se a interpolação de pixel, tal como interpolação de meio pixel e/ou um quarto de pixel, é aplicada.
[0106] Além dos modos de predição anteriores, um modo de salto e/ou um modo direto também podem ser aplicados.
[0107] A unidade de processamento de predição 260 pode ser configurada adicionalmente para: particionar o bloco 203 em menores partições de bloco ou sub-blocos, por exemplo, usando iterativamente o particionamento de quadtree (quad-tree, QT), particionamento de árvore binária (binary-tree, BT), particionamento de árvore tripla (triple-tree, TT) ou qualquer combinação dos mesmos e realizar predição e semelhantes em cada uma das partições de bloco ou de sub-blocos. A seleção de modo inclui selecionar uma estrutura de árvore do bloco particionado 203 e selecionar um modo de predição aplicado a cada uma das partições de bloco ou de sub-blocos.
[0108] A unidade de predição inter 244 pode incluir uma unidade de estimativa de movimento (motion estimation, ME) (não mostrada na FIG. 2) e uma unidade de compensação de movimento (motion compensation, MC) (não mostrada na FIG. 2). A unidade de estimativa de movimento é configurada para receber ou obter o bloco de imagem 203 (o bloco de imagem atual 203 da imagem atual 201) e a imagem decodificada 31, ou pelo menos um ou mais blocos anteriormente reconstruídos, por exemplo, um ou mais outros blocos reconstruídos diferentes da imagem anteriormente decodificada 231, para realizar a estimativa de movimento. Por exemplo, uma sequência de vídeos pode incluir a imagem atual e a imagem anteriormente decodificada 31. Em outras palavras, a imagem atual e a imagem anteriormente decodificada 31 podem ser uma parte de uma sequência de imagens que formam a sequência de vídeos ou formam a sequência de imagens.
[0109] Por exemplo, o codificador 20 pode ser configurado para: selecionar um bloco de referência de uma pluralidade de blocos de referência de uma mesma imagem ou diferentes imagens em uma pluralidade de outras imagens e fornecer uma imagem de referência (ou um índice de imagem de referência) e/ou um deslocamento (um deslocamento espacial) entre uma localização (coordenadas X-Y) do bloco de referência e uma localização do bloco atual como um parâmetro de predição inter para a unidade de estimativa de movimento (não mostrada na FIG. 2). Este deslocamento também é referido como um vetor de movimento (motion vector, MV).
[0110] A unidade de compensação de movimento é configurada para: obter, por exemplo, receber um parâmetro de predição inter e realizar predição inter com base ou por meio do uso do parâmetro de predição inter para obter o bloco de predição inter 245. A compensação de movimento realizada pela unidade de compensação de movimento (não mostrada na FIG. 2) pode incluir buscar ou gerar o bloco de predição com base em um vetor/bloco de movimento determinado através da estimativa de movimento (que realiza possivelmente a interpolação na precisão de sub-pixel). Durante a filtragem de interpolação, uma amostra adicional pode ser gerada a partir de amostras conhecidas, aumentando potencialmente, desse modo, uma quantidade de blocos de predição candidatos que pode ser usada para codificar um bloco de imagem. Uma vez que um vetor de movimento usado para uma PU de um bloco de imagem atual é recebido, a unidade de compensação de movimento 246 pode localizar um bloco de predição para o qual o vetor de movimento aponta em uma lista de imagens de referência. A unidade de compensação de movimento 246 pode gerar adicionalmente um elemento de sintaxe associado a um bloco e uma fatia de vídeo, de modo que o decodificador de vídeo 30 utilize o elemento de sintaxe ao decodificar um bloco de imagem da fatia de vídeo.
[0111] A predição inter é uma tecnologia de predição com base na compensação de movimento (motion compensation) e é processada, principalmente, como determinação de informações de movimento de um bloco atual, obtendo um bloco de imagem de referência de um quadro de referência com base nas informações de movimento e gerando uma imagem de predição do bloco atual. As informações de movimento incluem uma direção de predição inter, um índice de quadro de referência (reference index, ref_idx), um vetor de movimento (motion vector, MV) e semelhantes. Durante a predição inter, a direção de predição inter é usada para indicar uma direção de predição na predição direta, predição indireta ou predição bidirecional que é usada para o bloco atual, o índice de quadro de referência (reference index) é usado para indicar um quadro de referência (reference frame) e o vetor de movimento é usado para indicar um deslocamento de localização de um bloco de referência (reference block) de um bloco atual (current block) no quadro de referência em relação ao bloco atual no quadro atual. O vetor de movimento indica um vetor de deslocamento de um bloco de imagem de referência no quadro de referência que é usado para prever o bloco atual em relação ao bloco atual. Portanto, um vetor de movimento corresponde a um bloco de imagem de referência.
[0112] A unidade de predição intra 254 é configurada para obter, por exemplo, receber um bloco de imagem 203 (um bloco de imagem atual) da mesma imagem e um ou mais blocos anteriormente reconstruídos, tais como blocos vizinhos reconstruídos, para realizar a estimativa intra. Por exemplo, o codificador 20 pode ser configurado para selecionar um modo de predição intra de uma pluralidade de modos de predição intra.
[0113] A modalidade do codificador 20 pode ser configurada para selecionar um modo de predição intra com base em um critério de otimização, por exemplo, com base em um residual mínimo (por exemplo, um modo de predição intra fornecendo o bloco de predição 255 que é mais semelhante ao bloco de imagem atual 203) ou distorção de taxa mínima.
[0114] A unidade de predição intra 254 é configurada adicionalmente para determinar o bloco de predição intra 255 com base em um parâmetro de predição intra do modo de predição intra selecionado. Em qualquer caso, depois de selecionar o modo de predição intra usado para um bloco, a unidade de predição intra 254 é configurada adicionalmente para fornecer o parâmetro de predição intra para a unidade de codificação de entropia 270, isto é, fornecer informações para indicar o modo de predição intra selecionado usado para um bloco. Em um exemplo, a unidade de predição intra 254 pode ser configurada para realizar qualquer combinação das seguintes tecnologias de predição intra.
[0115] A unidade de codificação de entropia 270 é configurada para aplicar um algoritmo ou esquema de codificação de entropia (por exemplo, um esquema de codificação de comprimento variável (variable length coding, VLC), um esquema adaptativo ao contexto VLC (context adaptive VLC, CAVLC), um esquema de codificação aritmética, um esquema de codificação aritmética binária adaptativo ao contexto (context adaptive binary arithmetic coding, CABAC), um esquema de codificação aritmética binária adaptativo ao contexto com base em sintaxe (syntax-based context-adaptive binary arithmetic coding, SBAC), um esquema de codificação de entropia de particionamento de intervalo de probabilidade (probability interval partitioning entropy, PIPE) ou outra método ou tecnologia de codificação de entropia) a um ou mais (ou nenhum) entre o coeficiente residual quantizado 209, o parâmetro de predição inter, o parâmetro de predição intra e/ou o parâmetro de filtro Loop, para obter os dados de imagem codificados 21 que podem ser emitidos por meio do uso de uma saída 272, por exemplo, em uma forma de um fluxo de bits codificado. O fluxo de bits codificado pode ser transmitido para o decodificador de vídeo 30 ou pode ser arquivado para transmissão ou recuperação subsequente pelo decodificador de vídeo 30.
A unidade de codificação de entropia 270 pode ser configurada adicionalmente para realizar a codificação de entropia em outro elemento de sintaxe da fatia de vídeo atual que está sendo codificada.
[0116] Outra variante estrutural do codificador de vídeo 20 pode ser configurada para codificar um fluxo de vídeo. Por exemplo, o codificador 20 não baseado em transformada pode quantizar diretamente um sinal residual sem a unidade de processamento de transformada 206 para alguns blocos ou quadros.
Em outra implementação, o codificador 20 pode ter a unidade de quantização 208 e a unidade de quantização inversa 210 que são combinadas em uma unidade.
[0117] A FIG. 3 mostra um exemplo de um decodificador de vídeo 30, configurado para implementar as tecnologias neste pedido. O decodificador de vídeo 30 é configurado para receber os dados de imagem codificados (por exemplo, um fluxo de bits codificado) 21 codificados pelo codificador 20 ou semelhantes, para obter uma imagem decodificada 231. Em um processo de decodificação, o decodificador de vídeo 30 recebe os dados de vídeo a partir do codificador de vídeo 20, por exemplo, um fluxo de bits de vídeo codificado que indica um bloco de imagem de uma fatia de vídeo codificada e um elemento de sintaxe associado.
[0118] No exemplo da FIG. 3, o decodificador 30 inclui uma unidade de decodificação de entropia 304, uma unidade de quantização inversa 310, uma unidade de processamento de transformada inversa 312, uma unidade de reconstrução 314 (por exemplo, um somador 314), um buffer 316, um filtro Loop 320, um buffer de imagem decodificada 330 e uma unidade de processamento de predição 360. A unidade de processamento de predição 360 pode incluir uma unidade de predição inter 344, uma unidade de predição intra 354 e uma unidade de seleção de modo 362. Em alguns exemplos, o decodificador de vídeo 30 pode realizar a travessia de decodificação geralmente inversa para a travessia de codificação descrita com referência ao codificador de vídeo 20 na FIG. 2.
[0119] A unidade de decodificação de entropia 304 é configurada para realizar a decodificação de entropia nos dados de imagem codificados 21, para obter um coeficiente quantizado 309, um parâmetro de codificação decodificado (não mostrado na FIG. 3) e/ou semelhantes, por exemplo, qualquer um ou todos entre um parâmetro de predição inter, um parâmetro de predição intra, um parâmetro de filtro Loop e/ou outro elemento de sintaxe (decodificado). A unidade de decodificação de entropia 304 é configurada adicionalmente para encaminhar o parâmetro de predição inter, o parâmetro de predição intra e/ou o outro elemento de sintaxe para a unidade de processamento de predição 360. O decodificador de vídeo 30 pode receber um elemento de sintaxe em um nível de fatia de vídeo e/ou um elemento de sintaxe em um nível de bloco de vídeo.
[0120] A unidade de quantização inversa 310 pode ter uma mesma função que a unidade de quantização inversa 110, a unidade de processamento de transformada inversa 312 pode ter uma mesma função que a unidade de processamento de transformada inversa 212, a unidade de reconstrução 314 pode ter uma mesma função que a unidade de reconstrução 214, o buffer 316 pode ter uma mesma função mesma que o buffer 216, o filtro Loop 320 pode ter uma mesma função que o filtro Loop 220 e o buffer de imagem decodificada 330 pode ter uma mesma função que o buffer de imagem decodificada 230.
[0121] A unidade de processamento de predição 360 pode incluir a unidade de predição inter 344 e a unidade de predição intra 354. A unidade de predição inter 344 pode ter uma função similar àquela da unidade de predição inter 244 e a unidade de predição intra 354 pode ter uma função similar àquela da unidade de predição intra 254. A unidade de processamento de predição 360 é usualmente configurada para realizar a predição de bloco e/ou obter um bloco de predição 365 a partir dos dados codificados 21 e receber ou obter (explícita ou implicitamente) um parâmetro e/ou informações relacionadas à predição sobre um modo de predição selecionado, por exemplo, a partir da unidade de decodificação de entropia 304.
[0122] Quando uma fatia de vídeo é codificada como uma fatia codificada de modo intra (I), a unidade de predição intra 354 da unidade de processamento de predição 360 é configurada para gerar o bloco de predição 365 usado para um bloco de imagem da fatia de vídeo atual com base em um modo de predição intra sinalizado e dados de um bloco anteriormente decodificado de um quadro ou imagem atual. Quando um quadro de vídeo é codificado como uma fatia codificada de modo inter (isto é, B ou P), a unidade de predição inter 344 (por exemplo, uma unidade de compensação de movimento) da unidade de processamento de predição 360 é configurada para gerar o bloco de predição 365 usado para um bloco de vídeo da fatia de vídeo atual com base em um vetor de movimento e outro elemento de sintaxe recebido a partir da unidade de decodificação de entropia 304. Para a predição inter, um bloco de predição pode ser gerado a partir de uma das imagens de referência em uma lista de imagens de referência. O decodificador de vídeo 30 pode construir a lista de quadros de referência: uma lista 0 e uma lista 1 por meio do uso de uma tecnologia de construção padrão com base em uma imagem de referência armazenada no DPB 330.
[0123] A unidade de processamento de predição 360 é configurada para: determinar informações de predição usadas para o bloco de vídeo da fatia de vídeo atual analisando o vetor de movimento e o outro elemento de sintaxe e utilizar as informações de predição para gerar o bloco de predição usado para o bloco de vídeo atual que está sendo decodificado. Por exemplo, a unidade de processamento de predição 360 determina, por meio do uso de alguns elementos de sintaxe recebidos, um modo de predição (por exemplo, intra ou predição inter) usado para codificar um bloco de vídeo de uma fatia de vídeo, um tipo de fatia de predição inter (por exemplo, uma fatia B, uma fatia P ou uma fatia GPB), informações de construção de uma ou mais das imagens em uma lista de imagens de referência usadas para uma fatia, um vetor de movimento de cada bloco de vídeo codificado de modo inter usado para uma fatia, um estado de predição inter de cada bloco de vídeo codificado de modo inter usado para uma fatia e outras informações, para decodificar o bloco de vídeo da fatia de vídeo atual.
[0124] A unidade de quantização inversa 310 pode ser configurada para realizar a quantização inversa (isto é, desquantização) em um coeficiente de transformada quantizado fornecido no fluxo de bits e codificado pela unidade de decodificação de entropia 304. O processo de quantização inversa pode incluir: utilizar um parâmetro de quantização calculado pelo codificador de vídeo 20 para cada bloco de vídeo na fatia de vídeo, para determinar um grau de quantização que deve ser aplicado e determinar um grau de quantização inversa que deve ser aplicado.
[0125] A unidade de processamento de transformada inversa 312 é configurada para aplicar a transformada inversa (por exemplo, DCT inversa, transformada inteira inversa ou um processo de transformada inversa conceitualmente similar) ao coeficiente de transformada, para gerar um bloco residual no domínio da amostra.
[0126] A unidade de reconstrução 314 (por exemplo, o somador 314)
é configurada para adicionar um bloco de transformada inversa 313 (isto é, um bloco residual reconstruído 313) ao bloco de predição 365, para obter um bloco reconstruído 315 no domínio da amostra, por exemplo, adicionando um valor de amostra do bloco residual reconstruído 313 a um valor de amostra do bloco de predição 365.
[0127] A unidade de filtro Loop 320 (em um loop de codificação ou depois de um loop de codificação) é configurada para filtrar o bloco reconstruído 315 para obter um bloco filtrado 321, de modo a realizar suavemente a transformada de pixel ou melhorar a qualidade de vídeo. Em um exemplo, a unidade de filtro Loop 320 pode ser configurada para realizar qualquer combinação das seguintes tecnologias de filtragem. A unidade de filtro Loop 320 é destinada a representar um ou mais filtros Loop, por exemplo, um filtro de desbloqueio, um filtro de deslocamento adaptativo da amostra (sample-adaptive offset, SAO) ou outro filtro, tal como um filtro bilateral, um filtro Loop adaptativo (adaptive loop filter, ALF), um filtro de nitidez ou suavização ou um filtro colaborativo. Embora a unidade de filtro Loop 320 seja mostrada na FIG. 3 como um filtro no loop, a unidade de filtro Loop 320 pode ser implementada como um filtro pós-loop em outras configurações.
[0128] O bloco filtrado 321 em um determinado quadro ou imagem é, em seguida, armazenado no buffer de imagem decodificada 330 que armazena uma imagem de referência usada para compensação de movimento subsequente.
[0129] O decodificador 30 é configurado para emitir a imagem decodificada 31 por meio do uso de uma saída 332 e semelhantes, para apresentar a imagem decodificada 31 para o usuário ou fornecer a imagem decodificada 31 para o usuário para visualização.
[0130] Outra variante do decodificador de vídeo 30 pode ser configurada para decodificar um fluxo de bits comprimido. Por exemplo, o decodificador 30 pode gerar um fluxo de vídeo de saída sem a unidade de filtro Loop 320. Por exemplo, o decodificador 30 não baseado em transformada pode desquantizar diretamente um sinal residual sem a unidade de processamento de transformada inversa 312 para alguns blocos ou quadros. Em outra implementação, o decodificador de vídeo 30 pode ter a unidade de quantização inversa 310 e a unidade de processamento de transformada inversa 312 que são combinadas em uma unidade.
[0131] A FIG. 4 é um diagrama estrutural esquemático de um dispositivo de codificação de vídeo 400 (por exemplo, um dispositivo de codificação de vídeo 400 ou um dispositivo de decodificação de vídeo 400), de acordo com uma modalidade da presente invenção. O dispositivo de codificação de vídeo 400 é adequado para implementar uma modalidade descrita neste relatório descritivo. Em uma modalidade, o dispositivo de codificação de vídeo 400 pode ser um decodificador de vídeo (por exemplo, o decodificador de vídeo 30 na FIG. 1A) ou um codificador de vídeo (por exemplo, o codificador de vídeo 20 na FIG. 1A). Em outra modalidade, o dispositivo de codificação de vídeo 400 pode ser um ou mais componentes no decodificador de vídeo 30 na FIG. 1A ou no codificador de vídeo 20 na FIG. 1A.
[0132] O dispositivo de codificação de vídeo 400 inclui: uma porta de ingresso 410 e uma unidade receptora (Rx) 420 que são configuradas para receber dados; um processador, uma unidade lógica ou uma unidade de processamento central (CPU) 430 que é configurada para processar dados; uma unidade transmissora (Tx) 440 e uma porta de egresso 450 que são configuradas para transmitir dados; e uma memória 460 configurada para armazenar dados.
O dispositivo de codificação de vídeo 400 pode incluir adicionalmente um componente de conversação óptica para elétrica e um componente de conversão elétrica para óptica (EO) que são acoplados à porta de ingresso 410, à unidade receptora 420, à unidade transmissora 440 e à porta de egresso 450,
para servir como uma saída ou uma entrada de um sinal óptico ou um sinal elétrico.
[0133] O processador 430 é implementado por meio do uso de hardware e software. O processador 430 pode ser implementado como um ou mais chips CPU, núcleos (por exemplo, um processador de múltiplos núcleos), FPGAs, ASICs ou DSPs. O processador 430 se comunica com a porta de ingresso 410, a unidade receptora 420, a unidade transmissora 440, a porta de egresso 450 e a memória 460. O processador 430 inclui um módulo de codificação 470 (por exemplo, um módulo de codificação 470 ou um módulo de decodificação 470). O módulo de codificação/decodificação 470 implementa as modalidades reveladas anteriormente. Por exemplo, o módulo de codificação/decodificação 470 realiza, processa ou fornece várias operações de codificação. Portanto, o módulo de codificação/decodificação 470 expande substancialmente as funções do dispositivo de codificação de vídeo 400 e afeta a conversão do dispositivo de codificação de vídeo 400 em diferentes estados.
Alternativamente, o módulo de codificação/decodificação 470 é implementado por meio do uso de instruções armazenadas na memória 460 e executadas pelo processador 430.
[0134] A memória 460 inclui um ou mais discos, unidades de fita e unidades de estado sólido e, pode ser usada como um dispositivo de armazenamento de dados de estou e, é configurada para armazenar programas quando estes programas são seletivamente executados e armazena instruções e dados que são lidos durante a execução do programa. A memória 460 pode ser volátil e/ou não volátil e pode ser uma memória somente de leitura (ROM), uma memória de acesso aleatório (RAM), uma memória endereçável por conteúdo ternário (ternary teor-addressable memory, TCAM) e/ou uma memória de acesso aleatório estática (SRAM).
[0135] A FIG. 5 é um diagrama de bloco simplificado de um aparelho
500 que pode ser usado como qualquer um ou dois do dispositivo de origem 12 e do dispositivo de destino 14 na FIG. 1A, de acordo com uma modalidade de exemplo. O aparelho 500 pode implementar as tecnologias neste pedido. O aparelho 500 pode utilizar uma forma de um sistema computacional incluindo uma pluralidade de dispositivos de computação ou pode utilizar uma forma de um dispositivo de computação único, tal como um telefone móvel, um computador tablet, um computador laptop, um computador notebook ou um computador desktop.
[0136] Um processador 502 no aparelho 500 pode ser uma unidade de processamento central. Alternativamente, o processador 502 pode ser qualquer outro tipo de dispositivo ou dispositivos existentes ou futuros que podem controlar ou processar informações. Como mostrado na figura, embora as implementações reveladas possam ser praticadas por meio do uso de um único processador, tal como o processador 502, vantagens em velocidade e eficácia podem ser obtidas por meio do uso de pelo menos um processador.
[0137] Em uma implementação, uma memória 504 no aparelho 500 pode ser um dispositivo de memória somente de leitura (Read Only Memory, ROM) ou um dispositivo de memória de acesso aleatório (random access memory, RAM). Qualquer outro tipo apropriado de dispositivo de armazenamento pode ser usado como a memória 504. A memória 504 pode incluir código e dados 506 que são acessados pelo processador 502 por meio do uso de um barramento 512. A memória 504 pode incluir adicionalmente um sistema operacional 508 e um programa de aplicativo 510. O programa de aplicativo 510 inclui pelo menos um programa que permite que o processador 502 realize o método descrito neste relatório descritivo. Por exemplo, o programa de aplicativo 510 pode incluir aplicativos 1 a N e os aplicativos 1 a N incluem adicionalmente um aplicativo de codificação de vídeo para realizar o método descrito neste relatório descritivo. O aparelho 500 pode incluir adicionalmente uma memória adicional em uma forma de uma memória secundária 514. A memória secundária 514 pode ser, por exemplo, um cartão de memória usado junto com um dispositivo de computação móvel. Pelo fato de que uma sessão de comunicação de vídeo pode conter uma grande quantidade de informações, as informações podem ser completamente ou parcialmente armazenadas na memória secundária 514 e carregadas na memória 504 para o processamento como necessário.
[0138] O aparelho 500 pode incluir adicionalmente um ou mais dispositivos de saída, por exemplo, um visor 518. Em um exemplo, o visor 518 pode ser um visor sensível ao toque que combina um visor com um elemento sensível ao toque que pode ser operado para detectar uma entrada de toque. O visor 518 pode ser acoplado ao processador 502 por meio do uso do barramento
512. Além do visor 518, outro dispositivo de saída permite que um usuário programe o aparelho 500 ou utilize o aparelho 500 de outra maneira pode ser fornecido adicionalmente ou outro dispositivo de saída pode ser fornecido como uma alternativa para o visor 518. Quando o dispositivo de saída é um visor ou inclui um visor, o visor pode ser implementado de forma diferente, por exemplo, por meio do uso de um visor de cristal líquido (liquid crystal display, LCD), um visor de tubo de raios catódicos (cathode-ray tube, CRT), um visor de plasma ou um visor de diodo emissor de luz (LED), tal como um visor de LED orgânico (organic LED, OLED).
[0139] O aparelho 500 pode incluir adicionalmente um dispositivo de detecção de imagem 520 ou pode ser conectado ao dispositivo de detecção de imagem 520. O dispositivo de detecção de imagem 520 é, por exemplo, uma câmera ou qualquer outro dispositivo de detecção de imagem 520 existente ou futuro que possa detectar uma imagem. A imagem é, por exemplo, uma imagem de um usuário que opera o aparelho 500. O dispositivo de detecção de imagem 520 pode ser colocado diretamente de frente para o usuário que opera o aparelho 500. Em um exemplo, uma localização e um eixo óptico do dispositivo de detecção de imagem 520 podem ser configurados, de modo que um campo de visualização do dispositivo de detecção de imagem 520 inclua uma região adjacente ao visor 518 e o visor 518 pode ser observado a partir da região.
[0140] O aparelho 500 pode incluir adicionalmente um dispositivo de detecção de som 522 ou pode ser conectado ao dispositivo de detecção de som
522. O dispositivo de detecção de som 522 é, por exemplo, um microfone ou qualquer outro dispositivo de detecção de som existente ou futuro que possa detectar um som perto do aparelho 500. O dispositivo de detecção de som 522 pode ser colocado diretamente de frente para o usuário que opera o aparelho 500 e pode ser configurado para receber um som, tal como uma voz ou outro som que é feito pelo usuário quando o usuário opera o aparelho 500.
[0141] Embora o processador 502 e a memória 504 do aparelho 500 sejam integrados em uma unidade como ilustrado na FIG. 5, outras configurações podem ser usadas. A execução do processador 502 pode ser distribuída em uma pluralidade de máquinas que podem ser acopladas diretamente (cada máquina tem um ou mais processadores) ou pode ser distribuída em uma região local ou em outra rede. A memória 504 pode ser distribuída em uma pluralidade de máquinas, tais como uma memória com base em rede e uma memória em uma pluralidade de máquinas que executam o aparelho 500. Embora um único barramento seja desenhado neste relatório, pode haver uma pluralidade de barramentos 512 do aparelho 500. Além disso, a memória secundária 514 pode ser acoplada diretamente aos outros componentes do aparelho 500 ou pode ser acessada através de uma rede e pode incluir uma única unidade integrada, tal como um cartão de memória ou uma pluralidade de unidades, tal como uma pluralidade de cartões de memória.
Portanto, o aparelho 500 pode ser implementado em uma pluralidade de configurações.
[0142] Em um fluxo de bits, informações de movimento ocupam uma grande quantidade de dados. Para reduzir uma quantidade de dados necessária, informações de movimento são usualmente transmitidas através de predição.
Geralmente, existem dois tipos de modos: inter e fusão.
[0143] Modo de preditor do vetor de movimento inter (motion vector predictor, MVP): Informações de movimento transmitidas incluem: uma direção de predição inter (direta, indireta ou bidirecional), um índice de quadro de referência, um índice do preditor de vetor de movimento e uma diferença de vetor de movimento. Para as informações de vetor de movimento nas informações de movimento, uma maneira de transmitir uma diferença entre um vetor de movimento real e um preditor de vetor de movimento (motion vector predictor, MVP) é usualmente usada. Um codificador transmite a diferença de vetor de movimento (motion vector difference, MVD) entre o MVP e o vetor de movimento real para um decodificador. Pode haver uma pluralidade de preditores de vetor de movimento. Geralmente, uma lista candidata de preditores de vetor de movimento (lista candidata mvp) é construída em uma mesma maneira no codificador e no decodificador e um índice de preditor de vetor de movimento (motion vector predictor index, índice MVP) é transmitido para o decodificador.
[0144] Modo de fusão: Uma lista candidata de informações de movimento de fusão (lista candidata de fusão) é construída em uma mesma maneira em um codificador e um decodificador e um índice é transmitido para o decodificador. Um índice de fusão é transmitido em um fluxo de bits. Informações de movimento em uma lista candidata (candidate list) de informações de movimento são usualmente obtidas a partir de um bloco vizinho espacial ou um bloco temporal em um quadro de referência. Informações de movimento de candidato obtidas a partir de informações de movimento de um bloco de imagem vizinho a um bloco atual são referidas como um candidato espacial (spatial candidate) e informações de movimento de um bloco de imagem de uma localização correspondente do bloco atual em uma imagem de referência são referidas como um candidato temporal (temporal cadidate). O candidato espacial e o candidato temporal do bloco atual são mostrados na FIG. 6.
[0145] Em um modo de predição intra (intra), uma maneira de predição inter direcional (interpolação direcional) é usualmente usada, uma direção de interpolação é transmitida em um fluxo de bits e um pixel predito de um bloco de codificação atual é obtido em um decodificador por meio do uso de informações de direção de interpolação e um pixel codificado vizinho espacialmente. Diferentes modos de predição são mostrados na FIG. 7.
[0146] Modo de unidade de predição triangular (triangular prediction unit mode)
[0147] Um modo de unidade de predição triangular (triangular prediction unit mode) é dividir um bloco de codificação em dois blocos de codificação triangulares ao longo de uma diagonal com base na codificação de modo inter em HEVC original ou VVC VTM. Cada bloco de codificação triangular utiliza informações de movimento separadas. A divisão diagonal pode ser divisão diagonal (diagonal) ou divisão diagonal inversa (inverse diagonal), como mostrado na FIG. 8. A divisão de um canto superior esquerdo a um canto inferior direito do bloco de codificação atual é a divisão diagonal e a divisão de um canto superior direito a um canto inferior esquerdo do bloco de codificação atual é a divisão diagonal inversa. A divisão diagonal inversa também pode ser referida como divisão diagonal inversa. O modo de unidade de predição triangular é apenas usado na predição de compensação de movimento e é realizado em todo um bloco de codificação obtido pela combinação de dois triângulos em um processo de transformada e quantização. O modo de unidade de predição triangular pode ser usado para um bloco de codificação cujo tamanho de bloco é maior ou igual a 8x8 e cujo modo de codificação é um modo de salto ou fusão.
[0148] Para um bloco de codificação para o qual o modo de unidade de predição triangular pode ser usado, um identificador merge_triangle_flag é transmitido em um nível CU para indicar se o modo de unidade de predição triangular é usado. Quando o modo de unidade de predição triangular for usado para o bloco de codificação atual/CU, um número de sequência merge_triangle_idx é transmitido para indicar uma direção em que a CU é dividida em duas unidades de predição triangulares e informações de movimento das duas unidades de predição triangulares. Por exemplo, as direções das duas unidades de predição triangulares e índices de informações de movimento das duas unidades de predição triangulares podem ser encapsulados por meio do uso de uma tabela de consulta e informações correspondentes são determinadas a partir da tabela de consulta por meio do uso de merge_triangle_idx. Em seguida, cada unidade de predição triangular obtém informações de predição unidirecionais (candidato de uni-predição) a partir de uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) com base no índice de informações de movimento.
[0149] Em um processo de predição de pixel ponderado (processo de predição de amostra ponderada), um processo de ponderação adaptativo é realizado, de acordo com uma direção de divisão e um modo de ponderação (conjunto de ponderações, WS) obtidos a partir da direção de divisão.
[0150] Codificação e decodificação em um modo de predição intra e inter combinado
[0151] Em um bloco de codificação/CU para o qual um modo de fusão (merge) é usado, um identificador mh_intra_flag é transmitido para indicar se a predição intra é usada. Quando a predição intra é usada, um bloco de predição intra é gerado com base em um modo de predição intra selecionado a partir de uma lista de modos candidatos intra (intra candidate list) com base em elementos de sintaxe relacionados a modo de codificação intra mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx. Para um bloco de luma, a lista de modos candidatos intra pode incluir quatro modos: um modo DC, um modo planar, um modo horizontal e um modo vertical. Um tamanho da lista de modos candidatos intra é selecionado com base em um formato do bloco de codificação atual e a lista de modos candidatos intra pode incluir três ou quatro modos. Quando uma largura do bloco de codificação atual/CU é duas vezes a altura do bloco de codificação atual/CU, a lista de modos candidatos intra não inclui o modo horizontal. Quando uma altura do bloco de codificação atual/CU é duas vezes uma largura do bloco de codificação atual/CU, a lista de modos candidatos intra não inclui o modo vertical. Quando o modo de predição intra e inter combinado for usado, a predição intra obtida com base em um índice de modo de predição intra e a predição inter obtida com base em um índice de fusão (merge index) são combinadas através da média ponderada. Para um componente de croma, apenas o modo DM é usado.
[0152] Em um método de ponderação do modo de predição intra e inter combinado, diferentes coeficientes de ponderação são usados para diferentes modos de predição intra. Um mesmo coeficiente de ponderação é usado para predição intra quando um modo DC e um modo planar são usados ou um mesmo coeficiente de ponderação é usado quando um comprimento ou uma largura de um bloco de codificação atual é menor ou igual a 4. Um coeficiente de ponderação variável é usado para predição intra quando um modo horizontal e um modo vertical são usados.
[0153] Em um método de codificação de multi-hipótese (multi- hypothesis, MH) do modo de predição intra e inter combinado, em um bloco de codificação/CU para o qual um modo de fusão (merge) é usado, um identificador é transmitido para indicar se a predição intra é usada ou se pixels vizinhos espacialmente em torno do bloco de codificação atual são usados. Quando a predição intra é usada, um bloco de predição intra é gerado por meio do uso de um modo de predição intra. Para um bloco de luma, um modo de candidato intra é ajustado como um modo planar. Um bloco de predição final é gerado para realizar predição intra e inter combinadas em um bloco de predição através de ponderação adaptativa.
[0154] Tanto o modo de fusão da unidade de predição triangular quanto o método de codificação de multi-hipótese do modo de predição intra e inter combinado envolvem um processo de compensação de movimento. Um método e um aparelho fornecidos nas modalidades da presente invenção podem combinar dois métodos de predição diferentes: o modo de unidade de predição triangular e o método de codificação de multi-hipótese do modo de predição intra e inter combinado, reduzindo, desse modo, a complexidade da codificação e decodificação e melhorando o desempenho e eficácia da codificação e decodificação., de acordo com o método fornecido nas modalidades da presente invenção, o processamento em um codificador é similar ao processamento em um decodificador. O seguinte utiliza as Modalidades de 1 a 5 como um exemplo para a descrição detalhada. As modalidades de 1 a 5 podem ser realizadas pelo aparelho ou pelo sistema na FIG. 1A à FIG. 5.
Modalidade 1
[0155] O processamento de decodificação é realizado em pelo menos um bloco de imagem em uma imagem para obter uma imagem reconstruída do bloco de imagem. Como mostrado na FIG. 9, o processamento de decodificação anterior inclui a etapa 902 à etapa 914. Um bloco em que processamento de decodificação está sendo realizado é referido como um bloco atual.
[0156] Nesta modalidade, um identificador de modo de predição intra e inter combinado é mh_intra_flag e um identificador de modo de unidade de predição triangular é merge_triangle_flag.
[0157] Etapa 902: Receber um fluxo de bits.
[0158] Etapa 904: Analisar o fluxo de bits para obter um modo de predição do bloco atual.
[0159] Se o fluxo de bits incluir mh_intra_flag e mh_intra_flag for verdadeiro, o modo de predição do bloco atual é um modo de predição intra e inter combinado e a etapa 906 é realizada.
[0160] Etapa 906: Quando o modo de predição do bloco atual for o modo de predição intra e inter combinado, selecionar um modo de execução de um modo de unidade de predição triangular, de acordo com uma política pré- ajustada. Especificamente, as seguintes implementações são incluídas:
[0161] Implementação 1: Quando o modo de predição intra e inter combinado for usado, o modo de unidade de predição triangular não é usado.
intrainter_flag(); If(intrainter_flag ==0) Tri_flag(); If(intrainter_flag())intra_mode() não existe ou sua localização não é limitada If(Tri_flag()) triangle_idx() indica que a localização não é limitada
[0162] Implementação 2: Quando o modo de predição intra e inter combinado for usado, se um modo de predição intra for um modo DC ou planar, o modo de unidade de predição triangular não é usado; de outro modo, o modo de unidade de predição triangular é usado.
intrainter_flag(); If(intrainter_flag())intra_mode() If((intrainter_flag ==0) || ((intrainter_flag ==1) &&(intra_mode!=DC)&&(intra_mode!=PLANAR))) Tri_flag(); If(Tri_flag()) triangle_idx()
[0163] Implementação 3: Quando o modo de predição intra e inter combinado for usado, se um modo de predição intra for um modo DC ou planar, apenas a divisão diagonal indireta é usada no modo de unidade de predição triangular; de outro modo, a divisão diagonal e a divisão diagonal indireta são usadas no modo de unidade de predição triangular.
[0164] Etapa 908: Determinar informações de movimento do bloco atual, de acordo com o modo de execução do modo de unidade de predição triangular.
[0165] Etapa 910: Realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma amostra de predição inter.
[0166] As etapas 908 e 910 podem ser combinadas para determinar o processo de compensação de movimento, de acordo com o modo de execução do modo de unidade de predição triangular e obter a amostra de predição inter.
Em seguida, há a seguinte maneira 1 e maneira 2.
[0167] Maneira 1: Se o modo de unidade de predição triangular for executado, o processo de compensação de movimento é realizado, de acordo com o modo de unidade de predição triangular. Por exemplo, o fluxo de bits pode ser analisado para obter um índice de modo de unidade de predição triangular (merge_triangle_idx) e uma direção de divisão (TriangleDir) do modo de unidade de predição triangular é obtida com base em merge_triangle_idx.
Especificamente, uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) pode ser gerada e as informações de movimento do bloco atual são determinadas a partir da lista candidata de informações de movimento unidirecional com base no índice de modo de unidade de predição triangular.
[0168] Maneira 2: Se o modo de unidade de predição triangular não for executado, o processo de compensação de movimento é realizado, de acordo com um modo de fusão. Especificamente, uma lista candidata de informações de movimento de fusão pode ser gerada e, em seguida, as informações de movimento do bloco atual são determinadas com base em um índice de fusão portado no fluxo de bits.
[0169] Etapa 912: Obter uma amostra de predição intra, de acordo com o modo de predição do bloco atual.
[0170] Especificamente, o fluxo de bits pode ser analisado para obter uma sintaxe relacionada a modo de predição intra e um modo de predição intra é selecionado a partir de uma lista de modos candidatos intra (lista candidata intra) com base na sintaxe. Por exemplo, a sintaxe do modo de codificação intra inclui um identificador de modo mais provável mh_intra_luma_mpm_flag e um índice de modo mais provável índice mh_intra_luma_mpm_idx.
[0171] Etapa 914: Combinar a amostra de predição inter e a amostra de predição intra para obter uma imagem de predição do bloco atual.
[0172] As etapas 906 a 910 e a etapa 912 não são sujeitas a uma sequência específica.
[0173] Para detalhes, consultar as seguintes descrições das Modalidades 3 a 5.
Modalidade 2
[0174] O processamento de decodificação é realizado em pelo menos um bloco de imagem em uma imagem para obter uma imagem reconstruída do bloco de imagem. Como mostrado na FIG. 10, o processamento de decodificação anterior inclui a etapa 1002 à etapa 1010. Um bloco no qual o processamento de decodificação está sendo realizado é referido como um bloco atual.
[0175] Nesta modalidade, um identificador de modo de predição intra e inter combinado é mh_intra_flag e um identificador de modo de unidade de predição triangular é merge_triangle_flag.
[0176] Etapa 1002: Receber um fluxo de bits.
[0177] Etapa 1004: Analisar o fluxo de bits para obter um modo de unidade de predição triangular do bloco atual.
[0178] Se o fluxo de bits incluir merge_triangle_idx e merge_triangle_idx for verdadeiro, o modo de unidade de predição triangular é usado para o bloco atual e a etapa 1006 é realizada.
[0179] Etapa 1006: Quando o modo de unidade de predição triangular for usado para o bloco atual, selecionar um modo de execução de um modo de predição intra e inter combinado, de acordo com uma primeira política pré- ajustada. Especificamente, as seguintes implementações são incluídas:
[0180] Implementação 1: Quando o modo de unidade de predição triangular for usado, o modo de predição intra e inter combinado não é usado.
Tri_flag() If(tri_flag==0) intrainter_flag(); If(intrainter_flag())intra_mode() não existe ou sua localização não é limitada If(Tri_flag()) triangle_idx() indica que a localização não é limitada
[0181] Implementação 2: Quando o modo de unidade de predição triangular for usado, se um triângulo for dividido ao longo de um diagonal, o modo de predição intra e inter combinado não é usado.
Tri_flag() If(Tri_flag()) triangle_idx() TriangleDir = getTriangleDir(triangle_idx); If((tri_flag==0) ||((tri_flag==1)&&(TriangleDir== inverse diagonal))) intrainter_flag(); If(intrainter_flag())intra_mode()
[0182] Implementação 3: Quando o modo de unidade de predição triangular for usado, se um triângulo for dividido ao longo de uma diagonal, apenas os modos de predição horizontais são usados quando o modo de predição intra e inter combinado for usado.
[0183] Etapa 1008: Obter informações de movimento do bloco atual, de acordo com o modo de unidade de predição triangular, para obter uma amostra de predição inter.
[0184] Por exemplo, o fluxo de bits pode ser analisado para obter um índice de modo de unidade de predição triangular merge_triangle_idx e uma direção de divisão TriangleDir do modo de unidade de predição triangular é obtida a partir de uma tabela de consulta com base em merge_triangle_idx.
[0185] Em seguida, uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) é gerada e as informações de movimento do bloco atual são determinadas a partir da lista candidata de informações de movimento unidirecional com base no índice de modo de unidade de predição triangular.
[0186] Etapa 1010: Obter uma imagem de predição do bloco atual, de acordo com o modo de execução do modo de predição intra e inter combinado e a amostra de predição inter.
[0187] Especificamente, se o modo de predição intra e inter combinado for executado, de acordo com a primeira política pré-ajustada, uma amostra de predição intra é obtida, de acordo com o modo de predição intra e inter combinado e, a amostra de predição inter e a amostra de predição intra são combinadas para obter a imagem de predição do bloco atual.
[0188] Alternativamente, se o modo de predição intra e inter combinado não for executado, de acordo com a primeira política pré-ajustada, a imagem de predição do bloco atual é obtida, de acordo com a amostra de predição inter.
[0189] A etapa 1006 e a etapa 1008 não são sujeitas a uma sequência específica.
[0190] Para os detalhes, consultar as seguintes descrições das Modalidades de 3 a 5.
Modalidade 3
[0191] Na Modalidade 3, o processamento de decodificação é realizado em pelo menos um bloco de imagem em uma imagem para obter uma imagem reconstruída do bloco de imagem. O processamento de decodificação anterior inclui a etapa 1101 à etapa 1106. Um bloco no qual o processamento de decodificação está sendo realizado é referido como um bloco atual.
[0192] Etapa 1101: Analisar um modo de predição inter do bloco atual para obter um identificador de modo de unidade de predição triangular, um identificador de modo de predição intra e inter combinado e um elemento de sintaxe relacionado ao modo.
[0193] Se o bloco de codificação atual/CU estiver em um modo de fusão, um método de análise conjunta para o identificador de modo de unidade de predição triangular merge_triangle_flag e o identificador de modo de predição intra e inter combinado mh_intra_flag, especificamente, inclui um dos seguintes métodos:
[0194] Método 1: Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de unidade de predição triangular merge_triangle_flag e a transmissão de merge_triangle_flag é permitida, merge_triangle_flag é analisado. Quando merge_triangle_flag indica que um modo de unidade de predição triangular não é executado e o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de predição intra e inter combinado mh_intra_flag e a transmissão de mh_intra_flag é permitida, mh_intra_flag é analisado. Quando a condição de restrição não é atendida, mh_intra_flag não é analisado e mh_intra_flag é 0. Isto é, quando merge_triangle_flag indica que o modo de unidade de predição triangular é executado, mh_intra_flag não é transmitido e um método de multi- hipótese de um modo de predição intra e inter combinado não é realizado.
[0195] Método 2: Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de predição intra e inter combinado mh_intra_flag e a transmissão de mh_intra_flag é permitida, mh_intra_flag é analisado. Quando mh_intra_flag indica que um modo de predição intra e inter combinado não é executado e o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de unidade de predição triangular merge_triangle_flag e a transmissão de merge_triangle_flag é permitida, merge_triangle_flag é analisado. Portanto, quando o modo de predição do bloco atual não está no modo de predição intra e inter combinado, um modo de unidade de predição triangular é executado para o bloco atual. Quando a condição de restrição do modo de unidade de predição triangular é atendida, o identificador de modo de unidade de predição triangular é 1. Quando a condição de restrição não é atendida, merge_triangle_flag não é analisado e merge_triangle_flag é 0. Isto é, quando mh_intra_flag indica que o modo de predição intra e inter combinado é executado, merge_triangle_flag não é transmitido e o modo de unidade de predição triangular não é executado. Neste caso, a condição de restrição do modo de unidade de predição triangular pode ser entendida como uma política pré-ajustada. Quando o modo de predição do bloco atual for o modo de predição intra e inter combinado, o modo de unidade de predição triangular não é executado para o bloco atual.
[0196] Quando merge_triangle_flag indica que o modo de unidade de predição triangular é executado, um fluxo de bits é analisado para obter um índice de modo de unidade de predição triangular merge_triangle_idx e informações de particionamento e informações de movimento do modo de unidade de predição triangular podem ser obtidas a partir de uma tabela de consulta com base em merge_triangle_idx. Além disso, cada elemento na tabela de consulta pode incluir informações de particionamento e um índice da lista candidata de informações de movimento unidirecional do modo de unidade de predição triangular. Na implementação específica, quando merge_triangle_flag indica que o modo de unidade de predição triangular é executado, o fluxo de bits pode ser analisado para obter uma direção de divisão (TriangleDir) do modo de unidade de predição triangular.
[0197] O identificador mh_intra_flag pode ser usado para indicar se o modo de predição do bloco atual é o modo de predição intra e inter combinado.
Quando mh_intra_flag indica que o modo de predição intra e inter combinado é executado, o fluxo de bits é analisado para obter uma sintaxe relacionada a modo de codificação intra. A sintaxe relacionada a modo de codificação intra inclui um identificador de modo mais provável mh_intra_luma_mpm_flag e um índice de modo mais provável mh_intra_luma_mpm_idx e, em seguida, um modo de codificação intra é extraído com base em mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx. Alternativamente, um modo fixo, tal como um modo planar, pode ser diretamente usado sem transmitir qualquer índice.
[0198] Deve ser observado que uma localização de merge_triangle_idx no fluxo de bits não é especificada nesta modalidade da presente invenção, desde que merge_triangle_idx seja analisado depois de merge_triangle_flag.
[0199] Nesta modalidade da presente invenção, as localizações de mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx no fluxo de bits não são especificadas, desde que mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx sejam analisados depois de mh_intra_flag.
[0200] Deve ser observado que, nesta modalidade da presente invenção, apenas um método para usar em conjunto com o identificador de modo de unidade de predição triangular merge_triangle_flag e o identificador de modo de predição intra e inter combinado mh_intra_flag é usado. Um método de análise para o identificador de modo de unidade de predição triangular merge_triangle_flag ou o identificador de modo de predição intra e inter combinado mh_intra_flag não é limitado. Por exemplo, a restrição pode ser a seguir: O identificador de modo de predição intra e inter combinado mh_intra_flag é analisado apenas quando uma largura e uma altura do bloco de codificação/CU são maiores ou iguais a 8 e menores do que 128; de outro modo, mh_intra_flag não é analisado e mh_intra_flag é ajustado para não executar o modo de predição intra e inter combinado. O identificador de modo de unidade de predição triangular merge_triangle_flag é analisado apenas quando a largura mais a altura do bloco de codificação/CU são maiores do que 12; de outro modo, merge_triangle_flag não é analisado e o merge_triangle_flag é ajustado para não executar o modo de unidade de predição triangular.
[0201] Etapa 1102: Obter as informações de particionamento e as informações de movimento do modo de unidade de predição triangular com base no identificador de modo de unidade de predição triangular merge_triangle_flag e no índice de modo de unidade de predição triangular merge_triangle_idx.
[0202] Se o bloco atual estiver em um modo de fusão/salto e merge_triangle_flag for 0, uma lista candidata de informações de movimento de fusão é gerada. Em seguida, informações de movimento do bloco atual são determinadas com base em um índice de fusão portado no fluxo de bits. Um método em HEVC ou VTM pode ser usado ou outro método para gerar uma lista candidata de preditores de vetor de movimento pode ser usado. Isto não é limitado nesta modalidade da presente invenção.
[0203] Se o bloco atual estiver em um modo de fusão/salto e merge_triangle_flag for 1, uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) é gerada e informações de movimento são determinadas a partir da lista candidata de informações de movimento unidirecional com base nas informações de particionamento e o índice da lista candidata de informações de movimento unidirecional do modo de unidade de predição triangular que é determinado a partir da tabela de consulta por meio do uso de merge_triangle_idx.
[0204] Se o bloco atual estiver em um modo MVP inter, informações de movimento do bloco atual são determinadas com base em uma direção de predição inter, um índice de quadro de referência, um índice de preditor de vetor de movimento e uma diferença de vetor de movimento que são transmitidos no fluxo de bits. Um método em HEVC ou VTM pode ser usado ou outro método para gerar uma lista candidata de preditores de vetor de movimento pode ser usado. Isto não é limitado nesta modalidade da presente invenção.
[0205] Etapa 1103: Realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma amostra de predição inter (amostras de predição).
[0206] Na etapa 1103, o processo de compensação de movimento e um processo de predição ponderada são realizados com base nas informações de movimento do bloco atual, para obter a amostra de predição inter.
[0207] Etapa 1104: Obter uma amostra de predição intra com base em mh_intra_flag.
[0208] Se mh_intra_flag for 1, um dos seguintes métodos pode ser especificamente usado:
[0209] Método 1: Obter um modo de codificação intra com base em mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx e invocar um módulo de predição intra para gerar um bloco de predição intra.
[0210] Método 2: Obter um modo de codificação intra com base em mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx e invocar um módulo de predição intra para gerar um bloco de predição intra, onde o módulo de predição intra não utiliza as seguintes duas ferramentas de codificação intra: filtragem de limite e PDPC.
[0211] Método 3: Definir um modo de codificação intra para um modo planar e invocar um módulo de predição intra para gerar um bloco de predição intra.
[0212] Método 4: Definir um modo de codificação intra para um modo planar e invocar um módulo de predição intra para gerar um bloco de predição intra, onde o módulo de predição intra não utiliza as seguintes duas ferramentas de codificação intra: filtragem de limite e PDPC.
[0213] Etapa 1105: Combinar a amostra de predição inter e a amostra de predição intra para obter um bloco de predição final/imagem de predição do bloco atual.
[0214] Mais especificamente, em um decodificador, um método de ponderação adaptativo, uma maneira de ponderação de coeficiente fixo ou uma maneira de ponderação de proporção igual é usada.
[0215] Etapa 1106: Adicionar a imagem de predição inter final e uma imagem residual para obter uma imagem reconstruída do bloco atual.
[0216] Especificamente, no decodificador, se o bloco atual tiver um residual, informações residuais e a imagem de predição são adicionadas para obter a imagem reconstruída do bloco atual; ou se o bloco atual não tiver residual, a imagem de predição é a imagem reconstruída do bloco atual.
[0217] Deve ser observado que uma sequência da etapa 1102 e da etapa 1103 pode ser trocada. Isto não é limitado nesta modalidade da presente invenção.
Modalidade 4
[0218] A Modalidade 4 refere-se a um método de codificação inter e filtragem e ao processamento de decodificação em um bloco de imagem por meio do uso do método. A principal diferença da Modalidade 3 está na etapa
1201.
[0219] Etapa 1201: Analisar um modo de predição inter de um bloco atual para obter um identificador de modo de unidade de predição triangular, um identificador de modo de predição intra e inter combinado e um elemento de sintaxe relacionado ao modo.
[0220] Em um modo de unidade de predição triangular, um bloco de codificação é dividido em dois blocos de codificação triangulares ao longo de uma diagonal. A divisão diagonal pode ser a divisão diagonal (diagonal) ou divisão de diagonal inversa (inverse diagonal), como mostrado na FIG. 3. A divisão de um canto superior esquerdo a um canto inferior direito do bloco de codificação atual é a divisão diagonal e a divisão de um canto superior direito a um canto inferior esquerdo do bloco de codificação atual é a divisão diagonal indireta.
[0221] Se o bloco de codificação atual/CU estiver em um modo de fusão, um método de análise conjunta para o identificador de modo de unidade de predição triangular merge_triangle_flag e o identificador de modo de predição intra e inter combinado mh_intra_flag restringe principalmente, com base nas informações de divisão do modo de unidade de predição triangular, se o modo de predição intra e inter combinado é executado e um modo de execução.
[0222] Especificamente, um dos seguintes métodos é incluído:
[0223] Método 1: Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de unidade de predição triangular merge_triangle_flag e a transmissão de merge_triangle_flag é permitida, merge_triangle_flag é analisado. Quando merge_triangle_flag é 1, merge_triangle_idx é analisado e uma direção de divisão TriangleDir de um modo de unidade de predição triangular é obtida a partir de uma tabela de consulta com base em merge_triangle_idx. Quando TriangleDir indica que uma unidade de predição triangular é dividida ao longo de uma diagonal (diagonal), o identificador de modo de predição intra e inter combinado mh_intra_flag não é transmitido e um modo de predição intra e inter combinado não é usado. Quando TriangleDir indica que uma unidade de predição triangular é dividida ao longo de um diagonal inversa (inverse diagonal), mh_intra_flag é analisado quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de predição intra e inter combinado mh_intra_flag e a transmissão de mh_intra_flag é permitida. Quando mh_intra_flag indica que o modo de predição intra e inter combinado é executado, um fluxo de bits é analisado para obter uma sintaxe relacionada a modo de codificação intra. A sintaxe relacionada a modo de codificação intra pode incluir um identificador de modo mais provável mh_intra_luma_mpm_flag e um índice de modo mais provável mh_intra_luma_mpm_idx. Alternativamente, um modo fixo, tal como um modo planar pode ser diretamente usado sem transmitir qualquer índice. Deve ser observado que um modo de codificação intra pode ser extraído com base em mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx.
[0224] Método 2: Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de unidade de predição triangular merge_triangle_flag e a transmissão de merge_triangle_flag é permitida, merge_triangle_flag é analisado. Quando merge_triangle_flag é 1, merge_triangle_idx é analisado para obter uma direção de divisão TriangleDir de um modo de unidade de predição triangular. Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de predição intra e inter combinado mh_intra_flag e a transmissão de mh_intra_flag é permitida, mh_intra_flag é analisado. Quando mh_intra_flag é 1, um índice relacionado ao modo de codificação intra é analisado e um modo de predição intra é selecionado a partir de uma lista de modos candidatos intra (lista candidata intra) com base no índice relacionado ao modo de codificação intra.
Quando TriangleDir indica que uma unidade de predição triangular é dividida ao longo de um diagonal (diagonal), a lista de modos candidatos intra (lista candidata intra) inclui apenas modos de predição de horizontal e vertical. Quando TriangleDir indica que uma unidade de predição triangular é dividida ao longo de uma diagonal inversa (inverse diagonal), a construção da lista de modos candidatos intra (lista candidata intra) não é modificada.
[0225] Deve ser observado que informações de particionamento e informações de movimento do modo de unidade de predição triangular podem ser obtidas a partir de uma tabela de consulta com base em merge_triangle_idx.
Além disso, cada elemento na tabela de consulta pode incluir informações de particionamento e um índice da lista candidata de informações de movimento unidirecional do modo de unidade de predição triangular.
[0226] Deve ser observado que uma localização de merge_triangle_idx no fluxo de bits não é especificada nesta modalidade da presente invenção, desde que merge_triangle_idx seja analisado depois de merge_triangle_flag.
[0227] Deve ser observado que uma localização do índice relacionado ao modo de codificação intra no fluxo de bits não é especificada nesta modalidade da presente invenção, desde que o índice relacionado ao modo de codificação intra seja analisado depois de mh_intra_flag.
[0228] Deve ser observado que, nesta modalidade da presente invenção, apenas um método para usar em conjunto com o identificador de modo de unidade de predição triangular merge_triangle_flag e o identificador de modo de predição intra e inter combinado mh_intra_flag é usado. Um método de análise para o identificador de modo de unidade de predição triangular merge_triangle_flag ou o identificador de modo de predição intra e inter combinado mh_intra_flag não é limitado. Por exemplo, a restrição pode ser a seguir: O identificador de modo de predição intra e inter combinado mh_intra_flag é analisado apenas quando uma largura e uma altura do bloco de codificação/CU são maiores ou iguais a 8 e menores do que 128; de outro modo, mh_intra_flag não é analisado e mh_intra_flag é ajustado para não executar o modo de predição intra e inter combinado. O identificador de modo de unidade de predição triangular merge_triangle_flag é analisado apenas quando a largura mais a altura do bloco de codificação/CU é maior do que 12; de outro modo,
merge_triangle_flag não é analisado e merge_triangle_flag é ajustado para executar o modo de unidade de predição triangular.
[0229] Para outras etapas, consultar a descrição na Modalidade 3. Os detalhes não são descritos novamente.
Modalidade 5
[0230] A Modalidade 5 refere-se a um método de codificação inter e filtragem e ao processamento de decodificação em um bloco de imagem por meio do uso do método. A principal diferença da Modalidade 3 está nas etapas 1301 e 1302.
[0231] Etapa 1301: Analisar um modo de predição inter de um bloco atual para obter um identificador de modo de unidade de predição triangular, um identificador de modo de predição intra e inter combinado e um elemento de sintaxe relacionado ao modo.
[0232] Em um modo de unidade de predição triangular, um bloco de codificação é dividido em dois blocos de codificação triangulares ao longo de uma diagonal. A divisão diagonal pode ser a divisão diagonal (diagonal) ou divisão de diagonal inversa (inverse diagonal), como mostrado na FIG. 3. A divisão de um canto superior esquerdo a um canto inferior direito do bloco de codificação atual é a divisão diagonal e a divisão de um canto superior direito a um canto inferior esquerdo do bloco de codificação atual é a divisão diagonal indireta.
[0233] Se o bloco de codificação atual/CU estiver em um modo de fusão, um método de análise conjunta para o identificador de modo de unidade de predição triangular merge_triangle_flag e o identificador de modo de predição intra e inter combinado mh_intra_flag restringe principalmente, com base no modo de predição intra e inter combinado, se o modo de unidade de predição triangular é executado e informações de divisão.
[0234] Os detalhes são os seguintes:
[0235] Método 1: Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de predição intra e inter combinado mh_intra_flag e a transmissão de mh_intra_flag é permitida, mh_intra_flag é analisado. Quando mh_intra_flag é 1, os elementos de sintaxe relacionados a modo de codificação intra (tais como mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx) são analisados e um modo de predição intra é selecionado a partir de uma lista de modos candidatos intra (lista candidata intra) com base em mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx. A exclusão é realizada em uma tabela de consulta, de acordo com uma política pré-ajustada.
A política de exclusão é a seguir: Quando o modo de predição intra é um modo DC ou planar, merge_triangle_flag não é analisado e o modo de unidade de predição triangular não é executado. Quando o modo de predição intra é um modo horizontal ou vertical e o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de unidade de predição triangular merge_triangle_flag e a transmissão de merge_triangle_flag é permitida, merge_triangle_flag é analisado. Quando merge_triangle_flag é 1, merge_triangle_idx é analisado e uma direção de divisão TriangleDir do modo de unidade de predição triangular é obtida com base na tabela de consulta.
[0236] Método 2: Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de predição intra e inter combinado mh_intra_flag e a transmissão de mh_intra_flag é permitida, mh_intra_flag é analisado. Quando mh_intra_flag é 1, os elementos de sintaxe relacionados a modo de codificação intra (tais como mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx) são analisados e um modo de predição intra é selecionado a partir de uma lista de modos candidatos intra (lista candidata intra) com base em mh_intra_luma_mpm_flag e mh_intra_luma_mpm_idx. Quando o bloco de codificação atual/CU atende uma condição de restrição separada do identificador de modo de unidade de predição triangular merge_triangle_flag e a transmissão de merge_triangle_flag é permitida, merge_triangle_flag é analisado. Quando merge_triangle_flag é 1, merge_triangle_idx é analisado e uma direção de divisão TriangleDir do modo de unidade de predição triangular é obtida com base em uma tabela de consulta. A exclusão pode ser realizada na tabela de consulta, de acordo com uma política pré-ajustada. A política de exclusão é a seguir: Quando o modo de predição intra é um modo DC ou planar, a tabela de consulta não inclui os elementos obtidos através da divisão ao longo de uma diagonal (diagonal). Quando o modo de predição intra é um modo horizontal ou vertical, a tabela de consulta pode não ser modificada.
[0237] Etapa 1302: Obter um bloco de predição inter com base no identificador de modo de unidade de predição triangular merge_triangle_flag e informações de particionamento e informações de movimento do modo de unidade de predição triangular que são obtidas com base no índice de modo de unidade de predição triangular merge_triangle_idx.
[0238] Etapa 2.1: Obter as informações de movimento.
[0239] Se o bloco atual estiver em um modo de fusão/salto e merge_triangle_flag for 0, uma lista candidata de informações de movimento de fusão é gerada. Em seguida, informações de movimento do bloco atual são determinadas com base em um índice de fusão portado no fluxo de bits. Um método em HEVC ou VTM pode ser usado ou outro método para gerar uma lista candidata de preditores de vetor de movimento pode ser usado. Isto não é limitado nesta modalidade da presente invenção.
[0240] Se o bloco atual estiver em um modo de fusão/salto e merge_triangle_flag for 1, uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) é gerada e informações de movimento são determinadas a partir da lista candidata de informações de movimento unidirecional com base nas informações de particionamento e no índice da lista candidata de informações de movimento unidirecional do modo de unidade de predição triangular que são determinados a partir da tabela de consulta por meio do uso de merge_triangle_idx.
[0241] A tabela de consulta é uma tabela de consulta que é construída em uma maneira existente e na qual a exclusão é realizada, de acordo com uma política pré-ajustada. A política de exclusão é a seguir: Quando o modo de predição intra é um modo DC ou planar, a tabela de consulta não inclui os elementos obtidos através da divisão ao longo de uma diagonal (diagonal).
Quando o modo de predição intra é um modo horizontal ou vertical, a tabela de consulta é construída em uma maneira existente.
[0242] Para outras etapas, consultar a descrição na Modalidade 3. Os detalhes não são descritos novamente.
[0243] As Modalidades de 1 a 5 da presente invenção podem reduzir a complexidade da codificação e melhorar eficácia de codificação.
[0244] A FIG. 11 é um diagrama estrutural esquemático de um aparelho 1100, de acordo com uma modalidade da presente invenção. O aparelho 1100 inclui um módulo de recebimento 1102, um módulo de análise 1104, um módulo de determinação 1106 e um módulo de obtenção 1108. Em algumas modalidades, o módulo de análise 1104, o módulo de determinação 1106 e o módulo de obtenção 1108 podem ser executados no processador anterior, por exemplo, o processador 430 na FIG. 4 ou o processador 502 na FIG. 5. Em algumas outras modalidades, as funções relacionadas do módulo de análise 1104, do módulo de determinação 1106 e do módulo de obtenção 1108 podem ser implementadas no sistema ou aparelho descrito nas modalidades da FIG. 1A a FIG. 3.
[0245] Uma primeira modalidade do aparelho é a seguir:
[0246] O módulo de recebimento 1102 é configurado para receber um fluxo de bits.
[0247] O módulo de análise 1104 é configurado para analisar o fluxo de bits para obter um modo de predição de um bloco atual.
[0248] O módulo de determinação 1106 é configurado para: quando o modo de predição do bloco atual não é um modo de predição intra e inter combinado, selecionar um modo de execução de um modo de unidade de predição triangular, de acordo com uma política pré-ajustada e determinar informações de movimento do bloco atual, de acordo com o modo de execução do modo de unidade de predição triangular.
[0249] O módulo de obtenção 1108 é configurado para realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma imagem de predição do bloco atual.
[0250] O módulo de determinação é configurado para: quando o modo de predição intra e inter combinado não é usado, executar o modo de unidade de predição triangular, de acordo com a política pré-ajustada. Alternativamente, o módulo de determinação é configurado para: quando o modo de predição intra e inter combinado não é usado, analisar um identificador de modo de unidade de predição triangular e executar o modo de unidade de predição triangular, de acordo com a política pré-ajustada.
[0251] Uma segunda modalidade do aparelho é a seguir:
[0252] O módulo de recebimento 1102 é configurado para receber um fluxo de bits.
[0253] O módulo de análise 1104 é configurado para analisar o fluxo de bits para obter um modo de unidade de predição triangular de um bloco atual.
[0254] O módulo de determinação 1106 é configurado para: quando o modo de unidade de predição triangular for usado para o bloco atual, selecionar um modo de execução de um modo de predição intra e inter combinado, de acordo com uma primeira política pré-ajustada.
[0255] O módulo de obtenção 1108 é configurado para: obter informações de movimento do bloco atual, de acordo com o modo de unidade de predição triangular, para obter uma amostra de predição inter; e obter uma imagem de predição do bloco atual, de acordo com o modo de execução do modo de predição intra e inter combinado e a amostra de predição inter.
[0256] Em uma terceira modalidade do aparelho, o módulo de recebimento 1102 e o módulo de análise 1104 são opcionais.
[0257] O módulo de determinação 1106 é configurado para: quando um modo de predição de um bloco atual não é um modo de predição intra e inter combinado, determinar que um modo de unidade de predição triangular seja executado; e determinar informações de movimento do bloco atual, de acordo com o modo de unidade de predição triangular.
[0258] O módulo de obtenção 1108 é configurado para realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma imagem de predição do bloco atual.
[0259] O módulo de determinação 1106 é adicionalmente configurado para: quando for determinado, de acordo com uma política pré-ajustada, que o modo de unidade de predição triangular é executado, obter uma direção de divisão (TriangleDir) do modo de unidade de predição triangular; e quando o modo de predição do bloco atual for o modo de predição intra e inter combinado, determinar que o modo de unidade de predição triangular não seja executado para o bloco atual.
[0260] O módulo de obtenção 1108 é configurado para obter um identificador mh_intra_flag, onde o identificador mh_intra_flag é usado para indicar se o modo de predição do bloco atual é o modo de predição intra e inter combinado.
[0261] O módulo de recebimento 1102, o módulo de análise 1104, o módulo de determinação 1106 e o módulo de obtenção 1108 podem ser especificamente configurados para implementar etapas do método relacionado mostradas nas modalidades de 1 a 5. Para brevidade do relatório descritivo, os detalhes não são descritos novamente neste relatório.
[0262] Nas modalidades anteriores, a descrição de cada modalidade tem os respectivos focos. Para uma parte que não é descrita em detalhes em uma modalidade, consultar as descrições relacionadas em outras modalidades.
[0263] Nas várias modalidades fornecidas neste pedido, deve ser entendido que o aparelho revelado pode ser implementado de outras maneiras.
Por exemplo, as modalidades do aparelho descritas são meramente exemplos.
Por exemplo, a divisão nas unidades é meramente a divisão de função lógica.
Pode haver outra maneira de divisão na implementação real. Por exemplo, uma pluralidade de unidades ou componentes podem ser combinados ou integrados em outro sistema ou algumas características podem ser ignoradas ou não realizadas. Além disso, os acoplamentos mútuos ou acoplamentos diretos ou conexões de comunicação exibidos ou discutidos podem ser implementados através de algumas interfaces. Os acoplamentos indiretos ou conexão de comunicação entre os aparelhos ou unidades podem ser implementados de formas eletrônicas ou outras formas.
[0264] As unidades descritas como partes separadas podem ou não podem ser fisicamente separadas e as partes exibidas como unidades podem ou não podem ser unidades físicas, podem ser localizadas em uma localização ou podem ser distribuídas em uma pluralidade de unidades de rede. Algumas ou todas das unidades podem ser selecionadas com base nos requisitos reais para obter os objetivos das soluções das modalidades.
[0265] Além disso, as unidades da função nas modalidades da presente invenção podem ser integradas em uma unidade de processamento ou cada uma das unidades pode existir fisicamente sozinha ou duas ou mais unidades podem ser integradas em uma unidade. A unidade integrada pode ser implementada em uma forma de hardware ou pode ser implementada em uma forma de uma unidade de função de software.
[0266] O seguinte descreve a aplicação do método de codificação e do método de decodificação mostrados nas modalidades anteriores e um sistema usando o método de codificação e o método de decodificação.
[0267] A FIG. 12 é um diagrama de bloco que ilustra um sistema de fornecimento de conteúdo 3100 configurado para implementar um sistema de liberação de conteúdo. O sistema de fornecimento de conteúdo 3100 inclui um dispositivo de captura 3102, um dispositivo terminal 3106 e, opcionalmente, um visor 3126. O dispositivo de captura 3102 se comunica com o dispositivo terminal 3106 através de um enlace de comunicação 3104. O enlace de comunicação pode incluir o canal de comunicações 13 descrito acima. O enlace de comunicação 3104 inclui, mas não é limitado ao Wi-Fi, à Ethernet, uma conexão com fio, uma conexão sem fio (3G/4G/5G), um USB ou qualquer tipo de combinação dos mesmos.
[0268] O dispositivo de captura 3102 gera dados e pode codificar os dados, de acordo com o método de codificação mostrado nas modalidades anteriores. Alternativamente, o dispositivo de captura 3102 pode distribuir os dados para um servidor de transmissão (não mostrado na figura) e o servidor codifica os dados e transmite os dados codificados para o dispositivo terminal
3106. O dispositivo de captura 3102 inclui, mas não é limitado a uma câmera, um smartphone ou um computador tablet, um computador ou um computador notebook, um sistema de videoconferência, um PDA, um dispositivo montado em veículo ou qualquer combinação dos mesmos. Por exemplo, o dispositivo de captura 3102 pode incluir o dispositivo de origem 12 descrito acima. Quando os dados incluem um vídeo, um codificador de vídeo 20 incluído no dispositivo de captura 3102 pode realmente codificar o vídeo. Quando os dados incluem áudio (isto é, voz), um codificador de áudio incluído no dispositivo de captura 3102 pode realmente codificar o áudio. Em alguns cenários reais, o dispositivo de captura 3102 distribui os dados de vídeo codificados e os dados de áudio codificados multiplexando os dados de vídeo codificados e os dados de áudio codificados. Em outro cenário real, por exemplo, em um sistema de videoconferência, os dados de áudio codificados e os dados de vídeo codificados não são multiplexados. O dispositivo de captura 3102 distribui separadamente os dados de áudio codificados e os dados de vídeo codificados para o dispositivo terminal 3106.
[0269] No sistema de fornecimento de conteúdo 3100, o dispositivo terminal 3106 recebe e reproduz os dados codificados. O dispositivo terminal 3106 pode ser um dispositivo com capacidades de recebimento e recuperação de dados, por exemplo, um smartphone ou computador tablet 3108, um computador ou computador notebook 3110, um gravador de vídeo de rede (rede video recorder, NVR)/gravador de vídeo digital (digital video recorder, DVR) 3112, uma TV 3114, um set top box (set top box, STB) 3116, um sistema de videoconferência 3118, um sistema de videovigilância 3120, um assistente pessoal digital (personal digital assistant, PDA) 3122, um dispositivo montado em veículo 3124 ou qualquer combinação dos dispositivos anteriores que possam decodificar os dados codificados. Por exemplo, o dispositivo terminal 3106 pode incluir o dispositivo de destino 14 descrito acima. Quando os dados codificados incluem um vídeo, um decodificador de vídeo 30 incluído no dispositivo terminal é priorizado para realizar a decodificação de vídeo. Quando os dados codificados incluem áudio, um decodificador de áudio incluído no dispositivo terminal é priorizado para realizar a decodificação de áudio.
[0270] Para um dispositivo terminal tendo um visor, por exemplo, um smartphone ou computador tablet 3108, um computador ou computador notebook 3110, um gravador de vídeo de rede (rede video recorder, NVR)/gravador de vídeo digital (digital video recorder, DVR) 3112, uma TV 3114, um assistente pessoal digital (personal digital assistant, PDA) 3122 ou um dispositivo montado em veículo 3124, o dispositivo terminal pode retornar os dados decodificados para o visor do dispositivo terminal. Para um dispositivo terminal sem um visor, por exemplo, um STB 3116, um sistema de videoconferência 3118 ou um sistema de videovigilância 3120, um visor externo 3126 é conectado ao dispositivo terminal para receber e exibir os dados decodificados.
[0271] Quando cada dispositivo no sistema realiza a codificação ou a decodificação, o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem mostrado nas modalidades anteriores pode ser usado.
[0272] A FIG. 13 é um diagrama de uma estrutura do exemplo do dispositivo terminal 3106. Depois do dispositivo terminal 3106 receber um fluxo do dispositivo de captura 3102, uma unidade de processamento de protocolo 3202 analisa um protocolo de transporte do fluxo. O protocolo inclui, mas não é limitado a um protocolo de transmissão em tempo real (Real Time Streaming Protocol, RTSP), um protocolo de transferência de hipertexto (Hyper Text Transfer Protocol, HTTP), um protocolo de transmissão ao vivo HTTP (HTTP Live streaming protocol, HLS), MPEG-DASH, um protocolo de transporte em tempo real (Real-time Transport Protocol, RTP), um protocolo de mensagem em tempo real (Real Time Messaging Protocol, RTMP) ou qualquer combinação dos mesmos.
[0273] Depois de processar o fluxo, a unidade de processamento de protocolo 3202 gera um arquivo de fluxo. O arquivo é emitido para uma unidade de desmultiplexação 3204. A unidade de desmultiplexação 3204 pode dividir dados multiplexados em dados de áudio codificados e dados de vídeo codificados. Como descrito acima, em outro cenário real, por exemplo, em um sistema de videoconferência, os dados de áudio codificados e os dados de vídeo codificados não são multiplexados. Neste caso, os dados codificados são transmitidos para um decodificador de vídeo 3206 e um decodificador de áudio 3208 sem serem transmitidos através da unidade de desmultiplexação 3204.
[0274] A desmultiplexação é realizada para gerar um fluxo elementar (elementary stream, ES) de vídeo, um ES de áudio e legendas opcionais. O decodificador de vídeo 3206 inclui o decodificador de vídeo 30 descrito nas modalidades anteriores, decodifica o ES de vídeo, de acordo com o método de decodificação mostrado nas modalidades anteriores para gerar um quadro de vídeo e retorna tais dados para uma unidade de sincronização 3212. O decodificador de áudio 3208 decodifica o ES de áudio para gerar um quadro de áudio e retorna tais dados para a unidade de sincronização 3212.
Alternativamente, o quadro de vídeo pode ser armazenado em um buffer (não mostrado na FIG. Y) antes do quadro de vídeo ser retornado para a unidade de sincronização 3212. Similarmente, o quadro de áudio pode ser armazenado no buffer (não mostrado na FIG. Y) antes do quadro de áudio ser retornado para a unidade de sincronização 3212.
[0275] A unidade de sincronização 3212 sincroniza o quadro de vídeo e o quadro de áudio e fornece um vídeo/áudio para um visor de vídeo/áudio
3214. Por exemplo, a unidade de sincronização 3212 sincroniza a apresentação das informações de vídeo e informações de áudio. As informações podem ser codificadas sintaticamente por meio do uso de um carimbo de data/hora relacionado à apresentação de dados de áudio e visuais codificados e um carimbo de data/hora relacionado à transmissão de um fluxo de dados.
[0276] Se as legendas forem incluídas no fluxo, um decodificador da legenda 3210 decodifica as legendas para sincronizar as legendas com o quadro de vídeo e o quadro de áudio e fornece o vídeo/áudio/legendas para um visor de vídeo/áudio/legenda 3216.
[0277] A presente invenção não é limitada ao sistema anterior e o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem nas modalidades anteriores pode ser combinado em outro sistema, por exemplo, um sistema de automóvel.
[0278] Deve ser entendido que o conteúdo revelado em combinação com um método descrito também pode ser verdadeiro para um dispositivo correspondente ou sistema configurado para realizar o método e vice-versa. Por exemplo, se uma ou mais etapas do método específico forem descritas, um dispositivo correspondente pode incluir uma ou mais unidades, tais como unidades de função, para realizar uma ou mais etapas do método descritas (por exemplo, uma unidade que realiza uma ou mais etapas ou uma pluralidade de unidades, cada um, que realiza uma ou mais da pluralidade de etapas), mesmo se uma ou mais unidades não forem explicitamente descritas ou ilustradas nos desenhos anexos. Além disso, por exemplo, se um aparelho específico for descrito com base em uma ou mais unidades, tais como as unidades de função, um método correspondente pode incluir uma etapa usada para realizar a funcionalidade de uma ou mais unidades (por exemplo, uma etapa usada para realizar a funcionalidade de uma ou mais unidades ou uma pluralidade de etapas, cada uma, usadas para realizar a funcionalidade de uma ou mais de uma pluralidade de unidades), mesmo se uma ou mais etapas não forem explicitamente descritas ou ilustradas nos desenhos anexos. Além disso, deve ser entendido que as características das várias modalidades dos exemplos e/ou aspectos descritos neste relatório descritivo podem ser combinadas entre si, a menos que especificamente observado de outro modo.
[0279] Em um ou mais exemplos, as funções descritas podem ser implementadas por hardware, software, firmware ou qualquer combinação dos mesmos. Se implementado por software, as funções podem ser armazenadas ou transmitidas através de uma mídia legível por computador como uma ou mais instruções ou código e executadas por uma unidade de processamento com base em hardware. A mídia legível por computador pode incluir uma mídia de armazenamento legível por computador, que corresponde a uma mídia tangível, tal como uma mídia de armazenamento de dados ou uma mídia de comunicações. Por exemplo, a mídia de comunicações inclui, de acordo com um protocolo de comunicações, qualquer mídia que facilite a transmissão de um programa de computador de uma placa para outra. Desta maneira, a mídia legível por computador pode geralmente corresponder a: (1) uma mídia de armazenamento legível por computador tangível não transitória ou (2) uma mídia de comunicações, tal como um sinal ou uma portadora. A mídia de armazenamento de dados pode ser qualquer mídia utilizável que possa ser acessada por um ou mais computadores ou um ou mais processadores para recuperar instruções, código e/ou estruturas de dados para implementar as tecnologias descritas na presente invenção. Um produto de programa de computador pode incluir uma mídia legível por computador.
[0280] A título do exemplo, mas não de limitação, tal mídia de armazenamento legível por computador pode incluir uma RAM, uma ROM, uma EEPROM, um CD-ROM ou outra memória de disco óptico, uma memória de disco magnético ou outro dispositivo de armazenamento magnético, uma memória flash ou qualquer outra mídia que possa ser usada para armazenar o código do programa desejado em uma forma de uma instrução ou uma estrutura de dados e que pode ser acessada por um computador. Além disso, qualquer conexão pode ser apropriadamente referida como uma mídia legível por computador. Por exemplo, se as instruções forem transmitidas de um website, um servidor ou outra fonte remota por meio do uso de um cabo coaxial, uma fibra óptica, um par trançado, uma linha de assinante digital (digital subscriber line, DSL) ou tecnologias sem fio, tais como infravermelho, rádio e micro-ondas, o cabo coaxial, a fibra óptica, o par trançado, a DSL ou as tecnologias sem fio, tais como infravermelho, rádio e micro-ondas são incluídas na definição de mídia.
Entretanto, deve ser entendido que a mídia de armazenamento legível por computador e a mídia de armazenamento de dados não incluem conexões, portadoras, sinais ou outra mídia transitória, mas na verdade significam mídias de armazenamento tangíveis não transitórias. Como usado neste relatório descritivo, um disquete e um disco incluem um disco compacto (compact disc, CD), um disco à laser, um disco óptico, um disco versátil digital (digital versatile disc, DVD), um disquete e um disco Blu-ray. O disquete usualmente reproduz os dados magneticamente, mas os discos reproduzem os dados opticamente por meio do uso de um laser. Uma combinação dos itens anteriores também deve ser incluída em um escopo da mídia legível por computador.
[0281] As instruções podem ser executadas por um ou mais processadores. Um ou mais processadores são, por exemplo, um ou mais processadores de sinal digital (digital signal processor, DSP), microprocessadores de uso geral, circuitos integrados de aplicação específica (application specific integrated circuit, ASIC), arranjos lógicos programáveis em campo (field programmable logic arrays, FPGA) ou outros circuitos lógicos equivalentes integrados ou discretos. Portanto, o termo “processador” usado neste relatório descritivo pode ser qualquer uma das estruturas anteriores ou qualquer outra estrutura adequada para implementar as tecnologias descritas neste relatório descritivo. Além disso, em alguns aspectos, a funcionalidade descrita neste relatório descritivo pode ser fornecida dentro de dos módulos de hardware e/ou software dedicados configurados para a codificação e decodificação ou integralmente incorporados em um codec combinado. Além disso, as tecnologias podem ser todas implementadas em um ou mais circuitos ou elementos lógicos.
[0282] As tecnologias desta revelação podem ser implementadas em uma ampla variedade de dispositivos ou aparelhos, incluindo um monofone sem fio, um circuito integrado (integrated circuit, IC) ou um conjunto de ICs (por exemplo, um conjunto de chips). Vários componentes, módulos ou unidades são descritos nesta revelação para enfatizar os aspectos funcionais de dispositivos configurados para realizar as tecnologias reveladas, mas não são necessariamente implementados por diferentes unidades de hardware.
Precisamente, como descrito acima, várias unidades podem ser combinadas em uma unidade de hardware de codec em combinação com o software e/ou firmware adequado ou ser fornecidas por um conjunto de unidades de hardware interoperativas. As unidades de hardware incluem um ou mais processadores descritos acima.

Claims (43)

REIVINDICAÇÕES
1. Método de predição de imagem, CARACTERIZADO pelo fato de que o método compreende: receber um fluxo de bits; analisar o fluxo de bits para obter um modo de predição de um bloco atual; quando o modo de predição do bloco atual for um modo de predição intra e inter combinado, selecionar um modo de execução de um modo de unidade de predição triangular de acordo com uma política pré-ajustada; determinar informações de movimento do bloco atual de acordo com o modo de execução do modo de unidade de predição triangular; realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma amostra de predição inter; obter uma amostra de predição intra de acordo com o modo de predição do bloco atual; e combinar a amostra de predição inter e a amostra de predição intra para obter uma imagem de predição do bloco atual.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que se um modo de predição intra no modo de predição intra e inter combinado for um modo DC ou planar, o modo de unidade de predição triangular não é executado de acordo com a política pré-ajustada.
3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que se um modo de predição intra no modo de predição intra e inter combinado for um modo DC ou planar, apenas divisão diagonal inversa é usada no modo de unidade de predição triangular de acordo com a política pré- ajustada.
4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que quando o modo de predição intra e inter combinado for usado,
o modo de unidade de predição triangular não é executado de acordo com a política pré-ajustada.
5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que se um modo de predição intra no modo de predição intra e inter combinado for um modo DC ou planar, um identificador de modo de unidade de predição triangular não é analisado e o modo de unidade de predição triangular não é executado de acordo com a política pré-ajustada.
6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que quando o modo de predição intra e inter combinado for usado, um identificador de modo de unidade de predição triangular não é analisado e o modo de unidade de predição triangular não é executado de acordo com a política pré-ajustada.
7. Método, de acordo com a reivindicação 5 ou 6, CARACTERIZADO pelo fato de que o identificador de modo de unidade de predição triangular é merge_triangle_flag.
8. Método, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que a divisão diagonal inversa compreende divisão de um canto superior direito a um canto inferior esquerdo.
9. Método, de acordo com qualquer uma das reivindicações 1 a 8, CARACTERIZADO pelo fato de que a determinação de informações de movimento do bloco atual de acordo com o modo de execução do modo de unidade de predição triangular, e realização de um processo de compensação de movimento com base nas informações de movimento compreende: se o modo de unidade de predição triangular for executado, realizar o processo de compensação de movimento de acordo com o modo de unidade de predição triangular; ou se o modo de unidade de predição triangular não for executado, realizar o processo de compensação de movimento de acordo com um modo de fusão.
10. Método, de acordo com qualquer uma das reivindicações 1 a 9, CARACTERIZADO pelo fato de que um identificador de modo de predição intra e inter combinado indica o modo de predição intra e inter combinado.
11. Método, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que o identificador de modo de predição intra e inter combinado é mh_intra_flag.
12. Método, de acordo com qualquer uma das reivindicações 1 a 11, CARACTERIZADO pelo fato de que quando for determinado, de acordo com a política pré-ajustada, que o modo de unidade de predição triangular é executado, o fluxo de bits é analisado para obter um índice de modo de unidade de predição triangular (merge_triangle_idx), e uma direção de divisão (TriangleDir) do modo de unidade de predição triangular é obtida com base em merge_triangle_idx.
13. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) é gerada, e as informações de movimento do bloco atual são determinadas a partir da lista candidata de informações de movimento unidirecional com base no índice de modo de unidade de predição triangular.
14. Método, de acordo com qualquer uma das reivindicações 1 a 11, CARACTERIZADO pelo fato de que quando o modo de unidade de predição triangular não for executado de acordo com a política pré-ajustada, o método compreende: gerar uma lista candidata de informações de movimento de fusão, e determinar as informações de movimento do bloco atual com base em um índice de fusão portado no fluxo de bits.
15. Método, de acordo com qualquer uma das reivindicações 1 a 14,
CARACTERIZADO pelo fato de que a obtenção de uma amostra de predição intra de acordo com o modo de predição do bloco atual compreende: analisar o fluxo de bits para obter uma sintaxe relacionada a modo de codificação intra, e selecionar um modo de predição intra a partir de uma lista de modos candidatos intra (lista candidata intra) com base na sintaxe.
16. Método, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que a sintaxe relacionada a modo de codificação intra compreende um identificador de modo mais provável mh_intra_luma_mpm_flag e um índice de modo mais provável mh_intra_luma_mpm_idx.
17. Método de predição de imagem, CARACTERIZADO pelo fato de que o método compreende: receber um fluxo de bits; analisar o fluxo de bits para obter um modo de unidade de predição triangular de um bloco atual; quando o modo de unidade de predição triangular for usado para o bloco atual, selecionar um modo de execução de um modo de predição intra e inter combinado de acordo com uma primeira política pré-ajustada; obter informações de movimento do bloco atual de acordo com o modo de unidade de predição triangular, para obter uma amostra de predição inter; e obter uma imagem de predição do bloco atual de acordo com o modo de execução do modo de predição intra e inter combinado e a amostra de predição inter.
18. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que a obtenção de uma imagem de predição do bloco atual de acordo com o modo de execução do modo de predição intra e inter combinado e a amostra de predição inter compreende: se o modo de predição intra e inter combinado for executado de acordo com a primeira política pré-ajustada, obter uma amostra de predição intra de acordo com o modo de predição intra e inter combinado, e combinar a amostra de predição inter e a amostra de predição intra para obter a imagem de predição do bloco atual; ou se o modo de predição intra e inter combinado não for executado de acordo com a primeira política pré-ajustada, obter a imagem de predição do bloco atual de acordo com a amostra de predição inter.
19. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que quando o modo de unidade de predição triangular for usado, um identificador de modo de predição intra e inter combinado não é analisado e o modo de predição intra e inter combinado não é executado de acordo com a primeira política pré-ajustada.
20. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que quando o modo de unidade de predição triangular for usado, se uma unidade de predição triangular for dividida ao longo de uma diagonal inversa, um identificador de modo de predição intra e inter combinado é analisado de acordo com uma segunda regra pré-ajustada; ou se uma unidade de predição triangular for dividida ao longo de uma diagonal, um identificador de modo de predição intra e inter combinado não é analisado e o modo de predição intra e inter combinado não é executado.
21. Método, de acordo com a reivindicação 19 ou 20, CARACTERIZADO pelo fato de que o identificador de modo de predição intra e inter combinado é mh_intra_flag.
22. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que quando o modo de unidade de predição triangular for usado, o modo de predição intra e inter combinado não é executado de acordo com a primeira política pré-ajustada.
23. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que quando o modo de unidade de predição triangular for usado, se uma unidade de predição triangular for dividida ao longo de uma diagonal inversa, o modo de predição intra e inter combinado é executado; ou se uma unidade de predição triangular for dividida ao longo de uma diagonal, o modo de predição intra e inter combinado não é executado.
24. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que quando o modo de unidade de predição triangular for usado, se uma unidade de predição triangular for dividida ao longo de uma diagonal, apenas modos de predição horizontal e vertical são usados quando o modo de predição intra e inter combinado for usado.
25. Método, de acordo com qualquer uma das reivindicações 17 a 24, CARACTERIZADO pelo fato de que um identificador de modo de unidade de predição triangular indica um modo de execução do modo de unidade de predição triangular.
26. Método, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o identificador de modo de unidade de predição triangular é merge_triangle_flag.
27. Método, de acordo com qualquer uma das reivindicações 17 a 26, CARACTERIZADO pelo fato de que quando o modo de predição intra e inter combinado for executado, o fluxo de bits é analisado para obter uma sintaxe relacionada a modo de codificação intra, e um modo de predição intra é selecionado a partir de uma lista de modos candidatos intra (lista candidata intra) com base na sintaxe.
28. Método, de acordo com a reivindicação 27, CARACTERIZADO pelo fato de que a sintaxe relacionada a modo de codificação intra compreende um identificador de modo mais provável mh_intra_luma_mpm_flag e um índice de modo mais provável mh_intra_luma_mpm_idx.
29. Método, de acordo com qualquer uma das reivindicações 17 a
28, CARACTERIZADO pelo fato de que o fluxo de bits é analisado para obter um índice de modo de unidade de predição triangular merge_triangle_idx, e uma direção de divisão TriangleDir do modo de unidade de predição triangular é obtida a partir de uma tabela de consulta com base em merge_triangle_idx.
30. Método, de acordo com a reivindicação 29, CARACTERIZADO pelo fato de que uma lista candidata de informações de movimento unidirecional (lista candidata de uni-predição) é gerada, e as informações de movimento do bloco atual são determinadas a partir da lista candidata de informações de movimento unidirecional com base no índice de modo de unidade de predição triangular.
31. Método de predição de imagem, CARACTERIZADO pelo fato de que o método compreende: quando um modo de predição de um bloco atual não for um modo de predição intra e inter combinado, determinar que um modo de unidade de predição triangular seja executado; determinar informações de movimento do bloco atual de acordo com o modo de unidade de predição triangular; e realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma imagem de predição do bloco atual.
32. Método, de acordo com a reivindicação 31, CARACTERIZADO pelo fato de que um identificador de modo de unidade de predição triangular é merge_triangle_flag.
33. Método, de acordo com a reivindicação 31 ou 32, CARACTERIZADO pelo fato de que o método compreende adicionalmente: obter uma direção de divisão (TriangleDir) do modo de unidade de predição triangular.
34. Método, de acordo com qualquer uma das reivindicações 31 a
33, CARACTERIZADO pelo fato de que o método compreende adicionalmente: obter um identificador mh_intra_flag, em que o identificador mh_intra_flag é usado para indicar se o modo de predição do bloco atual é o modo de predição intra e inter combinado.
35. Método, de acordo com qualquer uma das reivindicações 31 a 34, CARACTERIZADO pelo fato de que quando o modo de predição do bloco atual for o modo de predição intra e inter combinado, é determinado que o modo de unidade de predição triangular não seja executado para o bloco atual.
36. Aparelho para decodificar um fluxo de vídeo, compreendendo um processador e uma memória, CARACTERIZADO pelo fato de que a memória armazena instruções, e as instruções habilitam o processador a realizar o método conforme definido em qualquer uma das reivindicações 1 a 16 ou reivindicações 31 a 35.
37. Aparelho para decodificar um fluxo de vídeo, compreendendo um processador e uma memória, CARACTERIZADO pelo fato de que a memória armazena instruções, e as instruções habilitam o processador a realizar o método conforme definido em qualquer uma das reivindicações 17 a 35.
38. Dispositivo de decodificação, compreendendo uma memória não volátil e um processador que são acoplados um ao outro, CARACTERIZADO pelo fato de que a memória é configurada para armazenar instruções de programa, e as instruções de programa habilitam o processador a realizar o método conforme definido em qualquer uma das reivindicações 1 a 16 ou reivindicações 31 a 35.
39. Dispositivo de decodificação, compreendendo uma memória não volátil e um processador que são acoplados um ao outro, CARACTERIZADO pelo fato de que a memória é configurada para armazenar instruções de programa, e as instruções de programa habilitam o processador a realizar o método conforme definido em qualquer uma das reivindicações 17 a 38.
40. Aparelho de predição de imagem, CARACTERIZADO pelo fato de que o aparelho compreende: um módulo de determinação, configurado para: quando um modo de predição de um bloco atual não for um modo de predição intra e inter combinado, determinar que um modo de unidade de predição triangular seja executado; e determinar informações de movimento do bloco atual de acordo com o modo de unidade de predição triangular; e um módulo de obtenção, configurado para realizar um processo de compensação de movimento com base nas informações de movimento, para obter uma imagem de predição do bloco atual.
41. Aparelho, de acordo com a reivindicação 40, CARACTERIZADO pelo fato de que o módulo de obtenção é adicionalmente configurado para obter uma direção de divisão (TriangleDir) do modo de unidade de predição triangular.
42. Aparelho, de acordo com a reivindicação 40 ou 41, CARACTERIZADO pelo fato de que o módulo de obtenção é configurado para obter um identificador mh_intra_flag, em que o identificador mh_intra_flag é usado para indicar se o modo de predição do bloco atual é o modo de predição intra e inter combinado.
43. Aparelho, de acordo com qualquer uma das reivindicações 40 a 42, CARACTERIZADO pelo fato de que o módulo de determinação é adicionalmente configurado para: quando o modo de predição do bloco atual for o modo de predição intra e inter combinado, determinar que o modo de unidade de predição triangular não seja executado para o bloco atual.
BR112021007865-7A 2018-10-27 2019-10-28 método e aparelho de predição de imagem BR112021007865A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811262934.7A CN111107356B (zh) 2018-10-27 2018-10-27 图像预测方法及装置
CN201811262934.7 2018-10-27
PCT/CN2019/113541 WO2020083403A1 (zh) 2018-10-27 2019-10-28 图像预测方法及装置

Publications (1)

Publication Number Publication Date
BR112021007865A2 true BR112021007865A2 (pt) 2021-07-27

Family

ID=70330274

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021007865-7A BR112021007865A2 (pt) 2018-10-27 2019-10-28 método e aparelho de predição de imagem

Country Status (8)

Country Link
US (2) US11711511B2 (pt)
EP (1) EP3866464A4 (pt)
JP (2) JP7254919B2 (pt)
KR (1) KR20210077759A (pt)
CN (4) CN117528077A (pt)
BR (1) BR112021007865A2 (pt)
MX (1) MX2021004793A (pt)
WO (1) WO2020083403A1 (pt)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117528077A (zh) * 2018-10-27 2024-02-06 华为技术有限公司 图像预测方法及装置
CN112970263A (zh) 2018-11-06 2021-06-15 北京字节跳动网络技术有限公司 基于条件的具有几何分割的帧间预测
IL307153A (en) 2018-11-08 2023-11-01 Guangdong Oppo Mobile Telecommunications Corp Ltd A method for encoding/decoding an image signal and a device for it
EP3884667B1 (en) * 2018-12-25 2024-04-17 Beijing Dajia Internet Information Technology Co., Ltd. Video coding with triangular shape prediction units
CN116156164B (zh) * 2018-12-30 2023-11-28 北京达佳互联信息技术有限公司 用于对视频进行解码的方法、设备和可读存储介质
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
JP6801830B1 (ja) * 2019-03-08 2020-12-16 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
CN115136598A (zh) 2020-02-19 2022-09-30 字节跳动有限公司 推断比特流中的视频分量的权重值
KR20230111254A (ko) * 2020-12-03 2023-07-25 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 방법, 인코더, 디코더 및 저장 매체
JP2023028147A (ja) * 2021-08-18 2023-03-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023059100A1 (ko) * 2021-10-06 2023-04-13 현대자동차주식회사 기하학적 분할 모드를 이용한 비디오 부호화/복호화 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277116B2 (ja) * 1996-03-18 2002-04-22 シャープ株式会社 動画像符号化装置および動画像復号化装置
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN102113326A (zh) * 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
CN102685474B (zh) * 2011-03-10 2014-11-05 华为技术有限公司 预测模式的编解码方法、编解码设备及网络系统
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
WO2016072775A1 (ko) * 2014-11-06 2016-05-12 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102338356B1 (ko) * 2016-05-24 2021-12-13 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2018128466A1 (ko) * 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CA3105461C (en) 2018-07-04 2024-01-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN116939198A (zh) * 2018-10-23 2023-10-24 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
CN117528077A (zh) * 2018-10-27 2024-02-06 华为技术有限公司 图像预测方法及装置
US11611759B2 (en) * 2019-05-24 2023-03-21 Qualcomm Incorporated Merge mode coding for video coding

Also Published As

Publication number Publication date
MX2021004793A (es) 2021-08-11
CN111107356A (zh) 2020-05-05
US20210250581A1 (en) 2021-08-12
JP2023076568A (ja) 2023-06-01
CN117692636A (zh) 2024-03-12
CN115695785A (zh) 2023-02-03
EP3866464A1 (en) 2021-08-18
EP3866464A4 (en) 2022-03-16
KR20210077759A (ko) 2021-06-25
CN111107356B (zh) 2023-11-10
JP7254919B2 (ja) 2023-04-10
CN115695785B (zh) 2023-06-06
WO2020083403A1 (zh) 2020-04-30
CN117528077A (zh) 2024-02-06
JP2022511657A (ja) 2022-02-01
US20230188711A1 (en) 2023-06-15
US11711511B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
US11765343B2 (en) Inter prediction method and apparatus
BR112021007865A2 (pt) método e aparelho de predição de imagem
JP7106744B2 (ja) ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
WO2020143594A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
BR112021004984A2 (pt) aparelho e método para quantização inversa
CN111526368B (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
BR122023024004A2 (pt) Codificador de vídeo, decodificador de vídeo e métodos correspondentes
BR112021011427A2 (pt) Método e aparelho de predição de bloco de croma
BR112021013163A2 (pt) Método e aparelho de predição de bloco de croma
BR112020026818A2 (pt) codificador, decodificador e métodos correspondentes de derivação de resistência de limite de filtro de desbloqueio
BR112021001813A2 (pt) método de processamento de vídeo, aparelho de processamento de vídeo, codificador, decodificador, mídia e programa de computador
BR112021003741A2 (pt) codificador, decodificador e métodos correspondentes usando uma codificação de paleta
BR112021001991A2 (pt) método de predição de bloco de croma e dispositivo
BR112021003999A2 (pt) relação entre elementos de restrição de partição
BR112021014502A2 (pt) Codificador, decodificador e métodos correspondentes de adaptação de filtro de desblocagem
BR122022009445A2 (pt) Codificador, decodificador e métodos correspondentes para simplificar sinalização de cabeçalho de imagem
ES2966509T3 (es) Método y dispositivo de partición de imagen
WO2023051156A1 (zh) 视频图像的处理方法及装置
BR112021011307A2 (pt) Método e aparelho de predição inter, fluxo de bits e mídia de armazenamento não transitória
BR112021009099A2 (pt) codificador de vídeo, decodificador de vídeo e métodos de codificação ou decodificação de uma imagem
ES2946058T3 (es) Un codificador, un decodificador y los métodos correspondientes que usan la codificación intramodo para la intrapredicción
US11722668B2 (en) Video encoder, video decoder, and corresponding method
BR122023021074A2 (pt) Método de desblocagem, dispositivo para uso em um codificador e/ou um decodificador de imagem, codificador, decodificador, e meio legível por computador não transitório