BR112021011632A2 - Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, e método de decodificação de imagem - Google Patents

Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, e método de decodificação de imagem Download PDF

Info

Publication number
BR112021011632A2
BR112021011632A2 BR112021011632-0A BR112021011632A BR112021011632A2 BR 112021011632 A2 BR112021011632 A2 BR 112021011632A2 BR 112021011632 A BR112021011632 A BR 112021011632A BR 112021011632 A2 BR112021011632 A2 BR 112021011632A2
Authority
BR
Brazil
Prior art keywords
block
image
unit
prediction
intensity
Prior art date
Application number
BR112021011632-0A
Other languages
English (en)
Inventor
Koji Okawa
Masato Shima
Original Assignee
Canon Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Kabushiki Kaisha filed Critical Canon Kabushiki Kaisha
Publication of BR112021011632A2 publication Critical patent/BR112021011632A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, e método de decodificação de imagem. a presente invenção refere-se, no processamento de predição, a um dentre um primeiro modo para derivar, usando um pixel em uma imagem incluindo um bloco, um pixel predito no bloco, um segundo modo para derivar o pixel predito no bloco usando um pixel em uma imagem diferente de uma imagem incluindo o bloco, um terceiro modo para gerar o pixel predito no bloco usando tanto o pixel na imagem incluindo o bloco quanto um pixel em uma imagem diferente de uma imagem incluindo o bloco que pode ser usado. se o terceiro modo for usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro bloco e o segundo bloco é definida para a mesma intensidade que em um caso em que o primeiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco.

Description

“APARELHO DE CODIFICAÇÃO DE IMAGEM, MÉTODO DE CODIFICAÇÃO DE IMAGEM, APARELHO DE DECODIFICAÇÃO DE IMAGEM, E MÉTODO DE DECODIFICAÇÃO DE IMAGEM” CAMPO DA INVENÇÃO
[0001] A presente invenção refere-se a uma técnica de codificação de imagem e técnica de decodificação de imagem.
FUNDAMENTOS DA INVENÇÃO
[0002] Como um método de codificação para gravação de compressão de imagem em movimento, um método de codificação H.264/AVC (descrito como H.264 daqui em diante) e um método de codificação HEVC (Codificação de Vídeo de Alta Eficiência – do inglês, High Efficiency Video Coding) (descrito como HEVC daqui em diante) são conhecidos. Na HEVC, para melhorar a eficiência da codificação, é empregue um bloco básico tendo um tamanho maior do que um macro-bloco convencional (16 pixels × 16 pixels). O bloco básico com o tamanho grande é chamado de CTU (Unidade de Árvore de Codificação), e seu tamanho é de 64 pixels × 64 pixels no máximo. A CTU é ainda dividida em sub-blocos, cada um dos quais é uma unidade para realizar pre- dição ou conversão.
[0003] Além disso, na HEVC, o processamento de filtro de desblocagem adapta- tiva é realizado para a fronteira de blocos de imagens reconstruídas obtidas através da adição de um sinal de processamento de quantização inversa / conversão inversa e uma imagem predita, suprimindo assim uma distorção de bloco visualmente percep- tível e impedindo a degradação da qualidade de imagem de se propagar para a ima- gem predita. PTL 1 descreve uma técnica considerando tal filtragem de desblocagem.
[0004] Nos últimos anos, ações foram tomadas para implementar a padronização internacional de um método de codificação de maior eficiência como uma substituição de HEVC. JVET (Equipe de Colaboração Conjunta em Codificação de Vídeo, do inglês Joint Video Experts Team) foi encontrada entre IOS / IEC e ITU-T, e a padronização de um método de codificação VVC (Codificação de Vídeo Versátil – do inglês, Versa- tile Video Coding) (descrita como VVC daqui em diante) foi promovida. Para melhorar a eficiência de codificação, além das convencionais predição intra e predição inter, um novo método de predição (descrito como predição intra / inter ponderada daqui em diante) usando pixels preditos por predição intra e pixels preditos por predição inter foi examinado. Lista de Citações Literatura Patentária
[0005] PTL 1: Patente Japonesa submetida à inspeção pública No. 2014-507863
SUMÁRIO DA INVENÇÃO Problema Técnico
[0006] Também em VVC, foi examinada a introdução da filtragem de desbloca- gem, como a HEVC. Também em VVC, em adição à predição intra e predição inter convencionais, a introdução de predição intra / inter ponderada que gera um novo pixel predito usando tanto pixels preditos por predição intra quanto pixels preditos por predição inter foi examinada. Em HEVC, o método de decisão de intensidade de filtro de desblocagem é baseado em um método de predição tal como predição intra / pre- dição inter. Por outro lado, na predição intra / inter ponderada que é um novo método de predição também, a intensidade do filtro de desblocagem é decidida pelo mesmo método que na predição inter. No entanto, isso pode não suprimir eficientemente uma distorção em uma fronteira de blocos. A presente invenção fornece uma técnica de decidir apropriadamente a intensidade do processamento de filtro de desblocagem para predição intra / inter ponderada e suprimir uma distorção gerada em uma fronteira de blocos. Solução para o Problema
[0007] De acordo com um aspecto da presente invenção, é fornecido um aparelho de codificação de imagem caracterizado por compreender meio de codificação para codificar uma imagem executando processamento de predição para cada bloco, meio de decisão para decidir pelo menos uma intensidade do processamento de filtro de desblocagem a ser executado para uma fronteira entre um primeiro bloco e um se- gundo bloco adjacente ao primeiro bloco, com base em um modo usado no processa- mento de predição do primeiro bloco e um modo usado no processamento de predição do segundo bloco, e meio de processamento para executar, para a fronteira, o pro- cessamento de filtro de desblocagem de acordo com a intensidade decidida pelo meio de decisão, em que o meio de codificação pode usar, no processamento de predição, um dentre um primeiro modo para derivar, usando um pixel em uma imagem incluindo um bloco de um alvo de codificação, um pixel predito no bloco do alvo, um segundo modo para derivar o pixel predito no bloco do alvo usando um pixel em uma imagem diferente da imagem incluindo o bloco do alvo de codificação, e um terceiro modo para gerar o pixel predito no bloco do alvo usando tanto o pixel na imagem incluindo o bloco do alvo de codificação e o pixel na imagem diferente da imagem incluindo o bloco do alvo, e se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, o meio de decisão define a intensidade do processamento de filtro de desblocagem a ser executado para a fronteira entre o primeiro bloco e o segundo bloco para a mesma intensidade como no caso em que o primeiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco. Efeitos Vantajosos da Invenção
[0008] De acordo com a configuração da presente invenção, é possível decidir apropriadamente a intensidade do processamento de filtro de desblocagem para pre- dição intra / inter ponderada e suprimir uma distorção gerada em uma fronteira de blocos.
[0009] Outras características e vantagens da presente invenção serão evidentes a partir da seguinte descrição tomada em conjunto com os desenhos em anexo. Ob- serva-se que os mesmos números de referência denotam os mesmos componentes ou componentes similares ao longo dos desenhos em anexo.
BREVE DESCRIÇÃO DOS DESENHOS
[0010] Os desenhos em anexo, que são incorporados e constituem uma parte da especificação, ilustram modalidades da invenção e, juntamente com a descrição, ser- vem para explicar os princípios da invenção.
[0011] A Figura 1 é um diagrama de blocos que mostra um exemplo da configura- ção funcional de um aparelho de codificação de imagem.
[0012] A Figura 2 é um diagrama de blocos que mostra um exemplo da configura- ção funcional de um aparelho de decodificação de imagem.
[0013] A Figura 3 é um fluxograma do processamento de codificação.
[0014] A Figura 4 é um fluxograma do processamento de decodificação.
[0015] A Figura 5 é um diagrama de blocos que mostra um exemplo da configura- ção de hardware de um aparelho de computador.
[0016] A Figura 6 é uma vista que mostra um exemplo da configuração de um fluxo de bits.
[0017] A Figura 7 é uma vista que mostra um exemplo de processamento de filtro de desblocagem.
DESCRIÇÃO DETALHADA DA INVENÇÃO
[0018] As modalidades de acordo com a presente invenção serão agora descritas em detalhes com referência aos desenhos em anexo. Observa-se que uma modali- dade a ser descrita abaixo mostra um exemplo quando a presente invenção é imple- mentada em detalhes, e é uma de modalidades detalhadas de uma configuração des- crita nas reivindicações. Por exemplo, na explicação a seguir, são usados termos tais como “bloco básico” e “sub-bloco”. No entanto, as modalidades podem ser aplicadas a várias unidades de processamento chamadas de “bloco” e “unidade” em uma téc- nica de codificação de imagem. [ Primeira Modalidade ]
[0019] Um exemplo da configuração funcional de um aparelho de codificação de imagem de acordo com esta modalidade será descrito primeiro com referência ao di- agrama de blocos da Figura 1. Uma unidade de controle 199 controla a operação do aparelho de codificação de imagem inteiro. Uma unidade de divisão em blocos 102 divide uma imagem de entrada (a imagem de cada quadro de uma imagem em movi- mento ou uma imagem estática) em uma pluralidade de blocos básicos e emite cada bloco básico (imagem dividida).
[0020] Uma unidade de predição 103 divide cada bloco básico em uma pluralidade de sub-blocos (imagens divididas). Para cada sub-bloco, a unidade de predição 103 gera uma imagem predita realizando predição de intra-quadro (predição intra), predi- ção inter-quadros (predição inter) ou predição intra / inter ponderada que adiciona pesos tanto à predição intra-quadro quanto à predição inter-quadros e combina as mesmas. Então, para cada sub-bloco, a unidade de predição 103 obtém a diferença entre a imagem predita e o sub-bloco como um erro de predição. Além disso, a uni- dade de predição 103 gera, como informação de predição, informação representando como o bloco básico é dividido em sub-blocos, o modo de predição, e informação necessária para predição, tal como um vetor de movimento.
[0021] Uma unidade de conversão / quantização 104 realiza a transformação or- togonal do erro de predição de cada sub-bloco, obtendo assim coeficientes de trans- formação (coeficientes de transformação ortogonal) de cada sub-bloco. A unidade de conversão / quantização 104 quantifica os coeficientes de transformação de cada sub- bloco, gerando assim coeficientes quantizados do sub-bloco.
[0022] Uma unidade de quantização inversa / conversão inversa 105 gera coefici- entes de transformação quantizando inversamente os coeficientes quantizados de cada sub-bloco gerado pela unidade de conversão / quantização 104 usando a matriz de quantização usada para quantizar o sub-bloco, e realiza a transformação ortogonal inversa dos coeficientes de transformação, gerando assim um erro de predição.
[0023] Uma unidade de regeneração de imagem 106 gera, com base na informa- ção de predição gerada pela unidade de predição 103, uma imagem predita a partir dos dados de imagem codificados armazenados em uma memória de quadro 107, e regenera uma imagem a partir da imagem predita e o erro de predição gerado pela unidade de quantização inversa / conversão inversa 105. A unidade de regeneração de imagem 106 armazena a imagem regenerada na memória de quadro 107. Os da- dos de imagem armazenados na memória de quadro 107 são uma imagem a ser re- ferida pela unidade de predição 103 quando executando a predição (processamento de predição) para a imagem de outro quadro.
[0024] A unidade de filtragem em laço 108 realiza processamento de filtragem em laço, tal como filtragem de desblocagem ou deslocamento adaptativo de amostra para a imagem armazenada na memória de quadro 107.
[0025] Uma unidade de cálculo de intensidade de processamento de filtragem 112 calcula a intensidade (valor bS) de processamento de filtro de desblocagem a ser re- alizado para a fronteira entre sub-blocos adjacentes entre si usando a informação de predição emitida a partir da unidade de predição 103 e os coeficientes quantizados emitidos a partir da unidade de conversão / quantização 104.
[0026] Um dos dois sub-blocos adjacentes entre si será descrito como um sub- bloco P e o outro como um sub-bloco Q. O valor bS que é a intensidade do processa- mento de filtro de desblocagem realizado para a fronteira entre o sub-bloco P e o sub- bloco Q é calculado da seguinte maneira. x Se pelo menos um dentre o sub-bloco P e o sub-bloco Q for um sub- bloco ao qual é aplicada predição intra ou predição intra / inter ponderada, valor bS = 2. x Se um coeficiente de transformação ortogonal diferente de zero existir em pelo menos um dentre o sub-bloco P e o sub-bloco Q, valor bS = 1. x Caso contrário, se o valor absoluto (magnitude) da diferença entre um vetor de movimento do sub-bloco P e um vetor de movimento do sub-bloco Q for igual ou maior do que um valor predeterminado (por exemplo, um pixel ou mais), valor bS = 1. x Caso contrário, se uma imagem de referência de compensação de movimento for diferente entre o sub-bloco P e o sub-bloco Q, ou se o nú- mero de vetores de movimento for diferente, valor bS = 1. x Caso contrário, valor bS = 0.
[0027] Aqui, à medida que o valor bS se torna grande, o processamento de filtro de desblocagem usando o filtro de desblocagem de uma intensidade mais alta é exe- cutado. Nesta modalidade, quando o valor bS = 0, o processamento de filtro de des- blocagem não é executado. Quando o valor bS = 1, o processamento de filtro de des- blocagem é executado apenas para componentes de luminância. Quando o valor bS = 2, o processamento de filtro de desblocagem é executado para componentes de luminância e componentes de diferença de cor. Isto é, nesta modalidade, o valor bS representa se deve-se realizar o processamento de filtro de desblocagem ou repre- senta o tipo de sinais (componentes de imagem), tais como componentes de luminân- cia ou componentes de diferença de cor como o alvo do processamento de filtro de desblocagem. No entanto, a presente invenção não está limitada a esses. O número de tipos de intensidade de processamento de filtro de desblocagem pode ser maior ou menor. O conteúdo de processamento de acordo com a intensidade do processa- mento de filtro de desblocagem também pode ser diferente.
[0028] Por exemplo, o valor bS pode assumir valores de cinco níveis de 0 a 4, como no processamento de filtro de desblocagem de H.264. Nesta modalidade, a in- tensidade do processamento de filtro de desblocagem para a fronteira entre os sub- blocos usando predição intra / inter ponderada tem o mesmo valor que quando os sub- blocos usam predição intra. Isso indica que o valor bS = 2, ou seja, a intensidade é máxima. No entanto, a modalidade não está limitada a esses. Um valor bS intermedi- ário pode ser fornecido entre o valor bS = 1 e o valor bS = 2 nesta modalidade, e se pelo menos um dentre o sub-bloco P e o sub-bloco Q usa predição intra / inter ponde- rada, o valor bS intermediário pode ser usado. Neste caso, o processamento de filtro de desblocagem similar ao do caso normal em que o valor bS = 2 pode ser executado para componentes de luminância, e o processamento de filtro de desblocagem cuja intensidade de um efeito de suavização é menor do que em um caso em que o valor bS = 2 pode ser executado para componentes de diferença de cor. Isso torna possível executar o processamento de filtro de desblocagem de um grau de suavização inter- mediário para a fronteira entre os sub-blocos usando predição intra / inter ponderada. O termo simples “intensidade do processamento de filtro de desblocagem”, conforme descrito acima, significa alterar a intensidade do processamento de filtro de desbloca- gem alterando um sinal (um componente de luminância ou um componente de dife- rença de cor) como o alvo do processamento de filtro de desblocagem ou alterando a intensidade do efeito de suavização de corrigir um sinal pelo filtro de desblocagem.
[0029] Conforme descrito acima, a intensidade do processamento de filtro de des- blocagem a ser realizado para a fronteira entre os blocos adjacentes em uma imagem regenerada (imagem decodificada) armazenada na memória de quadro 107 é deci- dida com base na informação obtida no processo de codificação preditiva de cada bloco.
[0030] Nesta modalidade, o filtro de desblocagem é aplicado a uma região de ima- gem de 8 pixels × 8 pixels, incluindo a fronteira de sub-blocos, implementando assim o processamento de filtro de desblocagem para a região da imagem.
[0031] O processamento de filtro de desblocagem realizado pela unidade de filtra- gem em laço 108 será descrito aqui em detalhes usando um exemplo mostrado na Figura 7. Na Figura 7, o sub-bloco Q (bloco Q na Figura 7) tendo um tamanho de 8 pixels × 8 pixels é adjacente ao lado direito do sub-bloco P (bloco P na Figura 7) tendo um tamanho de 8 pixels × 8 pixels. Aqui, o processamento de filtro de desblocagem é realizado para a parte da fronteira (8 pixels (horizontal) × 8 pixels (vertical) formada a partir de 4 pixels (horizontal) × 8 pixels (vertical) na extremidade direita do sub-bloco P e 4 pixels (horizontal) × 8 pixels (vertical) na extremidade esquerda do sub-bloco Q) entre o sub-bloco P e o sub-bloco Q. Neste momento, o processamento a ser descrito abaixo é realizado para cada metade superior e a metade inferior da parte de fronteira, implementando assim o processamento de filtro de desblocagem para cada uma da metades superior e da metade inferior. Aqui, a metade superior da parte de fronteira indica uma região de pixel de 8 pixels (horizontal) × 4 pixels (vertical) formada a partir de 4 pixels (horizontal) × 4 pixels (vertical) no lado superior direito do sub-bloco P e 4 pixels (horizontal) × 4 pixels (vertical) no lado superior esquerdo do sub-bloco Q. Além disso, a metade inferior da parte de fronteira indica uma região de pixel de 8 pixels (horizontal) × 4 pixels (vertical) formados de 4 pixels (horizontal) × 4 pixels (vertical) no lado inferior direito do sub-bloco P e 4 pixels (horizontal) × 4 pixels (vertical) no lado inferior esquerdo do sub-bloco Q.
[0032] O processamento de filtro de desblocagem para a metade inferior da parte de fronteira será descrito abaixo. O processamento de filtro de desblocagem a ser descrito abaixo é aplicado de forma similar à metade superior da parte de fronteira.
[0033] Retângulos com p00 a p33 adicionados na Figura 7 representam pixels na região de pixel de 4 pixels (horizontal) × 4 pixels (vertical) no lado inferior direito do sub-bloco P, e p00 a p33 indicam valores de pixel. q00 a q33 na Figura 7 representam pixels na região de pixel de 4 pixels (horizontal) × 4 pixels (vertical) no lado inferior esquerdo do sub-bloco Q, e q00 a q33 indicam valores de pixel. Em primeiro lugar, em relação a um sinal de luminância, se o valor bS ≥ 1, se deve-se realizar o proces- samento de filtragem é determinado usando a seguinte desigualdade.
[0034] | p20 - 2 × p10 + p00 | + | p23 - 2 × p13 + p03 | + | q20 - 2 × q10 + q00 | + | q23 - 2 × q13 + q03 | < β
[0035] onde β é um valor obtido a partir do valor médio de um parâmetro de quan- tização do sub-bloco P e um parâmetro de quantização do sub-bloco Q. Somente quando esta desigualdade é satisfeita, é determinado realizar o processamento de filtro de desblocagem. Quando o processamento de filtro de desblocagem está para ser executado, é determinado a seguir qual dentre filtragem forte e filtragem fraca, que têm diferentes efeitos de suavização, deve ser usada. Se todas as desigualdades (1) a (6) a serem mostradas abaixo forem satisfeitas, é determinado usar uma filtragem forte com um alto efeito de suavização. Caso contrário, é determinado usar uma filtra- gem fraca, cujo efeito de suavização é mais fraco do que uma filtragem forte. (1) 2 u (|p20 – 2 u p10 + p00| + |q20 - 2 u q10 + q00|) < (E >> 2) (2) 2 u (|p23 – 2 u p13 + p03| + |q23 - 2 u q13 + q03|) < (E >> 2) (3) |p30 - p00| + |q00 - q30| < (E >> 3) (4) |p33 - p03| + |q03 - q33| < (E >> 3) (5) |p00 - q00| < ((5 u tc + 1) >> 1) (6) |p03 - q03| < ((5 u tc + 1) >> 1)
[0036] onde >> N (N = 1 a 3) significa cálculo aritmético de deslocamento para a direita de N bits, e tc é um valor obtido a partir do valor bS, o parâmetro de quantização do sub-bloco P, e o parâmetro de quantização do sub-bloco Q.
[0037] Fazendo com que p’0k, p’1k, p’2k, q’0k, q’1k e q’2k (k = 0 a 3) sejam pixels após a filtragem, o processamento de filtragem forte tem um alto efeito de suavização para um sinal de luminância é representado por p’0k = Clip3(p0k - 2 u tc, p0k + 2 u tc, (p2k + 2 u p1k + 2 u p0k + 2 u q0k + q1k + 4) >> 3)
p’1k = Clip3(p1k - 2 u tc, p1k + 2 u tc, (p2k + p1k + p0k + q0k + 2) >> 2) p’2k = Clip3(p2k - 2 u tc, p2k + 2 u tc, (2 u p3k + 3 u p2k + p1k + p0k + q0k + 4) >> 3) q’0k = Clip3(q0k - 2 u tc, q0k + 2 u tc, (q2k + 2 u q1k + 2 u q0k + 2 u p0k + p1k + 4) >> 3) q’1k = Clip3(q1k - 2 u tc, q1k + 2 u tc, (q2k + q1k + q0k + p0k + 2) >> 2) q’2k = Clip3(q2k - 2 u tc, q2k + 2 u tc, (2 u q3k + 3 u q2k + q1k + q0k + p0k + 4) >> 3)
[0038] onde Clip3 (a, b, c) é uma função para realizar o processamento de corte de forma que o intervalo de c satisfaça a d b d c. Por outro lado, o processamento de filtragem fraca com um baixo efeito de suavização para um sinal de luminância é exe- cutado por ' = (9 u (q0k - p0k) – 3 u (q1k - p1k) + 8) >> 4 |'| < 10 u tc
[0039] Se esta desigualdade não for satisfeita, o processamento de filtro de des- blocagem não é executado. Se a desigualdade for satisfeita, o processamento a ser descrito abaixo é executado para o valor de pixel p0k e o valor de pixel q0k. ' = Clip3(-tc, tc, ') p’0k = Clip1Y(p0k + ') q’0k = Clip1Y(q0k - ')
[0040] onde Clip1Y (a) é uma função para executar o processamento de corte de modo que o intervalo de a satisfaça 0 d a d (um valor máximo que pode ser expresso pela profundidade de bits de um sinal de luminância). Além disso, se as condições representadas por |p20 – 2 u p10 + p00| + |p23 - 2 u p13 + p03| < (E + (E >> 1)) >> 3) |q20 – 2 u q10 + q00| + |q23 - 2 u q13 + q03| < (E + (E >> 1)) >> 3)
[0041] forem satisfeitas, o seguinte processamento de filtragem é executado para p1k e q1k. 'p = Clip3(-(tc >> 1), tc >> 1, (((p2k + p0k + 1) >> 1) - p1k + ') >> 1) p’1k = Clip1Y(p1k + 'p) 'q = Clip3(-(tc >> 1), tc >> 1, (((q2k + q0k + 1) >> 1) - q1k + ') >> 1)
q’1k = Clip1Y(q1k + 'q)
[0042] Quanto ao processamento de filtro de desblocagem de um sinal de dife- rença de cor, o seguinte processamento é executado apenas quando o valor bS = 2. ' = Clip3(-tc, tc, ((((q0k - p0k) << 2) + p1k - q1k + 4) >> 3)) p’0k = Clip1C(p0k + ') p’0k = Clip1C(p0k - ')
[0043] onde Clip1C(a) é uma função para realizar o processamento de corte de modo que o intervalo de a satisfaça 0 d a d (um valor máximo que pode ser expresso pela profundidade de bits de um sinal de diferença de cor). Nesta modalidade, o valor bS que representa a intensidade do processamento de filtro de desblocagem indica o tipo de um sinal como o alvo do processamento de filtro de desblocagem e, além disso, um filtro forte tendo um alto efeito de suavização e um filtro fraco com um baixo efeito de suavização são seletivamente usados de acordo com a condição de um valor de pixel. No entanto, a presente invenção não está limitada a esses. Por exemplo, não apenas o tipo de sinal, mas também a intensidade do efeito de suavização pode ser decidida de acordo com o valor bS. Alternativamente, apenas a intensidade do efeito de suavização pode ser decidida com base no valor bS, e o tipo de sinal pode ser decidido com base em outra condição.
[0044] Uma unidade de codificação 109 codifica os coeficientes quantizados ge- rados pela unidade de conversão / quantização 104 e a informação de predição ge- rada pela unidade de predição 103, gerando assim dados codificados. Uma unidade de codificação combinada 110 gera um fluxo de bits incluindo os dados codificados gerados pela unidade de codificação 109 e os dados de cabeçalho incluindo informa- ção necessária para a decodificação de uma imagem de entrada e emite o fluxo de bits.
[0045] A operação do aparelho de codificação de imagem de acordo com esta modalidade será descrita a seguir. A unidade de divisão em blocos 102 divide uma imagem de entrada em uma pluralidade de blocos básicos e emite cada um dos blocos básicos divididos.
[0046] Em uma base de bloco básico, a unidade de predição 103 divide o bloco básico em uma pluralidade de sub-blocos (imagens divididas). Para cada sub-bloco, a unidade de predição 103 decide qual dos seguintes métodos de predição deve ser usado para codificação. x predição intra, tal como predição horizontal ou predição vertical x predição inter para realizar a compensação de movimento a partir de um quadro de referência x predição intra / inter ponderada que combina predição intra e predição inter
[0047] Os métodos de predição usados nesta modalidade serão descritos nova- mente. Na predição intra, usando pixels codificados espacialmente localizados em torno de um bloco (bloco alvo de codificação) como um alvo de codificação, os pixels preditos do bloco alvo de codificação são gerados (derivados), e um modo de predição intra representando um método de predição intra, tal como predição horizontal, predi- ção vertical ou predição DC, também é gerado.
[0048] Na predição inter, usando pixels codificados de um quadro temporalmente diferente do bloco alvo de codificação, os pixels preditos do bloco alvo de codificação são gerados e a informação de movimento que representa um quadro a ser referido, um vetor de movimento ou similar também é gerada.
[0049] Na predição intra / inter ponderada, os valores de pixel de pixels preditos do bloco alvo de codificação são gerados obtendo-se a média ponderada dos valores de pixel gerados pela predição intra descrita acima e os valores de pixel gerados pela predição inter descrita acima (usando ambos). Os valores de pixel dos pixels preditos são calculados usando, por exemplo, a equação (1) abaixo (uma equação em um caso em que o tamanho do bloco básico é de 8 pixels × 8 pixels). p[x][y] = (w u pInter[x][y] + (8 - w) u pIntra[x][y]) >> 3) ... (1)
[0050] “>>” representa um pequeno deslocamento de bits para a direita. Na equa- ção (1), p[x][y] é o valor de pixel de um pixel predito por predição intra / inter ponde- rada, que é calculado para coordenadas (x, y) no bloco alvo de codificação. pInter[x][y] é o valor de pixel por predição inter para as coordenadas (x, y) no bloco alvo de codi- ficação, e pInter[x][y] é o valor de pixel por predição inter para as coordenadas (x, y)
no bloco alvo de codificação. w representa um valor de peso para os valores de pixel de predição inter e os valores de pixel de predição intra. Nesta modalidade, quando w = 4, os pesos para os valores de pixel de predição inter e os valores de pixel de pre- dição intra tornam-se iguais. Em outras palavras, se w > 4, o peso para os valores de pixel de predição inter aumenta. Se w < 4, o peso para os valores de pixel de predição intra aumenta. O método de decisão do valor de peso não é particularmente limitado, e o valor de peso é decidido de acordo com o tamanho de um vetor de movimento, a posição de um bloco alvo de codificação e similares do modo predição intra ou predi- ção inter. Na predição intra / inter ponderada, os pixels preditos do bloco alvo de co- dificação são gerados desta forma, e o modo predição intra e a informação de movi- mento usada para gerar os pixels preditos também são gerados.
[0051] A unidade de predição 103 então gera uma imagem predita a partir do mé- todo de predição decidido e pixels codificados, e gera um erro de predição a partir do sub-bloco e da imagem predita. A unidade de predição 103 também gera, como infor- mação de predição, informação representando como o bloco básico é dividido em sub- blocos, o modo de predição, e a informação necessária para predição, tal como um vetor de movimento.
[0052] A unidade de conversão / quantização 104 realiza a transformação ortogo- nal do erro de predição de cada sub-bloco, gerando assim coeficientes de transforma- ção de cada sub-bloco. A unidade de conversão / quantização 104 quantifica os coe- ficientes de transformação de cada sub-bloco, gerando assim coeficientes quantiza- dos do sub-bloco.
[0053] A unidade de quantização inversa / conversão inversa 105 gera coeficien- tes de transformação quantizando inversamente os coeficientes quantizados de cada sub-bloco gerado pela unidade de conversão / quantização 104 usando a matriz de quantização usada para quantizar o sub-bloco, e realiza a transformação ortogonal inversa dos coeficientes de transformação, gerando assim um erro de predição.
[0054] A unidade de regeneração de imagem 106 gera, com base na informação de predição gerada pela unidade de predição 103, uma imagem predita a partir dos dados de imagem codificados armazenados na memória de quadro 107, e regenera uma imagem a partir da imagem predita e o erro de predição gerado pela unidade de quantização inversa / conversão inversa 105. A unidade de regeneração de imagem 106 armazena a imagem regenerada na memória de quadro 107.
[0055] A unidade de cálculo de intensidade de processamento de filtragem 112 calcula a intensidade de processamento de filtro de desblocagem a ser realizado para a fronteira entre sub-blocos adjacentes entre si, realizando o processamento descrito acima usando a informação de predição emitida a partir da unidade de predição 103 e o coeficientes quantizados emitidos a partir da unidade de conversão / quantização
104.
[0056] A unidade de filtragem em laço 108 realiza processamento de filtragem em laço, tal como filtragem de desblocagem ou deslocamento adaptativo de amostra para a imagem armazenada na memória de quadro 107. O processamento de filtro de des- blocagem a ser realizado pela unidade de filtragem em laço 108 é baseado na inten- sidade obtida pela unidade de cálculo de intensidade de processamento de filtragem
112.
[0057] A unidade de codificação 109 codifica por entropia os coeficientes quanti- zados gerados pela unidade de conversão / quantização 104 e a informação de pre- dição gerada pela unidade de predição 103, gerando assim dados codificados. O mé- todo de codificação de entropia não é particularmente designado, e podem ser usados codificação Golomb, codificação aritmética, codificação Huffman ou similares.
[0058] A unidade de codificação combinada 110 gera um fluxo de bits por multi- plexação dos dados codificados, dados de cabeçalho e similares gerados pela uni- dade de codificação 109 e emite o fluxo de bits gerado.
[0059] O processamento de codificação de uma imagem de entrada pelo aparelho de codificação de imagem descrito acima será descrito com referência ao fluxograma da Figura 3. Na etapa S301, a unidade de codificação combinada 110 codifica um cabeçalho necessário para a codificação de uma imagem, gerando assim dados de cabeçalho (dados codificados).
[0060] Na etapa S302, a unidade de divisão em blocos 102 divide uma imagem de entrada em uma pluralidade de blocos básicos. Na etapa S303, a unidade de predição
103 seleciona, como um bloco básico selecionado, um não selecionado dos blocos básicos divididos na etapa S302. A unidade de predição 103 decide um método de divisão em sub-blocos (nesta modalidade, um método de predição dentre predição intra, predição inter e predição intra / inter ponderada), e divide o bloco básico seleci- onado em uma pluralidade de sub-blocos de acordo com o método de divisão em sub- blocos decidido. Além disso, a unidade de predição 103 decide o método de predição em uma base de sub-bloco. Para cada sub-bloco, a unidade de predição 103 gera uma imagem predita realizando predição de acordo com o método de predição deci- dido usando uma imagem na memória de quadro 107, e obtém a diferença entre o sub-bloco e a imagem predita como um erro de predição. Além disso, a unidade de predição 103 gera, como informação de predição, informação representando o método de divisão em sub-blocos, o modo de predição, e informação necessária para predi- ção, tal como um vetor de movimento.
[0061] Na etapa S304, a unidade de conversão / quantização 104 realiza a trans- formação ortogonal do erro de predição de cada sub-bloco, gerando assim coeficien- tes de transformação de cada sub-bloco. A unidade de conversão / quantização 104 quantifica os coeficientes de transformação de cada sub-bloco, gerando assim coefi- cientes quantizados do sub-bloco.
[0062] Na etapa S305, a unidade de quantização inversa / conversão inversa 105 gera coeficientes de transformação quantizando inversamente os coeficientes quanti- zados de cada sub-bloco gerado na etapa S304 usando a matriz de quantização usada para quantizar o sub-bloco. Então, a unidade de quantização inversa / conver- são inversa 105 realiza transformação ortogonal inversa dos coeficientes de transfor- mação gerados, gerando assim um erro de predição.
[0063] Na etapa S306, a unidade de regeneração de imagem 106 gera, com base na informação de predição gerada pela unidade de predição 103, uma imagem predita a partir dos dados de imagem codificados armazenados na memória de quadro 107. Em seguida, a unidade de regeneração de imagem 106 regenera uma imagem a partir da imagem predita e do erro de predição gerado pela unidade de quantização inversa
/ conversão inversa 105. A unidade de regeneração de imagem 106 armazena a ima- gem regenerada na memória de quadro 107.
[0064] Na etapa S307, a unidade de codificação 109 codifica por entropia os coe- ficientes quantizados gerados pela unidade de conversão / quantização 104 e a infor- mação de predição gerada pela unidade de predição 103, gerando assim dados codi- ficados. A unidade de codificação combinada 110 multiplexa os dados de cabeçalho e os dados codificados gerados pela unidade de codificação 109, gerando assim um fluxo de bits.
[0065] Na etapa S308, a unidade de controle 199 determina se todos os blocos básicos são codificados. Como um resultado da determinação, se todos os blocos básicos forem codificados, o processo avança para a etapa S309. Se um bloco básico não codificado permanecer, o processo retorna para a etapa S303.
[0066] Na etapa S309, a unidade de cálculo de intensidade de processamento de filtragem 112 calcula a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre sub-blocos adjacentes entre si, executando o proces- samento descrito acima usando a informação de predição obtida pela unidade de pre- dição 103 e os coeficientes quantizados obtidos pela unidade de conversão / quanti- zação 104.
[0067] Na etapa S310, a unidade de filtragem em laço 108 realiza o processa- mento de filtragem em laço, tal como filtragem de desblocagem ou deslocamento adaptativo de amostra para a imagem armazenada na memória de quadro 107. O processamento de filtro de desblocagem a ser realizado para a fronteira entre sub- blocos adjacentes entre si é baseado na intensidade obtida para a fronteira pela uni- dade de cálculo de intensidade de processamento de filtragem 112.
[0068] Conforme descrito acima, de acordo com esta modalidade, particularmente na etapa S309, o filtro de desblocagem tendo um efeito de correção de alta distorção pode ser definido para a fronteira entre os sub-blocos usando predição intra / inter ponderada. Isso pode suprimir uma distorção de bloco e melhorar a qualidade subje- tiva da imagem. Além disso, uma vez que nenhuma nova operação é necessária para o cálculo da intensidade do processamento de filtro de desblocagem, a complexidade da implementação não é aumentada.
[0069] Além disso, nesta modalidade, a presença / ausência de processamento de filtro de desblocagem para a fronteira de blocos de luminância ou diferença de cor é alterada dependendo da intensidade (valor bS) do processamento de filtro de des- blocagem. No entanto, a intensidade do efeito de suavização do próprio filtro pode ser alterada pela intensidade (valor bS). Por exemplo, quando a intensidade (valor bS) do processamento de filtro de desblocagem é alta, um filtro com um comprimento de de- rivação mais longo e um alto efeito de correção pode ser usado. Quando a intensidade (valor bS) do processamento de filtro de desblocagem é baixa, um filtro tendo um comprimento de derivação mais curto, e um efeito de correção baixo pode ser usado. Isso permite ajustar a intensidade do filtro, ou seja, o efeito da correção por um método diferente da presença / ausência do processamento de filtro de desblocagem. [ Segunda Modalidade ]
[0070] Nas seguintes modalidades, incluindo esta modalidade, as diferenças a partir da primeira modalidade serão descritas, e o resto é o mesmo que na primeira modalidade, a menos que especificado de outra forma abaixo. Nesta modalidade, um aparelho de codificação de imagem executa o seguinte processamento de acordo com o fluxograma da Figura 3.
[0071] A Figura 6 mostra um exemplo da configuração de um fluxo de bits de acordo com esta modalidade. Um cabeçalho de imagem armazena fil- ter_weight_threshold que é o limite de peso (limite de peso de intensidade) da inten- sidade do processamento de filtro de desblocagem. Este é um limite para decidir, por um valor de peso w na predição intra / inter ponderada, se um sub-bloco deve ser tratado como um sub-bloco ao qual a predição intra é aplicada ou um sub-bloco ao qual a predição inter é aplicada quando calculando o valor bS do filtro de desbloca- gem.
[0072] Na etapa S309, uma unidade de cálculo de intensidade de processamento de filtragem 112 calcula um valor bS. Mais especificamente, se a seguinte desigual- dade for mantida, o valor bS é calculado manipulando-se um sub-bloco de predição intra / inter ponderada como um sub-bloco de predição intra.
w < filter_weight_threshold
[0073] Por exemplo, se o valor de filter_weight_threshold for 4, todos os sub-blo- cos de predição intra / inter ponderada, que têm um valor de peso w menor do que 4, são tratados como sub-blocos de predição intra. Todos os sub-blocos de predição intra / inter ponderada, que têm um valor de peso w de 4 ou mais, são tratados como sub-blocos de predição inter. A tabela a seguir mostra um exemplo de valores bS quando um sub-bloco P e um sub-bloco Q mostrados na Figura 7 são codificados por predição intra, predição inter, predição intra / inter ponderada (w = 3), e predição intra / inter ponderada (w = 5). [Tabela 1] Métodos de predição de blocos P e Q e valores bS Bloco Q intra Inter w=3 w=5 Bloco P intra 2 2 2 2 inter 2 1 ou menos 2 1 ou menos w=3 2 2 2 2 w=5 2 1 ou menos 2 1 ou menos
[0074] Nesta tabela, filter_weight_threshold = 4. Por exemplo, se pelo menos um do sub-bloco P e do sub-bloco Q, que são adjacentes, é codificado por predição intra ou predição intra / inter ponderada (w = 3), um sub-bloco é tratado como um bloco de predição intra. Portanto, o valor bS é definido como 2. Se tanto o sub-bloco P quanto o sub-bloco Q são codificados por predição inter ou predição intra / inter ponderada (w = 5), tanto o sub-bloco P quanto o sub-bloco Q são tratados como blocos de predi- ção inter. Portanto, o valor bS é definido como 0 ou 1. Se definir o valor bS como 0 ou 1 é determinado como na unidade de cálculo de intensidade de processamento de filtragem 112 de acordo com a primeira modalidade. Isso é decidido dependendo da presença / ausência de coeficientes de transformação ortogonal diferente de zero no sub-bloco P e no sub-bloco Q, a diferença no número ou tamanho dos vetores de movimento, a diferença na imagem de referência, e similares.
[0075] A unidade de cálculo de intensidade de processamento de filtragem 112 decide o valor bS com relação aos dados na tabela. Observa-se que nesta modali- dade, filter_weight_threshold é armazenado no cabeçalho de imagem. No entanto, o destino de armazenamento não está limitado a um destino de armazenamento espe- cífico, e filter_weight_threshold pode ser armazenado, por exemplo, no cabeçalho de sequência. Além disso, nesta modalidade, o limite de peso de intensidade é armaze- nado no cabeçalho como informação usada para determinar se um sub-bloco de pre- dição intra / inter ponderada deve ser tratado como um sub-bloco de predição intra ou um sub-bloco de predição inter quando calculando o valor bS. No entanto, a presente invenção não está limitada a essas. A informação de sinalização representando que um sub-bloco deve sempre ser tratado como um sub-bloco de predição intra pode ser armazenada, ou a informação de sinalização representando que um sub-bloco deve sempre ser tratado como um sub-bloco de predição inter pode ser armazenada. Alter- nativamente, um valor obtido subtraindo 4 do valor de filter_weight_threshold anteci- padamente pode ser definido como um limite de peso de intensidade fil- ter_weight_threshold_minus4. Uma vez que a possibilidade de que o valor de fil- ter_weight_threshold_minus4 seja definido como 0 ou um valor próximo de 0 torna-se alta, a quantidade de código da própria informação pode ser diminuída pela codifica- ção de Golomb ou similar.
[0076] Conforme descrito acima, de acordo com esta modalidade, é possível de- cidir a intensidade do processamento de filtro de desblocagem para um sub-bloco de predição intra / inter ponderada sem a necessidade de processamento complexo. Além disso, o usuário pode ajustar livremente a intensidade do processamento de filtro de desblocagem para um bloco de predição intra / inter ponderada.
[0077] Além disso, nesta modalidade, a informação usada para decidir a intensi- dade do filtro é emitida para o cabeçalho. No entanto, a presente invenção não está limitada a essa. Se um sub-bloco de predição intra / inter ponderada deve ser tratado como um sub-bloco de predição intra ou um sub-bloco de predição inter pode ser decidido exclusivamente com antecedência pelo valor w. Alternativamente, o filtro de desblocagem que suaviza fortemente à medida que o peso da predição intra se torna grande pode ser aplicado independentemente do valor bS. Portanto, uma quantidade de código correspondente ao limite de peso de intensidade pode ser economizada, e a complexidade da implementação pode ser reduzida fixando o processamento de filtro de desblocagem usando o modo de predição. [ Terceira Modalidade ]
[0078] Nesta modalidade, um aparelho de decodificação de imagem que decodi- fica uma imagem de entrada codificada pelo aparelho de codificação de imagem de acordo com a primeira modalidade será descrito. Um exemplo da configuração funci- onal do aparelho de decodificação de imagem de acordo com esta modalidade será descrito com referência ao diagrama de blocos da Figura 2.
[0079] Uma unidade de controle 299 controla a operação do aparelho de decodi- ficação de imagem inteiro. Uma unidade de demultiplexação / decodificação 202 ad- quire um fluxo de bits gerado pelo aparelho de codificação de imagem, demultiplexa informação relativa ao processamento de decodificação e dados codificados relativos aos coeficientes do fluxo de bits, e decodifica os dados codificados existentes no ca- beçalho do fluxo de bits. Nesta modalidade, a unidade de demultiplexação / decodifi- cação 202 realiza uma operação reversa àquela da unidade de codificação combinada 110 descrita acima.
[0080] Uma unidade de decodificação 203 decodifica os dados codificados demul- tiplexados a partir do fluxo de bits pela unidade de demultiplexação / decodificação 202, adquirindo assim coeficientes quantizados e informação de predição. Uma uni- dade de quantização inversa / conversão inversa 204 executa uma operação similar à da unidade de quantização inversa / conversão inversa 105 fornecida no aparelho de codificação de imagem descrito acima. A unidade de quantização inversa / conver- são inversa 204 adquire coeficientes de transformação quantizando inversamente os coeficientes quantizados, e realiza transformação ortogonal inversa para os coeficien- tes de transformação, adquirindo assim um erro de predição.
[0081] Uma unidade de regeneração de imagem 205 gera uma imagem predita relativa a uma imagem armazenada em uma memória de quadro 206 com base na informação de predição decodificada pela unidade de decodificação 203. A unidade de regeneração de imagem 205 gera uma imagem regenerada usando a imagem pre- dita gerada e o erro de predição obtido pela unidade de quantização inversa / conver- são inversa 204, e armazena a imagem regenerada gerada na memória de quadro
206.
[0082] Uma unidade de cálculo de intensidade de processamento de filtragem 209 decide um valor bS que é a intensidade de processamento de filtro de desblocagem para a fronteira entre sub-blocos adjacentes usando a informação de predição e os coeficientes quantizados decodificados pela unidade de decodificação 203, como a unidade de cálculo de intensidade de processamento de filtragem 112.
[0083] Uma unidade de filtragem em laço 207 executa o processamento de filtra- gem em laço, tal como filtragem de desblocagem para a imagem regenerada armaze- nada na memória de quadro 206, como a unidade de filtragem em laço 108. O pro- cessamento de filtro de desblocagem pela unidade de filtragem em laço 207 é o pro- cessamento de filtro de desblocagem correspondente ao valor bS obtido pela unidade de cálculo de intensidade de processamento de filtragem 209.
[0084] A imagem regenerada armazenada na memória de quadro 206 é emitida apropriadamente pela unidade de controle 299. O destino de saída da imagem rege- nerada não é limitado a um destino de saída específico. Por exemplo, a imagem re- generada pode ser exibida em uma tela de exibição de um dispositivo de exibição, tal como uma tela, ou a imagem regenerada pode ser emitida para um aparelho de pro- jeção, tal como um projetor.
[0085] A operação (processamento de decodificação de fluxo de bits) do aparelho de decodificação de imagem tendo a configuração descrita acima será descrita a se- guir. Nesta modalidade, a entrada de fluxo de bits para a unidade de demultiplexação / decodificação 202 é um fluxo de bits de cada quadro de uma imagem em movimento. No entanto, pode ser um fluxo de bits de uma imagem estática.
[0086] A unidade de demultiplexação / decodificação 202 adquire um fluxo de bits de um quadro gerado pelo aparelho de codificação de imagem, demultiplexa a infor- mação relativa ao processamento de decodificação e dados codificados relativos aos coeficientes a partir do fluxo de bits, e decodifica os dados codificados existentes no cabeçalho do fluxo de bits. Além disso, a unidade de demultiplexação / decodificação 202 emite dados codificados de cada bloco básico de dados de imagem para a uni- dade de decodificação 203.
[0087] A unidade de decodificação 203 decodifica os dados codificados demulti- plexados a partir do fluxo de bits pela unidade de demultiplexação / decodificação 202, adquirindo assim coeficientes quantizados e informação de predição. A informação de predição inclui informação representando qual dos seguintes métodos de predição foi usado para codificar cada sub-bloco. x predição intra, tal como predição horizontal ou predição vertical x predição inter para realizar a compensação de movimento a partir de um quadro de referência x predição intra / inter ponderada que combina predição intra e predição inter
[0088] A unidade de quantização inversa / conversão inversa 204 adquire coefici- entes de transformação quantizando inversamente os coeficientes quantizados de cada sub-bloco, e realiza transformação ortogonal inversa para os coeficientes de transformação, adquirindo assim um erro de predição.
[0089] A unidade de regeneração de imagem 205 gera uma imagem predita rela- tiva a uma imagem armazenada na memória de quadro 206 com base na informação de predição decodificada pela unidade de decodificação 203. A unidade de regenera- ção de imagem 205 gera uma imagem regenerada usando a imagem predita gerada e o erro de predição obtido pela unidade de quantização inversa / conversão inversa 204, e armazena a imagem regenerada gerada na memória de quadro 206.
[0090] A unidade de cálculo de intensidade de processamento de filtragem 209 decide um valor bS que é a intensidade de processamento de filtro de desblocagem para a fronteira entre sub-blocos adjacentes usando a informação de predição e os coeficientes quantizados decodificados pela unidade de decodificação 203, como a unidade de cálculo de intensidade de processamento de filtragem 112.
[0091] A unidade de filtragem em laço 207 realiza o processamento de filtragem em laço, tal como filtragem de desblocagem para a imagem regenerada armazenada na memória de quadro 206, como a unidade de filtragem em laço 108. O processa- mento de filtro de desblocagem pela unidade de filtragem em laço 207 é o processa- mento de filtro de desblocagem correspondente ao valor bS obtido pela unidade de cálculo de intensidade de processamento de filtragem 209.
[0092] Nesta modalidade, o valor bS indica o tipo de um sinal (componente de imagem) como o alvo de processamento da filtragem de desblocagem, como na pri- meira modalidade. Além disso, um filtro forte tendo um alto efeito de suavização e um filtro fraco tendo um baixo efeito de suavização são usados seletivamente de acordo com a condição de um valor de pixel. No entanto, a presente invenção não está limi- tada a esses. Por exemplo, não apenas o tipo de sinal, mas também a intensidade do efeito de suavização pode ser decidida de acordo com o valor bS. Alternativamente, apenas a intensidade do efeito de suavização pode ser decidida com base no valor bS, e o tipo de sinal pode ser decidido com base em outra condição.
[0093] O processamento de decodificação de um fluxo de bits correspondente a um quadro pelo aparelho de decodificação de imagem descrito acima será descrito com referência ao fluxograma da Figura 4. Na etapa S401, a unidade de demultiple- xação / decodificação 202 adquire um fluxo de bits correspondente a um quadro ge- rado pelo aparelho de codificação de imagem. A unidade de demultiplexação / deco- dificação 202, então, demultiplexa a informação relativa ao processamento de deco- dificação e dados codificados relativos aos coeficientes a partir do fluxo de bits, e decodifica os dados codificados existentes no cabeçalho do fluxo de bits.
[0094] Os processos das etapas S402 a S405 são realizados para cada bloco bá- sico da imagem de entrada (na imagem). Na etapa S402, a unidade de decodificação 203 decodifica os dados codificados demultiplexados a partir do fluxo de bits pela uni- dade de demultiplexação / decodificação 202, adquirindo assim coeficientes quantiza- dos e informação de predição.
[0095] Na etapa S403, a unidade de quantização inversa / conversão inversa 204 adquire coeficientes de transformação quantizando inversamente os coeficientes quantizados do sub-bloco como o alvo de decodificação, e realiza transformação or- togonal inversa para os coeficientes de transformação, adquirindo assim um erro de predição.
[0096] Na etapa S404, a unidade de regeneração de imagem 205 gera uma ima- gem predita relativa a uma imagem armazenada na memória de quadro 206 com base na informação de predição decodificada pela unidade de decodificação 203. A unidade de regeneração de imagem 205 gera uma imagem regenerada usando a imagem pre- dita gerada e o erro de predição obtido pela unidade de quantização inversa / conver- são inversa 204, e armazena a imagem regenerada gerada na memória de quadro
206.
[0097] Na etapa S405, a unidade de controle 299 determina se a decodificação de todos os blocos básicos incluídos no fluxo de bits está completa. Como resultado da determinação, se a decodificação de todos os blocos básicos incluídos no fluxo de bits estiver completa, o processo avança para a etapa S406. Por outro lado, se um bloco básico cuja decodificação ainda não está completa permanecer em todos os blocos básicos incluídos no fluxo de bits, o processamento a partir da etapa S402 é repetido para o bloco básico cuja decodificação ainda não está completa.
[0098] Na etapa S406, a unidade de cálculo de intensidade de processamento de filtragem 209 decide um valor bS que é a intensidade do processamento de filtro de desblocagem para a fronteira entre sub-blocos adjacentes usando a informação de predição e os coeficientes quantizados decodificados pela unidade de decodificação 203, como a unidade de cálculo de intensidade de processamento de filtragem 112.
[0099] Na etapa S407, a unidade de filtragem em laço 207 realiza processamento de filtragem em laço, tal como filtragem de desblocagem para a imagem regenerada armazenada na memória de quadro 206 na etapa S404, como a unidade de filtragem em laço 108. O processamento de filtro de desblocagem pela unidade de filtragem em laço 207 é o processamento de filtro de desblocagem correspondente ao valor bS obtido pela unidade de cálculo de intensidade de processamento de filtragem 209 na etapa S406.
[0100] Conforme descrito acima, de acordo com esta modalidade, é possível de- codificar um fluxo de bits gerado pelo aparelho de codificação de imagem de acordo com a primeira modalidade, em que um filtro de desblocagem apropriado é aplicado a um sub-bloco codificado por predição intra / inter ponderada.
[0101] Além disso, nesta modalidade, a presença / ausência de um filtro para a fronteira de blocos de luminância ou diferença de cor é alterada dependendo da in- tensidade (valor bS) do processamento de filtro de desblocagem. No entanto, a inten- sidade do efeito de suavização do próprio filtro pode ser alterada pela intensidade (valor bS) do processamento de filtro de desblocagem. Por exemplo, quando a inten- sidade (valor bS) do processamento de filtro de desblocagem é alta, um filtro tendo um comprimento de derivação mais longo e um alto efeito de correção pode ser usado. Quando a intensidade (valor bS) do processamento de filtro de desblocagem é baixa, um filtro tendo um comprimento de derivação mais curto e um baixo efeito de correção pode ser usado. Isso torna possível decodificar um fluxo de bits para o qual a intensi- dade do filtro, ou seja, o efeito de correção é ajustado por um método diferente da presença / ausência de um filtro. [ Quarta Modalidade ]
[0102] Nesta modalidade, um aparelho de decodificação de imagem que decodi- fica uma imagem de entrada codificada pelo aparelho de codificação de imagem de acordo com a segunda modalidade será descrito. Nesta modalidade, no processa- mento de acordo com o fluxograma da Figura 4, os seguintes pontos são diferentes da terceira modalidade.
[0103] Na etapa S401, uma unidade de demultiplexação / decodificação 202 de- multiplexa informação relativa ao processamento de decodificação e dados codifica- dos relativos aos coeficientes a partir do fluxo de bits mostrado na Figura 6, e decodi- fica dados codificados existentes no cabeçalho do fluxo de bits. Nesta decodificação, filter_weight_threshold que é um limite de peso de intensidade no cabeçalho de ima- gem é decodificado.
[0104] Na etapa S406, uma unidade de cálculo de intensidade de processamento de filtragem 209 calcula um valor bS. Observa-se que, nesta modalidade, definir o valor bS para 0 ou 1 é determinado como na unidade de cálculo de intensidade de processamento de filtragem 209 de acordo com a terceira modalidade.
[0105] Nesta modalidade, filter_weight_threshold existe no cabeçalho de imagem.
No entanto, a presente invenção não está limitada a esse, e filter_weight_threshold pode existir, por exemplo, no cabeçalho de sequência. Além disso, nesta modalidade, o limite de peso de intensidade é decodificado como informação usada para determi- nar se um bloco de predição intra / inter ponderada deve ser tratado como um sub- bloco de predição intra ou um sub-bloco de predição inter quando calculando o valor bS. No entanto, a presente invenção não está limitada a essas. A informação de sina- lização representando que um sub-bloco deve sempre ser tratado como um sub-bloco de predição intra pode ser decodificada, ou a informação de sinalização represen- tando que um sub-bloco deve sempre ser tratado como um sub-bloco de predição inter pode ser decodificada. Alternativamente, um valor obtido subtraindo 4 do valor de filter_weight_threshold antecipadamente pode ser decodificado como um limite de peso de intensidade filter_weight_threshold_minus4. Uma vez que a possibilidade de que o valor de filter_weight_threshold_minus4 seja definido como 0 ou um valor pró- ximo de 0 torna-se alta, um fluxo de bits no qual a quantidade de código da própria informação é pequena pode ser decodificado.
[0106] Conforme descrito acima, de acordo com esta modalidade, é possível de- cidir a intensidade do processamento de filtro de desblocagem para um sub-bloco de predição intra / inter ponderada sem a necessidade de processamento complexo. Além disso, é possível decodificar um fluxo de bits para o qual o usuário ajustou livre- mente a intensidade do processamento de filtro de desblocagem para um sub-bloco de predição intra / inter ponderada.
[0107] Além disso, nesta modalidade, a informação usada para decidir a intensi- dade do filtro é decodificada a partir do cabeçalho. No entanto, a presente invenção não está limitada a isso. Se um sub-bloco de predição intra / inter ponderada deve ser tratado como um sub-bloco de predição intra ou um sub-bloco de predição inter pode ser decidido exclusivamente com antecedência pelo valor w. Alternativamente, o filtro de desblocagem que suaviza fortemente à medida que o peso da predição intra se torna grande pode ser aplicado independentemente do valor bS. Portanto, um fluxo de bits no qual uma quantidade de código correspondente ao limite de peso de inten- sidade é economizada pode ser decodificado, e a complexidade de implementação pode ser reduzida fixando o processamento de filtro de desblocagem usando o modo de predição. [ Quinta Modalidade ]
[0108] Todas as unidades funcionais mostradas nas Figuras 1 e 2 podem ser im- plementados por hardware, e algumas podem ser implementadas por software (pro- gramas de computador). Neste caso, um aparelho de computador incluindo a memória de quadro 107 ou a memória de quadro 206 como um dispositivo de memória e capaz de executar os programas de computador pode ser aplicado ao aparelho de codifica- ção de imagem ou aparelho de decodificação de imagem descrito acima. Um exemplo da configuração de hardware do aparelho de computador aplicável ao aparelho de codificação de imagem ou aparelho de decodificação de imagem descrito acima será descrito com referência ao diagrama de blocos da Figura 5.
[0109] Uma CPU 501 executa vários tipos de processamento usando programas de computador e dados armazenados em uma RAM 502 ou ROM 503. Consequente- mente, a CPU 501 executa o controle de operação do aparelho de computador inteiro e executa ou controla o processamento descrito acima como processamento a ser executado pelo aparelho de codificação de imagem ou aparelho de decodificação de imagem descrito acima.
[0110] A RAM 502 tem uma área para armazenar programas de computador e dados carregados a partir da ROM 503 ou um dispositivo de armazenamento externo 506 e dados (por exemplo, os dados descritos acima de uma imagem em movimento ou uma imagem estática) recebidos a partir do exterior através de uma I / F (interface)
507. A RAM 502 também tem uma área de trabalho usada pela CPU 501 para execu- tar vários tipos de processamento. A RAM 502 pode, portanto, fornecer apropriada- mente vários tipos de áreas. Os dados de configuração e o programa de ativação do aparelho de computador são armazenados na ROM 503.
[0111] Uma unidade de operação 504 é uma interface de usuário, tal como um teclado, um mouse ou um painel sensível ao toque. Ao operar a unidade de operação 504, um usuário pode inserir vários tipos de instruções para a CPU 501.
[0112] Uma unidade de exibição 505 é formada por uma tela de cristal líquido ou uma tela de painel sensível ao toque e pode exibir um resultado do processamento pela CPU 501 como uma imagem ou caracteres. Por exemplo, uma imagem regene- rada decodificada pelo aparelho de decodificação de imagem descrito acima pode ser exibida na unidade de exibição 505. Observa-se que a unidade de exibição 505 pode ser um aparelho de projeção, tal como um projetor que projeta uma imagem ou carac- teres.
[0113] O dispositivo de armazenamento externo 506 é um dispositivo de armaze- namento de informação em massa, tal como uma unidade de disco rígido. Um OS (sistema operacional) e programas de computador e dados usados para fazer com que a CPU 501 execute ou controle vários tipos de processamento descritos acima como processamento a ser executado pelo aparelho de codificação de imagem ou aparelho de decodificação de imagem descrito acima são armazenados no dispositivo de armazenamento externo 506. Os programas de computador armazenados no dis- positivo de armazenamento externo 506 incluem um programa de computador usado para fazer com que a CPU 501 implemente as funções de unidades funcionais dife- rentes da memória de quadro 107 descrita acima e da memória de quadro 206. Além disso, os dados armazenados no dispositivo de armazenamento externo 506 incluem vários tipos de informações necessárias para codificação ou decodificação, tal como o que foi descrito acima como informação já conhecida (um limite de peso de intensi- dade, dados na Tabela 1, e similares).
[0114] Os programas de computador e dados armazenados no dispositivo de ar- mazenamento externo 506 são apropriadamente carregados na RAM 502 sob o con- trole da CPU 501 e processados pela CPU 501. Observa-se que a memória de qua- dros 107 ou memória de quadros 206 descrita acima pode ser implementada por um dispositivo de memória, tal como a RAM 502 ou o dispositivo de armazenamento ex- terno 506.
[0115] A I / F 507 funciona como uma interface configurada para realizar a comu- nicação de dados com um dispositivo externo. Por exemplo, uma imagem em movi- mento ou uma imagem estática pode ser adquirida a partir de um aparelho de servidor externo ou aparelho de captura de imagem para a RAM 502 ou o dispositivo de arma- zenamento externo 506 através da I / F 507.
[0116] A CPU 501, a RAM 502, a ROM 503, a unidade de operação 504, a unidade de exibição 505, o dispositivo de armazenamento externo 506 e a I / F 507 estão conectados a um barramento 508. Observa-se que a configuração mostrada na Figura 5 é meramente um exemplo da configuração de hardware do aparelho de computador aplicável ao aparelho de codificação de imagem ou aparelho de decodificação de ima- gem descrito acima, e várias alterações / modificações podem ser feitas. [ Sexta Modalidade ]
[0117] Nas modalidades descritas acima, um sub-bloco é usado como uma uni- dade de codificação. No entanto, a unidade de codificação não está limitada a um sub- bloco e, por exemplo, um bloco básico pode ser usado como uma unidade de codifi- cação. Além disso, os valores numéricos usados na descrição acima são usados ape- nas para fazer uma descrição detalhada e não são destinados a limitar as modalida- des descritas acima aos valores numéricos usados. Por exemplo, o valor w, o valor do limite de peso de intensidade e o tamanho de um bloco usado na descrição acima são meramente exemplos, e não estão limitados aos valores numéricos descritos acima.
[0118] Nas modalidades descritas acima, o aparelho de decodificação de imagem foi descrito como um aparelho diferente do aparelho de codificação de imagem. No entanto, o aparelho de decodificação de imagem e o aparelho de codificação de ima- gem podem ser combinados em um aparelho. Neste caso, este aparelho pode codifi- car uma imagem de entrada e decodificar a imagem de entrada codificada conforme necessário.
[0119] Além disso, o alvo ao qual o filtro de desblocagem é aplicado não está limi- tado à fronteira entre os sub-blocos e pode ser, por exemplo, a fronteira entre as uni- dades de transformação. Nas modalidades descritas acima, o tamanho do filtro de desblocagem é de 8 pixels × 8 pixels. No entanto, o tamanho não está limitado a esse. O tamanho da unidade de transformação pode ser o mesmo que o do sub-bloco ou pode ser diferente.
[0120] Algumas ou todas as modalidades descritas acima podem ser usadas apro- priadamente em combinação. Alternativamente, algumas ou todas as modalidades acima descritas podem ser usadas seletivamente. (Outras Modalidades)
[0121] A presente invenção pode ser implementada pelo processamento de for- necer um programa para implementar uma ou mais funções das modalidades descri- tas acima para um sistema ou aparelho por meio de uma rede ou meio de armazena- mento, e fazendo com que um ou mais processadores no computador do sistema ou aparelho leiam e executem o programa. A presente invenção também pode ser imple- mentada por um circuito (por exemplo, um ASIC) para implementar uma ou mais fun- ções.
[0122] A presente invenção não está limitada às modalidades acima e várias alte- rações e modificações podem ser feitas dentro do espírito e do escopo da presente invenção. Portanto, para informar o público sobre o escopo da presente invenção, as seguintes reivindicações são feitas.
[0123] Este pedido reivindica prioridade a partir do Pedido de Patente Japonesa No. 2018-235911 depositado em 17 de dezembro de 2018, que é aqui incorporado por referência. Lista de Números de Referência
[0124] 102 ... unidade de divisão em blocos, 103 ... unidade de predição, 104 ... unidade de conversão / quantização, 105 ... unidade de quantização inversa / conver- são inversa, 106 ... unidade de regeneração de imagem, 107 ... memória de quadro, 108 ... unidade de filtragem em laço, 109 ... unidade de codificação, 110 ... unidade de codificação combinada, 112 ... unidade de cálculo de intensidade de processa- mento de filtragem, 202 ... unidade de demultiplexação / decodificação, 203 ... unidade de decodificação, 204 ... unidade de quantização inversa / conversão inversa, 205 ... unidade de regeneração de imagem, 206 ... memória de quadro, 207 ... unidade de filtragem em laço, 209 ... unidade de cálculo de intensidade de processamento de filtragem, 299 ... unidade de controle.

Claims (12)

REIVINDICAÇÕES
1. Aparelho de codificação de imagem, caracterizado pelo fato de que com- preende: uma unidade de codificação configurada para codificar uma sequência de imagens executando processamento de predição para cada bloco; uma unidade de decisão configurada para decidir pelo menos uma intensi- dade de processamento de filtro de desblocagem a ser realizado para uma fronteira entre um primeiro bloco e um segundo bloco adjacente ao primeiro bloco, com base em um modo usado no processamento de predição do primeiro bloco e um modo usado no processamento de predição do segundo bloco; e uma unidade de processamento configurada para realizar o processamento de filtro de desblocagem para a fronteira de acordo com a intensidade decidida pela unidade de decisão, em que a unidade de codificação pode usar, no processamento de predi- ção, um de: um primeiro modo para derivar pixels preditos em um bloco alvo a ser co- dificado, usando pixels em uma imagem incluindo o bloco alvo, um segundo modo para derivar os pixels preditos no bloco alvo usando pixels em uma imagem diferente da imagem incluindo o bloco alvo, e um terceiro modo para gerar os pixels preditos no bloco alvo usando tanto os pixels na imagem incluindo o bloco alvo quanto os pixels na imagem diferente da imagem incluindo o bloco alvo, e em que se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a unidade de decisão define a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro e o segundo bloco para a mesma intensidade como em um caso em que o primeiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco.
2. Aparelho de codificação de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a unidade de decisão define a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro bloco e o segundo bloco para uma intensidade mais alta do que em um caso em que o segundo modo é usado tanto no primeiro bloco quanto no segundo bloco.
3. Aparelho de codificação de imagem, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a unidade de processamento realiza o processa- mento de filtro de desblocagem de acordo com a intensidade, selecionando um com- ponente alvo como um alvo do processamento de filtro de desblocagem a partir de um componente de luminância e componentes croma no bloco de acordo com a intensi- dade.
4. Aparelho de codificação de imagem, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a unidade de processamento re- aliza o processamento de filtro de desblocagem de acordo com a intensidade, seleci- onando, de acordo com a intensidade, se deve realizar o processamento de filtro de desblocagem.
5. Aparelho de codificação de imagem, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a unidade de decisão decide, com base em valores de pixel de pixels na fronteira, um filtro a ser aplicado a um compo- nente de luminância na fronteira de filtros com diferentes efeitos de suavização.
6. Aparelho de decodificação de imagem para decodificar dados de imagem codificados para cada bloco, caracterizado pelo fato de que compreende: uma unidade de decodificação configurada para decodificar uma imagem executando processamento de predição para cada bloco; uma unidade de decisão configurada para decidir pelo menos uma intensi- dade de processamento de filtro de desblocagem a ser realizado para uma fronteira entre um primeiro bloco e um segundo bloco adjacente ao primeiro bloco, com base em um modo usado no processamento de predição do primeiro bloco e um modo usado no processamento de predição do segundo bloco; e uma unidade de processamento configurada para realizar o processamento de filtro de desblocagem para a fronteira de acordo com a intensidade decidida pela unidade de decisão, em que a unidade de decodificação pode usar, no processamento de pre- dição, um de: um primeiro modo para derivar pixels preditos em um bloco alvo a ser de- codificado, usando pixels em uma imagem incluindo o bloco alvo, um segundo modo para derivar os pixels preditos no bloco alvo usando pixels em uma imagem diferente da imagem incluindo o bloco alvo, e um terceiro modo para gerar os pixels preditos no bloco alvo usando tanto os pixels na imagem incluindo o bloco alvo quanto os pixels na imagem diferente da imagem incluindo o bloco alvo, e em que se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a unidade de decisão define a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro bloco e o segundo bloco para a mesma intensidade como em um caso em que o primeiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco.
7. Aparelho de decodificação de imagem, de acordo com a reivindicação 6, caracterizado pelo fato de que se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a unidade de decisão define a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro bloco e o segundo bloco para uma intensidade mais alta do que em um caso em que o segundo modo é usado tanto no primeiro bloco quanto no segundo bloco.
8. Aparelho de decodificação de imagem, de acordo com a reivindicação 6 ou 7, caracterizado pelo fato de que a unidade de processamento realiza o processa- mento de filtro de desblocagem de acordo com a intensidade, selecionando um com- ponente alvo como um alvo do processamento de filtro de desblocagem a partir de um componente de luminância e componentes croma no bloco de acordo com a intensi- dade.
9. Aparelho de decodificação de imagem, de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo fato de que a unidade de processamento re- aliza o processamento de filtro de desblocagem de acordo com a intensidade, seleci- onando, de acordo com a intensidade, se deve realizar o processamento de filtro de desblocagem.
10. Aparelho de decodificação de imagem, de acordo com qualquer uma das reivindicações 6 a 9, caracterizado pelo fato de que a unidade de decisão decide, com base em valores de pixel de pixels na fronteira, um filtro a ser aplicado a um componente de luminância na fronteira a partir de filtros com diferentes efeitos de suavização.
11. Método de codificação de imagem, caracterizado pelo fato de que com- preende: codificar uma sequência de imagens executando processamento de predi- ção para cada bloco; decidir pelo menos uma intensidade de processamento de filtro de desblo- cagem a ser realizada para uma fronteira entre um primeiro bloco e um segundo bloco adjacente ao primeiro bloco, com base em um modo usado no processamento de predição do primeiro bloco e um modo usado no processamento de predição do se- gundo bloco; e realizar o processamento de filtro de desblocagem para a fronteira de acordo com a intensidade decidida na decisão, em que a codificação pode usar, no processamento de predição, um de: um primeiro modo para derivar pixels preditos em um bloco alvo a ser co- dificado, usando pixels em uma imagem incluindo o bloco alvo, um segundo modo para derivar os pixels preditos no bloco alvo usando pixels em uma imagem diferente da imagem incluindo o bloco alvo, e um terceiro modo para gerar os pixels preditos no bloco alvo usando tanto os pixels na imagem incluindo o bloco alvo quanto os pixels na imagem diferente da imagem incluindo o bloco alvo, e em que, se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a decisão define a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro bloco e o segundo bloco para a mesma intensidade que em um caso em que o primeiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco.
12. Método de decodificação de imagem para decodificar dados de imagem codificados para cada bloco, caracterizado pelo fato de que compreende: decodificar uma imagem executando o processamento de predição para cada bloco; decidir pelo menos uma intensidade de processamento de filtro de desblo- cagem a ser realizado para uma fronteira entre um primeiro bloco e um segundo bloco adjacente ao primeiro bloco, com base em um modo usado no processamento de predição do primeiro bloco e um modo usado no processamento de predição do se- gundo bloco; e realizar o processamento de filtro de desblocagem para a fronteira de acordo com a intensidade decidida na decisão, em que a decodificação pode usar, no processamento de predição, um de: um primeiro modo para derivar pixels preditos em um bloco alvo a ser de- codificado, usando os pixels em uma imagem incluindo o bloco alvo, um segundo modo para derivar os pixels preditos no bloco alvo usando pixels em uma imagem diferente da imagem incluindo o bloco alvo, e um terceiro modo para gerar os pixels preditos no bloco alvo usando tanto os pixels na imagem incluindo o bloco alvo e os pixels na imagem diferente da imagem incluindo o bloco alvo, e em que se o terceiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco, a decisão define a intensidade do processamento de filtro de desblocagem a ser realizado para a fronteira entre o primeiro bloco e o segundo bloco para a mesma intensidade que em um caso em que o primeiro modo é usado em pelo menos um dentre o primeiro bloco e o segundo bloco.
Coeficiente Dados Figura 1 quantizado codificados
Unidade Erro de Unidade Unidade Unidade de Unidade de divisão predição de
Petição 870210053728, de 15/06/2021, pág. 49/61 de conversão / de em blocos codificação Imagem Imagem predição quantização codificação Fluxo de Imagem Informação combinada de em blocos em bits blocos de predição entrada
Coeficiente quantizado Imagem predita Unidade de Unidade de Imagem regeneração quantização Imagem regenerada inversa / conversão 1/6 de imagem Erro de 1/6 regenerada inversa predição
Unidade de Memória de filtragem em quadro laço Imagem filtrada Unidade de cálculo de intensidade de processamento de filtragem
Unidade de controle
Figura 2
Dados Coeficiente codificados quantizado Imagem regenerada
Petição 870210053728, de 15/06/2021, pág. 50/61 Erro de Unidade de Imagem Unidade de predição Unidade de quantização Memória filtrada demultiplexação Unidade de decodificação inversa / de quadro / decodificação regeneração Fluxo de conversão de imagem bits inversa Informação Imagem de predita predição Imagem filtrada 2/6 2/6
Imagem regenerada
Unidade de cálculo de Unidade de intensidade de filtragem em processamento de laço filtragem
Unidade de controle
Figura 3
Iniciar codificação
Emitir cabeçalho
Dividir em blocos
Predição
Converter / quantizar
Quantizar inversamente / converter inversamente
Regenerar imagem
Codificar coeficientes quantizados / informação de predição
Não feito É feito para todos os blocos no quadro ?
Feito
Calcular a intensidade do processamento de filtro
Executar filtragem em laço
Terminar codificação
Figura 4
Iniciar codificação
Demultiplexar / decodificar fluxo de bits
Decodificar coeficientes quantizados / informação de predição
Quantizar inversamente / converter inversamente
Regenerar imagem
Não feito É feito para todos os blocos no quadro ?
Feito
Calcular a intensidade do processamento de filtro
Executar filtragem em laço
Terminar codificação
Figura 5
Unidade de exibição
Dispositivo de armazenamento externo
Unidade de operação
Figura 6
Cabeçalho de Cabeçalho Dados de Cabeçalho Dados de Unidade de sequência de imagem imagem de imagem imagem operação
Limite de peso de intensidade
Figura 7
Bloco Q Bloco P
Bloco Q
BR112021011632-0A 2018-12-17 2019-11-11 Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, e método de decodificação de imagem BR112021011632A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-235911 2018-12-17
JP2018235911A JP7418152B2 (ja) 2018-12-17 2018-12-17 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
PCT/JP2019/044115 WO2020129463A1 (ja) 2018-12-17 2019-11-11 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法

Publications (1)

Publication Number Publication Date
BR112021011632A2 true BR112021011632A2 (pt) 2021-08-31

Family

ID=71100427

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021011632-0A BR112021011632A2 (pt) 2018-12-17 2019-11-11 Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, e método de decodificação de imagem

Country Status (9)

Country Link
US (7) US11570433B2 (pt)
EP (1) EP3902252A4 (pt)
JP (2) JP7418152B2 (pt)
KR (1) KR102674037B1 (pt)
CN (7) CN116916044A (pt)
BR (1) BR112021011632A2 (pt)
RU (1) RU2763292C1 (pt)
TW (2) TWI755653B (pt)
WO (1) WO2020129463A1 (pt)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023140151A (ja) * 2022-03-22 2023-10-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
WO2005022919A1 (en) 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
CN106162178B (zh) * 2010-04-13 2019-08-13 三星电子株式会社 执行去块滤波的对视频进行解码的设备
CA2857849C (en) * 2010-04-23 2020-02-11 Soo Mi Oh Apparatus and method for encoding a moving picture
EP2595386A4 (en) * 2010-07-15 2015-02-18 Mitsubishi Electric Corp VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, AND VIDEO DECODING METHOD
US9872019B2 (en) * 2010-07-20 2018-01-16 Sk Telecom Co., Ltd. Method and device for deblocking-filtering, and method and device for encoding and decoding using same
CN101909212B (zh) * 2010-08-05 2012-08-22 上海交通大学 可重构多媒体SoC的多标准宏块预测系统
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
ES2714349T3 (es) * 2011-01-14 2019-05-28 Ericsson Telefon Ab L M Filtrado de desbloqueo
KR102232113B1 (ko) * 2011-03-21 2021-03-25 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
JP2014526818A (ja) * 2011-09-09 2014-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 低複雑度のデブロッキングフィルタ決定
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
WO2015054811A1 (en) * 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
WO2015195942A1 (en) * 2014-06-19 2015-12-23 Vid Scale, Inc. Methods and systems for intra block copy coding with block vector derivation
US20170295369A1 (en) * 2014-10-06 2017-10-12 Sony Corporation Image processing device and method
US11147652B2 (en) * 2014-11-13 2021-10-19 Align Technology, Inc. Method for tracking, predicting, and proactively correcting malocclusion and related issues
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
US10931974B2 (en) * 2016-10-14 2021-02-23 Mediatek Inc. Method and apparatus of smoothing filter for ringing artefact removal
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
TW201842782A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP2019021968A (ja) * 2017-07-11 2019-02-07 キヤノン株式会社 画像符号化装置及びその制御方法
US12034977B2 (en) * 2018-06-28 2024-07-09 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream
CN118694938A (zh) * 2018-07-30 2024-09-24 三星电子株式会社 图像编码方法和设备、图像解码方法和设备以及装置
NZ777166A (en) * 2018-12-07 2022-11-25 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter
EP3895422A1 (en) 2018-12-11 2021-10-20 InterDigital VC Holdings, Inc. Method and apparatus for deblocking an image
US11909964B2 (en) * 2019-03-08 2024-02-20 Sony Group Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
WO2020129463A1 (ja) 2020-06-25
CN113243107A (zh) 2021-08-10
CN116916045A (zh) 2023-10-20
TWI782853B (zh) 2022-11-01
US20240297991A1 (en) 2024-09-05
JP2024024080A (ja) 2024-02-21
RU2763292C1 (ru) 2021-12-28
US20240297990A1 (en) 2024-09-05
US20240291978A1 (en) 2024-08-29
JP2020098985A (ja) 2020-06-25
CN113243107B (zh) 2023-08-01
TWI755653B (zh) 2022-02-21
US20240291979A1 (en) 2024-08-29
TW202218423A (zh) 2022-05-01
CN116886939A (zh) 2023-10-13
JP7418152B2 (ja) 2024-01-19
KR102674037B1 (ko) 2024-06-12
US12015773B2 (en) 2024-06-18
CN116916046A (zh) 2023-10-20
US20210306629A1 (en) 2021-09-30
KR20210099125A (ko) 2021-08-11
CN116916044A (zh) 2023-10-20
EP3902252A1 (en) 2021-10-27
EP3902252A4 (en) 2022-11-09
US20230122782A1 (en) 2023-04-20
CN116896647A (zh) 2023-10-17
US20240297992A1 (en) 2024-09-05
US11570433B2 (en) 2023-01-31
CN116896646A (zh) 2023-10-17
TW202038612A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US11936856B2 (en) Template matching for JVET intra prediction
JP4987085B2 (ja) 画像符号化装置及び復号装置、画像符号化方法及び復号方法、それらのプログラム並びにプログラムを記録した記録媒体
JP4821723B2 (ja) 動画像符号化装置及びプログラム
BR112021008625A2 (pt) método de decodificação e codificação de vídeo e aparelho de decodificação e codificação de vídeo
WO2018092409A1 (ja) 動画像符号化装置及び動画像復号装置並びにプログラム
US20240297990A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
JP7122838B2 (ja) 符号化装置、復号装置及びプログラム
JP7467650B2 (ja) ビデオ復号の方法、機器、及びコンピュータプログラム
JP2023515931A (ja) ビデオコーディングのための方法および装置
KR20240006655A (ko) 일반화된 샘플 오프셋의 적응적 적용
US20210120245A1 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
BR112021011586A2 (pt) Aparelho de codificação de imagem, aparelho de decodificação de imagem e métodos de controle dos mesmos
JPWO2020256050A5 (pt)
JPWO2020256048A5 (pt)
JP2020145626A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法