BR112021014502A2 - Codificador, decodificador e métodos correspondentes de adaptação de filtro de desblocagem - Google Patents
Codificador, decodificador e métodos correspondentes de adaptação de filtro de desblocagem Download PDFInfo
- Publication number
- BR112021014502A2 BR112021014502A2 BR112021014502-8A BR112021014502A BR112021014502A2 BR 112021014502 A2 BR112021014502 A2 BR 112021014502A2 BR 112021014502 A BR112021014502 A BR 112021014502A BR 112021014502 A2 BR112021014502 A2 BR 112021014502A2
- Authority
- BR
- Brazil
- Prior art keywords
- transform
- block
- transform block
- boundary
- value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 202
- 230000006978 adaptation Effects 0.000 title abstract description 3
- 238000001914 filtration Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 64
- 241000023320 Luma <angiosperm> Species 0.000 claims description 45
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 22
- 230000001052 transient effect Effects 0.000 claims description 11
- 238000013139 quantization Methods 0.000 description 76
- 238000000638 solvent extraction Methods 0.000 description 46
- 239000013598 vector Substances 0.000 description 37
- 230000006854 communication Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 36
- 238000005192 partition Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101150114515 CTBS gene Proteins 0.000 description 2
- 241000295146 Gallionellaceae Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000271946 Bitis gabonica Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 101150018444 sub2 gene Proteins 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
CODIFICADOR, DECODIFICADOR E MÉTODOS
CORRESPONDENTES DE ADAPTAÇÃO DE FILTRO DE DESBLOCAGEM. A presente
invenção fornece um método de desblocagem, para desblocar uma fronteira
de bloco de transformada dentro de um bloco de codificação em uma
codificação de imagem e / ou uma decodificação de imagem, em que o bloco
de codificação compreendendo blocos de transformada é codificado no
modo de interpredição e os blocos de transformada compreendem um
primeiro bloco de transformada e um segundo bloco de transformada que é
adjacente ao primeiro bloco de transformada; em que o método compreende:
determinar quando a fronteira entre o primeiro bloco de transformada e o
segundo bloco de transformada é uma fronteira de bloco de transformada
(tal como uma fronteira de SBT) e pelo menos um do primeiro bloco de
transformada e o segundo bloco de transformada tem um ou mais
coeficientes de transformada diferentes de zero (um ou mais coeficientes
de transformada residuais diferentes de zero), um valor de um parâmetro
de força de fronteira (BS) para a fronteira entre o primeiro bloco de
transformada e o segundo bloco de transformada ser um primeiro valor; e
realizar processo de filtragem de desblocagem para a fronteira entre o
primeiro bloco de transformada e o segundo bloco de transformada pelo
menos com base no valor do parâmetro de força de fronteira.
Description
[001] Este pedido de patente reivindica a prioridade do Pedido de Patente Provisório dos EUA No. 62/797,163, depositado em 25 de janeiro de 2019. A divulgação do pedido de patente acima mencionado é aqui incorporada por referência em sua totalidade.
[002] As modalidades da presente divulgação geralmente se referem ao campo de processamento de imagem e, particularmente, a um codificador, um decodificador e métodos correspondentes de adaptação de filtro de desblocagem e, mais particularmente, a filtro de desblocagem para fronteiras de bloco de transformada causadas por uma ferramenta de codificação de transformada de sub-bloco, SBT.
[003] Codificação de vídeo (codificação e decodificação de vídeo) é usada em uma ampla gama de aplicações de vídeo digital, por exemplo, difusão de TV digital, transmissão de vídeo pela Internet e redes móveis, aplicações de conversação em tempo real, como bate-papo de vídeo, videoconferência, discos DVD e Blu-ray, sistemas de aquisição e edição de conteúdo de vídeo, e filmadoras de aplicações de segurança.
[004] A quantidade de dados de vídeo necessária para representar até mesmo um vídeo relativamente curto pode ser substancial, o que pode resultar em dificuldades quando os dados devem ser transmitidos ou de outra forma comunicados através de uma rede de comunicações com capacidade de largura de banda limitada. Assim, dados de vídeo são geralmente comprimidos antes de serem comunicados pelas redes de telecomunicações dos dias modernos. O tamanho de um vídeo também pode ser um problema quando o vídeo é armazenado em um dispositivo de armazenamento porque os recursos de memória podem ser limitados. Dispositivos de compressão de vídeo muitas vezes usam software e / ou hardware na origem para codificar os dados de vídeo antes da transmissão ou armazenamento, diminuindo assim a quantidade de dados necessária para representar imagens de vídeo digital. Os dados comprimidos são então recebidos no destino por um dispositivo de descompressão de vídeo que decodifica os dados de vídeo. Com recursos de rede limitados e demandas cada vez maiores de maior qualidade de vídeo, técnicas aprimoradas de compressão e descompressão que melhoram a taxa de compressão com pouco ou nenhum sacrifício na qualidade da imagem são desejáveis.
[005] Os esquemas de codificação de imagem com base em bloco têm em comum que, ao longo das bordas de bloco, podem aparecer artefatos de borda. Esses artefatos são devidos à codificação independente dos blocos de codificação. Esses artefatos de borda geralmente são facilmente visíveis ao usuário. Um objetivo na codificação de imagem baseada em bloco é reduzir os artefatos de borda abaixo de um limiar de visibilidade. Isso é feito por meio da filtragem de desblocagem. Essa filtragem de desblocagem é realizada, por um lado, no lado de decodificação, a fim de remover os artefatos de borda visíveis, mas também no lado de codificação, a fim de evitar que os artefatos de borda sejam codificados na imagem.
[006] No entanto, as abordagens convencionais não levam em consideração que uma descontinuidade pode surgir para alguns casos em que as bordas entre blocos de transformada / codificação (tais como blocos de transformada / codificação tendo amostras de croma ou componentes de croma) usando interpredição. Assim, filtragem de desblocagem pode ser um desafio ou até mesmo não produzir os resultados esperados.
[007] Em vista dos desafios mencionados acima, modalidades do presente pedido visam fornecer um aparelho de filtro de desblocagem, um codificador, um decodificador e métodos correspondentes que podem mitigar ou mesmo remover artefatos de blocagem através das fronteiras entre blocos de transformada / codificação (como, blocos de transformada tendo amostras de croma) usando interpredição, de modo a melhorar a eficiência de codificação.
[008] Particularmente, no contexto de interpredição, uma ferramenta de codificação de transformada de sub-bloco (SBT) é introduzida e a ferramenta de codificação de SBT é aplicada tanto para amostras de luma quanto croma, modalidades do presente pedido também visam fornecer outro aparelho de filtro de desblocagem, outro codificador, outro decodificador e métodos correspondentes que podem mitigar ou mesmo remover artefatos de blocagem que seriam causados pela ferramenta de codificação de transformada de sub-bloco (SBT), de modo a melhorar a eficiência de codificação.
[009] As modalidades da invenção são definidas pelos recursos das reivindicações independentes, e implementações vantajosas adicionais das modalidades pelos recursos das reivindicações dependentes.
[0010] Modalidades particulares são descritas nas reivindicações independentes anexas, com outras modalidades nas reivindicações dependentes.
[0011] O precedente e outros objetos são alcançados pelo assunto das reivindicações independentes. Formas de implementação adicionais são evidentes a partir das reivindicações dependentes, da descrição e das figuras.
[0012] De acordo com um primeiro aspecto da presente divulgação, é fornecido um método de desblocagem, para desblocar uma fronteira de bloco de transformada (borda interna) dentro de um bloco de codificação em uma codificação de imagem e / ou decodificação de imagem, em que o bloco de codificação é codificado (predito) no modo de interpredição e o bloco de codificação inclui blocos de transformada (tal como o bloco de codificação é dividido (separado) em blocos de transformada em / durante o processo de interpredição, em particular, quando transformada de sub-bloco é habilitada, a unidade de codificação atual é dividida em unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada (por exemplo, blocos de transformada contendo p0 e q0 são adjacentes na direção vertical ou horizontal); em que o método compreende: - determinar (ou definir), quando a fronteira entre o primeiro bloco de transformada (tal como o primeiro bloco de transformada usando interpredição) e o segundo bloco de transformada (tal como o segundo bloco de transformada usando interpredição) é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero (um ou mais coeficientes de transformada residuais diferentes de zero), um valor de um parâmetro de força de fronteira (BS) para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[0013] Pode ser entendido que o primeiro e o segundo blocos de transformada nos lados da fronteira de bloco de transformada usam interpredição. Em um exemplo, as amostras do bloco de codificação são amostras de croma. Em outro exemplo, o bloco de codificação tem amostras de luma e amostras de croma. Correspondentemente, em um exemplo, as amostras do primeiro e do segundo blocos de transformada são amostras de croma. Em outro exemplo, o primeiro e o segundo blocos de transformada ambos têm amostras de luma e amostras de croma. Especificamente, de acordo com a técnica anterior, o processo de filtro de desblocagem é aplicado para codificar bordas de sub-bloco e transformar bordas de bloco de uma imagem, mas bordas dentro dos componentes de croma para os quais ambos os lados da borda usam interpredição são excluídas. No entanto, de acordo com o primeiro aspecto da presente divulgação, é permitido desblocar bordas dentro de componentes de croma para os quais ambos os lados da borda usam interpredição.
[0014] Pode ser entendido que, além do parâmetro de força de fronteira (BS) para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada, outros parâmetros podem ser considerados para o processo de filtragem de desblocagem. Ou seja, dependendo do resultado de decisão de filtragem particular, filtragem de desblocagem pode ser realizada, em alguns casos nenhuma amostra pode ser modificada, ou em outros casos, apenas uma amostra pode ser modificada em cada linha ou coluna perpendicular e adjacente à fronteira.
[0015] Note que o termo "bloco", "bloco de codificação" ou "bloco de imagem" é usado na presente divulgação, que pode ser aplicado para unidades de predição (PUs), unidades de codificação (CUs), etc. Em VVC em unidades de transformada e unidades de codificação gerais são principalmente alinhadas, exceto em alguns cenários quando a transformada de sub-bloco (SBT) é usada. Pode ser entendido que os termos "bloco / bloco de imagem / bloco de codificação" podem ser trocados entre si na presente divulgação. Os termos "amostra / pixel" podem ser trocados entre si na presente divulgação.
[0016] Essas fronteiras entre blocos de transformada / codificação usando interpredição dentro dos componentes de croma não foram consideradas filtradas na técnica anterior. De acordo com a invenção, no entanto, o processo de filtragem é melhorado para reduzir o artefato de bloco das fronteiras entre os blocos de transformada / codificação tendo amostras de croma e usando interpredição.
[0017] Em uma possível forma de implementação do método de acordo com o primeiro aspecto como tal, o primeiro bloco de transformada tem dados residuais, e o segundo bloco de transformada não tem dados residuais, ou o primeiro bloco de transformada não tem dados residuais, e o segundo bloco de transformada tem dados residuais.
[0018] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto como tal, os blocos de transformada são blocos de transformada de transformada de sub-bloco, SBT.
[0019] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, o número de blocos de transformada é 2 ou 3 ou outro valor.
[0020] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT.
[0021] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, a determinação, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, compreende: determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor.
[0022] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, em que os blocos de transformada compreendem ainda um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada; o método compreende ainda: - determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um primeiro valor; ou - determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma transformada de sub-bloco, a fronteira de SBT e o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero (todos os coeficientes de transformada zero), um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um segundo valor.
[0023] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior ou o primeiro aspecto como tal, o primeiro valor é 1.
[0024] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto, o segundo valor é zero.
[0025] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada (filtrada) apenas se a fronteira de bloco de transformada entre o primeiro e o segundo blocos de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, em que n é um número inteiro.
[0026] Desse modo, a carga computacional do processo de codificação geral pode ser ainda mais reduzida.
[0027] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada (filtrada) mesmo se a fronteira de bloco de transformada entre o primeiro e o segundo blocos de transformada não está alinhada com (sobreposta a) uma grade de amostra n x n, em que n é um número inteiro. É permitido desblocar as fronteiras alvo, que não estão alinhadas com uma grade n x n.
[0028] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto, em que n é 4 ou 8. A técnica anterior considera apenas as fronteiras que são sobrepostas a uma grade 8 x 8. Na invenção, mesmo se uma fronteira interna de SBT não estiver alinhada com a grade 8 x 8 quando uma partição assimétrica é aplicada, a fronteira interna seria considerada como candidata de filtragem. Ao filtrar também fronteiras internas de SBT, o artefato de bloco causado pela SBT é reduzido.
[0029] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, as amostras do primeiro e do segundo blocos de transformada são amostras de luma, ou o primeiro e o segundo blocos de transformada ambos têm amostras de luma e amostras de croma. Bordas de transformada com ambos os lados usando interpredição em componentes de croma, como aquele causado por SBT, também podem resultar em artefatos de bloco. Em particular, quando a informação principal de uma sequência de vídeo é representada por componentes de croma (por exemplo, a sequência de fogueira (“campfire”) usada na condição de teste comum), tais artefatos de bloco podem ser sérios. Portanto, essa invenção propõe a introdução de um processo de filtragem de desblocagem para bordas de transformada em ambos os lados usando interpredição em componentes de croma.
[0030] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto, em que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou, a grade de amostra n x n é grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
[0031] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, em que o bloco de codificação é dividido em uma direção horizontal ou vertical.
[0032] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, em que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal (uma fronteira de transformada de sub-bloco, SBT horizontal); ou, se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical (uma fronteira de transformada de sub-bloco, SBT vertical). A invenção funciona tanto para fronteira de bloco de transformada vertical quanto horizontal.
[0033] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal, em que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é realizada por uma ferramenta de transformada de sub-bloco, SBT.
[0034] De acordo com um segundo aspecto da presente divulgação, é fornecido um método de desblocagem, para desblocar fronteiras de bloco dentro de um bloco de codificação (unidade de codificação) em uma codificação de imagem e / ou uma decodificação de imagem, em que o bloco de codificação é codificado (predito) em modo de interpredição (como tal, o bloco de codificação é codificado em um modo de transformada de sub-bloco, SBT) e o bloco de codificação (um bloco de codificação interpredito) inclui blocos de transformada (o bloco de codificação é dividido (separado) em blocos de transformada em ou durante o processo de interpredição, por exemplo, quando a transformada de sub- bloco é habilitada, a unidade de codificação atual é dividida em unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada (por exemplo, blocos de transformada contêm p0 e q0 são adjacentes na direção vertical ou horizontal); em que o método compreende: em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[0035] Pode ser entendido que o primeiro e o segundo blocos de transformada nos lados da fronteira de bloco de transformada usam interpredição. Em um exemplo, as amostras do bloco de codificação são amostras de croma. Em um exemplo, as amostras do bloco de codificação são amostras de luma. Em outro exemplo, o bloco de codificação tem amostras de luma e amostras de croma. Correspondentemente, em um exemplo, as amostras do primeiro e do segundo blocos de transformada são amostras de croma; em outro exemplo, as amostras do primeiro e do segundo blocos de transformada são amostras de luma. Em outro exemplo, o primeiro e o segundo blocos de transformada ambos têm amostras de luma e amostras de croma. Especificamente, de acordo com a técnica anterior, o processo de filtro de desblocagem é aplicado para codificar bordas de sub-bloco e transformar bordas de bloco de uma imagem, mas bordas dentro dos componentes de croma para os quais ambos os lados da borda usam interpredição são excluídas, consequentemente as fronteiras de SBT internas podem também ser excluídas (porque a ferramenta de SBT pode ser aplicada para componentes de luma e croma). No entanto, de acordo com o segundo aspecto da presente divulgação, é permitido desblocar as fronteiras de SBT internas que são causadas pela ferramenta de codificação de transformada de sub-bloco (SBT), especialmente, é permitido desblocar as fronteiras de SBT internas dentro de componentes de croma que é causado pela ferramenta de codificação de transformada de sub-bloco (SBT).
[0036] Pode ser entendido que, além do parâmetro de força de fronteira (BS) para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada, outros parâmetros podem ser considerados para o processo de filtragem de desblocagem. Ou seja, dependendo do resultado de decisão de filtragem particular, filtragem de desblocagem pode ser realizada, em alguns casos nenhuma amostra pode ser modificada, ou em outros casos, apenas uma amostra pode ser modificada em cada linha ou coluna perpendicular e adjacente à fronteira.
[0037] Um particionamento de um bloco de interpredição (ou seja, um bloco de intercodificação curto para um bloco de codificação atual que é codificado no modo de interpredição) em blocos de transformada internos é realizado e a transformação é realizada apenas para um dos blocos de transformada, mas não o outro (porque um bloco de transformada tem dados residuais, o outro não tem dados residuais). Os blocos de transformada podem ser simétricos (ou seja, dois sub-blocos do mesmo tamanho) ou assimétricos (ou seja, os sub-blocos não são do mesmo tamanho). Essa transformação parcial pode resultar em artefato de bloco ao longo das fronteiras entre os blocos de transformada internos. Essas fronteiras não foram consideradas para serem filtradas na técnica anterior, o que compromete a qualidade subjetiva quando a transformada de Sub-Bloco (SBT) é ativada. De acordo com o segundo aspecto da invenção, no entanto, o processo de filtragem é melhorado para reduzir o artefato de bloco das fronteiras de SBT causado pela ferramenta de codificação de SBT. Ao detectar as fronteiras que seriam consideradas filtradas, as fronteiras internas entre os blocos de transformada internos causados pela ferramenta de codificação de SBT são levadas em consideração.
[0038] Em uma possível forma de implementação do método de acordo com o segundo aspecto como tal, em que o primeiro bloco de transformada tem dados residuais, e o segundo bloco de transformada não tem dados residuais, ou o primeiro bloco de transformada não tem dados residuais, e o segundo bloco de transformada tem dados residuais.
[0039] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que os blocos de transformada são blocos de transformada de transformada de sub-bloco, SBT.
[0040] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que o número de blocos de transformada é 2 ou 3 ou outro valor.
[0041] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, o método compreende ainda: determinar se a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada ou não.
[0042] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que em resposta a uma determinação de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar,
quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, compreende: em resposta a uma determinação de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, em que n é um número inteiro.
[0043] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto, em que n é 4 ou 8.
[0044] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que as amostras do primeiro e do segundo blocos de transformada são amostras de luma, ou as amostras do primeiro e segundo blocos de transformada são amostras de croma ou o primeiro e o segundo blocos de transformada ambos têm amostras de luma e amostras de croma.
[0045] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto, em que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma. Verificou-se que bordas de transformada com ambos os lados usando interpredição em componentes de croma, como a causada por SBT, também pode resultar em artefatos de bloco. Em particular, quando a informação principal de uma sequência de vídeo é representada por componentes de croma (por exemplo, a sequência de fogueira (“campfire”) usada na condição de teste comum), tais artefatos de bloco podem ser sérios. Portanto, essa invenção propõe a introdução de um processo de filtragem de desblocagem para bordas de transformada com seus dois lados usando interpredição em componentes de croma.
[0046] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que os blocos de transformada compreendem ainda: um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada; o método compreende ainda: - em resposta a uma determinação de que uma fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um primeiro valor; ou - em resposta a uma determinação de que a fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e tanto o segundo bloco de transformada como o terceiro bloco de transformada têm coeficientes de transformada zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um segundo valor.
[0047] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto, em que n é 4 ou 8. Verificou-se que bordas de bloco 4 x 4 ocorrem em VVC com mais frequência do que em HEVC. Em HEVC, apenas partição de árvore quádrupla é permitida para blocos de codificação, ou seja, a unidade de codificação resultante é sempre quadrada. Enquanto em VVC, árvore quádrupla com partição de árvore de múltiplos tipos é permitida, ou seja, a partição pode resultar em blocos de codificação 4 x N estreitos ou N x 4 planos. Além disso,
ferramentas de partição de sub-bloco, como SBT, podem resultar em bordas de bloco de transformada 4 x N ou N x 4. Portanto, o tamanho de grade é definido como 4 x 4 para considerar a filtragem de bordas que não foram sobrepostas a uma grade 8 x 8.
[0048] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que amostras do segundo e terceiro blocos de transformada são amostras de luma, ou as amostras do segundo e terceiro blocos de transformada são amostras de croma.
[0049] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto, em que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do segundo e terceiro blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é grade de amostra 8 x 8 para as amostras do segundo e terceiro blocos de transformada sendo amostras de croma.
[0050] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que o primeiro valor é 1.
[0051] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto, em que o segundo valor é zero.
[0052] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que o bloco de codificação é dividido em uma direção horizontal ou vertical.
[0053] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
[0054] Em uma possível forma de implementação do método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal, em que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é causada por uma ferramenta de transformada de sub-bloco, SBT.
[0055] De acordo com um terceiro aspecto da presente divulgação, é fornecido um dispositivo para uso em um codificador de imagem e / ou um decodificador de imagem, para desblocar uma fronteira de bloco de transformada dentro de um bloco de codificação, em que o bloco de codificação é codificado (predito) em modo de interpredição e o bloco de codificação é dividido (separado) em blocos de transformada (por exemplo, quando a transformada de sub-bloco é habilitada, a unidade de codificação atual é dividida em duas unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada (por exemplo, blocos de transformada contêm p0 e q0 são adjacentes na direção vertical ou horizontal); em que o dispositivo compreende um filtro de desblocagem configurado para: - determinar, quando uma fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de unidade de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[0056] Em uma possível forma de implementação do dispositivo de acordo com o terceiro aspecto como tal, em que o primeiro bloco de transformada tem dados residuais e o segundo bloco de transformada não tem dados residuais ou o primeiro bloco de transformada não tem dados residuais e o segundo bloco de transformada tem dados residuais.
[0057] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que os blocos de transformada são blocos de transformada de transformada de sub-bloco, SBT.
[0058] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que o número de blocos de transformada é 2 ou 3.
[0059] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT.
[0060] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que o filtro de desblocagem é configurado para: determinar, quando a fronteira entre um primeiro bloco de transformada e um segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor.
[0061] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que os blocos de transformada compreendem ainda um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada, e o filtro de desblocagem é ainda configurado para determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um primeiro valor; ou para determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma transformada de sub-bloco, a fronteira de SBT e ambos o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um segundo valor.
[0062] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que o primeiro valor é 1.
[0063] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto, em que o segundo valor é zero.
[0064] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada apenas se a fronteira de bloco de transformada entre o primeiro e o segundo blocos de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, em que n é um número inteiro.
[0065] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada, mesmo se a fronteira de blocos de transformada entre o primeiro e o segundo blocos de transformada não está alinhada com (sobreposta a) uma grade de amostra n x n, em que n é um número inteiro.
[0066] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto, em que n é 4 ou 8.
[0067] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que as amostras do primeiro e do segundo blocos de transformada são amostras de luma, ou as amostras do primeiro e segundo blocos de transformada são amostras de croma.
[0068] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto, em que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
[0069] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que o bloco de codificação é dividido em uma direção horizontal ou vertical.
[0070] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
[0071] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do terceiro aspecto ou o terceiro aspecto como tal, em que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é causada por uma ferramenta de transformada de sub-bloco, SBT.
[0072] De acordo com um quarto aspecto da presente divulgação, é fornecido um dispositivo para uso em um codificador de imagem e / ou um decodificador de imagem, para desblocar fronteiras de bloco dentro de um bloco de codificação (unidade de codificação), em que o bloco de codificação é codificado (predito) no modo de interpredição (o bloco de codificação é codificado em um modo de transformada de sub-bloco, SBT) e o bloco de codificação (um bloco de codificação interpredito) é dividido (separado) em blocos de transformada (por exemplo, quando a transformada de sub-bloco está habilitada, a unidade de codificação atual é dividida em duas unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada (no processo de interpredição, por exemplo, os blocos de transformada contêm p0 e q0 são adjacentes na direção vertical ou horizontal); em que o dispositivo compreende um filtro de desblocagem configurado para: em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[0073] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto, em que o primeiro bloco de transformada tem dados residuais e o segundo bloco de transformada não tem dados residuais ou o primeiro bloco de transformada não tem dados residuais e o segundo o bloco de transformada tem dados residuais.
[0074] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que os blocos de transformada são blocos de transformada de transformada de sub-bloco, SBT.
[0075] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que o número de blocos de transformada é 2 ou 3.
[0076] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, o método compreende ainda determinar se a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada ou não.
[0077] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que o filtro de desblocagem é configurado para: em resposta a uma determinação de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, em que n é um número inteiro.
[0078] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou o quarto aspecto como tal, em que n é 4 ou
8.
[0079] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que as amostras do primeiro e segundo blocos de transformada são amostras de luma, ou as amostras do primeiro e segundo blocos de transformada são amostras de croma, ou o primeiro e o segundo blocos de transformada ambos têm amostras de luma e amostras de croma. Verificou-se que as bordas de transformada com ambos os lados usando interpredição em componentes de croma, como uma borda de transformada causada por SBT, também podem resultar em artefatos de bloco. Em particular, quando a informação principal de uma sequência de vídeo é representada por componentes de croma (por exemplo, a sequência de fogueira (“campfire”) usada na condição de teste comum), tais artefatos de bloco podem ser sérios. Portanto, essa invenção propõe a introdução de um processo de filtragem de desblocagem para bordas de transformada com seus dois lados usando interpredição em componentes de croma.
[0080] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto, em que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
[0081] Verificou-se que bordas de blocos 4 x 4 ocorrem em VVC com mais frequência do que em HEVC. Em HEVC, apenas partição de árvore quádrupla é permitida para blocos de codificação, ou seja, a unidade de codificação resultante é sempre um quadrado. Enquanto em VVC, árvore quádrupla com partição de árvore de múltiplos tipos é permitida, ou seja, a partição pode resultar em blocos de codificação 4 x N estreitos ou N x 4 planos. Além disso, ferramentas de partição de sub-bloco, como SBT, podem resultar em bordas de bloco de transformada 4 x N ou N x 4. Portanto, o tamanho de grade é definido como 4 x 4 para considerar a filtragem de bordas que não estão sobrepostas a uma grade 8 x 8.
[0082] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que os blocos de transformada compreendem ainda um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada; o filtro de desblocagem é ainda configurado para: - em resposta a uma determinação de que uma fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um primeiro valor; ou - em resposta a uma determinação de que a fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com (sobreposta a) uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e ambos o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada para ser um segundo valor.
[0083] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto, em que n é 4 ou 8.
[0084] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que amostras do segundo e terceiro blocos de transformada são amostras de luma, ou as amostras do segundo e terceiro blocos de transformada são amostras de croma.
[0085] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do segundo e terceiro blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é grade de amostra 8 x 8 para as amostras do segundo e terceiro blocos de transformada sendo amostras de croma.
[0086] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que o primeiro valor é 1.
[0087] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto, em que o segundo valor é zero.
[0088] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou do quarto aspecto como tal, em que o bloco de codificação é dividido em uma direção horizontal ou vertical.
[0089] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou quarto aspecto como tal, em que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou, se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
[0090] Em uma possível forma de implementação do dispositivo de acordo com qualquer implementação anterior do quarto aspecto ou quarto aspecto como tal, em que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é causada por uma ferramenta de transformada de sub-bloco, SBT.
[0091] De acordo com um quinto aspecto da presente divulgação, é fornecido um codificador compreendendo conjunto de circuitos de processamento para realizar o método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal ou o método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal.
[0092] De acordo com um sexto aspecto da presente divulgação, é fornecido um decodificador compreendendo conjunto de circuitos de processamento para realizar o método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal ou o método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal.
[0093] De acordo com um sétimo aspecto da presente divulgação, é fornecido um produto de programa de computador compreendendo um código de programa para realizar o método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal ou o método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal.
[0094] De acordo com um oitavo aspecto da presente divulgação, é fornecido um meio legível por computador não transitório transportando um código de programa que, quando executado por um dispositivo de computador, faz o dispositivo de computador realizar o método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal ou o método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal.
[0095] De acordo com um nono aspecto da presente divulgação, é fornecido um decodificador, compreendendo: um ou mais processadores; e um meio de armazenamento legível por computador não transitório acoplado aos processadores e armazenando programação para execução pelos processadores, em que a programação, quando executada pelos processadores, configura o decodificador para realizar o método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal ou o método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal.
[0096] De acordo com um décimo aspecto da presente divulgação, é fornecido um codificador, compreendendo: um ou mais processadores; e um meio de armazenamento legível por computador não transitório acoplado aos processadores e armazenando programação para execução pelos processadores, em que a programação, quando executada pelos processadores, configura o codificador para realizar o método de acordo com qualquer implementação anterior do primeiro aspecto ou o primeiro aspecto como tal ou o método de acordo com qualquer implementação anterior do segundo aspecto ou o segundo aspecto como tal.
[0097] De acordo com um décimo primeiro aspecto da presente divulgação, é fornecido um aparelho de filtro de desblocagem, para desblocar uma fronteira de bloco de transformada dentro de um bloco de codificação, em que o bloco de codificação é codificado (predito) no modo de interpredição e o bloco de codificação compreende blocos de transformada (como tal, o bloco de codificação é dividido (separado) em blocos de transformada durante o processo de interpredição, por exemplo, quando a transformada de sub- bloco é habilitada, a unidade de codificação atual é dividida em duas unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada; em que o filtro de desblocagem compreende meios para determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira, BS, para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, e meios para realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no primeiro valor do parâmetro de BS.
[0098] De acordo com um décimo segundo aspecto da presente divulgação, é fornecido um aparelho de filtro de desblocagem, para desblocar fronteiras de bloco dentro de um bloco de codificação (unidade de codificação), em que o bloco de codificação é codificado (predito) no modo de interpredição (em particular, o bloco de codificação é codificado em um modo de transformada de sub-bloco, SBT) e o bloco de codificação (um bloco de codificação interpredito é dividido (separado) em blocos de transformada no processo de interpredição, por exemplo, quando a transformada de sub- bloco é habilitada, a unidade de codificação atual é dividida em duas unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada (por exemplo, blocos de transformada contêm p0 e q0 são adjacentes na direção vertical ou horizontal), o aparelho de filtro de desblocagem compreendendo meios para em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, e meios para realizar um processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[0099] O método de acordo com o primeiro aspecto da invenção, isto é, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira, BS, para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no primeiro valor do parâmetro de BS pode ser realizado pelo aparelho de acordo com o décimo primeiro aspecto da invenção. Outros recursos e formas de implementação do aparelho de acordo com o décimo primeiro aspecto da invenção correspondem aos recursos e formas de implementação do método de acordo com o primeiro aspecto da invenção.
[00100] O método de acordo com o segundo aspecto da invenção, isto é, em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor, e realizar processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira pode ser realizado pelo aparelho de acordo com o décimo segundo aspecto da invenção. Outros recursos e formas de implementação do aparelho de acordo com o décimo segundo aspecto da invenção correspondem aos recursos e formas de implementação do método de acordo com o segundo aspecto da invenção.
[00101] O aparelho de acordo com o aspecto pode ser estendido em formas de implementação correspondentes às formas de implementação de um método de acordo com qualquer aspecto anterior. Portanto, uma forma de implementação do aparelho compreende o (s) recurso (s) da forma de implementação correspondente do método de acordo com qualquer aspecto anterior.
[00102] As vantagens dos aparelhos de acordo com qualquer aspecto anterior são as mesmas que aquelas para as formas de implementação correspondentes do método de acordo com qualquer aspecto anterior.
[00103] De acordo com um aspecto adicional, a invenção se refere a um aparelho para decodificar um fluxo de vídeo que inclui um processador e uma memória. A memória está armazenando instruções que fazem o processador realizar o método de acordo com o primeiro aspecto.
[00104] De acordo com um aspecto adicional, a invenção se refere a um aparelho para codificar um fluxo de vídeo que inclui um processador e uma memória. A memória está armazenando instruções que fazem o processador realizar o método de acordo com o primeiro aspecto.
[00105] Os detalhes de uma ou mais modalidades são apresentados nos desenhos anexos e na descrição abaixo. Outros recursos, objetos e vantagens serão evidentes a partir da descrição, desenhos e reivindicações.
[00106] No seguinte, modalidades da invenção são descritas em mais detalhes com referência às figuras e desenhos anexos, nos quais:
a Figura 1A é um diagrama de blocos mostrando um exemplo de um sistema de codificação de vídeo configurado para implementar modalidades da invenção; a Figura 1B é um diagrama de blocos mostrando outro exemplo de um sistema de codificação de vídeo configurado para implementar modalidades da invenção; a Figura 2 é um diagrama de blocos mostrando um exemplo de um codificador de vídeo configurado para implementar modalidades da invenção; a Figura 3 é um diagrama de blocos mostrando um exemplo de estrutura de um decodificador de vídeo configurado para implementar modalidades da invenção; a Figura 4 é um diagrama de blocos ilustrando um exemplo de um aparelho de codificação ou um aparelho de decodificação; a Figura 5 é um diagrama de blocos ilustrando outro exemplo de um aparelho de codificação ou um aparelho de decodificação; a Figura 6 é um diagrama de blocos ilustrando um exemplo de desblocagem de bordas de subpartição dentro de uma unidade de codificação (CU); a Figura 7 é um diagrama de blocos ilustrando outro exemplo de desblocagem de bordas de subpartição dentro de uma CU; a Figura 8 é um diagrama de blocos ilustrando um exemplo de desblocagem de fronteiras de TU de sub-bloco dentro de uma CU que se sobrepõe a uma grade de amostra 8 x 8; a Figura 9 é um diagrama de blocos ilustrando um exemplo de desblocagem de todas as fronteiras de TU de sub-bloco dentro de uma CU que se sobrepõe a uma grade de amostra 4 x
4; a Figura 10 é um diagrama de blocos ilustrando um exemplo de acordo com o qual quando o tamanho de sub-bloco é < 8 amostras ortogonalmente na direção de desblocagem, então um filtro fraco que usa apenas 3 amostras na decisão de desblocagem e que modifica apenas uma amostra é usado; a Figura 11 ilustra bordas de sub-bloco causadas por limitações de tamanho de TU; a Figura 12 mostra uma unidade de codificação dividida em múltiplas unidades de transformada; a Figura 13 ilustra desblocagem de todas as fronteiras de TU de sub-bloco dentro de uma CU que se sobrepõe a (alinhada com) uma grade de amostra 8 x 8; a Figura 14 mostra uma unidade de codificação que é ainda dividida em múltiplas unidades de transformada; a Figura 15 mostra uma unidade de codificação que é ainda dividida em múltiplas unidades de transformada de acordo com a árvore quádrupla residual (RQT) como transformada de sub- bloco; a Figura 16 mostra uma fronteira vertical entre dois blocos P e Q; a Figura 17 mostra um fluxograma para o método de acordo com o primeiro aspecto da invenção; a Figura 18 mostra um fluxograma para o método de acordo com o segundo aspecto da invenção; a Figura 19 mostra um diagrama esquemático de um dispositivo para codificação de vídeo; a Figura 20 mostra um diagrama esquemático de um dispositivo para codificação de vídeo; a Figura 21 é um diagrama de blocos mostrando um exemplo de estrutura de um sistema de fornecimento de conteúdo que realiza um serviço de entrega de conteúdo; e a Figura 22 é um diagrama de blocos mostrando uma estrutura de um exemplo de um dispositivo terminal.
[00107] No seguinte, sinais de referência idênticos se referem a recursos idênticos ou pelo menos funcionalmente equivalentes, se não for explicitamente especificado de outra forma.
[00108] Na seguinte descrição, é feita referência às figuras anexas, que fazem parte da divulgação e que mostram, a título de ilustração, aspectos específicos das modalidades da invenção ou aspectos específicos em que as modalidades da presente invenção podem ser usadas. Entende-se que as modalidades da invenção podem ser usadas em outros aspectos e compreendem mudanças estruturais ou lógicas não representadas nas figuras. A seguinte descrição detalhada, portanto, não deve ser tomada em um sentido limitante, e o escopo da presente invenção é definido pelas reivindicações anexas.
[00109] Por exemplo, entende-se que uma divulgação em conexão com um método descrito também pode ser verdadeira para um dispositivo ou sistema correspondente configurado para realizar o método e vice-versa. Por exemplo, se uma ou uma pluralidade de passos de método específicos são descritos, um dispositivo correspondente pode incluir uma ou uma pluralidade de unidades, por exemplo, unidades funcionais, para realizar o descrito um ou a pluralidade de passos de método (por exemplo, uma unidade realizando o ou a pluralidade de passos, ou uma pluralidade de unidades,
cada uma realizando uma ou mais da pluralidade de passos), mesmo se tais uma ou mais unidades não forem explicitamente descritas ou ilustradas nas figuras. Por outro lado, por exemplo, se um aparelho específico é descrito com base em uma ou uma pluralidade de unidades, por exemplo, unidades funcionais, um método correspondente pode incluir um passo para realizar a funcionalidade de uma ou uma pluralidade de unidades (por exemplo, um passo realizando a funcionalidade da uma ou uma pluralidade de unidades, ou uma pluralidade de passos, cada uma realizando a funcionalidade de uma ou mais da pluralidade de unidades), mesmo se tal um ou uma pluralidade de passos não forem explicitamente descritos ou ilustrados nas figuras. Além disso, entende-se que as características das várias modalidades exemplares e / ou aspectos descritos neste documento podem ser combinadas umas com as outras, a menos que especificamente indicado de outra forma.
[00110] A codificação de vídeo normalmente se refere ao processamento de uma sequência de imagens, que formam o vídeo ou a sequência de vídeo. Em vez do termo “imagem” (“picture”), o termo “quadro” ou “imagem” (“image”) pode ser usado como sinônimo no campo da codificação de vídeo. A codificação de vídeo (ou codificação em geral) compreende duas partes, codificação de vídeo e decodificação de vídeo. A codificação de vídeo é realizada no lado de fonte, normalmente compreendendo o processamento (por exemplo, por compressão) das imagens de vídeo originais para reduzir a quantidade de dados necessária para representar as imagens de vídeo (para armazenamento e / ou transmissão mais eficiente). A decodificação de vídeo é realizada no lado de destino e normalmente compreende o processamento inverso em comparação com o codificador para reconstruir as imagens de vídeo. As modalidades que se referem à "codificação" de imagens de vídeo (ou imagens em geral) devem ser entendidas como relacionadas à "codificação" ou "decodificação" de imagens de vídeo ou respectivas sequências de vídeo. A combinação da parte de codificação e da parte de decodificação também é conhecida como CODEC (Codificação e Decodificação).
[00111] No caso de codificação de vídeo sem perdas, as imagens de vídeo originais podem ser reconstruídas, ou seja, as imagens de vídeo reconstruídas têm a mesma qualidade das imagens de vídeo originais (assumindo nenhuma perda de transmissão ou outra perda de dados durante o armazenamento ou transmissão). No caso de codificação de vídeo com perdas, compressão adicional, por exemplo, por quantização, é realizada, para reduzir a quantidade de dados que representam as imagens de vídeo, que não podem ser completamente reconstruídas no decodificador, ou seja, a qualidade das imagens de vídeo reconstruídas é inferior ou pior comparada à qualidade das imagens de vídeo originais.
[00112] Vários padrões de codificação de vídeo pertencem ao grupo de “codecs de vídeo híbridos com perdas” (ou seja, combinam predição espacial e temporal no domínio da amostra e codificação de transformada 2D para aplicar quantização no domínio de transformada). Cada imagem de uma sequência de vídeo é normalmente particionada em um conjunto de blocos não sobrepostos e a codificação é normalmente realizada em um nível de bloco. Em outras palavras, no codificador, o vídeo é normalmente processado, ou seja,
codificado, em um nível de bloco (bloco de vídeo), por exemplo, por usar predição espacial (intraimagem) e / ou predição temporal (interimagem) para gerar um bloco de predição, subtrair o bloco de predição do bloco atual (bloco atualmente processado / a ser processado) para obter um bloco residual, transformar o bloco residual e quantizar o bloco residual no domínio de transformada para reduzir a quantidade de dados a serem transmitidos (compressão), enquanto no decodificador, o processamento inverso em comparação com o codificador é aplicado ao bloco codificado ou comprimido para reconstruir o bloco atual para representação. Além disso, o codificador duplica o loop de processamento de decodificador de modo que ambos irão gerar predições idênticas (por exemplo, intra e interpredições) e / ou reconstruções para processamento, ou seja, codificação dos blocos subsequentes.
[00113] Nas seguintes modalidades de um sistema de codificação de vídeo 10, um codificador de vídeo 20 e um decodificador de vídeo 30 são descritos com base nas Figuras 1 a 3.
[00114] A Figura 1A é um diagrama de blocos esquemático ilustrando um sistema de codificação de exemplo 10, por exemplo, um sistema de codificação de vídeo 10 (ou sistema de codificação 10 abreviado) que pode utilizar técnicas do presente pedido. O codificador de vídeo 20 (ou codificador 20 abreviado) e o decodificador de vídeo 30 (ou decodificador 30 abreviado) do sistema de codificação de vídeo 10 representam exemplos de dispositivos que podem ser configurados para realizar técnicas de acordo com vários exemplos descritos no presente pedido.
[00115] Como mostrado na Figura 1A, o sistema de codificação 10 compreende um dispositivo de origem 12 configurado para fornecer dados de imagem codificados 21, por exemplo, para um dispositivo de destino 14 para decodificar os dados de imagem codificados 13.
[00116] O dispositivo de origem 12 compreende um codificador 20 e pode, adicionalmente, isto é, opcionalmente, compreender uma origem de imagem 16, um pré- processador (ou unidade de pré-processamento) 18, por exemplo, um pré-processador de imagem 18, e uma interface de comunicação ou unidade de comunicação 22.
[00117] A origem de imagem 16 pode compreender ou ser qualquer tipo de dispositivo de captura de imagem, por exemplo, uma câmera para capturar uma imagem do mundo real e / ou qualquer tipo de um dispositivo de geração de imagem, por exemplo, um processador gráfico de computador para gerar uma imagem animada por computador, ou qualquer tipo de outro dispositivo para obter e / ou fornecer uma imagem do mundo real, uma imagem gerada por computador (por exemplo, um conteúdo de tela, uma imagem de realidade virtual (VR)) e / ou qualquer combinação dos mesmos (por exemplo, uma imagem de realidade aumentada (AR)). A origem de imagem pode ser qualquer tipo de memória ou armazenamento armazenando qualquer uma das imagens acima mencionadas.
[00118] Em distinção ao pré-processador 18 e ao processamento realizado pela unidade de pré-processamento 18, a imagem ou dados de imagem 17 também podem ser referidos como imagem bruta ou dados de imagem brutos 17.
[00119] O pré-processador 18 é configurado para receber os dados de imagem (brutos) 17 e para realizar o pré-processamento nos dados de imagem 17 para obter uma imagem pré-processada 19 ou dados de imagem pré-processados
19. Pré-processamento realizado pelo pré-processador 18 pode, por exemplo, compreender corte, conversão de formato de cor (por exemplo, de RGB para YCbCr), correção de cor, ou eliminação de ruído. Pode ser entendido que a unidade de pré-processamento 18 pode ser componente opcional.
[00120] O codificador de vídeo 20 é configurado para receber os dados de imagem pré-processados 19 e fornecer dados de imagem codificados 21 (mais detalhes serão descritos abaixo, por exemplo, com base na Figura 2).
[00121] A interface de comunicação 22 do dispositivo de origem 12 pode ser configurada para receber os dados de imagem codificados 21 e para transmitir os dados de imagem codificados 21 (ou qualquer versão processada adicional dos mesmos) através do canal de comunicação 13 para outro dispositivo, por exemplo, o dispositivo de destino 14 ou qualquer outro dispositivo, para armazenamento ou reconstrução direta.
[00122] O dispositivo de destino 14 compreende um decodificador 30 (por exemplo, um decodificador de vídeo 30) e pode, adicionalmente, isto é, opcionalmente, compreender uma interface de comunicação ou unidade de comunicação 28, um pós-processador 32 (ou unidade de pós-processamento 32) e um dispositivo de exibição 34.
[00123] A interface de comunicação 28 do dispositivo de destino 14 é configurada para receber os dados de imagem codificados 21 (ou qualquer versão processada adicional dos mesmos), por exemplo, diretamente a partir do dispositivo de origem 12 ou a partir de qualquer outra fonte, por exemplo,
um dispositivo de armazenamento, por exemplo, um dispositivo de armazenamento de dados de imagem codificados, e fornecer os dados de imagem codificados 21 para o decodificador 30.
[00124] A interface de comunicação 22 e a interface de comunicação 28 podem ser configuradas para transmitir ou receber os dados de imagem codificados 21 ou dados codificados 13 através de um enlace de comunicação direto entre o dispositivo de origem 12 e o dispositivo de destino 14, por exemplo, uma conexão direta com ou sem fio, ou através de qualquer tipo de rede, por exemplo, uma rede com ou sem fio ou qualquer combinação delas, ou qualquer tipo de rede privada e pública, ou qualquer tipo de combinação das mesmas.
[00125] A interface de comunicação 22 pode ser, por exemplo, configurada para empacotar os dados de imagem codificados 21 em um formato apropriado, por exemplo, pacotes, e / ou processar os dados de imagem codificados usando qualquer tipo de codificação ou processamento de transmissão para transmissão através de um enlace de comunicação ou rede de comunicação.
[00126] A interface de comunicação 28, formando a contraparte da interface de comunicação 22, pode ser, por exemplo, configurada para receber os dados transmitidos e processar os dados de transmissão usando qualquer tipo de decodificação ou processamento e / ou desempacotamento de transmissão correspondente para obter os dados de imagem codificados 21.
[00127] Tanto a interface de comunicação 22 quanto a interface de comunicação 28 podem ser configuradas como interfaces de comunicação unidirecionais, conforme indicado pela seta para o canal de comunicação 13 na Figura 1A apontando a partir do dispositivo de origem 12 para o dispositivo de destino 14, ou interfaces de comunicação bidirecionais, e pode ser configurado, por exemplo, para enviar e receber mensagens, por exemplo, para configurar uma conexão, para reconhecer e trocar qualquer outra informação relacionada ao enlace de comunicação e / ou transmissão de dados, por exemplo, transmissão de dados de imagem codificados.
[00128] O decodificador 30 é configurado para receber os dados de imagem codificados 21 e fornecer dados de imagem decodificados 31 ou uma imagem decodificada 31 (mais detalhes serão descritos abaixo, por exemplo, com base na Figura 3 ou Figura 5).
[00129] O pós-processador 32 do dispositivo de destino 14 é configurado para pós-processar os dados de imagem decodificados 31 (também chamados de dados de imagem reconstruídos), por exemplo, a imagem decodificada 31, para obter dados de imagem pós-processados 33, por exemplo, uma imagem pós-processada 33. O pós-processamento realizado pela unidade de pós-processamento 32 pode compreender, por exemplo, conversão de formato de cor (por exemplo, de YCbCr para RGB), correção de cor, corte, ou reamostragem, ou qualquer outro processamento, por exemplo, para preparar os dados de imagem decodificados 31 para exibição, por exemplo, pelo dispositivo de exibição 34.
[00130] O dispositivo de exibição 34 do dispositivo de destino 14 é configurado para receber os dados de imagem pós-processados 33 para exibir a imagem, por exemplo, para um usuário ou visualizador. O dispositivo de exibição 34 pode ser ou compreender qualquer tipo de tela exibição para representar a imagem reconstruída, por exemplo, uma tela de exibição ou monitor integrado ou externo. As telas de exibição podem, por exemplo, compreender telas de exibição de cristal líquido (LCD), telas de exibição de diodos emissores de luz orgânicos (OLED), telas de exibição de plasma, projetores, telas de exibição de microLED, um cristal líquido em silício (LCoS), processador de luz digital (DLP) ou qualquer outro tipo de tela de exibição.
[00131] Embora a Figura 1A represente o dispositivo de origem 12 e o dispositivo de destino 14 como dispositivos separados, modalidades de dispositivos também podem compreender ambos ou ambas as funcionalidades, o dispositivo de origem 12 ou funcionalidade correspondente e o dispositivo de destino 14 ou funcionalidade correspondente. Em tais modalidades, o dispositivo de origem 12 ou funcionalidade correspondente e o dispositivo de destino 14 ou funcionalidade correspondente podem ser implementados usando o mesmo hardware e / ou software ou por hardware e / ou software separado ou qualquer combinação dos mesmos.
[00132] Como será evidente para a pessoa versada com base na descrição, a existência e separação (exata) de funcionalidades das diferentes unidades ou funcionalidades dentro do dispositivo de origem 12 e / ou dispositivo de destino 14, como mostrado na Figura 1A, podem variar dependendo do dispositivo e aplicação atuais.
[00133] O codificador 20 (por exemplo, um codificador de vídeo 20) ou o decodificador 30 (por exemplo, um decodificador de vídeo 30) ou ambos, o codificador 20 e o decodificador 30 podem ser implementados por meio de conjunto de circuitos de processamento como mostrado na Figura 1B, como um ou mais microprocessadores, processadores de sinal digital (DSPs), circuitos integrados de aplicação específica (ASICs), matrizes de portas programáveis em campo (FPGAs), lógica discreta, hardware, codificação de vídeo dedicada ou qualquer combinação dos mesmos. O codificador 20 pode ser implementado através do conjunto de circuitos de processamento 46 para incorporar os vários módulos, conforme discutido em relação ao codificador 20 da Figura 2 e / ou qualquer outro sistema de codificador ou subsistema aqui descrito. O decodificador 30 pode ser implementado através do conjunto de circuitos de processamento 46 para incorporar os vários módulos, conforme discutido em relação ao decodificador 30 da Figura 3 e / ou qualquer outro sistema ou subsistema decodificador aqui descrito. O conjunto de circuitos de processamento pode ser configurado para realizar as várias operações, conforme discutido mais tarde. Conforme mostrado na Figura 5, se as técnicas são implementadas parcialmente em software, um dispositivo pode armazenar instruções para o software em um meio de armazenamento legível por computador não transitório adequado e pode executar as instruções em hardware usando um ou mais processadores para realizar as técnicas desta divulgação. Qualquer de codificador de vídeo 20 e decodificador de vídeo 30 podem ser integrados como parte de um codificador / decodificador combinado (CODEC) em um único dispositivo, por exemplo, como mostrado na Figura 1B.
[00134] O dispositivo de origem 12 e o dispositivo de destino 14 podem compreender qualquer um de uma ampla gama de dispositivos, incluindo qualquer tipo de dispositivos portáteis ou estacionários, por exemplo, notebooks ou laptops, telefones móveis, smartphones, tablets ou computadores tablets, câmeras, computadores de mesa, decodificadores, televisores, dispositivos de exibição, reprodutores de mídia digital, consoles de videogame, dispositivos de streaming de vídeo (como servidores de serviços de conteúdo ou servidores de entrega de conteúdo), dispositivo receptor de difusão, dispositivo transmissor de difusão, ou semelhantes e podem usar nenhum ou qualquer tipo de sistema operacional. Em alguns casos, o dispositivo de origem 12 e o dispositivo de destino 14 podem ser equipados para comunicação sem fio. Assim, o dispositivo de origem 12 e o dispositivo de destino 14 podem ser dispositivos de comunicação sem fio.
[00135] Em alguns casos, o sistema de codificação de vídeo 10 ilustrado na Figura 1A é apenas um exemplo e as técnicas do presente pedido podem ser aplicadas a definições de codificação de vídeo (por exemplo, codificação de vídeo ou decodificação de vídeo) que não incluem necessariamente qualquer comunicação de dados entre os dispositivos de codificação e de decodificação. Em outros exemplos, os dados são recuperados de uma memória local, transmitidos por uma rede ou semelhantes. Um dispositivo de codificação de vídeo pode codificar e armazenar dados para a memória e / ou um dispositivo de decodificação de vídeo pode recuperar e decodificar dados da memória. Em alguns exemplos, a codificação e decodificação são realizadas por dispositivos que não se comunicam entre si, mas simplesmente codificam dados para a memória e / ou recuperam e decodificam dados a partir da memória.
[00136] Por conveniência de descrição, as modalidades da invenção são descritas neste documento, por exemplo, por referência à Codificação de Vídeo de Alta Eficiência (HEVC) ou ao software de referência de Codificação de Vídeo Versátil (VVC), o padrão de codificação de vídeo de próxima geração desenvolvido pela Equipe de Colaboração Conjunta em Codificação de Vídeo (JCT-VC) do Grupo de Especialistas de Codificação de Vídeo (VCEG) ITU-T e Grupo de Especialistas de Imagem em Movimento (MPEG) ISO / IEC. Uma pessoa versada na técnica entenderá que as modalidades da invenção não estão limitadas a HEVC ou VVC. Codificador e Método de Codificação
[00137] A Figura 2 mostra um diagrama de blocos esquemático de um codificador de vídeo de exemplo 20 que é configurado para implementar as técnicas do presente pedido. No exemplo da Figura 2, o codificador de vídeo 20 compreende uma entrada 202 (ou interface de entrada 202), uma unidade de cálculo residual 204, uma unidade de processamento de transformada 206, uma unidade de quantização 208, uma unidade de quantização inversa 210 e unidade de processamento de transformada inversa 212, uma unidade de reconstrução 214, uma unidade de filtro de loop 220, um armazenamento temporário de imagens decodificadas (DPB) 230, uma unidade de seleção de modo 260, uma unidade de codificação de entropia 270 e uma saída 272 (ou interface de saída 272). A unidade de seleção de modo 260 pode incluir uma unidade de interpredição 244, uma unidade de intrapredição 254 e uma unidade de particionamento 262. Unidade de interpredição 244 pode incluir uma unidade de estimativa de movimento e uma unidade de compensação de movimento (não mostrada). Um codificador de vídeo 20, como mostrado na Figura 2, também pode ser referido como codificador de vídeo híbrido ou um codificador de vídeo de acordo com um codec de vídeo híbrido.
[00138] A unidade de cálculo residual 204, a unidade de processamento de transformada 206, a unidade de quantização 208, a unidade de seleção de modo 260 podem ser referidas como formando um percurso de sinal direto do codificador 20, enquanto a unidade de quantização inversa 210, a unidade de processamento de transformada inversa 212, a unidade de reconstrução 214, o armazenamento temporário 216, o filtro de loop 220, o armazenamento temporário de imagens decodificadas (DPB) 230, a unidade de interpredição 244 e a unidade de intrapredição 254 podem ser referidos como formando um percurso de sinal inverso do codificador de vídeo 20, em que o percurso de sinal inverso do codificador de vídeo 20 corresponde ao percurso de sinal do decodificador (ver o decodificador de vídeo 30 na Figura 3). A unidade de quantização inversa 210, a unidade de processamento de transformada inversa 212, a unidade de reconstrução 214, o filtro de loop 220, o armazenamento temporário de imagens decodificadas (DPB) 230, a unidade de interpredição 244 e a unidade de intrapredição 254 também são referidas para formar o “decodificador embutido” do codificador de vídeo 20. Imagem e Particionamento de Imagens (Imagens e Blocos)
[00139] O codificador 20 pode ser configurado para receber, por exemplo, através da entrada 202, uma imagem 17 (ou dados de imagem 17), por exemplo, imagem de uma sequência de imagens formando um vídeo ou sequência de vídeo. A imagem recebida ou dados de imagem também podem ser uma imagem pré- processada 19 (ou dados de imagem pré-processados 19). Por razões de simplicidade, a seguinte descrição refere-se à imagem 17. A imagem 17 também pode ser referida como imagem atual ou imagem a ser codificada (em particular na codificação de vídeo para distinguir a imagem atual de outras imagens, por exemplo, imagens previamente codificadas e / ou decodificadas da mesma sequência de vídeo, ou seja, a sequência de vídeo que também inclui a imagem atual).
[00140] Uma imagem (digital) é ou pode ser considerada como um arranjo ou matriz bidimensional de amostras com valores de intensidade. Uma amostra na matriz também pode ser referida como pixel (forma abreviada de elemento de imagem) ou pel. O número de amostras em direção horizontal e vertical (ou eixo) da matriz ou imagem define o tamanho e / ou resolução da imagem. Para a representação da cor, normalmente três componentes de cor são empregados, ou seja, a imagem pode ser representada ou incluir três matrizes de amostra. No formato ou espaço de cor RBG, uma imagem compreende uma matriz de amostra vermelha, verde e azul correspondente. No entanto, na codificação de vídeo, cada pixel é tipicamente representado em um formato ou espaço de cor de luminância e crominância, por exemplo, YCbCr, que compreende um componente de luminância indicado por Y (às vezes também L é usado no lugar) e dois componentes de crominância indicados por Cb e Cr. O componente de luminância (ou luma para abreviar) Y representa o brilho ou intensidade do nível de cinza (por exemplo, como em uma imagem em escala de cinza), enquanto os dois componentes de crominância (ou croma para abreviar) Cb e Cr representam a cromaticidade ou componentes de informações de cor. Consequentemente, uma imagem no formato YCbCr compreende uma matriz de amostra de luminância de valores de amostra de luminância (Y) e duas matrizes de amostra de crominância de valores de crominância (Cb e Cr). As imagens no formato RGB podem ser convertidas ou transformadas no formato YCbCr e vice-versa, o processo também é conhecido como transformação ou conversão de cores. Se uma imagem for monocromática, a imagem pode compreender apenas uma matriz de amostra de luminância. Consequentemente, uma imagem pode ser, por exemplo, uma matriz de amostras de luma em formato monocromático ou uma matriz de amostras de luma e duas matrizes correspondentes de amostras de croma em formato de cor 4: 2: 0, 4: 2: 2 e 4: 4: 4.
[00141] As modalidades do codificador de vídeo 20 podem compreender uma unidade de particionamento de imagem (não representada na Figura 2) configurada para particionar a imagem 17 em uma pluralidade de blocos de imagem 201 (tipicamente não sobrepostos). Esses blocos também podem ser referidos como blocos raiz, macroblocos (H.264 / AVC) ou blocos de árvore de codificação (CTB) ou unidades de árvore de codificação (CTU) (H.265 / HEVC e VVC). A unidade de particionamento de imagem pode ser configurada para usar o mesmo tamanho de bloco para todas as imagens de uma sequência de vídeo e a grade correspondente definindo o tamanho do bloco, ou para alterar o tamanho do bloco entre imagens ou subconjuntos ou grupos de imagens, e particionar cada imagem nos blocos correspondentes.
[00142] Em outras modalidades, o codificador de vídeo pode ser configurado para receber diretamente um bloco 201 da imagem 17, por exemplo, um, vários ou todos os blocos que formam a imagem 17. O bloco de imagem 201 também pode ser referido como bloco de imagem atual ou bloco de imagem a ser codificado.
[00143] Como a imagem 17, o bloco de imagem 201 novamente é ou pode ser considerado como um arranjo ou matriz bidimensional de amostras com valores de intensidade (valores de amostra), embora de menor dimensão do que a imagem 17. Em outras palavras, o bloco 201 pode compreender, por exemplo, uma matriz de amostra (por exemplo, uma matriz de luma no caso de uma imagem monocromática 17, ou uma matriz de luma ou croma no caso de uma imagem colorida) ou três matrizes de amostra (por exemplo, uma matriz de luma e duas de croma no caso de uma imagem colorida 17) ou qualquer outro número e / ou tipo de matrizes dependendo do formato de cor aplicado. O número de amostras em direção horizontal e vertical (ou eixo) do bloco 201 define o tamanho de bloco
201. Consequentemente, um bloco pode, por exemplo, compreender uma matriz MxN (coluna M por linha N) de amostras, ou uma matriz MxN de coeficientes de transformada.
[00144] As modalidades do codificador de vídeo 20, conforme mostrado na Figura 2, podem ser configuradas para codificar a imagem 17 bloco a bloco, por exemplo, a codificação e a predição são realizadas por bloco 201. Cálculo Residual
[00145] A unidade de cálculo residual 204 pode ser configurada para calcular um bloco residual 205 (também referido como residual 205) com base no bloco de imagem 201 e um bloco de predição 265 (detalhes adicionais sobre o bloco de predição 265 são fornecidos posteriormente), por exemplo, subtraindo valores de amostra do bloco de predição 265 a partir de valores de amostra do bloco de imagem 201, amostra por amostra (pixel por pixel) para obter o bloco residual 205 no domínio de amostra. Transformada
[00146] A unidade de processamento de transformada 206 pode ser configurada para aplicar uma transformada, por exemplo, uma transformada discreta de cosseno (DCT) ou transformada discreta de seno (DST), nos valores de amostra do bloco residual 205 para obter coeficientes de transformada 207 em um domínio de transformada. Os coeficientes de transformada 207 também podem ser referidos como coeficientes residuais de transformada e representam o bloco residual 205 no domínio de transformada.
[00147] A unidade de processamento de transformada 206 pode ser configurada para aplicar aproximações inteiras de DCT / DST, como as transformadas especificadas para H.265 / HEVC. Comparado a uma transforma de DCT ortogonal, tais aproximações inteiras são tipicamente escalonadas por um determinado fator. A fim de preservar a norma do bloco residual que é processado pelas transformadas direta e inversa, fatores de escalonamento adicionais são aplicados como parte do processo de transformada. Os fatores de escalonamento são normalmente escolhidos com base em certas restrições, como fatores de escalonamento sendo uma potência de dois para operações de desvio, profundidade de bits dos coeficientes de transformada, compensação entre precisão e custos de implementação, etc. Fatores de escalonamento específicos são, por exemplo, especificados para a transformada inversa, por exemplo, pela unidade de processamento de transformada inversa 212 (e a transformada inversa correspondente, por exemplo, pela unidade de processamento de transformada inversa 312 no decodificador de vídeo 30) e fatores de escalonamento correspondentes para a transformação direta, por exemplo, pela unidade de processamento de transformada 206, em um codificador 20 podem ser especificados consequentemente.
[00148] As modalidades do codificador de vídeo 20 (respectivamente, unidade de processamento de transformada 206) podem ser configuradas para emitir parâmetros de transformada, por exemplo, um tipo de transformada ou transformadas, por exemplo, diretamente ou codificados ou comprimidos através da unidade de codificação de entropia 270, de modo que, por exemplo, o decodificador de vídeo 30 pode receber e usar os parâmetros de transformada para decodificação. Quantização
[00149] A unidade de quantização 208 pode ser configurada para quantizar os coeficientes de transformada 207 para obter coeficientes quantizados 209, por exemplo, aplicando quantização escalar ou quantização vetorial. Os coeficientes quantizados 209 também podem ser referidos como coeficientes de transformada quantizados 209 ou coeficientes residuais quantizados 209.
[00150] O processo de quantização pode reduzir a profundidade de bits associada a alguns ou todos os coeficientes de transformada 207. Por exemplo, um coeficiente de transformada de n bits pode ser arredondado para baixo para um coeficiente de transformada de m bits durante a quantização, onde n é maior do que m. O grau de quantização pode ser modificado ajustando um parâmetro de quantização (QP). Por exemplo, para a quantização escalar,
escalonamento diferente pode ser aplicado para alcançar uma quantização mais fina ou mais grosseira.
Tamanhos de passo de quantização menores correspondem a quantização mais fina, enquanto tamanhos de passo de quantização maiores correspondem a quantização mais grosseira.
O tamanho de passo de quantização aplicável pode ser indicado por um parâmetro de quantização (QP). O parâmetro de quantização pode, por exemplo, ser um índice para um conjunto predefinido de tamanhos de passo de quantização aplicáveis.
Por exemplo, pequenos parâmetros de quantização podem corresponder a quantização fina (tamanhos de passo de quantização pequenos) e parâmetros de quantização grandes podem corresponder a quantização grosseira (tamanhos de passo de quantização grandes) ou vice-versa.
A quantização pode incluir a divisão por um tamanho de passo de quantização e uma desquantização correspondente e / ou inversa, por exemplo, por unidade de quantização inversa 210, pode incluir multiplicação pelo tamanho de passo de quantização.
As modalidades de acordo com alguns padrões, por exemplo, HEVC, podem ser configuradas para usar um parâmetro de quantização para determinar o tamanho de passo de quantização.
Geralmente, o tamanho de passo de quantização pode ser calculado com base em um parâmetro de quantização usando uma aproximação de ponto fixo de uma equação incluindo divisão.
Fatores de escalonamento adicionais podem ser introduzidos para quantização e desquantização para restaurar a norma do bloco residual, que pode ser modificada por causa do escalonamento usado na aproximação de ponto fixo da equação para o tamanho de passo de quantização e parâmetro de quantização.
Em uma implementação de exemplo, o escalonamento da transformada inversa e a desquantização podem ser combinados. Alternativamente, tabelas de quantização personalizadas podem ser usadas e sinalizadas a partir de um codificador para um decodificador, por exemplo, em um fluxo de bits. A quantização é uma operação com perdas, em que a perda aumenta com o aumento dos tamanhos de passo de quantização.
[00151] As modalidades do codificador de vídeo 20 (respectivamente, unidade de quantização 208) podem ser configuradas para emitir parâmetros de quantização (QP), por exemplo, diretamente ou codificados por meio da unidade de codificação de entropia 270, de modo que, por exemplo, o decodificador de vídeo 30 possa receber e aplicar os parâmetros de quantização para decodificação. Quantização Inversa
[00152] A unidade de quantização inversa 210 é configurada para aplicar a quantização inversa da unidade de quantização 208 nos coeficientes quantizados para obter coeficientes desquantizados 211, por exemplo, aplicando o inverso do esquema de quantização aplicado pela unidade de quantização 208 com base ou usando o mesmo tamanho de passo de quantização como a unidade de quantização 208. Os coeficientes desquantizados 211 também podem ser referidos como coeficientes residuais desquantizados 211 e correspondem - embora normalmente não sejam idênticos aos coeficientes de transformada devido à perda por quantização - aos coeficientes de transformada 207. Transformada Inversa
[00153] A unidade de processamento de transformada inversa 212 é configurada para aplicar a transformada inversa da transformada aplicada pela unidade de processamento de transformada 206, por exemplo, uma transformada discreta de cosseno inversa (DCT) ou transformada discreta de seno inversa (DST) ou outras transformadas inversas, para obter um bloco residual 213 (ou coeficientes desquantizados correspondentes 213) no domínio da amostra. O bloco residual reconstruído 213 também pode ser referido como bloco de transformada (reconstruído) 213. Reconstrução
[00154] A unidade de reconstrução 214 (por exemplo, adicionador ou somador 214) é configurada para adicionar o bloco de transformada (reconstruído) 213 (isto é, bloco residual reconstruído 213) ao bloco de predição 265 para obter um bloco reconstruído 215 no domínio de amostra, por exemplo, adicionando - amostra por amostra - os valores de amostra do bloco residual reconstruído 213 e os valores de amostra do bloco de predição 265. Filtragem
[00155] A unidade de filtro de loop 220 (ou "filtro de loop" para abreviar 220) é configurada para filtrar o bloco reconstruído 215 para obter um bloco filtrado 221 ou, em geral, para filtrar amostras reconstruídas para obter amostras filtradas. A unidade de filtro de loop é, por exemplo, configurada para suavizar as transições de pixel, ou de outra forma melhorar a qualidade de vídeo. A unidade de filtro de loop 220 pode compreender um ou mais filtros de loop, como um filtro de desblocagem, um filtro de deslocamento adaptativo de amostra (SAO) ou um ou mais outros filtros, por exemplo, um filtro bilateral, um filtro de loop adaptativo (ALF), um filtro de nitidez, uns filtros de suavização, ou uns filtros colaborativos, ou qualquer combinação dos mesmos. Embora a unidade de filtro de loop 220 seja mostrada na Figura 2 como sendo um filtro de loop, em outras configurações, a unidade de filtro de loop 220 pode ser implementada como um filtro pós-loop. O bloco filtrado 221 também pode ser referido como bloco reconstruído filtrado 221. Na presente divulgação, o filtro de loop aprimorado, particularmente o aparelho de filtro de desblocagem aprimorado é fornecido e será introduzido em detalhes depois.
[00156] As modalidades do codificador de vídeo 20 (respectivamente, unidade de filtro de loop 220) podem ser configuradas para emitir parâmetros de filtro de loop (tais como informações de deslocamento adaptativo de amostra), por exemplo, diretamente ou codificados através da unidade de codificação de entropia 270, de modo que, por exemplo, um decodificador 30 pode receber e aplicar os mesmos parâmetros de filtro de loop ou respectivos filtros de loop para decodificação. Armazenamento Temporário de Imagens Decodificadas
[00157] O armazenamento temporário de imagens decodificadas (DPB) 230 pode ser uma memória que armazena imagens de referência, ou em dados de imagem de referência geral, para codificar dados de vídeo pelo codificador de vídeo 20. O DPB 230 pode ser formado por qualquer um de uma variedade de dispositivos de memória, como memória dinâmica de acesso aleatório (DRAM), incluindo DRAM síncrona (SDRAM), RAM magnetorresistiva (MRAM), RAM resistiva (RRAM) ou outros tipos de dispositivos de memória. O armazenamento temporário de imagens decodificadas (DPB) 230 pode ser configurado para armazenar um ou mais blocos filtrados 221. O armazenamento temporário de imagens decodificadas 230 pode ser adicionalmente configurado para armazenar outros blocos previamente filtrados, por exemplo, blocos previamente reconstruídos e filtrados 221, da mesma imagem atual ou de diferentes imagens, por exemplo, imagens previamente reconstruídas, e podem fornecer imagens completas previamente reconstruídas, ou seja, decodificadas (e blocos de referência e amostras correspondentes) e / ou uma imagem atual parcialmente reconstruída (e blocos de referência e amostras correspondentes), por exemplo, para interpredição. O armazenamento temporário de imagens decodificadas (DPB) 230 pode também ser configurado para armazenar um ou mais blocos reconstruídos não filtrados 215 ou, em geral, amostras reconstruídas não filtradas, por exemplo, se o bloco reconstruído 215 não for filtrado pela unidade de filtro de loop 220 ou qualquer outra versão processada adicional dos blocos reconstruídos ou amostras. Seleção de Modo (Particionamento e Predição)
[00158] A unidade de seleção de modo 260 compreende unidade de particionamento 262, unidade de interpredição 244 e unidade de intrapredição 254 e é configurada para receber ou obter dados de imagem original, por exemplo, um bloco original 201 (bloco atual 201 da imagem atual 17), e dados de imagem reconstruída, por exemplo, amostras reconstruídas filtradas e / ou não filtradas ou blocos da mesma imagem (atual) e / ou de uma ou uma pluralidade de imagens previamente decodificadas, por exemplo, a partir do armazenamento temporário de imagens decodificadas 230 ou outros armazenamentos temporários (por exemplo, armazenamento temporário de linha, não mostrado). Os dados de imagem reconstruída são usados como dados de imagem de referência para predição, por exemplo, interpredição ou intrapredição, para obter um bloco de predição 265 ou preditor 265.
[00159] A unidade de seleção de modo 260 pode ser configurada para determinar ou selecionar um particionamento para um modo de predição de bloco atual (incluindo nenhum particionamento) e um modo de predição (por exemplo, um modo intra ou interpredição) e gerar um bloco de predição correspondente 265, que é usado para o cálculo do bloco residual 205 e para a reconstrução do bloco reconstruído
215.
[00160] As modalidades da unidade de seleção de modo 260 podem ser configuradas para selecionar o particionamento e o modo de predição (por exemplo, daqueles suportados por ou disponíveis para a unidade de seleção de modo 260), que fornecem a melhor combinação ou em outras palavras o residual mínimo (residual mínimo significa melhor compressão para transmissão ou armazenamento), ou uma sobrecarga de sinalização mínima (sobrecarga de sinalização mínima significa melhor compressão para transmissão ou armazenamento), ou que considera ou equilibra ambos. A unidade de seleção de modo 260 pode ser configurada para determinar o modo de particionamento e predição com base na otimização de distorção de taxa (RDO), ou seja, selecionar o modo de predição que fornece uma distorção de taxa mínima. Termos como "melhor", "mínimo", "ótimo" etc., neste contexto, não se referem necessariamente a um "melhor" geral, "mínimo", "ótimo", etc., mas também podem referir-se ao cumprimento de um critério de terminação ou seleção como um valor excedendo ou caindo abaixo de uma fronteira ou outras restrições levando potencialmente a uma "seleção subótima", mas reduzindo a complexidade e o tempo de processamento.
[00161] Em outras palavras, a unidade de particionamento 262 pode ser configurada para particionar o bloco 201 em partições de bloco menores ou sub-blocos (que novamente formam blocos), por exemplo, iterativamente usando particionamento de árvore quádrupla (QT), particionamento de árvore binária (BT) ou particionamento de árvore tripla (TT) ou qualquer combinação dos mesmos, e para realizar, por exemplo, a predição para cada uma das partições de bloco ou sub-blocos, em que a seleção de modo compreende a seleção da estrutura de árvore do bloco particionado 201 e o os modos de predição são aplicados a cada uma das partições de bloco ou sub-blocos.
[00162] A seguir, o particionamento (por exemplo, por unidade de particionamento 260) e processamento de predição (por unidade de interpredição 244 e unidade de intrapredição 254) realizados por um codificador de vídeo de exemplo 20 serão explicados em mais detalhes. Particionamento
[00163] A unidade de particionamento 262 pode particionar (ou separar) um bloco atual 201 em partições menores, por exemplo, blocos menores de tamanho quadrado ou retangular. Esses blocos menores (que também podem ser chamados de sub-blocos) podem ser particionados em partições ainda menores. Isso também é referido como particionamento de árvore ou particionamento de árvore hierárquica, em que um bloco raiz, por exemplo, no nível de árvore raiz 0 (nível de hierarquia 0, profundidade 0), pode ser particionado recursivamente, por exemplo, particionado em dois ou mais blocos de um próximo nível de árvore inferior, por exemplo, nós no nível de árvore 1 (nível de hierarquia 1, profundidade 1), em que esses blocos podem ser novamente particionados em dois ou mais blocos de um próximo nível inferior, por exemplo, nível de árvore 2 (nível de hierarquia 2, profundidade 2), etc. até que o particionamento seja encerrado, por exemplo, porque um critério de encerramento é atendido, por exemplo, uma profundidade máxima da árvore ou tamanho mínimo do bloco é alcançado. Os blocos que não são particionados posteriormente também são chamados de blocos-folha ou nós-folha da árvore. Uma árvore que usa particionamento em duas partições é chamada de árvore binária (BT), uma árvore que usa particionamento em três partições é chamada de árvore ternária (TT), e uma árvore que usa particionamento em quatro partições é chamada de árvore quádrupla (QT). Na presente divulgação, durante a interpredição, o bloco de codificação é dividido em blocos de transformada quando ferramenta de codificação de SBT é aplicada.
[00164] Como mencionado antes, o termo "bloco", conforme usado neste documento, pode ser uma porção, em particular uma porção quadrada ou retangular, de uma imagem. Com referência, por exemplo, a HEVC e VVC, o bloco pode ser ou corresponder a uma unidade de árvore de codificação (CTU), uma unidade de codificação (CU), uma unidade de predição (PU), e uma unidade de transformada (TU) e / ou aos blocos correspondentes, por exemplo, um bloco de árvore de codificação (CTB), um bloco de codificação (CB), um bloco de transformada (TB) ou bloco de predição (PB).
[00165] Por exemplo, uma unidade de árvore de codificação (CTU) pode ser ou compreender um CTB de amostras de luma, dois CTBs correspondentes de amostras de croma de uma imagem que tem três matrizes de amostra ou um CTB de amostras de uma imagem monocromática ou uma imagem que é codificada usando três planos de cores separados e estruturas de sintaxe usadas para codificar as amostras. Correspondentemente, um bloco de árvore de codificação (CTB) pode ser um bloco NxN de amostras para algum valor de N de modo que a divisão de um componente em CTBs seja um particionamento. Uma unidade de codificação (CU) pode ser ou compreender um bloco de codificação de amostras de luma, dois blocos de codificação correspondentes de amostras de croma de uma imagem que tem três matrizes de amostra ou um bloco de codificação de amostras de uma imagem monocromática ou uma imagem que é codificada usando três planos de cores separados e estruturas de sintaxe usadas para codificar as amostras. Correspondentemente, um bloco de codificação (CB) pode ser um bloco MxN de amostras para alguns valores de M e N de modo que a divisão de um CTB em blocos de codificação seja um particionamento.
[00166] Em modalidades, por exemplo, de acordo com HEVC, uma unidade de árvore de codificação (CTU) pode ser separada em CUs usando uma estrutura de árvore quádrupla denotada como árvore de codificação. A decisão de codificar uma área de imagem usando predição interimagem (temporal) ou intraimagem (espacial) é feita no nível de CU. Cada CU pode ser separada em uma, duas ou quatro PUs de acordo com o tipo de separação de PU. Dentro de uma PU, o mesmo processo de predição é aplicado e as informações relevantes são transmitidas para o decodificador com base na PU. Depois de obter o bloco residual aplicando o processo de predição com base no tipo de separação de PU, uma CU pode ser particionada em unidades de transformada (TUs) de acordo com outra estrutura de árvore quádrupla semelhante à árvore de codificação para a CU.
[00167] Em modalidades, por exemplo, de acordo com o padrão de codificação de vídeo mais recente atualmente em desenvolvimento, que é referido como Codificação de Vídeo Versátil (VVC), um particionamento de árvore quádrupla e árvore binária (QTBT) é usado para particionar um bloco de codificação. Na estrutura de bloco de QTBT, uma CU pode ter uma forma quadrada ou retangular. Por exemplo, uma unidade de árvore de codificação (CTU) é primeiro particionada por uma estrutura de árvore quádrupla. Os nós folhas de árvore quádrupla são posteriormente particionados por uma estrutura de árvore binária ou ternária (ou tripla). Os nós folhas de árvore de particionamento são chamados de unidades de codificação (CUs), e essa segmentação é usada para processamento de predição e transformada sem qualquer particionamento adicional. Isso significa que a CU, PU e TU têm o mesmo tamanho de bloco na estrutura de bloco de codificação de QTBT. Em paralelo, múltiplas partições, por exemplo, partição de árvore tripla também foi proposto ser usada em conjunto com a estrutura de bloco de QTBT.
[00168] Em um exemplo, a unidade de seleção de modo 260 do codificador de vídeo 20 pode ser configurada para realizar qualquer combinação das técnicas de particionamento aqui descritas.
[00169] Conforme descrito acima, o codificador de vídeo 20 é configurado para determinar ou selecionar o melhor ou um modo de predição ideal a partir de um conjunto de modos de predição (predeterminados). O conjunto de modos de predição pode compreender, por exemplo, modos de intrapredição e / ou modos de interpredição. Intrapredição
[00170] O conjunto de modos de intrapredição pode compreender 35 modos de intrapredição diferentes, por exemplo, modos não direcionais como modo DC (ou médio) e modo planar, ou modos direcionais, por exemplo, conforme definido em HEVC, ou pode compreender 67 modos de intrapredição, por exemplo, modos não direcionais, como modo DC (ou médio) e modo planar, ou modos direcionais, por exemplo, conforme definido para VVC.
[00171] A unidade de intrapredição 254 é configurada para usar amostras reconstruídas de blocos vizinhos da mesma imagem atual para gerar um bloco de intrapredição 265 de acordo com um modo de intrapredição do conjunto de modos de intrapredição.
[00172] A unidade de intrapredição 254 (ou, em geral, a unidade de seleção de modo 260) é adicionalmente configurada para emitir parâmetros de intrapredição (ou em informações gerais indicativas do modo de intrapredição selecionado para o bloco) para a unidade de codificação de entropia 270 em forma de elementos de sintaxe 266 para inclusão nos dados de imagem codificados 271 (correspondem a dados de imagem codificados 21 da Figura 1A), de modo que, por exemplo, o decodificador de vídeo 30 possa receber e usar os parâmetros de predição para decodificação. Interpredição
[00173] O conjunto de (ou possíveis) modos de interpredição depende das imagens de referência disponíveis (ou seja, imagens anteriores pelo menos parcialmente decodificadas, por exemplo, armazenadas em DBP 230) e outros parâmetros de interpredição, por exemplo, se a imagem de referência inteira ou apenas uma parte, por exemplo, uma área de janela de busca em torno da área do bloco atual, da imagem de referência é usada para pesquisar o melhor bloco de referência correspondente, e / ou por exemplo, se a interpolação de pixel é aplicada, por exemplo, interpolação de meio / semi-pel, e / ou interpolação de um quarto de pel, ou não.
[00174] Adicional aos modos de predição acima, o modo de salto e / ou o modo direto podem ser aplicados.
[00175] A unidade de interpredição 244 pode incluir uma unidade de estimativa de movimento (ME) e uma unidade de compensação de movimento (MC) (ambas não mostradas na Figura 2). A unidade de estimativa de movimento pode ser configurada para receber ou obter o bloco de imagem 201 (bloco de imagem 201 atual da imagem 17 atual) e uma imagem decodificada 231, ou pelo menos um ou uma pluralidade de blocos previamente reconstruídos, por exemplo, blocos reconstruídos de um ou uma pluralidade de outras / diferentes imagens previamente decodificadas 231, para estimativa de movimento. Por exemplo, uma sequência de vídeo pode compreender a imagem atual e as imagens previamente decodificadas 231, ou em outras palavras, a imagem atual e as imagens previamente decodificadas 231 podem fazer parte de ou formar uma sequência de imagens formando uma sequência de vídeo.
[00176] O codificador 20 pode, por exemplo, ser configurado para selecionar um bloco de referência a partir de uma pluralidade de blocos de referência das mesmas ou diferentes imagens da pluralidade de outras imagens e fornecer uma imagem de referência (ou índice de imagem de referência) e / ou um deslocamento (deslocamento espacial) entre a posição (coordenadas x, y) do bloco de referência e a posição do bloco atual como parâmetros de interpredição para a unidade de estimativa de movimento. Este deslocamento também é chamado de vetor de movimento (MV).
[00177] A unidade de compensação de movimento é configurada para obter, por exemplo, receber, um parâmetro de interpredição e realizar a interpredição com base em ou usando o parâmetro de interpredição para obter um bloco de interpredição 265. A compensação de movimento, realizada pela unidade de compensação de movimento, pode envolver buscar ou gerar o bloco de predição com base no vetor de movimento / de bloco determinado pela estimativa de movimento, possivelmente realizando interpolações para precisão de subpixel. A filtragem de interpolação pode gerar amostras de pixel adicionais a partir de amostras de pixel conhecidas, aumentando assim potencialmente o número de blocos de predição candidatos que podem ser usados para codificar um bloco de imagem. Ao receber o vetor de movimento para a PU do bloco de imagem atual, a unidade de compensação de movimento pode localizar o bloco de predição para o qual o vetor de movimento aponta em uma das listas de imagens de referência.
[00178] Unidade de compensação de movimento também pode gerar elementos de sintaxe associados aos blocos e à fatia de vídeo para uso pelo decodificador de vídeo 30 na decodificação dos blocos de imagem da fatia de vídeo. Na presente divulgação, durante a interpredição, o bloco de codificação é dividido em blocos de transformada quando transformada de sub-bloco (SBT) é habilitada (por exemplo, quando ferramenta de codificação de SBT é aplicada). Codificação de Entropia
[00179] A unidade de codificação de entropia 270 é configurada para aplicar, por exemplo, um algoritmo ou esquema de codificação de entropia (por exemplo, um esquema de codificação de comprimento variável (VLC), um esquema de VLC adaptativo de contexto (CAVLC), um esquema de codificação aritmética, uma binarização, um codificação aritmética binária adaptativa de contexto (CABAC), codificação aritmética binária adaptativa de contexto baseada em sintaxe (SBAC), codificação de entropia de particionamento de intervalo de probabilidade (PIPE) ou outra metodologia ou técnica de codificação de entropia) ou desvio (sem compressão) nos coeficientes quantizados 209, parâmetros de interpredição, parâmetros de intrapredição, parâmetros de filtro de loop e / ou outros elementos de sintaxe para obter dados de imagem codificados 271 (correspondem a dados de imagem codificados 21) que podem ser emitidos através da saída 272, por exemplo, na forma de um fluxo de bits codificado 21, de modo que, por exemplo, o decodificador de vídeo 30 pode receber e usar os parâmetros para decodificação. O fluxo de bits codificado 21 pode ser transmitido para o decodificador de vídeo 30 ou armazenado em uma memória para transmissão ou recuperação posterior pelo decodificador de vídeo 30. Na presente divulgação, alguns elementos de sintaxe tais como cu_sbt_flag e cu_sbt_horizontal_flag podem ser codificados no fluxo de bits 21.
[00180] Outras variações estruturais do codificador de vídeo 20 podem ser usadas para codificar o fluxo de vídeo. Por exemplo, um codificador não baseado em transformada 20 pode quantizar o sinal residual diretamente sem a unidade de processamento de transformada 206 para certos blocos ou quadros. Em outra implementação, um codificador 20 pode ter a unidade de quantização 208 e a unidade de quantização inversa 210 combinadas em uma única unidade. Decodificador e Método de Decodificação
[00181] A Figura 3 mostra um exemplo de um decodificador de vídeo 30 que é configurado para implementar as técnicas desse presente pedido. O decodificador de vídeo 30 é configurado para receber dados de imagem codificados 271 (correspondem a dados de imagem codificados 21) (por exemplo, fluxo de bits codificado 21), por exemplo, codificado pelo codificador 20, para obter uma imagem decodificada 331. Os dados de imagem codificados ou fluxo de bits compreendem informações para decodificar os dados de imagem codificados, por exemplo, dados que representam blocos de imagem de uma fatia de vídeo codificada e elementos de sintaxe associados.
[00182] No exemplo da Figura 3, o decodificador 30 compreende uma unidade de decodificação de entropia 304, uma unidade de quantização inversa 310, uma unidade de processamento de transformada inversa 312, uma unidade de reconstrução 314 (por exemplo, um somador 314), um filtro de loop 320, uma armazenamento temporário de imagens decodificadas (DBP) 330, uma unidade de interpredição 344 e uma unidade de intrapredição 354. A unidade de interpredição 344 pode ser ou incluir uma unidade de compensação de movimento. O decodificador de vídeo 30 pode, em alguns exemplos, realizar uma passagem de decodificação geralmente recíproca para a passagem de codificação descrita em relação ao codificador de vídeo 20 da Figura 2.
[00183] Conforme explicado no que diz respeito ao codificador 20, a unidade de quantização inversa 210, a unidade de processamento de transformada inversa 212, a unidade de reconstrução 214, o filtro de loop 220, o armazenamento temporário de imagens decodificadas (DPB) 230, a unidade de interpredição 344 e a unidade de intrapredição 354 também são referidos como formando o "decodificador embutido" do codificador de vídeo 20. Consequentemente, a unidade de quantização inversa 310 pode ser idêntica em função à unidade de quantização inversa 110, a unidade de processamento de transformada inversa 312 pode ser idêntica em função à unidade de processamento de transformada inversa 212, a unidade de reconstrução 314 pode ser idêntica em função à unidade de reconstrução 214, o filtro de loop 320 pode ser idêntico em função ao filtro de loop 220 e o armazenamento temporário de imagens decodificadas 330 pode ser idêntico em função ao armazenamento temporário de imagens decodificadas 230. Portanto, as explicações fornecidas para as respectivas unidades e funções do codificador de vídeo 20 se aplicam correspondentemente às respectivas unidades e funções do decodificador de vídeo 30. Decodificação de Entropia
[00184] A unidade de decodificação de entropia 304 é configurada para analisar o fluxo de bits 21 (ou em dados de imagem codificados 271 em geral (correspondem a dados de imagem codificados 21)) e realizar, por exemplo, decodificação de entropia para os dados de imagem codificados 271 (correspondem a dados de imagem codificados 21) para obter, por exemplo, coeficientes quantizados 309 e / ou parâmetros de codificação decodificados (não mostrado na Figura 3), por exemplo, qualquer um ou todos os parâmetros de interpredição (por exemplo, índice de imagem de referência e vetor de movimento), parâmetro de intrapredição (por exemplo, modo de intrapredição ou índice), parâmetros de transformada, parâmetros de quantização, parâmetros de filtro de loop e / ou outros elementos de sintaxe. A unidade de decodificação de entropia 304 pode ser configurada para aplicar os algoritmos de decodificação ou esquemas correspondentes aos esquemas de codificação, conforme descrito em relação à unidade de codificação de entropia 270 do codificador 20. A unidade de decodificação de entropia 304 pode ser adicionalmente configurada para fornecer parâmetros de interpredição, parâmetro de intrapredição e / ou outros elementos de sintaxe para a unidade de seleção de modo 360 e outros parâmetros para outras unidades do decodificador 30. O decodificador de vídeo 30 pode receber os elementos de sintaxe no nível de fatia de vídeo e / ou nível de bloco de vídeo. Quantização Inversa
[00185] A unidade de quantização inversa 310 pode ser configurada para receber parâmetros de quantização (QP) (ou em informações gerais relacionadas à quantização inversa) e coeficientes quantizados a partir dos dados de imagem codificados 271 (correspondem a dados de imagem codificados
21) (por exemplo, por análise e / ou decodificação, por exemplo, por unidade de decodificação de entropia 304) e aplicar com base nos parâmetros de quantização uma quantização inversa nos coeficientes quantizados decodificados 309 para obter coeficientes desquantizados 311, que também podem ser referidos como coeficientes de transformada 311. O processo de quantização inversa pode incluir o uso de um parâmetro de quantização determinado pelo codificador de vídeo 20 para cada bloco de vídeo na fatia de vídeo para determinar um grau de quantização e, da mesma forma, um grau de quantização inversa que deve ser aplicado. Transformada Inversa
[00186] A unidade de processamento de transformada inversa 312 pode ser configurada para receber coeficientes desquantizados 311, também referidos como coeficientes de transformada 311, e para aplicar uma transformação aos coeficientes desquantizados 311 a fim de obter blocos residuais reconstruídos 213 no domínio de amostra. Os blocos residuais reconstruídos 213 também podem ser referidos como blocos de transformada 313. A transformada pode ser uma transformada inversa, por exemplo, uma DCT inversa, uma DST inversa, uma transformada inteira inversa, ou um processo de transformada inversa conceitualmente semelhante. A unidade de processamento de transformada inversa 312 pode ser adicionalmente configurada para receber parâmetros de transformada ou informações correspondentes a partir dos dados de imagem codificados 271 (correspondem a dados de imagem codificados 21) (por exemplo, por análise e / ou decodificação, por exemplo, por unidade de decodificação de entropia 304) para determinar a transformada a ser aplicada aos coeficientes desquantizados 311. Reconstrução
[00187] A unidade de reconstrução 314 (por exemplo, adicionador ou somador 314) pode ser configurada para adicionar o bloco residual reconstruído 313, ao bloco de predição 365 para obter um bloco reconstruído 315 no domínio de amostra, por exemplo, adicionando os valores de amostra do bloco residual reconstruído 313 e os valores de amostra do bloco de predição 365. Filtragem
[00188] A unidade de filtro de loop 320 (ou no loop de codificação ou após o loop de codificação) é configurada para filtrar o bloco reconstruído 315 para obter um bloco filtrado 321, por exemplo, para suavizar as transições de pixel ou, de outra forma, melhorar a qualidade do vídeo. A unidade de filtro de loop 320 pode compreender um ou mais filtros de loop, como um filtro de desblocagem, um filtro de deslocamento adaptativo de amostra (SAO) ou um ou mais outros filtros, por exemplo, um filtro bilateral, um filtro de loop adaptativo (ALF), um filtro de nitidez, uns filtros de suavização ou uns filtros colaborativos, ou qualquer combinação dos mesmos. Embora a unidade de filtro de loop 320 seja mostrada na Figura 3 como sendo um filtro em loop, em outras configurações, a unidade de filtro de loop 320 pode ser implementada como um filtro pós-loop. Na presente divulgação, o filtro de loop aprimorado, particularmente o aparelho de filtro de desblocagem aprimorado é fornecido e será descrito em detalhes depois. Armazenamento Temporário de Imagens Decodificadas
[00189] Os blocos de vídeo decodificados 321 de uma imagem são então armazenados em armazenamento temporário de imagens decodificadas 330, que armazena as imagens decodificadas 331 como imagens de referência para compensação de movimento subsequente para outras imagens e / ou para exibição de saída, respectivamente.
[00190] O decodificador 30 é configurado para emitir a imagem decodificada 311, por exemplo, através da saída 312, para apresentação ou visualização a um usuário. Predição
[00191] A unidade de interpredição 344 pode ser idêntica à unidade de interpredição 244 (em particular à unidade de compensação de movimento) e a unidade de intrapredição 354 pode ser idêntica à unidade de intrapredição 254 em função, e realiza decisões de divisão ou particionamento e predição com base nos parâmetros de particionamento e / ou predição ou respectivas informações recebidas dos dados de imagem codificados 271 (correspondem a dados de imagem codificados 21) (por exemplo, por análise e / ou decodificação, por exemplo, por unidade de decodificação de entropia 304). A unidade de seleção de modo 360 pode ser configurada para realizar a predição (intra ou interpredição) por bloco com base em imagens reconstruídas, blocos ou respectivas amostras (filtradas ou não filtradas) para obter o bloco de predição 365.
[00192] Quando a fatia de vídeo é codificada como uma fatia intracodificada (I), a unidade de intrapredição 354 da unidade de seleção de modo 360 é configurada para gerar o bloco de predição 365 para um bloco de imagem da fatia de vídeo atual com base em um modo de intrapredição sinalizado e dados a partir de blocos previamente decodificados da imagem atual. Quando a imagem de vídeo é codificada como uma fatia intercodificada (isto é, B ou P), a unidade de interpredição 344 (por exemplo, unidade de compensação de movimento) da unidade de seleção de modo 360 é configurada para produzir blocos de predição 365 para um bloco de vídeo da fatia de vídeo atual com base nos vetores de movimento e outros elementos de sintaxe recebidos a partir da unidade de decodificação de entropia 304. Para interpredição, os blocos de predição podem ser produzidos a partir de uma das imagens de referência dentro de uma das listas de imagens de referência. O decodificador de vídeo 30 pode construir as listas de quadro de referência, Lista 0 e Lista 1, usando técnicas de construção padrão com base em imagens de referência armazenadas no DPB 330. O mesmo ou semelhante pode ser aplicado para ou por modalidades usando grupos de peças (por exemplo, grupos de peças de vídeo) e / ou peças (por exemplo, peças de vídeo) em adição ou alternativamente às fatias (por exemplo, fatias de vídeo), por exemplo, um vídeo pode ser codificado usando grupos de peças I, P ou B e / ou peças.
[00193] A unidade de seleção de modo 360 é configurada para determinar as informações de predição para um bloco de vídeo da fatia de vídeo atual por analisar os vetores de movimento e outros elementos de sintaxe, e usa as informações de predição para produzir os blocos de predição para o bloco de vídeo atual sendo decodificado. Por exemplo, a unidade de seleção de modo 360 usa alguns dos elementos de sintaxe recebidos para determinar um modo de predição (por exemplo, intra ou interpredição) usado para codificar os blocos de vídeo da fatia de vídeo, um tipo de fatia de interpredição (por exemplo, fatia B, fatia P, ou fatia GPB), informações de construção para uma ou mais das listas de imagens de referência para a fatia, vetores de movimento para cada bloco de vídeo intercodificado da fatia, status de interpredição para cada bloco de vídeo codificado da fatia, e outras informações para decodificar os blocos de vídeo na fatia de vídeo atual. O mesmo ou semelhante pode ser aplicado para ou por modalidades usando grupos de peças (por exemplo, grupos de peças de vídeo) e / ou blocos (por exemplo, peças de vídeo), além ou alternativamente a fatias (por exemplo, fatias de vídeo), por exemplo, um vídeo pode ser codificado usando I, P ou B grupos de peças e / ou peças.
[00194] As modalidades do decodificador de vídeo 30, como mostrado na Figura 3, podem ser configuradas para particionar e / ou decodificar a imagem usando fatias (também referidas como fatias de vídeo), em que uma imagem pode ser particionada em ou decodificada usando uma ou mais fatias (tipicamente não sobrepostas), e cada fatia pode compreender um ou mais blocos (por exemplo, CTUs).
[00195] As modalidades do decodificador de vídeo 30, conforme mostrado na Figura 3, podem ser configuradas para particionar e / ou decodificar a imagem usando grupos de peças (também referidos como grupos de peças de vídeo) e / ou peças (também referidas como peças de vídeo), em que uma imagem pode ser particionada em ou decodificada usando um ou mais grupos de peças (tipicamente não sobrepostas), e cada grupo de peças pode compreender, por exemplo, um ou mais blocos (por exemplo, CTUs) ou uma ou mais peças, em que cada peça, por exemplo, pode ser de forma retangular e pode compreender um ou mais blocos (por exemplo, CTUs), por exemplo, blocos completos ou fracionários.
[00196] Outras variações do decodificador de vídeo 30 podem ser usadas para decodificar os dados de imagem codificados 271 (correspondem a dados de imagem codificados 21). Por exemplo, o decodificador 30 pode produzir o fluxo de vídeo de saída sem a unidade de filtragem de loop 320. Por exemplo, um decodificador não baseado em transformada 30 pode quantizar inversamente o sinal residual diretamente sem a unidade de processamento de transformada inversa 312 para certos blocos ou quadros. Em outra implementação, o decodificador de vídeo 30 pode ter a unidade de quantização inversa 310 e a unidade de processamento de transformada inversa 312 combinadas em uma única unidade.
[00197] Deve ser entendido que, no codificador 20 e no decodificador 30, um resultado de processamento de um passo atual pode ser adicionalmente processado e, em seguida, enviado para o próximo passo. Por exemplo, após a filtragem de interpolação, derivação de vetor de movimento ou filtragem de loop, uma operação adicional, como Corte ou desvio, pode ser realizada no resultado de processamento da filtragem de interpolação, derivação de vetor de movimento ou filtragem de loop.
[00198] Deve ser notado que operações adicionais podem ser aplicadas aos vetores de movimento derivados de bloco atual (incluindo, mas não limitado a vetores de movimento de ponto de controle de modo afim, vetores de movimento de sub-bloco em modos afins, planar e ATMVP, vetores de movimento temporais e assim por diante). Por exemplo, o valor de vetor de movimento é restrito a um intervalo predefinido de acordo com seu bit de representação. Se o bit de representação de vetor de movimento for bitDepth, então o intervalo é -2 ^ (bitDepth-1) ~ 2 ^ (bitDepth-1) - 1, onde “^” significa exponenciação. Por exemplo, se bitDepth for definido igual a 16, o intervalo será -32768 ~ 32767; se bitDepth for definido igual a 18, o intervalo é -131072 ~
131071. Por exemplo, o valor do vetor de movimento derivado (por exemplo, os MVs de quatro sub-blocos 4 x 4 dentro de um bloco 8 x 8) é restrito de tal forma que a diferença máxima entre as partes inteiras dos quatro MVs do sub-bloco 4 x 4 não é mais do que N pixels, como no máximo 1 pixel.
[00199] A Figura 4 é um diagrama esquemático de um dispositivo de codificação de vídeo 400 de acordo com uma modalidade da divulgação. O dispositivo de codificação de vídeo 400 é adequado para implementar as modalidades divulgadas conforme descrito aqui. Em uma modalidade, o dispositivo de codificação de vídeo 400 pode ser um decodificador, como o decodificador de vídeo 30 da Figura 1A ou um codificador, como o codificador de vídeo 20 da Figura 1A.
[00200] O dispositivo de codificação de vídeo 400 compreende portas de ingresso 410 (ou portas de entrada 410) e unidades receptoras (Rx) 420 para receber dados; um processador, unidade lógica ou unidade central de processamento (CPU) 430 para processar os dados; unidades transmissoras (Tx) 440 e portas de egresso 450 (ou portas de saída 450) para transmitir os dados; e uma memória 460 para armazenar os dados. O dispositivo de codificação de vídeo 400 também pode compreender componentes óticos para elétricos (OE) e componentes elétricos para óticos (EO)
acoplados às portas de ingresso 410, as unidades receptoras 420, as unidades transmissoras 440, e as portas de egresso 450 para egresso ou ingresso de sinais óticos ou elétricos.
[00201] O processador 430 é implementado por hardware e software. O processador 430 pode ser implementado como um ou mais chips de CPU, núcleos (por exemplo, como um processador de múltiplos núcleos), FPGAs, ASICs e DSPs. O processador 430 está em comunicação com as portas de ingresso 410, as unidades receptoras 420, as unidades transmissoras 440, portas de egresso 450, e memória 460. O processador 430 compreende um módulo de codificação 470. O módulo de codificação 470 implementa as modalidades divulgadas descritas acima. Por exemplo, o módulo de codificação 470 implementa, processa, prepara ou fornece as várias operações de codificação. A inclusão do módulo de codificação 470, portanto, fornece uma melhoria substancial para a funcionalidade do dispositivo de codificação de vídeo 400 e efetua uma transformação do dispositivo de codificação de vídeo 400 para um estado diferente. Alternativamente, o módulo de codificação 470 é implementado como instruções armazenadas na memória 460 e executadas pelo processador
430.
[00202] A memória 460 pode compreender um ou mais discos, unidades de fita e unidades de estado sólido e pode ser usada como um dispositivo de armazenamento de dados de sobrefluxo, para armazenar programas quando tais programas são selecionados para execução, e para armazenar instruções e dados que são lidos durante a execução do programa. A memória 460 pode ser, por exemplo, volátil e / ou não volátil, e pode ser uma memória somente de leitura (ROM),
memória de acesso aleatório (RAM), memória endereçável de conteúdo ternário (TCAM) e / ou memória de acesso aleatório estática (SRAM).
[00203] A Figura 5 é um diagrama de blocos simplificado de um aparelho 500 que pode ser usado como um ou ambos o dispositivo de origem 12 e o dispositivo de destino 14 da Figura 1A de acordo com uma modalidade exemplar.
[00204] Um processador 502 no aparelho 500 pode ser uma unidade central de processamento. Alternativamente, o processador 502 pode ser qualquer outro tipo de dispositivo, ou dispositivos múltiplos, capazes de manipular ou processar informações agora existentes ou desenvolvidas no futuro. Embora as implementações divulgadas possam ser praticadas com um único processador, como mostrado, por exemplo, o processador 502, vantagens em velocidade e eficiência podem ser alcançadas usando mais de um processador.
[00205] Uma memória 504 no aparelho 500 pode ser um dispositivo de memória somente de leitura (ROM) ou um dispositivo de memória de acesso aleatório (RAM) em uma implementação. Qualquer outro tipo adequado de dispositivo de armazenamento pode ser usado como a memória 504. A memória 504 pode incluir código e dados 506 que são acessados pelo processador 502 usando um barramento 512. A memória 504 pode incluir ainda um sistema operacional 508 e programas de aplicação 510, os programas de aplicação 510 incluindo pelo menos um programa que permite ao processador 502 executar os métodos descritos aqui. Por exemplo, os programas de aplicação 510 podem incluir aplicações de 1 a N, que incluem ainda uma aplicação de codificação de vídeo que executa os métodos descritos aqui.
[00206] O aparelho 500 também pode incluir um ou mais dispositivos de saída, como uma tela de exibição 518. A tela de exibição 518 pode ser, em um exemplo, uma tela de exibição sensível ao toque que combina uma tela de exibição com um elemento sensível ao toque que é operável para detectar entradas de toque. A tela de exibição 518 pode ser acoplada ao processador 502 por meio do barramento 512.
[00207] Embora representado aqui como um único barramento, o barramento 512 do aparelho 500 pode ser composto de múltiplos barramentos. Além disso, o armazenamento secundário 514 pode ser diretamente acoplado aos outros componentes do aparelho 500 ou pode ser acessado através de uma rede e pode compreender uma única unidade integrada, como um cartão de memória, ou várias unidades, como múltiplos cartões de memória. O aparelho 500 pode, assim, ser implementado em uma ampla variedade de configurações. Interpredição-Intrapredição Combinada (CIIP)
[00208] Convencionalmente, uma unidade de codificação é ou intrapredita (ou seja, usando as amostras de referência na mesma imagem) ou interpredita (ou seja, usando as amostras de referência em outras imagens). A interpredição- intrapredição combinada combina essas duas abordagens de predição. Portanto, às vezes também é chamada de interpredição-intrapredição combinada (CIIP). Quando a interpredição-intrapredição combinada é ativada, as amostras intrapreditas e interpreditas são aplicadas por pesos, e a predição final é derivada como a média ponderada das amostras.
[00209] Uma bandeira, bandeira de CIIP, é usada para indicar quando um bloco é aplicado com interpredição- intrapredição combinada.
[00210] A ferramenta de codificação de Transformada de Sub-bloco (SBT) particiona (isto é, separa ou divide) um bloco de interpredição (isto é, um bloco de intercodificação curto para um bloco de codificação atual que é codificado no modo de interpredição) em dois blocos de transformada e realiza a transformada apenas para um dos blocos de transformada, mas não o outro. Os dois blocos de transformada podem ser simétricos (ou seja, dois blocos de transformada do mesmo tamanho) ou assimétricos (ou seja, dois blocos de transformada com a mesma largura, mas altura de 1: 3, por exemplo, ou com a mesma altura, mas com largura de 1: 3, por exemplo). Essa transformada parcial pode resultar em artefato de bloco ao longo das fronteiras entre os dois blocos de transformada. No entanto, essas fronteiras não foram consideradas para serem filtradas na técnica anterior, o que compromete a qualidade subjetiva quando a SBT é habilitada.
[00211] Um processo de filtragem aprimorado é proposto para reduzir o artefato de bloco das fronteiras de blocos de transformada causados pela SBT. Ao detectar as fronteiras que seriam consideradas filtradas, as fronteiras internas entre os blocos de transformada causados pela SBT são levadas em consideração. Além disso, a técnica anterior considera apenas as fronteiras que são sobrepostas a uma grade 8 x 8. Na invenção, mesmo se uma fronteira interna de SBT não estiver alinhada com a grade 8 x 8 quando um particionamento assimétrico (isto é, separação ou divisão)
é aplicado, a fronteira interna seria considerada como candidata de filtragem. Ao filtrar também as fronteiras internas de SBT, o artefato de bloco causado pela SBT é reduzido.
[00212] Um bloco 600 aplicado com CIIP pode ser ainda dividido em vários sub-blocos, como mostrado na Figura 6. Na Figura 6, todas as fronteiras de sub-bloco dentro de uma CU são aplicadas com interpredição-intrapredição combinada (CIIP). Em um exemplo, seus sub-blocos 601 são derivados dividindo o bloco na direção horizontal, com cada sub-bloco tendo a mesma largura do bloco original, mas ¼ da altura do bloco original.
[00213] Em um exemplo, seus sub-blocos 602 são derivados dividindo o bloco na direção vertical, com cada sub-bloco tendo a mesma altura que o bloco original, mas ¼ da largura do bloco original. No exemplo mostrado na Figura 6, as subpartições e as fronteiras correspondentes com a partição vertical 602 são rotuladas. Aqui, o intrabloco 600 é dividido em quatro subpartições, a saber, sub0, sub1, sub2 e sub3. Três fronteiras de subpartição são rotuladas, ou seja, fronteira de subpartição A entre subpartição 0 e 1, fronteira de subpartição B entre subpartição 1 e 2, fronteira de subpartição C entre subpartição 2 e 3, definição similar pode ser usada no exemplo de partição horizontal 601.
[00214] Artefatos de blocagem podem ser introduzidos devido à predição de CIIP, pois envolve resultados com intrapredição, que geralmente possui mais sinais residuais. Os artefatos de blocagem não ocorrem apenas nas fronteiras do bloco de CIIP, mas também nas bordas de sub-bloco dentro de um bloco de CIIP, como a borda de sub-bloco vertical A,
B, C na Figura 6. As bordas de sub-bloco horizontais podem ser identificadas de forma correspondente.
[00215] Embora artefatos de bloco possam ocorrer nas fronteiras de CIIP e nas bordas de sub-bloco dentro dos blocos de CIIP, a distorção causada por essas duas fronteiras pode ser diferente, e diferentes forças de fronteira podem ser necessárias.
[00216] As bordas de sub-bloco podem ser causadas pela própria CIIP, por exemplo, se o modo de intrapredição de um bloco de CIIP for um modo horizontal, uma partição vertical mostrada na Figura 6 é aplicada, resultando em três sub- blocos.
[00217] Como mostrado na Figura 7, a fim de reduzir os artefatos de bloco, as fronteiras de sub-bloco são filtradas por desblocagem após o particionamento horizontal de um bloco de codificação 700 em sub-blocos 701 ou após o particionamento vertical de um bloco de codificação 700 em sub-blocos 702. A Figura 7 mostra a desblocagem de todas as bordas de sub-bloco dentro de uma CU aplicada com interpredição-intrapredição combinada (CIIP).
[00218] A Figura 8 mostra desblocagem de todas as fronteiras de TU de sub-bloco dentro de uma CU que se sobrepõe a (alinhada com) uma grade de amostra 8 x 8 que não começa na amostra superior esquerda da CU, de acordo com um exemplo. Como mostrado na Figura 8, após o particionamento horizontal de um bloco de codificação 800 em sub-blocos 801 ou após o particionamento vertical de um bloco de codificação 800 em sub-blocos 802, apenas as fronteiras de sub-bloco que se sobrepõem a uma grade de amostra 8 x 8 são desblocadas e o resto das bordas de sub-bloco não são desblocadas. Isso tem a vantagem de reduzir a complexidade computacional, pois apenas algumas das bordas são desblocadas.
[00219] Outra alternativa é mostrada na Figura 9. A Figura 9 mostra desblocagem de todas as bordas de sub-bloco dentro de uma CU que se sobrepõe a uma grade de amostra 4 x
4. Neste caso, após o particionamento horizontal de um bloco de codificação 900 em sub-blocos 901 ou após o particionamento vertical de um bloco de codificação 900 em sub-blocos 902, todas as fronteiras de sub-bloco que se sobrepõem a uma grade de amostra 4 x 4 são desblocadas.
[00220] A Figura 10 mostra o caso quando o tamanho de sub-bloco é < 8 amostras ortogonalmente na direção de desblocagem, então um filtro fraco que usa apenas 3 amostras na decisão e que modifica uma amostra é usado. Um exemplo na Figura 6 usando partição vertical, se W tiver 16 amostras, então cada sub-bloco terá 4 amostras de largura. Neste caso, como mostrado na Figura 10, um filtro fraco que modifica apenas até uma amostra 10314 ou 10331 ao longo das fronteiras de sub-bloco 1032 entre o sub-bloco 1031 e o sub-bloco 1033 pode ser usado. No exemplo mostrado na Figura 10, filtragem é realizada em cada linha dos sub-blocos 1031, 1033 que é perpendicular e adjacente à fronteira de sub-blocos 1032 entre o sub-bloco 1031 e o sub-bloco 1033, por exemplo. Como mostrado na Figura 10, um filtro fraco que modifica apenas até uma amostra 1108 ou 10311 ao longo da borda 1020 entre o bloco vizinho 1010 e o bloco atual 1030 pode ser usado. Em outro exemplo mostrado na Figura 10, filtragem é realizada em cada linha do sub-bloco 1031 ou do bloco vizinho 1010 que é perpendicular a e adjacente à borda 1020 entre o bloco vizinho 1010 e o sub-bloco 1031 do bloco 1030, por exemplo.
[00221] No entanto, as bordas de sub-bloco também podem ser causadas por limitações de tamanho de TU. Em VTM3.0, o maior tamanho de TU é de 64 x 64 amostras. Se uma CU 1100 tem 128 x 128 amostras, então ela será dividida em 4 TUs 1101, resultando em 4 fronteiras de TU 1102, mostradas como na Figura 11. Quando o tamanho de TU máximo é 64, uma CU com interpredição-intrapredição combinada é 128 x 128, a CU é dividida em quatro Tus 1101, a transformada é aplicada na granularidade 64 x 64. Fronteiras de TU 1102 destacadas como linhas tracejadas precisam ser desblocadas.
[00222] A Figura 12 mostra uma unidade de codificação 1200 aplicada com CIIP, e que é ainda dividida em múltiplas unidades de transformada 1201. As fronteiras de TU 1202 destacadas como linhas tracejadas precisam ser desblocadas.
[00223] A Figura 13 ilustra desblocagem de todas as fronteiras de TU de sub-bloco 1302 entre TUs 1301 dentro de uma CU 1300 que se sobrepõe a (estão alinhadas com) uma grade de amostra 8 x 8 a partir da amostra superior esquerda da CU
1300. Fronteiras de TU Dentro de uma Unidade de Codificação
[00224] Quando certa ferramenta de codificação (por exemplo, transformada de sub-bloco, SBT) é aplicada, bordas de TU 1402 entre TUs 1401 podem ocorrer dentro de uma CU 1400, como mostrado na Figura 14. Uma unidade de codificação 1400 é ainda dividida em múltiplas unidades de transformada 1401 de acordo com ferramenta de codificação de transformada de sub-bloco. Em tais casos, essas bordas de TU internas 1402 dentro de uma unidade de codificação 1400 também podem precisar ser desblocadas.
[00225] Quando SBT é usada para uma CU intercodificada
1400, o tipo de SBT e as informações de posição de SBT são sinalizados no fluxo de bits. Existem dois tipos de SBT e duas posições de SBT, conforme indicado na Figura 14. Para SBT-V (ou SBT-H), a largura (ou altura) de TU pode ser igual à metade da largura (ou altura) de CU ou 1/4 da largura (ou altura) de CU, resultando em separação 2: 2 ou separação 1: 3 / 3: 1. A separação 2: 2 é como uma separação de árvore binária (BT), enquanto a separação 1: 3 / 3: 1 é como uma separação de árvore binária assimétrica (ABT). Na separação de ABT, apenas a pequena região contém o resíduo diferente de zero. Se uma dimensão de uma CU for 8 em amostras de luma, a separação 1: 3 / 3: 1 ao longo dessa dimensão não é permitida. Existem no máximo 8 modos de SBT para uma CU.
[00226] A seleção de núcleo de transformada dependente de posição é aplicada em blocos de transformada de luma em SBT-V e SBT-H (TB de croma sempre usando DCT-2). As duas posições de SBT-H e SBT-V estão associadas a diferentes transformadas de núcleo. Mais especificamente, as transformadas horizontal e vertical para cada posição de SBT são especificadas na Figura 14. Por exemplo, as transformadas horizontal e vertical para a posição 0 de SBT-V são DCT-8 e DST-7, respectivamente. Quando um lado da TU residual 1401 é maior que 32, a transformada para ambas as dimensões é definida como DCT-2. Portanto, a transformada de sub-bloco especifica conjuntamente a separação em peças de TU, cbf, e tipo de transformada de núcleo horizontal e vertical de um bloco residual.
[00227] Uma variável maxSbtSize é sinalizada em SPS para especificar o tamanho de CU máximo para o qual a SBT pode ser aplicada. No software de referência VTM7, para sequências HD e 4K, maxSbtSize é definido como 64 pelo codificador; para outras sequências de resolução menores, maxSbtSize é definido como 32.
[00228] A SBT não é aplicada à CU codificada com o modo inter-intra combinado ou modo TPM.
[00229] Da mesma forma, a Figura 15 mostra uma unidade de codificação 1500 que é ainda dividida em múltiplas unidades de transformada 1501 (A, B, C) de acordo com a árvore quádrupla residual (RQT) como transformada de sub- bloco.
[00230] No restante do pedido, a seguinte terminologia é usada: blocos de CIIP: os blocos de codificação que são preditos pela aplicação da predição de CIIP.
[00231] Blocos intra: os blocos de codificação que são preditos pela aplicação de intrapredição, mas não da predição de CIIP.
[00232] Blocos inter: os blocos de codificação que são preditos pela aplicação de interpredição, mas não da predição de CIIP. Filtro de Desblocagem e Força de Fronteira
[00233] A invenção, em particular conforme descrito acima no primeiro e segundo aspectos, inclui a realização de um processo de filtragem de desblocagem para fronteira de bloco de transformada entre um primeiro bloco de transformada e um segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira. O parâmetro de força de fronteira é adicionalmente descrito e definido a seguir (consulte a Tabela 1).
[00234] Os esquemas de codificação de vídeo, como HEVC e VVC, são projetados de acordo com o princípio de sucesso da codificação de vídeo híbrida baseada em bloco. Usando este princípio, uma imagem é primeiro particionada em blocos e, em seguida, cada bloco é predito usando a predição intraimagem ou interimagem. Esses blocos são codificados relativamente a partir de blocos vizinhos e se aproximam do sinal original com algum grau de similaridade. Uma vez que os blocos codificados apenas se aproximam do sinal original, a diferença entre as aproximações pode causar descontinuidades nas fronteiras de bloco de predição e transformada. Essas descontinuidades são atenuadas pelo filtro de desblocagem.
[00235] A decisão de filtrar uma fronteira de bloco usa as informações de fluxo de bits, como modos de predição e vetores de movimento. Algumas condições de codificação são mais propensas a criar artefatos de bloco fortes, que são representados por uma variável chamada de força de fronteira (Bs ou BS) que é atribuída a cada fronteira de bloco e é determinada como na Tabela 1. Tabela 1 Condições Bs Pelo menos um dos blocos 2 adjacentes é intra Pelo menos um dos blocos 1 adjacentes tem coeficientes de transformada diferentes de zero Diferença absoluta entre os 1 vetores de movimento que pertencem aos blocos adjacentes é maior ou igual a uma amostra de luma inteira Predição de movimento nos 1 blocos adjacentes refere-se a diferentes imagens de referência ou o número de vetores de movimento é diferente De outro modo 0
[00236] A desblocagem é aplicada apenas às fronteiras de bloco com Bs maior que zero para um componente de luma e Bs maior que 1 para componentes de croma. Valores mais altos de Bs permitem uma filtragem mais forte usando valores de parâmetro de corte mais altos. As condições de derivação de Bs refletem a probabilidade de que os artefatos de bloco mais fortes apareçam nas fronteiras de bloco intrapredito.
[00237] Normalmente, os dois blocos adjacentes 1601, 1602 de uma fronteira são rotulados como P e Q, conforme mostrado na Figura 16. A figura representa o caso de uma fronteira vertical. Se uma fronteira horizontal for considerada, a Figura 16 deve ser girada 90 graus no sentido horário, onde P estaria na parte superior e Q na parte inferior.
[00238] O método de acordo com o primeiro aspecto da invenção é ilustrado no fluxograma da Figura 17. O método é um método de desblocagem, para desblocar uma fronteira de bloco de transformada dentro de um bloco de codificação em uma codificação de imagem e / ou decodificação de imagem, em que o bloco de codificação é codificado no modo de interpredição e o bloco de codificação é dividido em blocos de transformada compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada; em que o método compreende um passo 1701 de determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes zero, um valor de um parâmetro de força de fronteira (BS) para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e outros passos 1702 de realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[00239] O método de acordo com o segundo aspecto da invenção é ilustrado no fluxograma da Figura 18. O método é um método de desblocagem, para desblocar fronteiras de bloco dentro de um bloco de codificação em uma codificação de imagem e / ou decodificação de imagem, em que o bloco de codificação é codificado no modo de interpredição e o bloco de codificação é dividido em blocos de transformada compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada; em que o método compreende um passo 1801 de: em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e um passo 1802 de: realizar processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[00240] A Figura 19 ilustra um dispositivo de acordo com o terceiro aspecto. O dispositivo 1900 compreende um filtro de desblocagem 1901 configurado para desblocar uma fronteira de bloco de transformada dentro de um bloco de codificação, em que o bloco de codificação é codificado (predito) no modo de interpredição e o bloco de codificação compreende blocos de transformada (como tal, o bloco de codificação é dividido (separado) em blocos de transformada durante o processo de interpredição, por exemplo, quando a transformada de sub-bloco é habilitada, a unidade de codificação atual é dividida em duas unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada. O filtro de desblocagem 1901 compreende um módulo de determinação 1902 configurado para determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor; e um módulo de filtragem de desblocagem 1903 configurado para realizar processo de filtragem de desblocagem até a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no primeiro valor do parâmetro de força de fronteira.
[00241] Em um exemplo, o filtro de desblocagem 1901 pode corresponder ao filtro de loop 220 na Figura 2. Em outro exemplo, o filtro de desblocagem 1901 pode corresponder ao filtro de loop 320 na Figura 3. Correspondentemente, em um exemplo, uma estrutura de exemplo do dispositivo 1900 pode corresponder ao codificador 200 na Figura 2. Em outro exemplo, uma estrutura de exemplo do dispositivo 1900 pode corresponder ao decodificador 300 na Figura 3.
[00242] A Figura 20 ilustra um dispositivo de acordo com o quarto aspecto. O dispositivo 2000 compreende um filtro de desblocagem 2001 configurado para desblocar fronteiras de bloco dentro de um bloco de codificação (unidade de codificação), em que o bloco de codificação é codificado (predito) no modo de interpredição (em particular, o bloco de codificação é codificado em um modo de transformada de sub-bloco, SBT) e o bloco de codificação (um bloco de codificação interpredito é dividido (separado) em blocos de transformada no processo de interpredição, por exemplo, quando a transformada de sub-bloco é habilitada, a unidade de codificação atual é dividida em duas ou mais unidades de transformada) compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada (por exemplo, blocos de transformada contêm p0 e q0 são adjacentes na direção vertical ou horizontal). O filtro de desblocagem 2001 compreende um módulo de determinação 2002 configurado para determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada para ser um primeiro valor como tal, em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada; e um módulo de desblocagem 2003 configurado para realizar um processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
[00243] Em um exemplo, o filtro de desblocagem 2001 pode corresponder ao filtro de loop 220 na Figura 2. Em outro exemplo, o filtro de desblocagem 2001 pode corresponder ao filtro de loop 320 na Figura 3. Correspondentemente, em um exemplo, uma estrutura de exemplo do dispositivo 2000 pode corresponder ao codificador 200 na Figura 2. Em outro exemplo, um exemplo de estrutura do dispositivo 2000 pode corresponder ao decodificador 300 na Figura 3.
[00244] Um documento de referência Codificação de Vídeo Versátil (Rascunho 3) é definido como Rascunho VVC 3.0 e pode ser encontrado no seguinte link: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/ 12_Macao/wg11/JVET-L1001-v13.zip.
[00245] Em um exemplo, de acordo com o 8.6.2.5 do Rascunho VVC 3.0 v9,
8.6.2.5 Processo de derivação de força de filtragem de fronteira as entradas para este processo são: - uma matriz de amostra de imagem recPicture, - uma localização (xCb, yCb) especificando a amostra superior esquerda do bloco de codificação atual em relação à amostra superior esquerda da imagem atual, - uma variável nCbW especificando a largura do bloco de codificação atual, - uma variável nCbH especificando a altura do bloco de codificação atual, - um edgeType variável especificando se uma borda vertical (EDGE_VER) ou horizontal (EDGE_HOR) é filtrada, - uma matriz bidimensional (nCbW) x (nCbH) edgeFlags.
[00246] Saída desse processo é uma matriz bidimensional (nCbW) x (nCbH) bS especificando a força de filtragem de fronteira.
[00247] As variáveis xDi, yDj, xN e yN são derivadas da seguinte forma: - se edgeType for igual a EDGE_VER, xDi é definido igual a (i << 3), yDj é definido igual a (j << 2), xN é definido igual a Max (0, (nCbW / 8) - 1) e yN é definido igual a (nCbH / 4) – 1;
- de outro modo (edgeType é igual a EDGE_HOR), xDi é definido igual a (i << 2), yDj é definido igual a (j << 3), xN é definido igual a (nCbW / 4) - 1 e yN é definido igual a Max (0, (nCbH / 8) - 1).
[00248] Para xDi com i = 0..xN e yDj com j = 0..yN, aplica-se o seguinte: - se edgeFlags [xDi] [yDj] for igual a 0, a variável bS [xDi] [yDj] será definida igual a 0; - de outro modo, aplica-se o seguinte: - os valores de amostra p0 e q0 são derivados da seguinte forma: - se edgeType for igual a EDGE_VER, p0 é definido igual a recPicture [xCb + xDi - 1] [yCb + yDj] e q0 é definido igual a recPicture [xCb + xDi] [yCb + yDj]; - de outro modo (edgeType é igual a EDGE_HOR), p0 é definido igual a recPicture [xCb + xDi] [yCb + yDj - 1] e q0 é definido igual a recPicture [xCb + xDi] [yCb + yDj].
[00249] - A variável bS [xDi] [yDj] é derivada da seguinte forma: - se a amostra p0 ou q0 estiver no bloco de codificação de uma unidade de codificação codificada com modo de intrapredição, bS [xDi] [yDj] é definido igual a 2; - de outro modo, se a borda de bloco também for uma borda de bloco de transformada e a amostra p0 ou q0 estiver em um bloco de transformada que contém um ou mais níveis de coeficiente de transformada diferente de zero, bS [xDi] [yDj] é igual para 1; - de outro modo, se uma ou mais das seguintes condições forem verdadeiras, bS [xDi] [yDj] é definido igual a 1: - para a predição do sub-bloco de codificação contendo a amostra p0, diferentes imagens de referência ou um número diferente de vetores de movimento são usados para a predição do sub-bloco de codificação contendo a amostra q0.
[00250] NOTA 1 - A determinação de se as imagens de referência usadas para os dois sub-blocos de codificação são iguais ou diferentes é baseada apenas em quais imagens são referenciadas, sem levar em consideração se uma predição é formada usando um índice na lista de imagens de referência 0 ou um índice na lista de imagens de referência 1, e também sem levar em consideração se a posição do índice dentro de uma lista de imagens de referência é diferente.
[00251] NOTA 2 - O número de vetores de movimento que são usados para a predição de um sub-bloco de codificação com cobertura de amostra superior esquerda (xSb, ySb), é igual a PredFlagL0 [xSb] [ySb] + PredFlagL1 [xSb] [ySb].
[00252] - Um vetor de movimento é usado para predizer o sub-bloco de codificação contendo a amostra p0 e um vetor de movimento é usado para predizer o sub-bloco de codificação contendo a amostra q0, e a diferença absoluta entre o componente horizontal ou vertical dos vetores de movimento usados é maior ou igual a 4 em unidades de amostras de um quarto de luma.
[00253] - Dois vetores de movimento e duas diferentes imagens de referência são usados para predizer o sub-bloco de codificação contendo a amostra p0, dois vetores de movimento para as mesmas duas imagens de referência são usados para predizer o sub-bloco de codificação contendo a amostra q0 e a diferença absoluta entre o componente horizontal ou vertical dos dois vetores de movimento usados na predição dos dois sub-blocos de codificação para a mesma imagem de referência é maior ou igual a 4 em unidades de amostras de um quarto de luma.
[00254] - Dois vetores de movimento para a mesma imagem de referência são usados para predizer o sub-bloco de codificação contendo a amostra p0, dois vetores de movimento para a mesma imagem de referência são usados para predizer o sub-bloco de codificação contendo a amostra q0 e ambas as seguintes condições são verdadeiras: - a diferença absoluta entre o componente horizontal ou vertical dos vetores de movimento de lista 0 usados na predição dos dois sub-blocos de codificação é maior ou igual a 4 nas amostras de um quarto de luma, ou a diferença absoluta entre o componente horizontal ou vertical dos vetores de movimento de lista 1 usados na predição dos dois sub-blocos de codificação é maior ou igual a 4 em unidades de amostras de um quarto de luma; - a diferença absoluta entre o componente horizontal ou vertical do vetor de movimento de lista 0 usado na predição do sub-bloco de codificação contendo a amostra p0 e o vetor de movimento de lista 1 usado na predição do sub-bloco de codificação contendo a amostra q0 é maior ou igual a 4 em unidades de amostras de um quarto de luma, ou a diferença absoluta entre o componente horizontal ou vertical do vetor de movimento de lista 1 usado na predição do sub-bloco de codificação contendo a amostra p0 e o vetor de movimento de lista 0 usado na predição do sub-bloco de codificação contendo a amostra q0 é maior ou igual a 4 em unidades de amostras de um quarto de luma.
[00255] - De outro modo, a variável bS [xDi] [yDj] é definida igual a 0.
[00256] Além disso, a documentação do VVC se refere à "semântica de árvore de codificação" e "Transformada de Sub- bloco (SBT)" da seguinte forma:
7.4.9.4 Semântica de árvore de codificação ... ... cu_sbt_flag igual a 1 especifica que para a unidade de codificação atual, a transformada de sub-bloco é usada. cu_sbt_flag igual a 0 especifica que para a unidade de codificação atual, a transformada de sub-bloco não é usada.
[00257] Quando cu_sbt_flag não está presente, seu valor é considerado igual a 0.
[00258] NOTA -: quando transformada de sub-bloco é usada, uma unidade de codificação é separada em duas unidades de transformada; uma unidade de transformação tem dados residuais, a outra não tem dados residuais.
[00259] cu_sbt_horizontal_flag igual a 1 especifica que a unidade de codificação atual é separada horizontalmente em 2 unidades de transformada. cu_sbt_horizontal_flag [x0] [y0] igual a 0 especifica que a unidade de codificação atual é separada verticalmente em 2 unidades de transformada.
[00260] De acordo com uma modalidade do presente pedido, se uma CU é dividida em múltiplos sub-blocos e a transformada é aplicada na granularidade de sub-bloco, então a fronteira de TU de sub-bloco dentro de uma CU deve ser desblocada. Esta modalidade propõe desblocar a fronteira de TU de sub-bloco dentro de uma CU em uma maneira adequada.
[00261] Nesta modalidade, para uma fronteira com dois lados, como mostrado na Figura 16 (onde os blocos espacialmente adjacentes em cada lado são denotados como bloco P e bloco Q), a força de fronteira é derivada da seguinte forma: se ambos os blocos P e Q estão em uma mesma CU e a fronteira entre o bloco P e o bloco Q é uma fronteira de TU de sub-bloco, como mostrado na Figura 14 ou Figura 15, então o parâmetro de força de fronteira da referida fronteira é definido de acordo com a seguinte condição: se pelo menos um dos blocos adjacentes P e Q tem pelo menos um coeficiente de transformada diferente de zero, então o parâmetro de força de fronteira da referida fronteira é definido igual a um valor diferente de zero, por exemplo, 1; caso contrário, se ambos os blocos P e Q não tiverem coeficientes de transformada diferentes de zero, então o parâmetro de força de fronteira desta fronteira é definido como igual a 0; caso contrário, a força de fronteira é derivada como o exemplo acima, ou seja, o processo de derivação de força de fronteira conforme definido na seção 8.6.2.5 do Rascunho VVC 3.0 v9; as amostras de pixel compreendidas no bloco Q e no bloco P são filtradas com aplicação de um filtro de desblocagem de acordo com a força de fronteira determinada.
[00262] Em um exemplo, quando as fronteiras de TU de sub-bloco estão alinhadas com uma grade N x M, essas fronteiras de TU de sub-bloco são desblocadas, conforme definido na modalidade acima. Em um exemplo, N é 8, M é 8. Em outro exemplo, N é 4 e M é 4. Caso contrário (se essas fronteiras de TU de sub-bloco não estiverem alinhadas com uma grade N x M), elas não serão desblocadas.
[00263] Em um exemplo, para uma CU cuja posição superior esquerda não está alinhada com uma grade 8 x 8 (como mostrado na Figura 13), as fronteiras de TU de sub-bloco que estão alinhadas com a referida grade 8 x 8 são desblocadas, conforme definido na modalidade acima. Caso contrário (essas fronteiras de TU de sub-bloco não estão alinhadas com a grade 8 x 8), elas não são desblocadas.
[00264] Em um exemplo, para uma CU cuja posição superior esquerda está alinhada com uma grade 8 x 8 (como mostrado na Figura 13), as fronteiras de TU de sub-bloco que estão alinhadas com a referida grade 8 x 8 são desblocadas, conforme definido na modalidade acima. Caso contrário (essas fronteiras de TU de sub-bloco não estão alinhadas com a grade 8 x 8), elas não são desblocadas.
[00265] Em um exemplo, independentemente da posição das fronteiras de TU de sub-bloco, todas as fronteiras de TU de sub-bloco dentro de uma CU são desblocadas, conforme definido na modalidade acima.
[00266] A invenção fornece as seguintes modalidades adicionais: um método de codificação, em que a codificação inclui decodificação ou codificação, e o método compreende: dividir uma unidade de codificação ou um bloco de codificação em pelo menos dois sub-blocos compreendendo um primeiro sub- bloco e um segundo sub-bloco; e quando uma fronteira entre o primeiro sub-bloco e o segundo sub-bloco está alinhada com uma fronteira de unidade de transformada de sub-bloco, definir um valor de um parâmetro de força de fronteira correspondente à fronteira entre o primeiro sub-bloco e o segundo sub-bloco, de acordo com um ou mais coeficientes de transformada do primeiro sub-bloco ou um ou mais coeficientes de transformada do segundo sub-bloco; em que o primeiro sub- bloco e o segundo sub-bloco são blocos de transformada.
[00267] A unidade de codificação ou bloco de codificação pode ser dividido em uma direção horizontal ou vertical.
[00268] Quando um valor de um ou mais coeficientes de transformada do primeiro sub-bloco não é igual a zero, ou quando um valor de um ou mais coeficientes de transformada do segundo sub-bloco não é igual a zero, o valor do parâmetro de força de fronteira pode ser definido para um primeiro valor. O primeiro valor pode não ser igual a zero, em particular, o primeiro valor pode ser 1 ou 2.
[00269] Quando todos os valores dos coeficientes de transformada do primeiro sub-bloco são iguais a zero, e todos os valores dos coeficientes de transformada do segundo sub- bloco são iguais a zero, o valor do parâmetro de força de fronteira pode ser definido como um segundo valor. O segundo valor pode ser zero.
[00270] Um codificador (20) pode compreender conjunto de circuitos de processamento para realizar o método descrito acima. Um decodificador (30) pode compreender conjunto de circuitos de processamento para realizar o método descrito acima.
[00271] Um programa de computador pode compreender um código de programa para realizar o método descrito acima.
[00272] De acordo com um aspecto, um decodificador pode compreender: um ou mais processadores; e um meio de armazenamento legível por computador não transitório acoplado aos processadores e armazenando programação para execução pelos processadores, em que a programação, quando executada pelos processadores, configura o decodificador para realizar o método descrito acima.
[00273] De acordo com um aspecto, um codificador pode compreender: um ou mais processadores; e um meio de armazenamento legível por computador não transitório acoplado aos processadores e armazenando programação para execução pelos processadores, em que a programação, quando executada pelos processadores, configura o codificador para realizar o método descrito acima.
[00274] A seguir está uma explicação das aplicações do método de codificação, bem como do método de decodificação, conforme mostrado nas modalidades mencionadas acima, e um sistema que as usa.
[00275] A Figura 21 é um diagrama de blocos mostrando um sistema de fornecimento de conteúdo 3100 para realizar serviço de entrega de conteúdo. Este sistema de fornecimento de conteúdo 3100 inclui dispositivo de captura 3102, dispositivo terminal 3106 e, opcionalmente, inclui tela de exibição 3126. O dispositivo de captura 3102 se comunica com o dispositivo terminal 3106 através do enlace de comunicação
3104. O enlace de comunicação pode incluir o canal de comunicação 13 descrito acima. O enlace de comunicação 3104 inclui, mas não se limita a WIFI, Ethernet, cabo, sem fio (3G / 4G / 5G), USB ou qualquer tipo de combinação dos mesmos, ou semelhantes.
[00276] O dispositivo de captura 3102 gera dados, e pode codificar os dados pelo método de codificação como mostrado nas modalidades acima. Alternativamente, o dispositivo de captura 3102 pode distribuir os dados para um servidor de streaming (não mostrado nas Figuras), e o servidor codifica os dados e transmite os dados codificados para o dispositivo terminal 3106. O dispositivo de captura 3102 inclui, mas não se limita à câmera, smartphone ou pad, computador ou laptop, sistema de videoconferência, PDA, dispositivo montado em veículo, ou uma combinação de qualquer um deles, ou semelhantes. Por exemplo, o dispositivo de captura 3102 pode incluir o dispositivo de origem 12 como descrito acima. Quando os dados incluem vídeo, o codificador de vídeo 20 incluído no dispositivo de captura 3102 pode atualmente realizar o processamento de codificação de vídeo. Quando os dados incluem áudio (isto é, voz), um codificador de áudio incluído no dispositivo de captura 3102 pode atualmente realizar o processamento de codificação de áudio. Para alguns cenários práticos, o dispositivo de captura 3102 distribui os dados de vídeo e áudio codificados multiplexando-os juntos. Para outros cenários práticos, por exemplo, no sistema de videoconferência, os dados de áudio codificados e os dados de vídeo codificados não são multiplexados. O dispositivo de captura 3102 distribui os dados de áudio codificados e os dados de vídeo codificados para o dispositivo terminal 3106 separadamente.
[00277] No sistema de fornecimento de conteúdo 3100, o dispositivo terminal 310 recebe e reproduz os dados codificados. O dispositivo terminal 3106 pode ser um dispositivo com capacidade de recepção e recuperação de dados, como smartphone ou Pad 3108, computador ou laptop 3110, gravador de vídeo de rede (NVR) / gravador de vídeo digital (DVR) 3112, TV 3114, decodificador (STB) 3116, sistema de videoconferência 3118, sistema de vigilância por vídeo 3120, assistente digital pessoal (PDA) 3122, dispositivo montado em veículo 3124 ou uma combinação de qualquer um deles, ou semelhantes, capaz de decodificar os dados codificados acima mencionados. Por exemplo, o dispositivo terminal 3106 pode incluir o dispositivo de destino 14, conforme descrito acima. Quando os dados codificados incluem vídeo, o decodificador de vídeo 30 incluído no dispositivo terminal é priorizado para realizar decodificação de vídeo. Quando os dados codificados incluem áudio, um decodificador de áudio incluído no dispositivo terminal é priorizado para realizar processamento de decodificação de áudio.
[00278] Para um dispositivo terminal com sua tela de exibição, por exemplo, smartphone ou Pad 3108, computador ou laptop 3110, gravador de vídeo de rede (NVR) / gravador de vídeo digital (DVR) 3112, TV 3114, assistente digital pessoal (PDA) 3122 ou dispositivo montado em veículo 3124, o dispositivo terminal pode alimentar os dados decodificados para sua tela de exibição. Para um dispositivo terminal equipado com nenhuma tela de exibição, por exemplo, STB 3116, sistema de videoconferência 3118 ou sistema de vigilância por vídeo 3120, uma tela de exibição externa 3126 é acoplada nele para receber e mostrar os dados decodificados.
[00279] Quando cada dispositivo neste sistema realiza codificação ou decodificação, o dispositivo de codificação de imagem ou o dispositivo de decodificação de imagem, como mostrado nas modalidades mencionadas acima, pode ser usado.
[00280] A Figura 22 é um diagrama mostrando uma estrutura de um exemplo do dispositivo terminal 3106. Após o dispositivo terminal 3106 receber o fluxo a partir do dispositivo de captura 3102, a unidade de processamento de protocolo 3202 analisa o protocolo de transmissão do fluxo. O protocolo inclui, mas não se limita a Protocolo de Streaming em Tempo Real (RTSP), Protocolo de Transferência de Hipertexto (HTTP), Protocolo de Streaming ao Vivo HTTP (HLS), MPEG-DASH, Protocolo de Transporte em Tempo Real (RTP), Protocolo de Mensagens em Tempo Real (RTMP), ou qualquer tipo de combinação dos mesmos, ou semelhantes.
[00281] Após a unidade de procedimento de protocolo 3202 processar o fluxo, o arquivo de fluxo é gerado. O arquivo é emitido para uma unidade de demultiplexação 3204. A unidade de demultiplexação 3204 pode separar os dados multiplexados em dados de áudio codificados e dados de vídeo codificados. Conforme descrito acima, para alguns cenários práticos, por exemplo, no sistema de videoconferência, os dados de áudio codificados e os dados de vídeo codificados não são multiplexados. Nesta situação, os dados codificados são transmitidos para o decodificador de vídeo 3206 e decodificador de áudio 3208 sem ser através da unidade de demultiplexação 3204.
[00282] Por meio do processamento de demultiplexação, fluxo elementar (ES) de vídeo, ES de áudio e, opcionalmente, legenda são gerados. O decodificador de vídeo 3206, que inclui o decodificador de vídeo 30 conforme explicado nas modalidades mencionadas acima, decodifica o ES de vídeo pelo método de decodificação como mostrado nas modalidades mencionadas acima para gerar quadro de vídeo, e alimenta esses dados para a unidade síncrona 3212. O decodificador de áudio 3208 decodifica o ES de áudio para gerar quadro de áudio e alimenta esses dados para a unidade síncrona 3212.
Alternativamente, o quadro de vídeo pode ser armazenado em um armazenamento temporário (não mostrado na Figura 22) antes de alimentá-lo para a unidade síncrona 3212. Da mesma forma, o quadro de áudio pode ser armazenado em um armazenamento temporário (não mostrado na Figura 22) antes de alimentá-lo para a unidade síncrona 3212.
[00283] A unidade síncrona 3212 sincroniza o quadro de vídeo e o quadro de áudio, e fornece o vídeo / áudio a uma tela de exibição de vídeo / áudio 3214. Por exemplo, a unidade síncrona 3212 sincroniza a apresentação das informações de vídeo e áudio. As informações podem codificar na sintaxe usando time stamps relativos à apresentação de dados de áudio e visuais codificados e time stamps relativos à entrega do próprio fluxo de dados.
[00284] Se a legenda for incluída no fluxo, o decodificador de legenda 3210 decodifica a legenda, e sincroniza com o quadro de vídeo e o quadro de áudio, e fornece o vídeo / áudio / legenda para uma tela de exibição de vídeo / áudio / legenda 3216.
[00285] A presente invenção não está limitada ao sistema acima mencionado, e tanto o dispositivo de codificação de imagem quanto o dispositivo de decodificação de imagem nas modalidades acima mencionadas podem ser incorporados em outro sistema, por exemplo, um sistema de carro.
[00286] A invenção foi descrita em conjunto com várias modalidades aqui. No entanto, outras variações das modalidades divulgadas podem ser compreendidas e realizadas por aqueles versados na técnica na prática da invenção reivindicada, a partir de um estudo dos desenhos, da divulgação e das reivindicações anexas. Nas reivindicações, a palavra "compreendendo" não exclui outros elementos ou passos e o artigo indefinido "um" ou "uma" não exclui uma pluralidade. Um único processador ou outra unidade pode cumprir as funções de vários itens citados nas reivindicações. O mero fato de que certas medidas são citadas em reivindicações dependentes geralmente diferentes não indica que uma combinação dessas medidas não possa ser usada com vantagem. Um programa de computador pode ser armazenado / distribuído em um meio adequado, como um meio de armazenamento ótico ou um meio de estado sólido fornecido junto com ou como parte de outro hardware, mas também pode ser distribuído em outras formas, como via Internet ou outros sistemas de comunicação com ou sem fio.
[00287] O versado na técnica entenderá que os "blocos" ("unidades") das várias figuras (método e aparelho) representam ou descrevem as funcionalidades das modalidades da invenção (em vez de necessariamente "unidades" individuais em hardware ou software) e assim, descrevem igualmente funções ou recursos de modalidades de aparelho, bem como modalidades de método (unidade = passo).
[00288] A terminologia de "unidades" é usada apenas para fins ilustrativos da funcionalidade de modalidades do codificador / decodificador e não se destina a limitar a divulgação.
[00289] Nas várias modalidades fornecidas no presente pedido, deve ser entendido que o sistema, aparelho e método divulgados podem ser implementados de outras maneiras. Por exemplo, a modalidade de aparelho descrita é meramente exemplar. Por exemplo, a divisão de unidade é meramente uma divisão de função lógica e pode ser outra divisão na implementação real. Por exemplo, uma pluralidade de unidades ou componentes pode ser combinada ou integrada em outro sistema, ou alguns recursos podem ser ignorados ou não realizados. Além disso, os acoplamentos mútuos ou acoplamentos diretos ou conexões de comunicação exibidos ou discutidos podem ser implementados usando algumas interfaces. Os acoplamentos indiretos ou conexões de comunicação entre os aparelhos ou unidades podem ser implementados em formas eletrônicas, mecânicas ou outras.
[00290] As unidades descritas como partes separadas podem ou não ser fisicamente separadas, e as partes exibidas como unidades podem ou não ser unidades físicas, podem estar localizadas em uma posição ou podem ser distribuídas em uma pluralidade de unidades de rede. Algumas ou todas as unidades podem ser selecionadas de acordo com as necessidades atuais para atingir os objetivos das soluções das modalidades.
[00291] Além disso, unidades funcionais nas modalidades da presente invenção podem ser integradas em uma unidade de processamento, ou cada uma das unidades pode existir sozinha fisicamente, ou duas ou mais unidades são integradas em uma unidade.
[00292] Embora as modalidades da invenção tenham sido descritas principalmente com base na codificação de vídeo, deve ser notado que as modalidades do sistema de codificação 10, codificador 20 e decodificador 30 (e correspondentemente o sistema 10) e as outras modalidades aqui descritas também podem ser configuradas para processamento ou codificação de imagem, isto é, o processamento ou codificação de uma imagem individual independente de qualquer imagem precedente ou consecutiva como na codificação de vídeo. Em geral, apenas as unidades de interpredição 244 (codificador) e 344 (decodificador) podem não estar disponíveis no caso da codificação de processamento de imagem ser limitada a uma única imagem 17. Todas as outras funcionalidades (também referidas como ferramentas ou tecnologias) do codificador de vídeo 20 e do decodificador de vídeo 30 podem igualmente ser usadas para processamento de imagens estáticas, por exemplo, cálculo residual 204/304, transformada 206, quantização 208, quantização inversa 210/310, transformada (inversa) 212/312, particionamento 262/362, intrapredição 254 / 354 e / ou filtragem de loop 220, 320 e codificação de entropia 270 e decodificação de entropia 304.
[00293] As modalidades, por exemplo, do codificador 20 e do decodificador 30, e funções aqui descritas, por exemplo, com referência ao codificador 20 e ao decodificador 30, podem ser implementadas em hardware, software, firmware ou qualquer combinação dos mesmos. Se implementadas em software, as funções podem ser armazenadas em um meio legível por computador ou transmitidas por meio de comunicação como uma ou mais instruções ou código, e executadas por uma unidade de processamento baseada em hardware. O meio legível por computador pode incluir meio de armazenamento legível por computador, que corresponde a um meio tangível, como meio de armazenamento de dados ou meio de comunicação, incluindo qualquer meio que facilite a transferência de um programa de computador de um lugar para outro, por exemplo, de acordo com um protocolo de comunicação. Desta maneira, o meio legível por computador geralmente pode corresponder a (1) meio de armazenamento legível por computador tangível que é não transitório ou (2) um meio de comunicação, como um sinal ou onda portadora. O meio de armazenamento de dados pode ser qualquer meio disponível que pode ser acessado por um ou mais computadores ou um ou mais processadores para recuperar instruções, código e / ou estruturas de dados para implementação das técnicas descritas nesta divulgação. Um produto de programa de computador pode incluir um meio legível por computador.
[00294] A título de exemplo, e não limitação, tal meio de armazenamento legível por computador pode compreender RAM, ROM, EEPROM, CD-ROM ou outro armazenamento de disco ótico, armazenamento de disco magnético ou outros dispositivos de armazenamento magnético, memória flash ou qualquer outro meio que pode ser usado para armazenar o código de programa desejado na forma de instruções ou estruturas de dados e que pode ser acessado por um computador. Além disso, qualquer conexão é apropriadamente denominada meio legível por computador. Por exemplo, se as instruções são transmitidas de um site, servidor ou outra fonte remota usando um cabo coaxial, cabo de fibra ótica, par trançado, linha de assinante digital (DSL) ou tecnologias sem fio, como infravermelho, rádio e micro-ondas, então o cabo coaxial, cabo de fibra ótica, par trançado, DSL ou tecnologias sem fio, como infravermelho, rádio e micro- ondas, estão incluídos na definição de meio. Deve ser entendido, no entanto, que o meio de armazenamento legível por computador e o meio de armazenamento de dados não incluem conexões, ondas portadoras, sinais ou outros meios transitórios, mas são direcionados para meios de armazenamento tangíveis não transitórios. Disco (disk) e disco (disc), conforme usados aqui, incluem disco compacto (CD), disco laser, disco ótico, disco versátil digital (DVD), disquete e disco Blu-ray, onde os discos (disks) geralmente reproduzem dados magneticamente, enquanto os discos (discs) reproduzem dados oticamente com lasers. As combinações dos itens acima também devem ser incluídas no escopo do meio legível por computador.
[00295] As instruções podem ser executadas por um ou mais processadores, como um ou mais processadores de sinal digital (DSPs), microprocessadores de propósito geral, circuitos integrados de aplicação específica (ASICs), matrizes lógicas programáveis em campo (FPGAs) ou outros conjunto de circuitos lógicos integrados ou discretos equivalentes. Consequentemente, o termo "processador", conforme usado neste documento, pode se referir a qualquer uma das estruturas anteriores ou qualquer outra estrutura adequada para a implementação das técnicas descritas neste documento. Além disso, em alguns aspectos, a funcionalidade aqui descrita pode ser fornecida em módulos de hardware e / ou software dedicados configurados para codificação e decodificação, ou incorporados em um codec combinado. Além disso, as técnicas podem ser totalmente implementadas em um ou mais circuitos ou elementos lógicos.
[00296] As técnicas desta divulgação podem ser implementadas em uma ampla variedade de dispositivos ou aparelhos, incluindo um handset sem fio, um circuito integrado (IC) ou um conjunto de ICs (por exemplo, um conjunto de chips). Vários componentes, módulos ou unidades são descritos nesta divulgação para enfatizar os aspectos funcionais dos dispositivos configurados para executar as técnicas divulgadas, mas não necessariamente requerem a realização por diferentes unidades de hardware.
Em vez disso, conforme descrito acima, várias unidades podem ser combinadas em uma unidade de hardware de codec ou fornecidas por uma coleção de unidades de hardware interoperativas, incluindo um ou mais processadores, conforme descrito acima, em conjunto com software e / ou firmware adequados.
Claims (45)
1. Método de desblocagem, para desblocar uma fronteira de bloco de transformada dentro de um bloco de codificação em uma codificação de imagem e / ou uma decodificação de imagem, em que o bloco de codificação compreendendo blocos de transformada é codificado no modo de interpredição e os blocos de transformada compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada; caracterizado pelo fato de que o método compreende: - determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira, BS, para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no primeiro valor do parâmetro de BS.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT.
3. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que os blocos de transformada compreendem ainda um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada; e em que o método compreende ainda: - determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um primeiro valor; ou - determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma transformada de sub-bloco, a fronteira de SBT e ambos o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um segundo valor.
4. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o primeiro valor é 1.
5. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que o segundo valor é zero.
6. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada apenas se a fronteira de bloco de transformada entre o primeiro e o segundo blocos de transformada estiver alinhada com uma grade de amostra n x n, em que n é um número inteiro.
7. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada mesmo se a fronteira de bloco de transformada entre o primeiro e o segundo blocos de transformada não estiver alinhada com uma grade de amostra n x n, em que n é um número inteiro.
8. Método, de acordo com a reivindicação 6 ou 7, caracterizado pelo fato de que n é 4 ou 8.
9. Método, de acordo com qualquer uma das reivindicações 6 a 8, caracterizado pelo fato de que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é uma grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
10. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
11. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é causada por uma ferramenta de transformada de sub-bloco, SBT.
12. Método de desblocagem, para desblocar fronteiras de bloco dentro de um bloco de codificação em uma codificação de imagem e / ou decodificação de imagem, em que o bloco de codificação compreendendo blocos de transformada é codificado no modo de interpredição e os blocos de transformada compreendendo um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada, caracterizado pelo fato de que o método compreende: em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que em resposta a uma determinação de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor, compreende: em resposta a uma determinação de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada está alinhada com uma grade de amostra n x n, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor, em que n é um número inteiro.
14. Método, de acordo com a reivindicação 13, caracterizado pelo fato de que n é 4 ou 8.
15. Método, de acordo com a reivindicação 13 ou 14, caracterizado pelo fato de que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é uma grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
16. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que os blocos de transformada compreendem ainda: um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada; e o método compreende ainda: - em resposta a uma determinação de que uma fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um primeiro valor; ou - em resposta a uma determinação de que a fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e ambos o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero,
um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um segundo valor.
17. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o primeiro valor é 1.
18. Método, de acordo com a reivindicação 16, caracterizado pelo fato de que o segundo valor é zero.
19. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
20. Método, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é causada por uma ferramenta de transformada de sub-bloco, SBT.
21. Dispositivo para uso em um codificador de imagem e / ou um decodificador de imagem, para desblocar uma fronteira de bloco de transformada dentro de um bloco de codificação, em que o bloco de codificação compreendendo blocos de transformada é codificado no modo de interpredição e os blocos de transformada compreendem um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada; caracterizado pelo fato de que o dispositivo compreende um filtro de desblocagem configurado para: - determinar, quando uma fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de unidade de transformada e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no primeiro valor do parâmetro de força de fronteira.
22. Dispositivo, de acordo com a reivindicação 21, caracterizado pelo fato de que a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT.
23. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que os blocos de transformada compreendem ainda um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada, e o filtro de desblocagem é ainda configurado para determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um primeiro valor; ou - determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma transformada de sub-bloco, a fronteira de SBT e ambos o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um segundo valor.
24. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o primeiro valor é 1.
25. Dispositivo, de acordo com a reivindicação 23, caracterizado pelo fato de que o segundo valor é zero.
26. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada apenas se a fronteira de bloco de transformada entre o primeiro e o segundo bloco de transformada estiver alinhada com uma grade de amostra n x n, em que n é um número inteiro.
27. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser desblocada mesmo se a fronteira de bloco de transformada entre o primeiro e o segundo blocos de transformada não estiver alinhada com uma grade de amostra n x n, em que n é um número inteiro.
28. Dispositivo, de acordo com a reivindicação 26 ou 27, caracterizado pelo fato de que n é 4 ou 8.
29. Dispositivo, de acordo com qualquer uma das reivindicações 26 a 28, caracterizado pelo fato de que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é uma grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
30. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
31. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é realizada por uma ferramenta de transformada de sub-bloco, SBT.
32. Dispositivo para uso em um codificador de imagem e / ou um decodificador de imagem, para desblocar fronteiras de bloco dentro de um bloco de codificação, em que o bloco de codificação compreendendo blocos de transformada é codificado no modo de interpredição e os blocos de transformada compreendem um primeiro bloco de transformada e um segundo bloco de transformada que é adjacente ao primeiro bloco de transformada; caracterizado pelo fato de que o dispositivo compreende um filtro de desblocagem configurado para: em resposta a uma determinação de que uma fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada deve ser filtrada, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor; e - realizar processo de filtragem de desblocagem para a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada pelo menos com base no valor do parâmetro de força de fronteira.
33. Dispositivo, de acordo com a reivindicação 32,
caracterizado pelo fato de que o filtro de desblocagem é configurado para: em resposta a uma determinação de que a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada está alinhada com uma grade de amostra n x n, determinar, quando a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do primeiro bloco de transformada e o segundo bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o primeiro bloco de transformada e o segundo bloco de transformada ser um primeiro valor, em que n é um número inteiro.
34. Dispositivo, de acordo com a reivindicação 32, caracterizado pelo fato de que n é 4 ou 8.
35. Dispositivo, de acordo com a reivindicação 33 ou 34, caracterizado pelo fato de que a grade de amostra n x n é grade de amostra 4 x 4 para as amostras do primeiro e segundo blocos de transformada sendo amostras de luma; ou a grade de amostra n x n é uma grade de amostra 8 x 8 para as amostras do primeiro e segundo blocos de transformada sendo amostras de croma.
36. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que os blocos de transformada compreendem ainda um terceiro bloco de transformada que é adjacente ao segundo bloco de transformada; o filtro de desblocagem é ainda configurado para: - em resposta a uma determinação de que uma fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e pelo menos um do segundo bloco de transformada e o terceiro bloco de transformada tem um ou mais coeficientes de transformada diferentes de zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um primeiro valor; ou - em resposta a uma determinação de que a fronteira de bloco de transformada entre o segundo bloco de transformada e o terceiro bloco de transformada está alinhada com uma grade de amostra n x n, determinar, quando a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada é uma fronteira de transformada de sub-bloco, SBT, e ambos o segundo bloco de transformada e o terceiro bloco de transformada têm coeficientes de transformada zero, um valor de um parâmetro de força de fronteira para a fronteira entre o segundo bloco de transformada e o terceiro bloco de transformada ser um segundo valor.
37. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o primeiro valor é 1.
38. Dispositivo, de acordo com a reivindicação 36, caracterizado pelo fato de que o segundo valor é zero.
39. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que, se o bloco de codificação for dividido em uma direção horizontal, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada horizontal; ou se o bloco de codificação for dividido em uma direção vertical, a fronteira de bloco de transformada entre o primeiro bloco de transformada e o segundo bloco de transformada é uma fronteira de bloco de transformada vertical.
40. Dispositivo, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o bloco de codificação atual é codificado usando uma ferramenta de transformada de sub-bloco, SBT, ou a fronteira de bloco de transformada é causada por uma ferramenta de transformada de sub-bloco, SBT.
41. Codificador (20) caracterizado pelo fato de que compreende conjunto de circuitos de processamento para realizar o método conforme definido em qualquer uma das reivindicações 1 a 20.
42. Decodificador (30) caracterizado pelo fato de que compreende conjunto de circuitos de processamento para realizar o método conforme definido em qualquer uma das reivindicações 1 a 20.
43. Meio legível por computador não transitório caracterizado pelo fato de que transporta instruções que, quando executadas por um dispositivo de computador, faz o dispositivo de computador realizar o método conforme definido em qualquer uma das reivindicações 1 a 20.
44. Decodificador caracterizado pelo fato de que compreende:
um ou mais processadores; e um meio de armazenamento legível por computador não transitório acoplado aos processadores e armazenando instruções para execução pelos processadores, em que as instruções, quando executadas pelos processadores, configura o decodificador para realizar o método conforme definido em qualquer uma das reivindicações 1 a 20.
45. Codificador caracterizado pelo fato de que compreende: um ou mais processadores; e um meio de armazenamento legível por computador não transitório acoplado aos processadores e armazenando instruções para execução pelos processadores, em que as instruções, quando executadas pelos processadores, configura o codificador para realizar o método conforme definido em qualquer uma das reivindicações 1 a 20.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BR122023021074-3A BR122023021074A2 (pt) | 2019-01-25 | 2020-01-23 | Método de desblocagem, dispositivo para uso em um codificador e/ou um decodificador de imagem, codificador, decodificador, e meio legível por computador não transitório |
| BR122023021072-7A BR122023021072A2 (pt) | 2019-01-25 | 2020-01-23 | Método de desblocagem, dispositivo para uso em um codificador e/ou um decodificador de imagem, codificador, decodificador, e meio legível por computador não transitório |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962797163P | 2019-01-25 | 2019-01-25 | |
| US62/797,163 | 2019-01-25 | ||
| PCT/CN2020/074033 WO2020151768A1 (en) | 2019-01-25 | 2020-01-23 | An encoder, a decoder and corresponding methods of deblocking filter adaptation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112021014502A2 true BR112021014502A2 (pt) | 2021-09-28 |
Family
ID=71735579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112021014502-8A BR112021014502A2 (pt) | 2019-01-25 | 2020-01-23 | Codificador, decodificador e métodos correspondentes de adaptação de filtro de desblocagem |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US11843806B2 (pt) |
| EP (1) | EP3909242A4 (pt) |
| JP (1) | JP2022524710A (pt) |
| KR (2) | KR20240074918A (pt) |
| CN (1) | CN113330743A (pt) |
| AU (1) | AU2020212233A1 (pt) |
| BR (1) | BR112021014502A2 (pt) |
| CA (1) | CA3127704A1 (pt) |
| MX (1) | MX2021008875A (pt) |
| WO (1) | WO2020151768A1 (pt) |
| ZA (1) | ZA202106061B (pt) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118042170A (zh) | 2018-12-13 | 2024-05-14 | Sk电信有限公司 | 视频编码设备、视频解码方法和发送设备 |
| KR20200073124A (ko) * | 2018-12-13 | 2020-06-23 | 에스케이텔레콤 주식회사 | 필터링 방법 및 영상 복호화 장치 |
| BR112021011019A2 (pt) * | 2019-02-15 | 2021-08-31 | Panasonic Intellectual Property Corporation Of America | Codificador, decodificador, método de codificação e método de decodificação |
| KR20240121215A (ko) * | 2021-12-06 | 2024-08-08 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| FR3139260A1 (fr) * | 2022-08-25 | 2024-03-01 | S.A. Vitec | Lissage hors boucle de codage d’une frontière entre deux zones d’image |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4712642B2 (ja) * | 2006-08-17 | 2011-06-29 | 富士通セミコンダクター株式会社 | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
| CN101170701B (zh) * | 2007-11-16 | 2010-10-27 | 四川虹微技术有限公司 | 视频编解码系统中去块滤波方法及装置 |
| CN101472173B (zh) * | 2007-12-29 | 2012-07-25 | 安凯(广州)微电子技术有限公司 | 一种去块滤波方法、系统及去块滤波器 |
| KR101631270B1 (ko) * | 2009-06-19 | 2016-06-16 | 삼성전자주식회사 | 의사 난수 필터를 이용한 영상 필터링 방법 및 장치 |
| US20110116545A1 (en) * | 2009-11-17 | 2011-05-19 | Jinwen Zan | Methods and devices for in-loop video deblocking |
| KR102218002B1 (ko) * | 2011-11-04 | 2021-02-19 | 엘지전자 주식회사 | 영상 정보 인코딩/디코딩 방법 및 장치 |
| BR122020018114B1 (pt) | 2012-01-17 | 2023-11-21 | Gensquare Llc | Método para aplicar um deslocamento de borda |
| CN115134609A (zh) * | 2015-06-11 | 2022-09-30 | 杜比实验室特许公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
| US9942548B2 (en) * | 2016-02-16 | 2018-04-10 | Google Llc | Entropy coding transform partitioning information |
| US20170237939A1 (en) * | 2016-02-16 | 2017-08-17 | Google Inc. | Loop filtering for multiform transform partitioning |
| CN113228671B (zh) * | 2018-12-28 | 2022-12-02 | 华为技术有限公司 | 通过将图像划分成包括图块的条带对图像进行译码的设备和方法及计算机可读存储介质 |
| KR20240145038A (ko) * | 2019-01-02 | 2024-10-04 | 엘지전자 주식회사 | 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치 |
| WO2020140948A1 (en) * | 2019-01-02 | 2020-07-09 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector derivation between dividing patterns |
-
2020
- 2020-01-23 CN CN202080010825.5A patent/CN113330743A/zh active Pending
- 2020-01-23 BR BR112021014502-8A patent/BR112021014502A2/pt unknown
- 2020-01-23 KR KR1020247016306A patent/KR20240074918A/ko active Application Filing
- 2020-01-23 JP JP2021542559A patent/JP2022524710A/ja active Pending
- 2020-01-23 WO PCT/CN2020/074033 patent/WO2020151768A1/en active Application Filing
- 2020-01-23 KR KR1020217026336A patent/KR20210107889A/ko not_active Application Discontinuation
- 2020-01-23 CA CA3127704A patent/CA3127704A1/en active Pending
- 2020-01-23 AU AU2020212233A patent/AU2020212233A1/en active Pending
- 2020-01-23 EP EP20744978.6A patent/EP3909242A4/en active Pending
- 2020-01-23 MX MX2021008875A patent/MX2021008875A/es unknown
-
2021
- 2021-07-23 US US17/383,639 patent/US11843806B2/en active Active
- 2021-08-23 ZA ZA2021/06061A patent/ZA202106061B/en unknown
-
2023
- 2023-12-11 US US18/534,764 patent/US20240121446A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210107889A (ko) | 2021-09-01 |
| EP3909242A4 (en) | 2022-03-23 |
| KR20240074918A (ko) | 2024-05-28 |
| MX2021008875A (es) | 2021-08-19 |
| ZA202106061B (en) | 2022-11-30 |
| WO2020151768A1 (en) | 2020-07-30 |
| CN113330743A (zh) | 2021-08-31 |
| CA3127704A1 (en) | 2020-07-30 |
| JP2022524710A (ja) | 2022-05-10 |
| US11843806B2 (en) | 2023-12-12 |
| AU2020212233A1 (en) | 2021-08-12 |
| EP3909242A1 (en) | 2021-11-17 |
| US20220014793A1 (en) | 2022-01-13 |
| US20240121446A1 (en) | 2024-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112021010416A2 (pt) | Codificador, decodificador e métodos correspondentes para realizar desblocagem de croma para blocos que usam codificação de croma em conjunto | |
| JP2022140481A (ja) | ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法 | |
| CA3122137C (en) | An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter | |
| BR122023024004A2 (pt) | Codificador de vídeo, decodificador de vídeo e métodos correspondentes | |
| BR112021014502A2 (pt) | Codificador, decodificador e métodos correspondentes de adaptação de filtro de desblocagem | |
| KR102625986B1 (ko) | 인트라 서브파티션 코딩 툴로 인한 서브파티션 경계를 위한 디블로킹 필터 | |
| BR122022009445A2 (pt) | Codificador, decodificador e métodos correspondentes para simplificar sinalização de cabeçalho de imagem | |
| BR112021016560A2 (pt) | Método e aparelho para predição intra usando modelo linear | |
| BR112021013644A2 (pt) | Codificador, decodificador e métodos correspondentes de adaptação de filtro de deblocagem | |
| BR112021010286A2 (pt) | codificador, decodificador e métodos correspondentes de construção de lista de modos mais prováveis para blocos com predição de múltiplas hipóteses | |
| BR112021009833A2 (pt) | codificador, decodificador e métodos correspondentes para predição inter | |
| BR112021003946A2 (pt) | codificador de vídeo, decodificador de vídeo e métodos correspondentes | |
| BR122023021074A2 (pt) | Método de desblocagem, dispositivo para uso em um codificador e/ou um decodificador de imagem, codificador, decodificador, e meio legível por computador não transitório | |
| RU2777967C1 (ru) | Деблокирующий фильтр для границ подразделов, возникающих под действием инструмента кодирования интра-подразделов | |
| BR112020025145B1 (pt) | Filtro de desblocagem para fronteiras de subpartição causadas por ferramenta de codificação de subpartição intra | |
| BR122024000709A2 (pt) | Codificador, decodificador e métodos correspondentes sobre sinalização de sintaxe de alto nível | |
| BR122024001393A2 (pt) | Codificador, decodificador e métodos correspondentes para sinalização de subimagem em conjunto de parâmetros de sequência | |
| BR122024001285A2 (pt) | Método de filtragem de um valor de amostra de uma imagem, aparelho de codificação de vídeo, codificador e meio legível por computador não transitório | |
| BR112022005469B1 (pt) | Método de decodificar um fluxo de bits de vídeo codificado, método de codificar um fluxo de bits de vídeo codificado, dispositivo de decodificação, dispositivo de codificação e meio legível por computador não transitório |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B154 | Notification of filing of divisional application [chapter 15.50 patent gazette] |
Free format text: O PEDIDO FOI DIVIDIDO NO BR122023021072-7 PROTOCOLO 870230090038 EM 10/10/2023 15:54.O PEDIDO FOI DIVIDIDO NO BR122023021074-3 PROTOCOLO 870230090058 EM 10/10/2023 16:12. |