BR112020019125A2 - Aparelho e método de processamento de imagem. - Google Patents
Aparelho e método de processamento de imagem. Download PDFInfo
- Publication number
- BR112020019125A2 BR112020019125A2 BR112020019125-6A BR112020019125A BR112020019125A2 BR 112020019125 A2 BR112020019125 A2 BR 112020019125A2 BR 112020019125 A BR112020019125 A BR 112020019125A BR 112020019125 A2 BR112020019125 A2 BR 112020019125A2
- Authority
- BR
- Brazil
- Prior art keywords
- filter
- color difference
- block
- condition
- unit
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims description 117
- 230000008569 process Effects 0.000 claims description 104
- 230000009466 transformation Effects 0.000 claims description 57
- 238000013139 quantization Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 description 48
- 238000005516 engineering process Methods 0.000 description 23
- 238000009825 accumulation Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 101100152598 Arabidopsis thaliana CYP73A5 gene Proteins 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 101100219315 Arabidopsis thaliana CYP83A1 gene Proteins 0.000 description 4
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 description 4
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 description 4
- 101100269674 Mus musculus Alyref2 gene Proteins 0.000 description 4
- 101100140580 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) REF2 gene Proteins 0.000 description 4
- 102100026134 Tissue factor pathway inhibitor 2 Human genes 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- LDXJRKWFNNFDSA-UHFFFAOYSA-N 2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound C1CN(CC2=NNN=C21)CC(=O)N3CCN(CC3)C4=CN=C(N=C4)NCC5=CC(=CC=C5)OC(F)(F)F LDXJRKWFNNFDSA-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
[problema] prover um dispositivo de processamento de imagem e um método de processamento de imagem. [solução] um dispositivo de processamento de imagem que compreende: uma unidade de decodificação que decodifica um fluxo contínuo codificado e gera uma imagem decodificada; uma unidade de determinação que determina se um filtro de desbloqueio para os componentes de diferença de cor da imagem decodificada precisa ou não ser aplicado em um contorno de bloco da imagem decodificada com base na intensidade do contorno calculada usando os parâmetros de diferença de cor relacionados às diferenças de cor; e uma unidade de filtragem que aplica o filtro de desbloqueio nos componentes de diferença de cor dos pixels posicionados na vizinhança do contorno de bloco com base nos resultados que determinam se o filtro de desbloqueio precisa ser aplicado ou não.
Description
1 / 63
APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM Campo Técnico
[001] A presente descrição se refere a um aparelho de processamento de imagem e a um método de processamento de imagem. Fundamentos da Invenção
[002] Em H.265/HEVC, que é uma das especificações de padrão de um sistema de codificação de vídeo, um filtro de desbloqueio é aplicado em um contorno de bloco de uma imagem decodificada para impedir a degradação da qualidade da imagem devido à distorção de bloco que ocorre no momento da codificação. Em H.265/HEVC, um filtro de desbloqueio aplicável em um componente de luminância inclui dois tipos de filtros, tais como um filtro fraco e um filtro forte, enquanto que um filtro de desbloqueio aplicável em componentes de diferença de cor inclui apenas um único tipo de um filtro, tal como o filtro fraco.
[003] Além do mais, para melhorar adicionalmente uma eficiência de codificação, se comparado com H.265/HEVC, Joint Video Experts Team (JVET), que é uma organização em conjunto de padrões de ITU-T e ISO/IEC, está atualmente promovendo a padronização da operação na Futura Codificação de Vídeo (FVC) que é um sistema de codificação de vídeo da próxima geração (por exemplo, veja Literatura Não Patentária 1).
[004] Quanto à padronização da operação em FVC, na Literatura Não Patentária 2 descrita a seguir, uma técnica de mudança do filtro de desbloqueio aplicável nos componentes de diferença de cor em dois tipos de filtros similarmente ao filtro de desbloqueio aplicável no componente de luminância e que permite que o filtro forte seja aplicado até mesmo nos componentes de diferença de cor foi proposta. Lista de Citação Literatura Não Patentária
[005] Literatura Não Patentária 1: J. Chen, E. Alshina, G. J. Sullivan,
2 / 63 J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model (JEM7)”, JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13 a 21 de julho de 2017 Literatura Não Patentária 2: Seung-Hwan Kim, Jie Zhao, Misra Kiran and Andrew Segall, “Improvement of chroma deblocking filter”, JVET-D0108, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15 a 21 de outubro de 2016 Sumário da Invenção Problema Técnico
[006] A necessidade de aplicação do filtro de desbloqueio supradescrito é determinada usando a intensidade de contorno do contorno de bloco e a intensidade de contorno do contorno de bloco é calculada com base na informação sobre o componente de luminância sem usar a informação sobre os componentes de diferença de cor. Entretanto, se a necessidade de aplicação do filtro de desbloqueio nos componentes de diferença de cor de uma imagem decodificada for determinada usando a intensidade do contorno que é identificada com base na informação sobre o componente de luminância, pode ser difícil aplicar apropriadamente o filtro de desbloqueio e a distorção de bloco pode permanecer em alguns casos.
[007] Portanto, na presente descrição, um sistema capaz de aplicar mais apropriadamente o filtro de desbloqueio nos componentes de diferença de cor da imagem decodificada é proposto. Solução para o Problema
[008] De acordo com a descrição, um aparelho de processamento de imagem é provido. O aparelho de processamento de imagem inclui uma unidade de decodificação configurada para gerar uma imagem decodificada pela decodificação de um fluxo contínuo codificado, uma unidade de
3 / 63 determinação configurada para adotar um contorno de bloco da imagem decodificada como um alvo e determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor e uma unidade de filtragem configurada para aplicar um filtro de desbloqueio em componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio.
[009] Além do mais, de acordo com a descrição, um método de processamento de imagem é provido. O método de processamento de imagem inclui gerar uma imagem decodificada pela decodificação de um fluxo contínuo codificado, adotar um contorno de bloco da imagem decodificada como um alvo, determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor e aplicar um filtro de desbloqueio nos componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio.
[0010] Além do mais, de acordo com a descrição, um aparelho de processamento de imagem é provido. O aparelho de processamento de imagem inclui uma unidade de determinação configurada para adotar, como um alvo, um contorno de bloco de uma imagem decodificada que é localmente decodificada e determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor,
4 / 63 uma unidade de filtragem configurada para aplicar um filtro de desbloqueio em componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio, e uma unidade de codificação configurada para codificar uma imagem usando a imagem decodificada na qual o filtro de desbloqueio é aplicado pela unidade de filtragem.
[0011] Além do mais, de acordo com a descrição, um método de processamento de imagem é provido. O método de processamento de imagem inclui adotar, como um alvo, um contorno de bloco de uma imagem decodificada que é localmente decodificada, determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor, aplicar um filtro de desbloqueio nos componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio e codificar uma imagem usando a imagem decodificada na qual o filtro de desbloqueio é aplicado. Efeitos Vantajosos da Invenção
[0012] Da forma supradescrita, de acordo com a presente descrição, é possível aplicar mais apropriadamente um filtro de desbloqueio nos componentes de diferença de cor de uma imagem decodificada.
[0013] Adicionalmente, os efeitos supradescritos não são limitantes. Isto é, com os, ou no lugar dos efeitos expostos, qualquer um dos efeitos descritos na presente especificação ou outros efeitos que podem ser reconhecidos a partir da presente especificação podem ser alcançados. Breve Descrição dos Desenhos
[0014] A Figura 1 é uma tabela para explicar o cálculo de bS em
5 / 63 HEVC.
[0015] A Figura 2 é uma tabela para explicar o cálculo de bS na Literatura Não Patentária 2.
[0016] A Figura 3 é um diagrama explicativo que ilustra um exemplo dos pixels dos componentes de diferença de cor (componentes U e componentes V) em dois blocos Bp e Bq que são adjacentes uns aos outros através de um contorno de bloco vertical BB.
[0017] A Figura 4 é uma tabela para explicar o cálculo de bS de acordo com uma modalidade da presente descrição.
[0018] A Figura 5 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho de codificação de imagem 10 como um modo de um aparelho de processamento de imagem de acordo com uma modalidade.
[0019] A Figura 6 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho de decodificação de imagem 60 como um modo do aparelho de processamento de imagem de acordo com uma modalidade.
[0020] A Figura 7 é um diagrama de blocos que ilustra um exemplo de uma configuração com detalhes de um filtro de desbloqueio 26 de acordo com uma modalidade.
[0021] A Figura 8 é uma tabela que ilustra um exemplo de bS calculado por uma unidade de cálculo da intensidade do contorno 261.
[0022] A Figura 9 é um fluxograma que ilustra um exemplo do fluxo de um processo realizado por um filtro de desbloqueio 26 de acordo com uma modalidade.
[0023] A Figura 10 é um fluxograma para explicar o fluxo de um processo de cálculo da intensidade do contorno realizado pela unidade de cálculo da intensidade do contorno 261.
[0024] A Figura 11 é uma tabela que ilustra uma modificação de bS
6 / 63 calculada pela unidade de cálculo da intensidade do contorno 261.
[0025] A Figura 12A é uma primeira metade de um fluxograma para explicar um exemplo do fluxo de um processo de cálculo da intensidade do contorno correspondente à modificação ilustrada na Figura 11.
[0026] A Figura 12B é uma segunda metade do fluxograma para explicar o exemplo do fluxo do processo de cálculo da intensidade do contorno correspondente à modificação ilustrada na Figura 11.
[0027] A Figura 13 é um diagrama explicativo que ilustra um exemplo de configuração de hardware.
[0028] A Figura 14 é uma tabela que ilustra uma outra modificação de cálculo de bS. Descrição das Modalidades
[0029] As modalidades preferidas da presente descrição serão descritas com detalhes a seguir em relação aos desenhos anexos. Nesta especificação e nos desenhos, os elementos estruturais que têm, substancialmente, as mesmas funções e configurações serão denotados pelos mesmos símbolos de referência e a explicação repetida dos elementos estruturais será omitida.
[0030] Adicionalmente, o escopo descrito na presente especificação não é limitado aos conteúdos das modalidades e os conteúdos das Literaturas de Referência REF1 a REF3 a seguir que são conhecidos no momento do pedido da presente especificação são aqui incorporados pela referência. Isto é, os conteúdos descritos nas Literaturas de Referência REF1 a REF3 a seguir são usados como uma base para a determinação nas exigências de suporte. Por exemplo, mesmo se a Estrutura de Bloco de Árvore Quádrupla descrita na Literatura de Referência REF2 e a Estrutura de Bloco de Árvore Quádrupla Mais Árvore Binária (QTBT) descrita na Literatura de Referência REF3 não forem diretamente definidas nas descrições detalhadas da invenção, as mesmas estão no escopo da presente descrição e satisfazem as exigências de
7 / 63 suporte para as reivindicações anexas. Além do mais, o mesmo se aplica, por exemplo, em termos técnicos, tais como Análise sintática, Sintaxe e Semântica, e, mesmo se os termos técnicos não forem diretamente definidos nas descrições detalhadas da invenção, os mesmos estão no escopo da presente descrição e satisfazem as exigências de suporte para as reivindicações anexas.
[0031] REF1: Recomendação ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services“, abril de 2017 REF2: Recomendação ITU-T H.265, (12/2016) “High efficiency video coding”, dezembro de 2016 REF3: J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model (JEM7)”, JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, Itália, 13a 21 de julho de 2017.
[0032] Além do mais, a seguir, um sinal no formato YUV420 será descrito como um exemplo, a menos que de outra forma especificada, e um componente de luminância pode ser representado como um componente Y e os componentes de diferença de cor podem ser representados como um componente U e um componente V. Entretanto, a tecnologia descrita a seguir é similarmente aplicável em sinais em outros formatos, tais como o formato YUV444 e o formato YUV422. Além do mais, as expressões do componente de luminância e dos componentes de diferença de cor variam, dependendo de sinais alvos, e a tecnologia descrita a seguir é similarmente aplicável em um sinal no qual o componente de luminância e os componentes de diferença de cor são representados por YCbCr, por exemplo.
[0033] Além do mais, os termos usados na presente especificação são definidos como segue.
[0034] Um parâmetro relacionado à diferença de cor indica
8 / 63 parâmetros gerais relacionados a uma diferença de cor. Por exemplo, o parâmetro relacionado à diferença de cor pode incluir a informação relacionada a coeficientes de transformação de diferentes componentes de cor, tais como os coeficientes de transformação dos componentes de diferença de cor incluídos em cada uma das Unidades de Transformação (TUs) ou um indicador que indica a presença ou a ausência de coeficientes significativos (coeficientes de transformação não zero) dos componentes de diferença de cor em cada uma das TUs. Entretanto, o parâmetro relacionado à diferença de cor não é limitado a este exemplo, e pode compreender vários parâmetros relacionados a uma diferença de cor.
[0035] A necessidade da aplicação do filtro de desbloqueio indica se aplica-se um filtro de desbloqueio. Por exemplo, a determinação da necessidade da aplicação do filtro de desbloqueio indica a determinação sobre se aplica-se o filtro de desbloqueio. Além do mais, um resultado da determinação da necessidade da aplicação do filtro de desbloqueio é um resultado da determinação sobre se aplica-se o filtro de desbloqueio e o resultado da determinação pode ser a informação que indica a necessidade de aplicação ou a desnecessidade de aplicação, por exemplo.
[0036] A determinação de bloco grande indica a determinação sobre se um bloco alvo de determinação é um bloco grande. Na presente especificação, o bloco alvo de determinação pode compreender blocos que ensanduicham um contorno de bloco, como será descrito posteriormente. Adicionalmente, a determinação de bloco grande pode ser realizada pela comparação entre um tamanho de um bloco (tamanho de bloco) e um limite pré-determinado. Neste ínterim, um caso no qual a determinação de bloco grande é realizada e os detalhes da determinação de bloco grande serão descritos a seguir.
[0037] Além do mais, a seguir, a explicação será dada na seguinte ordem:
9 / 63
1. Visão geral 1-1. Filtro de desbloqueio existente 1-2. Visão geral da tecnologia de acordo com a presente descrição
2. Visão geral de aparelhos 2-1. Aparelho de codificação de imagem 2-2. Aparelho de decodificação de imagem
3. Filtro de desbloqueio 3-1. Exemplo de configuração 3-2. Fluxo dos processos 3-3. Modificação
4. Exemplo de configuração de hardware
5. Conclusão <1. Visão geral> [1-1. Técnica existente]
[0038] Um processo relacionado a um filtro de desbloqueio em um sistema de codificação de imagem existente, tal como HEVC, inclui um processo de determinação da necessidade da aplicação, um processo de determinação da intensidade do filtro e um processo de filtragem (processo de aplicação de filtro). A seguir, um processo relacionado ao filtro de desbloqueio existente será descrito pelo uso de um filtro de desbloqueio em HEVC como um exemplo. Neste ínterim, a seguir, um filtro de desbloqueio para os componentes de diferença de cor de uma imagem decodificada (incluindo uma imagem que é localmente decodificada no momento da codificação) será principalmente explicado e a explicação sobre um filtro de desbloqueio para um componente de luminância da imagem decodificada será omitida apropriadamente.
[0039] Como o processo relacionado ao filtro de desbloqueio, o processo de determinação da necessidade da aplicação é primeiramente
10 / 63 realizado. O processo de determinação da necessidade da aplicação é um processo para determinar se aplica-se um filtro de desbloqueio em um contorno de bloco de uma imagem decodificada. Neste ínterim, em HEVC, o contorno de bloco é identificado com base em uma estrutura de bloco da Estrutura de Bloco de Árvore Quádrupla descrita na Literatura de Referência REF2. Especificamente, uma borda que satisfaz uma condição da borda é pelo menos um dentre um contorno da Unidade de Transformação (TS) e um contorno da Previsão Unidade (PU) dentre as bordas de um bloco de pixels 8 x 8 (grade da amostra), que é uma unidade de bloco mínima, é identificada como o contorno de bloco em HEVC.
[0040] O processo de determinação da necessidade da aplicação é realizado com base na intensidade do contorno (a seguir, também referida como bS) do contorno de bloco. Em HEVC, bS é calculado a cada quatro linhas do contorno de bloco identificado. Se o contorno de bloco for um contorno vertical, as linhas supradescritas correspondem às linhas que são perpendiculares ao contorno vertical. Adicionalmente, se o contorno de bloco for um contorno horizontal, as linhas supradescritas correspondem às colunas que são perpendiculares ao contorno horizontal.
[0041] A Figura 1 é uma tabela para explicar o cálculo de bS em HEVC. Da forma ilustrada na Figura 1, em HEVC, bS é calculado com base em se uma condição A, que é uma condição sobre intraprevisão, uma condição B1, que é uma condição sobre um coeficiente significativo de um componente Y, e uma condição B2, que é uma condição sobre um vetor de movimento (MV) e uma Figura de referência, são verdadeiras ou falsas (satisfeitas ou não satisfeitas). Em relação à Figura 1, se a condição A for verdadeira, bS é definido em 2. Adicionalmente, se a condição A for falsa e pelo menos uma da condição B1 e da condição B2 for verdadeiro, bS é definido em 1. Além do mais, se todas da condição A, da condição B1 e da condição B2 forem falsas, bS é definido em 0. Neste ínterim, a condição A, a
11 / 63 condição B1 e a condição B2 ilustradas na Figura 1 são condições descritas a seguir: * Condição A: um modo de codificação de pelo menos uma das Unidades de Codificação (CUs) que inclui pixels de uma linha mais superior dentre as linhas alvos de cálculo de bS e que ensanduicham o contorno de bloco é definido em um modo de intraprevisão; * Condição B1: o contorno de bloco é um contorno de TU e um coeficiente significativo de um componente Y está presente em pelo menos uma de duas TUs que inclui pixels de uma linha mais superior dentre as linhas alvos de cálculo de bS e que ensanduicham o contorno de bloco; * Condição B2: um valor absoluto de uma diferença entre MVs é igual a ou maior do que um pixel, uma Figura de referência para a compensação de movimento é diferente, ou o número de MVs é diferente entre duas CUs que incluem os pixels de uma linha mais superior dentre as linhas alvos de cálculo de bS e que ensanduicham o contorno de bloco.
[0042] Além do mais, em HEVC, um filtro de desbloqueio para um componente de luminância (componente Y) de uma imagem decodificada é aplicável em um contorno de bloco para o qual bS que é definido da forma supradescrita é definido em 1. Portanto, em HEVC, um resultado de determinação da necessidade de aplicação do filtro de desbloqueio no componente de luminância da imagem decodificada pode variar dependendo se a condição B1 ou a condição B2 é satisfeita.
[0043] Neste ínterim, em HEVC, um filtro forte com grande intensidade do filtro e um filtro fraco com pequena intensidade do filtro são preparados como filtros de desbloqueio para o componente de luminância da imagem decodificada. Se bS for igual a ou maior do que 1, um processo relacionado ao filtro de desbloqueio para o componente de luminância da imagem decodificada é realizado de maneira tal que um processo de determinação da necessidade da aplicação adicional com base em uma
12 / 63 condição adicional seja realizado e, posteriormente, um processo de determinação da intensidade do filtro e um processo de filtragem sejam realizados. Os detalhes dos processos expostos são descritos na Literatura de Referência REF2 exposta e, portanto, a explicação dos processos será aqui omitida.
[0044] Ao contrário, em HEVC, um filtro de desbloqueio para os componentes de diferença de cor (componente U e componente V) da imagem decodificada é aplicado apenas em um contorno de bloco para o qual bS é definido em 2. Portanto, da forma ilustrada na Figura 1, em HEVC, se a condição B1 ou a condição B2 é satisfeita não tem um impacto na determinação da necessidade de aplicação do filtro de desbloqueio nos componentes de diferença de cor da imagem decodificada.
[0045] Adicionalmente, em HEVC, apenas o filtro fraco é aplicável, como o filtro de desbloqueio, nos componentes de diferença de cor da imagem decodificada. Portanto, o processo de determinação da intensidade do filtro não é necessário para os componentes de diferença de cor da imagem decodificada e, se bS for definido em 2, o filtro fraco é aplicado nos componentes de diferença de cor da imagem decodificada.
[0046] Incidentemente, da forma descrita na Literatura de Referência REF3 exposta, na segmentação de bloco usando a Estrutura de Bloco QTBT de FVC, um bloco com um tamanho maior pode ser selecionado, se comparado com a segmentação de bloco usando a Estrutura de Bloco de Árvore Quádrupla de HEVC. Se um tamanho de bloco for grande em uma região uniforme (região na qual uma mudança em um valor de pixel na região é pequena), é provável que a distorção de bloco ocorra. Portanto, em FVS em que um bloco com um tamanho maior pode ser selecionado, se apenas o filtro fraco for adotado como o filtro de desbloqueio que é aplicável nos componentes de diferença de cor da imagem decodificada, similarmente a HEVC, a distorção de bloco perceptível pode permanecer nos componentes
13 / 63 de diferença de cor. Em vista das circunstâncias expostas, é demandado melhorar o filtro de desbloqueio para os componentes de diferença de cor da imagem decodificada.
[0047] Por exemplo, a Literatura Não Patentária 2 propõe uma técnica de mudança do filtro de desbloqueio aplicável nos componentes de diferença de cor para dois tipos de filtros, similarmente ao filtro de desbloqueio aplicável no componente de luminância, e permissão que o filtro forte seja aplicado até mesmo nos componentes de diferença de cor. Adicionalmente, a Literatura Não Patentária 2 descreve que o filtro de desbloqueio é aplicável nos componentes de diferença de cor da imagem decodificada não apenas quando bS for definido em 2, mas, também, quando bS for definido em 1.
[0048] A Figura 2 é uma tabela para explicar o cálculo de bS na Literatura Não Patentária 2. Da forma ilustrada na Figura 2, na Literatura Não Patentária 2, similarmente ao exemplo de HEVC ilustrado na Figura 2, bS é calculado com base na condição A, na condição B1 e na condição B2, como exposto. Entretanto, como exposto, na Literatura Não Patentária 2, o filtro de desbloqueio é aplicável nos componentes de diferença de cor da imagem decodificada não apenas quando bS for definido em 2, mas, também, quando bS for definido em 1. Portanto, da forma ilustrada na Figura 2, na Literatura Não Patentária 2, um resultado de determinação da necessidade de aplicação do filtro de desbloqueio nos componentes de diferença de cor (componente U e componente V) da imagem decodificada pode variar dependendo se a condição B1 ou a condição B2 é satisfeita.
[0049] A seguir, o processo de determinação da necessidade da aplicação, o processo de determinação da intensidade do filtro e o processo de filtragem relacionado ao filtro de desbloqueio que é aplicável nos componentes de diferença de cor da imagem decodificada na Literatura Não Patentária 2 serão descritos em relação à Figura 3. A Figura 3 é um diagrama explicativo que ilustra um exemplo dos pixels dos componentes de diferença
14 / 63 de cor (componentes U e componentes V) em dois blocos Bp e Bq que são adjacentes um ao outro através de um contorno de bloco vertical BB. Neste ínterim, explicação será dada a seguir pelo uso do contorno vertical como um exemplo, mas as matérias explicadas a seguir são, certamente, similarmente aplicáveis no contorno horizontal. Adicionalmente, a Figura 3 ilustra um exemplo em que cada um do bloco Bp e do bloco Bq dos componentes de diferença de cor tem um tamanho de 4 x 4, mas as matérias explicadas a seguir são similarmente aplicáveis em blocos com diferentes tamanhos.
[0050] No exemplo na Figura 3, os pixels dos componentes de diferença de cor no bloco Bp são denotados por símbolos pi,j. O i é um índice de uma coluna e o j é um índice de uma linha. O índice i da coluna é numerado em 0, 1, 2, 3 nesta ordem a partir da coluna mais próxima do contorno de bloco BB (da esquerda para a direita na Figura). O índice j da linha é numerado em 0, 1, 2, 3 do topo até a base. Ao contrário, os pixels dos componentes de diferença de cor no bloco Bq são denotados por símbolos qk,j. O k é um índice de uma coluna e o j é um índice de uma linha. O índice k da coluna é numerado em 0, 1, 2, 3 a partir da coluna mais próxima do contorno de bloco BB (da esquerda para a direita na Figura).
[0051] Da forma supradescrita em relação à Figura 2, depois que o bS for calculado, o processo de determinação da necessidade da aplicação e o processo de determinação da intensidade do filtro são realizados pelo uso de três condições, da forma descrita a seguir. Estes processos são realizados a cada duas linhas dos componentes de diferença de cor no formato YUV420. Por exemplo, no exemplo ilustrado na Figura 3, a determinação sobre uma linha L11 e uma linha L12 e a determinação sobre uma linha L21 e uma linha L22 são realizadas separadamente. Neste ínterim, a determinação para cada uma das linhas é realizada usando os pixels de uma linha alvo de determinação. A seguir, o processo de determinação da necessidade da aplicação, o processo de determinação da intensidade do filtro e o processo de
15 / 63 filtragem na linha L11 e na linha L12 serão descritos como um exemplo.
[0052] Primeiro, no processo de determinação da necessidade da aplicação, se uma condição C91 e uma condição C92 a seguir são verdadeiras é determinado em sequência.
[0053] * Condição C91: (bS==2||bS==1&&(block_width>16&&block_heigth>16))) * Condição C92: d < beta
[0054] Neste ínterim, na condição C91 exposta, block_width e block_heigth representam, respectivamente, um tamanho horizontal e um tamanho vertical de um bloco (por exemplo, CU) relacionado a um contorno de bloco alvo de determinação, da forma ilustrada na Figura 3.
[0055] Adicionalmente, um beta variável na condição C92 exposta é um limite de determinação de borda e um valor inicial do beta variável é dado de acordo com um parâmetro de quantização. Além do mais, um valor do beta variável é um parâmetro em um cabeçalho de fatia e pode ser designado por um usuário. Além do mais, uma variável d na condição C92 exposta é calculada pelas Equações (1) até (7) a seguir. dp0 = Abs(p2,0-2*p1,0+p0,0) (1) dp1 = Abs(p2,1-2*p1,1+p0,1) (2) dq0 = Abs(q2,0-2*q1,0+q0,0) (3) dq1 = Abs(q2,1-2*q1,1+q0,1) (4) dpq0 = dp0+dq0 (5) dpq1 = dp1+dq1 (6) d = dpq0+dpq1 (7)
[0056] Neste ínterim, a condição C92 exposta é a mesma condição que é usada no processo de determinação da necessidade da aplicação no filtro de desbloqueio aplicado no componente de luminância em HEVC (a seguir, referida como uma condição para um componente de luminância), exceto em que as linhas que são referidas são diferentes. Na condição para o
16 / 63 componente de luminância, os pixels na primeira linha e na quarta linha são referidos e a determinação é realizada a cada quatro linhas. Ao contrário, no formato YUV420, uma densidade de pixel dos componentes de diferença de cor (componentes U e componentes V) é uma metade de uma densidade de pixel dos componentes de luminância e, portanto, na condição C92 exposta, os pixels na linha L11 que é a primeira linha e os pixels na linha L12 que é a segunda linha são referidos e a determinação é realizada a cada duas linhas.
[0057] Se pelo menos uma da condição C91 e da condição C92 expostas for falsa, o filtro de desbloqueio não é aplicado nos componentes de diferença de cor da imagem decodificada. Ao contrário, se tanto a condição C91 quanto a condição C92 expostas forem verdadeiras, o processo prossegue para o processo de determinação da intensidade do filtro.
[0058] No processo de determinação da intensidade do filtro, é determinado se uma condição C93 a seguir é verdadeira a fim de determinar qual do filtro forte e do filtro fraco deve ser aplicado. * Condição C93: (block_width>16&&block_heigth>16)
[0059] Neste ínterim, na condição C91 exposta, block_width e block_heigth, respectivamente, representam um tamanho horizontal e um tamanho vertical de um bloco relacionado a um contorno de bloco alvo de determinação, similarmente a block_width e block_heigth na condição C91.
[0060] Se a condição C93 exposta for verdadeira, o filtro forte é aplicado nos componentes de diferença de cor da imagem decodificada no contorno de bloco alvo e se a condição C93 exposta for falsa, o filtro fraco é aplicado nos componentes de diferença de cor da imagem decodificada no contorno de bloco alvo.
[0061] O filtro forte que é aplicado nos componentes de diferença de cor na Literatura Não Patentária 2 é o mesmo filtro forte que é aplicado nos componentes de luminância em HEVC e representado pelas Equações (8) até (13) a seguir.
17 / 63 p0′=Clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3) (8) p1′=Clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2) (9) p2′=Clip3(p2-2*tc,p2+2*tc,(2*p3+3*p2+p1+p0+q0+4)>>3) (10) q0′=Clip3(q0-2*tc,q0+2*tc,(p1+2p0+2q0+2q1+q2+4)>>3) (11) q1′=Clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2) (12) q2′=Clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3) (13)
[0062] Neste ínterim, nas Equações (8) até (13) expostas, pi e qk representam os valores de pixel dos componentes de diferença de cor antes da aplicação do filtro de desbloqueio. Adicionalmente, pi′ e qk′ representam os valores de pixel dos componentes de diferença de cor depois da aplicação do filtro de desbloqueio. Aqui, i e k representam, respectivamente, os índices das colunas no bloco Bp e no bloco Bq e os índices das linhas são omitidos nas Equações (8) até (13). Além do mais, tC é um parâmetro que é dado de acordo com um parâmetro de quantização. Além do mais, Clip3(a,b,c) representa um processo de recorte para recortar um valor c em uma faixa de a ≤ c ≤ b.
[0063] O filtro fraco que é aplicado nos componentes de diferença de cor na Literatura Não Patentária 2 é o mesmo filtro fraco que é aplicado nos componentes de diferença de cor em HEVC e, portanto, a explicação do filtro fraco será aqui omitida.
[0064] Assim, os processos relacionados ao filtro de desbloqueio que é aplicável nos componentes de diferença de cor da imagem decodificada na Literatura Não Patentária 2 foram supradescritos. De acordo com a técnica exposta, é possível aplicar o filtro forte não apenas no componente de luminância, mas, também, nos componentes de diferença de cor de acordo com condições.
[0065] Entretanto, da forma supradescrita em relação à Figura 2, a condição B1, que é usada para o cálculo de bS na Literatura Não Patentária 2 depende da presença ou da ausência do coeficiente significativo do componente de luminância (componente Y) similarmente ao caso de HEVC e
18 / 63 a informação sobre os componentes de diferença de cor (componente U e componente V) não é usada mesmo em outras condições. Entretanto, um padrão espacial do componente de luminância e um padrão espacial de cada um dos componentes de diferença de cor nem sempre coincidem um com o outro. Portanto, se a necessidade de aplicação do filtro de desbloqueio nos componentes de diferença de cor for determinada de acordo com a condição com base na informação sobre o componente de luminância, pode haver um caso no qual o filtro de desbloqueio não é apropriadamente aplicado mesmo embora a distorção de bloco tenha ocorrido e a distorção de bloco possa permanecer.
[0066] Adicionalmente, se bS for definido em 1, para fazer com que a condição C91 usada para o processo de determinação da necessidade da aplicação na Literatura Não Patentária 2 seja verdadeira, tanto o tamanho horizontal quanto o tamanho vertical do bloco relacionado ao contorno de bloco alvo de determinação precisam ser definidos em 16 ou maior. Entretanto, da forma descrita na Literatura de Referência REF3, uma forma do bloco (por exemplo, CU) em FVC pode não apenas ser um quadrado, mas, também, ser um retângulo que não é um quadrado. Além do mais, é provável que a distorção de bloco ocorra dependendo de um tamanho em uma direção perpendicular ao contorno de bloco, em vez de um tamanho na mesma direção do contorno de bloco. Portanto, no processo de determinação da necessidade da aplicação na Literatura Não Patentária 2, pode haver um caso no qual o filtro de desbloqueio não é apropriadamente aplicado e a distorção de bloco permanece dependendo da forma do bloco.
[0067] Além do mais, o filtro forte na Literatura Não Patentária 2 é o mesmo filtro forte aplicado em HEVC. Ao contrário, como exposto, um bloco com um tamanho maior pode ser selecionado em FVC, se comparado com um bloco selecionado na segmentação de bloco em HEVC e, portanto, mesmo se o filtro forte na Literatura Não Patentária 2 for aplicado, pode haver um caso
19 / 63 no qual a distorção de bloco não é completamente reduzida. [1-2. Visão geral de uma modalidade da presente descrição]
[0068] Assim, uma modalidade da presente descrição foi concebida com um foco nas circunstâncias, como exposto. Um aparelho de processamento de imagem de acordo com uma modalidade da presente descrição realiza um processo de determinação da necessidade da aplicação de determinação da necessidade de aplicação de um filtro de desbloqueio nos componentes de diferença de cor de uma imagem decodificada com base na intensidade do contorno (bS) que é calculada usando um parâmetro relacionado à diferença de cor que é relacionado a uma diferença de cor da imagem decodificada. A seguir, uma visão geral de uma modalidade da presente descrição será descrita.
[0069] A Figura 4 é uma tabela para explicar o cálculo de bS de acordo com uma modalidade. Da forma ilustrada na Figura 4, o cálculo é realizado com base em uma condição A, que é uma condição sobre intraprevisão, uma condição B1-Y, que é uma condição sobre um coeficiente significativo de um componente Y, uma condição B1-U, que é uma condição sobre um coeficiente significativo de um componente U, uma condição B1-V, que é uma condição sobre um coeficiente significativo de um componente V, e uma condição B2, que é uma condição sobre um MV e uma Figura de referência.
[0070] Em relação à Figura 4, se a condição A for verdadeira, bS é definido em 16. Adicionalmente, se a condição A for falsa e a condição B2 for verdadeira, bS é definido em 1. Além do mais, se a condição A e a condição B2 forem falsas e se pelo menos uma da condição B1-Y, da condição B1-U e da condição B1-V for verdadeira, bS é definido em um valor entre 2 e 14. Além do mais, se todas da condição A, da condição B1-Y, da condição B1-U, da condição B1-V e da condição B2 forem falsas, bS é definido em 0. Neste ínterim, a condição A, a condição B1-Y e a condição B2
20 / 63 ilustradas na Figura 4 são iguais à condição A, à condição B1, à condição B2 que são explicadas anteriormente em relação à Figura 1. Além do mais, um método de cálculo de bS de acordo com uma modalidade será descrito com detalhes a seguir.
[0071] Além do mais, a condição B1-U e a condição B1-V ilustradas na Figura 4 correspondem às condições que são usadas para determinar a presença ou a ausência do coeficiente significativo do componente U e a presença ou a ausência do coeficiente significativo de V, em vez do coeficiente significativo do componente Y usado na condição B1-Y e representado como segue. Neste ínterim, se a condição B1-U e a condição B1- V a seguir são verdadeiras ou falsas pode ser determinado com base em um indicador (um exemplo do parâmetro relacionado à diferença de cor) que indica a presença ou a ausência dos coeficientes significativos dos componentes de diferença de cor em cada uma das TUs.
[0072] * Condição B1-U: o contorno de bloco é um contorno de TU e o coeficiente significativo do componente U está presente em pelo menos uma de duas TUs que inclui os pixels de uma linha mais superior dentre as linhas alvos de cálculo de bS e que ensanduicham o contorno de bloco; * Condição B1-V: o contorno de bloco é um contorno de TU e o coeficiente significativo do componente V está presente em pelo menos uma de duas TUs que inclui os pixels de uma linha mais superior dentre as linhas alvos de cálculo de bS e que ensanduicham o contorno de bloco.
[0073] Na presente modalidade, a determinação da necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada é realizada com base em bS, que é calculado usando a condição B1-U e a condição B1-V relacionadas à diferença de cor, como exposto. Com esta configuração, é possível aplicar mais apropriadamente o filtro de desbloqueio nos componentes de diferença de cor.
[0074] Além do mais, na presente modalidade, como será descrito
21 / 63 posteriormente, a determinação da necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada é determinada adicionalmente com base em um tamanho em uma direção perpendicular ao contorno de bloco. Com esta configuração, é possível aplicar mais apropriadamente o filtro de desbloqueio mesmo se a forma do bloco for um retângulo que não é um quadrado.
[0075] Além do mais, na presente modalidade, como será descrito posteriormente, um filtro forte com intensidade maior (com características passa baixa mais fortes) do que o filtro forte descrito na Literatura Não Patentária 2 pode ser aplicado nos componentes de diferença de cor da imagem decodificada. Além do mais, para aplicar mais apropriadamente o filtro forte, como exposto, na presente modalidade, a intensidade do filtro é determinada por um método diferente de um método usado no processo de determinação da intensidade do filtro descrito na Literatura Não Patentária 2. Com esta configuração, é possível reduzir adicionalmente a distorção de bloco.
[0076] Assim, a visão geral de uma modalidade da presente descrição foi supradescrita. A seguir, as configurações e a operação da presente modalidade para realizar os efeitos supradescritos serão sequencialmente descritas com detalhes. <2. Configuração esquemática do aparelho>
[0077] Primeiro, uma configuração esquemática de um aparelho exemplar no qual a tecnologia descrita na presente especificação é aplicável será descrita em relação à Figura 5 e à Figura 6. A tecnologia descrita na presente especificação é aplicável, por exemplo, em um aparelho de codificação de imagem e em um aparelho de decodificação de imagem. [2-1. Aparelho de codificação de imagem]
[0078] A Figura 5 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho de codificação de imagem 10 como um
22 / 63 modo do aparelho de processamento de imagem de acordo com uma modalidade da presente descrição.
[0079] Em relação à Figura 5, o aparelho de codificação de imagem 10 inclui um armazenamento temporário de classificação 11, uma unidade de controle 12, uma unidade de subtração 13, uma unidade de transformação ortogonal 14, uma unidade de quantização 15, uma unidade de codificação invertível 16, um armazenamento temporário de acúmulo 17, uma unidade de quantização inversa 21, uma unidade de transformação ortogonal inversa 22, uma unidade de adição 23, um filtro em laço 24, um memória de quadro 30, um comutador 31, uma unidade de definição de modo 32, uma unidade de intraprevisão 40 e uma unidade de interprevisão 50.
[0080] O armazenamento temporário de classificação 11 classifica uma série de imagens que constituem um vídeo a ser codificado, de acordo com uma estrutura de Grupo de Figuras (GOP) relacionada a um processo de codificação. O armazenamento temporário de classificação 11 transmite a imagem classificada para a unidade de controle 12, a unidade de subtração 13, a unidade de intraprevisão 40 e a unidade de interprevisão 50.
[0081] A unidade de controle 12 segmenta uma imagem em blocos em uma unidade de processamento com base em um exterior ou um tamanho de bloco de uma unidade de processamento que é designada em antecipação. Através da segmentação de bloco realizada pela unidade de controle 12, uma CU da Estrutura de Bloco de Árvore Quádrupla ou da Estrutura de Bloco de Árvore Quádrupla Mais Árvore Binária (QTBT) pode ser formada como a unidade de processamento. Adicionalmente, a unidade de controle 12 determina um parâmetro relacionado ao processo de codificação com base, por exemplo, na Otimização de Distorção de Taxa (RDO). O parâmetro determinado é suprido para cada uma das unidades.
[0082] A unidade de subtração 13 calcula um erro de previsão que é uma diferença entre uma imagem inserida a partir do armazenamento
23 / 63 temporário de classificação 11 e uma imagem prevista e transmite o erro de previsão calculado para a unidade de transformação ortogonal 14.
[0083] A unidade de transformação ortogonal 14 realiza um processo de transformação ortogonal em cada um dentre um ou mais blocos de transformação (TUs) que são definidos em cada domínio. A transformação ortogonal neste caso pode ser, por exemplo, uma transformada discreta de cosseno ou uma transformada discreta de seno. Mais especificamente, a unidade de transformação ortogonal 14 transforma o erro de previsão inserido a partir da unidade de subtração 13 de um sinal de imagem em um domínio espacial para um coeficiente de transformação em um domínio de frequência para cada um dos blocos de transformação. Então, a unidade de transformação ortogonal 14 transmite o coeficiente de transformação para a unidade de quantização 15.
[0084] Além do mais, a unidade de transformação ortogonal 14 pode gerar um indicador que indica a presença ou a ausência de um coeficiente significativo em cada uma das TUs para cada um dos componentes (para cada um do componente Y, do componente U e do componente V) com base no coeficiente de transformação obtido através da transformação ortogonal e transmitir os indicadores para a unidade de codificação invertível 16 e o filtro em laço 24. Neste ínterim, o indicador que indica a presença ou a ausência do coeficiente significativo do componente U em cada uma das TUs e o indicador que indica a presença ou a ausência do coeficiente significativo do componente V em cada uma das TUs, que são gerados pela unidade de transformação ortogonal 14, são incluídos no parâmetro relacionado à diferença de cor.
[0085] O coeficiente de transformação que é inserido a partir da unidade de transformação ortogonal 14 e um sinal de controle de taxa que é obtido a partir de uma unidade de controle de taxa 18 a ser descrita a seguir são supridos para a unidade de quantização 15. A unidade de quantização 15
24 / 63 quantiza o coeficiente de transformação e transmite o coeficiente de transformação quantizado (a seguir, também referido como dados quantizados) para a unidade de codificação invertível 16 e a unidade de quantização inversa 21. Adicionalmente, a unidade de quantização 15 muda uma escala de quantização com base no sinal de controle de taxa obtido a partir da unidade de controle de taxa 18 e muda uma taxa de bits dos dados quantizados inseridos na unidade de codificação invertível 16.
[0086] A unidade de codificação invertível 16 codifica os dados quantizados inseridos a partir da unidade de quantização 15 e gera um fluxo contínuo codificado. Adicionalmente, a unidade de codificação invertível 16 codifica vários parâmetros que são referidos por um decodificador e insere os parâmetros codificados no fluxo contínuo codificado. Os parâmetros codificados pela unidade de codificação invertível 16 pode incluir o parâmetro determinado pela unidade de controle 12, como exposto.
[0087] Além do mais, os parâmetros codificados pela unidade de codificação invertível 16 podem incluir o parâmetro relacionado à diferença de cor. O parâmetro relacionado à diferença de cor codificado pela unidade de codificação invertível 16 inclui, por exemplo, o indicador que indica a presença ou a ausência do coeficiente significativo do componente U em cada uma das TUs e o indicador que indica a presença ou a ausência do coeficiente significativo do componente V em cada uma das TUs, que são inseridos a partir da unidade de transformação ortogonal 14, como exposto. A unidade de codificação invertível 16 transmite o fluxo contínuo codificado gerado para o armazenamento temporário de acúmulo 17.
[0088] O armazenamento temporário de acúmulo 17 acumula temporariamente o fluxo contínuo codificado inserido a partir da unidade de codificação invertível 16, pelo uso de uma mídia de armazenamento, tal como uma memória semicondutora. Então, o armazenamento temporário de acúmulo 17 transmite o fluxo contínuo codificado acumulado para uma
25 / 63 unidade de transmissão (por exemplo, uma interface de comunicação, uma interface de conexão para um dispositivo periférico ou congêneres) (não ilustrada) em uma taxa correspondente a uma largura de banda de um caminho de transmissão.
[0089] A unidade de controle de taxa 18 monitora um espaço livre do armazenamento temporário de acúmulo 17. Então, a unidade de controle de taxa 18 gera um sinal de controle de taxa de acordo com o espaço livre do armazenamento temporário de acúmulo 17 e transmite o sinal de controle de taxa gerado para a unidade de quantização 15. Por exemplo, se o espaço livre do armazenamento temporário de acúmulo 17 for pequeno, a unidade de controle de taxa 18 gera um sinal de controle de taxa para reduzir a taxa de bits dos dados quantizados. Adicionalmente, por exemplo, se o espaço livre do armazenamento temporário de acúmulo 17 for adequadamente grande, a unidade de controle de taxa 18 gera um sinal de controle de taxa para aumentar a taxa de bits dos dados quantizados.
[0090] A unidade de quantização inversa 21, a unidade de transformação ortogonal inversa 22 e a unidade de adição 23 constituem um decodificador local. O decodificador local tem um papel de decodificar localmente uma imagem decodificada a partir de dados codificados.
[0091] A unidade de quantização inversa 21 quantiza inversamente os dados quantizados usando o mesmo parâmetro de quantização usado pela unidade de quantização 15 e restaura o coeficiente de transformação. Então, a unidade de quantização inversa 21 transmite o coeficiente de transformação restaurado para a unidade de transformação ortogonal inversa 22.
[0092] A unidade de transformação ortogonal inversa 22 realiza um processo de transformação ortogonal inversa no coeficiente de transformação inserido a partir da unidade de quantização inversa 21 e restaura o erro de previsão. Então, a unidade de transformação ortogonal inversa 22 transmite o erro de previsão restaurado para a unidade de adição 23.
26 / 63
[0093] A unidade de adição 23 adiciona o erro de previsão restaurado que é inserido a partir da unidade de transformação ortogonal inversa 22 e a imagem prevista que é inserida a partir da unidade de intraprevisão 40 ou da unidade de interprevisão 50 e gera uma imagem decodificada (imagem restaurada). Então, a unidade de adição 23 transmite a imagem decodificada gerada para o filtro em laço 24 e a memória de quadro 30.
[0094] O filtro em laço 24 aplica uma série de filtros em laço para melhorar a qualidade de imagem da imagem decodificada. Por exemplo, da forma descrita em “2.5. Filtragem em laço” na Literatura de Referência REF3, quatro filtros em laço, tais como um filtro bilateral, um filtro de desbloqueio, um filtro de deslocamento adaptativo e um filtro em laço adaptativo, podem ser aplicados nesta ordem. O filtro em laço 24 ilustrado na Figura 5 inclui, por exemplo, um filtro bilateral 25, um filtro de desbloqueio 26a, um filtro de deslocamento adaptativo 27 e um filtro em laço adaptativo 28 e os quatro filtros em laço supradescritos são aplicados em sequência. Entretanto, a configuração do filtro em laço 24 não é limitada a este exemplo, e qual dos quatro filtros em laço é aplicado e a ordem de aplicação podem ser apropriadamente selecionáveis. Neste ínterim, o filtro de desbloqueio 26a será descrito com detalhes a seguir.
[0095] O filtro em laço 24 transmite a imagem decodificada na qual os filtros em laço são aplicados para a memória de quadro 30.
[0096] A memória de quadro 30 armazena uma imagem decodificada que é inserida a partir da unidade de adição 23 e para a qual a filtragem ainda não é realizada e uma imagem decodificada que é inserida a partir do filtro em laço 24 e na qual os filtros em laço são aplicados, pelo uso de uma mídia de armazenamento.
[0097] O comutador 31 lê, a partir da memória de quadro 30, uma imagem decodificada que é usada para intraprevisão e para a qual a filtragem ainda não é realizada e supre a imagem decodificada lida como uma imagem
27 / 63 de referência para a unidade de intraprevisão 40. Adicionalmente, o comutador 31 lê, a partir da memória de quadro 30, uma imagem decodificada que é usada para interprevisão e para a qual a filtragem é realizada, e supre a imagem decodificada lida como uma imagem de referência para a unidade de interprevisão 50.
[0098] A unidade de definição de modo 32 define um modo de codificação previsto para cada um dos blocos com base em uma comparação entre os custos inseridos a partir da unidade de intraprevisão 40 e da unidade de interprevisão 50. Quanto a um bloco para o qual um modo de intraprevisão é definido, a unidade de definição de modo 32 transmite a imagem prevista gerada pela unidade de intraprevisão 40 para a unidade de subtração 13 e a unidade de adição 23 e transmite a informação sobre a intraprevisão para a unidade de codificação invertível 16. Adicionalmente, quanto a um bloco para o qual um modo de interprevisão é definido, a unidade de definição de modo 32 transmite a imagem prevista gerada pela unidade de interprevisão 50 para a unidade de subtração 13 e a unidade de adição 23 e transmite a informação sobre a interprevisão para a unidade de codificação invertível 16.
[0099] A unidade de intraprevisão 40 realiza um processo de intraprevisão com base em uma imagem original e uma imagem decodificada. Por exemplo, a unidade de intraprevisão 40 avalia um custo com base em um erro de previsão e uma quantidade de codificação que ocorre, para cada um dos modos de previsão candidatos incluídos em uma faixa de busca. Subsequentemente, a unidade de intraprevisão 40 seleciona um modo de previsão no mínimo custo como um modo de previsão ideal. Além do mais, a unidade de intraprevisão 40 gera uma imagem prevista de acordo com o modo de previsão ideal selecionado. Então, a unidade de intraprevisão 40 transmite a informação sobre intraprevisão, que inclui a informação do modo de previsão que indica o modo de previsão ideal, um custo correspondente e a imagem prevista, para a unidade de definição de modo 32.
28 / 63
[00100] A unidade de interprevisão 50 realiza um processo de interprevisão (compensação de movimento) com base na imagem original e na imagem decodificada. Por exemplo, a unidade de interprevisão 50 avalia um custo com base no erro de previsão e na quantidade de codificação que ocorre, para cada um dos modos de previsão candidatos incluídos em uma certa faixa de busca. Subsequentemente, a unidade de interprevisão 50 seleciona um modo de previsão no mínimo custo, isto é, um modo de previsão na mais alta taxa de compressão, como um modo de previsão ideal. Além do mais, a unidade de interprevisão 50 gera uma imagem prevista de acordo com o modo de previsão ideal selecionado. Então, a unidade de interprevisão 50 transmite a informação sobre a interprevisão, um custo correspondente e a imagem prevista para a unidade de definição de modo 32. [2-2. Aparelho de decodificação de imagem]
[00101] A seguir, a decodificação de dados que são codificados da forma supradescrita será descrita. A Figura 6 é um diagrama de blocos que ilustra um exemplo de uma configuração de um aparelho de decodificação de imagem 60 como um modo do aparelho de processamento de imagem de acordo com a presente modalidade. Em relação à Figura 6, um armazenamento temporário de acúmulo 61, uma unidade de decodificação invertível 62, uma unidade de quantização inversa 63, uma unidade de transformação ortogonal inversa 64, uma unidade de adição 65, um filtro em laço 66, um armazenamento temporário de classificação 72, uma unidade de conversão Digital para Analógico (D/A) 73, uma memória de quadro 80, seletores 81a e 81b, uma unidade de intraprevisão 90 e uma unidade de interprevisão 100 são incluídos.
[00102] O armazenamento temporário de acúmulo 61 armazena temporariamente um fluxo contínuo codificado que é recebido a partir do aparelho de codificação de imagem 10 por meio de uma unidade de transmissão (por exemplo, uma interface de comunicação, uma interface de
29 / 63 conexão para um dispositivo periférico ou congêneres) (não ilustrada), pelo uso de uma mídia de armazenamento.
[00103] A unidade de decodificação invertível 62 decodifica o fluxo contínuo codificado inserido a partir do armazenamento temporário de acúmulo 61 de acordo com um sistema de codificação que foi usado para codificação e gera os dados quantizados. A unidade de decodificação invertível 62 transmite os dados quantizados gerados para a unidade de quantização inversa 63.
[00104] Adicionalmente, a unidade de decodificação invertível 62 analisa sintaticamente vários parâmetros do fluxo contínuo codificado. Os parâmetros sintaticamente analisados pela unidade de decodificação invertível 62 podem incluir, por exemplo, a informação sobre intraprevisão e a informação sobre a interprevisão. A unidade de decodificação invertível 62 transmite a informação sobre a intraprevisão para a unidade de intraprevisão
90. Adicionalmente, a unidade de decodificação invertível 62 transmite a informação sobre a interprevisão para a unidade de interprevisão 100.
[00105] Adicionalmente, os parâmetros sintaticamente analisados pela unidade de decodificação invertível 62 podem incluir o parâmetro relacionado à diferença de cor. A unidade de decodificação invertível 62 transmite o parâmetro relacionado à diferença de cor para o filtro em laço 66. Neste ínterim, o parâmetro relacionado à diferença de cor sintaticamente analisado pela unidade de decodificação invertível 62 inclui, por exemplo, o indicador que indica a presença ou a ausência do coeficiente significativo do componente U em cada uma das TUs e o indicador que indica a presença ou a ausência do coeficiente significativo do componente V em cada uma das TUs, como exposto.
[00106] A unidade de quantização inversa 63 quantiza inversamente os dados quantizados inseridos a partir da unidade de decodificação invertível 62 através da mesma etapa de quantização usada para codificação e restaura o
30 / 63 coeficiente de transformação. A unidade de quantização inversa 63 transmite o coeficiente de transformação restaurado para a unidade de transformação ortogonal inversa 64.
[00107] A unidade de transformação ortogonal inversa 64 realiza a transformação ortogonal inversa no coeficiente de transformação inserido a partir da unidade de quantização inversa 63, de acordo com um sistema de transformação ortogonal que foi usado para codificação e gera um erro de previsão. A unidade de transformação ortogonal inversa 64 transmite o erro de previsão gerado para a unidade de adição 65.
[00108] A unidade de adição 65 adiciona o erro de previsão inserido a partir da unidade de transformação ortogonal inversa 64 e a imagem prevista inserida a partir de um seletor 71b e gera imagem decodificada. Então, a unidade de adição 65 transmite a imagem decodificada gerada para o filtro em laço 66 e a memória de quadro 80.
[00109] O filtro em laço 66 aplica uma série de filtros em laço para melhorar a qualidade de imagem da imagem decodificada. Por exemplo, da forma descrita em “2.5. Filtragem em laço” na Literatura de Referência REF3, quatro filtros em laço, tais como um filtro bilateral, um filtro de desbloqueio, um filtro de deslocamento adaptativo e um filtro em laço adaptativo, podem ser aplicados nesta ordem. O filtro em laço 66 ilustrado na Figura 6 inclui, por exemplo, um filtro bilateral 67, um filtro de desbloqueio 26b, um filtro de deslocamento adaptativo 69 e um filtro em laço adaptativo 70 e os quatro filtros em laço supradescritos são aplicados em sequência. Entretanto, a configuração do filtro em laço 66 não é limitada a este exemplo e qual dos quatro filtros em laço é aplicado e a ordem de aplicação podem ser apropriadamente selecionáveis. Neste ínterim, o filtro de desbloqueio 26b será descrito com detalhes a seguir.
[00110] O filtro em laço 66 transmite a imagem decodificada na qual os filtros em laço são aplicados para o armazenamento temporário de
31 / 63 classificação 72 e a memória de quadro 80.
[00111] O armazenamento temporário de classificação 72 classifica as imagens inseridas a partir do filtro em laço 66 e gera uma série de imagens cronológicas. Então, o armazenamento temporário de classificação 72 transmite as imagens geradas para a unidade de conversão D/A 73.
[00112] A unidade de conversão D/A 73 converte as imagens, que estão em um formato digital e inseridas a partir do armazenamento temporário de classificação 72, em sinais de imagem em um formato analógico. Então, a unidade de conversão D/A 73 transmite os sinais de imagem analógicos, por exemplo, para um visor (não ilustrado) que é conectado no aparelho de decodificação de imagem 60, de forma que um vídeo seja exibido.
[00113] A memória de quadro 80 armazena uma imagem decodificada que é inserida a partir da unidade de adição 65 e para a qual a filtragem ainda não é realizada e uma imagem decodificada que é inserida a partir do filtro em laço 66 e na qual os filtros em laço são aplicados, pelo uso de uma mídia de armazenamento.
[00114] O seletor 81a comuta entre a unidade de intraprevisão 90 e a unidade de interprevisão 100 como um destino de saída de uma imagem proveniente da memória de quadro 80, para cada um dos blocos na imagem de acordo com a informação do modo de previsão adquirida pela unidade de decodificação invertível 62. Por exemplo, se o modo de intraprevisão for designado, o seletor 81a transmite, como uma imagem de referência, uma imagem decodificada que é suprida a partir da memória de quadro 80 e para a qual a filtragem ainda não é realizada para a unidade de intraprevisão 90. Adicionalmente, se o modo de interprevisão for designado, o seletor 81a transmite, como uma imagem de referência, uma imagem decodificada para a qual a filtragem é realizada para a unidade de interprevisão 100.
[00115] O seletor 81b comuta entre a unidade de intraprevisão 90 e a unidade de interprevisão 100 como uma origem da saída de uma imagem
32 / 63 prevista para ser suprida para a unidade de adição 65, de acordo com a informação do modo de previsão adquirida pela unidade de decodificação invertível 62. Por exemplo, se o modo de intraprevisão for designado, o seletor 81b supre a imagem prevista transmitida a partir da unidade de intraprevisão 90 para a unidade de adição 65. Adicionalmente, se o modo de interprevisão for designado, o seletor 81b supre a imagem prevista transmitida a partir da unidade de interprevisão 100 para a unidade de adição 65.
[00116] A unidade de intraprevisão 90 realiza o processo de intraprevisão com base na informação sobre a intraprevisão inserida a partir da unidade de decodificação invertível 62 e na imagem de referência proveniente da memória de quadro 80 e gera uma imagem prevista. Então, a unidade de intraprevisão 90 transmite a imagem prevista gerada para o seletor 81b.
[00117] A unidade de interprevisão 100 realiza o processo de interprevisão com base na informação sobre a interprevisão inserida a partir da unidade de decodificação invertível 62 e na imagem de referência proveniente da memória de quadro 80 e gera uma imagem prevista. Então, a unidade de interprevisão 100 transmite a imagem prevista gerada para o seletor 81b. <3. Filtro de desbloqueio> [3-1. Exemplo de configuração do filtro de desbloqueio]
[00118] Nesta seção, um exemplo das configurações do filtro de desbloqueio 26a do aparelho de codificação de imagem 10 ilustrado na Figura 5 e do filtro de desbloqueio 26b do aparelho de decodificação de imagem 60 ilustrado na Figura 6 será descrito. Neste ínterim, as configurações do filtro de desbloqueio 26a e do filtro de desbloqueio 26b podem ser iguais. Portanto, na seguinte descrição, se o filtro de desbloqueio 26a e o filtro de desbloqueio 26b não precisarem ser especificamente distinguidos um do outro, os mesmos serão coletivamente referidos como um filtro de desbloqueio 26.
33 / 63
[00119] Da forma supradescrita, o filtro de desbloqueio 26 de acordo com a presente modalidade determina a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor de uma imagem decodificada com base em bS que é calculado usando o parâmetro relacionado à diferença de cor relacionado a uma diferença de cor. Adicionalmente, como exposto, o filtro de desbloqueio 26 de acordo com a presente modalidade determina a necessidade da aplicação do filtro de desbloqueio em relação ao componentes de diferença de cor da imagem decodificada adicionalmente com base em um tamanho em uma direção perpendicular ao contorno de bloco. Além do mais, como exposto, o filtro de desbloqueio 26 de acordo com a presente modalidade pode aplicar um filtro forte com intensidade maior (com características passa baixa mais fortes) do que o filtro forte descrito na Literatura Não Patentária 2 nos componentes de diferença de cor da imagem decodificada. Além do mais, para aplicar mais apropriadamente o filtro forte como exposto, na presente modalidade, a intensidade do filtro é determinada por um método diferente de um método usado no processo de determinação da intensidade do filtro descrito na Literatura Não Patentária 2. Neste ínterim, a seguir, as funções do filtro de desbloqueio 26 relacionadas ao filtro de desbloqueio aplicado nos componentes de diferença de cor da imagem decodificada serão principalmente descritas e as funções do filtro de desbloqueio 26 relacionadas ao filtro de desbloqueio aplicado no componente de luminância serão apropriadamente omitidas.
[00120] A Figura 7 é um diagrama de blocos que ilustra um exemplo de uma configuração detalhada do filtro de desbloqueio 26 de acordo com a presente modalidade. Em relação à Figura 7, o filtro de desbloqueio 26 inclui uma unidade de cálculo da intensidade do contorno 261, uma unidade de determinação 263 e uma unidade de filtragem 269. (1) Unidade de cálculo da intensidade do contorno
34 / 63
[00121] A unidade de cálculo da intensidade do contorno 261 adota um contorno de bloco de uma imagem decodificada como um alvo e calcula a intensidade do contorno (bS) usando o parâmetro relacionado à diferença de cor relacionado a uma diferença de cor. Se um sinal no formato YUV420 for adotado como um alvo, a unidade de cálculo da intensidade do contorno 261 calcula bS em unidades de quatro linhas dos componentes de luminância da imagem decodificada, isto é, em unidades de duas linhas dos componentes de diferença de cor da imagem decodificada.
[00122] Na presente modalidade, o parâmetro relacionado à diferença de cor usado pela unidade de cálculo da intensidade do contorno 261 para o cálculo de bS inclui o indicador que indica a presença ou a ausência do coeficiente significativo do componente U em cada uma das TUs e o indicador que indica a presença ou a ausência do coeficiente significativo do componente V em cada uma das TUs. Da forma ilustrada na Figura 7, o indicador que indica a presença ou a ausência do coeficiente significativo de cada um dos componentes (componente Y, componente U e componente V) em cada uma das TUs é inserido na unidade de cálculo da intensidade do contorno 261 a partir da unidade de transformação ortogonal 14 ou da unidade de decodificação invertível 62.
[00123] A unidade de cálculo da intensidade do contorno 261 calcula bS com base na condição A, na condição B1-Y, na condição B1-U, na condição B1-V e na condição B2 que são explicadas anteriormente em relação à Figura 4. Isto é, a unidade de cálculo da intensidade do contorno 261 calcula bS com base em se os coeficientes significativos dos componentes de diferença de cor estão presentes em TUs que ensanduicham o contorno de bloco para o qual bS deve ser calculado. Além do mais, a unidade de cálculo da intensidade do contorno 261 de acordo com a presente modalidade pode calcular bS pela determinação independentemente se o coeficiente significativo de cada um do componente Y, do componente U e do
35 / 63 componente V está presente nos TUs que ensanduicham o contorno de bloco para o qual bS deve ser calculado. Com esta configuração, é possível calcular o bS que é mais adequado para o componente U e o componente V, se comparado com o cálculo de bS com base em se o coeficiente significativo do componente Y está presente, da forma explicada anteriormente em relação à Figura 2, de forma que seja possível aplicar mais apropriadamente o filtro de desbloqueio.
[00124] Em relação à Figura 8, o cálculo de bS pela unidade de cálculo da intensidade do contorno 261 será descrito com detalhes. A Figura 8 é uma tabela que ilustra um exemplo de bS calculado pela unidade de cálculo da intensidade do contorno 261. O bS calculado pela unidade de cálculo da intensidade do contorno 261 pode ser representado por uma pluralidade de bits. No exemplo ilustrado na Figura 8, o bS é representado por 5 bits. Adicionalmente, o bS pode ser calculado de maneira tal que a pluralidade de bits inclua pelo menos um bit correspondente a cada um do componente Y, do componente U e do componente V. Com esta configuração, quando a unidade de determinação 263 a ser descrita a seguir determinar a necessidade da aplicação do filtro de desbloqueio com base em bS, é possível facilmente realizar a determinação pela referência aos bits do correspondente bS para cada um dos componentes alvos de determinação.
[00125] Além do mais, a unidade de cálculo da intensidade do contorno 261 pode calcular o bS de maneira tal que cada um dos bits incluídos em bS corresponda a verdadeiro ou falso de cada uma das condições. No exemplo ilustrado na Figura 8, o bS é calculado de maneira tal que, se cada uma das condições for verdadeira, o bit correspondente a cada uma das condições seja definido em 1 e, se cada uma das condições for falsa, o bit correspondente a cada uma das condições seja definido em 0. Além do mais, no exemplo ilustrado na Figura 8, o bS é representado por 5 bits, em que o quinto bit de bS corresponde à condição A na intraprevisão, o quarto bit
36 / 63 de bS corresponda à condição B1-Y no coeficiente significativo do componente Y, o terceiro bit de bS corresponda à condição B1-U no coeficiente significativo do componente U, o segundo bit de bS corresponda à condição B1-V no coeficiente significativo do componente V e o primeiro bit de bS corresponda à condição B2 no MV e na Figura de referência. Entretanto, a correspondência entre cada um dos bits de bS e cada uma das condições não é limitada ao exemplo ilustrado na Figura 8. Por exemplo, a ordem do quarto bit, do terceiro bit e do segundo bit de bS respectivamente correspondentes ao componente Y, ao componente U e ao componente V pode ser intercambiada uns com os outros. (2) Unidade de determinação
[00126] A unidade de determinação 263 inclui, da forma ilustrada na Figura 7, uma unidade de determinação da necessidade da aplicação 265 que determina a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada e uma unidade de determinação da intensidade do filtro 267 que determina a intensidade de filtro do filtro de desbloqueio que é aplicado nos componentes de diferença de cor da imagem decodificada. A seguir, as funções da unidade de determinação da necessidade da aplicação 265 e da unidade de determinação da intensidade do filtro 267 serão descritas em sequência.
[00127] Neste ínterim, na seguinte explicação, a determinação da necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada e a determinação sobre a intensidade do filtro serão principalmente descritas e a explicação da determinação sobre o componente de luminância será apropriadamente omitida. Adicionalmente, a unidade de determinação da necessidade da aplicação 265 e a unidade de determinação da intensidade do filtro 267 de acordo com a presente modalidade determinam a necessidade da aplicação do filtro de desbloqueio e a intensidade do filtro separadamente para cada um do
37 / 63 componente U e do componente V.
[00128] A unidade de determinação da necessidade da aplicação 265 adota o contorno de bloco da imagem decodificada como um alvo e determina a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno (bS) que é calculada pela unidade de cálculo da intensidade do contorno 261, como exposto.
[00129] Adicionalmente, a unidade de determinação da necessidade da aplicação 265 pode determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada adicionalmente com base nos tamanhos de bloco dos blocos que ensanduicham o contorno de bloco. Neste ínterim, a seguir, a determinação com base nos tamanhos de bloco pode ser referida como determinação de bloco grande. Além do mais, a unidade de determinação da necessidade da aplicação 265 não precisa sempre realizar a determinação de bloco grande em todos os contornos de bloco, mas pode determinar se realiza-se a determinação de bloco grande de acordo com bS. Um caso no qual a determinação de bloco grande é realizada e os detalhes da determinação de bloco grande serão descritos a seguir.
[00130] A unidade de determinação da necessidade da aplicação 265 de acordo com a presente modalidade determina a necessidade da aplicação do filtro de desbloqueio através da determinação sobre uma condição C1 e uma condição C2 a seguir. * Condição C1: (bS==16||(condição C11&&condição)) * Condição C2: d<beta
[00131] Uma condição C11 na condição C1 exposta é uma condição para determinar se realiza-se a determinação de bloco grande e uma condição C12 é uma condição relacionada à determinação de bloco grande. Se bS for 16, isto é, se a condição A sobre a intraprevisão for satisfeita, a condição C1
38 / 63 pode ser determinada como verdadeira sem uma necessidade de realizar a determinação de bloco grande. Portanto, a condição C11 para determinar se realiza-se a determinação de bloco grande pode ser verdadeira se o bS tiver um valor relacionado à interprevisão. Neste ínterim, pela determinação de que a condição C1 é verdadeira ao mesmo tempo em que se ignora a determinação de bloco grande se bS for 16, como exposto, é possível reduzir uma quantidade de processamento relacionada à determinação de bloco grande.
[00132] Além do mais, se a condição C11 na condição C1 for falsa, a condição C1 é determinada como falsa sem realização da determinação na condição C12 (determinação de bloco grande). Com esta configuração, é possível reduzir a quantidade de processamento relacionada à determinação de bloco grande.
[00133] A condição C11 pode ser verdadeira se uma condição no coeficiente significativo de cada um dos componentes ou a condição B2 supradescrita for verdadeira. Isto é, a condição C11 pode variar dependendo de um componente alvo de determinação. Por exemplo, a condição C11 pode ser uma condição, tal como uma condição C11-U a seguir, se o componente U for adotado como um alvo de determinação e a condição C11 pode ser uma condição, tal como uma condição C11-V a seguir, se o componente V for adotado como um alvo de determinação. * Condição C11-U: (bS&0x04||bS&0x01) * Condição C11-V: (bS&0x02||bS&0x01)
[00134] Além do mais, a unidade de determinação da necessidade da aplicação 265 realiza a determinação de bloco grande com base nos tamanhos dos blocos que ensanduicham o contorno de bloco, em uma direção perpendicular ao contorno de bloco. Com esta configuração, se as formas dos blocos forem retângulos que não são quadrados, é possível determinar a necessidade de aplicação do filtro de desbloqueio com base nos tamanhos na direção perpendicular ao contorno de bloco, em que é provável que os
39 / 63 tamanhos nesta direção tenham impactos na ocorrência da distorção de bloco.
[00135] Além do mais, a unidade de determinação da necessidade da aplicação 265 pode realizar a determinação de bloco grande com base em se os tamanhos dos blocos que ensanduicham o contorno de bloco na direção perpendicular ao contorno de bloco são maiores do que um limite pré- determinado. O limite usado para a determinação de bloco grande não é limitado, mas pode ser, por exemplo, 16. Se os tamanhos na direção perpendicular ao contorno de bloco forem pequenos, em particular, iguais a ou menores do que 16, é menos provável que o ruído de bloco seja visível e, portanto, com esta configuração, é possível evitar a aplicação de um filtro de desbloqueio desnecessário. Por exemplo, uma condição C12 na determinação de bloco grande pode ser uma condição a seguir. * Condição C12: (EDGE_VER&&block_width>16)||(EDGE_HOR&&block_heigth>16)
[00136] Neste ínterim, na condição C12 exposta, EDGE_VER indica que um contorno de bloco alvo de determinação é um contorno vertical e EDGE_HOR indica que a contorno de bloco alvo de determinação é um contorno horizontal.
[00137] Além do mais, a condição C2 exposta é igual à condição C92 supradescrita e, portanto, a explicação da mesma será aqui omitida. Neste ínterim, a determinação na condição C2 exposta é realizada se a condição C1 for verdadeira e, se a condição C1 for falsa, é determinado que o filtro de desbloqueio não precisa ser aplicado sem a realização da determinação na condição C2. A determinação na condição C2 precisa de um processo para calcular a variável d, da forma indicada pelas Equações (1) até (7) expostas, e uma quantidade de processamento é maior do que aquela da determinação na condição C1; portanto, pela realização da determinação na condição C2 depois da determinação na condição C1, é possível reduzir uma quantidade de processamento.
40 / 63
[00138] Além do mais, a unidade de determinação da intensidade do filtro 267 determina adicionalmente a intensidade de filtro do filtro de desbloqueio que é aplicado nos componentes de diferença de cor da imagem decodificada, depois da determinação da necessidade da aplicação do filtro de desbloqueio com base na condição C1 e na condição C2, como exposto. O filtro de desbloqueio aplicável na presente modalidade pode incluir dois tipos de filtro, tais como um filtro fraco com intensidade menor e um filtro forte com intensidade maior, como será descrito posteriormente. Então, a unidade de filtragem 269 a ser descrita a seguir aplica qualquer um do filtro fraco e do filtro forte de acordo com a intensidade do filtro determinada pela unidade de determinação da intensidade do filtro 267.
[00139] A unidade de determinação da intensidade do filtro 267 determina a intensidade do filtro se for determinado que o filtro de desbloqueio deve ser aplicado. Pela realização da determinação sobre a intensidade do filtro depois da determinação da necessidade da aplicação do filtro de desbloqueio, é possível reduzir um processo relacionado à determinação sobre a intensidade do filtro.
[00140] Além do mais, a unidade de determinação da intensidade do filtro 267 determina a intensidade do filtro com base nas formas de onda dos componentes de diferença de cor de um pixel que fica localizado na vizinhança do contorno de bloco. A seguir, a determinação com base nas formas de onda será descrita. A unidade de determinação da intensidade do filtro 267 determina a intensidade do filtro usando uma condição C3 a seguir, que é com base nas formas de onda. * Condição C3: (condição C31&&condição C32&&condição C33) * Condição C31: |p3-p0|+|q3-q0|<(beta>>3) * Condição C32: |p2-2*p1+p0|+|q2-2*q1+q0|<(beta>>2) * Condição C33: |p0-q0|<((tc*5+1)>>1)
[00141] A unidade de determinação da intensidade do filtro 267 realiza
41 / 63 a determinação na condição C3 exposta em relação aos pixels que são incluídos nas duas linhas entre os pixels que ficam localizados na vizinhança do contorno de bloco. A condição C31, a condição C32 e a condição C33 usadas na condição C3 exposta são determinadas para cada uma das linhas. Neste ínterim, pi, qk, pi′, qk′, beta e tC descritos na condição C31, na condição C32 e na condição C33 já são supradescritos e, portanto, a explicação dos mesmos será aqui omitida.
[00142] A condição C31, a condição C32 e a condição C33 são condições que são determinadas usando os pixels incluídos em cada uma das linhas. Mais especificamente, a condição C31 é uma condição sobre o nivelamento dos componentes de diferença de cor dos pixels incluídos em cada uma das linhas no bloco. Adicionalmente, a condição C32 é uma condição sobre a determinação sobre a continuidade dos componentes de diferença de cor dos pixels incluídos em cada uma das linhas no bloco. Além do mais, a condição C33 é uma condição sobre um hiato (diferença) dos componentes de diferença de cor dos pixels incluídos em cada uma das linhas entre os blocos e, em particular, uma condição para determinar um hiato entre os blocos pelo uso dos valores de pixel adjacentes ao contorno de bloco.
[00143] Se a condição C31 for verdadeira, o nivelamento das formas de onda dos componentes de diferença de cor em cada um dos blocos é alto. Adicionalmente, se a condição C32 for verdadeira, a continuidade das formas de onda dos componentes de diferença de cor em cada um dos blocos é alta. Além do mais, se a condição C32 for verdadeira, as formas de onda dos componentes de diferença de cor têm um grande hiato no contorno de bloco.
[00144] Da forma supradescrita, a condição C3 é determinada como verdadeira se todas da condição C31, da condição C32 e da condição C33 expostas forem verdadeiras. Adicionalmente, a unidade de determinação da intensidade do filtro 267 determina a condição C3 exposta para cada uma das linhas. Entretanto, como exposto, a intensidade do filtro é determinada em
42 / 63 unidades de duas linhas. Isto é, a intensidade do filtro é determinada de maneira tal que, se a condição C3 exposta for verdadeira em ambas de duas linhas sucessivas, o filtro forte seja aplicado nas duas linhas e, se a condição C3 exposta for falsa em ambas das duas linhas sucessivas, o filtro fraco seja aplicado nas duas linhas. (3) Unidade de filtragem
[00145] A unidade de filtragem 269 aplica o filtro de desbloqueio nos componentes de diferença de cor dos pixels que ficam localizados na vizinhança do contorno de bloco, com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio realizada pela unidade de determinação da necessidade da aplicação 265. Adicionalmente, como exposto, a unidade de filtragem 269 aplica o filtro fraco ou o filtro forte como o filtro de desbloqueio de acordo com a intensidade do filtro determinada pela unidade de determinação da intensidade do filtro 267.
[00146] O filtro fraco que é aplicado nos componentes de diferença de cor pela unidade de filtragem 269 de acordo com a presente modalidade pode ser o mesmo filtro fraco que é aplicado nos componentes de diferença de cor da imagem decodificada na Literatura Não Patentária 2 ou HEVC, como exposto, por exemplo. Ao contrário, o filtro forte que é aplicado nos componentes de diferença de cor pela unidade de filtragem 269 de acordo com a presente modalidade pode ser diferente do filtro forte que é aplicado nos componentes de diferença de cor na Literatura Não Patentária 2 (o filtro forte aplicado no componente de luminância em HEVC). A seguir, um exemplo do filtro forte que é aplicado nos componentes de diferença de cor na presente modalidade será descrito.
[00147] Um coeficiente do filtro forte que é aplicado nos componentes de diferença de cor na presente modalidade pode ser definido em 2 na posição central de uma região alvo de aplicação para o filtro forte e pode ser definido em 1 em outras posições. Adicionalmente, a unidade de filtragem 269 pode
43 / 63 adotar três pixels em ambos os lados do contorno de bloco como a região alvo de aplicação para o filtro forte e aplicar o filtro forte nos componentes de diferença de cor incluídos na região alvo de aplicação pelo uso de três pixels em ambos os lados da posição central do alcance alvo da aplicação como pixels de referência. Por exemplo, um filtro forte para o qual a posição central do alcance alvo da aplicação é denotada por p0 é representado pela Equação (14) a seguir. p0′=Clip3(p0-w*tC,p0+w*tC,((p3+p2+p1+2*p0+q0+q1+q2+4)>>3)) (14)
[00148] Neste ínterim, w na Equação (14) exposta é um peso que é apropriadamente definido e pode ser definido em 1 ou 2, por exemplo. Adicionalmente, Clip3(a,b,c) representa um processo de recorte para recortar o valor c no alcance de a ≤ c ≤ b, como exposto.
[00149] Pela aplicação do filtro forte, como exposto, é possível aplicar um filtro de desbloqueio que é mais forte do que o filtro forte que é aplicado nos componentes de diferença de cor na Literatura Não Patentária 2, como exposto.
[00150] Neste ínterim, se a posição central do alcance alvo da aplicação para o filtro forte for o segundo pixel ou o terceiro pixel do contorno de bloco, os pixels de referência incluem os pixels que são separados por cinco pixels ou mais a partir do contorno de bloco. Entretanto, os pixels que são separados por cinco pixels ou mais a partir do contorno de bloco não são usados para a determinação sobre a intensidade do filtro e podem ser inadequados para uso como os pixels de referência. Portanto, a unidade de filtragem 269 pode realizar preenchimento em um valor de pixel do quarto pixel a partir do contorno de bloco, em vez dos pixels que são separados por cinco pixels ou mais a partir do contorno de bloco e usar o valor de pixel como um valor de pixel do pixel de referência.
[00151] Por exemplo, o filtro forte para o qual a posição central do alcance alvo da aplicação é denotada por p1 é representado pela Equação (15)
44 / 63 a seguir. p1′=Clip3(p1-w*tC,p1+w*tC,((p4+p3+p2+2*p1+p0+q0+q1+4)>>3)) =Clip3(p1-w*tC,p1+w*tC,((p3+p3+p2+2*p1+p0+q0+q1+4)>>3)) =Clip3(p1-w*tC,p1+w*tC,((2*p3+p2+2*p1+p0+q0+q1+4)>>3)) (15)
[00152] Similarmente, o filtro forte para o qual a posição central do alcance alvo da aplicação é denotada por p2 é representado pela Equação (16) a seguir. p2′=Clip3(p2-w*tC,p2+w*tC,((p5+p4+p3+2*p2+p1+p0+q0+4)>>3)) =Clip3(p2-w*tC,p2+w*tC,((p3+p3+p3+2*p2+p1+p0+q0+4)>>3)) =Clip3(p2-w*tC,p2+w*tC,((3*p3+2*p2+p1+p0+q0+4)>>3)) (16)
[00153] Adicionalmente, similarmente, os filtros fortes para os quais as posições centrais dos alcances alvos da aplicação são denotadas por q0 a q3 são representados pelas Equações (17) até (19) a seguir. q0′=Clip3(q0-w*tC,q0+w*tC,((p2+p1+p0+2*q0+q1+q2+q3+4)>>3)) (17) q1′=Clip3(q1-w*tC,q1+w*tC,((p1+p0+q0+2*q1+q2+2*q3+4)>>3)) (18) q2′=Clip3(q2-w*tC,q2+w*tC,((p0+q0+q1+2*q2+3*q3+4)>>3)) (19) [3-2. Fluxo dos processos]
[00154] Assim, o exemplo de configuração do filtro de desbloqueio 26 de acordo com a presente modalidade foi supradescrito. A seguir, o fluxo de um processo realizado pelo filtro de desbloqueio 26 de acordo com a presente modalidade será descrito. A Figura 9 é um fluxograma que ilustra um exemplo do fluxo do processo realizado pelo filtro de desbloqueio 26 de acordo com a presente modalidade. Neste ínterim, a seguir, um processo relacionado a um recurso da presente modalidade dentre os processos realizados pelo filtro de desbloqueio 26 será explicado, e a explicação de outros processos será apropriadamente omitida.
[00155] Primeiro, a unidade de cálculo da intensidade do contorno 261 calcula a intensidade do contorno (bS) (S10). Aqui, em relação à Figura 10, um método para calcular o bS será descrito com detalhes a seguir. A Figura
45 / 63 10 é um fluxograma para explicar o fluxo de um processo de cálculo da intensidade do contorno (S10) que é realizado pela unidade de cálculo da intensidade do contorno 261.
[00156] Primeiro, a unidade de cálculo da intensidade do contorno 261 inicializa o bS em zero (S102). Subsequentemente, a unidade de cálculo da intensidade do contorno 261 determina se a condição A, que é a condição sobre a intraprevisão é verdadeira ou falsa (S104). Se a condição A for verdadeira (S104 SIM em), o bS é definido em 16 (S106).
[00157] Ao contrário, se a condição A for falsa (NÃO em S104), a unidade de cálculo da intensidade do contorno 261 determina se a condição B, que é a condição sobre o vetor de movimento (MV) e a Figura de referência, é verdadeira ou falsa (S108). Se a condição B2 for verdadeira (SIM em S108), o bS é definido em 1 (S110).
[00158] Ao contrário, se a condição B2 for falsa (NÃO em S108), a unidade de cálculo da intensidade do contorno 261 determina se a condição B1-Y, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente Y, é verdadeira ou falsa (S112). Se a condição B1-Y for verdadeira (SIM em S112), 8 é adicionado em bS (S114) e, posteriormente, o processo prossegue para a Etapa S116. Ao contrário, se a condição B1-Y for falsa (NÃO em S112), o processo prossegue diretamente para a Etapa S116.
[00159] Na Etapa S116, a unidade de cálculo da intensidade do contorno 261 determina a condição B1-U, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente U. Se a condição B1-U for verdadeira (SIM em S116), 4 é adicionado em bS (S118) e, posteriormente, o processo prossegue para a Etapa S120. Ao contrário, se a condição B1-U for falsa (NÃO em S116), o processo prossegue diretamente para a Etapa S120.
[00160] Na Etapa S120, a unidade de cálculo da intensidade do
46 / 63 contorno 261 determina a condição B1-V, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente V. Se a condição B1-V for verdadeira (SIM em S120), 2 é adicionado em bS (S122) e, posteriormente, o processo de cálculo da intensidade do contorno (S10) é terminado. Se a condição B1-V for falsa (NÃO em S120), o processo de cálculo da intensidade do contorno (S10) é diretamente terminado.
[00161] Novamente em relação à Figura 9, a explicação do fluxo do processo realizado pelo filtro de desbloqueio 26 é continuada. Na Etapa S20, a unidade de determinação da necessidade da aplicação 265 da unidade de determinação 263 determina se a condição C1 supradescrita é verdadeira ou falsa. Se a condição C1 for falsa (NÃO em S20), o processo é terminado.
[00162] Ao contrário, se a condição C1 for verdadeira (SIM em S20), a unidade de determinação da necessidade da aplicação 265 determina se a condição C2 supradescrita é verdadeira ou falsa (S30). Se a condição C2 for falsa (NÃO em S30), o processo é terminado.
[00163] Ao contrário, se a condição C2 for verdadeira (S30 SIM em), a unidade de determinação da intensidade do filtro 267 da unidade de determinação 263 determina se a condição C3 supradescrita é verdadeira ou falsa e determina a intensidade do filtro (S40). Se a condição C3 for verdadeira (SIM em S40), a unidade de filtragem 269 aplica o filtro forte nos componentes de diferença de cor dos pixels que ficam localizados na vizinhança do contorno de bloco (S50). Ao contrário, se a condição C3 for falsa (NÃO em S40), a unidade de filtragem 269 aplica o filtro fraco nos componentes de diferença de cor dos pixels que ficam localizados na vizinhança do contorno de bloco (S60).
[00164] Assim, o fluxo dos processos realizado pelo filtro de desbloqueio 26 de acordo com a presente modalidade foi supradescrito. Neste ínterim, os processos supradescritos em relação à Figura 9 e à Figura 10 podem ser realizados em unidades de quatro linhas dos componentes de
47 / 63 luminância da imagem decodificada no formato YUV420, por exemplo, isto é, em unidades de duas linhas dos componentes de diferença de cor da imagem decodificada. [3-3. Modificação]
[00165] A Figura 11 é uma tabela que ilustra uma modificação de bS calculada pela unidade de cálculo da intensidade do contorno 261. Similarmente ao exemplo na Figura 8, o bS é representado por 5 bits. Adicionalmente, a pluralidade de bits de bS inclui pelo menos um bit correspondente a cada um do componente Y, do componente U e do componente V. O quinto bit (bit mais superior) de bS corresponde à condição A sobre a intraprevisão, o quarto bit de bS corresponde à condição B1-Y sobre o coeficiente significativo do componente Y, o terceiro bit de bS corresponde à condição B1-U sobre o coeficiente significativo do componente U, o segundo bit de bS corresponde à condição B1-V sobre o coeficiente significativo do componente V e o primeiro bit (bit mais inferior) do bS corresponde à condição B2 sobre o MV e a Figura de referência.
[00166] Na presente modificação, em particular, se a condição B1-Y for falsa (isto é, o bS é menor do que 8), o primeiro bit de bS é definido em 1, que é diferente do exemplo da Figura 8. Consequentemente, enquanto o bS tem qualquer um de 10 tipos de valores, tais como 0, 1, 2, 4, 6, 8, 10, 12, 14 e 16 no exemplo ilustrado na Figura 8, por outro lado, o bS tem qualquer um de 13 tipos de valores, tais como 0, 1, 2, 3, 4, 5, 6, 7, 8, 10, 12, 14 e 16 na presente modificação.
[00167] A Figura 12A e a Figura 12B são fluxogramas para explicar um exemplo do fluxo de um processo de cálculo da intensidade do contorno correspondente à modificação ilustrada na Figura 11. Considera-se que o bS é inicializado em zero antes do início do processo. Em relação à Figura 12A, primeiro, a unidade de cálculo da intensidade do contorno 261 determina se a condição A, que é a condição sobre a intraprevisão é verdadeira ou falsa
48 / 63 (S150). Se a condição A for verdadeira, bS é definido em 16 (S152) e o processo de cálculo da intensidade do contorno é terminado.
[00168] Se a condição A for falsa, a unidade de cálculo da intensidade do contorno 261 determina se a condição B1-Y, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente Y, é verdadeira ou falsa (S154). Se a condição B1-Y for verdadeira, 8 é adicionado em bS (S156). Se a condição B1-Y for falsa, a adição de 8 é ignorada (S158). Subsequentemente, é determinado se a condição B1-U, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente U, é verdadeira ou falsa (S160). Se a condição B1-U for verdadeira, 4 é adicionado em bS (S162) e, se a condição B1-U for falsa, a adição de 4 é ignorada (S164). Subsequentemente, é determinado se a condição B1-V, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente V é verdadeira ou falsa (S166). Se a condição B1-V for verdadeira, 2 é adicionado em bS (S168) e, se a condição B1-V for falsa, a adição de 2 é ignorada (S170).
[00169] Em relação à Figura 12B, um processo subsequente é ramificado dependendo se a condição B1-Y, que é a condição sobre a presença ou a ausência do coeficiente significativo do componente Y, é verdadeira ou falsa (S172). Se a condição B1-Y for verdadeira, o quarto bit de bS é igual a 1 e, portanto, um valor de bS é definido em 8 ou maior (14, 12, 10, ou 8) (S174), de forma que o processo de cálculo da intensidade do contorno seja terminado sem realização da verificação de MV a ser descrita as seguir.
[00170] Ao contrário, se a condição B1-Y for falsa, a unidade de cálculo da intensidade do contorno 261 realiza a verificação de MV (S176). A verificação de MV aqui descrita indica a determinação sobre se a condição B2, que é a condição sobre o vetor de movimento e a Figura de referência, é verdadeira ou falsa. Se a condição B2 for verdadeira, 1 é adicionado em bS
49 / 63 (S178) e, se a condição B2 for falsa, a adição de 1 é ignorada (S180). <4. Exemplo de configuração de hardware>
[00171] A série de processos supradescrita pode ser realizada por hardware ou pode ser realizada por software. Se a série de processos for realizada por software, um programa que constitui o software é instalado em um computador. Aqui, o computador inclui um computador que é incorporado em hardware dedicado, um computador pessoal de propósito geral capaz de implementar várias funções pela instalação de vários programas e congêneres.
[00172] A Figura 13 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um computador que realiza a série de processos, da forma supradescrita, pelo uso de um programa.
[00173] Em um computador 800 ilustrado na Figura 13, uma unidade de processamento central (CPU) 801, uma memória exclusiva de leitura (ROM) 802 e uma memória de acesso aleatório (RAM) 803 são conectadas umas nas outras por meio de um barramento 804.
[00174] Uma interface de entrada / saída 810 também é conectada no barramento 804. Uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade 815 são conectadas na interface de entrada / saída 810.
[00175] A unidade de entrada 811 é realizada, por exemplo, por um teclado, um mouse, um microfone, um painel sensível ao toque, um terminal de entrada ou congêneres. A unidade de saída 812 é realizada, por exemplo, por um visor, um alto-falante, um terminal de saída ou congêneres. A unidade de armazenamento 813 é realizada, por exemplo, por um disco rígido, um disco RAM, uma memória não volátil ou congêneres. A unidade de comunicação 814 é realizada, por exemplo, por uma interface de rede. A unidade 815 aciona uma mídia removível 821, tais como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora.
[00176] No computador configurado como exposto, a CPU 801 carrega
50 / 63 um programa que é armazenado, por exemplo, na unidade de armazenamento 813 sobre a RAM 803 por meio da interface de entrada / saída 810 e do barramento 804 e executa o programa, de forma que a série de processos supradescrita seja realizada. A RAM 803 também armazena apropriadamente na mesma os dados que são necessários para vários processos realizados pela CPU 801.
[00177] O programa executado pelo computador (a CPU 801) pode ser gravado na e aplicado pela mídia removível 821 como um pacote de mídia ou congêneres, por exemplo. Neste caso, pela anexação da mídia removível 821 na unidade 815, o programa pode ser instalado na unidade de armazenamento 813 por meio da interface de entrada / saída 810.
[00178] Adicionalmente, o programa pode ser provido por meio de uma mídia de transmissão com fios ou sem fios, tais como uma rede de área local, a Internet ou difusão por satélite digital. Neste caso, o programa pode ser recebido pela unidade de comunicação 814 e instalado na unidade de armazenamento 813.
[00179] Além do mais, o programa pode ser instalado na ROM 802 ou na unidade de armazenamento 813 em antecipação. <5. Conclusão>
[00180] Da forma supradescrita, de acordo com uma modalidade da presente descrição, é possível aplicar mais apropriadamente um filtro de desbloqueio nos componentes de diferença de cor de uma imagem decodificada.
[00181] Embora as modalidades preferidas da presente descrição tenham sido descritas com detalhes anteriormente em relação aos desenhos anexos, o escopo técnico da presente descrição não é limitado aos exemplos expostos. É óbvio que os versados na técnica da presente descrição podem conceber várias alternativas e modificações no escopo da ideia técnica descrita nas reivindicações anexas, e entende-se que as mesmas cairão
51 / 63 naturalmente sob o escopo técnico da presente descrição. (Parâmetro relacionado à diferença de cor)
[00182] Por exemplo, na modalidade supradescrita, foi descrito o exemplo no qual o indicador que indica a presença ou a ausência dos coeficientes significativos dos componentes de diferença de cor em cada uma das TUs é usado como o parâmetro relacionado à diferença de cor, mas a presente tecnologia não é limitada a este exemplo. Por exemplo, os próprios coeficientes de transformação dos componentes de diferença de cor podem ser incluídos no parâmetro relacionado à diferença de cor. Neste caso, a unidade de cálculo da intensidade do contorno 261 pode calcular o bS pela determinação da presença ou da ausência dos coeficientes significativos dos componentes de diferença de cor em cada uma das TUs a partir dos coeficientes de transformação dos componentes de diferença de cor. Adicionalmente, em relação à modalidade exposta, o exemplo foi ilustrado na Figura 4 em que o valor de bS varia não apenas dependendo se alguma das condições B1-Y, B1-U e B1-V é satisfeita, mas, também, dependendo se a condição B2 é satisfeita. Entretanto, em um exemplo alternativo, da forma ilustrada na Figura 14, por exemplo, a determinação sobre se a condição B2 é satisfeita pode ser omitida para ambos dos componentes de diferença de cor U e V a fim de impedir um aumento nos custos do processamento. (Limite de determinação de bloco grande)
[00183] Na modalidade supradescrita, foi descrito o exemplo no qual o limite usado na determinação de bloco grande é definido em 16, mas a presente tecnologia não é limitada a este exemplo e o limite pode ser definido em 8 ou 32. Adicionalmente, no formato YUV444, um limite que é igual a ou maior do que o limite usado no formato YUV420 pode ser usado na determinação de bloco grande. (Filtro forte)
[00184] Na modalidade supradescrita, foi descrito o exemplo no qual o
52 / 63 filtro forte representado pelas Equações (15) até (19) é aplicado nos componentes de diferença de cor, mas o filtro forte aplicado na presente tecnologia não é limitado a este exemplo. É suficiente que o filtro forte aplicado nos componentes de diferença de cor tenha intensidade do filtro maior do que o filtro fraco. Por exemplo, o filtro forte que é aplicado nos componentes de diferença de cor na Literatura Não Patentária 2 (o filtro forte que é aplicado no componente de luminância em HEVC) pode ser aplicado nos componentes de diferença de cor na presente tecnologia. (Alvo de aplicação da presente tecnologia)
[00185] A presente tecnologia pode ser aplicada em um sistema de codificação/decodificação de imagem arbitrário. Isto é, desde que nenhuma contradição com a presente tecnologia supradescrita ocorra, as especificações de vários processos relacionados à codificação/decodificação de imagem, tais como transformação (transformação inversa), quantização (quantização inversa), codificação (decodificação) e previsão, podem ser definidas arbitrariamente e não são limitadas ao exemplo exposto. Adicionalmente, uma parte dos processos pode ser omitida, desde que nenhuma contradição com a presente tecnologia supradescrita ocorra. (Bloco)
[00186] Além do mais, na presente especificação, o “bloco” (não um bloco que indica uma unidade de processamento) que é usado como uma região parcial ou uma unidade de processamento de uma imagem (Figura) na explicação indica uma região parcial arbitrária na Figura e um tamanho, uma forma, as características e congêneres do bloco não são especificamente limitados, a menos que de outra forma especificada. Por exemplo, considera- se que o “bloco” inclui uma região parcial arbitrária (unidade de processamento), tal como um Bloco de Transformação (TB) descrito nas Literaturas de Referência REF1 a REF3, como exposto, uma Unidade de Transformação (TU), um Bloco de Previsão (PB), uma Unidade de Previsão
53 / 63 (PU), uma Menor Unidade de Codificação (SCU), uma Unidade de Codificação (CU), uma Maior Unidade de Codificação (LCU), um Bloco de Árvore de Codificação (CTB), uma Unidade de Árvore de Codificação (CTU), um bloco de transformação, um sub-bloco, um macrobloco, uma peça de mosaico, ou um fatia. (Unidade de processamento)
[00187] Uma unidade de dados para definir vários tipos de informação explicada anteriormente e uma unidade de dados que serve como um alvo para vários processos são unidades arbitrárias e não limitadas aos exemplos, como exposto. Por exemplo, cada um da informação e dos processos pode ser definido para cada Unidade de Transformação (TU), cada Bloco de transformação (TB), cada Unidade de Previsão (PU), cada Bloco de Previsão (PB), cada Unidade de Codificação (CU), cada Maior Unidade de Codificação (LCU), cada sub-bloco, cada bloco, cada peça de mosaico, cada fatia, cada Figura, cada sequência, ou cada componente, ou dados na unidade de dados podem ser adotados como um alvo. A unidade de dados pode ser, certamente, definida para cada tipo de informação e cada processo e as unidades de dados não precisam ser uniformes para todos os tipos de informação e processos. Neste ínterim, a informação pode ser armazenada em um local arbitrário e pode ser armazenada em um cabeçalho na unidade de dados, como exposto, um conjunto de parâmetros ou congêneres. Adicionalmente, a informação pode ser armazenada em uma pluralidade de locais.
[00188] Além do mais, na modalidade supradescrita, o processo de filtragem de desbloqueio nos componentes de diferença de cor é realizado em unidades de duas linhas, mas a presente tecnologia não é limitada a este exemplo. Por exemplo, no formato YUV444, o processo de filtragem de desbloqueio nos componentes de diferença de cor pode ser realizado em unidades de quatro linhas. Neste caso, a unidade de determinação da necessidade da aplicação 265 pode determinar a condição C3 supradescrita
54 / 63 em relação à primeira linha e à terceira linha. (Informação de controle)
[00189] Pode ser possível transmitir a informação de controle relacionada à presente tecnologia, da forma supradescrita, do lado da codificação para o lado da decodificação. Por exemplo, pode ser possível transmitir a informação de controle (por exemplo, enabled_flag) para controlar se permite-se (ou inibe-se) a aplicação da presente tecnologia, como exposto. Adicionalmente, por exemplo, pode ser possível transmitir a informação de controle que indica um alvo no qual a presente tecnologia supradescrita é aplicada (ou um alvo no qual a presente tecnologia não é aplicada). Por exemplo, pode ser possível transmitir a informação de controle para designar um tamanho de bloco (um limite superior, um limite inferior ou limites tanto superior quanto inferior), um quadro, um componente, uma camada ou congêneres nos quais a presente tecnologia é aplicada (ou para os quais a aplicação é permitida ou inibida). (Informação de tamanho do bloco)
[00190] Durante a designação de um tamanho de bloco no qual a presente tecnologia é aplicada, pode ser possível designar indiretamente o tamanho de bloco, além de designar diretamente o tamanho de bloco. Por exemplo, pode ser possível designar o tamanho de bloco pelo uso da informação de identificação para identificar o tamanho. Adicionalmente, por exemplo, pode ser possível designar o tamanho de bloco por uma razão ou uma diferença em relação a um tamanho de um bloco de referência (por exemplo, uma LCU, uma SCU ou congêneres). Por exemplo, quando a informação para designar um tamanho de bloco precisar ser transmitida como um elemento de sintaxe ou congêneres, pode ser possível usar, como a informação exposta, a informação para designar diretamente o tamanho, como exposto. Com esta configuração, em alguns casos, pode ser possível reduzir uma quantidade da informação na informação e melhorar uma eficiência de
55 / 63 codificação. Adicionalmente, a designação do tamanho de bloco inclui a designação de uma faixa do tamanho de bloco (por exemplo, designação de um tamanho de bloco aceitável ou congêneres). (Outros)
[00191] Na presente especificação, o “indicador” é a informação para distinguir entre vários estados e inclui não apenas a informação que é usada para distinguir entre dois estados de verdadeiro (1) e falso (0), mas, também, a informação capaz de distinguir entre três ou mais estados. Portanto, o valor do “indicador” pode compreender dois valores de 1 e 0 ou três ou mais valores. Isto é, o número de bits que constituem o “indicador” é arbitrário e pode ser 1 bit ou múltiplos bits. Além do mais, a informação de identificação (incluindo o indicador) pode ser em uma forma na qual a informação de identificação é incluída em um fluxo contínuo de bits ou em uma forma na qual a informação da diferença na informação de identificação em relação a certa informação de referência é incluída no fluxo contínuo de bits; portanto, na presente especificação, o “indicador” e a “informação de identificação” incluem não apenas a informação exposta, mas, também, a informação da diferença em relação à informação da referência.
[00192] Além do mais, vários tipos de informação (metadados ou congêneres) sobre dados codificados (fluxo contínuo de bits) podem ser transmitidos ou gravados em uma forma arbitrária, desde que a informação seja associada com os dados codificados. Aqui, uma expressão de “associação” indica que, por exemplo, outros dados são feitos disponíveis (ligáveis) para um processo em um dado. Isto é, as peças de dados associadas umas com as outras podem ser coletadas como uma única peça de dados ou podem ser separadas como peças de dados individuais. Por exemplo, a informação associada com os dados codificados (imagem) pode ser transmitida através de um caminho de transmissão diferente daquele dos dados codificados (imagem). Adicionalmente, por exemplo, a informação
56 / 63 associada com os dados codificados (imagem) pode ser gravada em uma mídia de gravação diferente (ou uma área de gravação diferente da mesma mídia de gravação) daquela dos dados codificados (imagem). Neste ínterim, a “associação” pode ser realizada em uma parte dos dados, em vez de na íntegra dos dados. Por exemplo, uma imagem e a informação correspondente à imagem podem ser associadas uma com a outra em uma unidade arbitrária, tais como uma pluralidade de quadros, um único quadro ou uma parte de um quadro.
[00193] Neste ínterim, na presente especificação, as expressões de “síntese”, “multiplicação”, “adição”, “integração”, “inclusão”, “armazenamento”, “incorporação”, “encaixe”, “inserção” e congêneres indicam uma coletânea de uma pluralidade de itens em um único item, tal como a coletânea de dados codificados e metadados em uma única peça de dados, e indica um método de “associação”, como exposto.
[00194] A presente tecnologia pode ser incorporada como qualquer configuração que constitui um aparelho ou um sistema, tais como um processador como um sistema de Integração em Larga Grande (LSI) ou congêneres, um módulo que usa uma pluralidade de processadores ou congêneres, uma unidade que usa uma pluralidade de módulos ou congêneres, ou um conjunto no qual outras funções são adicionadas em unidades (isto é, uma configuração como uma parte de um aparelho).
[00195] Neste ínterim, na presente especificação, o sistema indica um conjunto de uma pluralidade de elementos estruturais (aparelhos, módulos (partes) e congêneres) e não importa se todos os elementos estruturais são incluídos em um único alojamento. Portanto, uma pluralidade de aparelhos que são alojados em diferentes alojamentos e conectados uns nos outros por meio de uma rede e um único aparelho que inclui uma pluralidade de módulos em um único alojamento são sistemas.
[00196] Além do mais, por exemplo, uma configuração supradescrita
57 / 63 como um único aparelho (ou unidade de processamento) pode ser dividida e configurada como uma pluralidade de aparelhos (ou unidades de processamento). Ao contrário, as configurações supradescritas como uma pluralidade de aparelhos (ou unidades de processamento) podem ser coletadas e configuradas como um único aparelho (ou unidade de processamento). Além do mais, as configurações diferentes das configurações supradescritas podem ser certamente adicionadas em cada um dos aparelhos (ou cada uma das unidades de processamento). Além do mais, desde que a configuração e a operação da íntegra do sistema sejam substancialmente as mesmas, pode ser possível incorporar uma parte das configurações de um certo aparelho (ou unidade de processamento) nas configurações de um aparelho diferente (ou unidade diferente). Além do mais, por exemplo, a presente tecnologia pode ser configurada como computação em nuvem na qual uma única função é processada por ser distribuída e compartilhada entre uma pluralidade de aparelhos por meio de uma rede.
[00197] Além do mais, por exemplo, cada uma das etapas descritas nos fluxogramas expostos pode ser realizada por uma pluralidade de aparelhos de uma maneira distribuída, além de ser realizada por um único aparelho. Além do mais, se uma pluralidade de processos for incluída em uma única etapa, os processos incluídos na única etapa podem ser realizados por uma pluralidade de aparelhos de uma maneira distribuída, além de ser realizados por um único aparelho. Em outras palavras, uma pluralidade de processos incluídos em uma única etapa podem ser realizados como processos em uma pluralidade de etapas. Ao contrário, os processos descritos como uma pluralidade de etapas podem ser coletivamente realizados como uma única etapa.
[00198] Neste ínterim, um programa executado pelo computador pode ser configurado de maneira tal que os processos das etapas para gravar o programa sejam cronologicamente realizados na mesma ordem descrita na presente especificação, pode ser realizado de uma maneira paralela, ou pode
58 / 63 ser realizado independentemente em um sincronismo necessário, tal como quando chamado. Isto é, desde que nenhuma contradição ocorra, os processos nas respectivas etapas podem ser realizados em uma ordem diferente da ordem exposta. Além do mais, os processos nas etapas para gravar o programa podem ser realizados em paralelo os processos de outros programas, ou podem ser realizados em combinação com os processos de outros programas.
[00199] Além do mais, os efeitos descritos na presente especificação são meramente ilustrativos ou exemplares e não limitantes. Isto é, a tecnologia de acordo com a presente descrição pode exibir outros efeitos aparentes aos versados na técnica da descrição da presente especificação, além dos ou no lugar dos efeitos supradescritos.
[00200] As seguintes configurações também estão no escopo técnico da presente descrição.
[00201] (1) Um aparelho de processamento de imagem que compreende: uma unidade de decodificação configurada para gerar uma imagem decodificada pela decodificação de um fluxo contínuo codificado; uma unidade de determinação configurada para adotar um contorno de bloco da imagem decodificada como um alvo e determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; e uma unidade de filtragem configurada para aplicar um filtro de desbloqueio em componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio.
[00202] (2) O aparelho de processamento de imagem, de acordo com
59 / 63 (1), em que o parâmetro relacionado à diferença de cor inclui a informação sobre os coeficientes de transformação dos componentes de diferença de cor, e a intensidade do contorno é calculada com base em se os coeficientes significativos dos componentes de diferença de cor estão presentes em blocos que ensanduicham o contorno de bloco como um alvo para o cálculo da intensidade do contorno.
[00203] (3) O aparelho de processamento de imagem, de acordo com (2), em que a intensidade do contorno é calculada pela determinação independentemente se um coeficiente significativo de cada um dos componentes está presente nos blocos que ensanduicham o contorno de bloco como o alvo para o cálculo da intensidade do contorno.
[00204] (4) O aparelho de processamento de imagem, de acordo com (1), em que a intensidade do contorno é representada por uma pluralidade de bits, e a pluralidade de bits inclui pelo menos um bit correspondente a cada um dos componentes.
[00205] (5) O aparelho de processamento de imagem, de acordo com (1), em que a unidade de determinação determina a necessidade da aplicação do filtro de desbloqueio através da determinação com base na intensidade do contorno e na determinação de bloco grande usando os tamanhos de bloco dos blocos que ensanduicham o contorno de bloco.
[00206] (6) O aparelho de processamento de imagem, de acordo com (5), em que, se a intensidade do contorno tiver um valor relacionado a interprevisão, a unidade de determinação realiza a determinação de bloco grande.
[00207] (7) O aparelho de processamento de imagem, de acordo com
60 / 63 (5), em que a unidade de determinação realiza a determinação de bloco grande com base nos tamanhos dos blocos que ensanduicham o contorno de bloco, os tamanhos sendo tamanhos em uma direção perpendicular ao contorno de bloco.
[00208] (8) O aparelho de processamento de imagem, de acordo com (7), em que a unidade de determinação realiza a determinação de bloco grande com base em se os tamanhos dos blocos que ensanduicham o contorno de bloco são maiores do que 16, os tamanhos sendo tamanhos na direção perpendicular ao contorno de bloco.
[00209] (9) O aparelho de processamento de imagem, de acordo com (1), em que a unidade de filtragem aplica, como o filtro de desbloqueio, um dentre um filtro fraco e um filtro forte nos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco.
[00210] (10) O aparelho de processamento de imagem, de acordo com (9), em que um coeficiente do filtro forte é definido em 2 em uma posição central de um alcance alvo da aplicação do filtro forte, e definido em 1 em outras posições.
[00211] (11) O aparelho de processamento de imagem, de acordo com (9), em que a unidade de filtragem adota três pixels em ambos os lados do contorno de bloco como um alcance alvo da aplicação do filtro forte, e aplica o filtro forte nos componentes de diferença de cor dos pixels incluídos no alcance alvo da aplicação pelo uso de três pixels em ambos os lados de uma posição central do alcance alvo da aplicação como pixels de referência.
[00212] (12) O aparelho de processamento de imagem, de acordo com (11), em que a unidade de filtragem realiza preenchimento e usa, como um valor de pixel do pixel de referência, um valor de pixel de um quarto pixel a partir do contorno de bloco no lugar dos pixels separados por cinco pixels ou mais a partir do contorno de bloco.
[00213] (13) O aparelho de processamento de imagem, de acordo com
61 / 63 (10), em que a unidade de filtragem aplica o filtro forte pela realização de um processo de recorte com base em um parâmetro tC que é identificado com base em um parâmetro de quantização.
[00214] (14) O aparelho de processamento de imagem, de acordo com (9), em que a unidade de determinação determina adicionalmente a intensidade de filtro do filtro de desbloqueio que é aplicado nos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco, e a unidade de filtragem aplica um do filtro fraco e do filtro forte nos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco de acordo com a intensidade do filtro determinada pela unidade de determinação.
[00215] (15) O aparelho de processamento de imagem, de acordo com (14), em que a unidade de determinação determina a intensidade do filtro depois da determinação da necessidade da aplicação do filtro de desbloqueio.
[00216] (16) O aparelho de processamento de imagem, de acordo com (15), em que a unidade de determinação determina a intensidade do filtro com base nas formas de onda dos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco.
[00217] (17) O aparelho de processamento de imagem, de acordo com (16), em que a unidade de determinação determina a intensidade do filtro com base em uma condição sobre o nivelamento dos componentes de diferença de cor dos pixels incluídos em duas linhas dentre os pixels localizados na vizinhança do contorno de bloco, uma condição sobre a continuidade dos componentes de diferença de cor, e uma condição sobre um hiato entre os componentes de diferença de cor, e a unidade de filtragem aplica o filtro forte se for determinado
62 / 63 que todas da condição sobre o nivelamento, da condição sobre a continuidade e da condição sobre o hiato são satisfeitas, e aplica o filtro fraco se for determinado que pelo menos uma das condições não é satisfeita.
[00218] (18) Um método de processamento de imagem, que compreende: gerar uma imagem decodificada pela decodificação de um fluxo contínuo codificado; adotar um contorno de bloco da imagem decodificada como um alvo; determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; e aplicar um filtro de desbloqueio nos componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio.
[00219] (19) Um aparelho de processamento de imagem, que compreende: uma unidade de determinação configurada para adotar, como um alvo, um contorno de bloco de uma imagem decodificada que é localmente decodificada, e determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; uma unidade de filtragem configurada para aplicar um filtro de desbloqueio em componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio; e
63 / 63 uma unidade de codificação configurada para codificar uma imagem usando a imagem decodificada na qual o filtro de desbloqueio é aplicado pela unidade de filtragem.
[00220] (20) Um método de processamento de imagem, que compreende: adotar, como um alvo, um contorno de bloco de uma imagem decodificada que é localmente decodificada; determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; aplicar um filtro de desbloqueio nos componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio; e codificar uma imagem usando a imagem decodificada na qual o filtro de desbloqueio é aplicado. Lista dos Sinais de Referência
[00221] 10 aparelho de codificação de imagem 16 unidade de codificação invertível 26 filtro de desbloqueio 60 aparelho de decodificação de imagem 62 unidade de decodificação invertível 261 unidade de cálculo da intensidade do contorno 263 unidade de determinação 265 unidade de determinação da necessidade da aplicação 267 unidade de determinação da intensidade do filtro 269 unidade de filtragem
Claims (20)
1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma unidade de decodificação configurada para gerar uma imagem decodificada pela decodificação de um fluxo contínuo codificado; uma unidade de determinação configurada para adotar um contorno de bloco da imagem decodificada como um alvo e determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; e uma unidade de filtragem configurada para aplicar um filtro de desbloqueio em componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio.
2. Aparelho de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o parâmetro relacionado à diferença de cor inclui a informação sobre os coeficientes de transformação dos componentes de diferença de cor, e a intensidade do contorno é calculada com base em se os coeficientes significativos dos componentes de diferença de cor estão presentes em blocos que ensanduicham o contorno de bloco como um alvo para o cálculo da intensidade do contorno.
3. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a intensidade do contorno é calculada pela determinação independentemente se um coeficiente significativo de cada um dos componentes está presente nos blocos que ensanduicham o contorno de bloco como o alvo para o cálculo da intensidade do contorno.
4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a intensidade do contorno é representada por uma pluralidade de bits, e a pluralidade de bits inclui pelo menos um bit correspondente a cada um dos componentes.
5. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de determinação determina a necessidade da aplicação do filtro de desbloqueio através da determinação com base na intensidade do contorno e na determinação de bloco grande usando os tamanhos de bloco dos blocos que ensanduicham o contorno de bloco.
6. Aparelho de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que, se a intensidade do contorno tiver um valor relacionado a interprevisão, a unidade de determinação realiza a determinação de bloco grande.
7. Aparelho de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de determinação realiza a determinação de bloco grande com base nos tamanhos dos blocos que ensanduicham o contorno de bloco, os tamanhos sendo tamanhos em uma direção perpendicular ao contorno de bloco.
8. Aparelho de processamento de imagem de acordo com a reivindicação 7, caracterizado pelo fato de que a unidade de determinação realiza a determinação de bloco grande com base em se os tamanhos dos blocos que ensanduicham o contorno de bloco são maiores do que 16, os tamanhos sendo tamanhos na direção perpendicular ao contorno de bloco.
9. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de filtragem aplica,
como o filtro de desbloqueio, um dentre um filtro fraco e um filtro forte nos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco.
10. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que um coeficiente do filtro forte é definido em 2 em uma posição central de um alcance alvo da aplicação do filtro forte, e definido em 1 em outras posições.
11. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que a unidade de filtragem adota três pixels em ambos os lados do contorno de bloco como um alcance alvo da aplicação do filtro forte, e aplica o filtro forte nos componentes de diferença de cor dos pixels incluídos no alcance alvo da aplicação pelo uso de três pixels em ambos os lados de uma posição central do alcance alvo da aplicação como pixels de referência.
12. Aparelho de processamento de imagem de acordo com a reivindicação 11, caracterizado pelo fato de que a unidade de filtragem realiza preenchimento e usa, como um valor de pixel do pixel de referência, um valor de pixel de um quarto pixel a partir do contorno de bloco no lugar dos pixels separados por cinco pixels ou mais a partir do contorno de bloco.
13. Aparelho de processamento de imagem de acordo com a reivindicação 10, caracterizado pelo fato de que a unidade de filtragem aplica o filtro forte pela realização de um processo de recorte com base em um parâmetro tC que é identificado com base em um parâmetro de quantização.
14. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que a unidade de determinação determina adicionalmente a intensidade de filtro do filtro de desbloqueio que é aplicado nos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco, e a unidade de filtragem aplica um do filtro fraco e do filtro forte nos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco de acordo com a intensidade do filtro determinada pela unidade de determinação.
15. Aparelho de processamento de imagem de acordo com a reivindicação 14, caracterizado pelo fato de que a unidade de determinação determina a intensidade do filtro depois da determinação da necessidade da aplicação do filtro de desbloqueio.
16. Aparelho de processamento de imagem de acordo com a reivindicação 15, caracterizado pelo fato de que a unidade de determinação determina a intensidade do filtro com base nas formas de onda dos componentes de diferença de cor dos pixels localizados na vizinhança do contorno de bloco.
17. Aparelho de processamento de imagem de acordo com a reivindicação 16, caracterizado pelo fato de que a unidade de determinação determina a intensidade do filtro com base em uma condição sobre o nivelamento dos componentes de diferença de cor dos pixels incluídos em duas linhas dentre os pixels localizados na vizinhança do contorno de bloco, uma condição sobre a continuidade dos componentes de diferença de cor, e uma condição sobre um hiato entre os componentes de diferença de cor, e a unidade de filtragem aplica o filtro forte se for determinado que todas da condição sobre o nivelamento, da condição sobre a continuidade e da condição sobre o hiato são satisfeitas, e aplica o filtro fraco se for determinado que pelo menos uma das condições não é satisfeita.
18. Método de processamento de imagem, caracterizado pelo fato de que compreende: gerar uma imagem decodificada pela decodificação de um fluxo contínuo codificado;
adotar um contorno de bloco da imagem decodificada como um alvo; determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; e aplicar um filtro de desbloqueio nos componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio.
19. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma unidade de determinação configurada para adotar, como um alvo, um contorno de bloco de uma imagem decodificada que é localmente decodificada, e determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; uma unidade de filtragem configurada para aplicar um filtro de desbloqueio em componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio; e uma unidade de codificação configurada para codificar uma imagem usando a imagem decodificada na qual o filtro de desbloqueio é aplicado pela unidade de filtragem.
20. Método de processamento de imagem, caracterizado pelo fato de que compreende: adotar, como um alvo, um contorno de bloco de uma imagem decodificada que é localmente decodificada;
determinar a necessidade da aplicação do filtro de desbloqueio em relação aos componentes de diferença de cor da imagem decodificada com base na intensidade do contorno que é calculada usando um parâmetro relacionado à diferença de cor relacionado a uma diferença de cor; aplicar um filtro de desbloqueio nos componentes de diferença de cor dos pixels localizados em uma vizinhança do contorno de bloco com base em um resultado da determinação da necessidade da aplicação do filtro de desbloqueio; e codificar uma imagem usando a imagem decodificada na qual o filtro de desbloqueio é aplicado.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-065130 | 2018-03-29 | ||
| JP2018065130 | 2018-03-29 | ||
| JP2018-106367 | 2018-06-01 | ||
| JP2018106367 | 2018-06-01 | ||
| PCT/JP2018/047039 WO2019187412A1 (ja) | 2018-03-29 | 2018-12-20 | 画像処理装置、及び画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112020019125A2 true BR112020019125A2 (pt) | 2021-01-12 |
Family
ID=68061169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112020019125-6A BR112020019125A2 (pt) | 2018-03-29 | 2018-12-20 | Aparelho e método de processamento de imagem. |
Country Status (15)
| Country | Link |
|---|---|
| US (2) | US20210021819A1 (pt) |
| EP (1) | EP3780602A4 (pt) |
| JP (4) | JP7294322B2 (pt) |
| KR (3) | KR102632984B1 (pt) |
| CN (3) | CN116634148A (pt) |
| AU (1) | AU2018416684B2 (pt) |
| BR (1) | BR112020019125A2 (pt) |
| CA (1) | CA3094818A1 (pt) |
| MX (2) | MX2020009875A (pt) |
| PH (1) | PH12020551525A1 (pt) |
| RU (1) | RU2020131227A (pt) |
| SG (1) | SG11202009084QA (pt) |
| TW (3) | TWI800624B (pt) |
| WO (1) | WO2019187412A1 (pt) |
| ZA (1) | ZA202005830B (pt) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020229625A1 (en) * | 2019-02-27 | 2021-10-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Deblocking using sub-pel motion vector threshold |
| SG11202112263YA (en) * | 2019-05-04 | 2021-12-30 | Huawei Tech Co Ltd | An encoder, a decoder and corresponding methods using an adaptive loop filter |
| WO2020262928A1 (ko) * | 2019-06-23 | 2020-12-30 | 엘지전자 주식회사 | 비디오/영상 코딩 시스템에서 디블록킹 필터링 방법 및 장치 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009004920A (ja) * | 2007-06-19 | 2009-01-08 | Panasonic Corp | 画像符号化装置および画像符号化方法 |
| JP5490404B2 (ja) * | 2008-12-25 | 2014-05-14 | シャープ株式会社 | 画像復号装置 |
| CN106385586A (zh) * | 2010-12-07 | 2017-02-08 | 索尼公司 | 图像处理设备和图像处理方法 |
| MY167204A (en) * | 2011-06-28 | 2018-08-13 | Sony Corp | Image processing device and image processing method |
| KR102111917B1 (ko) * | 2011-06-30 | 2020-05-18 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 |
| CN108989806B (zh) * | 2011-09-20 | 2021-07-27 | Lg 电子株式会社 | 用于编码/解码图像信息的方法和装置 |
| CN103891292B (zh) * | 2011-10-24 | 2018-02-02 | 寰发股份有限公司 | 视频数据环路滤波处理方法及其装置 |
| US9167269B2 (en) * | 2011-10-25 | 2015-10-20 | Qualcomm Incorporated | Determining boundary strength values for deblocking filtering for video coding |
| KR102218002B1 (ko) * | 2011-11-04 | 2021-02-19 | 엘지전자 주식회사 | 영상 정보 인코딩/디코딩 방법 및 장치 |
| WO2013077714A1 (ko) * | 2011-11-27 | 2013-05-30 | 엘지전자 주식회사 | 영상 정보 인코딩/디코딩 방법 및 장치 |
| CN108900839B (zh) * | 2011-12-28 | 2022-05-31 | 夏普株式会社 | 图像解码装置及方法、图像编码装置及方法 |
| SG11201607282YA (en) * | 2014-03-04 | 2016-09-29 | Microsoft Technology Licensing Llc | Adaptive switching of color spaces, color sampling rates and/or bit depths |
| US10142642B2 (en) * | 2014-06-04 | 2018-11-27 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
| US20150373327A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Block adaptive color-space conversion coding |
| JP6620354B2 (ja) * | 2015-09-30 | 2019-12-18 | Kddi株式会社 | 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体 |
| JP7310139B2 (ja) * | 2016-12-28 | 2023-07-19 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
| US10750171B2 (en) * | 2018-06-25 | 2020-08-18 | Google Llc | Deblocking filtering |
-
2018
- 2018-12-20 KR KR1020207026853A patent/KR102632984B1/ko active IP Right Grant
- 2018-12-20 AU AU2018416684A patent/AU2018416684B2/en active Active
- 2018-12-20 EP EP18911447.3A patent/EP3780602A4/en active Pending
- 2018-12-20 JP JP2020509647A patent/JP7294322B2/ja active Active
- 2018-12-20 KR KR1020247018588A patent/KR102714827B1/ko active IP Right Grant
- 2018-12-20 WO PCT/JP2018/047039 patent/WO2019187412A1/ja active Application Filing
- 2018-12-20 CN CN202310729482.3A patent/CN116634148A/zh active Pending
- 2018-12-20 RU RU2020131227A patent/RU2020131227A/ru unknown
- 2018-12-20 SG SG11202009084QA patent/SG11202009084QA/en unknown
- 2018-12-20 CA CA3094818A patent/CA3094818A1/en active Pending
- 2018-12-20 CN CN201880091645.7A patent/CN111903124B/zh active Active
- 2018-12-20 CN CN202310729495.0A patent/CN116634149A/zh active Pending
- 2018-12-20 KR KR1020247003320A patent/KR102673135B1/ko active IP Right Grant
- 2018-12-20 MX MX2020009875A patent/MX2020009875A/es unknown
- 2018-12-20 BR BR112020019125-6A patent/BR112020019125A2/pt unknown
- 2018-12-20 US US16/980,851 patent/US20210021819A1/en not_active Abandoned
-
2019
- 2019-03-19 TW TW108109265A patent/TWI800624B/zh active
- 2019-03-19 TW TW112106039A patent/TWI824940B/zh active
- 2019-03-19 TW TW112138310A patent/TW202406345A/zh unknown
-
2020
- 2020-09-21 ZA ZA2020/05830A patent/ZA202005830B/en unknown
- 2020-09-22 MX MX2024001585A patent/MX2024001585A/es unknown
- 2020-09-22 PH PH12020551525A patent/PH12020551525A1/en unknown
-
2023
- 2023-03-31 US US18/193,641 patent/US20230239471A1/en active Pending
- 2023-06-05 JP JP2023092309A patent/JP7533694B2/ja active Active
-
2024
- 2024-07-23 JP JP2024117798A patent/JP2024144523A/ja active Pending
- 2024-07-23 JP JP2024117797A patent/JP2024144522A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201832562A (zh) | 具有減低複雜性之視訊寫碼中之雙邊濾波器 | |
| BR112019018464A2 (pt) | indicador de filtragem intra na codificação de vídeo | |
| CN107409217A (zh) | 用于视频编码的自适应模式检查次序 | |
| JP2017538381A (ja) | ビデオ符号化における成分間予測 | |
| JP2019534629A (ja) | 画像処理方法及びこのための装置 | |
| BR112014009431B1 (pt) | Método para codificar dados de vídeo, aparelho para codificar vídeo e memória legível por computador | |
| KR102586674B1 (ko) | 경계 강제 파티션에 대한 개선 | |
| BR112015030508B1 (pt) | Dispositivos e métodos de codificação de imagem e de decodificação de imagem | |
| BR112016013761B1 (pt) | Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador | |
| BR112020019125A2 (pt) | Aparelho e método de processamento de imagem. | |
| KR101912769B1 (ko) | 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치 | |
| KR20180021101A (ko) | 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 | |
| CN113853785A (zh) | 用于残差编解码的上下文建模 | |
| US20180288407A1 (en) | Method and apparatus for processing video signal using graph-based transformation based on prediction angle | |
| KR20180009048A (ko) | 영상의 부호화/복호화 방법 및 이를 위한 장치 | |
| KR20170074948A (ko) | 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치 | |
| KR20170072243A (ko) | 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치 | |
| BR112021007712A2 (pt) | dispositivo e método de processamento de imagem | |
| KR20200004348A (ko) | 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치 | |
| WO2023245349A1 (zh) | 一种局部光照补偿方法、视频编解码方法、装置和系统 | |
| BR112021014861A2 (pt) | Método e aparelho para desbloquear pelo menos um contorno vertical ou horizontal de uma unidade de codificação, e, portadora |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] |