BR112012026492B1

BR112012026492B1 - Método e aparelho para processamento de deslocamento adaptativo de dados de vídeo e método e aparelho para decodificar uma corrente de bits de vídeo

Info

Publication number: BR112012026492B1
Application number: BR112012026492-3A
Authority: BR
Inventors: Chih-Ming Fu; Ching-Yeh Chen; Yu-Wen Huang
Original assignee: Hfi Innovation Inc
Priority date: 2010-06-15
Filing date: 2011-05-03
Publication date: 2021-12-14
Also published as: TWI491263B; US20110305274A1; ES2898660T3; DK3082339T3; WO2011157084A1; KR20130019423A; US8660174B2; AU2011267667A1; PL3082339T3; BR112012026492A2; AU2011267667B2; CN102742275A; CN102742275B; KR101433501B1; TW201223291A; HUE056653T2; EP3082339A1; EP3082339B1; EP2458862A3; BR112012026492A8

Abstract

MÉTODO E APARELHO PARA PROCESSAMENTO DE DESLOCAMENTO ADAPTATIVO DE DADOS DE VÍDEO E MÉTODO E APARELHO PARA DECODIFICAR UMA CORRENTE DE BITS DE VÍDEO. Um aparelho e método para a recuperação de deslocamento adaptativo de conteúdo são descritos. No sistema de processamento de vídeo, devido a várias operações metamáticas aplicadas aos dados, a intensidade média dos dados de vídeo processados pode ser deslocada a partir de intensidade média dos dados originais. O deslocamento de intensidade irá resultar em artefatos visíveis. Deste modo restauração de deslocamento adaptativa é revelada que deriva deslocamento de intensidade para uma região de uma imagem com base nas características dinâmicas dos pixels subjacentes. De acordo com a medição de características de pixels subjacentes, os pixels em cada região são classificados em três classes e um deslocamento de intensidade é determinado para classe. A medição de características pode ser baseada em padrões de pixel em um pixel subjacente e as características podem ser relacionadas com a borda, pico e vale no pixel subjacente. Em alternativa, a medição de características pode ser baseada na intensidade de pixel de um pixel subjacente e a intensidade de pixel é dividida em diversas bandas para classificação

Description

REFERÊNCIA CRUZADA PARA PEDIDOS RELACIONADOS

[001] A presente invenção reivindica a prioridade dePedido de Patente Provisório n ° US 61/354.789, depositado em 15 de junho de 2010, intitulado "Método de Restauração Adaptativa em Codificação de Vídeo". O Pedido de Patente Provisório US é aqui incorporado por referência na sua totalidade. A presente invenção também reivindica prioridade par Pedido de Patente n ° US 12/987.151, depositado em 09 de janeiro de 2011. O Pedido de Patente US é também aqui incorporado por referência na sua totalidade.

CAMPO TÉCNICO

[002] A presente invenção refere-se ao processamento devídeo. Em particular, a presente invenção refere-se a aparelho e método para restauração de deslocamento adaptativa.

FUNDAMENTOS

[003] Os dados de vídeo em formato digital oferecemmuitas vantagens em relação ao formato analógico convencional e tornou-se o formato dominante para armazenamento e transmissão de vídeo. Os dados de vídeo são geralmente digitalizados em um inteiro representado por um número fixo de bits, como 8 bits ou 10 bits por amostra. Além disso, os dados de vídeo de cor são frequentemente representados através de um sistema de cor selecionado, tal como Coordenadas de cor principal Vermelho-Verde-Azul (RGB) ou um sistema de luminância-crominância. Um sistema de corde luminância-crominância usado popularmente usado em vídeo digital é o sistema de cor YCrCb bem conhecido, onde Y é referido como o componente de luminância e Cr e Cb são referidos como os componentes de crominância. Os componentes RGB e componente Y são associados com a intensidade das cores primárias e a luminância respectivamente, e sua representação digital é frequentemente mapeada para um inteiro com um intervalo associado com o número de bits da representação digital. Por exemplo, um dado de vídeo de 8 bits normalmente representa um nível de intensidade de 0 a 255. Por outro lado, os componentes de crominância, Cr e Cb, correspondem a dados de diferença e sua representação digital é frequentemente mapeada para um inteiro com valores positivos e negativos. Por exemplo, um dado Cr / Cb de 8 bits representa um nível de crominância de -128 a +127.

[004] Ao longo do percurso de processamento de um sistema de vídeo digital, o valor médio do vídeo processado pode ser deslocado o que provoca deslocamento de intensidade. A intensidade deslocando pode ser causada por filtração, arredondamento de dados, quantização, ou outros processamentos. Mudança de intensidade, também chamada de deslocamento de intensidade, pode causar perturbações visuais ou artefatos, que são especialmente notáveis quando a mudança de intensidade varia de um quadro para outro. Consequentemente, o deslocamento de intensidade de pixel tem de ser cuidadosamente restaurado para evitar os possíveis problemas mencionados acima. No entanto, os conteúdos de imagens muitas vezes são muito dinâmicos dentro de um quadro. A fim de explorar as características de conteúdo dinâmico dentro de uma imagem, é desejável desenvolver um aparelho e método para restauração de deslocamento adaptativo que pode ser aplicada a uma região de imagem. Além disso, é desejável explorar a restauração de deslocamento adaptado às características de pixel por classificar características de um pixel subjacente na região em classes. Portanto, a restauração de deslocamento pode ser realizada de forma adaptativa para cada classe.

RESUMO

[005] Um aparelho e método para restauração dedeslocamento adaptativo são divulgados. O método de acordo com a presente invenção compreende a recepção dos dados de vídeo processados, a seleção de uma região para os dados de vídeo processados, a determinação de uma classe para cada um dos pixels na região de dados de vídeo processados com base na medição de característica do referido cada um dos pixels, a determinação do deslocamento de intensidade para a classe de acordo com os pixels na região dos dados de vídeo processados e pixels respectivos em uma respectiva região de dados de vídeo originais associados, e a deslocamento dos dados de vídeo processados com base no deslocamento de intensidade para a classe. A região pode ser menor do que uma imagem de modo que o deslocamento adaptativo pode adaptar-se às características dinâmicas de uma imagem. A restauração de deslocamento adaptativo pode ser aplicada aos dados de vídeo reconstruídos antes do processamento de desbloqueio. Em uma modalidade de acordo com a presente invenção, a medição de característica baseia-se em padrões de pixel consistindo em pixels em torno de um pixel subjacente e a medição de característica está relacionada a borda, pico e vale no pixel subjacente. Em outra modalidade de acordo com a presente invenção, a medição de característica é baseada na intensidade do pixel subjacente e a intensidade é dividida em múltiplas bandas para classificação. Em ainda outra modalidade de acordo com a presente invenção, o deslocamento adaptativo compartilha a mesma classificação de pixel que filtro de circuito fechado adaptativo.

[006] Um aparelho e método para a decodificação de uma corrente de bits de vídeo, em que imagens de vídeo reconstruídas correspondentes às correntes de bits de vídeo são processadas por deslocamento adaptativo, são divulgados. O método para a decodificação de uma corrente de bits de vídeo, em que imagens de vídeo reconstruídas correspondentes à corrente de bits de vídeo são processadas por deslocamento adaptativo, compreende o processamento da corrente de bits de vídeo para reconstruir imagens de vídeo e fornecer imagens de vídeo processadas, a seleção de uma região para as imagens de vídeo processadas, a determinação de uma classe para cada um dos pixels na região das imagens de vídeo processadas com base na medição de característica do referido cada um dos pixels, a determinação do deslocamento de intensidade para a classe, tal como indicado na corrente de bits de vídeo, e a deslocamento da região das imagens de vídeo processadas com base no deslocamento de intensidade para a classe. A região pode ser menor do que uma imagem de modo que o deslocamento adaptativo pode adaptar-se às características dinâmicas de uma imagem. A restauração de deslocamento adaptativo pode ser aplicada aos dados de vídeo reconstruídos antes do processamento de desbloqueio. Em uma modalidade de acordo com a presente invenção, a medição de característica baseia-se no padrão de pixel consistindo de pixels em torno de um pixel subjacente e a medição de característica está relacionada a borda, pico e vale no pixel subjacente. Em outra modalidade de acordo com a presente invenção, a medição de característica é baseada na intensidade do pixel subjacente e a intensidade é dividida em múltiplas bandas para classificação. Em ainda outra modalidade de acordo com a presente invenção, o deslocamento adaptativo compartilha a mesma classificação de pixel que filtro de circuito fechado adaptativo.

BREVE DESCRIÇÃO DOS DESENHOS

[007] A Figura 1 ilustra um diagrama de blocos de sistema de um codificador de vídeo exemplar para codificação de vídeo de alta eficiência.

[008] A Figura 2 ilustra um diagrama de blocos de sistema de um decodificador de vídeo exemplar para codificação de vídeo de alta eficiência.

[009] A Figura3 ilustra um exemplo de deslocamento adaptativo com base na categoria de pixel, onde a categoria é determinada de acordo com o pixel C e seus pixels vizinhos n1-n4.

[0010] A Figura 4 ilustra um diagrama de blocos de sistema de um codificador de vídeo para codificação de vídeo de elevada eficiência contendo restauração de deslocamento adaptativo de acordo com uma modalidade da presente invenção.

[0011] A Figura 5 A ilustra um exemplo de dividir o intervalo de intensidade em 16 bandas espaçadas igualmente.

[0012] A Figura 5B ilustra um exemplo de dividir o intervalo de intensidade em 12 bandas não uniformes.

[0013] A Figura 6A ilustra uma configuração de um pixelatual e seus pixels vizinhos para a determinação de categoria de pixel.

[0014] A Figura 6B ilustra uma configuração alternativade um pixel atual e os seus pixels vizinhos para a determinação de categoria de pixel.

[0015] As Figuras 7A-D ilustram várias configuraçõeslineares de um pixel atual e os seus pixels vizinhos para a determinação de categoria de pixel.

DESCRIÇÃO DETALHADA

[0016] Os dados de vídeo em formato digital oferecemmuitas vantagens em relação ao formato analógico convencional e tornou-se o formato dominante para armazenamento e transmissão de vídeo. Os dados de vídeo são geralmente digitalizados em um inteiro representado por um número fixo de bits, como 8 bits ou 10 bits por amostra. Além disso, os dados de vídeo de cor são frequentemente representados através de um sistema de cor selecionado, tal como Coordenadas de cor principal Vermelho-Verde-Azul (RGB) ou um sistema de luminância-crominância. Um sistema de corde luminância-crominância usado popularmente usado em vídeodigital é o sistema de cor YCrCb bem conhecido, onde Y é referido como o componente de luminância e Cr e Cb são referidos como os componentes de crominância. Os componentes RGB e componente Y são associados com a intensidade das cores primárias e a luminância respectivamente, e a sua representação digital é frequentemente mapeada para um inteiro com um intervalo associado com o número de bits da representação digital. Por exemplo, um dado de vídeo de 8 bits normalmente representa um nível de intensidade de 0 a 255. Por outro lado, os componentes de crominância, Cr e Cb, correspondem a dados de diferença e sua representação digital é frequentemente mapeada para um inteiro com valores positivos e negativos. Por exemplo, um dado Cr / Cb de 8 bits representa um nível de crominância de -128 a +127.

[0017] Ao longo do percurso de processamento de um sistema de vídeo digital, o valor médio do vídeo processado pode ser deslocado o que provoca deslocamento de intensidade. A mudança de intensidade pode ser causada por filtração, arredondamento de dados, quantização, ou outros processamentos. Mudança de intensidade, também chamada de deslocamento de intensidade, pode causar perturbações visuais ou artefatos, que são especialmente notáveis quando a mudança de intensidade varia de um quadro para outro. Consequentemente, a intensidade de pixel deve ter deslocamento cuidadosamente corrigido para evitar os possíveis problemas mencionados acima. No entanto, os conteúdos de imagem são muitas vezes muito dinâmicos entre os quadros e dentro de um quadro e mudam de tempos em tempos. A fim de explorar a vantagem do processamento de pixel adaptativo de conteúdo em um ambiente de vídeo dinâmico, é desejável desenvolver um sistema e método que podem selecionar uma unidade de imagem, denominada conjunto predefinido, para os dados de vídeo subjacentes para melhorar ainda mais a qualidade de dados de vídeo processados. O conjunto predefinido pode ser selecionado para capturar as características dinâmicas dos dados de vídeo subjacentes.

[0018] O codificador exemplar mostrado na Figura 1representa um sistema usando intra / interpredição. Intrapredição 110 é responsável por fornecer dados de predição com base em dados de vídeo na mesma imagem. Para interpredição, estimativa de movimento (ME) e deslocamento de movimento (MC) 112 são usados para fornecer dados de predição com base em dados de vídeo de outra imagem ou imagens. Comutador 114 seleciona os dados de intrapredição ou interpredição e os dados de predição selecionados são fornecidos ao adicionador 116 para formar os erros de predição, também chamados de resíduos. O erro de predição é então processado por transformação (T) 118 seguida dequantização (Q) 120. Os resíduos transformados equantizados são então codificados por codificação de entropia 122 para formar uma corrente de bits correspondente aos dados de vídeo comprimidos. A corrente de bits associada com os coeficientes de transformação é então embalada com informações laterais, tais como o movimento, modo, e outra informação associada com a área da imagem. A informação lateral pode também ser sujeita à codificação de entropia para reduzir a largura de banda requerida e, consequentemente, os dados associados com a informação lateral são fornecidos para a codificação de entropia 122, como mostrado na Figura 1. Quando um modo de interpredição é utilizado, uma imagem de referência ou imagens de referência tem de ser reconstruídas no final de codificador. Consequentemente, os resíduos transformados e quantizados são processados por quantização inversa (IQ) 124 e transformação inversa (TI) 126 para recuperar os resíduos. Os resíduos são em seguida adicionados de volta aos dados de predição 136 na reconstrução (REC) 128 para reconstruir os dados de vídeo. Os dados de vídeo reconstruídos podem ser armazenados no buffer de imagem de referência 134 e utilizados para a predição de outros quadros. No entanto, filtro de desbloqueio 130 e filtro de circuito fechado adaptativo 132 são aplicados aos dados de vídeo reconstruídos antes dos dados de vídeo serem armazenados no buffer de imagem de referência, a fim de melhorar a qualidade de vídeo. A informação de filtro de circuito fechado adaptativo pode ter de ser transmitida na corrente de bits para que um decodificador possa adequadamente recuperar a informação necessária para aplicar o filtro de circuito fechado adaptativo. Portanto, a informação de filtro de circuito fechado adaptativo a partir de ALF 132 é fornecida para codificação de entropia 122 para incorporação na corrente de bits final. Como está mostrado na Figura 1, os dados de vídeo de entrada passam por uma série de processamento no sistema de codificação e os dados de vídeo reconstruídos a partir de REC 128 podem ser sujeitos a deslocamento de intensidade devido à série de processamentos. Os dados de vídeo reconstruídos são ainda processados por desbloqueio 130 e filtro de circuito fechado adaptativo 132, o que pode causar deslocamento de intensidade adicional. Por conseguinte, é desejável incorporar restauração de deslocamento, também chamada de correção de deslocamento, para restabelecer o deslocamento de intensidade.

[0019] A Figura 2 ilustra um diagrama de blocos de sistema de um decodificador de vídeo para codificação de vídeo de alta eficiência. Uma vez que o codificador também contém partes para reconstruir os dados de vídeo, algumas partes de decodificador são já utilizadas no codificador. No entanto, o decodificador de entropia 222 não é utilizado pelo codificador. Além disso, apenas deslocamento de movimento 212 é necessária para o lado de decodificador. O comutador 214 seleciona intrapredição ou interpredição e os dados de predição selecionados são fornecidos para reconstrução (REC) 128 para serem combinados com os resíduos recuperados. Além de realizar decodificação de entropia para os dados de vídeo comprimidos, decodificação de entropia 222 é também responsável pela decodificação de entropia da informação lateral e fornece a informação lateral para os respectivos blocos. Por exemplo, informação intra modo é fornecida para intrapredição 110, informação inter modo é fornecida para deslocamento de movimento 212, informação de filtro de circuito fechado adaptativo é fornecida para ALF 132 e resíduos são fornecidos a quantização inversa 124. Os resíduos são processados por IQ 124, IT 126 e processo de reconstrução subsequente para reconstruir os dados de vídeo. Mais uma vez, tal como é mostrado na Figura 2, dados de vídeo reconstruídos a partir de REC 128 passam por uma série de processamentos incluindo IQ 124 e IT 126 e estão sujeitos a deslocamento de intensidade. Os dados de vídeo reconstruídos são ainda processados por filtro de desbloqueio 130 e filtro de circuito fechado adaptativo 132, o que pode causar deslocamento de intensidade adicional. Por conseguinte, é desejável incorporar correção de deslocamento para compensar o deslocamento de intensidade.

[0020] A fim de superar os problemas de deslocamento, McCann et al. revelaram uma correção extrema adaptativa de conteúdo e correção de banda em "Resposta da Samsung para a Chamada para Propostas de Tecnologia de Compressão de Vídeo", documento: JCTVC-A124, equipe de colaboração conjunta sobre Codificação de Vídeo (JCT-VC) de ITU-T SG16 WP3 e ISO / IEC JTC1/SC29/WG11, 1° Encontro: Dresden, Alemanha, 15 a 23 de abril, 2010. O uso de informações de conteúdo baseadas em pixels vizinhos pode explorar as características de borda locais e pode resultar em um melhor desempenho em termos de melhor qualidade visual ou redução da taxa de bits. McCann et al. divulgaram uma configuração de pixel vizinho, como mostrado na Figura 3, onde C é o valor do pixel atual e n1 a n4 são quatro pixels vizinhos no lado de topo, esquerdo, direito e inferior do pixel atual, respectivamente. O método para classificar pixels em sete categorias de acordo com a McCann et al. é mostrado na tabela seguinte:

[0021] Para a categoria 0, o pixel C é um mínimo local, também chamado um vale. Para a categoria 5, o pixel C é um máximo local, também chamado de pico. Para as categorias 1, 2, 3 e 4, o pixel C é em uma borda de objeto. Para pixels em cada categoria, a diferença entre a média de dados de vídeo processados e a média de dados de vídeo originais é calculada e transmitida para o decodificador. Os dados de vídeo processados podem ser dados de vídeo reconstruídos a partir de REC 128, os dados desbloqueados de DF 130 ou os dados filtrados de circuito fechado adaptativo de ALF 132. McCann et al. classifica as características de borda em "categorias", que também são denominadas como "classes". Enquanto a Figura 1 e Figura 2 ilustram os sistemas exemplares que deslocamento adaptativo para codificação de vídeo pode ser aplicado, outros sistemas podem também incorporar a presente invenção para ultrapassar o problema de deslocamento de intensidade. Por exemplo, no sistema de processamento de imagem de câmara, os dados de vídeo processados por “demosaicing” (processo de combinação de informação de cor a partir de pixels adjacentes), balanceamento de branco, e / ou melhoria de borda pode também ser sujeitos a deslocamento de intensidade. Como divulgado acima, McCann et al. aplica uma primeira correção de deslocamento de intensidade de dados processados entre DF 130 e ALF 132 de acordo com a característica de borda de pixel subjacente. A correção de deslocamento adaptativo baseado na característica de borda de pixel subjacente é denominada como Correção Extrema (EXC) por McCann et al.

[0022] De acordo com McCann et al., a correção extrema acima é aplicada a dados de vídeo reconstruídos. O valor de intensidade média reconstruída Vr(c) correspondendo à classe c e o valor de intensidade média original Vo(c) correspondendo à classe c são determinados para obter uma imagem de vídeo. O deslocamento Vd(c) correspondendo à classe c pode ser determinado de acordo com:

[0023] Vd(c) = Vo(c) - Vr(c).

[0024] O deslocamento Vd(c) tal como calculado acima éadicionado aos dados de vídeo reconstruídos pertencentes à classe c, ou seja, Vr’(c) = Vr(c) + Vd(c), em que Vr’(c) são os dados de vídeo de deslocamento corrigido. A fim de que um decodificador aplique o correto deslocamento para classes respectivas, os valores de deslocamento Vd(c) para todas as classes tem que ser transmitidos para o decodificador. Sintaxe de corrente de bits adequada será necessária para incorporar os valores de deslocamento Vd(c).

[0025] Enquanto McCann et al. aplicam correção extremapara dados de vídeo processados entre DF 130 e ALF 132, e correção de banda aplicada aos dados processados entre ALF 132 e o baffer de imagem de referência 134, correção de deslocamento adaptativo também pode ser aplicada a dados reconstruídos antes do DF 130 ser aplicado. A Figura 4 ilustra uma modalidade de acordo com a presente invenção, onde deslocamento adaptativo é aplicado aos dados de vídeo processados entre reconstrução 128 e DF 130.

[0026] McCann et al. divulgaram outra correção dedeslocamento adaptativo de acordo com a banda que um pixel subjacente pertence. Este método também é denominado como correção de banda (BDC). De acordo com a McCann et al., a principal motivação de classificação baseada em banda é igualar duas diferentes Funções de Densidade de Probabilidade (PDFs) de dados subjacentes correspondentes aos dados de vídeo reconstruídos e dados de vídeo originais. McCann et al. divulgaram uma classificação baseada em banda utilizando os p bits mais significativos dos pixels, o que é equivalente a dividir a intensidade em 2pclasses com intervalos uniformes. Em uma implementação, McCann et al. selecionou p = 4 para dividir a intensidade em 16 bandas espaçadas igualmente, também denominadas como classes. Para cada banda ou classe, a diferença média é calculada e transmitida para o decodificador e o deslocamento pode ser corrigido individualmente para cada banda. O valor de intensidade média reconstruído Vr(c) correspondendo à banda c ou classe c e o valor de intensidade média original Vo(c) correspondendo à banda c ou classe c são determinados por uma imagem de vídeo. Os mesmos símbolos matemáticos Vr(c) e Vo(c) para EXC têm sido usados para a conveniência. Como na correção de deslocamento adaptativo com base nas características de borda, o deslocamento Vd(c) associado correspondendo à classe c pode ser determinado de acordo com Vd(c) = Vo(c) - Vr(c). O deslocamento Vd(c) tal como calculado acima é, então, adicionado aos dados de vídeo reconstruídos pertencentes à classe c, ou seja, Vr’(c) = Vr(c) + Vd(c), em que Vr’(c) são os dados de vídeo de deslocamento corrigido. McCann et al. aplicam correção de banda para dados de vídeo processados entre ALF 132 e buffer de imagem de referência 134.

[0027] Enquanto McCann et al. divulgaram o processamento adaptativo baseado nas características relacionadas com pixels vizinhos ou banda de intensidade, não existe adaptatividade para explorar as características dinâmicas dentro de uma imagem, em que as características de uma área de imagem podem ser muito diferentes das características de uma outra área da imagem. No método por McCann el al., a determinação de categoria ou banda é sempre baseada em um quadro todo ou um grupo de imagens. Para alguns dos dados de vídeo, uma região correspondente a uma área de imagem menor pode ser mais vantajosa para o processamento adaptativo porque a categoria ou banda associada com uma menor área de imagem pode caracterizar melhor os dados de vídeo subjacentes na região. No entanto, uma menor área de imagem pode requerer mais informações de sobrecarga, tais como informações de deslocamento de intensidade no exemplo descrito por McCann et al. precisem ser transmitidas ao decodificador. Portanto, há um equilíbrio entre a melhoria de desempenho potencial e o aumento de informações de sobrecarga associadas com menores áreas de imagens. Por conseguinte, o processamento de intensidade de pixel divulgado nesta descrição utiliza uma menor área de imagem, denominada como uma região, na presente divulgação. O tamanho da região pode ser independente da área de imagem usada para o processamento de vídeo respectivo, tais como a compressão de vídeo em um sistema de compressão ou processamento de imagem do sensor de uma câmara digital. Além disso, a região pode ser configurada de forma adaptativa de imagem a imagem. Nesta divulgação, deslocamento adaptativo (AO) é também usado como uma abreviação para a correção de deslocamento adaptativo ou restauração de deslocamento adaptativo.

[0028] Em outra modalidade da presente invenção, o AO é ainda combinado com o ALF. Para cada região da imagem, AO, ALF ou uma combinação de AO e ALF pode ser aplicada para a região de forma adaptativa. Quando AO e ALF são seletivamente aplicados a uma região, o tempo de decodificação média pode ser reduzido sem sacrificar a eficiência da codificação. A fim de sinalizar se AO, ALF ou uma combinação de AO e ALF é aplicada à região, uma bandeira pode ser utilizada para a região para indicar a seleção.

[0029] Enquanto McCann et al. divulgaram correção de banda utilizando intervalos uniformes para a imagem inteira, uma modalidade de acordo com a presente invenção revela classificação de banda avançada com base em uma região de uma imagem. A imagem é primeiro dividida em partições ou utilizando blocos de tamanho fixo ou usando um “quadtree”. Cada partição da divisão é também chamada de uma região, como no caso AO descrito acima. Pixels em cada região são, em seguida, divididos em bandas múltiplas de acordo com um método de classificação de banda avançada. A classificação de banda avançada adaptativamente seleciona uma classificação de banda de 16 bandas uniformes, como mostrado na Figura 5A ou 12 bandas não uniformes, como mostrado na Figura 5B. A seleção do tipo de classificação de banda pode ser região por região e uma bandeira é necessária para indicar a seleção. O valor mínimo e máximo da intensidade podem ser derivados a partir dos dados de vídeo reconstruídos para a região. Portanto, o mínimo e máximo podem não ser obrigados a comunicar ao decodificador. Os deslocamentos de banda para cada região são transmitidos para o lado de decodificador, para que o decodificador possa corrigir adequadamente o deslocamento de banda para cada banda da região. O método de restauração de deslocamento com base na classificação de banda avançada é denominado como restauração de deslocamento de banda ou deslocamento de banda (BO) somente. Enquanto dois tipos de bandas são utilizados como uma modalidade exemplar para a prática da presente invenção, no exemplo acima, mais tipos de bandas podem ser usados. Enquanto 16 bandas uniformes e 12 bandas não uniformes são usadas como dois tipos exemplares de bandas, o número de bandas utilizadas pelos dois tipos exemplares de bandas não são limitações da presente invenção. Os tipos de banda uniforme e não uniforme podem utilizar mais ou menos bandas para a prática da presente invenção.

[0030] Enquanto dois tipos de bandas, isto é, 16 bandas uniformes e 12 bandas não uniformes, são revelados acima, uma classificação de banda alternativa pode ser usada para correção de deslocamento de banda. Esta classificação de banda alternativa classifica pixels na região em N bandas. As N bandas são então divididas em dois grupos, em que um grupo é designado para correção de deslocamento e o outro grupo é designado para não correção de deslocamento. Por exemplo, os pixels na região podem ser divididos em 32 bandas uniformes. A partição de 16 bandas centrais cobrindo [64, 191] pode ser atribuída a um primeiro grupo, e as restantes 16 bandas cobrindo as intensidades de descanso podem ser atribuídas a um segundo grupo. A decisão para um grupo de correção de deslocamento ou não pode ser feita na base de região por região. Enquanto dois grupos são utilizados como um exemplo para a prática da invenção, mais grupos podem ser usados. Por exemplo, as N bandas podem ser divididas em M grupos onde M é um inteiro maior do que ou igual a 2. Entre os M grupos, P grupos podem ser designados para não correção de deslocamento, em que P é menor do que ou igual a M. Por conseguinte, apenas os (M-P) grupos remanescentes são sujeitos a correção de deslocamento e deslocamentos de intensidade para estes grupos (M-P) precisam ser fornecidos a um decodificador de correção de deslocamento.

[0031] Enquanto McCann et al. divulgaram o processamento adaptativo relacionado com as características de borda de um pixel subjacente e a classificação de pixel é baseada em uma imagem inteira, uma modalidade de acordo com a presente invenção seleciona a configuração de pixel ou padrão de pixel para medir as características de borda adaptativamente em uma base de região por região. Uma bandeira é usada para cada região para transmitir a seleção da configuração de pixel para determinação de características de borda. A região pode ser resultante por dividir uma imagem usando bloco de tamanho fixo ou partição “quadtree”. Além da configuração de pixel divulgada por McCann et al. como se mostra na Figura 6A, uma configuração de pixel adicional como mostrado na Figura 6B também pode ser selecionada. A configuração de pixel cruzada ou padrão de pixel cruzado representado na Figura 6A é mais sensível às bordas horizontais ou bordas verticais. Além disso, o padrão de pixel é também sensível a um pico ou vale no pixel subjacente. Por outro lado, a configuração de pixel diagonal da Figura 6B é mais sensível às bordas inclinadas a 45° ou 135°, bem como um pico ou vale no pixel subjacente. O método adaptativo também classifica pixels em sete categorias, como mostrado na tabela a seguir:

[0032] A classificação acima em 7 categorias com base no padrão de pixel é utilizada como um exemplo para a prática da presente invenção e não é entendida como limitações da presente invenção. Mais ou menos categorias podem ser utilizadas e outros padrões de pixel também podem ser utilizados para a prática da presente invenção. Embora configurações de pixel bidimensionais sejam reveladas acima para determinar as características de borda, configurações de pixel lineares simplificadas usando dois pixels vizinhos podem também ser usadas. A utilização de configuração de pixel simplificada reduzirá o cálculo requerido. Por conseguinte, quatro configurações de pixel simplificadas, também chamadas padrões de pixel, são divulgadas como mostrado nas Figuras 7A a 7D correspondendo à linha vertical, linha de horizontal, linha de inclinação de 135° e linha de inclinação de 45°, respectivamente. Cada configuração de pixels disposta como uma linha curta é responsiva à transição de intensidade ao longo da linha. Por exemplo, uma borda horizontal irá provocar uma transição de intensidade mais acentuada na linha vertical do que linhas com outras orientações. Do mesmo modo, uma borda vertical fará transição de intensidade mais acentuada na linha horizontal do que as linhas que possuem outra orientação. A seleção da configuração de pixel pode ser determinada em uma base de região por região e uma bandeira é necessária para cada região. Com base na configuração de pixel, um pixel subjacente é classificado em 6 classes correspondentes às bordas, pico, vale e nenhum do acima como mostrado na tabela a seguir:

[0033] Enquanto 2 pixels em torno de um pixel subjacente são utilizados para formar um padrão de pixels de linha curta, mais pixels ao longo da direção linear podem ser usados. Por exemplo, dois pixels em cada lado do pixel subjacente podem ser utilizados para formar padrão de pixel correspondente a uma linha de 5 pixels. Mais uma vez, mais ou menos categorias podem ser utilizadas para praticar a presente invenção.

[0034] O processamento ALF utilizado em codificação de vídeo de alta eficiência (HEVC) também utiliza a classificação de pixel para selecionar um filtro respectivo. ALF geralmente utiliza soma de Laplacianas para determinar uma classe para um pixel subjacente. Em ainda outra modalidade de acordo com a presente invenção, deslocamento Adaptativo pode partilhar a mesma classificação que ALF. Em outras palavras, deslocamento adaptativo irá adotar a região utilizada por ALF, que pode ser uma unidade de codificação maior, uma fatia, um grupo de fatia ou outra imagem parcial. A soma de Laplacianas será usada pelo deslocamento adaptativo como a medida característica para determinar a classe de um pixel subjacente. Assim, o deslocamento para cada classe na região será determinado e ser fornecido a um decodificador. Da mesma forma, ALF pode compartilhar a mesma classificação que BO / BDC onde BO / BDC classifica pixels em uma região em classes com base na intensidade de pixels.

[0035] Enquanto características de borda e banda de intensidade são utilizadas como as características para classificar um pixel subjacente em classes, outras características podem também ser utilizadas para classificar um pixel subjacente em classes. Por exemplo, modos de unidade de codificação, tamanhos de unidades de predição, tamanhos de unidade de transformação, parâmetros de quantização, imagens de referência, vetores de movimento, modos de intrapredição, resíduos, e as forças de limite de desbloqueio podem ser usados como as características para classificar um pixel subjacente em classes. Por exemplo, cada pixel é classificado em uma categoria ou classe com base na soma de Laplacianas. Consequentemente, o deslocamento de intensidade para cada categoria ou classe pode ser calculado e utilizado para corrigir deslocamento para a categoria ou classe respectiva.

[0036] Modalidade da restauração de deslocamento adaptativo de acordo com a presente invenção, tal como descrito acima pode ser implementada em diferentes hardwares, códigos de software, ou uma combinação de ambos. Por exemplo, uma modalidade da presente invenção pode ser um circuito integrado em um chip de compressão de vídeo ou códigos de programas integrados em software de compressão de vídeo para executar o processamento aqui descrito. Uma modalidade da presente invenção também pode ser códigos de programa a serem executados em um processador de sinal digital (DSP) para executar o processamento aqui descrito. O invento pode também envolver um número de funções a serem executadas por um processador de computador, um processador de sinal digital, um microprocessador, ou uma matriz de porta de campo programável (FPGA). Esses processadores podem ser configurados para realizar tarefas específicas de acordo com a invenção, por meio da execução do código de software legível por máquina, ou código de firmware que define os métodos particulares incorporados na presente invenção. O código de software ou códigos de firmware podem ser desenvolvidos em diferentes linguagens de programação e formato ou estilo diferente. O código de software também pode ser compilado para plataformas alvo diferentes. No entanto, diferentes formatos de código, estilos e linguagens de códigos de software e outros meios de configuração de código para executar as tarefas de acordo com a invenção não irão afastar-se do espírito e do âmbito da invenção.

[0037] Modalidades de restauração de deslocamento adaptativo de acordo com a presente invenção, tal como descrito acima podem ser implementadas em hardware ou integradas em unidades de processamento múltiplas em que cada unidade de processamento pode ser responsável por uma certa função de restauração de deslocamento adaptativo. Por exemplo, uma primeira unidade de processamento pode ser configurada para determinar uma classe para cada um dos pixels na região de dados de vídeo processados com base na medição de característica do referido cada um dos pixels. A segunda unidade de processamento pode ser configurada para determinar o deslocamento de intensidade para a classe de acordo com os pixels na região de dados de vídeo processados e pixels respectivos em uma respectiva região de dados de vídeo originais associados. Uma terceira unidade de processamento pode ser configurada para compensar a região dos dados de vídeo processados com base no deslocamento de intensidade para a classe. O exemplo anterior de implementação de hardware com base em múltiplas unidades de processamento ilustra um mapeamento entre as funções de sistema e as unidades de processamento. Contudo, a partição funcional específica e o mapeamento de hardware não devem ser interpretados como limitações à presente invenção. Uma pessoa especialista na matéria pode praticar a presente invenção usando partição diferente de acordo com as funções de sistema e mapear as funções em diferentes unidades de processamento de hardware. Modalidades de restauração de deslocamento adaptativo em um sistema de decodificação de acordo com a presente invenção, tal como descrito acima pode também ser implementada em hardware ou integrada em unidades de processamento múltiplas em que cada unidade de processamento pode ser responsável por uma certa função de restauração de deslocamento adaptativo. Por exemplo, uma primeira unidade de processamento pode ser configurada para reconstruir imagens de vídeo a partir da corrente de bits de vídeo e fornecer imagens de vídeo processadas. A unidade de configuração pode ser usada para configurar uma região para as imagens de vídeo processadas. A segunda unidade de processamento pode ser configurada para determinar uma classe para cada um dos pixels na região das imagens de vídeo processadas com base na medição de característica do referido cada um dos pixels. Uma terceira unidade de processamento pode ser configurada para determinar o deslocamento de intensidade da classe, tal como indicado na corrente de bits de vídeo. Uma quarta unidade de processamento pode ser configurada para compensar a região das imagens de vídeo processadas com base no deslocamento de intensidade para a classe. O exemplo acima de implementação de hardware para um sistema de decodificação com base em unidades de processamento múltiplas ilustra um mapeamento entre as funções de sistema e as unidades de processamento. Contudo, a partição funcional específica e mapeamento de hardware não devem ser interpretados como limitações à presente invenção. Uma pessoa especialista na matéria pode praticar a presente invenção usando partição diferente de acordo com as funções do sistema e mapear as funções em diferentes unidades de processamento de hardware.

[0038] A invenção pode ser concretizada em outras formas específicas sem se afastar do seu espírito ou características essenciais. Os exemplos descritos devem ser considerados em todos os aspectos apenas como ilustrativos e não restritivos. O âmbito da invenção é, portanto, indicado pelas reivindicações anexas e não pela descrição anterior. Todas as mudanças que vêm dentro do significado e alcance de equivalência das reivindicações devem ser abraçadas no seu âmbito.

Claims

1. Método para processamento de deslocamento adaptativo de dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado, o método caracterizadopelo fato de que compreende: receber os dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado; selecionar uma região para os dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado; determinar uma classe para cada um dos pixels na região de dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado com base na medição de característica do referido cada um dos pixels; determinar o deslocamento de intensidade para a classe de acordo com os pixels na região dos dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado e pixels respectivos em uma respectiva região de dados de vídeo originais associados; e compensar a região dos dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado com base no deslocamento de intensidade para a classe; em que determinar uma classe para cada um dos pixels na região compreende dividir a intensidade de pixels em N bandas entre um valor mínimo e um valor máximo, em que N é um número inteiro; e em que o valor mínimo é fornecido a um decodificador de modo que o decodificador possa recuperar o valor mínimo.

2. Método, de acordo com a reivindicação 1, caracterizadopelo fato de que a região é formada por dividir a imagem de dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado usando particionamento baseado em blocos ou partição “quadtree”.

3. Método, de acordo com a reivindicação 1, caracterizadopelo fato de que a referida determinação de uma classe para cada um dos pixels na região compreende a divisão de intensidade de pixel em N bandas não uniformes, em que N é um número inteiro.

4. Método, de acordo com a reivindicação 1, caracterizadopelo fato de que a referida determinação de uma classe para cada um dos pixels na região compreende seletivamente dividir a intensidade de pixel em N bandas não uniformes ou M bandas uniformes e fornecer uma bandeira a um decodificador para indicar se as N bandas não uniformes ou M bandas uniformes são selecionadas, em que M e N são inteiros.

5. Método, de acordo com a reivindicação 1, caracterizadopelo fato de que o valor mínimo é derivado dos dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado.

6. Método, de acordo com a reivindicação 1, caracterizadopelo fato de que a região é menor do que a imagem.

7. Aparelho para processamento de deslocamento adaptativo de dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado, o aparelho caracterizadopelo fato de que compreende: uma interface para receber os dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado; uma unidade de configuração para configurar uma região para os dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado; uma primeira unidade de processamento para determinar uma classe para cada um dos pixels na região de dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado com base na medição de característica do referido cada um dos pixels, uma segunda unidade de processamento para determinar o deslocamento de intensidade para a classe de acordo com os pixels na região dos dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado e respectivos pixels em uma respectiva região de dados de vídeo originais associados, e uma terceira unidade de processamento para compensar a região de dados de vídeo reconstruídos, reconstruídos desbloqueados, ou reconstruídos filtrados e desbloqueados de circuito fechado com base no deslocamento de intensidade para a classe; em que a referida determinação de uma classe para cada um dos pixels na região compreende selecionar um padrão de pixels e fornecer uma bandeira a um decodificador para indicar o padrão de pixel selecionado, em que o padrão de pixel é utilizado para a medição de característica.

8. Método para decodificar uma corrente de bits de vídeo, em que imagens de vídeo reconstruídas correspondentes à corrente de bits de vídeo são reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado por deslocamento adaptativo, o método caracteri zadopelo fato de compreende: processar a corrente de bits de vídeo para reconstruir imagens de vídeo e fornecer imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado; selecionar uma região para as imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado; determinar uma classe para cada um dos pixels na região das imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado com base na medição de característica do referido cada um dos pixels; determinar o deslocamento de intensidade para a classe, tal como indicado na corrente de bits de vídeo; e compensar a região das imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado com base no deslocamento de intensidade para a classe; e em que a referida determinação de uma classe para cada um dos pixels na região compreende a divisão de intensidade de pixel em N bandas entre um valor mínimo e um valor máximo, em que N é um número inteiro.

9. Método, de acordo com a reivindicação 8, caracterizadopelo fato de que o valor mínimo é indicado na corrente de bits de vídeo.

10. Método, de acordo com a reivindicação 8, caracterizadopelo fato de que a região é menor do que uma imagem.

11. Método, de acordo com a reivindicação 8, caracterizadopelo fato de que a medição da referida característica de cada um dos pixels é selecionada de um grupo consistindo de modos de unidade de codificação, tamanhos de unidade de predição, tamanhos de unidade de transformação, parâmetros de quantização, imagens de referência, vetores de movimento, modos de intrapredição, resíduos, e as forças de limite de desbloqueio.

12. Aparelho para decodificação de uma corrente de bits de vídeo, em que imagens de vídeo reconstruídas correspondentes à corrente de bits de vídeo são reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado por deslocamento adaptativo, o aparelho caracterizadopelo fato de que compreende: uma primeira unidade de processamento para reconstruir imagens de vídeo a partir da corrente de bits de vídeo e para fornecer imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado; uma unidade de configuração para configurar uma região para as imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado; uma segunda unidade de processamento para determinar uma classe para cada um dos pixels na região das imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado com base na medição de característica do referido cada um dos pixels; uma terceira unidade de processamento para determinar o deslocamento de intensidade para a classe, tal como indicado na corrente de bits de vídeo; e uma quarta unidade de processamento para compensar a região das imagens de vídeo reconstruídas, reconstruídas desbloqueadas, ou reconstruídas filtradas e desbloqueadas de circuito fechado com base no deslocamento de intensidade para a classe; e em que a referida determinação de uma classe para cada um dos pixels na região compreende selecionar um padrão de pixels e fornecer uma bandeira a um decodificador para indicar o padrão de pixel selecionado, em que o padrão de pixel é utilizado para a medição de característica.