BRPI0714233A2 - mÉtodos e aparelho para filtragem de referÊncia adaptativa - Google Patents

mÉtodos e aparelho para filtragem de referÊncia adaptativa Download PDF

Info

Publication number
BRPI0714233A2
BRPI0714233A2 BRPI0714233-1A BRPI0714233A BRPI0714233A2 BR PI0714233 A2 BRPI0714233 A2 BR PI0714233A2 BR PI0714233 A BRPI0714233 A BR PI0714233A BR PI0714233 A2 BRPI0714233 A2 BR PI0714233A2
Authority
BR
Brazil
Prior art keywords
image
reference image
sample
filtered
filter
Prior art date
Application number
BRPI0714233-1A
Other languages
English (en)
Inventor
Polin Lai
Yeping Su
Peng Yin
Cristina Gomila
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of BRPI0714233A2 publication Critical patent/BRPI0714233A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

MÉTODOS E APARELHO PARA FILTRAGEM DE REFERÊNCIA ADAPTATI VA. São fornecidos métodos e aparelho para filtragem de referência adaptativa. Um aparelho inclui um codificador (100) para codificar pelo menos uma imagem. O codificador (100) executa filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codifica preditivamente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada. A pelo menos uma imagem de referência é uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subsequente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.

Description

"MÉTODOS E APARELHO PARA FILTRAGEM DE REFERÊNCIA ADAPTATIVA" REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS
Este pedido reivindica o benefício do pedido provisório US 60/807.645, depositado em 18 de julho de 2006, o qual está incorporado na sua totalidade neste documento pela referência.
CAMPO TÉCNICO
Os presentes princípios dizem respeito de uma maneira geral a codificação e deco- dificação de vídeo e, mais particularmente, a métodos e aparelho para filtragem de referên- cia adaptativa. ANTECEDENTES
Nos projetos de codificadores e/ou decodificadores atuais, compensação de movi- mento é usada para explorar redundância temporal pela subtração de um bloco de predição do bloco atual. Entretanto, existem várias situações nas quais a predição compensada de movimento não é eficiente. Por exemplo, uma situação quando existe uma discrepância de nitidez/nebulosidade entre um quadro atual a ser codificado e um quadro de referência. Isto pode ser causado, por exemplo, por mudança de focalização, movimento panorâmico de câmera com dispositivos de mão, e/ou um efeito especial criado para uma mudança de ce- na. Tal fenômeno pode ser freqüentemente observado em dramas quando a câmera é pri- meiramente focalizada em um personagem e então muda seu foco para um outro persona- gem quando os dois personagens aparecem em diferentes profundidades de ce- na/focalização. A primeira pessoa parece mais nítida no quadro de referência enquanto que a segunda pessoa é obscurecida no quadro de referência. Neste documento, indicamos este exemplo de mudança de focalização em codificação de vídeo de visualização única regular como "Caso 1".
Uma outra fonte de discrepância que degrada a qualidade do sinal de predição apa-
rece em seqüências de vídeo de múltiplas visualizações. Em sistemas de codificação de vídeo de múltiplas visualizações, cenas são capturadas simultaneamente por múltiplas câ- meras de diferentes pontos de visualização. Compensação de disparidade é aplicada de visualização a visualização para explorar a redundância entre diferentes imagens de visuali- zação. Eficiência de codificação mais alta pode ser alcançada pela execução de compensa- ções tanto de movimento quanto de disparidade, quando comparada à codificação de cada visualização de forma independente. Sistemas de vídeo de múltiplas visualizações podem ser construídos com câmeras heterogêneas, ou câmeras que não tenham sido calibradas perfeitamente. Isto resulta em discrepâncias tais como, por exemplo, má combinação de iluminação, má combinação de cor e/ou má combinação de focalização entre diferentes vi- sualizações. A eficiência de compensação de disparidade de visualização cruzada pode de- teriorar por causa de tais discrepâncias. Além disso, objetos com diferentes profundidades podem possuir diferentes tipos de incongruidades entre duas visualizações. Por exemplo, o objeto A na visualização 1 pode estar em foco enquanto que a visualização 2 pode estar em foco com o objeto B. Para executar compensação de disparidade da visualização 1 para a visualização 2, o objeto Afica mais nítido no quadro de referência enquanto que o objeto B fica obscurecido. Neste documento, indicamos tal má combinação de focalização de câmera em sistemas de múltiplas visualizações como "Caso 2".
A maior parte da literatura anterior a respeito de filtragem de quadro de referência adaptativa é focalizada em gerar uma referência de subpixel para compensação de movi- mento.
Por exemplo, em uma abordagem de filtragem de interpolação adaptativa conven-
cional, um filtro de interpolação adaptativa tem sido proposto em um quadro base. Depois de obter os vetores de movimento usando um quadro de referência interpolado com um filtro de seis derivações fixado correspondendo à Organização Internacional de Normaliza- ção/Comissão Internacional de Eletrotécnica (ISO/IEC), Grupo-4 de Especialistas de Ima- gens em Movimento (MPEG-4), Parte 10, padrão de Codificação Avançada de Vídeo (AVC)/União Internacional de Telecomunicações, Setor de Telecomunicações (ITU-T), reco- mendação H.264 (em seguida o "padrão MPEG-4 AVC"), os coeficientes do filtro de interpo- lação adaptativa são calculados pela minimização de uma medida de erro de casamento tal como soma das diferenças quadráticas (SSD) ou soma das diferenças absolutas (SAD). O filtro adaptativo é usado para gerar a imagem de referência interpolada, a qual é então usa- da para compensação de movimento. O processo não executa estimativa de movimento adicional com a referência de subpixel recém-interpolada. O projeto de filtro é restringido para ser separável nas direções vertical e horizontal e é cascateado com filtros bilineares.
Em um aperfeiçoamento para a abordagem de filtragem de interpolação adaptativa descrita anteriormente, uma outra abordagem envolve primeiro obter os vetores de movi- mento com filtros de interpolação padrões. Dependendo da parte de subpixel do vetor de movimento, diferentes filtros de interpolação são projetados para diferentes posições de subpixel. Os filtros empregados são bidimensionais não separáveis, com certas restrições simétricas para reduzir o número de coeficientes a ser resolvidos. Uma segunda estimati- va/compensação de movimento é executada com estes novos filtros para gerar uma refe- rência de subpixel.
Nas abordagens de técnica anterior descritas anteriormente se relacionando com filtragem de interpolação adaptativa, os pixels inteiros no quadro de referência permanecem inalterados, já que a interpolação mantém os pontos de dados originais inalterados. Entre- tanto, uma abordagem como esta pode não ser eficiente para codificação de vídeo preditiva com discrepâncias inerentes.
Em uma abordagem de técnica anterior para compressão de vídeo usando com- pensação de obscuridade, é proposto usar um filtro de obscurecimento para gerar um qua- dro de referência obscurecido. Entretanto, esta abordagem é somente dirigida para situa- ções onde o quadro atual é uma versão obscurecida do quadro de referência, mas não o caso inverso. O conjunto de filtros que pode ser selecionado pelo codificador é predefinido, o que é completamente restritivo e abaixo do ideal quando comparado com a abordagem de projeto de filtro adaptativo. Além disso, para cada quadro a ser codificado, somente um filtro do conjunto predefinido será selecionado com base na redução de taxa de nível de quadro.
SUMÁRIO
Estes e outros inconvenientes e desvantagens da técnica anterior são abordados pelos presentes princípios, os quais são dirigidos para métodos e aparelho para filtragem de referência adaptativa.
De acordo com um aspecto dos presentes princípios, é fornecido um aparelho. O aparelho inclui um codificador para codificar pelo menos uma imagem. O codificador executa filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codifica preditivamente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada. A pelo menos uma ima- gem de referência é uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço. De acordo com um outro aspecto dos presentes princípios, é fornecido um método.
O método inclui codificar pelo menos uma imagem. A etapa de codificação inclui executar filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codificar preditivamente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada. A pelo menos uma ima- gem de referência é uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicado a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
De acordo com também um outro aspecto dos presentes princípios, é fornecido um aparelho. O aparelho inclui um decodificador para decodificar pelo menos uma imagem. O decodificador executa filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e decodifica prediti- vamente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtra- da. A pelo menos uma imagem de referência é uma imagem em que pelo menos uma amos- tra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplica- da a um filtro em laço.
De acordo com um aspecto ainda adicional dos presentes princípios, é fornecido um método. O método inclui decodificar pelo menos uma imagem. A etapa de decodificação inclui executar filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e decodificar preditivamen- te a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada. A pelo menos uma imagem de referência é uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
Estes e outros aspectos, recursos e vantagens dos presentes princípios se tornarão aparentes a partir da descrição detalhada a seguir de modalidades exemplares, a qual é para ser lida em conexão com os desenhos anexos.
DESCRIÇÃO RESUMIDA DOS DESENHOS
Os presentes princípios podem ser mais bem entendidos de acordo com as seguin- tes figuras exemplares, nas quais:
Afigura 1 é um diagrama de blocos para um codificador de Codificação de Vídeo de Múltiplas Visualizações (MVC) exemplar com filtragem de referência adaptativa, de acordo com uma modalidade dos presentes princípios;
A figura 2 é um diagrama de blocos para um decodificador de Codificação de Vídeo de Múltiplas Visualizações (MVC) exemplar com filtragem de referência adaptativa, de acor- do com uma modalidade dos presentes princípios;
A figura 3 é um fluxograma para um método exemplar para estimar filtros adaptati- vos em um codificador, de acordo com uma modalidade dos presentes princípios; e
A figura 4 é um fluxograma para um método exemplar para estimar filtros adaptati- vos em um decodificador, de acordo com uma modalidade dos presentes princípios.
DESCRIÇÃO DETALHADA
Os presentes princípios são dirigidos para métodos e aparelho para filtragem de re- ferência adaptativa.
A presente descrição ilustra os presentes princípios. Deste modo será percebido que os versados na técnica serão capazes de imaginar vários arranjos que, embora não descritos ou mostrados explicitamente neste documento, incorporam os presentes princípios e estão incluídos dentro de seu espírito e escopo.
Todos os exemplos e linguagem condicional relatados neste documento são pre- tendidos com os propósitos pedagógicos para ajudar o leitor a entender os presentes princí- pios e os conceitos contribuídos pelo(s) inventor(s) para incrementar a técnica, e são para ser interpretados como sendo sem limitação para tais exemplos e condições especificamen- te relatados.
Além disso, todas as declarações neste documento relacionando princípios, aspec- tos e modalidades dos presentes princípios, assim como exemplos específicos dos mesmos, são pretendidas para abranger equivalências tanto estruturais quanto funcionais dos mes- mos. Adicionalmente, é considerado que tais equivalências incluem tanto equivalências co- nhecidas atualmente quanto equivalências desenvolvidas no futuro, isto é, quaisquer ele- mentos desenvolvidos que executem a mesma função, independentemente de estrutura.
Assim, por exemplo, será percebido pelos versados na técnica que os diagramas de blocos apresentados neste documento representam visualizações conceituais de conjun- to de circuitos ilustrativos incorporando os presentes princípios. De forma similar, será per- cebido que quaisquer fluxogramas, diagramas, diagramas de transição de estado, pseudo- código e outros mais representam vários processos que podem ser substancialmente repre- sentados em mídias legíveis por computador e assim executados por um computador ou processador, se tal computador ou processador estiver ou não mostrado explicitamente.
As funções dos vários elementos mostrados nas figuras podem ser fornecidas por meio do uso de hardware dedicado assim como de hardware capaz de executar software em associação com software apropriado. Quando fornecidas por um processador, as funções podem ser fornecidas por um único processador dedicado, por um único processador com- partilhado, ou por uma pluralidade de processadores individuais, algum dos quais podem ser compartilhados. Além disso, o uso explícito do termo "processador" ou "controlador" não deve ser interpretado para se referir exclusivamente a hardware capaz de executar software, e pode implicitamente incluir, sem limitação, hardware de processador de sinal digital ("DSP"), memória somente de leitura ("ROM") para armazenar software, memória de acesso aleatório ("RAM") e armazenamento não volátil.
Outro hardware, convencional e/ou feito sob medida, também pode ser incluído. De forma similar, quaisquer comutadores mostrados nas figuras são somente conceituais. Sua função pode ser executada por meio da operação de lógica de programa, por meio de lógica dedicada, por meio da interação de controle de programa e lógica dedicada, ou mesmo ma- nualmente, a técnica particular sendo selecionável pelo implementador tal como entendido mais especificamente a partir do contexto.
Nas reivindicações deste pedido qualquer elemento expressado como um dispositi- vo para executar uma função especificada é pretendido para abranger algum modo de exe- cutar essa função incluindo, por exemplo, a) uma combinação de elementos de circuito que executa essa função ou b) software em qualquer forma, incluindo, portanto, firmware, micro- código ou coisa parecida, combinado com conjunto de circuitos apropriados para executar esse software para desempenhar a função. Os presentes princípios, tal como definido pelas tais reivindicações, residem no fato de que as funcionalidades fornecidas pelos vários dispo- sitivos relatados são combinadas e juntadas da maneira que as reivindicações requerem. E assim considerado que quaisquer dispositivos que possam fornecer essas funcionalidades são equivalentes a esses mostrados neste documento.
Referência na especificação para "uma modalidade" dos presentes princípios signi- fica que um recurso, estrutura, característica particular e assim por diante descrito em cone- xão com a modalidade está incluído em pelo menos uma modalidade dos presentes princí- pios. Assim, os significados da frase "em uma modalidade" aparecendo em vários lugares por toda a especificação não estão todos necessariamente se referindo à mesma modalida- de.
Além disso, é para ser percebido que embora uma ou mais modalidades dos pre- sentes princípios estejam descritas neste documento com relação ao padrão MPEG-4 AVC, os presentes princípios não estão limitados unicamente a este padrão e, assim, podem ser utilizado com relação a outros padrões de codificação de vídeo, recomendações e exten- sões dos mesmos nos quais movimento e/ou compensação de disparidade sejam aplicados, incluindo extensões do padrão MPEG-4 AVC, embora mantendo o espírito dos presentes princípios.
Tal como usado neste documento, a expressão "imagem de referência" se refere a
uma imagem da qual uma amostra é obtida para uso para interpredição depois de (isto é, subseqüente a) a amostra ser aplicada a um filtro em laço (tal como, por exemplo, um filtro de desbloqueio) ou quando nenhum tal filtro em laço é aplicado de qualquer modo.
Voltando à figura 1, um codificador de Codificação de Vídeo de Múltiplas Visualiza- ções (MVC) exemplar com filtragem de referência adaptativa está indicado de uma maneira geral pelo número de referência 100. O codificador 100 inclui um combinador 105 tendo uma saída conectada em comunicação de sinal com uma entrada de um transformador 110. Uma saída do transformador 110 é conectada em comunicação de sinal com uma entrada do quantificador 115. Uma saída do quantificador 115 é conectada em comunicação de sinal com uma primeira entrada de um codificador de entropia 120 e com uma entrada de um quantificador inverso 125. Uma saída do quantificador inverso 125 é conectada em comuni- cação de sinal com uma entrada de um transformador inverso 130. Uma saída do transfor- mador inverso 130 é conectada em comunicação de sinal com uma primeira entrada não invertida de um combinador 135. Uma saída do combinador 135 é conectada em comunica- ção de sinal com uma entrada de um filtro de desbloqueio 150. Uma saída do filtro de des- bloqueio 150 é conectada em comunicação de sinal com uma entrada de um armazenamen- to de imagens de referência decodificadas 155. Uma saída do armazenamento de imagens de referência decodificadas 155 é conectada em comunicação de sinal com uma primeira entrada de um estimador de filtro adaptativo 170 e com uma primeira entrada de um filtro de imagem de referência 165. Uma saída do estimador de filtro adaptativo 170 é conectada em comunicação de sinal com uma segunda entrada do filtro de imagem de referência 165 e com uma terceira entrada do codificador de entropia 120. Uma saída do filtro de imagem de referência 165 é conectada em comunicação de sinal com uma entrada de um armazena- mento de imagens de referência filtradas 160. Uma saída do armazenamento de imagens de referência filtradas 160 é conectada em comunicação de sinal com uma primeira entrada de um compensador de movimento/disparidade 175 e com uma primeira entrada de um esti- mador de movimento/disparidade 180. Uma saída do estimador de movimento/disparidade 180 é conectada em comunicação de sinal com uma segunda entrada do compensador de movimento/disparidade e com uma segunda entrada do codificador de entropia 120. Uma saída do compensador de movimento/disparidade 175 é conectada em comunicação de sinal com uma entrada invertida do combinador 105 e com uma entrada não invertida do combinador 135. Uma entrada não invertida do combinador 105, uma segunda entrada do estimador de movimento/disparidade 180 e uma segunda entrada do estimador de filtro a- daptativo 170 estão disponíveis como entradas para o codificador 100. Uma saída do codifi- cador de entropia 120 está disponível como uma saída para o codificador 100.
Voltando à figura 2, um decodificador de Codificação de Vídeo de Múltiplas Visuali- zações (MVC) exemplar com filtragem de referência adaptativa está indicado de uma manei- ra geral pelo número de referência 200. O decodificador 200 inclui um decodificador de en- tropia 205 tendo uma primeira saída conectada em comunicação de sinal com uma entrada de um quantificador inverso 210. Uma saída do quantificador inverso 210 é conectada em comunicação de sinal com uma entrada de um transformador inverso 215. Uma saída do transformador inverso 215 é conectada em comunicação de sinal com uma primeira entrada não invertida de um combinador 220. Uma saída do combinador 220 é conectada em comu- nicação de sinal com uma entrada de um filtro de desbloqueio 225. Uma saída do filtro de desbloqueio 225 é conectada em comunicação de sinal com uma entrada de um armaze- namento de imagens de referência decodificadas 230. Uma saída do armazenamento de imagens de referência decodificadas 230 é conectada em comunicação de sinal com uma primeira entrada de um filtro de imagem de referência 235. Uma saída do filtro de imagem de referência 235 é conectada em comunicação de sinal com uma entrada de um armaze- namento de imagens de referência filtradas 240. Uma saída do armazenamento de imagens de referência filtradas 240 é conectada em comunicação de sinal com uma primeira entrada de um compensador de movimento/disparidade 245. Uma saída do compensador de movi- mento/disparidade 245 é conectada com uma segunda entrada não invertida do combinador 220. Uma segunda saída do decodificador de entropia 205 é conectada em comunicação de sinal com uma segunda entrada do filtro de imagem de referência 235. Uma terceira saída do decodificador de entropia 205 é conectada em comunicação de sinal com uma segunda entrada do compensador de movimento/disparidade 245. Uma entrada do decodificador de entropia 205 está disponível como uma entrada do decodificador 200. A saída do filtro de desbloqueio 225 está disponível como uma saída do decodificador 200. De acordo com os presentes princípios, um método e aparelho são fornecidos para filtragem de referência adaptativa. Vantajosamente, o método e aparelho revelados neste documento fornecem um melhor sinal de predição, pelo menos pelos motivos expostos a seguir neste documento, para codificação de vídeo preditiva do que abordagens de técnica anterior para filtragem de referência adaptativa.
Em uma modalidade, múltiplos filtros são projetados adaptativamente para abordar várias más combinações em diferentes partes de uma imagem.
Em uma modalidade, com base na imagem atual a ser codificada e em uma ima- gem de referência, um conjunto de filtros é calculado adaptativamente para compensar as discrepâncias entre estas duas imagens. Os filtros computados são então aplicados à ima- gem de referência antes de ela ser usada para predição. Por exemplo, a operação de filtra- gem é aplicada às imagens de referência decodificadas na grade de amostragem original para gerar versão filtrada da imagem de referência. Estes filtros operam no modo em que novas referências com pixels filtrados são geradas para fornecer uma melhor predição para codificação de vídeo preditiva.
Por exemplo, filtragem no quadro de referência propriamente dito será capaz de melhor compensar discrepâncias tais como má combinação de nitidez/obscuridade. Tam- bém, uma vez que filtragem de referência adaptativa é aplicada à resolução de imagem ori- ginal, ela tem uma vantagem computacional em relação à filtragem de interpolação adaptati- va.
Para uma referência de subpixel, duas abordagens exemplares são fornecidas. Uma abordagem é gerar subpixel com o filtro de interpolação AVC padrão, mas baseado nos pixels da nova imagem de referência obtida tal como indicado anteriormente. A outra abor- dagem é também usar filtros adaptativos para gerar referência de subpixel. É para ser percebido que os presentes princípios podem ser aplicados vantajosa-
mente tanto para predição compensada de movimento em codificação de vídeo de visuali- zação única regular quanto para predição compensada de disparidade em Codificação de Vídeo de Múltiplas Visualizações (MVC). Como um exemplo de acordo com uma modalida- de dos presentes princípios, aplicamos o esquema à predição de visualização cruzada em Codificação de Vídeo de Múltiplas Visualizações, onde a informação de disparidade é usada como uma sugestão na determinação do número de filtros e no cálculo dos coeficientes de filtro. Este esquema também pode ser usado para compensar a mudança de profundidade de campo e/ou mudança de obscuridade em codificação de vídeo regular.
Com referência ao tipo de filtro que pode ser usado de acordo com os presentes princípios, é para ser percebido que embora uma ou mais modalidades dos presentes prin- cípios estejam descritas neste documento com relação ao uso de filtros lineares de Respos- ta Finita ao Impulso (FIR), outros tipos de filtros incluindo, mas não se limitando a estes, fil- tros de Resposta Infinita ao Impulso (IIR) e filtros não lineares, também podem ser empre- gados, embora mantendo o espírito dos presentes princípios. Além disso, é para ser perce- bido que métodos temporais podem ser considerados no projeto do filtro, tais como filtros tridimensionais que envolvam múltiplas imagens de referência decodificadas.
Depois de os filtros adaptativos serem estimados, a operação de filtragem real pode
ser aplicada dinamicamente em uma base local durante o processo de compensação de movimento/disparidade, ou a imagem de referência inteira pode ser filtrada primeiramente e armazenada antes de ser usada para compensação.
Em uma modalidade, durante o processo de codificação, um ou mais filtros são pro- jetados adaptativamente por meio de algoritmos de agrupamento/segmentação para com- pensar as várias más combinações em diferentes partes de uma imagem. Compensação de movimento/disparidade pode ser executada com quadros de referência filtrados. Coeficien- tes de filtro para cada quadro e a seleção de filtros para cada bloco dentro de um dado qua- dro são transmitidos para o decodificador para reconstrução correta. Os coeficientes de filtro de nossos filtros adaptativos podem ser codificados diferencialmente para melhor eficiência. O método de gerenciamento de imagens de referência revelado neste documento pode ser usado para indicar a seleção de filtro de nível de bloco. Em uma modalidade particular dirigi- da para o padrão MPEG-4 AVC, o mecanismo de indexação de referência correspondendo a isto pode ser usado para o propósito de indicar qual filtro usar para a codificação de um blo- co particular. Tal como para o decodificador, filtros adaptativos são produzidos com os coefi- cientes recebidos. Novas referências correspondentes podem então ser geradas para deco- dificar de forma apropriada a seqüência de vídeo.
De acordo com uma modalidade, a estimativa de filtro adaptativo inclui duas etapas, uma etapa de associação de filtros e uma etapa de determinação de filtro. Com referência à etapa de associação de filtros, múltiplos filtros são capacitados
para cada imagem de referência a fim de modelar várias más combinações em diferentes partes de uma imagem. Para esse fim, a imagem atual é segmentada em diversos grupos. Cada grupo será associado com um filtro adaptativo a ser estimado mais tarde. A segmenta- ção pode ser alcançada com base em diversas entradas. Entradas exemplares incluem, mas não se limitando a estas, informação de movimento, informação de disparidade, carac- terística de sinal de local e a característica de sinal de predição. Uma modalidade particular de segmentação de bloco para associação de filtros é separar o primeiro plano do plano de fundo e então associar respectivamente o primeiro plano e o plano de fundo com dois filtros. Uma etapa de pós-processamento opcional da partição de grupo pode ser aplicada para aperfeiçoar os resultados de associação de filtros. Por exemplo, o processo de associação de filtros pode segmentar em excesso a imagem resultando também em muitos filtros, os quais podem ser agrupados adicionalmente em um menor número de filtros na etapa de pós-processamento opcional.
Com referência à determinação de filtro, para cada grupo de subimagens derivado da etapa anterior (associação de filtros), coeficientes de filtro são calculados pela minimiza- ção de uma função de custo para erros de predição. Somente pixels associados com o filtro atual serão envolvidos no processo de estimativa. A função de custo pode ser qualquer fun- ção não crescente da diferença de pixel absoluta tal como, por exemplo, soma das diferen- ças quadráticas (SSD) e/ou soma das diferenças absolutas (SAD).
Voltando à figura 3, um método exemplar para estimar filtros adaptativos em um co- dificador está indicado de uma maneira geral pelo número de referência 300. O método 300 inclui um bloco de início 305 que passa o controle para um bloco de
função 310. O bloco de função 310 executa construção de lista de referências e passa o controle para um bloco de decisão 315. O bloco de decisão 315 determina se VRP está ou não capacitado. Se estiver capacitado o controle é então passado para um bloco de função 320. De outro modo o controle é passado para um bloco de função 335. O bloco de função 320 executa associação de filtros e passa o controle para um
bloco de função 325. O bloco de função 325 executa determinação de filtro e passa o con- trole para um bloco de função 330. O bloco de função 330 executa filtragem de imagem de referência e passa o controle para um bloco de função 335.
O bloco de função 335 indica se VRP está ou não capacitado e, se estiver, também indica os parâmetros para geração VRP, e então passa o controle para um bloco de função 340. O bloco de função 340 codifica a imagem atual e passa o controle para um bloco final 399.
A associação de filtros executada pelo bloco de função 320 pode envolver, por e- xemplo, capacitar múltiplos filtros para cada imagem de referência ao segmentar a imagem atual em diversos grupos (com base em, por exemplo, informação de movimento, informa- ção de disparidade, característica de sinal de local e a característica de sinal de predição), associar cada grupo com um filtro e executar opcionalmente uma etapa de agrupamento de pós-processamento.
A determinação de filtro executada no bloco de função 325 pode envolver, por e- xemplo, para cada grupo de subimagens, calcular coeficientes de filtro pela minimização de uma função de custo (por exemplo, SSD e/ou SAD) para erros de predição.
Voltando à figura 4, um método exemplar para estimar filtros adaptativos em um de- codificador está indicado de uma maneira geral pelo número de referência 400.
O método 400 inclui um bloco de início 405 que passa o controle para um bloco de função 410. O bloco de função 410 determina se VRP está capacitado e, se estiver, deter- mina os parâmetros para geração VRP1 e então passa o controle para um bloco de função 415. O bloco de função 415 executa construção de lista de referências e passa o controle para um bloco de decisão 420. O bloco de decisão 420 determina se VRP está ou não ca- pacitado. Se estiver capacitado o controle é então passado para um bloco de função 425. De outro modo o controle é passado para um bloco de função 430.
O bloco de função 425 executa filtragem de imagem de referência e passa o contro- Ie para o bloco de função 430.
O bloco de função 430 decodifica a imagem atual e passa o controle para um bloco final 499.
FILTRAGEM DE REFERÊNCIA ADAPTATIVA PARA PREDICÂO DE VISUALIZAÇÃO CRUZADA EM MVC O método e aparelho revelados neste documento podem ser usados em qualquer
sistema de codificação de vídeo com compensação de movimento e/ou compensação de disparidade. Em Codificação de Vídeo de Múltiplas Visualizações (MVC)1 compensação de disparidade utiliza imagens decodificadas de outras visualizações para predizer a imagem de visualização atual. Câmeras heterogêneas e/ou não calibradas perfeitamente em siste- mas de Codificação de Vídeo de Múltiplas Visualizações podem potencialmente causar uma quantidade mais alta de discrepâncias entre visualizações. Além disso, o grau e característi- ca da má combinação podem ser diferentes para partes diferentes da cena. Para o problema de má combinação de focalização descrito no caso 2 indicado anteriormente, várias incon- gruidades de nitidez/obscuridade aparecerão para objetos com diferentes profundidades. Em uma modalidade dirigida para Codificação de Vídeo de Múltiplas Visualizações, o campo de disparidade pode ser explorado para projetar adaptativamente múltiplos filtros.
Tal como descrito anteriormente, usar múltiplos filtros em filtragem de referência pode compensar várias discrepâncias para objetos com diferentes profundidades de cena. Para um par de imagens de duas visualizações em um sistema de Codificação de Vídeo de Múltiplas Visualizações, objetos mais próximos das câmeras (menor profundidade) terão uma maior disparidade, enquanto que objetos mais distantes (maior profundidade) terão uma menor disparidade. Esta propriedade é usada em uma modalidade como um possível modo para associar objetos tendo diferentes profundidades, o que envolve examinar a sua disparidade e executar uma(s) associação(s) de acordo com sua disparidade relativa. Em uma modalidade, identificamos objetos dentro de diferentes níveis de profundi-
dade e então calculamos coeficientes de filtro para os vários níveis de profundidade. Com informação de disparidade, podemos usar várias abordagens para identificar os objetos den- tro dos diferentes níveis de profundidade e calcular os coeficientes de filtro para os vários níveis de profundidade. Ao contrário da maior parte da técnica anterior que trabalha em vi- são de computador, onde métodos elaborados são usados para descobrir um mapa de dis- paridade preciso/regular em um nível de pixel, aqui desejamos descobrir algumas fajxas de disparidades para classificar objetos em diferentes grupos de profundidades. Para efeito de simplicidade e ilustração, em uma modalidade, demonstramos um método de agrupamento baseado no componente χ dos vetores de disparidade baseados em blocos obtidos da com- pensação de disparidade inicial. Este método é adequado para sistemas de múltiplas visua- lizações com câmeras arranjadas na mesma linha horizontal. Para arranjos de câmera bidi- mensionais (2D) tal como um conjunto de câmeras, o agrupamento pode ser estendido para ambas as direções χ e y dos vetores de disparidade.
Para alcançar segmentação de bloco usando vetores de disparidade, em uma mo- dalidade, propomos uma abordagem de agrupamento usando um Modelo de Mistura Gaus- siana (GMM). Um algoritmo de Maximização de Expectativa (algoritmo EM) pode ser aplica- do para alcançar agrupamento GMM. Este método modelará o histograma do componente χ de vetores de disparidade com múltiplas distribuições gaussianas. Ele fornece a média, vari- ância e probabilidade anterior de cada componente gaussiano.
Existem diversas vantagens no uso de um Modelo de Mistura Gaussiana. Algumas destas vantagens serão descritas agora. Com relação a uma vantagem no uso de um Modelo de Mistura Gaussiana, estima-
tiva/compensação de disparidade em codificação de vídeo é de uma maneira geral alcança- da pela seleção do casamento com o custo mais baixo de taxa de distorção. Existe a possi- bilidade na qual os vetores de disparidade obtidos podem não refletir o deslocamento real dos objetos. O GMM tem a capacidade para modelar estes vetores ruidosos aleatórios em uma curva gaussiana, tipicamente com variância muito grande e probabilidade anterior mui- to pequena. Eliminar tal componente gaussiano do modelo de mistura permite ao agrupa- mento ser mais resistente ao ruído.
Com relação a uma outra vantagem no uso de um Modelo de Mistura Gaussiana, com média e variância especificadas para cada componente gaussiano, podemos descobrir intervalos para mapear vetores de disparidade em diferentes grupos com confiança mais alta (por exemplo, média ± um desvio padrão).
Com relação a também uma outra vantagem no uso de um Modelo de Mistura Gaussiana, um gaussiano com maior variância pode cobrir uma faixa de disparidade que é demasiadamente grande em que ele se sobrepõe a outros gaussianos modelados mais níti- dos. Isto pode ser facilmente verificado ao examinar as localizações das médias de diferen- tes componentes gaussianos, combinando as médias com suas variâncias e probabilidades anteriores. A faixa de disparidade associada com cada grupo pode então ser ajustada desta maneira.
Depois de vetores de disparidade serem agrupados em grupos de profundidades, múltiplos filtros são então calculados com base em blocos de imagem associados com dife- rentes grupos. Em uma modalidade, este procedimento envolve, para cada grupo de pro- fundidade DGi, calcular um filtro com coeficientes hy pela minimização do erro de predição quadrática como se segue:
J=η i=m ^
(1)
min«i
Λ„
Σ ^-Σ-ΣνΑ
\/(x,y)eDGi
x+dx+iy+dy+j) j=-n i=-m
Na Equação (1), C é o quadro atual a ser codificado e R é o quadro de referência reconstruído. O índice subscrito representa localização de pixel e (dx, dy) é a parte de nú- mero inteiro do vetor de disparidade inicial. A equação (1) pode ser resolvida ao pegar o de- rivativo com relação a cada hy.
De acordo com uma modalidade, usamos filtros não separáveis bidimensionais. En- tretanto, é para ser percebido que, dado os preceitos dos presentes princípios fornecidos neste documento, os versados na técnica e em técnicas relacionadas considerarão estes e vários outros tipos de filtros que podem ser usados de acordo com os presentes princípios, embora mantendo o espírito dos presentes princípios. O tamanho e forma dos filtros bidi- mensionais não separáveis podem ser facilmente especificados pela mudança dos valores de m e n. Por exemplo, com m=n=2, os filtros serão filtros quadráticos de 5x5, nos quais seus centros se localizam no pixel a ser filtrado. Eles pegam a soma ponderada de pixels dentro de uma janela (±2, ±2) para filtrar o quadro de referência. É para ser notado que os filtros estão operando no quadro de referência no sentido de que os pixels inteiros reais se- jam filtrados para gerar uma outra versão da referência para compensação de disparidade.
Com novas referências obtidas pela aplicação dos filtros adaptativos, a segunda compensação de disparidade é executada. A estimativa de disparidade pesquisa então para o melhor casamento dentre múltiplas referências geradas pelos diferentes filtros. Os coefici- entes de filtro podem ser codificados diferencialmente para maior eficiência de codificação. Dado duas visualizações de um sistema de Codificação de Vídeo de Múltiplas Visualiza- ções, a inerente má combinação nestas duas câmeras não deve mudar rapidamente no tempo. Podemos codificar os coeficientes em uma etiqueta de data atual diferencialmente com os coeficientes em uma etiqueta de data anterior. Tal como para indicar a seleção de filtro baseada em blocos, o mecanismo de indexação de referência pode ser usado para uma modalidade com base no padrão MPEG-4 AVC.
FILTRAGEM ADAPTATIVA EM CODIFICAÇÃO DE VÍDEO DE VISUALIZAÇÃO
ÚNICA
Para vídeo com mudança de focalização, tal como o 'Caso 1' descrito anteriormen-
te, em uma modalidade, uma abordagem de projeto baseada em local pode ser aplicada. Inicialmente, múltiplos filtros podem ser calculados localmente para diferentes partes de uma imagem. Uma vez que movimento pode não fornecer informação suficiente para identificar diferentes objetos, capturamos efeitos de local quando a partição é suficientemente peque- na. Estes filtros podem ser agrupados adicionalmente para formar grupos, onde subseqüen- temente cada grupo computará seu próprio filtro usando os blocos de sinal correspondentes. Uma descrição será dada agora de algumas das muitas vantagens/recursos con- comitantes da presente invenção, algumas das quais foram mencionadas anteriormente. Por exemplo, uma vantagem/recurso é um aparelho que inclui um codificador para codificar pelo menos uma imagem, em que o codificador executa filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codifica preditivamente a pelo menos uma imagem usando a pelo menos uma i- magem de referência filtrada. A pelo menos uma imagem de referência é uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
Uma outra vantagem/recurso é o aparelho tendo o codificador tal como descrito an- teriormente, em que o codificador determina adaptativamente pelo menos um de coeficien- tes de filtro e um número de filtros a ser aplicados à pelo menos uma imagem de referência com base em informação correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
Também uma outra vantagem/recurso é o aparelho tendo o codificador que deter- mina adaptativamente os coeficientes de filtro e o número de filtros a ser aplicados tal como descrito anteriormente, em que a informação inclui pelo menos uma de informação de mo- vimento e informação de disparidade correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
Além disso, uma outra vantagem/recurso é o aparelho tendo o codificador que de- termina adaptativamente os coeficientes de filtro e o número de filtros a ser aplicados tal como descrito anteriormente, em que a informação inclui pelo menos uma de informação de intensidade e informação de cor correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
Adicionalmente, uma outra vantagem/recurso é o aparelho tendo o codificador que determina adaptativamente os coeficientes de filtro e o número de filtros a ser aplicados tal como descrito anteriormente, em que a informação é obtida usando pelo menos um de um método de agrupamento e um método de segmentação. Também, uma outra vantagem/recurso é o aparelho tendo o codificador em que a
informação é obtida usando pelo menos um de um método de agrupamento e um método de segmentação tal como descrito anteriormente, em que pelo menos um de o método de a - grupamento e o método de segmentação é baseado em um método de Maximização de Expectativa.
Adicionalmente, uma outra vantagem/recurso é o aparelho tendo o codificador em
que a informação é obtida usando pelo menos um de um método de agrupamento e um mé- todo de segmentação tal como descrito anteriormente, em que pelo menos um de o método de agrupamento e o método de segmentação é baseado em um Modelo de Mistura Gaussi- ana.
Além disso, uma outra vantagem/recurso é o aparelho tendo o codificador tal como descrito anteriormente, em que o codificador associa diferentes partes da pelo menos uma imagem com uma pluralidade de filtros para capturar várias discrepâncias nas diferentes partes da pelo menos uma imagem.
Adicionalmente, uma outra vantagem/recurso é o aparelho tendo o codificador tal como descrito anteriormente, em que o codificador usa pelo menos um filtro adaptativo para gerar pelo menos um de pixels e subpixels inteiros para a pelo menos uma imagem de refe- rência filtrada.
Também, uma outra vantagem/recurso é o aparelho tendo o codificador tal como descrito anteriormente, em que o codificador codifica diferencialmente coeficientes de filtro para a filtragem adaptativa da pelo menos uma imagem de referência com base em pelo menos uma de uma estrutura espacial e uma estrutura temporal do codificador. Adicionalmente, uma outra vantagem/recurso é o aparelho tendo o codificador tal
como descrito anteriormente, em que o codificador capacita múltiplas imagens da pelo me- nos uma imagem de referência filtrada, e utiliza adaptativamente uma ou mais das múltiplas imagens da pelo menos uma imagem de referência filtrada em uma imagem baseada em blocos.
Além disso, uma outra vantagem/recurso é o aparelho tendo o codificador tal como
descrito anteriormente, em que um ou mais filtros usados na filtragem adaptativa são um de unidimensional, bidimensional e tridimensional.
Estes e outros recursos e vantagens dos presentes princípios podem ser pronta- mente averiguados pelos versados na técnica com base nos preceitos deste documento. É para ser entendido que os preceitos dos presentes princípios podem ser implementados em várias formas de hardware, software, firmware, processadores de uso especial, ou combina- ções dos mesmos.
Mais preferivelmente, os preceitos dos presentes princípios são implementados como uma combinação de hardware e software. Além disso, o software pode ser implemen- tado como um programa de aplicação incorporado de modo tangível em uma unidade de armazenamento de programa. O programa de aplicação pode ser carregado e executado por uma máquina compreendendo qualquer arquitetura adequada. Preferivelmente, a má- quina é implementada em uma plataforma de computador tendo hardware tal como uma ou mais unidades centrais de processamento ("CPU"), uma memória de acesso aleatório ("RAM") e interfaces de entrada/saída ("l/O"). A plataforma de computador também pode incluir um sistema de operação e código de microinstrução. Os vários processos e funções descritos neste documento podem ser parte do código de microinstrução ou parte do pro- grama de aplicação, ou de qualquer combinação dos mesmos, os quais podem ser executa- dos por uma CPU. Além do mais, várias outras unidades periféricas podem ser conectadas à plataforma de computador tal como uma unidade de armazenamento de dados adicional e uma unidade de impressão.
É para ser entendido adicionalmente que, por causa de alguns dos componentes e métodos de sistema constituintes representados nos desenhos anexos serem preferivelmen- te implementados em software, as conexões reais entre os componentes de sistema ou os blocos de função de processo podem diferir dependendo da maneira na qual os presentes princípios são programados. Dado os preceitos neste documento, os versados na técnica serão capazes de considerar estes e implementações ou configurações similares dos pre- sentes princípios.
Embora as modalidades ilustrativas tenham sido descritas neste documento com referência aos desenhos anexos, é para ser entendido que os presentes princípios não es- tão limitados àquelas modalidades definidas, e que várias mudanças e modificações podem ser efetuadas nas mesmas pelos versados na técnica sem fugir do escopo ou espírito dos presentes princípios. Todas as tais mudanças e modificações são consideradas para estar incluídas no escopo dos presentes princípios tal como exposto nas reivindicações anexas.

Claims (44)

1. Aparelho, CARACTERIZADO pelo fato de que compreende: um codificador (100) para codificar pelo menos uma imagem, em que o dito codifi- cador executa filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codifica preditivamente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada, a pelo menos uma imagem de referência sendo uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito codificador (100) determina adaptativamente pelo menos um de coeficientes de filtro e um número de filtros a ser aplicados à pelo menos uma imagem de referência com base em informação correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
3. Aparelho, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de movimento e informação de disparidade correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
4. Aparelho, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de intensidade e informação de cor correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
5. Aparelho, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que a informação é obtida usando pelo menos um de um método de agrupamento e um método de segmentação.
6. Aparelho, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que pelo menos um de o método de agrupamento e o método de segmentação é baseado em um método de Maximização de Expectativa.
7. Aparelho, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que pelo menos um de o método de agrupamento e o método de segmentação é baseado em um Modelo de Mistura Gaussiana.
8. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito codificador (100) associa diferentes partes da pelo menos uma imagem com uma plu- ralidade de filtros para capturar várias discrepâncias nas diferentes partes da pelo menos uma imagem.
9. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito codificador (100) usa pelo menos um filtro adaptativo para gerar pelo menos um de pixels e subpixels inteiros para a pelo menos uma imagem de referência filtrada.
10. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito codificador (100) codifica diferencialmente coeficientes de filtro para a filtragem adap- tativa da pelo menos uma imagem de referência com base em pelo menos uma de uma es- trutura espacial e uma estrutura temporal do codificador.
11. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito codificador (100) capacita múltiplas imagens da pelo menos uma imagem de referên- cia filtrada, e utiliza adaptativamente uma ou mais das múltiplas imagens da pelo menos uma imagem de referência filtrada em uma imagem baseada em blocos.
12. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que um ou mais filtros usados na filtragem adaptativa são um de unidimensional, bidimensional e tridimensional.
13. Método, CARACTERIZADO pelo fato de que compreende: codificar pelo menos uma imagem, em que a dita etapa de codificação compreende executar filtragem adaptativa de pelo menos uma imagem de referência para obter respecti- vamente pelo menos uma imagem de referência filtrada, e codificar preditivamente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada, a pelo menos uma imagem de referência sendo uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço (330).
14. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a dita etapa de codificação compreende determinar adaptativamente pelo menos um de coe- ficientes de filtro e um número de filtros a ser aplicados à pelo menos uma imagem de refe- rência com base em informação correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência (325).
15. Método, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de movimento e informação de disparidade correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência (320).
16. Método, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de intensidade e informação de cor correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência (320).
17. Método, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que a informação é obtida usando pelo menos um de um método de agrupamento e um método de segmentação (320).
18. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que pelo menos um de o método de agrupamento e o método de segmentação é baseado em um método de Maximização de Expectativa (320).
19. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que pelo menos um de o método de agrupamento e o método de segmentação é baseado em um Modelo de Mistura Gaussiana (320).
20. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a dita etapa de codificação compreende associar diferentes partes da pelo menos uma ima- gem com uma pluralidade de filtros para capturar várias discrepâncias nas diferentes partes da pelo menos uma imagem (320).
21. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a dita etapa de codificação usa pelo menos um filtro adaptativo para gerar pelo menos um de pixels e subpixels inteiros para a pelo menos uma imagem de referência filtrada (330).
22. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o método é executado por um codificador, e a dita etapa de codificação codifica diferencial- mente coeficientes de filtro para a filtragem adaptativa da pelo menos uma imagem de refe- rência com base em pelo menos uma de uma estrutura espacial e uma estrutura temporal do codificador (340).
23. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a dita etapa de codificação capacita múltiplas imagens da pelo menos uma imagem de refe- rência filtrada, e utiliza adaptativamente uma ou mais das múltiplas imagens da pelo menos uma imagem de referência filtrada em uma imagem baseada em blocos (340).
24. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que um ou mais filtros usados na filtragem adaptativa são um de unidimensional, bidimensional e tridimensional (325).
25. Aparelho, CARACTERIZADO pelo fato de que compreende: um decodificador (200) para decodificar pelo menos uma imagem, em que o dito decodificador executa filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e decodifica prediti- vãmente a pelo menos uma imagem usando a pelo menos uma imagem de referência filtra- da, a pelo menos uma imagem de referência sendo uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
26. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador (200) determina pelo menos um de coeficientes de filtro e um núme- ro de filtros a ser aplicados à pelo menos uma imagem de referência com base em informa- ção correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
27. Aparelho, de acordo com a reivindicação 26, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de movimento e informação de disparidade correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência.
28. Aparelho, de acordo com a reivindicação 26, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de intensidade e informação de cor correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referên- cia.
29. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador (200) associa diferentes partes da pelo menos uma imagem com uma pluralidade de filtros para capturar várias discrepâncias nas diferentes partes da pelo menos uma imagem.
30. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador (200) usa pelo menos um filtro adaptativo para gerar pelo menos um de pixels e subpixels inteiros para a pelo menos uma imagem de referência filtrada.
31. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador (200) decodifica diferencialmente coeficientes de filtro para a filtra- gem adaptativa da pelo menos uma imagem de referência com base em pelo menos uma de uma estrutura espacial e uma estrutura temporal do decodificador.
32. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador (200) capacita múltiplas imagens da pelo menos uma imagem de referência filtrada, e utiliza adaptativamente uma ou mais das múltiplas imagens da pelo menos uma imagem de referência filtrada em uma imagem baseada em blocos.
33. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que um ou mais filtros usados na filtragem adaptativa são um de unidimensional, bidimensi- onal e tridimensional.
34. Método, CARACTERIZADO pelo fato de que compreende: decodificar pelo menos uma imagem, em que a dita etapa de decodificação com- preende executar filtragem adaptativa de pelo menos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e decodificar preditivamen- te a pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada, a pelo menos uma imagem de referência sendo uma imagem em que pelo menos uma amos- tra da mesma é usada para interpredição subseqüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplica- da a um filtro em laço (425).
35. Método, de acordo com a reivindicação 34, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende determinar pelo menos um de coeficientes de filtro e um número de filtros a ser aplicados à pelo menos uma imagem de referência com base em informação correspondendo à pelo menos uma imagem e à pelo menos uma ima- gem de referência (410).
36. Método, de acordo com a reivindicação 35, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de movimento e informação de disparidade correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência (410).
37. Método, de acordo com a reivindicação 35, CARACTERIZADO pelo fato de que a informação compreende pelo menos uma de informação de intensidade e informação de cor correspondendo à pelo menos uma imagem e à pelo menos uma imagem de referência (410).
38. Método, de acordo com a reivindicação 34, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende associar diferentes partes da pelo menos uma imagem com uma pluralidade de filtros para capturar várias discrepâncias nas diferentes partes da pelo menos uma imagem (410).
39. Método, de acordo com a reivindicação 34, CARACTERIZADO pelo fato de que a dita etapa de decodificação usa pelo menos um filtro adaptativo para gerar pelo menos um de pixels e subpixels inteiros para a pelo menos uma imagem de referência filtrada (425).
40. Método, de acordo com a reivindicação 34, CARACTERIZADO pelo fato de que o método é executado por um decodificador, e a dita etapa de decodificação compreende decodificar diferencialmente coeficientes de filtro para a filtragem adaptativa da pelo menos uma imagem de referência com base em pelo menos uma de uma estrutura espacial e uma estrutura temporal do decodificador (410).
41. Método, de acordo com a reivindicação 34, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende capacitar múltiplas imagens da pelo menos uma imagem de referência filtrada, e utilizar adaptativamente uma ou mais das múltiplas imagens da pelo menos uma imagem de referência filtrada em uma imagem baseada em blocos (430).
42. Método, de acordo com a reivindicação 34, CARACTERIZADO pelo fato de que um ou mais filtros usados na filtragem adaptativa são um de unidimensional, bidimensional e tridimensional (410).
43. Estrutura de sinal de vídeo para codificação de vídeo, CARACTERIZADA pelo fato de que compreende: pelo menos uma imagem codificada por meio de filtragem adaptativa de pelo me- nos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codificação preditiva da pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada, a pelo menos uma imagem de referência sendo uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subse- qüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
44. Mídia de armazenamento tendo na mesma dados de sinal de vídeo codificados, CARACTERIZADA pelo fato de que compreende: pelo menos uma imagem codificada por meio de filtragem adaptativa de pelo me- nos uma imagem de referência para obter respectivamente pelo menos uma imagem de referência filtrada, e codificação preditiva da pelo menos uma imagem usando a pelo menos uma imagem de referência filtrada, a pelo menos uma imagem de referência sendo uma imagem em que pelo menos uma amostra da mesma é usada para interpredição subse- qüente à pelo menos uma amostra sendo aplicada a um filtro em laço ou em uma ausência da pelo menos uma amostra sendo aplicada a um filtro em laço.
BRPI0714233-1A 2006-07-18 2007-07-05 mÉtodos e aparelho para filtragem de referÊncia adaptativa BRPI0714233A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80764506P 2006-07-18 2006-07-18
US60/807.645 2006-07-18
PCT/US2007/015680 WO2008010929A2 (en) 2006-07-18 2007-07-05 Methods and apparatus for adaptive reference filtering

Publications (1)

Publication Number Publication Date
BRPI0714233A2 true BRPI0714233A2 (pt) 2013-01-15

Family

ID=38847028

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0714233-1A BRPI0714233A2 (pt) 2006-07-18 2007-07-05 mÉtodos e aparelho para filtragem de referÊncia adaptativa

Country Status (7)

Country Link
US (1) US9253504B2 (pt)
EP (1) EP2041981B1 (pt)
JP (1) JP5535625B2 (pt)
KR (1) KR101484606B1 (pt)
CN (1) CN101491101B (pt)
BR (1) BRPI0714233A2 (pt)
WO (1) WO2008010929A2 (pt)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623712B2 (en) * 2005-06-09 2009-11-24 Canon Kabushiki Kaisha Image processing method and apparatus
US8731064B2 (en) * 2006-09-11 2014-05-20 Apple Inc. Post-processing for decoder complexity scalability
RU2407220C2 (ru) * 2006-09-20 2010-12-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования изображений, устройства для них, программа для них и носитель информации для хранения программ
JP5400062B2 (ja) * 2008-01-07 2014-01-29 トムソン ライセンシング パラメトリックフィルタリングを使用したビデオ符号化及び復号化方法及び装置
AU2008352118A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
EP2271113A4 (en) * 2008-04-30 2011-10-26 Toshiba Kk PICTURE CODING AND PAGE DECODING DEVICE WITH TIME VARIATION
JP5628155B2 (ja) * 2008-06-12 2014-11-19 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置
EP2136565A1 (en) 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
RU2518435C2 (ru) * 2008-07-20 2014-06-10 Долби Лэборетериз Лайсенсинг Корпорейшн Оптимизация кодера в системах доставки стереоскопического видео
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
KR101530549B1 (ko) * 2008-10-10 2015-06-29 삼성전자주식회사 적응적 1차원 필터 세트를 이용한 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR100987922B1 (ko) 2008-12-31 2010-10-18 갤럭시아커뮤니케이션즈 주식회사 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 참조영상 결정방법
KR100987921B1 (ko) 2008-12-31 2010-10-18 갤럭시아커뮤니케이션즈 주식회사 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
CN104506877B (zh) * 2009-06-19 2018-01-19 三菱电机株式会社 图像解码装置以及图像解码方法
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
US20110116546A1 (en) * 2009-07-06 2011-05-19 Xun Guo Single pass adaptive interpolation filter
JP2011049740A (ja) 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
JP2011082725A (ja) * 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
FR2952497B1 (fr) * 2009-11-09 2012-11-16 Canon Kk Procede de codage et de decodage d'un flux d'images; dispositifs associes
US20110222608A1 (en) * 2010-03-15 2011-09-15 Yongying Gao Localized in-loop filtering with multiple filters in hybrid video coding
CN102907099A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性运动检索区域的决定方法
CN102907094A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性参考影像的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性参考影像决定方法
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US9241160B2 (en) * 2010-07-21 2016-01-19 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
JP5066244B2 (ja) * 2010-10-29 2012-11-07 株式会社東芝 映像再生装置及び映像再生方法
CN101990103B (zh) * 2010-11-10 2013-01-16 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
CN107181950B (zh) 2010-12-08 2020-11-06 Lg 电子株式会社 一种执行内预测的编码装置和解码装置
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
WO2012090181A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Depth map coding
KR101890203B1 (ko) * 2011-01-12 2018-08-21 지멘스 악티엔게젤샤프트 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
WO2012131895A1 (ja) * 2011-03-29 2012-10-04 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
WO2013028121A1 (en) * 2011-08-25 2013-02-28 Telefonaktiebolaget L M Ericsson (Publ) Depth map encoding and decoding
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
CN102427540B (zh) * 2011-09-28 2014-04-09 深圳超多维光电子有限公司 一种立体图像滤波方法及相应的图像处理装置、终端设备
WO2013069976A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치
US8682087B2 (en) * 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN104067623A (zh) 2012-01-19 2014-09-24 三菱电机株式会社 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
KR101847365B1 (ko) * 2012-04-13 2018-04-09 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
US9769450B2 (en) 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
US20150172715A1 (en) * 2012-07-09 2015-06-18 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
JP6110724B2 (ja) * 2013-05-01 2017-04-05 日本放送協会 画像処理装置、符号化装置、及び符号化プログラム
JP6067949B2 (ja) * 2014-09-30 2017-01-25 富士フイルム株式会社 画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体
CN104735450B (zh) * 2015-02-26 2019-06-07 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
CN107736027B (zh) * 2015-06-12 2021-06-01 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
KR102009634B1 (ko) * 2016-05-04 2019-08-12 한국항공대학교산학협력단 영상 보정 정보 부호화 및 복호화 방법 및 장치
US10015504B2 (en) 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
CN110689497B (zh) * 2019-09-27 2020-05-12 信通达智能科技有限公司 基于目标识别的数据提取装置及方法
CN110866499B (zh) * 2019-11-15 2022-12-13 爱驰汽车有限公司 手写文本识别方法、系统、设备及介质
CN111770332B (zh) * 2020-06-04 2022-08-09 Oppo广东移动通信有限公司 插帧处理方法、插帧处理装置、存储介质与电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466961B1 (en) * 2000-08-16 2002-10-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for adapative spectral, spatial and temporal sensing for imaging applications
US6975776B2 (en) * 2002-02-14 2005-12-13 Tektronix, Inc. Predicting human vision perception and perceptual difference
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
EP1641274B1 (en) 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US7924918B2 (en) * 2004-11-29 2011-04-12 Ntt Docomo, Inc. Temporal prediction in video coding
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples

Also Published As

Publication number Publication date
US20090290637A1 (en) 2009-11-26
EP2041981A2 (en) 2009-04-01
EP2041981B1 (en) 2013-09-04
WO2008010929A3 (en) 2008-04-03
JP2009544222A (ja) 2009-12-10
CN101491101A (zh) 2009-07-22
CN101491101B (zh) 2011-11-16
JP5535625B2 (ja) 2014-07-02
WO2008010929A2 (en) 2008-01-24
US9253504B2 (en) 2016-02-02
KR20090039720A (ko) 2009-04-22
KR101484606B1 (ko) 2015-01-21

Similar Documents

Publication Publication Date Title
BRPI0714233A2 (pt) mÉtodos e aparelho para filtragem de referÊncia adaptativa
JP7335315B2 (ja) 画像予測方法および関連装置
CN110313181B (zh) 用于多视图视频的视频编码技术
CN110139108B (zh) 用于将多视点信号编码到多视点数据流中的装置及方法
KR101023262B1 (ko) 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
BR112019027821A2 (pt) emparelhamento de gabarito com base em reconstrução parcial para derivação de vetor de movimento
JP5606625B2 (ja) ビデオ符号化のための高度な動きモデルを使った参照処理
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
BRPI0721077A2 (pt) Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas
PT2594077E (pt) Codificação de vídeo híbrida para suporte a síntese de visualização intermédia
KR20150055005A (ko) 수정된 참조를 가진 차세대 비디오 코딩용 콘텐츠 적응적 예측 및 기능적 예측 픽처
BR122020019754B1 (pt) Método de predição de imagem e aparelho relacionado, decodificador e meio de armazenamento legível por computador
BRPI0719856B1 (pt) Métodos, aparelhos e meio de armazenamento não transitório para compensação de iluminação e cor local sem sinalização explícita
KR20120118477A (ko) 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
KR101883265B1 (ko) 패치 시프팅을 통해 벡터 양자화 에러를 감소시키기 위한 방법들 및 장치
WO2017124298A1 (zh) 视频编码、解码方法及其帧间预测方法、装置和系统
KR20220162786A (ko) 비디오 코딩에서 심층 신경 네트워크 기반 인터프레임 예측을 위한 방법 및 장치
JP2010021844A (ja) 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
Paul et al. Self-supervised learning of perceptually optimized block motion estimates for video compression
JP2007329678A (ja) 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置
KR20160121444A (ko) 제 1 명암비를 갖는 이미지들을 생성, 인코딩 또는 디코딩하기 위한 방법들 및 디바이스들, 및 대응하는 컴퓨터 프로그램 제품들 및 컴퓨터-판독가능 매체
Ebrahim et al. Multiview image block compressive sensing with joint multiphase decoding for visual sensor network
CN111901595B (zh) 一种基于深度神经网络的视频编码方法及装置、介质
CN103002279B (zh) 编码并重构像素块的方法及其对应设备
BR112020019740A2 (pt) aparelho e método de processamento de imagem

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/573 (2014.01), H04N 19/105 (2014.01), H04N

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: THOMSON LICENSING DTV (FR)

B06T Formal requirements before examination [chapter 6.20 patent gazette]
B25A Requested transfer of rights approved

Owner name: INTERDIGITAL MADISON PATENT HOLDINGS (FR)

B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B11D Dismissal acc. art. 38, par 2 of ipl - failure to pay fee after grant in time